JP2009253581A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】各領域の特徴に応じて画質を維持しつつ符号量を削減すること。
【解決手段】画像処理装置であって、複数の動画構成画像を含む動画から特徴領域を検出する特徴領域検出部と、動画構成画像における特徴領域の画像より特徴領域以外の領域の画像を、より多くの動画構成画像において、複数の動画構成画像の少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することより、動画を圧縮した圧縮動画を生成する圧縮部とを備える。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。本発明は、特に、画像を処理する画像処理装置および画像処理方法、ならびに画像処理装置用のプログラムに関する。

領域ごとに明確に分割されているような動画像に対して、情報的に符号化の要が無い領域を検出して、その領域に対して割り当てる符号化情報量を最小とする動画像符号化装置が知られている（例えば、特許文献１参照。）。
特開２００２−２８１５０８号公報

しかしながら、上記特許文献１に記載の動画像符号化装置によると、各領域に応じて符号化をスキップすることができない。このため、各領域の特徴に応じて画質を維持しながら符号化情報量を削減することができない。

上記課題を解決するために、本発明の第１の形態によると、画像処理装置であって、複数の動画構成画像を含む動画から特徴領域を検出する特徴領域検出部と、動画構成画像における特徴領域の画像より特徴領域以外の領域の画像を、より多くの動画構成画像において、複数の動画構成画像の少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することより、動画を圧縮した圧縮動画を生成する圧縮部とを備える。

本発明の第２の形態によると、画像処理方法であって、複数の動画構成画像を含む動画から特徴領域を検出する特徴領域検出段階と、動画構成画像における特徴領域の画像より特徴領域以外の領域の画像を、より多くの動画構成画像において、複数の動画構成画像の少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、動画を圧縮した圧縮動画を生成する圧縮段階とを備える。

本発明の第３の形態によると、画像処理装置用のプログラムであって、コンピュータを、複数の動画構成画像を含む動画から特徴領域を検出する特徴領域検出部、動画構成画像における特徴領域の画像より特徴領域以外の領域の画像を、より多くの動画構成画像において、複数の動画構成画像の少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、動画を圧縮した圧縮動画を生成する圧縮部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態に係わる画像処理システム１０の一例を示す。画像処理システム１０は、画像における特徴的な領域の画質を維持しながら画像の符号量を削減することを目的とする。画像処理システム１０は、以下に説明するように、監視システムとして機能することができる。

画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ−ｄ（以下、撮像装置１００と総称する。）、撮像装置１００により撮像された画像を処理する複数の画像処理装置１２０ａおよび画像処理装置１２０ｂ（以下、画像処理装置１２０と総称する。）、通信ネットワーク１１０、画像処理装置１７０、画像ＤＢ１７５、および複数の表示装置１８０ａ−ｄ（以下、表示装置１８０と総称する。）を備える。

なお、画像処理装置１２０ａは、撮像装置１００ａおよび撮像装置１００ｂに接続されており、画像処理装置１２０ｂは、撮像装置１００ｃおよび撮像装置１００ｄに接続されている。なお、画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。

撮像装置１００ａは、撮像部１０２ａおよび撮像動画圧縮部１０４ａを有している。撮像部１０２ａは、監視対象空間１５０を撮像して撮像動画を生成する。撮像動画圧縮部１０４ａは、撮像部１０２ａにより撮像された撮像動画をＭＰＥＧ符号化等により圧縮して、撮像動画データを生成する。このように、撮像装置１００ａは、監視対象空間１５０を撮像して得られた撮像動画を符号化して撮像動画データを生成する。撮像装置１００ａは、当該撮像動画データを、撮像装置１００ａが接続されている画像処理装置１２０ａに出力する。

なお、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄは、それぞれ撮像装置１００ａと同様の構成を有するので、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄの各構成要素の説明を省略する。なお、撮像装置１００ｂは、生成した撮像動画データを撮像装置１００ｂが接続されている画像処理装置１２０ａに出力する。また、撮像装置１００ｃおよび撮像装置１００ｄは、生成した撮像動画データを、画像処理装置１２０ｂに出力する。このようにして、画像処理装置１２０は、撮像装置１００により生成された撮像動画データを、それぞれが接続された撮像装置１００から取得する。

そして、画像処理装置１２０は、撮像装置１００から取得した撮像動画データを復号して撮像動画を生成して、生成した撮像動画から、人物１３０が撮像された領域、車輌等の移動体１４０が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置１２０は、撮像動画から、複数の特徴領域のそれぞれが特徴領域以外の領域より高画質な圧縮動画データを生成する。なお、画像処理装置１２０は、特徴領域の画像が特徴領域のそれぞれの重要度に応じた画質の画像に変換されている圧縮動画データを生成する。そして、画像処理装置１２０は、圧縮動画データを、特徴領域を示す情報である特徴領域情報に対応づけて、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。

画像処理装置１７０は、特徴領域情報が対応づけられた圧縮動画データを画像処理装置１２０から受信する。そして、画像処理装置１７０は、受信した圧縮動画データを、対応づけられている特徴領域情報を用いて伸張して表示用動画を生成して、生成した表示用動画を表示装置１８０に供給する。表示装置１８０は、画像処理装置１７０から供給された表示用動画を表示する。

また、画像処理装置１７０は、圧縮動画データに対応づけられている特徴領域情報に対応づけて、当該圧縮動画データを画像ＤＢ１７５に記録してもよい。そして、画像処理装置１７０は、表示装置１８０からの要求に応じて、画像ＤＢ１７５から圧縮動画データおよび特徴領域情報を読み出して、読み出した圧縮動画データを特徴領域情報を利用して伸張して表示用動画を生成して、表示装置１８０に供給してもよい。

なお、特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された動画構成画像を識別する識別情報等を含むテキストデータ、もしくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。そして、画像処理装置１７０は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす動画構成画像を特定する。そして、画像処理装置１７０は、特定した動画構成画像を復号して、表示装置１８０に提供してよい。

このように、画像処理システム１０によると、特徴領域を動画に対応づけて記録しているので、動画における所定の条件に適合する動画構成画像を高速に検索、頭出しをすることができる。また、画像処理システム１０によると、所定の条件に適合する動画構成画像だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。

図２は、画像処理装置１２０のブロック構成の一例を示す。画像処理装置１２０は、圧縮動画取得部２０１、圧縮動画伸張部２０２、および画像処理部２００を備える。

圧縮動画取得部２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２０１は、撮像装置１００が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した撮像動画データを伸張して、撮像動画に含まれる複数の動画構成画像を生成する。具体的には、圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した、符号化された撮像動画データを復号して、撮像動画に含まれる複数の動画構成画像を生成する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。

画像処理部２００は、圧縮動画伸張部２０２により生成された複数の動画構成画像を含む撮像動画から特徴領域を検出して、検出した特徴領域の特徴に応じて当該撮像動画に圧縮処理を施して、画像処理装置１７０に出力する。画像処理部２００の動作の一例を以下に説明する。

画像処理部２００は、特徴領域検出部２０３、包含領域特定部２１０、圧縮制御部２２０、圧縮部２３０、対応付け処理部２０６、および出力部２０７を有する。特徴領域検出部２０３は、複数の動画構成画像を含む動画から特徴領域を検出する。例えば、特徴領域検出部２０３は、動画において移動するオブジェクトを含む領域を特徴領域として検出してよい。

なお、撮像装置１００が揺れることによって、画像上のオブジェクト位置がフレーム間で小さくずれてしまう場合がある。このため、画像上の位置のずれが小さいオブジェクトは、移動するオブジェクトとして検出されないことが望ましい。そこで、特徴領域検出部２０３は、動画構成画像として動画に含まれる他の撮像画像との間における位置の差が予め定められた値より大きいオブジェクトを含む領域を、特徴領域として検出してよい。他にも、特徴領域検出部２０３は、他の撮像画像との間における位置の差が、当該他の撮像画像との間における画像全体のずれ量より大きいオブジェクトを含む領域を、特徴領域として検出してもよい。これにより、撮像装置１００の揺れ等を原因として位置がずれているオブジェクトが移動オブジェクトとして検出されてしまうことを未然に防ぐことができる場合がある。

特徴領域検出部２０３は、検出した特徴領域を示す情報を圧縮制御部２２０に供給する。なお、特徴領域を示す情報とは、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報を含む。

圧縮制御部２２０は、特徴領域検出部２０３から取得した特徴領域を示す情報に基づいて、特徴領域に応じて圧縮部２３０による動画の圧縮処理を制御する。具体的には、圧縮制御部２２０は、以下に説明する圧縮処理を圧縮部２３０に行わせる。

具体的には、圧縮部２３０は、動画構成画像における特徴領域の画像より特徴領域以外の領域の画像を、より多くの動画構成画像において、複数の動画構成画像の少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、動画を圧縮した圧縮動画を生成する。一例として、圧縮部２３０は、特徴領域以外の領域の画像を、少なくとも一部の領域の画像情報を用いて表現することを示す符号により符号化してよい。例えば、圧縮部２３０は、特徴領域以外の領域の画像を、少なくとも一部の領域の画像をコピーすることを示す符号により符号化してよい。

具体的には、圧縮部２３０は、特徴領域以外の領域の画像を、当該特徴領域が検出された動画構成画像以外の動画構成画像における少なくとも一部の領域の画像情報を用いて表現してよい。例えば、圧縮部２３０は、特徴領域以外の領域の画像を、当該特徴領域が検出された動画構成画像以外の動画構成画像における少なくとも一部の領域の画像情報で表現することで、特徴領域以外の領域が特徴領域より低い時間分解で表示される圧縮動画を生成する。他にも、圧縮部２３０は、特徴領域以外の領域の画像を、当該特徴領域が検出された動画構成画像における他の領域の画像情報を用いて表現することにより、圧縮動画を生成してもよい。

例えば、圧縮部２３０は、特徴領域以外の領域の画像を、特徴領域が検出された動画構成画像以外の動画構成画像または当該特徴領域が検出された動画構成画像の少なくとも一部の領域の画像情報で表される旨を示す符号により、特徴領域を符号化してよい。なお、以下の説明においては、このような符号化のことを参照符号化と呼ぶ場合がある。なお、ここでいう参照符号化とは、画像を他の動画構成画像の少なくとも一部の領域の画像情報で表現することによる符号化と、同一の動画構成画像における他の領域の画像情報で表現することによる符号化との双方を含む。また、参照符号化においては、参照符号化の対象となる領域の画像情報は使用されなくてよい。

以下に、圧縮部２３０の各構成要素の動作について説明する。圧縮部２３０は、動画構成画像に含まれる予め定められた複数の部分領域毎に画像を圧縮することにより、圧縮動画を生成する。具体的には、圧縮部２３０は、特徴領域以外の領域に含まれる複数の部分領域のそれぞれの画像を、少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、圧縮動画を生成する。このように、圧縮部２３０は、特徴領域以外の領域に含まれる部分領域毎に、参照符号化により符号化する。

一例として、圧縮部２３０は、特徴領域以外の領域に含まれる複数の部分領域のそれぞれの画像を、０ベクトルの動きベクトルで表現することにより、圧縮動画を生成してよい。また、圧縮部２３０は、特徴領域以外の領域に含まれる複数の部分領域のそれぞれの画像を、０ベクトルの動きベクトルおよび予測画像との間の差分値として０の差分値で表現することにより、圧縮動画を生成してもよい。他にも、圧縮部２３０は、特徴領域以外の領域に含まれる複数の部分領域の画像を、当該画像を表す領域を示す符号により符号化することで、圧縮動画を生成してもよい。なお、当該部分領域はマクロブロックであってよい。また、圧縮部２３０は、特徴領域以外の領域に含まれる複数のマクロブロックのそれぞれを、スキップドマクロブロック（ｓｋｉｐｐｅｄ ｍａｃｒｏｂｌｏｃｋ）として扱ってよい。

なお、特徴領域検出部２０３は、動画から特徴の種類が異なる複数の特徴領域を検出してよい。なお、特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標にしてよい。オブジェクトの種類は、オブジェクトの形状またはオブジェクトの色の一致度に基づいて決定されてよい。

例えば、特徴領域検出部２０３は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の動画構成画像のそれぞれから抽出して、抽出したオブジェクトを含む動画構成画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域検出部２０３は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。

特徴領域検出部２０３が動画から特徴の種類が異なる複数の特徴領域を検出した場合には、圧縮部２３０は、特徴の種類に応じて予め定められた数の動画構成画像における複数の特徴領域の画像を、当該特徴領域が検出された動画構成画像以外の動画構成画像における少なくとも一部の領域の画像情報で表現することで、複数の特徴領域のそれぞれが特徴の種類に応じて予め定められた時間分解で表示される圧縮動画を生成してもよい。これにより、圧縮部２３０は、動画における複数の特徴領域がそれぞれの特徴に応じた画質にされた動画を提供することができる。

なお、包含領域特定部２１０は、特徴領域検出部２０３が検出した連続する複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する包含領域を特定する。包含領域特定部２１０は、当該包含領域を示す情報を圧縮制御部２２０に供給する。圧縮制御部２２０は、当該包含領域を示す情報に基づいて、上述した特徴領域に対する処理と同様の処理を圧縮部２３０に行わせる。すなわち、圧縮部２３０は、連続する複数の動画構成画像における１以上の動画構成画像における包含領域以外の領域に含まれる複数の部分領域のそれぞれの画像を、少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、圧縮動画を生成する。

なお、包含領域特定部２１０は、複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する部分領域の集合領域を、包含領域として特定する。例えば、包含領域特定部２１０は、複数の動画構成画像のそれぞれにおける複数の特徴領域を包含するマクロブロックの集合領域を、包含領域として特定してよい。なお、圧縮部２３０は、予め定められた数の動画構成画像により形成される部分動画毎に動画を圧縮することにより、圧縮動画を生成する。この場合、連続する複数の動画構成画像は、同一の部分動画に含まれる。例えば、圧縮部２３０は、動画をＧＯＰ単位で圧縮する場合、連続する複数の動画構成画像は、同一のＧＯＰに含まれる。

なお、圧縮部２３０は、画素選択部２３２、動画構成画像選択部２３４、および符号化器２４０を含む。そして、動画構成画像選択部２３４は、特徴の種類に応じて、上述して参照符号化をすべき動画構成画像を選択する。例えば、動画構成画像選択部２３４は、複数の動画構成画像の中から、特徴領域の特徴の種類に応じて予め定められた数の動画構成画像を、参照符号化すべき動画構成画像として選択してよい。また、動画構成画像選択部２３４は、特徴の種類毎に参照符号化すべき動画構成画像を選択してよい。また、動画構成画像選択部２３４は、特徴領域以外の領域の画像を参照符号化すべき動画構成画像として、特徴領域の画像を参照符号化すべき動画構成画像より多く選択してよい。

そして、符号化器２４０は、圧縮動画伸張部２０２により伸張されて得られた複数の動画構成画像を符号化する。このとき、符号化器２４０は、動画構成画像選択部２３４により選択された動画構成画像において、複数の特徴領域および特徴領域以外の領域に含まれる部分領域の画像を参照符号化して、動画構成画像選択部２３４により選択されていない動画構成画像を参照符号化以外の符号化方法により符号化する。なお、画素選択部２３２および符号化器２４０が有する構成要素の機能および動作については後に説明する。

上記の説明においては、圧縮部２３０が参照符号化する場合における圧縮部２３０の動作を説明した。以下に、参照符号化する部分領域以外の部分領域に対する画像処理装置１２０の各構成要素の動作について説明する。上述したように、圧縮部２３０と画像を所定の部分領域毎に圧縮するが、圧縮部２３０は、特徴領域に含まれる部分領域の画像を、特徴領域以外の領域に含まれる部分領域の画像を圧縮する場合に用いる画素数より多い数の画素の画素値を用いて圧縮する。以下に、圧縮部２３０が含む各構成要素の動作を説明する。

圧縮部２３０は、空間周波数成分算出部２４２、量子化部２４４、および符号化部２４６を有する。空間周波数成分算出部２４２は、部分領域毎に空間周波数成分を算出する。なお、空間周波数成分算出部２４２は、各部分領域の画像を離散コサイン変換によってＤＣＴ係数に変換することによって、部分領域毎に空間周波数成分を算出してよい。他にも、空間周波数成分算出部２４２は、各部分領域の画像をウェーブレット変換によってウェーブレット展開係数に変換することによって、空間周波数成分を算出してよい。

量子化部２４４は、空間周波数成分算出部２４２により算出された空間周波数成分を量子化する。符号化部２４６は、量子化部２４４により量子化された空間周波数成分を、例えば、エントロピー符号化によって符号化する。

空間周波数成分算出部２４２は、特徴領域に含まれる部分領域の空間周波数成分を、特徴領域以外の領域の空間周波数成分を算出する場合に用いる画素数より多い数の画素の画素値を用いて空間周波数成分を算出する。具体的には、空間周波数成分算出部２４２は、特徴領域以外の領域における空間周波数成分を算出する場合に、特徴領域以外の領域における空間周波数成分を算出する場合より、空間周波数成分を算出する算出単位となる画素数を少なくする。言い換えると、空間周波数成分算出部２４２は、特徴領域以外の領域に含まれる部分領域の空間周波数成分を算出する場合に、特徴領域に含まれる部分領域の空間周波数成分を算出する場合より、空間周波数成分を算出する算出単位であるマクロブロックサイズを小さくする。

このとき、画素選択部２３２は、特徴領域以外の領域に含まれる部分領域に含まれる画素の中から、当該小さくされたマクロブロックサイズの画素数の画素を選択する。そして、空間周波数成分算出部２４２は、画素選択部２３２によって選択された画素から、空間周波数成分を算出する。また、量子化部２４４は、特徴領域に含まれる部分領域において算出された空間周波数成分を、特徴領域に含まれる部分領域より特徴領域以外の領域に含まれる部分領域において、より小さい量子化ステップで量子化する。

なお、画素選択部２３２は、複数の特徴領域のそれぞれに含まれる部分領域に含まれる画素から、特徴領域の特徴の種類に応じて予め定められた数の画素を選択してよい。そして、空間周波数成分算出部２４２は、空間周波数成分を算出する算出単位を、特徴領域の特徴の種類に応じて予め定められた数の画素から形成される大きさのマクロブロックとする。また、量子化部２４４は、複数の特徴領域のそれぞれに含まれる部分領域において算出された空間周波数成分を、特徴の種類に応じて予め定められた量子化ステップで量子化してよい。以上説明したようにして、圧縮部２３０は、特徴領域の特徴の種類に応じた圧縮率で、特徴領域の画像を圧縮することができる。

圧縮部２３０は、符号化部２４６によって符号化されて得られた圧縮動画を、対応付け処理部２０６に供給する。対応付け処理部２０６は、圧縮部２３０から取得した圧縮動画に、圧縮制御部２２０から取得した特徴領域情報を対応づける。一例として、対応付け処理部２０６は、圧縮動画に含まれる複数の動画構成画像を識別する情報、特徴領域の位置を識別する情報、および特徴領域の特徴の種類を識別する情報を対応づけた特徴領域情報を、圧縮動画に付帯する。そして、出力部２０７は、特徴領域情報が付帯された圧縮動画を画像処理装置１７０に出力する。具体的には、出力部２０７は、当該特徴領域情報が付帯された圧縮動画を、画像処理装置１７０に向けて通信ネットワーク１１０に送出する。

図３は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、圧縮画像取得部３０１、対応付け解析部３０２、伸張制御部３１０、伸張部３２０、および出力部３０４を備える。圧縮画像取得部３０１は、圧縮部２３０により圧縮された動画構成画像を複数含む圧縮動画を取得する。具体的には、圧縮画像取得部３０１は、特徴領域情報が付帯された圧縮動画を取得する。

そして、対応付け解析部３０２は、圧縮動画と当該圧縮動画に付帯された特徴領域情報とに分離して、圧縮動画を伸張部３２０に供給する。また、対応付け解析部３０２は、特徴領域情報を解析して、特徴領域の位置および特徴の種類を伸張制御部３１０に供給する。伸張制御部３１０は、対応付け解析部３０２から取得した特徴領域の位置および特徴の種類に応じて、伸張部３２０による伸張処理を制御する。例えば、伸張制御部３１０は、特徴領域の位置および特徴の種類に応じて圧縮部２３０が動画の各領域を圧縮した圧縮方式に応じて、伸張部３２０に圧縮動画が示す動画の各領域を伸張させる。

以下に、圧縮画像取得部３０１が取得した圧縮された動画構成画像を部分領域毎に復号する伸張部３２０が有する各構成要素の動作を説明する。伸張部３２０は、復号器３３０、部分領域画像拡大部３２２、および合成部３２４を有する。

復号器３３０は、符号化された圧縮動画を復号する。例えば、復号器３３０は、圧縮動画に含まれる符号化された動画構成画像のそれぞれの部分領域（例えば、マクロブロック）毎に復号する。具体的には、復号器３３０は、復号部３３２、逆量子化部３３４、および逆変換部３３６を有する。

復号部３３２は、符号化部２４６によって符号化された符号化データを復号して、量子化された空間周波数成分を抽出する。逆量子化部３３４は、量子化された空間周波数成分を逆量子化して、空間周波数成分を抽出する。逆変換部３３６は、空間周波数成分算出部２４２による空間周波数成分への変換の逆変換処理により、画素値を算出する。

なお、上記のように、部分領域に含まれる複数の画素から選択された画素の画素値が符号化器２４０によって符号化されている領域のデータからは、当該選択された数の画素の画素値が復号器３３０から出力される。そこで、部分領域画像拡大部３２２は、出力された画素値が示す当該領域の画像を、所定サイズの部分領域の画像の大きさに拡大する。このように、部分領域画像拡大部３２２は、伸張部によって復号された部分領域の画像を、圧縮部２３０が圧縮に用いた画素数に応じた拡大率で拡大する。これにより、動画構成画像に含まれる各部分領域の画像が生成される。

そして、合成部３２４は、各部分領域の画像を合成することによって、１の動画構成画像を生成する。なお、合成部３２４は、参照符号化された部分領域の画像については、他の動画構成画像あるいは同じ動画構成画像における他の領域の画像から取得することができる。伸張部３２０は、圧縮動画を伸張することによって生成された動画構成画像を、出力部３０４に出力する。出力部３０４は、対応付け解析部３０２から取得した特徴領域情報および伸張により生成された動画構成画像を、表示装置１８０または画像ＤＢ１７５に出力する。なお、画像ＤＢ１７５は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、動画構成画像を識別する情報に対応づけて、ハードディスク等の不揮発性の記録媒体に記録してよい。

以上説明した画像処理システム１０によると、特徴領域の特徴に応じて動画を高効率で圧縮することでデータ量を削減しつつ特徴領域の画質を保つことができる。なお、本実施形態における動画構成画像は、画像処理装置１２０および画像処理装置１７０が扱う画像の一例であってよい。すなわち、画像処理装置１２０は、動画のように複数の動画構成画像単位で圧縮すること以外に、画像を画像単位で圧縮することができる。そして、画像処理装置１７０は、画像単位で圧縮された圧縮画像を復号することができる。言うなれば、画像処理装置１２０および画像処理装置１７０は静止画を処理することができる。

図４は、圧縮部２３０による圧縮処理の一例を示す。複数の動画構成画像４００ａ−ｉは、圧縮動画伸張部２０２によって伸張された動画構成画像を示す。ここでは、特徴領域検出部２０３は、動画構成画像４００ａ−ｉから、特徴領域として、移動体領域４１０ａ−ｉ、体部領域４２０ａ−ｉ、頭部領域４３０ａ−ｉを検出したとする。一例として、移動体領域４１０ａ−ｉは移動体１４０が撮像された領域を示しており、体部領域４２０ａ−ｉは人物１３０の体部が撮像された領域を示しており、頭部領域４３０ａ−ｉは人物１３０の頭部が撮像された領域を示す。なお、以下の説明では、動画構成画像４００ａ−ｉを動画構成画像４００、移動体領域４１０ａ−ｉを移動体領域４１０、体部領域４２０ａ−ｉを体部領域４２０、頭部領域４３０ａ−ｉを頭部領域４３０と総称する場合がある。

動画構成画像選択部２３４は、移動体領域４１０の領域の画像を参照符号化する動画構成画像４００として、動画構成画像４００ｂ−ｄ、および、動画構成画像４００ｆ−ｈを選択する。また、動画構成画像選択部２３４は、体部領域４２０の領域の画像を参照符号化する動画構成画像４００として１つおきに動画構成画像４００を選択することによって、動画構成画像４００ｂ、動画構成画像４００ｄ、動画構成画像４００ｆ、および動画構成画像４００ｈを選択する。また、動画構成画像選択部２３４は、特徴領域以外の領域、すなわち本図の例において移動体領域４１０、頭部領域４３０、体部領域４２０のいずれにも該当しない領域（以後、当該領域のことを背景領域と総称する場合がある。）を参照符号化する動画構成画像４００として、動画構成画像４００ｂ−ｈを選択する。

なお、動画構成画像４００において参照符号化される領域は、本図の斜線で図示されている。このように、圧縮部２３０は頭部領域４３０については参照符号化しない。なお、特徴領域の画像を参照符号化する動画構成画像４００として選択すべき動画構成画像４００の数の割合は、特徴領域の特徴の種類を識別する情報に対応づけて動画構成画像選択部２３４が予め記憶していてよい。また、背景領域の画像を参照符号化する動画構成画像４００として選択すべき動画構成画像４００の数の割合も、背景領域を示す情報に対応づけて動画構成画像選択部２３４が予め記憶してよい。

動画構成画像選択部２３４は、特徴領域の特徴の種類を識別する情報または背景領域を示す情報に対応づけて記憶している当該選択すべき動画構成画像４００の割合を取得して、取得した割合に基づいて参照符号化する動画構成画像４００として選択すべき動画構成画像４００の数を算出して、算出した数の動画構成画像４００を選択してよい。なお、上記割合は、動画構成画像４００の数に対する、当該数の動画構成画像４００の中から参照符号化する動画構成画像４００の数の比を示す情報であってよい。

このようにして、動画構成画像選択部２３４は、複数の画像領域のそれぞれの重要度に応じて、異なる数の動画構成画像を参照符号化すべき動画構成画像として選択することができる。したがって、画像処理装置１２０は、複数の画像領域がそれぞれの重要度に応じた時間解像度で表示される１ストリームの圧縮動画を提供することができる。また、圧縮部２３０は、参照符号化する画像領域の動きベクトルを０ベクトルとしたり、当該画像領域に含まれるマクロブロックをスキップドマクロブロックとして扱ったり、参照すべき画像領域を指定する情報等で符号化したりすることによって、複数の画像領域がそれぞれの重要度に応じた時間解像度で表示される１ストリームの圧縮動画を生成するので、圧縮動画の符号量を著しく削減することができる。

図５は、特徴領域近傍の背景領域の一例を示す。図５において、前方領域５１０は、動画構成画像４００ｅ−ｉによって示される部分動画において移動体領域４１０ｅが移動している領域を示す。後方領域５２０は、動画構成画像４００ａ−ｄによって示される部分動画において移動体領域４１０ｅが移動している領域を示す。図４で示されるように、動画構成画像４００ａ−ｉによって示される部分動画では、移動体領域４１０は画像上において左方向に移動している。したがって、移動体領域４１０ｅの移動方向に対して移動体領域４１０ｅの反対側に位置する後方領域５２０の画像は、動画構成画像４００ａに含まれていない。また、移動体領域４１０ｅより当該移動方向の側に位置する前方領域５１０の画像は、動画構成画像４００ｉに含まれていない。

このように、前方領域５１０および後方領域５２０における画像は、参照符号化されない動画構成画像４００ａおよび動画構成画像４００ｉのうちの一方にしか含まれていない。したがって、前方領域５１０および後方領域５２０のように、移動体の背景となる画像領域を参照符号化する場合には、参照すべき動画構成画像４００を適切に選択しなければならない。

このような場合、圧縮部２３０は、動画構成画像４００ｉの画像情報を用いて表現する旨を示す符号または動画構成画像４００ｉの画像を用いて後方領域５２０が表現された動画構成画像４００の画像情報を用いて表現する旨を示す符号により、後方領域５２０の画像を符号化する。また、圧縮部２３０は、動画構成画像４００ａの画像を用いて表現する旨を示す符号、または動画構成画像４００ａの画像を用いて前方領域５１０が表現された動画構成画像４００の画像情報を用いて表現する旨を示す符号により、前方領域５１０の画像を符号化する。

なお、圧縮部２３０は、後方領域５３０および前方領域５４０、ならびに、後方領域５５０および前方領域５６０についても、同様に処理することができる。つまり、圧縮部２３０は、後方領域５３０および後方領域５５０の画像を、後に表示される動画構成画像４００の画像情報を用いて表現する旨を示す符号、または、後に表示される動画構成画像４００の画像を用いて後方領域５３０および後方領域５５０が表現された動画構成画像４００の画像情報を用いて表現する旨を示す符号により符号化する。また、圧縮部２３０は、前方領域５４０および前方領域５６０の画像を、前に表示される動画構成画像４００の画像を用いて表現する旨を示す符号、または、前に表示される動画構成画像４００の画像を用いて前方領域５４０および前方領域５６０が表現された動画構成画像４００の画像情報を用いて表現する旨を示す符号により符号化する。

このように、圧縮部２３０は、特徴領域より移動方向が示す方向の位置にある特徴領域以外の領域に含まれる複数の部分領域の画像を、当該特徴領域が検出された動画構成画像より前に表示される少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現する。また、圧縮部２３０は、特徴領域より移動方向と反対方向の位置にある特徴領域以外の領域に含まれる複数の部分領域の画像を、当該特徴領域が検出された動画構成画像より後に表示される少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現する。なお、上記の前に表示される動画構成画像とは、前に撮像された動画構成画像であってよく、上記の後に表示される動画構成画像とは、後に撮像された動画構成画像であってよい。

以上説明したように、圧縮部２３０は、特徴領域以外の領域に含まれる複数の部分領域の画像を、連続する複数の動画構成画像にわたる複数の特徴領域の位置の移動方向に基づいて選択された少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、圧縮動画を生成する。このように、圧縮部２３０は、移動体による移動領域の背景の領域を含む動画構成画像を適切に選択するので、移動体が撮像された動画を適切に符号化することができる。

図６は、包含領域の一例を示す。包含領域特定部２１０は、動画構成画像４００ａ−ｉにおける部分動画において、移動体領域４１０の包含領域６１０、体部領域４２０の包含領域６２０、および頭部領域４３０の包含領域６３０を特定する。このように、包含領域特定部２１０は、複数の動画構成画像を含む部分動画において、特徴領域の特徴の種類毎に包含領域を特定する。なお、包含領域特定部２１０は、特徴領域の特徴の種類毎に、それぞれの特徴領域を含み、１以上のマクロブロックの集合より形成される領域を、包含領域として特定してよい。

そして、圧縮部２３０は、圧縮制御部２２０による制御によって、動画構成画像４００ａ−ｉのそれぞれの包含領域６１０以外の領域を参照符号化する。なお、圧縮部２３０は、動画構成画像４００ａ−ｉのそれぞれの包含領域６１０については、参照符号化しない。このように、圧縮部２３０は、参照符号化する領域を、部分動画において移動体が移動しない領域に限定することで、参照符号化された領域に他の動画構成画像４００に含まれる移動体を示すオブジェクトが現れてしまうことを未然に防ぐことができる。なお、圧縮部２３０は、特徴領域の特徴の種類毎に特定した包含領域の画像を、特徴の種類に応じて予め定められた強度で圧縮してよい。

図７は、符号化器２４０が符号化する場合の処理単位である部分領域を示す。符号化器２４０は、１６画素×１６画素から形成される部分領域毎に、動画構成画像を符号化する。

ここで、符号化器２４０が頭部領域４３０の画像を符号化する場合には、符号化器２４０は、圧縮制御部２２０による制御により、１６画素×１６画素のマクロブロックを符号化する動作モードで動作する。具体的には、画素選択部２３２は、頭部領域４３０に含まれる１６画素×１６画素の部分領域から全ての画素を選択して、その画素値を符号化器２４０に供給する。符号化器２４０は、画素選択部２３２から供給された１６画素×１６画素の画素値を用いて符号化する。より具体的には、空間周波数成分算出部２４２は、画素選択部２３２から供給された１６画素×１６画素の画素値を用いて離散コサイン変換する。そして、量子化部２４４は、空間周波数成分算出部２４２により算出された変換係数を量子化する。また、符号化部２４６は、量子化された値を、例えばハフマン符号化、算術符号化等のエントロピー符号化する。

一方、符号化器２４０が体部領域４２０の画像を符号化する場合には、符号化器２４０は、圧縮制御部２２０による制御により、８画素×８画素のマクロブロックを符号化する動作モードで動作する。具体的には、画素選択部２３２は、体部領域４２０に含まれる１６画素×１６画素の部分領域から８画素×８画素分の画素を選択して、その画素値を符号化器２４０に供給する。符号化器２４０は、画素選択部２３２から供給された８画素×８画素の画素値を用いて符号化する。

より具体的には、空間周波数成分算出部２４２は、画素選択部２３２から供給された８画素×８画素の画素値を用いて離散コサイン変換する。そして、量子化部２４４は、空間周波数成分算出部２４２により算出された変換係数を量子化する。また、符号化部２４６は、量子化された値を、例えばハフマン符号化、算術符号化等によりエントロピー符号化する。なお、符号化器２４０は、体部領域４２０に含まれる１６画素×１６画素の部分領域のうち、画素選択部２３２によって選択された８画素×８画素の画素以外の画素については符号化しない。

同様に、符号化器２４０が移動体領域４１０の画像を符号化する場合には、符号化器２４０は、圧縮制御部２２０による制御により、４画素×４画素のマクロブロックを符号化する動作モードで動作する。具体的には、画素選択部２３２は、体部領域４２０に含まれる１６画素×１６画素の部分領域から４画素×４画素の画素を選択して、その画素値を符号化器２４０に供給する。符号化器２４０は、画素選択部２３２から供給された４画素×４画素の画素値を用いて符号化する。

より具体的には、空間周波数成分算出部２４２は、画素選択部２３２から供給された４画素×４画素の画素値を用いて離散コサイン変換する。そして、量子化部２４４は、空間周波数成分算出部２４２により算出された変換係数を量子化する。また、符号化部２４６は、量子化された値を、例えばハフマン符号化、算術符号化等によりエントロピー符号化する。なお、符号化器２４０は、移動体領域４１０に含まれる１６画素×１６画素の部分領域のうち、画素選択部２３２によって選択された４画素×４画素の画素以外の画素については符号化しない。

また、符号化器２４０が背景領域の画像を符号化する場合には、符号化器２４０は、圧縮制御部２２０の制御により、２画素×２画素のマクロブロックを符号化する動作モードで動作する。具体的には、画素選択部２３２は、体部領域４２０に含まれる１６画素×１６画素の部分領域から２画素×２画素の画素を選択して、その画素値を符号化器２４０に供給する。符号化器２４０は、画素選択部２３２から供給された２画素×２画素の画素値を用いて符号化する。

より具体的には、空間周波数成分算出部２４２は、画素選択部２３２から供給された２画素×２画素の画素値を用いて離散コサイン変換する。そして、量子化部２４４は、空間周波数成分算出部２４２により算出された変換係数を量子化する。また、符号化部２４６は、量子化された値を、例えばハフマン符号化、算術符号化等によりエントロピー符号化する。なお、符号化器２４０は、背景領域に含まれる１６画素×１６画素の部分領域のうち、画素選択部２３２によって選択された２画素×２画素の画素以外の画素については符号化しない。

このように、圧縮制御部２２０は、特徴領域の特徴の種類または背景領域に応じて予め定められた画素数の画素ブロック（言い換えると、予め定められた大きさの画素ブロック）を符号化する動作モードに符号化器２４０を設定する。そして、画素選択部２３２は、当該予め定められた画素数の画素を、部分領域に含まれる複数の画素の中から選択して、符号化器２４０に供給する。したがって、符号化器２４０は、１の部分領域の画像を符号化する場合に、画素選択部２３２から供給された画素値、例えば画素選択部２３２によって間引かれた画素の画素値を用いて符号化すればよく、部分領域に含まれる他の画素値については符号化の演算対象としない。このため、符号化器２４０における演算量を著しく低減することができ、画像の符号化速度を著しく向上することができる。

なお、画像処理装置１７０では、伸張制御部３１０は、特徴領域の特徴の種類または背景領域に応じて予め定められた画素数の画素ブロックを復号する動作モードに復号器３３０を設定する。そして、部分領域画像拡大部３２２は、復号器３３０から供給された画素値を拡大処理することによって、１の部分領域の画像を得る。このように、画像処理装置１２０および画像処理装置１７０では、特徴領域の特徴の種類または背景領域に応じて予め定められた画素数の画素に対して演算するので、演算量を著しく削減することができ、画像処理速度を著しく向上することができる。

図８は、他の実施形態に係わる画像処理システム２０の一例を示す。本実施形態における画像処理システム２０の構成は、撮像装置１００ａ−ｄがそれぞれ画像処理部８０４ａ−ｄ（以下、画像処理部８０４と総称する。）を有する点を除いて、図１で説明した画像処理システム１０の構成と同じとなっている。

画像処理部８０４は、それぞれ画像処理部２００と同一の構成を有している。そして、画像処理部８０４に含まれる各構成要素の機能および動作は、画像処理部２００に含まれる各構成要素が圧縮動画伸張部２０２による伸張処理によって得られた撮像動画を処理することに替えて、撮像部１０２によって撮像された撮像動画を処理するという点を除いて、画像処理部２００に含まれる各構成要素の機能および動作と略同一であってよい。このような構成の画像処理システム２０においても、図１から図７にかけて画像処理システム１０に関連して説明した効果と略同一の効果が得ることができる。

図９は、画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す。画像処理装置１２０および画像処理装置１７０は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。

入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理装置１２０および画像処理装置１７０が起動するときに実行するブート・プログラム、あるいは画像処理装置１２０および画像処理装置１７０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図７に関連して説明した画像処理装置１２０が有する各構成要素として機能させ、画像処理装置１７０を、図１から図７に関連して説明した、画像処理装置１７０が有する各構成要素として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置１２０および画像処理装置１７０に提供してもよい。このように、プログラムにより制御されるコンピュータが、画像処理装置１２０および画像処理装置１７０として機能する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

一実施形態に係わる画像処理システム１０の一例を示す図である。 画像処理装置１２０のブロック構成の一例を示す図である。 画像処理装置１７０のブロック構成の一例を示す図である。 圧縮部２３０による圧縮処理の一例を示す図である。 特徴領域近傍の背景領域の一例を示す図である。 包含領域の一例を示す図である。 符号化器２４０が符号化する処理単位である部分領域を示す図である。 他の実施形態に係わる画像処理システム２０の一例を示す図である。 画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す図である。

符号の説明

１０ 画像処理システム
２０ 画像処理システム
１００ 撮像装置
１０２ 撮像部
１０４ 撮像動画圧縮部
１１０ 通信ネットワーク
１２０ 画像処理装置
１３０ 人物
１４０ 移動体
１５０ 監視対象空間
１６０ 空間
１７０ 画像処理装置
１７５ 画像ＤＢ
１８０ 表示装置
２００ 画像処理部
２０１ 圧縮動画取得部
２０２ 圧縮動画伸張部
２０３ 特徴領域検出部
２０６ 対応付け処理部
２０７ 出力部
２１０ 包含領域特定部
２２０ 圧縮制御部
２３０ 圧縮部
２３２ 画素選択部
２３４ 動画構成画像選択部
２４０ 符号化器
２４２ 空間周波数成分算出部
２４４ 量子化部
２４６ 符号化部
３０１ 圧縮画像取得部
３０２ 対応付け解析部
３０４ 出力部
３１０ 伸張制御部
３２０ 伸張部
３２２ 部分領域画像拡大部
３２４ 合成部
３３０ 復号器
３３２ 復号部
３３４ 逆量子化部
３３６ 逆変換部
４００ 動画構成画像
４１０ 移動体領域
４２０ 体部領域
４３０ 頭部領域
５１０ 前方領域
５２０ 後方領域
５３０ 後方領域
５４０ 前方領域
５５０ 後方領域
５６０ 前方領域
６１０ 包含領域
６２０ 包含領域
６３０ 包含領域
８０４ 画像処理部
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示デバイス
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
１５９８ ネットワーク通信装置

Claims (19)

1. 複数の動画構成画像を含む動画から特徴領域を検出する特徴領域検出部と、
   前記動画構成画像における前記特徴領域の画像より前記特徴領域以外の領域の画像を、より多くの前記動画構成画像において、前記複数の動画構成画像の少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、前記動画を圧縮した圧縮動画を生成する圧縮部と
   を備える画像処理装置。
2. 前記圧縮部は、前記特徴領域以外の領域の画像を、当該特徴領域が検出された動画構成画像以外の動画構成画像における少なくとも一部の領域の画像情報を用いて表現する
   請求項１に記載の画像処理装置。
3. 前記圧縮部は、前記特徴領域以外の領域の画像を、当該特徴領域が検出された動画構成画像以外の動画構成画像における少なくとも一部の領域の画像情報で表現することで、前記特徴領域以外の領域が前記特徴領域より低い時間分解で表示される前記圧縮動画を生成する
   請求項２に記載の画像処理装置。
4. 前記特徴領域検出部は、前記動画において移動するオブジェクトを含む領域を前記特徴領域として検出する
   請求項３に記載の画像処理装置。
5. 前記特徴領域検出部は、他の動画構成画像との間における位置の差が予め定められた値より大きいオブジェクトを含む領域を、前記特徴領域として検出する
   請求項４に記載の画像処理装置。
6. 前記圧縮部は、前記動画構成画像に含まれる予め定められた複数の部分領域毎に画像を圧縮することにより、前記圧縮動画を生成する
   請求項５に記載の画像処理装置。
7. 前記圧縮部は、前記特徴領域以外の領域に含まれる複数の前記部分領域のそれぞれの画像を、前記少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、前記圧縮動画を生成する
   請求項６に記載の画像処理装置。
8. 前記圧縮部は、前記特徴領域以外の領域に含まれる複数の部分領域のそれぞれの画像を、０ベクトルの動きベクトルで表現することにより、前記圧縮動画を生成する
   請求項７に記載の画像処理装置。
9. 前記圧縮部は、前記特徴領域以外の領域に含まれる複数の前記部分領域のそれぞれの画像を、０ベクトルの動きベクトルおよび予測画像との間の差分値として０の差分値で表現することにより、前記圧縮動画を生成する
   請求項８に記載の画像処理装置。
10. 前記特徴領域検出部は、連続する複数の動画構成画像のそれぞれにおける前記特徴領域を検出し、
    前記画像処理装置は、
    前記特徴領域検出部が検出した前記連続する複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する包含領域を特定する包含領域特定部
    をさらに備え、
    前記圧縮部は、前記連続する複数の動画構成画像における１以上の動画構成画像における前記包含領域以外の領域に含まれる複数の前記部分領域のそれぞれの画像を、前記少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、前記圧縮動画を生成する
    請求項７に記載の画像処理装置。
11. 前記包含領域特定部は、前記複数の動画構成画像のそれぞれにおける複数の特徴領域を包含する前記部分領域の集合領域を、前記包含領域として特定する
    請求項１０に記載の画像処理装置。
12. 前記圧縮部は、予め定められた数の動画構成画像により形成される部分動画毎に前記動画を圧縮することにより、前記圧縮動画を生成し、
    前記連続する複数の動画構成画像は、同一の前記部分動画に含まれる
    請求項１１に記載の画像処理装置。
13. 前記圧縮部は、前記特徴領域以外の領域に含まれる複数の前記部分領域の画像を、連続する前記複数の動画構成画像にわたる前記複数の特徴領域の位置の移動方向に基づいて選択された前記少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、前記圧縮動画を生成する
    請求項７に記載の画像処理装置。
14. 前記圧縮部は、前記特徴領域より前記移動方向が示す方向の位置にある前記特徴領域以外の領域に含まれる複数の前記部分領域の画像を、当該特徴領域が検出された動画構成画像より前に表示される前記少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現する
    請求項１３に記載の画像処理装置。
15. 前記圧縮部は、前記特徴領域より前記移動方向と反対方向の位置にある前記特徴領域以外の領域に含まれる複数の前記部分領域の画像を、当該特徴領域が検出された動画構成画像より後に表示される前記少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現する
    請求項１３に記載の画像処理装置。
16. 前記特徴領域検出部は、前記動画から特徴の種類が異なる前記複数の特徴領域を検出し、
    前記圧縮部はさらに、前記特徴の種類に応じて予め定められた数の動画構成画像における前記複数の特徴領域の画像を、当該特徴領域が検出された動画構成画像以外の動画構成画像における少なくとも一部の領域の画像情報で表現することで、前記複数の特徴領域のそれぞれが前記特徴の種類に応じて予め定められた時間分解で表示される前記圧縮動画を生成する
    請求項１４に記載の画像処理装置。
17. 前記圧縮部は、前記特徴領域以外の領域の画像を、当該特徴領域が検出された動画構成画像における他の領域の画像情報を用いて表現することにより、前記圧縮動画を生成する
    請求項１に記載の画像処理装置。
18. 複数の動画構成画像を含む動画から特徴領域を検出する特徴領域検出段階と、
    前記動画構成画像における前記特徴領域の画像より前記特徴領域以外の領域の画像を、より多くの前記動画構成画像において、前記複数の動画構成画像の少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、前記動画を圧縮した圧縮動画を生成する圧縮段階と
    を備える画像処理方法。
19. 画像処理装置用のプログラムであって、コンピュータを、
    複数の動画構成画像を含む動画から特徴領域を検出する特徴領域検出部、
    前記動画構成画像における前記特徴領域の画像より前記特徴領域以外の領域の画像を、より多くの前記動画構成画像において、前記複数の動画構成画像の少なくとも一部の動画構成画像における少なくとも一部の領域の画像情報を用いて表現することにより、前記動画を圧縮した圧縮動画を生成する圧縮部
    として機能させるプログラム。

Images