JP2018117239A - 動画データの圧縮装置、動画データの圧縮方法 - Google Patents

Abstract

【課題】透明度の情報を含む動画の圧縮率を向上させることのできる動画データの圧縮装置、動画データの圧縮方法を提供する。【解決手段】少なくとも一部に透明度の情報が設定されたフレーム画像データを用いて構成される動画データを圧縮する動画圧縮装置１０は、特定のフレーム画像データと、該特定のフレーム画像データの前方向、及び／又は、後方向に存在する他のフレーム画像データとの間で動きベクトルを検出する動きベクトル検出部１７と、検出された動きベクトルを用いて動画データを圧縮する符号生成部１３とを備え、動きベクトル検出部１７は、特定のフレーム画像データ、及び／又は、他のフレーム画像データの有する透明度の情報を用いて、特定のフレーム画像データと他のフレーム画像データとの間の動きベクトルを検出する。【選択図】図１

Description

本発明は、透明度の情報が設定された動画データのフレーム画像データを圧縮する動画データの圧縮装置、動画データの圧縮方法に関する。

従来、動画データを圧縮する際に用いられる手法としてフレーム間予測が知られている（例えば、特許文献１参照）。これは、符号化対象フレーム（例えば時系列順に並んだフレームの中で最新のフレーム）と、符号化対象フレームとは異なる時刻の参照フレーム（例えば最新のフレームの１つ前の過去のフレーム）から生成された予測画像との差分画像を符号化することで、動画データのデータ量を削減するための技術である。

特開２０１０−２００３５７号公報

ここで、フレーム間予測においてフレーム間の差分を符号化する際の処理としては、符号化対象フレームに含まれる画像情報と参照フレームに含まれる画像情報を数値化し、所定の演算に基づく処理によって画像情報の動きの方向や大きさとしての動きベクトルを求め、求めた動きベクトルを符号化することが考えられる。

一方、近年、画像情報には、色情報（例えば、ＲＧＢ色空間を形成するＲ，Ｇ，Ｂの情報や、それを輝度情報（Ｙ）と色差情報（Ｕ，Ｖ）とに変換したＹ，Ｕ，Ｖの情報など）に加え、透明度（複数の画像を重ね合わせる際の、重ねられた他の画像の透過度のこと）を規定する透明度の情報が含まれる場合がある。そして、画像情報が色情報に加えて透明度の情報を有する場合、単に色情報のみの場合とは画像情報の特質が異なる場合があるので、単に色情報の場合の演算や処理と同じ処理を行うことは必ずしも適切ではない。即ち、符号化対象フレームと参照フレームとに透明な部分や、透明度が高い部分が含まれる場合、符号化対象フレームや参照フレームの色情報は、不透明な画像情報に比べ、動きベクトルを求める際の演算や処理における重要度が高くない場合が多い。

しかし、上記特許文献１においては、画像情報として透明度を有する場合や、画像情報同士の透明度の大きさが相違する場合について考慮されていない。そのため、特許文献１においては、透明な画像も不透明な画像と同様の演算や処理によって動きベクトルを求めることになる。そのため、特許文献１においては、透明な部分を有する動画データについて、色情報の重要度が高くない場合であっても、色情報を中心にした演算や処理を行って動きベクトルを求めることになる。これは、いたずらに演算量を増加させ、かつ、いたずらに符号量を増加させることになり、動画の圧縮率の向上を抑止させてしまうという問題がある。

本発明はこのような課題に鑑みてなされたものであり、透明度の情報を含む動画の圧縮率を向上させることのできる動画データの圧縮装置、動画データの圧縮方法を提供することを課題としている。

かかる課題を解決するために、請求項１に記載の発明は、少なくとも一部に透明度の情報が設定されたフレーム画像データを用いて構成される動画データを圧縮する動画データの圧縮装置であって、特定のフレーム画像と、該特定のフレーム画像の前方向、及び／又は、後方向に存在する他のフレーム画像データとの間で動きベクトルを検出する動きベクトル検出手段と、検出された前記動きベクトルを用いて前記フレーム画像データを圧縮する圧縮手段とを備え、該動きベクトル検出手段は、前記特定のフレーム画像データ、及び／又は、前記他のフレーム画像データの有する前記透明度の情報を用いて、前記特定のフレーム画像データと前記他のフレーム画像データとの間の前記動きベクトルを検出することを特徴とする。

請求項２に記載の発明は、請求項１に記載の構成に加え、前記動きベクトル検出手段は、前記特定のフレーム画像データ、及び／又は、前記他のフレーム画像データの有する前記透明度の情報の、前記透明度の高さの値に依存して、動きベクトルの決定における画質の寄与度を補正することで前記動きベクトルを検出することを特徴とする。

請求項３に記載の発明は、請求項２に記載の構成に加え、前記動きベクトル検出手段は、前記動きベクトルを検出する際に、前記特定のフレーム画像データの前記透明度の情報の規定する前記透明度、及び／又は、前記他のフレーム画像データの前記透明度の情報の規定する前記透明度、が高いほど、前記特定のフレーム画像データの色情報、及び／又は、前記他のフレーム画像データの色情報が前記動きベクトルの決定に与える影響が小さくなるようにすることを特徴とする。

請求項４に記載の発明は、請求項１乃至３の何れか一つに記載の構成に加え、前記動きベクトル検出手段は、前記特定のフレーム画像データの色情報に前記特定のフレーム画像データの前記透明度の情報を乗算した値、及び／又は、前記他のフレーム画像データの色情報に前記他のフレーム画像データの前記透明度の情報を乗算した値、を用いて前記動きベクトルを検出することを特徴とする。

請求項５に記載の発明は、請求項４に記載の構成に加え、前記動きベクトル検出手段は、前記特定のフレーム画像データの色情報に前記特定のフレーム画像データの前記透明度の情報を乗算した値、及び／又は、前記他のフレーム画像データの色情報に前記他のフレーム画像データの前記透明度の情報を乗算した値の、絶対値誤差又は二乗誤差を用いて前記動きベクトルを検出することを特徴とする。

請求項６に記載の発明は、請求項１乃至５の何れか一つに記載の構成に加え、前記動きベクトル検出手段は、前記特定のフレーム画像データの透明度情報、及び／又は、前記他のフレーム画像データの透明度情報、を用いて前記動きベクトルを検出することを特徴とする。

請求項７に記載の発明は、少なくとも一部に透明度の情報が設定されたフレーム画像データを用いて構成される動画データを圧縮するための動画データの圧縮方法であって、特定のフレーム画像データと、該特定のフレーム画像データの前方向、及び／又は、後方向に存在する他のフレーム画像データとの間で動きベクトルが検出される動きベクトル検出手順と、検出された前記動きベクトルを用いて前記フレーム画像データが圧縮される圧縮手順とを備え、該動きベクトル検出手順においては、前記特定のフレーム画像データ、及び／又は、前記他のフレーム画像データの有する前記透明度の情報を用いて、前記特定のフレーム画像データと前記他のフレーム画像データとの間の前記動きベクトルが検出されることを特徴とする。

請求項１、請求項７に記載の発明によれば、特定のフレーム画像データ、及び／又は、他のフレーム画像データの有する透明度の情報を用いて、特定のフレーム画像データと他のフレーム画像データとの間の動きベクトルを検出することにより、透明度の情報が設定された動画データのフレーム画像において、設定された透明度の情報に依存した形で動きベクトルを検出し、フレーム画像データを圧縮することができる。そして、動きベクトルを透明度の情報に依存して検出できるので、透明な部分を有するフレーム画像データの動きベクトルの検出と符号化における、透明な部分の検出に際して重要度の低い色情報が、動きベクトルの検出と符号化に反映する度合いを低減させることが可能になる。これにより、透明度の情報を含む動画の圧縮率を向上させることができる。

請求項２に記載の発明によれば、透明度の高さの値に依存して、動きベクトルの決定における画質の貢献度を補正することで動きベクトルを検出することにより、透明度の高さの値を動きベクトルの検出と符号化に反映させて、透明度の情報を含む動画の圧縮率を向上させることができる。

請求項３に記載の発明によれば、フレーム画像データの透明度の情報の規定する透明度が高いほど、フレーム画像データの色情報が動きベクトルの大きさに与える影響が小さくなるようにすることにより、フレーム画像データの透明度が高くなって動きベクトルの検出に際して色情報の重要度が低くなるほど、動きベクトルの検出と符号化に色情報が反映される度合いを低下させることができる。これにより、透明度の情報を含む動画の圧縮において、重要度の低い情報を削減しつつ、圧縮率を向上させることができる。

請求項４に記載の発明によれば、フレーム画像データの色情報に基づいて得られる値を透明度の情報に基づいて補正することで、動きベクトルを検出することができるので、透明度の情報を含む動画の圧縮において、透明度の大きさを動きベクトルの検出と符号化における具体的な演算処理に反映させることができる。これにより、透明度の大きさに基づいて重要度の低いデータを削減しつつ、圧縮率を向上させることを、具体的な演算処理において実現することができる。

請求項５に記載の発明によれば、色情報に透明度の情報を乗算した値の、絶対値誤差又は二乗誤差によって動きベクトルを検出することにより、透明度の情報を反映させた値に基づいて精度の高い演算処理を行い、適切な動きベクトルを検出することができる。

請求項６に記載の発明によれば、透明度の情報を用いて動きベクトルを検出することにより、透明度の情報を反映させた値に基づいて精度の高い演算処理を行い、適切な動きベクトルを検出することができる。

この実施の形態に係る動画圧縮装置における全体構成を説明する機能ブロック図である。 同上動画圧縮装置における予測処理部の詳細を示す機能ブロック図である。 同上動画圧縮装置における動きベクトルの算出の原理を模式的に示す図である。 同上動画圧縮装置における動きベクトル検出部での演算における、色情報と透明度の情報の相関関係を模式的に示す図である。 同上動画圧縮装置における処理手順の一例を示すフローチャートである。

以下、本発明の実施形態について図を用いて詳細に説明する。なお、本実施形態ではＭＰＥＧの符号化方式に適用した例に基づき説明するが、ＭＰＥＧ以外のどのような画像の符号化方式に本発明が適用されてもよい。

［この実施の形態で用いられる動画データ］
この実施の形態で用いられる動画データは、透明度（α値）の情報を有する動画データである。具体的には、例えば、動画データを構成する「フレーム画像データ」としてのフレームのそれぞれの画素の画像情報としてに、ＲＧＢ色空間の「Ｒ」情報、「Ｇ」情報、「Ｂ」情報に加え、透明度（α値）を規定する「Ａ」情報が、０〜２５５の値で設定されている場合（ただし、「Ａ」情報は０が透明度最大（透明度１００％）、２５５が透明度最小（透明度０％））がこれに相当する。

この実施の形態においては、動画圧縮装置１０（図１参照）において、この透明度情報を含むフレームを圧縮する。なお、動画圧縮装置１０（図１参照）においては、透明度（α値）の情報を含むフレーム全てを圧縮の対象としてもよいし、一部のみを圧縮の対象としてもよい。また、動画圧縮装置１０において圧縮の対象とされる動画データは、全てのフレームが透明度（α値）の情報を有していてもよいし、少なくとも一部のフレームのみが透明度（α値）の情報を有していてもよい。また、動画圧縮装置１０（図１参照）においては、透明度（α値）の情報を用いた圧縮（後述）と、透明度（α値）の情報を用いた圧縮以外の圧縮方法とを併用して動画データの圧縮を行うものであってもよい。

［動画圧縮装置の基本構成］
図１に、この実施の形態の動画圧縮装置１０の機能ブロック図を、図２はこの実施の形態の動画圧縮装置の予測処理部を示す機能ブロック図をそれぞれ示す。この実施の形態の「動画データの圧縮装置」としての動画圧縮装置１０は、エンコーダとしての機能を有し、透明度の情報を有する動画データを圧縮符号化する。具体的には、例えばこの動画圧縮装置は、別個の動画が複数重ね合わされ、かつ重ね合わされた際に透明度に応じてアルファブレンドして表示され、その部分から後側で表示される動画の一部が透過した状態でディスプレイに表示される、遊技機の動画の圧縮符号化に用いられる。ただし、遊技機以外に用いられる、複数重ね合わされて表示される、透明度の情報を有するいかなる動画の圧縮符号化に用いられてもよい。

この動画圧縮装置１０においては、動画データが所定の矩形領域の単位で、即ち所定数の画素からなるマトリックスの単位で処理される（詳しくは後述する）。

一方の画像と他方の画像とを重ね合わせたフレーム画像データにおいて、画像データを透明度に応じて圧縮する場合、一方の画像の透明度に応じて、一方の画像のフレーム画像データを圧縮しても、他方の画像のフレーム画像データを圧縮しても、両方の画像のフレーム画像データを圧縮してもよい。

この実施の形態では、一方の画像の透明度に応じて一方の画像のフレーム画像データを圧縮する装置の例を用いて説明する。

この実施の形態の動画圧縮装置１０は、エンコーダとしての圧縮符号化を行うための構成として、予測処理部１１、ＤＣＴ部１２、符号生成部１３、フレームメモリ１４を有する。また、動画圧縮装置１０は、デコーダとしての圧縮データの復号処理を行うための構成として、逆量子化部１５、逆ＤＣＴ部１６をも有する。

予測処理部１１は、「動画データ」としてのフレームを複数用いてフレーム間予測を行うための処理を行う。具体的には、入力画像としての動画データから予測画像（過去の動画フレームに対して所定の予測処理を行って生成された動画フレーム）を生成して出力する。この予測画像は、入力画像を減算されて生成された予測誤差としてＤＣＴ部１２に供給されると共に、逆ＤＣＴ部１６で生成されたＤＣＴデータに加算されて参照画像を生成してフレームメモリ１４に記憶される。

ＤＣＴ部１２は、各画像データのＤＣＴ（離散コサイン変換）を行う。具体的には、各画像データに対してブロックの単位で離散コサイン変換等の周波数変換を行うことで周波数成分に分解し、係数化されたＤＣＴデータを生成する。この実施の形態のＤＣＴ部１２は、予測処理部１１におけるフレーム間予測処理の結果としての、入力画像と予測画像との差分により形成された予測誤差の周波数変換を行うことで、ＤＣＴデータを生成する。なお、この実施の形態のＤＣＴ部１２は構成の一例であり、ＤＣＴ（離散コサイン変換）に替えて、ウェーブレット変換やアダマール変換を利用することは勿論のこと、ＤＰＣＭ（Differential Pulse Code Modulation：差分パルス符号変調）を用いることも可能である。

符号生成部１３は、所定の符号化方式により処理された画像データを量子化係数に基づいて量子化することで量子化データを生成して符号化する。なお、ここでの「所定の符号化方式」とは、直前の構成であるＤＣＴ部１２における離散コサイン変換等の周波数変換に基づく変換符号化方式を指す。

なお、図１に示す通り、符号生成部１３は、ＤＣＴデータを量子化係数等を用いて量子化し量子化データを生成する量子化部１９と、ハフマン符号や算術符号等のエントロピー符号化を用いて量子化データをさらに圧縮して符号化データを生成する可変長符号化部２０とを備えている。

フレームメモリ１４は、ＲＡＭ、キャッシュ等の各種記憶媒体であって、各種の動画データを記憶する。ここでは、予測処理部１１におけるフレーム間予測処理の結果生成された動画データが記憶される。また、逆ＤＣＴ部１６における逆ＤＣＴ処理の結果生成された動画データも記憶される。

逆量子化部１５は、既定の量子化係数を用い、入力された量子化データを逆量子化することで、ＤＣＴデータを復号する。この実施の形態において逆量子化部１５に入力される量子化データは、量子化部１９から出力されたもの（図１参照）である。逆ＤＣＴ部１６は、逆量子化部１５から出力されたＤＣＴデータに逆ＤＣＴ処理を行う。逆量子化部から出力された動画データは、予測処理部１１から出力された予測画像（後述）と合成されて過去の動画フレームとしての参照画像（後述）を形成し、フレームメモリ１４に記憶される。

予測処理部１１は、「動きベクトル検出手段」としての動きベクトル検出部１７と、動き補償部１８とを有する。

動きベクトル検出部１７は、複数の動画フレームの間で動きベクトルを検出する。具体的には、動きベクトル検出部１７は、特定のフレーム画像データと、特定のフレーム画像データの前方向、及び／又は、後方向に存在する他のフレーム画像データとの間で動きベクトルを検出する。この実施の形態においては、特定の時間、例えば現在のフレーム画像と、その一つ前のフレーム画像とをそれぞれ略矩形の複数のブロックに区分し、特定の時間のフレーム画像の基準位置となるブロックの画像情報（色情報や透明度情報）が、他のフレーム画像のどのブロックから移動したものかを探索し、それらのブロック同士の移動方向や移動量としての動きベクトルを検出する。

動き補償部１８は、参照画像（過去の動画フレーム）から、動きのある画像を動きベクトル分移動させる動き補償の処理を行う。

図２は、予測処理部１１の詳細を示す機能ブロック図である。同図に示す通り、予測処理部１１の動きベクトル検出部１７は、動き探索制御部２１、動きベクトル探索部２２、符号化コスト算出部２３を備えている。また、動きベクトル探索部２２は、二乗誤差演算部２２１、動きベクトル決定部２２２を備えている。

動き探索制御部２１は、動きベクトル探索部２２や符号化コスト算出部２３の処理を制御し、動きベクトル探索部２２で探索された動きベクトルの中から最も適切なものを検出する。

動きベクトル探索部２２は、動きベクトルの探索のための処理を行う。具体的には、符号化コスト算出部２３の算出したコストを用いて、現在のフレーム画像の一つ前のフレーム画像（参照画像）の基準位置のブロックに表示された画像が、現在のフレーム画像（符号化対象画像）のどのブロックに移動したかを探索するための処理を行う。

二乗誤差演算部２２１は、動きベクトルを算出する際に二乗誤差を用いた演算を行うことで、現在のフレーム画像の一つ前のフレーム画像の基準位置のブロックと現在のフレーム画像のブロックとの間の誤差を演算する処理を行う。

動きベクトル決定部２２２は、二乗誤差演算部２２１の演算結果に基づいて、符号化コスト算出部２３で計算されるコストが小さくなるよう、現在のフレーム画像の一つ前のフレーム画像の基準位置から、現在のフレーム画像のブロックにおける移動位置までの位置と方向とに基づく動きベクトルを決定する。

符号化コスト算出部２３は、現在のフレーム画像の一つ前のフレーム画像の基準位置の有する情報と、現在のフレーム画像のブロックの有する情報とに基づいて、それらのブロック同士の距離を決定するための情報としての符号化コストの値を演算する。

［動きベクトルの算出］
以下、この実施の形態における動きベクトルの算出の原理について、図３の模式図を参酌して説明する。この実施の形態の動画圧縮装置１０においては、この原理に基づいて動きベクトルの算出を行う。

例えば、図３に示すように、参照画像である最新のフレーム画像の一つ前の過去のフレーム画像（以下「直前フレーム３１」と称する）と、符号化対象画像である最新のフレーム画像（以下「最新フレーム３２」と称する）とを所定の数の矩形ブロックのマトリックス（例えばｍ行×ｎ列（ただしｍ＞１，ｎ＞１））に区分して、それぞれのフレーム画像のブロックの近似の度合いを対比することで動きベクトルを算出する場合を考える。この場合、過去の直前フレーム３１の特定のブロック例えばブロック３１１に最も画像情報が近似した現在のフレーム画像のブロックを選択し、双方のブロックの距離や方向に基づいて動きベクトルが決定される。

このように動きベクトルを算出する場合、一般に、下記式（１）に示すような二乗誤差を用いた式で算出されていた（なお、この式は色情報がＲＧＢ色空間の「Ｒ」「Ｇ」「Ｂ」である場合を示す）。

ただし、
ＳＳＤ：Sum of Squared Difference（二乗誤差）
Σ：ブロック内の全ての画素の値の総和
Ｒｄｓｔ：符号化対象フレームの特定の画素の色情報としてのＲ情報
Ｒｓｒｃ：参照フレームの特定の画素の色情報としてのＲ情報
Ｇｄｓｔ：符号化対象フレームの特定の画素の色情報としてのＧ情報
Ｇｓｒｃ：参照フレームの特定の画素の色情報としてのＧ情報
Ｂｄｓｔ：符号化対象フレームの特定の画素の色情報としてのＢ情報
Ｂｓｒｃ：参照フレームの特定の画素の色情報としてのＢ情報
＾：乗算記号。たとえば「○○＾２」は「○○の２乗」を示す。

また、画素情報に透明度情報が含まれている場合には、画素毎の透明度情報を二乗誤差を算出する一要素として単純に利用することが考えられ、その場合には下記色（２）に示すような式となる。

ただし、
ＳＳＤ：Sum of Squared Difference（二乗誤差）
Σ：ブロック内の全ての画素の値の総和
Ａｄｓｔ：符号化対象フレームの特定の画素の透明度情報（α値の情報）
Ａｓｒｃ：参照フレームの特定の画素の透明度情報（α値の情報）
Ｒｄｓｔ：符号化対象フレームの特定の画素の色情報としてのＲ情報
Ｒｓｒｃ：参照フレームの特定の画素の色情報としてのＲ情報
Ｇｄｓｔ：符号化対象フレームの特定の画素の色情報としてのＧ情報
Ｇｓｒｃ：参照フレームの特定の画素の色情報としてのＧ情報
Ｂｄｓｔ：符号化対象フレームの特定の画素の色情報としてのＢ情報
Ｂｓｒｃ：参照フレームの特定の画素の色情報としてのＢ情報
＾：乗算記号。たとえば「○○＾２」は「○○の２乗」を示す。

また、符号化対象フレーム中の最も近似したブロックを探索する際は、上記式（２）で算出したＳＳＤの値に、動きベクトルの大きさに関する値を加算した、コストの値が用いられる場合が多い。このコストの値（以下「コスト値」と称する）は、例えば下記式（３）で求められる。そして、コスト値が最小となるブロックが動きベクトルの始点と終点として検出される。
コスト値＝ＳＳＤ＋λ動きベクトルの消費ビット・・・（３）
ただし
λ：ビット数の単位をＳＳＤの単位に揃えるための所定の係数
上記式（２）においても画素の透明度情報を二乗誤差を算出する際に利用することになるが、透明度情報をより一層活用するため、この実施の形態においては、動きベクトル探索部２２の動きベクトル決定部２２２は、下記の式（４）によってブロック同士の近似の値を求める。

ただし、
ＳＳＤ’：Sum of Squared Difference（二乗誤差）
Σ：ブロック内の全ての画素の値の総和
Ａｄｓｔ：符号化対象フレームの特定の画素の透明度情報（α値の情報）
Ａｓｒｃ：参照フレームの特定の画素の透明度情報（α値の情報、ただし０≦Ａｓｒｃ≦２５５）
Ｒｄｓｔ：符号化対象フレームの特定の画素の色情報としてのＲ情報
Ｒｓｒｃ：参照フレームの特定の画素の色情報としてのＲ情報
Ｇｄｓｔ：符号化対象フレームの特定の画素の色情報としてのＧ情報
Ｇｓｒｃ：参照フレームの特定の画素の色情報としてのＧ情報
Ｂｄｓｔ：符号化対象フレームの特定の画素の色情報としてのＢ情報
Ｂｓｒｃ：参照フレームの特定の画素の色情報としてのＢ情報
＾：乗算記号。たとえば「○○＾２」は「○○の２乗」を示す。

そして、符号化コスト算出部２３は、上記式（３）の「ＳＳＤ」に替えて、上記式（４）で算出した「ＳＳＤ’」を用い、下記式（５）のコスト値が最小となるブロックを動きベクトルの始点と終点として検出する。
コスト値＝ＳＳＤ’＋λ動きベクトルの消費ビット・・・（５）
ただし
λ：ビット数の単位をＳＳＤ’の単位に揃えるための所定の係数
上記式（４）においては、右辺の「Ｒ」「Ｇ」「Ｂ」の各項に「Ａｓｒｃ／２５５（ただし０≦Ａｓｒｃ≦２５５）」を乗算している点が上記式（２）と異なる。

上記式（４）は、画素ごとに０≦Ａｓｒｃ≦２５５（０：完全に透明な状態、２５５：完全に不透明な状態）で透明度が設定されている場合が該当する。例えば、特定の画素が完全に透明（つまりＡｓｒｃ＝０）であれば、「Ｒ」「Ｇ」「Ｂ」の項の値は全て「０」になる。また例えば、特定の画素が半透明（つまり０＜Ａｓｒｃ＜２５５）であれば、「Ｒ」「Ｇ」「Ｂ」の項の値は、完全不透明な場合（つまりＡｓｒｃ＝２５５の場合）の値よりも小さくなる。かつ、特定の画素が半透明の場合、透明度が高いほど「Ｒ」「Ｇ」「Ｂ」の項の値は小さくなる。つまり、動きベクトルを決定する際に、対比する画素同士やブロック同士の色情報の誤差よりも、透明度の誤差の方が、動きベクトルの決定において重要度が高くなる。そして、色情報の誤差を無視したり、色情報の誤差が値全体の中で占める比率を低くしたりする方が、符号化する際の符号量が小さくなる場合が多い。

ここで、画像の透明度が高いほど、色情報は、画像上の位置を特定する上での重要度が低くなる。しかし、従来の、上記（２）の式における演算においては、ブロックに含まれる画素の画像情報が完全に透明である場合や透明度が高い場合であっても、常に「Ｒ」「Ｇ」「Ｂ」の値が演算され、式（２）によって得られる値全体の中で「Ｒ」「Ｇ」「Ｂ」の値が高い比率を占めることになる。この場合、重要度が低い色情報を無視したり値全体の中で占める比率を低くすることはできないので、符号化する際の符号量を小さくすることが抑止されてしまう。

一方、上記式（４）の演算においては、透明度が高いほど「Ｒ」「Ｇ」「Ｂ」の項の値が「ＳＳＤ’」の値全体に占める比率は小さくなる。つまり、式（４）の演算によって得られる値は、画像の透明度が高いほど、位置情報を特定する際に、色情報よりも透明度の重要度の高さが反映されたものとなり、Ｒ、Ｇ、Ｂで表現される画質による寄与度が補正される。そして、式（４）の演算結果は、色情報の誤差を無視したり、色情報の誤差が値全体の中で占める比率を低くしたりすることができるので、符号化する際の符号量が小さくなって、圧縮率を高くすることが可能になる。

［色情報と透明度の相関関係］
図４は、この実施の形態の動画圧縮装置１０における色情報と透明度の相関関係の事例を模式的に示す図である。同図は、横軸が透明度（α値、ただし０≦α値≦２５５）、縦軸が色情報の寄与度又は画質の寄与度（ＲＧＢの寄与度又はＹＵＶの寄与度、ただし０％≦寄与度≦１００％）を示している。

同図に示す通り、この実施の形態の動画圧縮装置１０の二乗誤差演算部２２１においては、上記式（３）に基づいて動きベクトルが検出されることにより、動きベクトルを探索する際の色情報と透明度の相関関係は、図４に示す第一の関数１０１のように、α値が０／２５５のとき（つまり透明度が１００％の全透明の場合）は色情報の寄与度は０、α値が１２７／２５５（つまり透明度が５０％のとき）は色情報の寄与度は５０％、α値が２５５／２５５（つまり透明度０％の完全不透明のとき）は色情報の寄与度が１００％になる。つまりα値と色情報とは比例関係にある。

ただし、この実施の形態において、動画圧縮装置１０の二乗誤差演算部２２１における演算は、完全な比例関係でなくてもよい。例えば、図４に示す第二の関数１０２、第三の関数１０３、第八の関数１０８のように、透明度と色情報とが、α値が０／２５５のときの色情報の寄与度は０、α値が２５５／２５５の色情報の寄与度が１００％となり、その途中（０／２５５＜α値＜２５５／２５５，０％＜色情報＜１００％のとき）は概ねの相関関係を持った状態で透明度と色情報とが推移するように設定されていてもよく、第四の関数１０４のように、α値が０／２５５以上１２７／２５５未満のときは色情報の寄与度が０％で、α値が１２７／２５５以上２５５／２５５以下のときは色情報の寄与度が１００％になるように設定されていてもよい。

また、この実施の形態において、動画圧縮装置１０の二乗誤差演算部２２１における演算は、透明度や色情報の最小値が０／２５５や０％以外の値でもよいし、最大値が２５５／２５５や１００％以外の値でもよい。例えば、図４に示す第五の関数１０５のように、透明度と色情報とが概ねの相関関係を持った状態で、色情報の最大値が１００％未満の値となるように設定されていてもよい。また、第六の関数１０６のように、透明度と色情報とが概ねの相関関係を持った状態で、色情報の最小値が０％より上の値となるように設定されていてもよい。また、第七の関数１０７のように、透明度と色情報とが概ねの相関関係を持った状態で、色情報の最小値が０％より上の値となり、最大値が１００未満の値となるように設定されていてもよい。さらに、第一の関数１０１乃至第七の関数１０７以外のいかなる関数にて、これらの関数と同様に設定されていてもよい。すなわち、二乗誤差演算で利用するα値の範囲（本実施の形態では０〜２５５）において、α値と色情報の寄与度との関係が右肩上がりの傾向を有していれば、α値を考慮した動きベクトル検出となり、符号量を低減することができる。なお、“右肩上がり”とは関数１０１、１０３、１０５、１０６、１０７のように単調な上昇のものや、関数１０２、１０８のように増減を伴いつつ上昇するものや、関数１０４のように所定のα値を境に急激に色情報寄与度が変化するものも含む。

［処理手順］
図５は、この実施の形態の動画圧縮装置１０の処理手順の一例を示すフローチャートである。以下、図５及び図１乃至図４に基づいて、「動画データの圧縮方法」としての、この実施の形態の処理手順の一例を説明する。なお、図５の処理手順では、いわゆる「ダイヤモンドサーチ」に基づいて動きベクトルを探索する処理を記載しているが、これに限らず、たとえば、処理対象のフレームの全てのブロックを総当たり的に探索する「フルサーチ」等、他のあらゆる処理方法によって動きベクトルの探索が行われてもよい。

動きベクトル検出部１７の動き探索制御部２１は、動きベクトル探索部２２を制御して動きベクトルの探索を開始する。動きベクトル探索部２２の動きベクトル決定部２２２は、参照画像としての直前フレーム３１（以下「直前フレーム」と称する。）を所定の数の矩形ブロックのマトリックス（例えばｍ行×ｎ列（ただしｍ＞１，ｎ＞１））に区分し、所定の位置のブロック（例えば一番右下のブロック３１１）を探索して基準位置とする。

次に、動きベクトル決定部２２２は、符号化対象画像としての最新フレーム３２を直前フレーム３１と同じ矩形ブロックのマトリックス（例えばｍ行×ｎ列のマトリックス）に区分し、最新フレーム３２の直前フレーム３１と同じ位置（例えば一番右下のブロック３２１）を探索する。そして、動きベクトル決定部２２２は、直前フレーム３１と最新フレーム３２の探索したブロック３１１，３２１をベクトルの始点と終点とする、初期動きベクトルとして決定する。

そして、動きベクトル決定部２２２は、初期動きベクトルの始点と終点である直前フレーム３１のブロック３１１と最新フレーム３２のブロック３２１とから画像情報（それぞれのブロックを構成する複数の画素のそれぞれの有する、色情報（Ｒ，Ｇ，Ｂの値）と透明度の情報（Ａの値））を抽出する。抽出された情報は二乗誤差演算部２２１に送られ、二乗誤差演算部２２１は取得した情報を上記式（３）に代入し演算を行う。動きベクトル決定部２２２と二乗誤差演算部２２１におけるこの処理と演算は、初期動きベクトルの始点と終点である直前フレーム３１のブロック３１１と最新フレーム３２のブロック３２１を構成する画素それぞれについて繰り返し行われ、その総和が式（３）の「ＳＳＤ’」の値として算出される。

そして、動きベクトル探索部２２は、算出した「ＳＳＤ’」の値を符号化コスト算出部２３に送る。動きベクトル探索部２２は、取得した値を上記式（４）に代入し、「コスト」の値を算出する（ステップＳ１、動きベクトル検出手順）。

動きベクトル探索部２２は、算出した「コスト」の値を動きベクトル探索部２２に送る。動きベクトル探索部２２は、取得した「コスト」の値を一時記憶する。

次に、動きベクトル探索部２２は、動きベクトルを上下左右に移動したコストを計算する（ステップＳ２、動きベクトル検出手順）。具体的には、動きベクトル決定部２２２は、（直前フレーム３１の基準位置のブロック３１１は固定したままで）最新フレーム３２において決定されているブロック３２１の一つ上隣のブロック３２２、一つ下隣のブロック（図５においては存在せず）、一つ左隣のブロック３２３、一つ右隣のブロック（図５においては存在せず）をそれぞれ探索し、直前フレーム３１の基準位置のブロック３１１とそれら探索したブロック３２２，３２３とを両端とした動きベクトルを決定する。そして、二乗誤差演算部２２１は、決定された動きベクトルの両端のブロック３１１，３２２，３２３についてそれぞれ式（３）を用いた「ＳＳＤ’」の値を算出する。さらに、符号化コスト算出部２３は、それらの「ＳＳＤ’」の値を式（４）に代入して「コスト」の値を算出する。動きベクトル決定部２２２は、算出されたそれぞれの「コスト」の値を記憶する。

そして、動きベクトル決定部２２２は、最新フレーム３２のブロック３２１を上下左右に移動させた後のブロック３２２，３２３によって決定される「コスト」の値をそれぞれ対比し、その中で「コスト」の値が最小のものを検出し、その「コスト」の値が最小の方向を、最新フレーム３２のブロック３２１を移動させる方向として採用する（ステップＳ３、動きベクトル検出手順）。例えば、移動させた後の最新フレーム３２のブロック３２２，３２３の中で、当初のブロック３２１よりも一つ上隣のブロック３２２の「コスト」が最小である場合、動きベクトル決定部２２２は、一つ上隣のブロック３２２の方向、即ち上方向を、最新フレーム３２におけるブロック３２１の移動方向として採用する。

そして、動きベクトル決定部２２２は、初期動きベクトルの「コスト」と、ステップＳ３で移動方向の採用に用いられた、移動させた後のブロック３２２における最小の「コスト」とを対比する。移動させた後の最小の「コスト」が初期動きベクトルの「コスト」よりも小さい場合（ステップＳ４の“ＮＯ”）、その移動方向のブロック３２２を最新フレーム３２の新たな基準となるブロックに設定し、そのブロック３２２の「コスト」と、そのブロック３２２の上下左右のブロック（上隣のブロック３２４、左隣のブロック３２５、下隣のブロック３２１）との動きベクトルの「コスト」を算出し（ステップＳ２，Ｓ３）、コストの比較を行うことを、ブロック３２１の「コスト」より移動させた後のブロック３２２の「コスト」の方が小さくなる間は繰り返し行う（ステップＳ４の“ＮＯ”
、動きベクトル検出手順）。一方、初期動きベクトルの「コスト」の方が移動させた後のブロック３２２最小の「コスト」よりも小さい場合（ステップＳ４の“ＹＥＳ”）は、動きベクトル決定部２２２はステップＳ３にて「コスト」を採用したブロック３２２への移動は行わず、移動させる前のブロック３２１を動きベクトルの終点（又は始点）として検出し、処理は終了する。

動きベクトル検出部１７は、直前フレーム３１の各フレームを順番に基準位置として設定しながらステップＳ１〜Ｓ４の処理を行っていく。この処理が完了すると、予測処理部１１は、動き補償部１８における動き補償の処理ののち、生成された予測画像を送信する。動画圧縮装置１０は、この予測画像と入力画像とによって予測誤差を生成してＤＣＴ部１２でＤＣＴ処理を行う。ＤＣＴ部１２で生成されたＤＣＴデータは符号生成部１３に供給され、符号生成部１３の量子化部１９における処理によって量子化データが生成され、可変長符号化部２０において符号化データが生成されて、データの圧縮符号化が行われる（圧縮手順）。

以上、この実施の形態においては、特定の動画データ、及び／又は、他の動画データの有する透明度の情報を用いて、特定の動画データと他の動画データとの間の動きベクトルを検出することにより、透明度の情報が設定された動画データにおいて、設定された透明度の情報に依存した形で動きベクトルを検出し、動画データを圧縮することができる。そして、動きベクトルを透明度の情報に依存して検出できるので、透明な部分を有する動画データの動きベクトルの検出と符号化における、透明な部分の検出に際して重要度の低い色情報が、動きベクトルの検出と符号化に反映する度合いを低減させることが可能になる。これにより、透明度の情報を含む動画の圧縮率を向上させることができる。

この実施の形態においては、透明度の高さの値に依存して、特定の動画データの位置情報と他の動画データの位置情報とによって形成されるベクトルの大きさを補正することで動きベクトルを検出することにより、透明度の高さの値を動きベクトルの検出と符号化に反映させて、透明度の情報を含む動画の圧縮率を向上させることができる。

この実施の形態においては、動画データの透明度の情報の規定する透明度が高いほど、動画データの色情報が動きベクトルの大きさに与える影響が小さくなるようにすることにより、動画データの透明度が高くなって動きベクトルの検出に際して色情報の重要度が低くなるほど、動きベクトルの検出と符号化に色情報が反映される度合いを低下させることができる。これにより、透明度の情報を含む動画の圧縮において、重要度の低い情報を削減しつつ、圧縮率を向上させることができる。

この実施の形態においては、動画データの色情報に基づいて得られる値を透明度の情報に基づいて補正することで、動きベクトルを検出することができるので、透明度の情報を含む動画の圧縮において、透明度の大きさを動きベクトルの検出と符号化における具体的な演算処理に反映させることができる。これにより、透明度の大きさに基づいて重要度の低いデータを削減しつつ、圧縮率を向上させることを、具体的な演算処理において実現することができる。

この実施の形態においては、色情報に透明度の情報を乗算した値の、絶対値誤差又は二乗誤差によって動きベクトルを検出することにより、透明度の情報を反映させた値に基づいて精度の高い演算処理を行い、適切な動きベクトルを検出することができる。

この実施の形態においては、透明度の情報を用いて動きベクトルを検出することにより、透明度の情報を反映させた値に基づいて精度の高い演算処理を行い、適切な動きベクトルを検出することができる。

なお、この実施の形態においては、最新フレームを符号化対象画像、直前フレームを参照画像としたが、これに限定されず、過去の特定のフレームを符号化対象画像、この特定のフレームの一つ後（時系列的に後）のフレームを参照画像として処理を行ってもよい。また、符号化対象フレームの一つ前や一つ後のフレームのみならず、複数枚前や複数枚後（例えば特定のフレームの二つ前のフレームや二つ後のフレーム）を参照画像として処理を行ってもよいし、所定の時間のフレームの前のフレームと後のフレームとを参照画像として処理を行ってもよい。

上記の実施の形態は本発明の例示であり、本発明が上記の実施の形態のみに限定されることを意味するものではないことは、いうまでもない。

１０・・・動画圧縮装置（動画データの圧縮装置）
１１・・・符号生成部（圧縮手段）
１７・・・動きベクトル検出部（動きベクトル検出手段）

Claims (7)

1. 少なくとも一部に透明度の情報が設定されたフレーム画像データを用いて構成される動画データを圧縮する動画データの圧縮装置であって、
   特定のフレーム画像と、該特定のフレーム画像の前方向、及び／又は、後方向に存在する他のフレーム画像データとの間で動きベクトルを検出する動きベクトル検出手段と、
   検出された前記動きベクトルを用いて前記フレーム画像データを圧縮する圧縮手段とを備え、
   該動きベクトル検出手段は、前記特定のフレーム画像データ、及び／又は、前記他のフレーム画像データの有する前記透明度の情報を用いて、前記特定のフレーム画像データと前記他のフレーム画像データとの間の前記動きベクトルを検出することを特徴とする動画データの圧縮装置。
2. 前記動きベクトル検出手段は、前記特定のフレーム画像データ、及び／又は、前記他のフレーム画像データの有する前記透明度の情報の、前記透明度の高さの値に依存して、動きベクトルの決定における画質の寄与度を補正することで前記動きベクトルを検出することを特徴とする請求項１に記載の動画データの圧縮装置。
3. 前記動きベクトル検出手段は、前記動きベクトルを検出する際に、前記特定のフレーム画像データの前記透明度の情報の規定する前記透明度、及び／又は、前記他のフレーム画像データの前記透明度の情報の規定する前記透明度、が高いほど、前記特定のフレーム画像データの色情報、及び／又は、前記他のフレーム画像データの色情報が前記動きベクトルの決定に与える影響が小さくなるようにすることを特徴とする請求項２に記載の動画データの圧縮装置。
4. 前記動きベクトル検出手段は、前記特定のフレーム画像データの色情報に前記特定のフレーム画像データの前記透明度の情報を乗算した値、及び／又は、前記他のフレーム画像データの色情報に前記他のフレーム画像データの前記透明度の情報を乗算した値、を用いて前記動きベクトルを検出することを特徴とする請求項１乃至３の何れか一つに記載の動画データの圧縮装置。
5. 前記動きベクトル検出手段は、前記特定のフレーム画像データの色情報に前記特定のフレーム画像データの前記透明度の情報を乗算した値、及び／又は、前記他のフレーム画像データの色情報に前記他の動画データの前記透明度の情報を乗算した値の、絶対値誤差又は二乗誤差を用いて前記動きベクトルを検出することを特徴とする請求項４に記載の動画データの圧縮装置。
6. 前記動きベクトル検出手段は、前記特定のフレーム画像データの透明度情報、及び／又は、前記他のフレーム画像データの透明度情報、を用いて前記動きベクトルを検出することを特徴とする請求項１乃至５の何れか一つに記載の動画データの圧縮装置。
7. 少なくとも一部に透明度の情報が設定されたフレーム画像データを用いて構成される動画データを圧縮するための動画データの圧縮方法であって、
   特定のフレーム画像データと、該特定のフレーム画像データの前方向、及び／又は、後方向に存在する他のフレーム画像データとの間で動きベクトルが検出される動きベクトル検出手順と、
   検出された前記動きベクトルを用いて前記フレーム画像データが圧縮される圧縮手順とを備え、
   該動きベクトル検出手順においては、前記特定のフレーム画像データ、及び／又は、前記他のフレーム画像データの有する前記透明度の情報を用いて、前記特定のフレーム画像データと前記他のフレーム画像データとの間の前記動きベクトルが検出されることを特徴とする動画データの圧縮方法。
   

Images