JP5303399B2

JP5303399B2 - 動画像ビット深度削減装置及びプログラム

Info

Publication number: JP5303399B2
Application number: JP2009189220A
Authority: JP
Inventors: 康孝松尾; 善明鹿喰; 和久井口; 俊枝三須; 慎一境田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2009-08-18
Filing date: 2009-08-18
Publication date: 2013-10-02
Anticipated expiration: 2029-08-18
Also published as: JP2011041190A

Description

本発明は、動画像の注視領域及び注視外領域を判別して動画像のコンポーネント信号のビット深度を削減する動画像ビット深度削減装置及びプログラムに関する。

近年、デジタル撮像カメラや表示装置の高ダイナミックレンジ化のため、１０ビット深度や１２ビット深度のコンポーネント信号を利用する機会が多くなっている。特に業務用カメラは、通常１０ビット深度や１２ビット深度の動画像を出力することができる。更に、デジタルシネマでは、１２ビット深度の動画像まで扱えるように規格（コンテナ）が定められている（例えば、非特許文献１参照）。

１０ビット深度や１２ビット深度などの高ビット深度の動画像は情報量の増大を招くことになる。そこで、輝度信号Ｙと色差信号Ｕ，Ｖ（Ｕ信号＝青色信号Ｂ−輝度信号Ｙ，Ｖ信号＝赤色信号Ｒ−輝度信号Ｙ）に関して、実際のカラー映像信号には色として存在し得ない無駄な量子化ビットの組み合せを除去する技術が知られている（例えば、特許文献１参照）。

一方、人間の視覚特性において、空間周波数の弁別能力は、１．０の標準視力において１画素１分（１分という単位は、視野角１度の１／６０という意味）である。１画素１分となるような視野角（ＦｉｅｌｄｏｆＶｉｅｗ）となる視聴距離を標準視聴距離と云う。スーパーハイビジョンは標準視聴距離０．７５Ｈ（Ｈは画面高）、水平視野角が１００度である。

いわゆる８Ｋと呼ばれるスーパーハイビジョン（ＳＨＶ）のようなハイビジョンの１６倍の解像度を有する超高精細動画像を提供する、従来のハイビジョンよりも大画面を目的とした動画像システムがある（例えば、特許文献２参照）。スーパーハイビジョンの動画像システムでは、標準視距離における水平視野角が広視野となるため、まるで画像に包み込まれるような臨場感ある動画像を楽しむことができる。しかしながら、フレームレートが従来の標準画質やハイビジョン用の画面と異なるため、同様の画角で動画像を撮像した場合、フレーム間の動き速度に差が生じることになる。

例えば、図１４（ａ）に示すように、ハイビジョン画面は１９２０画素×１０８０ラインであり、画面高さ（Ｈ）に対して３Ｈの距離に視点があるとすると、水平視野角が３０度であるのに対し、図１４（ｂ）に示すように、スーパーハイビジョン画面は、７６８０画素×４３２０ラインであり、画面高さ（Ｈ）に対して０．７５Ｈの距離に視点があるとすると、水平視野角が１００度である。このような広視野動画像について、スーパーハイビジョン画面用の超高精細動画像とハイビジョン画面用の動画像とを比較すると、超高精細動画像は、水平・垂直解像度ともに４倍となるため、両者が同じフレームレートの場合はフレーム間の動き速度も４倍となる。

また、人間の視覚特性における注視や色視野の弁別能力は、動視野によって変化することも知られている（例えば、非特許文献２，３参照）。

特開平８−２８９３１８号公報特開２００８−１３１３２１号公報

H.264/MPEG-4AVC, ISO/IEC 14496-10, "Information technology-Coding of audio-visual objects-Part 10: Advanced Video Coding", second edition, ２００４年１０月 Ferree, C.E. & Rand, G., "Effect of size of stimulus on size and shape of color fields", Amer. J. Ophthal., 10, 1927, pp. 399-411 Moreland, J.D. & Cruz, A., "Colour perception with the peripheral retina", Optica Acta, Vol. 6, 1959, pp. 117-151

従来の動画像は、多くの場合８ビットの色信号を扱ってきた。Ｈ．２６４／ＭＰＥＧ−４ＡＶＣなどの動画像符号化やモニタ表示でも、主に８ビットの赤・緑・青信号、及び輝度信号・色差信号を用いる。色差信号は、水平及び垂直方向、及び時間軸方向に間引かれることがある（４：２：２や４：２：０と呼ばれる画像フォーマット）。色差信号の間引きは、色情報が輝度情報よりも空間周波数に対する感度が低いことを利用している。

更に、近年では、デジタル撮像カメラや表示装置の高ダイナミックレンジ化により、１０ビット深度や１２ビット深度のコンポーネント信号を利用する機会が多くなってきている。ほとんどの業務用カメラは、１０ビット深度や１２ビット深度の動画像を出力可能である。高ビット深度の動画像は、例えば圧縮符号化においても情報量の増大を招く。

一方で、現在、動画像では８ビット深度の画像を扱う符号化装置や表示装置も多い。このような装置では、仮に１０ビット深度のカメラで撮像した信号に対しては、１０ビットから８ビットへの変換を行うことになる。この変換は画面全体に対して一様に線形変換により行われるため、中間調が失われる。後で８ビットから１０ビットの逆変換を施す場合も画面全体に対して一様に線形変換を行うため、中間調は元に戻らない。

また、１０ビット深度以上の高ダイナミックレンジ・高ビット深度カメラで動画像を撮像した場合は、暗い領域や非常に明るい領域において微小な階調表現を行うことが可能となり、画像内の黒ツブレや白トビを防止することができるが、通常の絵柄では、全ての領域において高ビット深度が必要ではないことが多い。

尚、視覚特性として、輝度や色の見え方は、中心視野と周辺視野で異なることも知られている（例えば、大山正・今井省吾・和氣典二・菊地正編、“新編感覚・知覚心理学ハンドブック Part 2”、誠信書房、２００７年９月１５日発行、ｐｐ．９１８−９２１参照）。また、一般に中心視野では、刺激の低下、４８０ｎｍから５５０ｎｍにかけての色の見えの混同（二色性色覚異常）があることも知られている。

特に、最も視力が高い範囲は、中心からわずか２〜３度の領域である。従って、通常画像を見る際は、眼球を細かくサッカード（saccade：眼球跳躍運動）させて画面全体を見ている。画面中央付近で大きく動く動オブジェクトや、周りより高輝度（低輝度）な動オブジェクトは、注視される傾向がある。特に、スーパーハイビジョンなどの広視野動画像では、画面全体を中心視野でくまなく注視することは困難であることも視覚特性の一つと云える。

本発明の目的は、このような視覚特性を考慮して、所定のビット深度の動画像フレーム列のコンポーネント信号を順次入力して、該コンポーネント信号における輝度信号及び／又は色差信号の各ビット深度を削減する動画像ビット深度削減装置及びプログラムを提供することにある。

本発明による動画像ビット深度削減装置は、所定のビット深度の動画像フレーム列のコンポーネント信号を順次入力して、該コンポーネント信号における輝度信号及び／又は色差信号の各ビット深度を削減する動画像ビット深度削減装置であって、予め規定した視覚特性に基づいて注視される領域を、或る画像フレームにおける注視領域として抽出する注視領域抽出手段と、前記画像フレームにて抽出した注視領域から注視外領域を決定する注視外領域決定手段と、前記画像フレームにおける注視外領域における輝度信号及び／又は色差信号の各ビット深度を、前記所定のビット深度よりも低くなるようにそれぞれ規定されたビット数分だけ削減し、前記画像フレームの画像のダイナミックレンジが所定値未満である場合には、更に前記画像フレームの注視領域における輝度信号及び／又は色差信号の各ビット深度を、前記所定のビット深度よりも低くなるようにそれぞれ規定されたビット数分だけ削減する信号ビット削減手段と、を備え、前記注視領域抽出手段は、前記画像フレームにおける動きベクトルを所定数のクラスタ数となるようにクラスタリングを施して、クラスタ中心の大きさが最も大きいクラスタであって、且つ各クラスタに属する動きベクトル数が最も大きいクラスタに属する動きベクトルの画素ブロックからなる領域を注視領域として抽出する第１注視領域抽出手段、前記画像フレームにおける時間軸方向の１次元１階ウェーブレット分解によって、動領域となる画素からなる領域を注視領域として抽出する第２注視領域抽出手段、及び前記画像フレームにおける画面内の輝度分布又は前記所定のビット深度の輝度値についての所定数のクラスタ数となるようにクラスタリングを施して、最も輝度値が小さいクラスタに属する画素からなる領域以外の領域を注視領域として抽出する第３注視領域抽出手段を備えることを特徴とする。

また、本発明による動画像ビット深度削減装置において、前記注視外領域決定手段は、前記第１注視領域抽出手段、前記第２注視領域抽出手段、及び前記第３注視領域抽出手段のうちの２つ以上から得られた注視領域の重複領域を処理対象の注視領域として決定するとともに、決定した注視領域以外の領域を前記注視外領域として決定することを特徴とする。

また、本発明による動画像ビット深度削減装置において、前記信号ビット削減手段は、前記画像フレームにおける注視外領域における輝度信号及び／又は色差信号の各ビット深度を、前記所定のビット深度よりも低くなるようにそれぞれ規定されたビット数分だけ削減するとともに、前記画像フレームにおけるビット深度の削減した画素位置を示す１ビットプレーンを生成することを特徴とする。

また、本発明による動画像ビット深度削減装置において、前記信号ビット削減手段は、輝度信号のビット深度の削減量を決定する際に、抽出された注視領域内の平均輝度と、決定された注視外領域内の平均輝度とをそれぞれ算出し、算出した注視領域の平均輝度が注視外領域の平均輝度よりも低い場合は、注視領域の平均輝度が注視外領域の平均輝度よりも高い場合よりもビット深度の削減量を大きくするように、削減するビット数を決定することを特徴とする。

また、本発明による動画像ビット深度削減装置において、前記信号ビット削減手段は、色差信号のビット深度の削減量を決定する際に、Ｕ信号のビット深度の削減量をＶ信号のビット深度の削減量よりも大きくするように、削減するビット数を決定することを特徴とする。

更に、本発明は、所定のビット深度の動画像フレーム列のコンポーネント信号を順次入力して、該コンポーネント信号における輝度信号及び／又は色差信号の各ビット深度を削減する動画像ビット深度削減装置として構成するコンピュータに、予め規定した視覚特性に基づいて注視される領域を、或る画像フレームにおける注視領域として抽出するステップと、前記画像フレームにて抽出した注視領域から注視外領域を決定するステップと、前記画像フレームにおける注視外領域における輝度信号及び／又は色差信号の各ビット深度を、前記所定のビット深度よりも低くなるようにそれぞれ規定されたビット数分だけ削減し、前記画像フレームの画像のダイナミックレンジが所定値未満である場合には、更に前記画像フレームの注視領域における輝度信号及び／又は色差信号の各ビット深度を、前記所定のビット深度よりも低くなるようにそれぞれ規定されたビット数分だけ削減するステップと、を実行させるためのプログラムであって、前記抽出するステップは、前記画像フレームにおける動きベクトルを所定数のクラスタ数となるようにクラスタリングを施して、クラスタ中心の大きさが最も大きいクラスタであって、且つ各クラスタに属する動きベクトル数が最も大きいクラスタに属する動きベクトルの画素ブロックからなる領域を注視領域として抽出するステップ、前記画像フレームにおける時間軸方向の１次元１階ウェーブレット分解によって、動領域となる画素からなる領域を注視領域として抽出するステップ、及び前記画像フレームにおける画面内の輝度分布又は前記所定のビット深度の輝度値についての所定数のクラスタ数となるようにクラスタリングを施して、最も輝度値が小さいクラスタに属する画素からなる領域以外の領域を注視領域として抽出するステップを有するプログラムとしても特徴付けられる。

本発明によれば、動画像にて注視される領域の階調感を損なうことなく、動画像フレーム列のコンポーネント信号のビット深度（情報量）を削減することが可能となる。

本発明による一実施例の動画像ビット深度削減装置の概略図である。本発明による一実施例の動画像ビット深度削減装置で処理する動画像フレーム列を例示する図である。本発明による一実施例の動画像ビット深度削減装置の動作フロー図である。（ａ）は、本発明による一実施例の動画像ビット深度削減装置に入力される画像フレームについて画面内の輝度分布を生成し分類する例を示す図であり、（ｂ）は、本発明による一実施例の動画像ビット深度削減装置に入力される画像フレームの各画素位置について、予め規定した視覚特性を利用して輝度値により分類する例を示す図である。（ａ）は、本発明による一実施例の動画像ビット深度削減装置における輝度によるクラスタリングを行う前の原画像例を示す図であり、（ｂ）は、本発明による一実施例の動画像ビット深度削減装置における輝度によるクラスタリングを行った後の画像例を示す図である。（ａ）は、動画像における視覚と眼球運動を説明するための動画像例を示す図であり、（ｂ）は、動画像における視覚と眼球運動を説明する図である。視覚者の中心視野における視力と視覚者の周辺視力について例示する図である。本発明による一実施例の動画像ビット深度削減装置に係る動きベクトル検出の説明図である。本発明による一実施例の動画像ビット深度削減装置に係る動きベクトル検出の説明図である。（ａ）は、３つのクラスタリングが可能な動画像例を示す図であり、（ｂ）は、動きベクトルの３つのクラスタリングを例示する図である。本発明による一実施例の動画像ビット深度削減装置の動領域検出処理部における時間軸方向に１次元１階離散ウェーブレット分解の説明図である。本発明による一実施例の動画像ビット深度削減装置の動領域検出処理部における時間軸方向の動領域を抽出する説明図である。本発明による一実施例の動画像ビット深度削減装置における１ビットプレーンを例示する図である。（ａ）は、ハイビジョン画面の一例を示す図であり、（ｂ）は、スーパーハイビジョン画面の一例を示す図である。

以下、本発明による一実施例の動画像ビット深度削減装置について説明する。

［装置構成］
図１は、本発明による一実施例の動画像ビット深度削減装置の概略図である。本実施例の動画像ビット深度削減装置１は、所定のビット深度（例えば、１０ビットの量子化深度）の動画像フレーム列Ｆ（ｘ，ｙ，ｔ−１），Ｆ（ｘ，ｙ，ｔ），Ｆ（ｘ，ｙ，ｔ＋１）のコンポーネント信号を順次入力して、該コンポーネント信号における輝度信号及び／又は色差信号の各ビット深度を削減するための装置である。

本実施例の動画像ビット深度削減装置１は、包括的には、予め規定した視覚特性（視覚における注視と色視野であり、例えば輝度に対する視覚感度や色視野、又は動領域に対する視覚感度）に基づいて注視される領域を、或る画像フレームにおける注視領域として抽出する注視領域抽出部１ａと、画像フレームにて抽出した注視領域から注視外領域を決定する注視外領域決定部１ｂと、画像フレームにおける注視外領域における輝度信号及び／又は色差信号の各ビット深度を、当該所定のビット深度よりも低くなるように規定ビット数分（例えば、１〜５ビット）だけ削減する信号ビット削減部９とからなる。ここに、(ｘ，ｙ)は、各画像フレームの画素位置を表し、ｔは連続する画像フレームの時間軸を表し、動画像ビット深度削減装置１には画像フレームのＹＵＶ信号が入力されるものとする（図２参照）。

より具体的には、注視領域抽出部１ａは、動きベクトル検出処理部３と、動きベクトルクラスタリング処理部４と、輝度注視領域検出処理部５と、動領域検出処理部６とを有する。

注視外領域決定部１ｂは、選択スイッチ７と、注視外領域決定部８とを有する。

尚、動画像ビット深度削減装置１に入力される動画像フレーム列Ｆ（ｘ，ｙ，ｔ−１），Ｆ（ｘ，ｙ，ｔ），Ｆ（ｘ，ｙ，ｔ＋１）の輝度信号がモニタガンマ補正用のガンマ補正処理が施されている場合を想定する。従って、動画像ビット深度削減装置１の入力側には、モニタガンマ補正された輝度信号を線形の輝度信号に戻すための輝度逆ガンマ補正処理部２−１，２−２，２−３が設けられ、動画像ビット深度削減装置１の出力側には、当該モニタガンマ補正用のガンマ値を再度施すための輝度ガンマ補正処理部１０が設けられる。

動きベクトル検出処理部３は、入力される動画像フレーム列Ｆ（ｘ，ｙ，ｔ），Ｆ（ｘ，ｙ，ｔ＋１）を用いて、画像フレームＦ（ｘ，ｙ，ｔ）における動きベクトルを検出し、動きベクトルクラスタリング処理部４に送出する。

動きベクトルクラスタリング処理部４は、動きベクトル検出処理部３によって検出した画像フレームＦ（ｘ，ｙ，ｔ）における動きベクトルに対して所定数のクラスタ数となるように、例えばＫ−ｍｅａｎｓ法などのクラスタリングを施して、クラスタ中心の大きさが最も大きいクラスタであって、且つ各クラスタに属する動きベクトル数が最も大きいクラスタに属する動きベクトルの画素ブロックからなる領域を注視領域として抽出する。この抽出結果は、選択スイッチ７を介して注視外領域決定部８に送出可能である。

輝度注視領域検出処理部５は、画像フレームＦ（ｘ，ｙ，ｔ）における画面内の輝度分布又は入力される輝度信号のビット深度の輝度値に対して、所定数のクラスタ数となるようにクラスタリングを施して、最も輝度値が小さいクラスタに属する画素からなる領域以外の領域を注視領域として抽出する。この抽出結果は、選択スイッチ７を介して注視外領域決定部８に送出可能である。

動領域検出処理部６は、画像フレームＦ（ｘ，ｙ，ｔ）における時間軸方向の１次元１階ウェーブレット分解によって、動領域となる画素からなる領域を注視領域として抽出する。この抽出結果は、選択スイッチ７を介して注視外領域決定部８に送出可能である。

選択スイッチ７は、動きベクトルクラスタリング処理部４、輝度注視領域検出処理部５、及び動領域検出処理部６のうちの少なくとも１つ以上を予め選択するようにＯｎ／Ｏｆｆの設定が可能である。

注視外領域決定部８は、動きベクトルクラスタリング処理部４、輝度注視領域検出処理部５、及び動領域検出処理部６のうちの少なくとも１つ以上から得られる各抽出結果の注視領域を処理対象の注視領域として決定するとともに、決定した注視領域以外の領域を注視外領域として決定する。尚、動きベクトルクラスタリング処理部４、輝度注視領域検出処理部５、及び動領域検出処理部６のうちの少なくとも２つ以上から得られる各抽出結果の注視領域の重複領域を処理対象の注視領域として決定するとともに、決定した注視領域以外の領域を注視外領域として決定することもできる。

信号ビット削減部９は、画像フレームＦ（ｘ，ｙ，ｔ）における注視外領域における輝度信号のビット深度を、入力される輝度信号のビット深度よりも低くなるように規定ビット数分だけ削減する輝度信号ビット削減処理部９１と、画像フレームＦ（ｘ，ｙ，ｔ）における注視外領域における色差信号の各ビット深度を、入力される色差信号のビット深度よりも低くなるように規定ビット数分だけ削減する色差信号ビット削減処理部９２と、画像フレームＦ（ｘ，ｙ，ｔ）におけるビット深度の削減した画素位置を示す１ビットプレーン（後述する図１３）を生成する１ビットプレーン生成部９３とを有する。

尚、信号ビット削減部９は、当該所定のビット深度が、ノイズ成分に対するＳ／Ｎ比を基準にして規定される所定値未満のダイナミックレンジを有する場合に、画像フレームＦ（ｘ，ｙ，ｔ）における注視領域における輝度信号及び／又は色差信号の各ビット深度を、所定のビット深度よりも低くなるように、それぞれ規定されたビット数分だけ削減するように構成することもできる。

従って、本実施例の動画像ビット深度削減装置１は、ビット削減した動画像フレーム列と１ビットプレーンの付加情報とを生成して外部に送出することができる。このビット削減した動画像フレーム列を例えば圧縮符号化、記録、又は表示した場合に、この１ビットプレーンの付加情報を用いてビット削減した画像フレームＦ（ｘ，ｙ，ｔ）における画素位置（ｘ，ｙ）を特定して復元することができる。

以下、図３〜図１３を参照して、本実施例の動画像ビット深度削減装置１の動作について詳細に説明する。図３は、本発明による一実施例の動画像ビット深度削減装置の動作フロー図である。

［装置動作］
まず、所定のビット深度（例えば、１０ビット深度）の動画像フレーム列Ｆ（ｘ，ｙ，ｔ−１），Ｆ（ｘ，ｙ，ｔ），Ｆ（ｘ，ｙ，ｔ＋１）がフレームメモリ（図示せず）に格納されており、動画像ビット深度削減装置１によって順次読み出されるものとする（ステップＳ１）。また、動画像ビット深度削減装置１に入力される動画像フレーム列Ｆ（ｘ，ｙ，ｔ−１），Ｆ（ｘ，ｙ，ｔ），Ｆ（ｘ，ｙ，ｔ＋１）の輝度信号がモニタガンマ補正用のガンマ補正処理が施されている場合を想定する。例えば、輝度逆ガンマ補正処理２−１，２−２，２−３は、テレビ系におけるカメラ撮像にかかる表示装置（ＣＲＴ）の特性によるガンマ補正（例えば、ガンマ値＝２．２）を前処理としての逆ガンマ補正（例えば、ガンマ値＝０．４５）により取り除く処理を行う。

以下の説明では、本発明の理解を高めるために、動画像ビット深度削減装置１は、予め規定した視覚特性に基づいて注視される注視領域が画像前景領域である“動領域”及び／又は “他の領域と輝度値が異なる領域”からなると仮定してこれらの検出処理を行うものとする。

ステップＳ２にて、輝度注視領域検出処理部５は、画像フレームＦ（ｘ，ｙ，ｔ）における画面内の輝度分布又は入力される輝度信号のビット深度の輝度値に対して、所定数のクラスタ数となるようにクラスタリングを施して、最も輝度値が小さいクラスタに属する画素からなる領域以外の領域を注視領域として抽出する。

まず、輝度注視領域検出処理部５によって“輝度値が異なる領域”を検出する方法として２つの例を説明する。

第１の例は、図４（ａ）に示すように、入力される画像フレームＦ（ｘ，ｙ，ｔ）について画面内の輝度分布（ヒストグラム）を生成し、ｎ段階に分ける。例えば、３段階に分けるとすれば、１段階目（Ｄ１）は２^４−１以下、２段階目（Ｄ２）は２^４〜２^７−１、３段階目（Ｄ３）は２^７〜２^１０とすることができる。第１の例では、１段階目（Ｄ１）以外に属する画素位置（ｘ，ｙ）を“輝度値が異なる領域”（即ち、輝度による注視領域）として抽出する。尚、Ｄ１〜Ｄ３の値は、ウェーバー・フェヒナーの法則（Waber-Fechner law）による視覚特性（暗い方が小さな輝度変化に対して敏感）を利用して適宜選定することができる。

第２の例は、図４（ｂ）に示すように、ウェーバー・フェヒナーの法則（Waber-Fechner law）による視覚特性（暗い方が小さな輝度変化に対して敏感）を利用して、入力される画像フレームＦ（ｘ，ｙ，ｔ）の画素位置（ｘ，ｙ）について、輝度値によるｎ段階のクラスタに分ける。例えば、３段階とすれば、１段階目（Ｄ１）は２^０−１〜２^４−１、２段階目（Ｄ２）は２^４〜２^７−１、３段階目（Ｄ３）は２^７〜２^１０とすることができる。第２の例でも、１段階目（Ｄ１）以外の画素位置（ｘ，ｙ）を“輝度値が異なる領域”（即ち、輝度による注視領域）として抽出する。尚、Ｄ１〜Ｄ３の値及び輝度レベルの分類のための曲線は、ウェーバー・フェヒナーの法則（Waber-Fechner law）による視覚特性（暗い方が小さな輝度変化に対して敏感）を利用して適宜選定することができる。

また、第２の例において、暗い輝度値の１段階目（Ｄ１）を細かい幅となるように分割したのは、ウェーバー・フェヒナーの法則（Waber-Fechner law）による視覚特性（暗いほうが小さな輝度変化に対して敏感）を利用して輝度信号ビット削減処理部９１によって輝度信号のビット深度の間引きを行うためである。

このようにして、輝度注視領域検出処理部５は、画像フレームＦ（ｘ，ｙ，ｔ）の画素位置（ｘ，ｙ）の輝度値について、３段階に分類し、最も暗い段階の１段階目（Ｄ１）を除き、その他の領域（Ｄ２，Ｄ３）を輝度による注視領域Ｏｂｓｅｒｖ＿Ｌｕｍとして抽出する。

仮に、図５（ａ）に示すように、３段階目（Ｄ３）の輝度値のクラスタに属する太陽１１ｂと、画像フレーム中心における２段階目（Ｄ２）の輝度値のクラスタに属する人物１１ｃ（ここでは、後述する“動領域”を意味する）と、最も暗い輝度値の１段階目（Ｄ１）を表す背景１１ｄとからなる画像フレームＦ（ｘ，ｙ，ｔ）を原画像としたとき、輝度注視領域検出処理部５は、３段階目（Ｄ３）の輝度値のクラスタに属する太陽１１ｂ、及び画像フレーム中心における２段階目（Ｄ２）の輝度値のクラスタに属する人物１１ｃを含む領域を輝度による注視領域Ｏｂｓｅｒｖ＿Ｌｕｍとして抽出することができる。

一方、後述する“動領域”の注視領域Ｏｂｓｅｒｖ（ＯｂｓｅｒｖｅＢＭ及び／又はＯｂｓｅｒｖＰＭ）を抽出すれば、注視領域Ｏｂｓｅｒｖ（即ち、２段階目（Ｄ２）の人物１１ｃ）を得ることができる（図５（ｂ）参照）。

この“動領域”の注視領域Ｏｂｓｅｒｖ（ＯｂｓｅｒｖｅＢＭ及び／又はＯｂｓｅｒｖＰＭ）は、以下の手順によって得ることができる。

ステップＳ３にて、動きベクトルクラスタリング処理部４は、動きベクトル検出処理部３によって検出した画像フレームＦ（ｘ，ｙ，ｔ）における動きベクトルに対して所定数のクラスタ数となるように、例えばＫ−ｍｅａｎｓ法などのクラスタリングを施して、クラスタ中心の大きさが最も大きいクラスタであって、且つ各クラスタに属する動きベクトル数が最も大きいクラスタに属する動きベクトルの画素ブロックからなる領域を注視領域として抽出する。動きベクトルクラスタリング処理部４による注視領域の抽出は、ブロックベースの圧縮符号化への利用に適する。

ここで、視覚特性としての動領域を対象にする動画像における視覚と眼球運動について説明する。

（動画像における視覚と眼球運動）
人間が画像を見るときに高視力である領域は、中心視野であるわずか数度の範囲のみである。周辺視野の部分は、動きの視覚力は高いが、視力は低い。眼球は画面を見る際、細かくサッカード（saccade）して画面全体をくまなく探索する。例えば、表示装置１１内の画面内で飛行機１１ａが移動する様子を視覚者１２が追随する場合など（図６（ａ）参照）、視覚者１２は、動物体の飛行機１１ａが存在する場合に、その動き速度に応じてスムーズパシュート（smooth pursuit）やサッカード（saccade）運動によりこの動物体を追随視する（図６（ｂ）参照）。また、図７に、視覚者１２の中心視野における視力と視覚者１２の周辺視力について例示する。このように、人間が画像を見るときに高視力である領域は、中心視野であるわずか数度の範囲のみであることが知られている（例えば、大山正・今井省吾・和氣典二・菊地正編、“新編感覚・知覚心理学ハンドブック Part 2”、誠信書房、２００７年９月１５日発行、ｐｐ．９１８−９２１参照）。

そこで、動きベクトルクラスタリング処理部４は、人間が大きな動きがある領域（“動領域”）を注視することに着目して、この動領域を注視領域として検出する。

動領域を注視領域として検出するにあたって、動きベクトルクラスタリング処理部４は、画素ブロック精度の動領域検出を行う。

図８を参照するに、動きベクトル検出処理部３は、画像フレームＦ（ｘ，ｙ，ｔ），Ｆ(ｘ，ｙ，ｔ＋１)についてフレーム間動きベクトルを求める。動きベクトル検出法は、ブロックマッチング法を用いる。はじめに、画像フレームＦ（ｘ，ｙ，ｔ）をＢｘ×Ｂｙサイズのブロックに分割する。これにより、画像フレームＦ（ｘ，ｙ，ｔ）上に水平ｉ＿ｍａｘ個、垂直ｊ＿ｍａｘ個のブロック（ｉ,ｊ）が得られる。ここで、０≦ｉ<ｉ＿ｍａｘ，０≦ｊ<ｊ＿ｍａｘである。

次に、画像フレームＦ(ｘ，ｙ，ｔ)上の全てのブロック（ｉ,ｊ）において、画像フレームＦ（ｘ，ｙ，ｔ＋１）上の同じ位置を中心とした水平±Ｓｘ、垂直±Ｓｙの範囲をＳＡＤ（Sum of Absolute Difference：画素差分絶対値の総和）法で探索し、ＳＡＤ値が最小となる位置を求める。上記処理で求めたＳＡＤ値が最小となる位置が、ブロック（ｉ,ｊ）の動きベクトル値ＭＶ（ｉ,ｊ）となる（図９参照）。

動きベクトルクラスタリング処理部４は、動きベクトル検出処理部３で検出したＭＶ（ｉ,ｊ）についてクラスタリングを行う。ここでは、Ｋ−ｍｅａｎｓ法によるクラスタリングを用いる。Ｋは、２〜３程度に設定する。Ｋの個数の理由は、画面内の動きはカメラのパンニングなどによるグローバルな動き、人間などの動オブジェクトが動く局所的な動きに大別され、複数の人間が動くような場合でも背景群の動きと１〜２個程度の前景群動オブジェクトの動きに大別できれば十分であることによる。主に、本実施例では、注視領域を抽出して注視外領域を決定し、注視外領域のビット削減を行うが、注視外領域は背景群動オブジェクトとなる場合が多い。背景群オブジェクトは、カメラのパンニング等でほぼ一様の動きを持つため、任意の１つのクラスタの要素となる可能性が高い。以上からもＫは、２〜３程度にすれば、十分に注視外領域を決定できることが分かる。

Ｋ−ｍｅａｎｓ法によるクラスタリングでは、はじめに各動きベクトルＭＶ(ｉ，ｊ)を、原点（０，０）を中心としたベクトルとみなし、Ｋ−ｍｅａｎｓ法を用いてＫ＝３でクラスタ中心Ｃｋ（ｋ＝１・・・Ｋ）を計算する。つまり、初期値として予め定めたＫ個のクラスタ中心を設定し、動きベクトルの３６０度方向に探索（例えば４５度毎の探索）して、大きい値を持つクラスタ中心の位置を初期候補として設定する。次に、クラスタ毎に、クラスタ中心を計算し直す。全てのクラスタ中心の変化値が、或る閾値Ｔｈ以下であれば終了とし、それ以外は、再度、大きい値を持つクラスタ中心の位置を割り当てて収束するまで繰り返す。

このようにして、動きベクトルのクラスタリングは、原点を中心として各動きベクトルＭＶ（ｉ，ｊ）の大きさ及び向きでクラスタリングを行う。例えば、図１０（ａ）に示すように、フレーム画像Ｆ（ｘ，ｙ，ｔ）について、右方向に移動する「人」と、「人」よりも少し遅い速度で同じく右方向に移動する「背景」と、「人」及び「背景」以外の「その他」の３つのオブジェクトがあるとして３つのクラスタリングを計算する際には、各動きベクトルＭＶ(ｉ，ｊ)の大きさ及び向きでクラスタリングを行うことにより、図１０（ｂ）に示すように、「人」を表すクラスタをＭＶｓｅｔ１、「背景」を表すクラスタをＭＶｓｅｔ２、「その他」を表すクラスタをＭＶｓｅｔ３として分類することができる。

以上の処理によりＫ個のクラスタの決定処理を収束させることができるので、全ての動きベクトルＭＶ(ｉ，ｊ)がＫ個のクラスタへと割り付けることができ、各動きベクトルＭＶ（ｉ，ｊ）の最も大きなクラスタ中心Ｃｋｍａｘを求めることができる。求めたクラスタ中心Ｃｋｍａｘから、クラスタ中心Ｃｋｍａｘに属する動きベクトル値ＭＶ（ｉ，ｊ）のブロック（ｉ，ｊ）が、画像フレームＦ（ｘ，ｙ，ｔ）における“動きによる注視領域”の画素ブロックＯｂｓｅｒｖ＿Ｂｌｏｃｋ（ｘ，ｙ，ｔ）となる。そして、動きベクトルクラスタリング処理部４は、この画素ブロックＯｂｓｅｒｖ＿Ｂｌｏｃｋ（ｘ，ｙ，ｔ）からなる領域を、画素ブロック精度の注視領域ＯｂｓｅｒｖＢＭとする。

尚、画素ブロック精度の注視領域ＯｂｓｅｒｖＢＭの否定演算（ＮＯＴ）を行うことで、画素ブロック精度の注視外領域Ｎｏｔ＿ＯｂｓｅｒｖＢＭを得ることができる。

更に、動領域を注視領域として検出するにあたって、動領域検出処理部６は、画素精度の動領域検出を行う。

ステップＳ４にて、動領域検出処理部６は、画像フレームＦ（ｘ，ｙ，ｔ）における時間軸方向の１次元１階ウェーブレット分解によって、動領域となる画素からなる領域を注視領域として抽出する。動領域検出処理部６による注視領域の抽出は、画素精度の検出処理に適する。

以下では、線形位相性を持つＨａａｒによる１次元１階ウェーブレット分解を利用する例を図１１及び図１２を参照して説明する。

図１１は、本発明による一実施例の動画像ビット深度削減装置の動領域検出処理部における時間軸方向に１次元１階離散ウェーブレット分解の説明図である。図１２は、本発明による一実施例の動画像ビット深度削減装置の動領域検出処理部における時間軸方向の動領域を抽出する説明図である。

まず、動領域検出処理部６は、画像フレームＦ（ｘ，ｙ，ｔ）と次の時間位置の画像フレームＦ（ｘ，ｙ，ｔ＋１）を用い、画像フレームＦ（ｘ，ｙ，ｔ）上の全ての画素位置（ｘ，ｙ）において、時間軸方向に１次元１階離散ウェーブレット分解を求める。これにより、時間軸方向の高周波成分Ｈｔ（ｘ，ｙ，ｔ）と時間軸方向の低周波成分Ｌｔ（ｘ，ｙ，ｔ）が得られる（図１１（ａ）及び図１１（ｂ）参照）。

次に、動領域検出処理部６は、時間軸方向の高周波成分Ｈｔ（ｘ，ｙ，ｔ）上の画素位置（ｘ，ｙ）において閾値ｔｈで画像フレームＦ(ｘ，ｙ，ｔ)の２値化を行い、動領域Ｂｉ（Ｈｔ（ｘ，ｙ，ｔ）)を得る（図１１（ｃ）参照）。例えば、動領域Ｂｉ（Ｈｔ（ｘ，ｙ，ｔ））が持つ値は、１（動領域）と０（静領域）である。更に、動領域の判定におけるノイズ成分の影響を抑制するために、縮退処理として動領域Ｂｉ(Ｈｔ(ｘ，ｙ，ｔ))の画素位置（ｘ，ｙ）について周辺３×３画素の値の加算処理を行い、その値が閾値θ以下であれば動領域Ｂｉ（Ｈｔ（ｘ，ｙ，ｔ））＝０とするのが好適である。例えば、図１２に示すように、動領域Ｂｉ（Ｈｔ（ｘ，ｙ，ｔ））の画素位置（ｘ，ｙ）について周辺３×３画素の構成がＨｔ（１，１）〜Ｈｔ（３，３）で与えられる場合に、Ｈｔ（２，２）以外の画素値の総和が閾値θ（例えば、θ＝２）以下の時には、Ｈｔ（２，２）＝０とする。

上記処理により、画像フレームＦ（ｘ，ｙ，ｔ）から時間軸方向にウェーブレット長（ｈａａｒによる時間軸方向のウェーブレット変換では、２フレーム長）にわたる動領域Ｂｉ（Ｈｔ（ｘ，ｙ，ｔ））を得ることができる。

尚、上記の動領域Ｂｉ（Ｈｔ（ｘ，ｙ，ｔ））は２フレームにわたる動領域を含む。そこで、画像フレームＦ（ｘ，ｙ，ｔ−１）と画像フレームＦ（ｘ，ｙ，ｔ）の全ての画素位置（ｘ，ｙ）について時間軸方向に行う（図１１（ａ）及び図１１（ｂ）参照）。これにより、別の動領域Ｂｉ（Ｈｔ（ｘ，ｙ，ｔ−１））が得られる（図１１（ｃ）参照）。最後に、動領域Ｂｉ（Ｈｔ（ｘ，ｙ，ｔ−1））と動領域Ｂｉ（Ｈｔ（ｘ，ｙ，ｔ））の論理積（ＡＮＤ）を計算することにより、画像フレームＦ（ｘ，ｙ，ｔ）の１フレームのみにおける動領域Ｍｏｖ＿Ａｒｅａ（ｘ，ｙ，ｔ）を算出する（図１１（ｄ）参照）。

これにより、動画像フレーム列の全ての時間位置フレームで、フレーム間動き領域画像列Ｍｏｖ＿Ａｒｅａ（ｘ，ｙ，ｔ）を得ることができる。フレーム間動き領域画像列Ｍｏｖ＿Ａｒｅａ（ｘ，ｙ，ｔ）は、画素精度の注視領域ＯｂｓｅｒｖＰＭとして抽出される。尚、画素精度の注視領域ＯｂｓｅｒｖＰＭの否定演算（ＮＯＴ）を計算すると画素精度の注視外領域Ｎｏｔ＿ＯｂｓｅｒｖＰＭが得られる。

Ｈａａｒウェーブレット以外にも、ウェーブレット長４のドビュッシー（Ｄａｕｂｅｃｈｉｅｓ）ウェーブレット法を使用して１次元１階離散ウェーブレット変換を施すように構成することもできる。

このようにして、動きベクトルクラスタリング処理部４及び／又は動領域検出処理部６により、“動領域”の注視領域Ｏｂｓｅｒｖ（ＯｂｓｅｒｖｅＢＭ及び／又はＯｂｓｅｒｖＰＭ）を抽出することができる。

ステップＳ５にて、注視外領域決定部８は、動きベクトルクラスタリング処理部４、輝度注視領域検出処理部５、及び動領域検出処理部６のうちの少なくとも１つ以上から得られる各抽出結果の注視領域（２つ以上の注視領域を用いるときは、これらの注視領域の重複領域）を処理対象の注視領域として決定するとともに、決定した注視領域以外の領域を注視外領域として決定する。本実施例で説明する注視外領域決定部８は、動きベクトルクラスタリング処理部４、動領域検出処理部６及び注視外領域決定部８のうちのいずれか１つ以上を利用することで注視領域の検出が可能であるが、注視領域の検出確度を向上させるのに抽出した３つの注視領域の全てを利用するのが好適である。

注視外領域決定部８は、画素ブロック精度の動きベクトルクラスタリング処理部４と、画素精度の動領域検出処理部６と、輝度による輝度注視領域検出処理部５の各処理結果の注視領域を、画像や本実施例の利用目的に応じて選択スイッチ７により注視領域及び注視外領域を決定する。例えば、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣなどのブロックベース符号化に応用する場合は、ブロックベースで処理するために、画素ブロック精度の動領域検出部の処理結果を用いるのが好適である。

また、注視外領域決定部８は、画素ブロック精度の動きベクトルクラスタリング処理部４と画素精度の動領域検出処理部６の処理結果を組み合わせることで、より確度の高い注視領域及び注視外領域の抽出が可能となる。

例えば、注視外領域決定部８は、画素ブロック精度の動きベクトルクラスタリング処理部４で検出した注視領域の画素ブロックＯｂｓｅｒｖ＿Ｂｌｏｃｋ（ｘ，ｙ，ｔ）の所定数以上（例えば、半分以上）が、画素精度の動領域検出処理部６で検出した動領域Ｍｏｖ＿Ａｒｅａ（ｘ，ｙ，ｔ）に属する場合は、この注視領域の画素ブロックＯｂｓｅｒｖ＿Ｂｌｏｃｋ（ｘ，ｙ，ｔ）の全ての画素ブロックを、最終的な動領域の注視領域の画素ブロックＯｂｓｅｒｖ（ｘ，ｙ，ｔ）として決定し、この画素ブロックＯｂｓｅｒｖ（ｘ，ｙ，ｔ）に属する全ての画素位置を、最終的な動領域の注視領域Ｏｂｓｅｒｖ（ｘ，ｙ，ｔ）として決定し、この最終的な動領域の注視領域Ｏｂｓｅｒｖ（ｘ，ｙ，ｔ）以外の領域を“注視外領域”として決定することもできる。

また、通常は低輝度画像などの特殊な画像は稀であり、注視外領域決定部８によって、輝度による輝度注視領域検出処理部５の処理結果を組み合わせて注視外領域を決定するのがビット削減効果に有効である。

上記３種類の注視領域の選択は、選択スイッチ７によるＯｎ／Ｏｆｆで切り替え可能に構成することができる。このような選択スイッチ７は、注視外領域決定部８内に組み入れて、注視外領域決定部８が外部からの指示に従って選択するように構成することもできる。

ステップＳ６にて、輝度信号ビット削減処理部９１は、画像フレームＦ（ｘ，ｙ，ｔ）における注視外領域における輝度信号の各ビット深度を、入力される輝度信号のビット深度よりも低くなるように規定ビット数分だけ削減するとともに、色差信号ビット削減処理部９２は、画像フレームＦ（ｘ，ｙ，ｔ）における注視外領域における色差信号の各ビット深度を、入力される各色差信号のビット深度よりも低くなるように規定ビット数分だけ削減する。輝度信号ビット削減処理部９１は、輝度信号のビット削減については、周辺視における輝度感度の低下を利用し、色信号のビット削減については、周辺視における色感度低下、並びに周辺視における４８０ｎｍ〜５５０ｎｍにかけての色の見えの混同（二色性色覚異常）を利用するのが好適である。

輝度信号ビット削減処理部９１の動作について、ＹＵＶ色空間における１０ビット深度輝度（Ｙ）信号及び色差（Ｕ，Ｖ）信号が入力された場合について説明する。

輝度信号ビット削減処理部９１は、注視外領域で輝度の弁別力が低下することを利用して輝度ビット削減を行う。第１の削減例として、輝度信号ビット削減処理部９１は、注視外領域の１０ビットの輝度信号を９〜７ビット程度まで圧縮するものとする。これは、人間の輝度感度は非直線性を持つが、ビット深度を半分以下まで落とすと極端に画質が低下するように知覚されるからである。またウェーバー・フェヒナーの法則（Waber-Fechner law）によると輝度の低いところでは微小な変化として敏感になるので暗い場所で無用にビットを間引いてよいものではない。

そこで、第２の削減例として、輝度信号ビット削減処理部９１は、輝度信号のビット深度の削減量を決定する際に、決定された注視領域内の平均輝度と、決定された注視外領域内の平均輝度とをそれぞれ算出し、算出した注視領域の平均輝度が注視外領域の平均輝度よりも低い場合は、注視領域の平均輝度が注視外領域の平均輝度よりも高い場合よりもビット深度の削減量を大きくするように、削減するビット数を決定する。

例えば、輝度信号ビット削減処理部９１は、動領域による注視領域Ｏｂｓｅｒｖ（又は輝度による注視領域Ｏｂｓｅｒｖ＿Ｌｕｍを考慮した注視領域）内の平均輝度と、動領域による注視外領域Ｎｏｔ＿Ｏｂｓｅｒｖ（又は輝度による注視外領域Ｎｏｔ＿Ｏｂｓｅｒｖ＿Ｌｕｍを考慮した注視外領域）内の平均輝度をそれぞれ計算し、注視領域の平均輝度が注視外領域の平均輝度よりも高い場合は、注視外領域のビット深度を１０ビットから８ビットに低減し、注視領域の平均輝度が注視外領域の平均輝度よりも低い場合は、注視外領域のビット深度を１０ビットから７ビットに低減する。

色差信号ビット削減処理部９２は、一般に周辺視では４８０ｎｍから５５０ｎｍにかけての色の見えの混同（二色性色覚異常）が見られることを利用して色ビット削減を行うことができる。

例えば、色の見えの混同により、注視外領域の色差信号については、Ｕ信号（青色信号Ｂ−輝度信号Ｙ）のビット深度をより多く間引くことが可能である。

従って、色差信号ビット削減処理部９２は、色差信号のビット深度の削減量を決定する際に、Ｕ信号のビット深度の削減量をＶ信号のビット深度の削減量よりも大きくするように、削減するビット数を決定するのが好適である。

つまり、一例として、色差信号ビット削減処理部９２は、Ｖ信号（赤色信号Ｒ−輝度信号Ｙ）のビット深度を１０ビットから６ビットに低減し、Ｕ信号（青色信号Ｂ−輝度信号Ｙ）のビット深度を１０ビットから５ビットに低減することが可能である。

上記の例では、注視外領域について輝度ビット及び色ビットを削減する例について説明したが、注視領域について輝度ビット及び色ビットを削減することも可能である。ただし、この場合、画像が持つダイナミックレンジが狭い場合（例えば、６０ｄＢ未満）に有効である。換言すれば、ダイナミックレンジが６０ｄＢ以上の場合、注視外領域についてのみ輝度ビット及び色ビットを削減する。仮に、全体が暗い画像でも、ダイナミックレンジが広いカメラで撮像した場合は、暗部の微小な階調が表現されており、これをビット深度削減すると視覚上大きな劣化となりうる。これは、ウェーバー・フェヒナーの法則（Waber-Fechner law）における暗い領域での微小変化の感度が高いためである。尚、６０ｄＢ未満における注視領域について輝度ビット及び色ビットの削減効果は実際に確かめることができる。

ビット削減後の画像フレームＦ（ｘ，ｙ，ｔ）における輝度ガンマ補正処理部１０は、前処理で逆ガンマ補正を行っている場合に元に戻す。例えば、逆ガンマ補正でガンマ値０．４５の逆ガンマ補正を行っていた場合、ガンマ値２．２のガンマ補正を行う。

ステップＳ７にて、１ビットプレーン生成部９３は、画像フレームＦ（ｘ，ｙ，ｔ）におけるビット深度の削減した画素位置を示す１ビットプレーンを生成する。例えば、図１３に示すように、画像フレームＦ（ｘ，ｙ，ｔ）に対応する１ビットプレーンＢＰ（ｘ，ｙ，ｔ）は、ビット深度を削減した画素位置（注視外領域）には０を、ビット深度を削減しなかった画素位置（注視領域）には１を割り当てる。

これにより、本実施例の動画像ビット深度削減装置１は、ビット削減した動画像フレーム列と１ビットプレーンの付加情報とを生成して外部に送出することができる。このビット削減した動画像フレーム列は、例えば圧縮符号化、記録、又は表示する際に１ビットプレーンの付加情報を用いて元の画像フレームＦ（ｘ，ｙ，ｔ）における画素位置（ｘ，ｙ）を特定することができる。

Ｈ．２６４／ＭＰＥＧ−４ＡＶＣでは、画像をブロック分割し、直交変換処理（例えば、ＤＣＴ（離散コサイン変換））や量子化処理を行う。本実施例の動画像ビット深度削減装置１は、画素ブロック精度の動領域検出部でブロック領域毎の注視領域Ｏｂｓｅｒｖと注視外領域Ｎｏｔ＿Ｏｂｓｅｒｖを決定することができる。そこで、ブロック領域毎の注視外領域Ｎｏｔ＿Ｏｂｓｅｒｖについて信号ビット削減部９の処理により輝度信号のビット深度の間引き、及び色差信号のビット深度の間引きを行うことができる。

例えば、１ビットプレーン生成部９３は、画像フレームＦ（ｘ，ｙ，ｔ）の各画素位置（ｘ，ｙ）において、１ビットプレーンＢＰ（ｘ，ｙ，ｔ）内では、注視領域Ｏｂｓｅｒｖとなる領域を１、注視外領域Ｎｏｔ＿Ｏｂｓｅｒｖとなる領域を０とする１ビットプレーンＢＰ（ｘ，ｙ，ｔ）を生成する。例えば、本実施例の動画像ビット深度削減装置１の出力を符号化する場合に、この１ビットプレーンＢＰ（ｘ，ｙ，ｔ）の情報は、ランレングス符号化等で符号化を行い、符号化情報に付加する付加情報とすることができる。この付加情報は復号側で利用して、ビット削減した画像フレームＦ（ｘ，ｙ，ｔ）を復元することができる。尚、１ビットプレーンＢＰ（ｘ，ｙ，ｔ）におけるビット削減の深度情報は、符号化及び復号間で予め規定しておくようにする。

ここで、画像フォーマット４：２：２のコンポーネント信号では、色差信号は輝度信号に対して水平１／２、画像フォーマット４：２：０のコンポーネント信号では水平１／２及び垂直１／２の標本化信号しかない。そこで、画像フォーマット４：２：２のコンポーネント信号及び４：２：０のコンポーネント信号では、色差信号の注視領域Ｏｂｓｅｒｖや注視外領域Ｎｏｔ＿Ｏｂｓｅｒｖ信号を水平及び垂直方向に間引いて使用する。

以上のように、本実施例の動画像ビット深度削減装置１によれば、視覚特性（視覚における注視と色視野）に着目し、注視領域と注視外領域を判別して適切に輝度信号及び色差信号のビット深度を削減することができるようになる。

更に、本発明の一態様として、本実施例の動画像ビット深度削減装置１をコンピュータとして構成させることができる。コンピュータに、前述した各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの全部又は一部で実現しても良い。

また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばＩＰなどのネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。

また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。

以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。

本発明によれば、視覚特性に応じて動画像のビット深度を画質の劣化感を防止しながら低減させることができるので、動画像のビット深度の低減を目的とする任意の用途に有用である。

１動画像ビット深度削減装置
１ａ注視領域抽出部
１ｂ注視外領域決定部
２−１，２−２，２−３輝度逆ガンマ補正処理部
３動きベクトル検出処理部
４動きベクトルクラスタリング処理部
５輝度注視領域検出処理部
６動領域検出処理部
７選択スイッチ
８注視外領域決定部
９信号ビット削減部
１０輝度ガンマ補正処理部
１１表示装置
１１ｂ画像フレーム内の太陽
１１ｃ画像フレーム内の人物
１１ｄ画像フレーム内の背景

Claims

所定のビット深度の動画像フレーム列のコンポーネント信号を順次入力して、該コンポーネント信号における輝度信号及び／又は色差信号の各ビット深度を削減する動画像ビット深度削減装置であって、
予め規定した視覚特性に基づいて注視される領域を、或る画像フレームにおける注視領域として抽出する注視領域抽出手段と、
前記画像フレームにて抽出した注視領域から注視外領域を決定する注視外領域決定手段と、
前記画像フレームにおける注視外領域における輝度信号及び／又は色差信号の各ビット深度を、前記所定のビット深度よりも低くなるようにそれぞれ規定されたビット数分だけ削減し、前記画像フレームの画像のダイナミックレンジが所定値未満である場合には、更に前記画像フレームの注視領域における輝度信号及び／又は色差信号の各ビット深度を、前記所定のビット深度よりも低くなるようにそれぞれ規定されたビット数分だけ削減する信号ビット削減手段と、を備え、
前記注視領域抽出手段は、
前記画像フレームにおける動きベクトルを所定数のクラスタ数となるようにクラスタリングを施して、クラスタ中心の大きさが最も大きいクラスタであって、且つ各クラスタに属する動きベクトル数が最も大きいクラスタに属する動きベクトルの画素ブロックからなる領域を注視領域として抽出する第１注視領域抽出手段、
前記画像フレームにおける時間軸方向の１次元１階ウェーブレット分解によって、動領域となる画素からなる領域を注視領域として抽出する第２注視領域抽出手段、及び
前記画像フレームにおける画面内の輝度分布又は前記所定のビット深度の輝度値についての所定数のクラスタ数となるようにクラスタリングを施して、最も輝度値が小さいクラスタに属する画素からなる領域以外の領域を注視領域として抽出する第３注視領域抽出手段を備えることを特徴とする動画像ビット深度削減装置。
前記注視外領域決定手段は、
前記第１注視領域抽出手段、前記第２注視領域抽出手段、及び前記第３注視領域抽出手段のうちの２つ以上から得られた注視領域の重複領域を処理対象の注視領域として決定するとともに、決定した注視領域以外の領域を前記注視外領域として決定することを特徴とする、請求項１に記載の動画像ビット深度削減装置。
前記信号ビット削減手段は、
前記画像フレームにおける注視外領域における輝度信号及び／又は色差信号の各ビット深度を、前記所定のビット深度よりも低くなるようにそれぞれ規定されたビット数分だけ削減するとともに、前記画像フレームにおけるビット深度の削減した画素位置を示す１ビットプレーンを生成することを特徴とする、請求項１又は２に記載の動画像ビット深度削減装置。
前記信号ビット削減手段は、輝度信号のビット深度の削減量を決定する際に、抽出された注視領域内の平均輝度と、決定された注視外領域内の平均輝度とをそれぞれ算出し、算出した注視領域の平均輝度が注視外領域の平均輝度よりも低い場合は、注視領域の平均輝度が注視外領域の平均輝度よりも高い場合よりもビット深度の削減量を大きくするように、削減するビット数を決定することを特徴とする、請求項３に記載の動画像ビット深度削減装置。
前記信号ビット削減手段は、色差信号のビット深度の削減量を決定する際に、Ｕ信号のビット深度の削減量をＶ信号のビット深度の削減量よりも大きくするように、削減するビット数を決定することを特徴とする、請求項３又は４に記載の動画像ビット深度削減装置。
所定のビット深度の動画像フレーム列のコンポーネント信号を順次入力して、該コンポーネント信号における輝度信号及び／又は色差信号の各ビット深度を削減する動画像ビット深度削減装置として構成するコンピュータに、
予め規定した視覚特性に基づいて注視される領域を、或る画像フレームにおける注視領域として抽出するステップと、
前記画像フレームにて抽出した注視領域から注視外領域を決定するステップと、
前記画像フレームにおける注視外領域における輝度信号及び／又は色差信号の各ビット深度を、前記所定のビット深度よりも低くなるようにそれぞれ規定されたビット数分だけ削減し、前記画像フレームの画像のダイナミックレンジが所定値未満である場合には、更に前記画像フレームの注視領域における輝度信号及び／又は色差信号の各ビット深度を、前記所定のビット深度よりも低くなるようにそれぞれ規定されたビット数分だけ削減するステップと、
を実行させるためのプログラムであって、
前記抽出するステップは、
前記画像フレームにおける動きベクトルを所定数のクラスタ数となるようにクラスタリングを施して、クラスタ中心の大きさが最も大きいクラスタであって、且つ各クラスタに属する動きベクトル数が最も大きいクラスタに属する動きベクトルの画素ブロックからなる領域を注視領域として抽出するステップ、
前記画像フレームにおける時間軸方向の１次元１階ウェーブレット分解によって、動領域となる画素からなる領域を注視領域として抽出するステップ、及び
前記画像フレームにおける画面内の輝度分布又は前記所定のビット深度の輝度値についての所定数のクラスタ数となるようにクラスタリングを施して、最も輝度値が小さいクラスタに属する画素からなる領域以外の領域を注視領域として抽出するステップを有するプログラム。