JP6300576B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は画像処理装置及び画像処理方法に関し、特に、動画の符号化に用いて好適な技術に関する。

従来、動画像の分割、結合等の編集を行う場合、編集対象の動画よりもサイズが小さい編集用の動画を用意し、この編集用の動画を用いて編集点を決めた後、この編集点に基づいて編集対象の動画を編集することが行われている（例えば、特許文献１参照）。編集用の動画はプロキシとも呼ばれる。

また、動画を符号化し、情報量を圧縮するための方式として、Ｈ．２６４などの符号化方式が知られている。このような符号化方式では、仮想バッファを設定し、仮想バッファに格納される符号化データの占有量が所定の範囲に含まれるように符号量を制御する必要がある。

特開２００３−６１０４１号公報

プロキシを作成する場合、編集対象の元の動画を一旦復号し、画面サイズを縮小するなどの処理を施した後に、再度圧縮、符号化の処理を行う。そのため、プロキシを作成するために大変な時間がかかってしまう。そこで、高精細な主動画を記録しながら、同時に、画素数が少ない編集用の動画を作成して記録することが考えられる。

このように、主動画と編集用の動画を同時に記録する場合において、主動画は編集用の動画に比べてデータ量が多く、記録される動画データのデータレートも大きい。そのため、編集用の動画においては仮想バッファのオーバーフローやアンダーフローが発生していないにもかかわらず、主動画においては仮想バッファのオーバーフローやアンダーフローが発生する状況があり得る。

この場合、主動画は良好に符号化が行われない。そこで、仮想バッファのオーバーフローやアンダーフローが発生したフレームは、直前のフレームなどに置き換えるなどの処理が行われる。そのため、主動画と編集用の動画とで、仮想バッファが破綻したフレームの画像が異なってしまう。

また、主動画の動画データのデータレートが大きいため、記録或いは伝送のための上限のレートにあわせてレートを制御した場合、編集用の動画においては符号化劣化が目立たないにもかかわらず、主動画では符号化劣化が目立つ状況があり得る。
この場合、主動画は良好に符号化が行われておらず、主動画と編集用の動画とで、フレームの画像が異なってしまう。

このように、従来は、主動画が良好に符号化されなかった場合、主動画と編集用の動画とでフレームの画像が異なっていることをユーザが認識できないという問題点があった。
本発明は前述の問題点に鑑み、編集用の動画において、主動画が良好に符号化されなかったことが容易に認識できるようにすることを目的とする。

本発明は、第１の動画データを符号化する符号化手段と、前記第１の動画データよりも画素数が少ない第２の動画データを生成して、前記第２の動画データを符号化する生成手段と、前記符号化手段の符号化による前記第１の動画データの劣化の程度と、前記生成手段での符号化による前記第２の動画データの劣化の程度とを検出し、前記第１の動画データの劣化の程度と前記第２の動画データの劣化の程度との差分が所定の値よりも大きい場合に、前記第１の動画データが良好に符号化されていないと検出する検出手段と、前記符号化手段により前記第１の動画データを符号化しながら、前記生成手段により前記第２の動画データを生成する場合に、前記第１の動画データが前記符号化手段により良好に符号化されなかったことを前記検出手段が検出した場合、良好に符号化されなかったことを識別するための所定の情報を前記第２の動画データに付加する付加手段とを備える。

本発明によれば、一方の動画の符号化が良好に行われなかった場合に、その旨を識別するための情報を他方の動画に付加するようにした。これにより、他方の動画において、一方の動画が良好に符号化されなかったことが容易に認識できる。

第１の実施形態における画像処理装置の構成例を示すブロック図である。 第１の実施形態における編集用の動画データに重畳される画像情報を示す図である。 第１の実施形態における仮想バッファの遷移を示す図である。 第１の実施形態におけるバッファ破綻通知による処理例を示すフローチャートである。 同時に記録された主動画と編集用の動画を示す図である。 第２の実施形態における画像処理装置の構成例を示すブロック図である。 第２の実施形態におけるバッファ破綻通知による処理例を示すフローチャートである。 第２の実施形態における付加情報を示す図である。 第２の実施形態における再生装置の構成例を示すブロック図である。 第３の実施形態における画像処理装置の構成例を示すブロック図である。 第４の実施形態における画像処理装置の構成例を示すブロック図である。 第５の実施形態における画像処理装置の構成例を示すブロック図である。 第５の実施形態における画質劣化通知による処理例を示すフローチャートである。 第６の実施形態における画像処理装置の構成例を示すブロック図である。 第６の実施形態における画質劣化通知による処理例を示すフローチャートである。

（第１の実施形態）
図１は、本発明の実施形態としての画像処理装置１００の構成を示す図である。
図１において、入力部１０１は動画データを入力する。本実施形態では、入力部１０１は、１フレームの画素数が、横１９２０画素×縦１０８０画素で、毎秒６０フレームの動画データを入力するものとするが、もちろん、これ以外の画素数、フレームレートの動画データを入力する構成でもよい。また、入力部１０１は、撮像素子やレンズなどの光学系を備えた撮像部からの動画データを入力する構成でもよい。

主動画処理部１０２は、入力された動画データを符号化し、符号化された主動画データ（第１の動画データ）のストリームを生成する。主動画処理部１０２は、符号化部１０３と多重化部１０４を含む。符号化部１０３は、入力された動画データをＨ．２６４などの符号化方式に従って符号化する。Ｈ．２６４方式は、動き補償を使った予測符号化である。

符号化部１０３は、符号化対象の画像と参照画像との間の予測誤差に対し、直交変換、量子化、エントロピー符号化などを施す。また、符号化部１０３は、発生符号量に基づいて、符号化された動画データが、決められた仮想バッファの上限及び下限を超えないように符号化する。多重化部１０４は、符号化された動画データに対して必要な付加情報などを付加して、記録用の動画データを生成する。

画素数変換部１０５は、入力部１０１により入力された動画データの各フレームの画素数を減らし、編集用の動画データ（第２の動画データ）の画素数となるように変換する。
本実施形態では、画素数変換部１０５は、入力された動画データの画素数を横６４０画素×縦４８０画素に変換するものとするが、これ以外の画素数とすることも可能である。画素数変換部１０５から出力される動画データのフレームレートは、入力部１０１から出力されたフレームレートと同じである。

プロキシ処理部１０６は、画素数変換部１０５から出力された編集用の動画データ（以下、プロキシデータ）を符号化し、符号化されたプロキシデータのストリームを生成する。プロキシ処理部１０６は、重畳部１０７、符号化部１０８、及び多重化部１０９を含む。

重畳部１０７は、後述のように、主動画データが良好に符号化されなかった場合に、入力された動画データの対応するフレームに対し、主動画が良好に符号化されていない旨を示す所定の通知画像を重畳する。

符号化部１０８は、重畳部１０７から出力された動画データを符号化部１０３と同じく、Ｈ．２６４方式に従って符号化する、第２の符号化部として設けられている。また、符号化部１０８は、符号化された動画データのデータ量が、決められた仮想バッファの上限及び下限を超えないように符号化する。

多重化部１０９は、符号化された動画データに対して必要な付加情報などを付加して、記録用の動画データを生成する。このように、本実施形態では、プロキシデータの画素数は主動画データの画素数よりも少なくする。そして、本実施形態では、符号化されたプロキシデータのデータレートは、主動画データのデータレートよりも小さい。

通知部１１０は、符号化部１０３が主動画を良好に符号化できなかった場合に、対応するフレーム番号の情報と共に、その旨を重畳部１０７に通知する。
制御部１１１はＣＰＵなどを含み、操作部１１２からの指示に応じて各部を制御する。操作部１１２は各種のスイッチを備える。ユーザは操作部１１２を操作することにより、主動画の記録開始や停止の指示、或いは、プロキシデータを記録するか否かを設定することができる。

記録部１１３は、主動画処理部１０２からの主動画データと、プロキシ処理部１０６からのプロキシデータとを記録媒体１１４に記録する。記録部１１３は、主動画データとプロキシデータとを、ＦＡＴ等のファイルシステムに従い、それぞれ別のファイルとして記録する。記録媒体１１４は、メモリカードなどのランダムアクセスの記録媒体である。記録媒体１１４は、不図示の装着、排出機構により、画像処理装置１００に対して容易に装着、排出することが可能である。

次に、主動画とプロキシデータの記録について説明する。
ユーザは、操作部１１２を操作することにより、主動画データと並列にプロキシデータを生成し、記録媒体１１４に記録するか否かを設定することができる。ユーザによりプロキシデータの記録が設定されない場合、制御部１１１は、プロキシ処理部１０６によりプロキシデータを生成しないように指示する。また、記録部１１３に対し、主動画データを記録するように指示する。また、ユーザによりプロキシデータの記録が設定された場合、制御部１１１は、プロキシ処理部１０６によりプロキシデータを生成するように指示し、また、記録部１１３に対し、プロキシデータを記録するように指示する。

以下、プロキシデータを記録するように設定されている場合について説明する。
ユーザにより記録開始の指示があった場合、制御部１１１は、主動画処理部１０２とプロキシ処理部１０６に対し、符号化を開始するように指示する。主動画処理部１０２とプロキシ処理部１０６はそれぞれ、前述のように動画データの符号化を開始する。本実施形態では、制御部１１１が、主動画データのデータレートの上限及び下限を、プロキシデータのデータレートの上限及び下限よりも高く設定する。主動画データのデータレートの上限及び下限と、プロキシデータのデータレートの上限及び下限はそれぞれ所定値に設定される。

このとき、入力された動画データの状態により、符号化部１０３により符号化された主動画データにおいて、仮想バッファがオーバーフロー、或いは、アンダーフローしてしまうことがある。例えば、入力部１０１が撮像装置からの動画データを入力する場合、撮像装置が大きく動かされた場合、入力される動画のフレーム間の動きが大きくなる。更に、このようなフレーム間の動きが大きな期間が長く続く場合、符号化後に発生する符号量が大きくなり、仮想バッファが破綻することが考えられる。このように、仮想バッファが破綻してしまい、良好な符号化が行われない場合、通知部１１０は、良好に符号化が行われなかったことを示す情報と、そのフレームを識別するためのフレーム番号の情報を重畳部１０７に知らせる。また、多重化部１０４は、破綻したフレームを発生符号量が少ない別の画像に置き換える。

図３は、仮想バッファの遷移を示す図である。図３を用いて、符号化部１０３および多重化部１０４における仮想バッファ破綻時の回避処理について示す。３０１は、破綻回避処理前の仮想バッファの遷移を示す図である。３０２は、破綻回避処理後の仮想バッファの遷移を示す図である。

仮想バッファとは、一定のビットレートで符号化されたデータが入力され、各フレームのデコード時刻になると、該当フレームの符号量が仮想バッファから入出力が行われると仮定した、仮想的なバッファである。仮想バッファの占有量が規定される仮想バッファのサイズ内で遷移する符号化ストリームであれば、規格を満たす一般的な再生機で再生可能である。

仮想バッファへの入力は一定のビットレートであるが各フレームの発生符号量が多い場合には、仮想バッファの占有量が下がり、３０１のようにバッファアンダーフローが発生してしまう。このような場合、符号量が少ない単一の画像を符号化したデータや、動きベクトル情報がないフレーム間予測で符号化したデータなどの符号量の少ないデータに変更することで、３０２のように仮想バッファの占有量を調整する。これにより、データ量が所定のサイズよりも少ない状態であるバッファアンダーフローを防ぐことができる。符号化部１０３、１０８はそれぞれ、以上のような符号量の調整処理を行う。

重畳部１０７は、通知部１１０から、仮想バッファの破綻通知と、対応するフレーム番号の情報を受け取った場合、画素数変換部１０５からの動画データにおいて、通知部１１０から通知されたフレーム番号の画像データに対し、所定の通知情報を付加する。

図２は、重畳部１０７により重畳される情報を示す図である。図２において、２０１は、画素数変換部１０５から出力された動画のうち、通知部１１０から通知されたフレーム番号の画像を示している。２０２は、重畳部１０７により重畳される画像情報を示す図である。２０３は、重畳部１０７から出力される画像を示す図である。

このように、ユーザにより記録停止の指示を受けるまで、主動画データとプロキシデータとが生成され、それぞれ別の動画ファイルとして記録媒体１１４に記録される。そして、記録停止の指示があった場合、制御部１１１は、主動画処理部１０２とプロキシ処理部１０６に対し、符号化を停止するように指示すると共に、記録部１１３に対し、主動画データとプロキシデータの記録を停止するように指示する。

図４は、主動画データとプロキシデータの記録中におけるバッファ破綻通知の処理を示すフローチャートである。このフローチャートは、制御部１１１に設けられている不揮発性メモリに記憶されたプログラムをワークメモリとして機能する揮発性メモリに展開し、ＣＰＵが各部を制御して実行することで実現する。

前述のように、主動画データとプロキシデータとを同時に記録している状態で、通知部１１０は、符号化部１０３において仮想バッファがオーバーフローしているか否かを判別する（Ｓ４０１）。仮想バッファがオーバーフローしていた場合、通知部１１０は、バッファの破綻と、対応するフレーム番号の情報を重畳部１０７に通知する（Ｓ４０２）。重畳部１０７は、バッファ破綻の通知を受けた場合、画素数変換部１０５からの動画データのうち、対応するフレーム番号の画像に対して前述のように通知のための所定の情報を多重する（Ｓ４０３）。

また、Ｓ４０１で、仮想バッファがオーバーフローしていない場合、通知部１１０は、符号化部１０３の仮想バッファがアンダーフローしているか否かを判別する（Ｓ４０４）。仮想バッファがアンダーフローしていた場合、通知部１１０は、バッファの破綻と、対応するフレーム番号の情報を重畳部１０７に通知する（Ｓ４０２）。

重畳部１０７は、バッファ破綻の通知を受けた場合、画素数変換部１０５からの動画データのうち、対応するフレーム番号の画像に対して前述のように通知のための所定の情報を多重する（Ｓ４０３）。また、Ｓ４０４で仮想バッファがアンダーフローしていない場合、通知部１１０による破綻の通知が行われない。

図５は、同時に記録された主動画と編集用の動画を示す図である。主動画５０１において、期間５０３のフレームにおいて仮想バッファが破綻し、良好に符号化が行われていない。そのため、編集用の動画５０２において、期間５０３に対応したフレーム５０４、５０５に対し、通知画像が多重されている。

このように、本実施形態においては、編集用の動画と同時に記録されている主動画において、良好に符号化が行われない場合に、編集用の動画における対応したフレームに対し、所定の通知画像が多重される。そのため、編集用の動画データを再生、復号した場合に、対応する主動画において、良好に符号化が行われていないフレームを容易に認識することが可能となる。

なお、本実施形態では、主動画よりもプロキシの方が、１画面の画素数が少ない構成とした。これ以外にも、画素数、フレームレート、或いは符号化後のデータレートの少なくとも一つが、主動画よりもプロキシの方が少ない場合にも、同様に本発明を適用可能である。即ち、主動画よりも、プロキシの方が単位時間当たりのデータ量が少ない場合にも本発明を適用可能である。

（第２の実施形態）
次に、第２の実施形態を説明する。
図６は、第２の実施形態における画像処理装置１００の構成を示す図である。図６において、図１と同様の構成には同一の番号を付加している。本実施形態では、通知部１１０は、符号化部１０３による仮想バッファの破綻を検出した場合、プロキシ処理部１０６における多重化部１１５に対して、バッファのオーバーフロー或いはアンダーフローと、対応するフレーム番号を通知する。それ以外の構成並びに動作については、第１の実施形態と同じである。

図７は、主動画とプロキシデータの記録中におけるバッファ破綻通知の処理を示すフローチャートである。このフローチャートは、制御部１１１に設けられている不揮発性メモリに記憶されたプログラムをワークメモリとして機能する揮発性メモリに展開し、ＣＰＵが実行することで実現する。主動画データとプロキシデータとを同時に記録している状態で、通知部１１０は、符号化部１０３において仮想バッファがオーバーフローしているか否かを判別する（Ｓ７０１）。

仮想バッファがオーバーフローしていた場合、通知部１１０は、仮想バッファのオーバーフローと、対応するフレーム番号の情報を多重化部１１５に通知する（Ｓ７０２）。多重化部１１５は、オーバーフローの通知を受けた場合、符号化部１０８からの符号化された動画データのうち、対応するフレーム番号のフレームに対して、オーバーフローを示す付加情報を多重する（Ｓ７０３）。

また、Ｓ７０１で、仮想バッファがオーバーフローしていない場合、通知部１１０は、符号化部１０３の仮想バッファがアンダーフローしているか否かを判別する（Ｓ７０４）。仮想バッファがアンダーフローしていた場合、通知部１１０は、仮想バッファのアンダーフローと、対応するフレーム番号の情報を多重化部１１５に通知する（Ｓ７０５）。

多重化部１１５は、アンダーフローの通知を受けた場合、符号化部１０８からの符号化された動画データのうち、対応するフレーム番号のフレームに対して、アンダーフローを示す付加情報を多重する（Ｓ７０３）。また、Ｓ７０４で仮想バッファがアンダーフローしていない場合、通知部１１０による破綻の通知が行われない。

図８は、多重化部１１５によりプロキシデータに多重される付加情報を示す図である。図８に示すように、通知部１１０からの通知に基づいて、対応するフレームに対して、オーバーフローまたはアンダーフローを示す付加情報が付加される。

図９は、このように記録された主動画データとプロキシデータとを再生し、編集する機能を持つ再生装置９００の構成例を示すブロック図である。図９において、制御部９０１は、ＣＰＵを有し、操作部９０２からの指示に応じて各部を制御する。記録再生部９０３は、記録媒体１１４に記録された主動画データやプロキシデータを再生する。また、記録再生部９０３は、制御部９０１からの指示により、編集情報などの各種の情報を記録する。

画像処理部９０４は、再生されたプロキシデータのうち、主動画における破綻フレームに対応したフレームを所定の通知画像に変更して表示させる処理を行う。復号部９０５は、記録再生部９０３により再生された主動画データやプロキシデータを復号する。表示制御部９０６は、復号された動画や各種の情報を表示部９０７に表示する。バス９０８は各部の間でデータを送受信する。

ユーザがプロキシデータを利用して編集を行う場合の処理について説明する。ユーザが操作部９０２を操作して、プロキシデータの再生を指示すると、制御部９０１は、プロキシデータを再生するように記録再生部９０３に指示する。

記録再生部９０３は、記録媒体１１４からプロキシデータを再生し、復号部９０５に送る。復号部９０５は再生されたプロキシデータを復号し、復号されたプロキシデータを画像処理部９０４に送る。このとき、復号部９０５は、プロキシデータにおける各フレームに対し、オーバーフロー或いはアンダーフローを示す付加情報が付加されているか否かを判別する。付加情報が付加されていた場合、復号部９０５は、オーバーフロー或いはアンダーフローの付加情報に対応したフレーム番号を画像処理部９０４に通知する。

画像処理部９０４は、復号されたプロキシデータの各フレームの画素数を表示部９０７の表示に適したものに変更して表示制御部９０６に出力する。また、画像処理部９０４、復号部９０５よりオーバーフロー或いはアンダーフローの付加情報に対応したフレーム番号の情報を受けた場合、通知されたフレーム番号の画像を、所定の画像、ここではグレー画像などに変更して表示制御部９０６に出力する。

このように、主動画における仮想バッファのオーバーフロー或いはアンダーフローに対応したフレームを所定の画像に変えて表示することで、ユーザは、主動画が良好に符号化されていないことを、編集用の動画により容易に確認することができる。

ユーザは、このように表示部９０７に表示された編集用の動画を確認しながら操作部９０２を操作して、例えば、イン点、アウト点などを指定する。制御部９０１は、ユーザにより指定されたイン点、アウト点のフレーム番号の情報を生成し、記録再生部９０３により記録媒体１１４に記録する。

このように、本実施形態においては、編集用の動画と同時に記録されている主動画において、良好に符号化が行われない場合に、編集用の動画における対応したフレームに対し、付加情報を多重する。そのため、編集用の動画データを再生、復号した場合に、対応する主動画において、良好に符号化が行われていないフレームを容易に認識することが可能となる。
なお、第２の実施形態では、再生装置９００を画像処理装置１００とは別の構成としたが、画像処理装置１００が再生装置９００の構成を含む構成とすることも可能である。

（第３の実施形態）
次に、第３の実施形態を説明する。
図１０は、第３の実施形態における画像処理装置１００の構成例を示すブロック図である。本実施形態では、プロキシデータを符号化せずに記録する構成である。そのため、図１０の画像処理装置１００は、図１における符号化部１０８を除いた構成となっており、符号化部１０８の構成以外は第１の実施形態と同様である。

即ち、重畳部１０７は、通知部１１０から、仮想バッファの破綻通知と、対応するフレーム番号の情報を受け取った場合、画素数変換部１０５からの動画データにおいて、通知部１１０から通知されたフレーム番号の画像に対し、所定の通知情報を付加する。また、通知部１１０から仮想バッファの破綻通知がない場合、重畳部１０７は、画素数変換部１０５からの動画データをそのまま多重化部１０９に出力する。多重化部１０９は、重畳部１０７からの動画データに対し、必要な情報を付加して記録用の動画データを生成する。

（第４の実施形態）
次に、第４の実施形態を説明する。図１１は、第４の実施形態における画像処理装置１００の構成例を示すブロック図である。本実施形態では、プロキシデータを符号化せずに記録する構成である。そのため、図１１の画像処理装置１００は、図６における符号化部１０８を除いた構成となっており、符号化部１０８の構成以外は第２の実施形態と同様である。

即ち、多重化部１１５は、通知部１１０よりオーバーフロー或いはアンダーフローの通知を受けた場合、画素数変換部１０５からの動画データのうち、対応するフレーム番号のフレームに対して、オーバーフロー或いはアンダーフローを示す付加情報を多重する。

（第５の実施形態）
次に、第５の実施形態を説明する。第１から第４の実施形態では、主動画データの符号化時におけるバッファオーバーフロー或いはバッファアンダーフローを検出した場合に、通知画像、或いは付加情報をプロキシデータに付加していた。本実施形態では、主動画データにおける、符号化による劣化の程度（劣化度）を検出し、検出された劣化度に応じて、通知画像をプロキシデータに多重する。

図１２は、第５の実施形態における画像処理装置１００の構成例を示すブロック図である。図１２において、図１と同様の構成は同一の番号を付加して説明する。図１２の画像処理装置１００は、図１の構成に対し、劣化度検出部１１６、１１７が追加されている。劣化度検出部１１６、１１７の構成以外、基本的な構成は図１と同様である。

図１２において、劣化度検出部１１６は、主動画データの各フレームについての、符号化処理による劣化の度合いを検出する。そして、検出した劣化度合いに関連する情報を通知部１１０に出力する。また、劣化度検出部１１７は、プロキシデータの各フレームについての、符号化処理による劣化の程度を検出する。そして、検出した劣化度に関連する情報を通知部１１０に出力する。

通知部１１０は、符号化部１０３からの、バッファオーバーフロー或いはバッファアンダーフローの情報に加え、劣化度検出部１１６、１１７からの符号化劣化度の情報を受ける。そして、通知部１１０は、これらの情報に基づいて、主動画が良好に符号化されないこと、或いは、主動画の画質が劣化していることを検出し、対応するフレーム番号の情報と共に、その旨を重畳部１０７に通知する。それ以外の構成並びに動作については、第１の実施形態と同じである。

次に、劣化度検出部１１６、１１７の処理について説明する。符号化部１０３で行われる量子化処理により、主動画中に量子化ノイズが発生する。劣化度検出部１１６は、入力部１０１から入力された動画データと、符号化部１０３で符号化された動画データを復号した局所復号データとから、画質指標の１つであるＰＳＮＲ(Peak Signal to Noise Ratio)を公知の方法で算出する。そして、通知部１１０へと出力する。ＰＳＮＲは、圧縮などの変換処理による信号の劣化を客観的に評価するための情報である。一般に、ＰＳＮＲが小さいほど、符号化による画質の劣化が少ないことが予想される。

また、劣化度検出部１１６は、符号化された主動画において、低域成分の量子化誤差により、量子化単位のブロック間に相関の無い状態において発生するブロックノイズが発生しているブロックを検出する。そして、１画面のうち、ブロックノイズが発生していると判断したブロックの割合（数）を示す情報を通知部１１０に出力する。

具体的には、劣化度検出部１１６は、符号化部１０３から出力された主動画における対象ブロックの分散値と、設定される量子化値を用いて、各ブロックについて、ブロックノイズが発生していることを検出する。即ち、分散値の低い平坦部で低域成分の段差がブロック境界でノイズに見えるという特性を利用する。そして、符号化部１０３から出力された主動画の各ブロックについて、分散値が所定の分散値よりも低く、かつ量子化値が所定の量子化値よりも大きい場合に、ブロックノイズが発生したと検出する。

また、劣化度検出部１１６は、符号化された主動画において、高域成分の量子化誤差により、エッジ周辺に生じるリンギング状のノイズである、モスキートノイズが発生しているブロックを検出する。そして、１画面のうち、モスキートノイズが発生していると判断したブロックの割合（数）を示す情報を通知部１１０に出力する。

低域に大きな映像信号のレベルの変化が存在し、高域に小さなノイズが加算されている場合に、モスキートノイズが目立つという特性がある。そこで、劣化度検出部１１６は、符号化部１０３からの主動画における対象ブロックの量子化前後の高域成分と、対象ブロックの分散値を用いて、モスキートノイズが発生していることを検出する。即ち、劣化度検出部１１６は、ブロック内にエッジを含み、対象ブロックの高域成分が量子化前後で大きく異なる場合、モスキートノイズが発生したと検出する。

劣化度検出部１１７は、入力された動画データと、符号化部１０８で符号化されたプロキシデータを復号した、局所復号画像データとから、劣化度検出部１１６と同じく、ＰＳＮＲを検出する。ただし、画素数変換部１０５により、プロキシデータの画素数は入力された動画データよりも少なくなっているので、劣化度検出部１１７は、局所復号されたプロキシデータの画素数を、入力動画データと同じ画素数に変換した後、ＰＳＮＲを検出する。劣化度検出部１１７は、各フレームのＰＳＮＲの値を通知部１１０に出力する。

図１３は、主動画とプロキシデータの記録中における画質劣化通知の処理を示すフローチャートである。このフローチャートは、制御部１１１に設けられている不揮発性メモリに記憶されたプログラムをワークメモリとして機能する揮発性メモリに展開し、ＣＰＵが実行することで実現する。

前述のように、主動画データとプロキシデータとを同時に記録している状態で、通知部１１０は、符号化部１０３において仮想バッファがオーバーフローしているか否かを判別する（Ｓ１３０１）。仮想バッファがオーバーフローしていた場合、通知部１１０は、バッファの破綻と、対応するフレーム番号の情報を重畳部１０７に通知する（Ｓ１３０２）。重畳部１０７は、バッファ破綻の通知を受けた場合、画素数変換部１０５からの動画データのうち、対応するフレーム番号の画像に対し、主動画においてバッファ破綻が発生したことを通知するための所定の情報を多重する（Ｓ１３０３）。

また、Ｓ１３０１で、仮想バッファがオーバーフローしていない場合、通知部１１０は、符号化部１０３の仮想バッファがアンダーフローしているか否かを判別する（Ｓ１３０４）。仮想バッファがアンダーフローしていた場合、通知部１１０は、バッファの破綻と、対応するフレーム番号の情報を重畳部１０７に通知する（Ｓ１３０２）。

重畳部１０７は、バッファ破綻の通知を受けた場合、画素数変換部１０５からの動画データのうち、対応するフレーム番号の画像に対し、主動画においてバッファ破綻が発生したことを通知するための所定の情報を多重する（Ｓ１３０３）。

また、Ｓ１３０４で仮想バッファがアンダーフローしていない場合、通知部１１０は、劣化度検出部１１６から通知されたＰＳＮＲと、劣化度検出部１１７から通知されたＰＳＮＲとの差分が所定の値Ａよりも大きいか否かを判別する（Ｓ１３０５）。ＰＳＮＲの差分が所定の値Ａよりも大きい場合、通知部１１０は、主動画の画質が劣化していること、及び、対応するフレーム番号の情報を重畳部１０７に通知する（Ｓ１３０６）。重畳部１０７は、画質劣化の通知を受けた場合、画素数変換部１０５からの動画データのうち、対応するフレーム番号の画像に対し、画質が劣化していることを通知するための所定の情報を多重する（Ｓ１３０７）。

また、Ｓ１３０５で、ＰＳＮＲの差分が所定の値Ａ以下の場合、通知部１１０は、劣化度検出部１１６から通知されたＰＳＮＲが所定の値Ｂよりも小さいか否かを判別する（Ｓ１３０８）。ＰＳＮＲが所定の値Ｂよりも小さい場合、主動画の画質が劣化していること、及び、対応するフレーム番号の情報を重畳部１０７に通知する（Ｓ１３０６）。重畳部１０７は、画質劣化の通知を受けた場合、画素数変換部１０５からの動画データのうち、対応するフレーム番号の画像に対し、画質が劣化していることを通知するための所定の情報を多重する（Ｓ１３０７）。

また、Ｓ１３０８で、ＰＳＮＲが所定の値Ｂ以上の場合、通知部１１０は、劣化度検出部１１６から通知されたブロックノイズの割合が所定の値Ｃよりも大きいか否かを判別する（Ｓ１３０９）。ブロックノイズの割合が所定の値Ｃよりも大きい場合、通知部１１０は、主動画の画質が劣化していること、及び、対応するフレーム番号の情報を重畳部１０７に通知する（Ｓ１３０６）。重畳部１０７は、画質劣化の通知を受けた場合、画素数変換部１０５からの動画データのうち、対応するフレーム番号の画像に対し、画質が劣化していることを通知するための所定の情報を多重する（Ｓ１３０７）。

また、Ｓ１３０９で、ブロックノイズの割合が所定の値Ｃ以下の場合、通知部１１０は、劣化度検出部１１６から通知されたモスキートノイズの割合が所定の値Ｄよりも大きいか否かを判別する（Ｓ１３１０）。モスキートノイズの割合が所定の値Ｄよりも大きい場合、通知部１１０は、主動画の画質が劣化していること、及び、対応するフレーム番号の情報を重畳部１０７に通知する（Ｓ１３０６）。重畳部１０７は、画質劣化の通知を受けた場合、画素数変換部１０５からの動画データのうち、対応するフレーム番号の画像に対し、画質が劣化していることを通知するための所定の情報を多重する（Ｓ１３０７）。

このように、本実施形態においては、主動画における符号化時のバッファの破綻に加え、主動画において符号化による画質の劣化が発生していることを検出し、その旨を示す情報をプロキシデータに多重している。そのため、ユーザは、主動画が良好に符号化されておらず、画質が劣化していることを、編集用の動画により、容易に、かつ的確に確認することができる。

なお、本実施形態では、バッファが破綻している場合と、符号化により画質が劣化している場合で、異なる付加情報をプロキシデータに付加していたが、同じ情報を多重する構成としてもよい。即ち、バッファが破綻している場合と、符号化により画質が劣化している場合の何れも、良好に符号化されていないと判別し、その旨の付加情報を記録する構成としてもよい。

（第６の実施例）
次に、第５の実施形態を説明する。図１４は、第６の実施形態における画像処理装置１００の構成例を示すブロック図である。図１４において、図６、図１２と同様の構成は同一の番号を付加して説明する。

図１４の画像処理装置１００は、図６の構成に対し、劣化度検出部１１６、１１７が追加されている。劣化度検出部１１６、１１７の構成以外、基本的な構成は図６と同様である。図１４において、図１２と同様、劣化度検出部１１６は、主動画データの各フレームについての、符号化処理による劣化の程度を検出する。そして、検出した劣化度に関連する情報を通知部１１０に出力する。また、劣化度検出部１１７は、プロキシデータの各フレームについての、符号化処理による劣化の程度を検出する。そして、検出した劣化度に関連する情報を通知部１１０に出力する。

通知部１１０は、符号化部１０３からの、バッファオーバーフロー或いはバッファアンダーフローの情報に加え、劣化度検出部１１６、１１７からの劣化度の情報に基づいて、主動画が良好に符号化されないことを検出する。そして、対応するフレーム番号の情報と共に、その旨を多重化部１１５に通知する。多重化部１１５は、通知部１１０からの出力に応じて、符号化部１０８からのプロキシデータに対し、バッファ破綻、或いは、画質が劣化していることを示す付加情報を多重する。それ以外の構成並びに動作については、第２の実施形態と同じである。

図１５は、主動画とプロキシデータの記録中における画質劣化通知の処理を示すフローチャートである。このフローチャートは、制御部１１１に設けられている不揮発性メモリに記憶されたプログラムをワークメモリとして機能する揮発性メモリに展開し、ＣＰＵが実行することで実現する。

前述のように、主動画データとプロキシデータとを同時に記録している状態で、通知部１１０は、符号化部１０３において仮想バッファがオーバーフローしているか否かを判別する（Ｓ１５０１）。仮想バッファがオーバーフローしていた場合、通知部１１０は、バッファの破綻と、対応するフレーム番号の情報を重畳部１０７に通知する（Ｓ１５０２）。多重化部１１５は、バッファ破綻の通知を受けた場合、符号化部１０８からのプロキシデータのうち、対応するフレーム番号のフレームに対し、主動画においてバッファ破綻が発生したことを示す付加情報を多重する（Ｓ１５０３）。

また、Ｓ１５０１で、仮想バッファがオーバーフローしていない場合、通知部１１０は、符号化部１０３の仮想バッファがアンダーフローしているか否かを判別する（Ｓ１５０４）。仮想バッファがアンダーフローしていた場合、通知部１１０は、バッファの破綻と、対応するフレーム番号の情報を多重化部１１５に通知する（Ｓ１５０２）。多重化部１１５は、バッファ破綻の通知を受けた場合、符号化部１０８からのプロキシデータのうち、対応するフレーム番号のフレームに対し、主動画においてバッファ破綻が発生したことを示す付加情報を多重する（Ｓ１５０３）。

また、Ｓ１５０４で仮想バッファがアンダーフローしていない場合、通知部１１０は、劣化度検出部１１６から通知されたＰＳＮＲと、劣化度検出部１１７から通知されたＰＳＮＲとの差分が所定の値Ａよりも大きいか否かを判別する（Ｓ１５０５）。ＰＳＮＲの差分が所定の値Ａよりも大きい場合、通知部１１０は、主動画の画質が劣化していること、及び、対応するフレーム番号の情報を多重化部１１５に通知する（Ｓ１５０６）。多重化部１１５は、画質劣化の通知を受けた場合、符号化部１０８からのプロキシデータのうち、対応するフレーム番号のフレームに対し、画質が劣化していることを示す付加情報を多重する（Ｓ１５０７）。

また、Ｓ１５０５で、ＰＳＮＲの差分が所定の値Ａ以下の場合、通知部１１０は、劣化度検出部１１６から通知されたＰＳＮＲが所定の値Ｂよりも小さいか否かを判別する（Ｓ１５０８）。ＰＳＮＲが所定の値Ｂよりも小さい場合、通知部１１０は、主動画の画質が劣化していること、及び、対応するフレーム番号の情報を多重化部１１５に通知する（Ｓ１５０６）。多重化部１１５は、画質劣化の通知を受けた場合、符号化部１０８からのプロキシデータのうち、対応するフレーム番号のフレームに対し、画質が劣化していることを示す付加情報を多重する（Ｓ１５０７）。

また、Ｓ１５０８で、ＰＳＮＲが所定の値Ｂ以上の場合、通知部１１０は、劣化度検出部１１６から通知されたブロックノイズの割合が所定の値Ｃよりも大きいか否かを判別する（Ｓ１５０９）。ブロックノイズの割合が所定の値Ｃよりも大きい場合、通知部１１０は、主動画の画質が劣化していること、及び、対応するフレーム番号の情報を多重化部１１５に通知する（Ｓ１３０６）。多重化部１１５は、画質劣化の通知を受けた場合、符号化部１０８からのプロキシデータのうち、対応するフレーム番号のフレームに対し、画質が劣化していることを示す付加情報を多重する（Ｓ１５０７）。

また、Ｓ１５０９で、ブロックノイズの割合が所定の値Ｃ以下の場合、通知部１１０は、劣化度検出部１１６から通知されたモスキートノイズの割合が所定の値Ｄよりも大きいか否かを判別する（Ｓ１５１０）。モスキートノイズの割合が所定の値Ｄよりも大きい場合、通知部１１０は、主動画の画質が劣化していること、及び、対応するフレーム番号の情報を多重化部１１５に通知する（Ｓ１５０６）。多重化部１１５は、画質劣化の通知を受けた場合、符号化部１０８からのプロキシデータのうち、対応するフレーム番号のフレームに対し、画質が劣化していることを示す付加情報を多重する（Ｓ１５０７）。

このように、本実施形態においては、主動画における符号化時のバッファの破綻に加え、主動画において符号化による画質の劣化が発生していることを検出し、その旨を示す付加情報をプロキシデータに多重している。そして、このようなプロキシデータを、図９に示す再生装置により再生することにより、ユーザは、主動画が良好に符号化されていないことを、編集用の動画により、容易に、かつ的確に確認することができる。

なお、前述の各実施形態においては、符号化部１０３および符号化部１０８は共に、Ｈ．２６４方式に従って符号化を行っているが、その他の符号化方式を用いることも可能である。また、符号化部１０３と、符号化部１０８が、互いに異なる符号化方式を用いることも可能である。

例えば、符号化部１０３が、離散ウェーブレット変換を用いた符号化を行い、符号化部１０８が、Ｈ．２６４による符号化を行うようにすることも可能である。この場合、劣化度検出部１１７は、前述のように符号化の劣化度を検出する。一方、離散ウェーブレット変換を用いる符号化のような、ブロック単位の符号化をしない符号化方式の場合は、ブロックノイズの検出を行うことが出来ないため、モスキートノイズの割合と、ＰＳＮＲとから、劣化の度合いを検出する。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ 画像処理装置
１０１ 入力部
１０２ 主動画処理部
１０３ 符号化部
１０４ 多重化部
１０５ 画素数変換部
１０６ プロキシ処理部
１０７ 重畳部
１０８ 符号化部
１０９ 多重化部
１１０ 通知部
１１１ 制御部
１１２ 操作部
１１３ 記録部
１１４ 記録媒体

Claims (17)

1. 第１の動画データを符号化する符号化手段と、
   前記第１の動画データよりも画素数が少ない第２の動画データを生成して、前記第２の動画データを符号化する生成手段と、
   前記符号化手段の符号化による前記第１の動画データの劣化の程度と、前記生成手段での符号化による前記第２の動画データの劣化の程度とを検出し、前記第１の動画データの劣化の程度と前記第２の動画データの劣化の程度との差分が所定の値よりも大きい場合に、前記第１の動画データが良好に符号化されていないと検出する検出手段と、
   前記符号化手段により前記第１の動画データを符号化しながら、前記生成手段により前記第２の動画データを生成する場合に、前記第１の動画データが前記符号化手段により良好に符号化されなかったことを前記検出手段が検出した場合、良好に符号化されなかったことを識別するための所定の情報を前記第２の動画データに付加する付加手段とを備えることを特徴とする画像処理装置。
2. 前記付加手段は、前記第１の動画データが良好に符号化されなかったことを識別するための画像情報を、前記第２の動画データに多重することを特徴とする請求項１に記載の画像処理装置。
3. 前記付加手段は、前記第２の動画データのうちの、前記第１の動画データにおいて良好に符号化されなかったフレームに対応したフレームの画像データに前記画像情報を多重することを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段は、前記画像情報が多重された第２の動画データを符号化することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記付加手段は、前記第１の動画データが良好に符号化されなかったことを識別するための情報を、前記生成手段により符号化された第２の動画データに付加することを特徴とする請求項１に記載の画像処理装置。
6. 前記検出手段は、前記符号化手段により良好に符号化されなかったフレームの情報を前記付加手段に通知することを特徴とする請求項１に記載の画像処理装置。
7. 前記符号化手段は、仮想バッファに記憶される符号化された前記第１の動画データのデータ量が所定のサイズとなるように符号化を行い、
   前記付加手段は、前記仮想バッファがオーバーフローまたはアンダーフローしたことに応じて、前記所定の情報を前記第２の動画データに付加することを特徴とする請求項１に記載の画像処理装置。
8. 前記検出手段は、前記第１の動画データの劣化の程度が所定の値を超えた場合に、前記第１の動画データが良好に符号化されていないと判別することを特徴とする請求項１に記載の画像処理装置。
9. 第１の動画データを符号化する符号化手段と、
   前記第１の動画データよりも画素数が少ない第２の動画データを生成して、前記第２の動画データを符号化する生成手段と、
   前記符号化手段により符号化された前記第１の動画データの画質の劣化を検出する検出手段と、
   前記符号化手段により前記第１の動画データを符号化しながら、前記生成手段により前記第２の動画データを生成する場合に、前記検出手段により前記第１の動画データの画質の劣化が検出されたことに応じて、前記第１の動画データの画質が劣化していることを識別するための所定の情報を前記第２の動画データに付加する付加手段とを備え、
   前記検出手段は、前記符号化手段の符号化による前記第１の動画データの劣化の程度を検出し、前記第１の動画データの劣化の程度に基づいて、前記所定の情報を前記第２の動画データに付加し、更に、前記生成手段での符号化による前記第２の動画データの劣化の程度を検出し、前記第１の動画データの劣化の程度と、前記第２の動画データの劣化の程度との差分が所定の値よりも大きい場合に、前記第１の動画データが劣化していると検出することを特徴とする画像処理装置。
10. 前記付加手段は、前記第１の動画データの画質が劣化していることを識別するための画像情報を、前記第２の動画データに多重することを特徴とする請求項９に記載の画像処理装置。
11. 前記付加手段は、前記第２の動画データのうちの、前記第１の動画データにおいて画質が劣化していることが検出されたフレームに対応したフレームの画像データに前記画像情報を多重することを特徴とする請求項１０に記載の画像処理装置。
12. 前記生成手段は、前記画像情報が多重された第２の動画データを符号化することを特徴とする請求項１０または１１に記載の画像処理装置。
13. 前記付加手段は、前記第１の動画データの画質が劣化していることを識別するための情報を、前記生成手段により符号化された第２の動画データに付加することを特徴とする請求項９に記載の画像処理装置。
14. 前記検出手段は、前記第１の動画データにおいて画質が劣化していることが検出されたフレームの情報を前記付加手段に通知することを特徴とする請求項９に記載の画像処理装置。
15. 前記検出手段は、前記第１の動画データの劣化の程度が所定の値を超えた場合に、前記第１の動画データが劣化していると判別することを特徴とする請求項９に記載の画像処理装置。
16. 画像処理装置が実行する画像処理方法であって、
    第１の動画データを符号化する符号化工程と、
    前記第１の動画データよりも画素数が少ない第２の動画データを生成して、前記第２の動画データを符号化する生成工程と、
    前記符号化工程での符号化による前記第１の動画データの劣化の程度と、前記生成工程での符号化による前記第２の動画データの劣化の程度とを検出し、前記第１の動画データの劣化の程度と前記第２の動画データの劣化の程度との差分が所定の値よりも大きい場合に、前記第１の動画データが良好に符号化されていないと検出する検出工程と、
    前記符号化工程において前記第１の動画データを符号化しながら、前記生成工程において前記第２の動画データを生成する場合に、前記第１の動画データが前記符号化工程により良好に符号化されなかったことを前記検出工程において検出した場合、良好に符号化されなかったことを識別するための所定の情報を前記第２の動画データに付加する付加工程とを備えることを特徴とする画像処理方法。
17. 画像処理装置が実行する画像処理方法であって、
    第１の動画データを符号化する符号化工程と、
    前記第１の動画データよりも画素数が少ない第２の動画データを生成して、前記第２の動画データを符号化する生成工程と、
    前記符号化工程により符号化された前記第１の動画データの画質の劣化を検出する検出工程と、
    前記符号化工程により前記第１の動画データを符号化しながら、前記生成工程により前記第２の動画データを生成する場合に、前記検出工程により前記第１の動画データの画質の劣化が検出されたことに応じて、前記第１の動画データの画質が劣化していることを識別するための所定の情報を前記第２の動画データに付加する付加工程とを備え、
    前記検出工程では、前記符号化工程での符号化による前記第１の動画データの劣化の程度を検出し、前記第１の動画データの劣化の程度に基づいて、前記所定の情報を前記第２の動画データに付加し、更に、前記生成工程での符号化による前記第２の動画データの劣化の程度を検出し、前記第１の動画データの劣化の程度と、前記第２の動画データの劣化の程度との差分が所定の値よりも大きい場合に、前記第１の動画データが劣化していると検出することを特徴とする画像処理方法。

Images