JP6365253B2 - 映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法 - Google Patents

Description

本発明は、映像データ処理装置等に関する。

従来技術のリアルタイム映像伝送システムでは、映像を伝送する場合に、ＩＤＲ（Instantaneous Decoding Refresh）ピクチャを挿入し、続けてＰ（Predictive）ピクチャ等を挿入することが、規格で定められている。近年では、情報量がＩＤＲよりも少ないＰピクチャの情報量に合わせて、符号化バッファ量を減らすことで、低遅延化をはかる場合がある。

ここで、ＩＤＲピクチャを挿入するタイミングは、ＰＯＣ（Picture Order Count）値が最大となるタイミングとなる。ＰＯＣ値は、映像を符号化してＰピクチャを生成する度にカウントアップする値であり、ＩＤＲピクチャが挿入されると、ＰＯＣ値は初期値にリセットされる。従来技術では、ＰＯＣ値がオーバーフローする前に、ＩＤＲピクチャを挿入する。

図７は、従来技術のＩＤＲピクチャを挿入するタイミングを説明するための図である。一例として、Ｐピクチャ１０〜１７が順次挿入され、Ｐピクチャ１７が挿入されたタイミングのＰＯＣ値が９９９となり、ピクチャ１８を生成するタイミングでＰＯＣ値が１０００となり、ＰＯＣ値が最大となったものとする。この場合には、Ｐピクチャ１７の次に、ＩＤＲピクチャ１８を挿入し、ＰＯＣ値がリセットされる。図示を省略するが、ＩＤＲピクチャ１８の後に、Ｐピクチャが順次挿入され、上記処理を繰り返し実行する。なお、ＰＯＣ値の最大値は適宜変更可能である。図７では一例としてＰＯＣ値の最大値を１０００として説明したが、これに限定されるものではない。

特開２０１３−２４３４８０号公報 特開２００９−８１８９８号公報 特開２００８−１５４１８７号公報 特開２００９−２９０４６３号公報 米国特許出願公開第２００５／００３１０３０号明細書 米国特許出願公開第２００８／０１５２０１２号明細書 米国特許出願公開第２００９／０２９６８０９号明細書

しかしながら、上述した従来技術では、画像劣化を抑止することができないという問題がある。

ＩＤＲピクチャは、画面内予測のみで符号化を行うため、画面間予測を用いるＰピクチャと比較して、情報量が大きくなる。ここで、例えば、低遅延を実現するために、Ｐピクチャの情報量に合わせて符号化バッファ量を小さくすると、ＩＤＲピクチャに十分な情報量を割り当てることができない場合がある。これによって、情報量が不足するＩＤＲピクチャを挿入すると、係るＩＤＲピクチャを基に復号する画像が劣化してしまう。規格上、ＩＤＲピクチャは、ＰＯＣ値がオーバーフローする前に順次挿入されるため、画像劣化を抑止することができない。

１つの側面では、画像劣化を抑止することができる映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法を提供することを目的とする。

第１の案では、映像データ処理装置は、制御部を有する。制御部は、動画像データに含まれるフレーム内の画像を符号化した第１キーフレームに基づいて、前記第１キーフレームに対応するフレーム内の画像と相違する部分画像を符号化した差分フレームを順次生成する。制御部は、生成した差分フレームが第１の数に達すると、下記の処理を行う。制御部は、以降生成される差分フレームと、該以降生成される差分フレームより時間的に前の差分フレームとの間の差分が所定以下であることの検出に応じて、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する。

本発明の１実施態様によれば、画像劣化を抑止することができる。

図１は、本実施例１に係る映像データ処理装置の構成を示す機能ブロック図である。 図２は、ＩＤＲピクチャを挿入するタイミングを説明するための図である。 図３は、本実施例１に係る映像データ処理装置の処理手順を示すフロ−チャートである。 図４は、本実施例２に係る映像データ処理装置の構成を示す機能ブロック図である。 図５は、本実施例２に係る映像データ処理装置の処理手順を示すフローチャートである。 図６は、映像データ処理プログラムを実行するコンピュータの一例を示す図である。 図７は、従来技術のＩＤＲピクチャを挿入するタイミングを説明するための図である。

以下に、本願の開示する映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

本実施例１に係る映像データ処理装置の構成の一例について説明する。図１は、本実施例１に係る映像データ処理装置の構成を示す機能ブロック図である。図１に示すように、この映像データ処理装置１００は、通信部１１０、入力部１２０、記憶部１３０、制御部１４０を有する。

通信部１１０は、ネットワークを介して図示しない外部装置とデータを送受信する装置である。通信部１１０は、通信装置等に対応する。通信部１１０は、後述する制御部１４０から符号ストリーム情報を取得し、取得した符号ストリーム情報を宛先となる外部装置に送信する。

入力部１２０は、映像データ処理装置１００に各種の情報を入力するための入力インターフェースである。例えば、入力部１２０により、ビデオレート、閾値データ、原画像データ等が、映像データ処理装置１００に入力される。

記憶部１３０は、閾値データ１３１、第１バッファ１３２、第２バッファ１３３を有する。記憶部１３０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子などの記憶装置に対応する。

閾値データ１３１は、後述する符号化部１４２が各種の判定を行う場合に用いる閾値データである。例えば、閾値データ１３１には、第１閾値、第２閾値、第３閾値、第４閾値が含まれる。第１閾値、第２閾値、第３閾値、第４閾値に関する説明は後述する。

第１バッファ１３２は、入力部１２０から入力される原画像データを蓄積するバッファである。第２バッファ１３３は、制御部１４０によって作成される符号ストリーム情報を蓄積するバッファである。ここでは一例として、第１バッファ１３２、第２バッファ１３３とを分けて示すが、第１バッファ１３２および第２バッファ１３３は統合されてもよい。

制御部１４０は、取得部１４１、符号化部１４２、ＰＯＣ値カウント部１４３、特徴量抽出部１４４、送信部１４５を有する。制御部１４０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、制御部１４０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路に対応する。

取得部１４１は、入力部１２０から各種の情報を取得し、取得した情報を記憶部１３０に格納する処理部である。例えば、取得部１４１は、閾値データ１３１を取得した場合には、閾値データ１３１を記憶部１３０に格納する。取得部１４１は、原画像データを取得した場合には、取得した原画像データを第１バッファ１３２に蓄積する。

符号化部１４２は、第１バッファ１３２に蓄積された原画像データを符号化することで、符号化ストリーム情報を生成し、生成した符号化ストリーム情報を、第２バッファ１３３に蓄積する処理部である。例えば、符号化部１４２は、符号化ストリーム情報として、はじめにＩ（Intra-coded）ピクチャを生成し、順次Ｐ（Predictive）ピクチャを生成する。そして、所定の条件を満たしたタイミングで、ＩＤＲ（Instantaneous Decoding Refresh）ピクチャを生成し、生成したＩＤＲピクチャを符号化ストリーム情報に挿入する。符号化部１４２が、ＩＤＲピクチャを挿入するタイミングに関する説明は後述する。符号化部１４２は、ＩＤＲピクチャを挿入した後に、順次Ｐピクチャを生成、上記処理を繰り返し実行する。

符号化部１４２の画像符号化圧縮方式は、Ｈ．２６４／ＭＰＥＧ４（Moving Picture Experts Group phase 4）ＡＶＣ（Advanced Video Cording）や、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）の画像符号化方式に準拠する。すなわち、符号化部１４２は、Ｈ．２６４／ＭＰＥＧ４、Ｈ．２６５／ＨＥＶＣ等の画像符号化方式に基づいて、第１バッファ１３２の原画像データを符号化し、Ｉピクチャ、Ｐピクチャ、ＩＤＲピクチャを生成する。

例えば、Ｉピクチャは、原画像データのフレーム内の全画像を符号化した情報である。Ｐピクチャは、ＩフレームまたはＩＤＲフレームに対応するフレーム内の画像と相違する部分画像を符号化した情報である。ＩＤＲピクチャは、Ｉピクチャと同様にして、原画像データのフレーム内の全画像を符号化した情報であるが、Ｉピクチャと区別される。

ＰＯＣ値カウント部１４３は、ＰＯＣ値をカウントし、カウントしたＰＯＣ値を符号化部１４２に通知する処理部である。例えば、ＰＯＣ値カウント部１４３は、符号化部１４２が、Ｐピクチャを生成する度に、ＰＯＣ値をインクリメントする。ＰＯＣ値の初期値を０とする。また、ＰＯＣ値カウント部１４３は、符号化部１４２が、ＩＤＲピクチャを生成した場合に、ＰＯＣ値を初期値にリセットする。

特徴量抽出部１４４は、第１バッファ１３２に格納された原画像データと、この原画像データの１フレーム前の原画像データとを比較して、特徴量を抽出し、抽出した特徴量の情報を、符号化部１４２に通知する処理部である。以下の説明では、比較対象とする各原画像データを、第１原画像データ、第２原画像データと表記する。例えば、第１原画像データは、符号化部１４２が符号化対象とする原画像データであり、第２原画像データは、第１原画像データの１フレーム前の原画像データとする。

特徴量抽出部１４４は、第１原画像データと第２原画像データとの一致度を特徴量として算出する。一致度は、第１原画像データと第２原画像データとがどの程度一致するかを示す値である。特徴量抽出部１４４は、例えば、式（１）によって一致度を算出する。式（１）において、ｍは、原画像データの水平方向の画素数を示す。ｎは、原画像データの垂直方向の画素数を示す。ａ（ｉ，ｊ）は、第１原画像データの座標（ｉ，ｊ）の画素値を示す。ｂ（ｉ，ｊ）は、第２原画像データの座標（ｉ，ｊ）の画素値を示す。

一致度＝１／（ｍ×ｎ）×Σ｜ａ（ｉ，ｊ）−ｂ（ｉ，ｊ）｜＾２・・・（１）

ところで、特徴量抽出部１４４は、式（２）または式（３）を用いて、一致度を算出してもよい。

一致度＝１／（１／（ｍ×ｎ）×Σ｜ａ（ｉ，ｊ）−ｂ（ｉ，ｊ）｜＾２）・・・（２）

一致度＝１／（Σ｜ａ（ｉ，ｊ）−ｂ（ｉ，ｊ）｜）・・・（３）

送信部１４５は、第２バッファ１３３に蓄積された符号化ストリーム情報を取り出し、取り出した符号化ストリーム情報を通信部１１０に出力する処理部である。

次に、上述した符号化部１４２が、ＩＤＲピクチャを挿入するタイミングを判定する処理について説明する。例えば、符号化部１４２が、ＰＯＣ値が第１閾値よりも大きい場合に、ＩＤＲピクチャを挿入するタイミングを判定する処理に移行する。

ＩＤＲピクチャを挿入するタイミングを判定する処理に移行した後、符号化部１４２は、ＰＯＣ値が第２閾値よりも大きい場合には、ＩＤＲピクチャを挿入するタイミングであると判定する。第２閾値は、第１閾値よりも大きい閾値であり、例えば、ＰＯＣ値が取り得る最大値に対応する。第１閾値、第２閾値は、管理者が適宜設定可能である。

符号化部１４２は、ＰＯＣ値が第２閾値以下である場合には、一致度に基づいて、第１原画像データと第２原画像データとがある基準以上に一致しているか否かを判定する。例えば、符号化部１４２は、一致度が第３閾値以上である場合に、第１原画像データと第２原画像データとがある基準以上に一致していると判定する。

符号化部１４２は、第１原画像データと第２原画像データがある基準以上に一致していると判定した場合には、更に、符号化バッファ占有率を特定する。例えば、符号化バッファは、符号化部１４２が、符号化を行う場合に、第１原画像データを格納するバッファである。符号化バッファ占有率は、係る符号化バッファにしめる、符号化対象の第１原画像データの情報量を基に求められる値である。符号化部１４２は、符号化バッファ率が閾値４以上である場合に、ＩＤＲピクチャを挿入するタイミングであると判定する。符号化部１４２は、第１原画像データを基にして、ＩＤＲピクチャを生成し、符号化ストリーム情報に、ＩＤＲピクチャを挿入する。

図２は、ＩＤＲピクチャを挿入するタイミングを説明するための図である。図２の符号ストリーム情報２０には、複数の符号化されたピクチャが挿入されている。例えば、符号化部１４２は、ピクチャ２０ａを生成する時点で、一致度が第３閾値以上となり、かつ、バッファ占有率が第４閾値以上となる場合には、ＰＯＣ値が第４閾値に達していなくても、ピクチャ２０ａを、ＩＤＲピクチャ２０ａとして挿入する。

ここで、第１原画像データと第２原画像データとがある基準以上に一致している場合には、類似の画像データが連続していることを意味するので、情報量が比較的少ないＩＤＲピクチャを挿入しても違和感が少なく、画像劣化の影響を受けにくい。また、符号化バッファ占有率が大きいと、利用できる限りの情報量を含んだＩＤＲピクチャが生成されるため、画像劣化を最小限に抑えることができる。

次に、本実施例１に係る映像データ処理装置１００の処理手順について説明する。図３は、本実施例１に係る映像データ処理装置の処理手順を示すフロ−チャートである。例えば、映像データ処理装置１００は、原画像データを符号化する度に、図３に示す処理を実行する。

図３に示すように、映像データ処理装置１００の符号化部１４２は、現在のＰＯＣ値が、第１閾値よりも小さいか否かを判定する（ステップＳ１０１）。符号化部１４２は、現在のＰＯＣ値が、第１閾値よりも小さい場合には（ステップＳ１０１，Ｙｅｓ）、処理を終了する。

一方、符号化部１４２は、現在のＰＯＣ値が、第１閾値以上である場合には（ステップＳ１０１，Ｎｏ）、現在のＰＯＣ値が、第２閾値よりも小さいか否かを判定する（ステップＳ１０２）。符号化部１４２は、現在のＰＯＣ値が、第２閾値以上である場合には（ステップＳ１０２，Ｎｏ）、ステップＳ１０７に移行する。

一方、符号化部１４２は、現在のＰＯＣ値が、第２閾値よりも小さい場合には（ステップＳ１０２，Ｙｅｓ）、映像データ処理装置１００の特徴量抽出部１４４は、一致度を算出する（ステップＳ１０３）。符号化部１４２は、一致度が第３閾値以上であるか否かを判定する（ステップＳ１０４）。

符号化部１４２は、一致度が第３閾値以上でない場合には（ステップＳ１０４，Ｎｏ）、処理を終了する。一方、符号化部１４２は、一致度が第３閾値以上である場合には（ステップＳ１０４，Ｙｅｓ）、符号化バッファ占有率を特定する（ステップＳ１０５）。符号化部１４２は、符号化バッファ占有率が第４閾値以上であるか否かを判定する（ステップＳ１０６）。

符号化部１４２は、符号化バッファ占有率が第４閾値以上でない場合には（ステップＳ１０６，Ｎｏ）、処理を終了する。符号化部１４２は、符号化バッファ占有率が第４閾値以上の場合には（ステップＳ１０６，Ｙｅｓ）、ＩＤＲフレームを挿入する（ステップＳ１０７）。

次に、本実施例１に係る映像データ処理装置１００の効果について説明する。映像データ処理装置１００は、ＰＯＣ値が第１閾値に達すると、連続する原画像データの比較により、前後のフレームの差分が所定以下であるか否かを、一致度を基に判定する。そして、映像データ処理装置１００は、前後のフレームの差分が所定以下であることを検出したタイミングで、ＩＤＲピクチャを生成して、符号化ストリーム情報に挿入する。これにより、ＩＤＲピクチャを挿入した場合の画像劣化を抑止することができる。例えば、第１原画像データと第２原画像データとの差分が所定以下の場合には、類似の画像データが連続していることを意味するので、ＩＤＲピクチャを挿入しても違和感が少なく、画像劣化の影響を受けにくい。

また、映像データ処理装置１００は、ＰＯＣ値が第１閾値を超えない場合には、ＩＤＲピクチャを生成せず、第１閾値よりも大きい第２閾値を超えた場合に、ＩＤＲピクチャを生成するため、短期間に、たくさんのＩＤＲピクチャが挿入されることを防止しつつ、ＰＯＣ値がオーバーフローすることを防止することができる。

また、映像データ処理装置１００は、Ｐピクチャが生成される度に、ＰＯＣ値をインクリメントし、ＩＤＲピクチャが生成された場合には、ＰＯＣ値を初期値に戻す。このため、ＩＤＲピクチャを挿入するタイミングを正確に特定することができる。

本実施例２に係る映像データ処理装置の構成の一例について説明する。図４は、本実施例２に係る映像データ処理装置の構成を示す機能ブロック図である。図４に示すように、この映像データ処理装置２００は、通信部２１０、入力部２２０、記憶部２３０、制御部２４０を有する。

図４において、通信部２１０、入力部２２０、記憶部２３０に関する説明は、図１に示した通信部１１０、入力部１２０、記憶部１３０に関する説明と同様である。また、記憶部２３０に含まれる閾値データ２３１、第１バッファ２３２、第２バッファ２３３に関する説明は、閾値データ１３１、第１バッファ１３２、第２バッファ１３３に関する説明と同様である。なお、閾値データ１３１には、第３閾値の代わりに、第５閾値が含まれるものとする。

制御部２４０は、取得部２４１、符号化部２４２、ＰＯＣ値カウント部２４３、特徴量抽出部２４４、送信部２４５を有する。このうち、取得部２４１、ＰＯＣ値カウント部２４３、送信部２４５に関する説明は、図１に示した、取得部１４１、ＰＯＣ値カウント部１４３、送信部１４５に関する説明と同様である。

符号化部２４２がＩＤＲピクチャを挿入するタイミングを判定する処理については、図１に示した符号化部２４２と異なるが、その他の処理は、符号化部１４２と同様である。符号化部２４２が、ＩＤＲピクチャを挿入するタイミングに関する説明は後述する。

特徴量抽出部２４４は、第１バッファ１３２に格納された原画像データに基づいて、特徴量を抽出し、抽出した特徴量の情報を、符号化部２４２に通知する処理部である。

特徴量抽出部２４４は、原画像データの平坦度を特徴量として算出する。平坦度は、原画像データの各画素の画素値がいかに分散しているかを示す値である。特徴量抽出部２４４は、例えば、式（４）によって、平坦度を算出する。式（４）において、平均画素値は、原画像データの各画素の画素値の平均値である。ａ（ｉ，ｊ）は、原画像データの座標（ｉ，ｊ）の画素値を示す。

平坦度＝Σ（平均画素値−ａ（ｉ，ｊ））＾２・・・（４）

なお、特徴量抽出部２４４は、原画像データに離散コサイン変換（Discrete Cosine Transform）を行った場合の、ＤＣ成分の係数の割合に基づいて、平坦度を算出してもよい。

次に、上述した符号化部２４２が、ＩＤＲピクチャを挿入するタイミングを判定する処理について説明する。例えば、符号化部２４２が、ＰＯＣ値が第１閾値よりも大きい場合に、ＩＤＲピクチャを挿入するタイミングを判定する処理に移行する。

ＩＤＲピクチャを挿入するタイミングを判定する処理に移行した後、符号化部２４２は、ＰＯＣ値が第２閾値よりも大きい場合には、ＩＤＲピクチャを挿入するタイミングであると判定する。第２閾値は、第１閾値よりも大きい閾値であり、例えば、ＰＯＣ値が取り得る最大値に対応する。第１閾値、第２閾値は、管理者が適宜設定可能である。

符号化部２４２は、ＰＯＣ値が第２閾値以下である場合には、平坦度に基づいて、原画像データがある基準以上に平坦であるか否かを判定する。例えば、符号化部２４２は、平坦度が第５閾値よりも小さい場合に、原画像データがある基準以上に平坦であると判定する。

符号化部２４２は、原画像データがある基準以上に平坦であると判定した場合には、更に、符号化バッファ占有率を特定する。例えば、符号化バッファは、符号化部２４２が、符号化を行う場合に、原画像データを格納するバッファである。符号化バッファ占有率は、係る符号化バッファにしめる、符号化対象の原画像データの情報量を基に求められる値である。符号化部２４２は、符号化バッファ率が閾値４以上である場合に、ＩＤＲピクチャを挿入するタイミングであると判定する。符号化部２４２は、原画像データを基にして、ＩＤＲピクチャを生成し、符号化ストリーム情報に、ＩＤＲピクチャを挿入する。

ここで、原画像データがある基準値以上に平坦である場合には、原画像データには単純な画像が含まれていると考えられるため、情報量はそれほど大きくならない。このため、情報量を制限したＩＤＲピクチャを挿入しても、画面劣化を抑えることができる。

次に、本実施例２に係る映像データ処理装置２００の処理手順について説明する。図５は、本実施例２に係る映像データ処理装置の処理手順を示すフローチャートである。例えば、映像データ処理装置２００は、原画像データを符号化する度に、図５に示す処理を実行する。

図５に示すように、映像データ処理装置２００の符号化部２４２は、現在のＰＯＣ値が、第１閾値よりも小さいか否かを判定する（ステップＳ２０１）。符号化部２４２は、現在のＰＯＣ値が、第１閾値よりも小さい場合には（ステップＳ２０１，Ｙｅｓ）、処理を終了する。

一方、符号化部２４２は、現在のＰＯＣ値が、第１閾値以上である場合には（ステップＳ２０１，Ｎｏ）、現在のＰＯＣ値が、第２閾値よりも小さいか否かを判定する（ステップＳ２０２）。符号化部２４２は、現在のＰＯＣ値が、第２閾値以上である場合には（ステップＳ２０２，Ｎｏ）、ステップＳ２０７に移行する。

一方、符号化部２４２は、現在のＰＯＣ値が、第２閾値よりも小さい場合には（ステップＳ２０２，Ｙｅｓ）、映像データ処理装置２００の特徴量算出部２４４は、平坦度を算出する（ステップＳ２０３）。符号化部２４２は、平坦度が第５閾値より小さいか否かを判定する（ステップＳ２０４）。

符号化部２４２は、平坦度が第５閾値以上の場合には（ステップＳ２０４，Ｎｏ）、処理を終了する。一方、符号化部２４２は、平坦度が第５閾値より小さい場合には（ステップＳ２０４，Ｙｅｓ）、符号化バッファ占有率を特定する（ステップＳ２０５）。符号化部２４２は、符号化バッファ占有率が第４閾値以上であるか否かを判定する（ステップＳ２０６）。

符号化部２４２は、符号化バッファ占有率が第４閾値以上でない場合には（ステップＳ２０６，Ｎｏ）、処理を終了する。一方、符号化部２４２は、符号化バッファ占有率が第４閾値以上の場合には（ステップＳ２０６，Ｙｅｓ）、ＩＤＲフレームを挿入する（ステップＳ２０７）。

次に、本実施例２に係る映像データ処理装置２００の効果について説明する。映像データ処理装置２００は、ＰＯＣ値が第１閾値に達すると、符号化対象の原画像データが平坦であるか否かを判定する。そして、映像データ処理装置２００は、平坦であることを検出したタイミングで、ＩＤＲピクチャを生成して、符号化ストリーム情報に挿入する。これにより、ＩＤＲピクチャを挿入した場合の画像劣化を抑止することができる。例えば、原画像データがある基準値以上に平坦である場合には、原画像データには単純な画像が含まれていると考えられるため、情報量はそれほど大きくならない。このため、情報量を制限したＩＤＲピクチャを挿入しても、画面劣化を抑えることができる。

次に、上記実施例に示した映像データ処理装置１００，２００と同様の機能を実現する映像データ処理プログラムを実行するコンピュータの一例について説明する。図６は、映像データ処理プログラムを実行するコンピュータの一例を示す図である。

図６に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読取る読み取り装置３０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１〜３０７は、バス３０８に接続される。

ハードディスク装置３０７は、制御プログラム３０７ａを有する。ＣＰＵ３０１は、制御プログラム３０７ａを読み出して、ＲＡＭ３０６に展開する。制御プログラム３０７ａは、制御プロセス３０６ａとして機能する。例えば、制御プロセス３０６ａは、制御部１４０に対応する。

なお、制御プログラム３０７ａについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が制御プログラム３０７ａを読み出して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）動画像データに含まれるフレーム内の画像を符号化した第１キーフレームに基づいて、前記第１キーフレームに対応するフレーム内の画像と相違する部分画像を符号化した差分フレームを順次生成し、生成した差分フレームが第１の数に達すると、以降生成される差分フレームと、該以降生成される差分フレームより時間的に前の差分フレームとの間の差分が所定以下であることの検出に応じて、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する制御部
を有することを特徴とする映像データ処理装置。

（付記２）前記第２キーフレームは、前記動画像データの符号化を行なうフレーム集合の区切りを示すフレームであることを特徴とする付記１に記載の映像データ処理装置。

（付記３）前記制御部は、前記第２キーフレームが生成されず、前記差分フレームが前記第１の数よりも大きい第２の数生成された場合に、次のフレームを前記第２キーフレームとして生成する処理を更に実行することを特徴とする付記１または２に記載の映像データ処理装置。

（付記４）前記制御部は、各差分フレームにシーケンス番号を順次付与し、前記第２キーフレームを生成した場合には、前記シーケンス番号を初期値に戻し、前記第２キーフレームに続く各差分フレームに対してシーケンス番号を初期値から順次付与することを特徴とする付記１、２または３に記載の映像データ処理装置。

（付記５）前記制御部は、生成した差分フレームが第１の数に達し、差分フレームに対応するフレーム内の画像が平坦であることを検出すると、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する処理を更に実行することを特徴とする付記１に記載の映像データ処理装置。

（付記６）コンピュータが実行する映像データ処理方法であって、
動画像データに含まれるフレーム内の画像を符号化した第１キーフレームに基づいて、前記第１キーフレームに対応するフレーム内の画像と相違する部分画像を符号化した差分フレームを順次生成し、
生成した差分フレームが第１の数に達すると、以降生成される差分フレームと、該以降生成される差分フレームより時間的に前の差分フレームとの間の差分が所定以下であることの検出に応じて、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する
処理を実行することを特徴とする映像データ処理方法。

（付記７）前記第２キーフレームは、前記動画像データの符号化を行なうフレーム集合の区切りを示すフレームであることを特徴とする付記６に記載の映像データ処理方法。

（付記８）前記生成する処理は、前記第２キーフレームが生成されず、前記差分フレームが前記第１の数よりも大きい第２の数生成された場合に、次のフレームを前記第２キーフレームとして生成することを特徴とする付記６または７に記載の映像データ処理方法。

（付記９）前記生成する処理は、各差分フレームにシーケンス番号を順次付与し、前記第２キーフレームを生成した場合には、前記シーケンス番号を初期値に戻し、前記第２キーフレームに続く差分フレームに対してシーケンス番号を初期値から順次付与することを特徴とする付記６、７または８に記載の映像データ処理方法。

（付記１０）前記生成する処理は、生成した差分フレームが第１の数に達し、差分フレームに対応するフレーム内の画像が平坦であることを検出すると、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する処理を更に実行することを特徴とする付記６に記載の映像データ処理方法。

（付記１１）コンピュータが実行する映像データ処理プログラムであって、
動画像データに含まれるフレーム内の画像を符号化した第１キーフレームに基づいて、前記第１キーフレームに対応するフレーム内の画像と相違する部分画像を符号化した差分フレームを順次生成し、
生成した差分フレームが第１の数に達すると、以降生成される差分フレームと、該以降生成される差分フレームより時間的に前の差分フレームとの間の差分が所定以下であることの検出に応じて、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する
処理を実行させることを特徴とする映像データ処理プログラム。

（付記１２）前記第２キーフレームは、前記動画像データの符号化を行なうフレーム集合の区切りを示すフレームであることを特徴とする付記１１に記載の映像データ処理プログラム。

（付記１３）前記生成する処理は、前記第２キーフレームが生成されず、前記差分フレームが前記第１の数よりも大きい第２の数生成された場合に、次のフレームを前記第２キーフレームとして生成することを特徴とする付記１１または１２に記載の映像データ処理プログラム。

（付記１４）前記生成する処理は、各差分フレームにシーケンス番号を順次付与し、前記第２キーフレームを生成した場合には、前記シーケンス番号を初期値に戻し、前記第２キーフレームに続く差分フレームに対してシーケンス番号を初期値から順次付与することを特徴とする付記１１、１２または１３に記載の映像データ処理プログラム。

（付記１５）前記生成する処理は、生成した差分フレームが第１の数に達し、差分フレームに対応するフレーム内の画像が平坦であることを検出すると、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する処理を更に実行することを特徴とする付記１１に記載の映像データ処理プログラム。

１００，２００ 映像データ処理装置
１４０，２４０ 制御部

Claims (6)

1. 動画像データに含まれるフレーム内の画像を符号化した第１キーフレームに基づいて、前記第１キーフレームに対応するフレーム内の画像と相違する部分画像を符号化した差分フレームを順次生成し、生成した差分フレームが第１の数に達すると、以降生成される差分フレームと、該以降生成される差分フレームより時間的に前の差分フレームとの間の差分が所定以下であることの検出に応じて、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する制御部
   を有することを特徴とする映像データ処理装置。
2. 前記第２キーフレームは、前記動画像データの符号化を行なうフレーム集合の区切りを示すフレームであることを特徴とする請求項１に記載の映像データ処理装置。
3. 前記制御部は、前記第２キーフレームが生成されず、前記差分フレームが前記第１の数よりも大きい第２の数生成された場合に、次のフレームを前記第２キーフレームとして生成する処理を更に実行することを特徴とする請求項１または２に記載の映像データ処理装置。
4. 前記制御部は、各差分フレームにシーケンス番号を順次付与し、前記第２キーフレームを生成した場合には、前記シーケンス番号を初期値に戻し、前記第２キーフレームに続く各差分フレームに対してシーケンス番号を初期値から順次付与することを特徴とする請求項１、２または３に記載の映像データ処理装置。
5. コンピュータが実行する映像データ処理方法であって、
   動画像データに含まれるフレーム内の画像を符号化した第１キーフレームに基づいて、前記第１キーフレームに対応するフレーム内の画像と相違する部分画像を符号化した差分フレームを順次生成し、
   生成した差分フレームが第１の数に達すると、以降生成される差分フレームと、該以降生成される差分フレームより時間的に前の差分フレームとの間の差分が所定以下であることの検出に応じて、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する
   処理を実行することを特徴とする映像データ処理方法。
6. コンピュータが実行する映像データ処理プログラムであって、
   動画像データに含まれるフレーム内の画像を符号化した第１キーフレームに基づいて、前記第１キーフレームに対応するフレーム内の画像と相違する部分画像を符号化した差分フレームを順次生成し、
   生成した差分フレームが第１の数に達すると、以降生成される差分フレームと、該以降生成される差分フレームより時間的に前の差分フレームとの間の差分が所定以下であることの検出に応じて、前記第１キーフレームと区別されフレーム内の画像を符号化した第２キーフレームを生成する
   処理を実行させることを特徴とする映像データ処理プログラム。

Images