JP4789494B2 - 画像フレーム処理方法、装置、レンダリングプロセッサおよび動画像表示方法 - Google Patents

Description

この発明は画像フレーム処理技術に関し、特に種々の描画条件に適合させた画像フレーム列を生成する画像フレーム処理技術に関する。

液晶ディスプレイやプラズマディスプレイなどの薄型ディスプレイ製造技術が向上し、価格が低下してきたことにつれて、現在では、多種多様なディスプレイ装置が身の回りに存在し、動画像を提供するようになっている。

ディスプレイの種類によって、表示可能な画像データの仕様、例えば、フレームレートや解像度などは異なる。従来、画像描画装置から出力される画像データをディスプレイ装置側の処理によって、そのディスプレイに適した画像を生成するように構成されている。そうすると、ディスプレイ装置側が対応すべきフレームレートや解像度の種類が増えるにつれて、そのための回路やソフトウエアを開発する人的負担が増大し、またディスプレイ装置側の処理負荷も増加するという問題がある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、多種の表示装置に対応可能な画像フレーム処理技術を提供することにある。

本発明のある態様は、画像フレームの処理方法に関する。この方法は、レンダリング処理と、そのレンダリング処理によって生成される画像フレーム列を表示装置のために調整する後処理と、を含む。前記レンダリング処理では、表示装置に画像フレームを出力する際に画像フレームが満たすべき条件に依存せずに所定のフレームレートでレンダリングを実行して画像フレーム列を生成する。前記後処理は、レンダリング処理によって生成された画像フレーム列に対して所定の処理を施し、前記条件に依存した形で新たな画像フレーム列を生成および出力する。

この態様によれば、レンダリング処理と後処理とを分離して実行するようにしたので、実際に使用されている表示装置の解像度やフレームレートなどの仕様に依存せずに、所定のフレームレートでレンダリングを実行して画像フレーム列を生成することができる。

本発明の別の態様は、画像フレーム列をメモリから読み出し、再生のための処理を施して表示する動画像表示方法において、早送り表示要求が発生したとき、前記再生のための処理のなかにおいて、前記早送り表示の対象となる画像フレームを選択的にメモリから読み出し、所定の統合処理を行って新たな画像フレームを生成したうえでこの新たな画像フレームを表示することを特徴とする。

この態様によれば、複数の画像フレームに統合処理を施して早送り用フレームを作成するようにしたので、付加価値を持たせた早送り映像を提供することができる。なお、ここでいう「統合処理」には、複数の画像フレームを使用して、それら画像フレームに含まれている画像情報の一部または全部を使用して、新たな画像フレームを生成する処理のことをいう。

なお、本発明の構成要素や表現を方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、表示装置の多様な仕様に適合した画像フレーム列を出力することが可能となる。

実施の形態１．
以下、本発明に係る画像フレーム処理装置を、三次元のコンピュータ・グラフィックス（ＣＧ）画像を描画するエンタテインメント装置に適用した実施の形態について説明する。

図１は、エンタテインメント装置１００のハードウェア構成図である。エンタテインメント装置１００は、グラフィックチップ１８を備え、レンダリングを行うことにより、三次元画像をディスプレイ２６の画面にリアルタイムに表示する。

エンタテインメント装置１００は、メインＣＰＵ１２と、メインメモリ１４と、ジオメトリプロセッサ１６と、グラフィックチップ１８と、表示制御装置２８と、入出力ポート３０とを備える。これらの各ブロックはバス３６を介して接続され、相互にデータの送受信が可能となっている。表示制御装置２８には、種々の表示条件または仕様を有するディスプレイ２６が接続される。

入出力ポート３０には、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭまたはハードウェアディスクドライブなどの外部記憶装置３２と、エンタテインメント装置１００に対してキー入力データや座標データなどを入力するためのキーボードやマウス等の入力装置３４が接続される。入出力ポート３０は、外部記憶装置３２および入力装置３４に対するデータの入出力を制御する。入出力ポート３０は、外部記憶装置３２に格納された描画処理用のデータやプログラムを読み込み、メインＣＰＵ１２およびジオメトリプロセッサ１６に提供する。描画処理用のデータは、例えば、描画するオブジェクトについてのオブジェクトデータなどである。入出力ポート３０は、他の装置と通信して、描画処理用のデータおよびプログラムを外部から取得する構成であってもよい。

メインＣＰＵ１２は、エンタテインメント装置１００の全体を制御するとともに、外部記憶装置３２に記録されている描画処理プログラムを実行する。プログラムの実行により、メインＣＰＵ１２は、入力装置３４を使用したユーザからの入力に応じてグラフィックチップ１８を制御して、画像の表示を制御する。

また、メインＣＰＵ１２は、各構成要素間のデータの受け渡し、例えば、ジオメトリプロセッサ１６で生成されたジオメトリデータを、メインメモリ１４等をバッファとしてグラフィックチップ１８へと転送したり、あるいは、グラフィックチップ１８と、外部記憶装置３２、入力装置３４、ディスプレイ２６などの間でのデータ転送の同期管理などといった、エンタテインメント装置１００全体の制御を行う。なお、図１ではジオメトリプロセッサ１６とメインＣＰＵ１２とを別に設けた例を示しているが、これらを一体化し、メインＣＰＵ１２がジオメトリプロセッサ１６の機能を持つようにしてもよい。

メインメモリ１４は、外部記憶装置３２から読み出したオブジェクトの形状データや描画処理プログラムなどを記憶する。各オブジェクトデータには、対応するオブジェクトを構成する複数のポリゴンの頂点データが登録されている。また、メインメモリ１４には、テクスチャマッピングに用いられるテクスチャが格納されるテクスチャバッファ領域が設けられている。

ジオメトリプロセッサ１６は、メインＣＰＵ１２の制御のもと、メインメモリ１４に格納されたオブジェクトデータに対して、位置や形状を特定するための座標の移動や変換、頂点に対する光源処理などのジオメトリ処理を行う。ジオメトリ処理の結果得られるジオメトリデータは、オブジェクトについての頂点座標値、各頂点でのテクスチャ座標値、頂点輝度値などのオブジェクトの属性を表すデータからなる。

グラフィックチップ１８は、レンダリングプロセッサ２０と、メモリインターフェイス２２と、ＥＤＲＡＭ等の画像メモリ２４とを含む。レンダリングプロセッサ２０は、メインＣＰＵ１２の制御のもと、ジオメトリプロセッサ１６で生成されたジオメトリデータを順次読み出し、読み出されたジオメトリデータに対してレンダリング処理を行って画像フレームを生成する。画像フレーム内の各ピクセルのＲＧＢ値や透過度を表すα値は、画像メモリ２４に格納され、各ピクセルの奥行きを表すＺ値は、図示しないＺバッファ領域に格納される。なお、Ｚバッファ領域は画像メモリ２４に設けられていてもよい。

グラフィックチップ１８のレンダリングプロセッサ２０は、メインＣＰＵ１２から供給される描画コマンドに対応して、メモリインターフェイス２２を介して、画像メモリ２４に所定の画像フレームを描画する動作を実行する。レンダリングプロセッサ２０とメモリインターフェイス２２の間、およびメモリインターフェイス２２と画像メモリ２４の間は、広帯域バスで接続されており、レンダリングプロセッサ２０が画像メモリ２４に対して高速に描画処理を実行できるように構成されている。一例では、レンダリングプロセッサ２０は、６４０×４８０ピクセルの画像フレームを描画する。

レンダリングプロセッサ２０により描画された画像フレームは、一旦画像メモリ２４に記憶され、メインＣＰＵ１２は、画像フレームを画像メモリ２４からメモリインターフェイス２２を介して取り出し、メインメモリ１４などの他のメモリに書き込む。メインＣＰＵ１２は、画像フレームをディスプレイ２６で表示可能な画像フレームに適宜変換する後処理を施したのち、表示制御装置２８がバス３６を介して画像フレームを受け取り、これをディスプレイ２６に表示する。

図２は、画像フレーム処理装置１０の機能ブロック図である。同図の機能は、主にグラフィックチップ１８、メインＣＰＵ１２およびメインメモリ１４によって実現される。図２は機能に着目したブロック図として描いており、これらの機能ブロックはハードウェアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。

オブジェクトデータ読出部４０は、描画するオブジェクトのジオメトリデータを読み出し、レンダリング処理部４２は、オブジェクトを含む画像フレームを、所定の解像度および所定のフレームレートで順次描画する。描画された画像フレームは、バッファとしての第１メモリ４４に格納される。なお、レンダリング処理部４２は、使用が想定されるディスプレイ２６等の表示装置の最高フレームレートと同等以上のフレームレートで画像フレームを描画するものとする。一例として、レンダリング処理部４２は図１のレンダリングプロセッサ２０に対応する。

転送制御部４６は、第１メモリ４４に格納された画像フレームを読み出し、第２メモリ４８に格納する。第２メモリ４８には、複数の画像フレームが時間的な前後関係を識別できる状態で格納される。一例として、第１メモリ４４が図１の画像メモリ２４に対応し、第２メモリ４８がメインメモリ１４に対応するが、第２メモリはメインメモリに限られず、外部記憶装置３２等の画像フレーム処理装置１０に備えられる任意の記憶装置またはメモリであってもよい。代替的に、第１メモリ４４と第２メモリ４８とが、物理的に同一のメモリ内の異なるメモリ空間に対応していてもよい。

インターフェイス部５２は、画像フレーム処理装置１０に接続されているディスプレイ２６の解像度およびフレームレートの情報を取得する。インターフェイス部５２は、他にも、レンダリングされるコンテンツの情報、例えば静止画像であるが動画像であるかをメインＣＰＵ１２や描画処理プログラムなどから取得するようにしてもよい。また、入力装置３４を介して、ディスプレイの解像度およびフレームレートの情報をユーザから取得するようにしてもよい。取得された情報は、後処理部５０に渡される。一例として、後処理部５０は図１のメインＣＰＵ１２に対応する。

後処理部５０は、マージ条件設定部５４、フレーム列取得部５６およびマージ実行部５８を含み、レンダリング処理部４２により描画され第２メモリ４８に格納された画像フレーム列に対して後処理を施し、ディスプレイに表示可能な画像を生成する。

マージ条件設定部５４は、インターフェイス部５２から受け取った情報に基づいて、画像フレーム列に対する適切なマージ条件を設定する。この判断の一例は、図１０を参照して後述する。フレーム列取得部５６は、マージ条件設定部５４で設定された条件にしたがった数の連続画像フレームを第２メモリ４８から取り出して、マージ実行部５８に渡す。マージ実行部５８は、受け取った画像フレーム列に対し、マージ処理を実行する。ここで、本明細書において「マージ処理」とは、複数の画像フレームからひとつの画像フレームを生成する処理のことをいう。

マージ実行部５８によりマージされた画像フレームは、マージ条件設定部５４で設定されたフレームレートで画像表示部６０に出力され、画像が表示される。

上述のように、実施の形態１では、画像フレーム列の「レンダリング」と「後処理」とが同一のチップ上で実行されるのではなく、分離されて実行されていることに特徴がある。この実施の形態のようにレンダリングと後処理とを分離することによって、画像フレーム処理装置に接続されるディスプレイ等の表示装置の種類を選ばないという利点がある。

つまり、インターフェイス部５２が、ディスプレイに画像フレームを出力する際に画像フレームが満たすべき条件を取得する一方で、レンダリング処理部４２は、インターフェイス部５２の取得する条件に一切依存せずに、画像フレーム列を生成する。その後、後処理部５０は、レンダリング処理部４２によって生成された画像フレーム列に対し、インターフェイス部５２によって取得された条件に応じた所定の処理を施し、表示装置のための新たな画像フレーム列を生成する。こうすることで、レンダリング処理部４２におけるレンダリング方法を画像フレームの満たすべき条件に対応させて変更する必要がなくなるので、レンダリング処理部４２は汎用的な構成で十分である。また、画像フレーム処理装置１０に接続されるディスプレイの種類を変更した場合でも、後処理部５０における処理の変更で対応できるので、接続可能なディスプレイの範囲が広がり、非常に高い互換性を有することになり、ひいては多種のディスプレイに対応するための回路やソフトウエア開発の人的負担も減少する。さらに、従来では、レンダリングプロセッサが高い描画能力を有している場合でも、ディスプレイ等の表示装置の仕様がその描画能力に対応しておらず、したがってレンダリングプロセッサの描画能力を制限せざるを得ない場合があったが、この実施の形態によれば、レンダリングプロセッサの描画能力を抑えることなくフルに能力を発揮させ、後処理において、例えば高いフレームレートで描画できる能力を、解像度の向上などに振り分けることが可能になる。このように、後処理工程に高い汎用性を持たせることによって、画像フレーム処理装置全体の設計自由度が向上する。また、ディスプレイに画像フレーム処理をさせないので、ディスプレイ側の処理負荷も減少する。

加えて、一部の動画像コンテンツ、例えばアニメーション画像などをディスプレイに表示させる場合には、フレームレートを変更して描画すると、画像作成者が意図したのとは異なる動きのアニメーション画像が表示される可能性がある。そこで、従来では、最終的にディスプレイに表示される画像フレームのフレームレートに合わせて、いずれのフレームレートにおいても最適な視聴状態が得られるように複数の画像フレーム列を準備したりしている。しかし、この実施の形態によれば、高いフレームレートの画像フレーム列をひとつ準備しておけば、ディスプレイのフレームレートを意識する必要がなくなるという利点もある。

第１メモリ４４は、レンダリング処理部４２で描画された画像フレーム列を例えばひとつずつ記憶するフレームバッファとしての機能を果たす。また、第１メモリ４４に一旦記憶された画像フレームが順次第２メモリ４８へ転送され、第２メモリ４８は主に後処理部５０の作業領域としての機能を果たす。フレームバッファとして機能する第１メモリは、主にＥＤＲＡＭ等で構成されるが、一般にコストが高いという問題がある。実施の形態１が第２メモリを備えていない場合、後述するように、マージ処理等を行うための例えば４つの画像フレームを、最長４フレーム時間分記憶しておかなければならず、大容量のメモリが必要になる。これに対し、第２メモリ４８を設けることで、第１メモリ４４はレンダリング処理部４２によって生成された画像フレームを少なくともひとつ記憶する程度の容量があれば十分であるから、後処理部５０の作業領域として第２メモリ４８を第１メモリ４４とは別に設けることには利点がある。なお、第１メモリ４４をレンダリング処理部４２と同一の半導体回路素子に内蔵させるようにしてもよい。

図３は、レンダリング処理部４２における各画像フレームのピクセルが配置されるプリミティブ座標系を示す図である。横軸をｘ、縦軸をｙで示してあり、ピクセル座標は（ｘ，ｙ）のように指定される。座標値は、例えば、ｘ、ｙともに整数部１２ビット、小数部４ビットの固定小数値である。図示するように、各ピクセルのピクセル中心は、プリミティブ座標系で整数の点に配置される。描画された画像フレームは、第１メモリにピクセル毎に格納される。第１メモリ内をポイントするための座標は、ウィンドウ座標系と呼ばれ、この座標値をもとにメモリアドレスの計算が行われる。ウィンドウ座標系は、フレームバッファの矩形領域の左上点を原点とし、バッファ内をポイントするための座標系である。

なお、プリミティブ座標値を（Ｐｘ，Ｐｙ）、オフセット値を（Ｏｆｆｘ，Ｏｆｆｙ）とすると、ウィンドウ座標値（Ｗｘ，Ｗｙ）は以下の式で求められる。

Ｗｘ＝Ｐｘ−Ｏｆｆｘ
Ｗｙ＝Ｐｙ−Ｏｆｆｙ
以下、図２に示す画像フレーム処理装置により、種々の表示条件に適合した画像フレーム列を後処理で生成する方法について、いくつかの実施例を参照して説明する。なお、以下では、一例として、レンダリング処理部４２が６４０×４８０の画像を２４０フレーム毎秒（以下、「ｆｐｓ」と記載する）でレンダリングするものとして説明する。

実施例１．
図４は、レンダリング処理部４２から出力される連続画像フレーム列において、４フレーム周期でオフセット値を変化させる様子を示す。便宜的に、レンダリングされる画像フレームを生成順にＦ１、Ｆ２、Ｆ３、Ｆ４と名づけた場合、レンダリング処理部４２は、第１画像フレームＦ１についてはオフセットなしで描画し、第２画像フレームＦ２については（０．５，０）だけオフセットさせて描画し、第３画像フレームＦ３については（０，０．５）だけオフセットさせて描画し、第４画像フレームＦ４については（０．５，０．５）だけオフセットさせて描画する。このように、レンダリング処理部４２における描画のオフセットは、描画空間において描画を開始する座標を「ずらす」ことによって達成される。以下、この処理のことを「画素ずらし処理」と呼ぶ。

図５および図６は、マージ処理の一実施例を説明する図である。この実施例では、連続フレームをマージして、レンダリングされた画像フレームの４倍のサイズの画像フレームを作成する。

図５は、レンダリング処理部４２により画素ずらしして描画されたピクセルを、同一のウィンドウ座標系に配置した様子を示す模式図である。図５、図６中の「１」を振られた円は第１画像フレームＦ１のピクセルを、「２」を振られた円は第２画像フレームＦ２のピクセルを、「３」を振られた円は第３画像フレームＦ３のピクセルを、「４」を振られた円は第４画像フレームＦ４のピクセルをそれぞれ表す。各フレーム内のピクセル中心の間隔は、ｘ、ｙ方向とも「１」ずつ離れている。レンダリング処理部４２によって画素ずらし描画を実行したため、画像フレームＦ１のピクセルを基準としたとき、画像フレームＦ２のピクセルはｘ方向に０．５だけオフセットされ、画像フレームＦ３のピクセルはｙ方向に０．５だけオフセットされ、画像フレーム４のピクセルはｘ方向に０．５、ｙ方向に０．５オフセットされている。そのため、４つの画像フレームを同一座標上に配置したと仮定すると、図５のように各画像フレームのピクセルがｘ、ｙ方向とも０．５ずつずらされた格子状に配列されることになる。

したがって、ウィンドウ座標系で１ピクセル単位の格子状にサンプリングするのでなく、０．５ピクセル単位の格子状にサンプリングすれば、ｘ方向に２倍、ｙ方向に２倍の画素数を持つ画像フレームを生成することができる。このことを図６を参照して示す。図６は、ピクセルの配置の様子を模式的に示す図である。なお、図中には簡単のため横４×縦３のピクセルしか描かれていないが、実際には、横方向に６４０ピクセル、縦方向に４８０ピクセルあり、そのすべてが図中の右側に示すような関係を持って配置される。このように、左側に配置されている６４０×４８０ピクセルの画像フレーム１０２、１０４、１０６、１０８を、上述したように格子状に配列することによって、１２８０×９６０ピクセルの４倍サイズの画像フレーム１１０を生成することができる。以下、このようなピクセルのサンプリングの仕方を「ポイントサンプリング」と呼ぶことにする。

このように、実施例１によれば、レンダリング処理部４２が複数の画像フレームをレンダリングするときに、それらの画像フレームを空間的にずらして生成し、その後、後処理部５０が、画像フレームのずれを維持してマージ処理を施して、レンダリング処理部４２から出力された画像フレーム列よりも空間解像度を高めた画像フレーム列を生成するようにした。ここで、「ずれを維持」とは、オフセットされた各画像フレームのピクセルをそのまま活かして最終的な画像フレームを得ることを意味する。これによって、ディスプレイの異なる解像度に合わせた画像フレーム列を後処理工程で生成することができる。

実施例１を空間解像度を高めるためのものとして説明したが、フレームレートを低減するものとして実施例１を捉えることもできる。例えば、図３に示したように、４つの画像フレームからひとつの画像フレームを生成した場合、フレームレートは１／４に低下することになる。これを利用して、レンダリング処理部４２のフレームレートよりもディスプレイの最高フレームレートの方が小さい場合は、ポイントサンプリングを実行することで、低フレームレートの高解像度画像を得ることができる。なお、実施の形態１は４つの画像フレームからひとつの画像フレームを生成することに限定されるわけではなく、例えば、９つの画像フレームからひとつの画像フレームを生成すれば、元の画像フレームの９倍の画素数を有する画像フレームを生成することができるし、それ以上の画像フレーム数でも同様である。フレーム数を増やすほど、最終的に出力される画像フレームのフレームレートは低下する。

実施例２．
図７および図８は、マージ処理の第２の実施例を説明する図である。この実施例では、連続フレームをマージすることによって、モーションブラーの効果を得ることができる。

図７において、白抜きの円は、上述した画素ずらし処理後の４つの画像フレームＦ１〜Ｆ４のピクセルを表す。この実施例では、隣接する４つのピクセルのＲＧＢ値の平均を取り、その値を新たなＲＧＢ値とし、図中の斜線で網掛けした円で示す４つのピクセル中心の中点を中心とする座標にピクセルを配置した画像フレームを生成する。

図８は、このことを模式的に示す図である。つまり、６４０×４８０の画像フレームＦ１〜Ｆ４の各ピクセルのＲＧＢ値にそれぞれ０．２５を乗じて加算したＲＧＢ値を持つ、６４０×４８０の画像フレームを出力する。

このように、実施例２によれば、レンダリング処理部４２が複数の画像フレームをレンダリングするときに、それらの画像フレームを空間的にずらして生成し、その後、後処理部５０が、画像フレームのずれを解消するようにマージ処理を施し、レンダリング処理部４２から出力された画像フレーム列と同じ空間解像度で画像フレーム列を生成するようにした。ここで、「ずれを解消」とは、各画像フレームのピクセルをオフセットさせて描画するものの、最終的にはそれらピクセルがブレンディングされてオフセットされてない画像フレームを得ることを意味する。この実施例では、４ピクセルをブレンディングして１ピクセルを生成するようにしている。この「ずれを解消」することは、実質的に、時間的に連続する二つの画像フレーム間の時間をさらに細かく分割した画像を生成し、それらを平均化した画像を最終的にそのフレームの画像とすることに対応するので、レンダリング処理部で描画される画像フレーム列のコンテンツが動画像の場合であれば、いわゆるモーションブラーの効果を与えることができる。また、実施例１と同様に、実施例２についてもフレームレートを低減するものとして捉えることができる。すなわち、レンダリング処理部４２の描画のフレームレートの１／４のフレームレートを有し、かつ解像度は変化しない画像フレーム列を出力することができる。

なお、この実施例２は、コンテンツが静止画像であるときにも適用することができる。この場合、マージ処理により得られた静止画像には、アンチエイリアシングの効果が生じることになる。すなわち、画面上の１ピクセルに対するデータを求めるために、ピクセルをさらに小さなサブピクセルに分割して、それらの平均値を持ってピクセルデータとするスーパーサンプリングと同様の処理を行っていることになるからである。

実施例３．
図９は、マージ処理の第３の実施例を説明する図である。この実施例では、レンダリング処理部４２で生成された元となる画像フレームとは縦横比が異なる画像フレームを生成する。一例として、図９において、レンダリング処理部４２によって、７２０×４８０ピクセルの解像度を有する第１画像フレーム１１２、第２画像フレーム１１４、第３画像フレーム１１６、第４画像フレーム１１８がレンダリングされるとき、これらの画像フレームを用いて縦横比の異なる１９２０×１０８０ピクセルの解像度の画像フレーム１２２を生成することを考える。なお、図９中の数字「１」、「２」、「３」、「４」は、それぞれ第１画像フレーム１１２、第２画像フレーム１１４、第３画像フレーム１１６、第４画像フレーム１１８のピクセルであることを表す。

まず、第１のステップ１３０で、実施例１で説明したポイントサンプリングを実行する。これにより、４つの画像フレーム１１２〜１１８から４倍のサイズ、すなわち１４４０×９６０ピクセルの画像フレーム１２０が生成される。次に、第２のステップ１３２でバイリニアサンプリングを実行して、１９２０×１０８０ピクセルの解像度の画像フレーム１２２を生成する。ここで、「バイリニアサンプリング」とは画像補間の一方法であり、この実施例では、あるピクセルの描画色を、周囲４ピクセルのＲＧＢ値の線形補間で決定することをいう。

図１０を参照して、バイリニアサンプリングについて説明する。まず、画像フレーム１２２（１９２０×１０８０）を画像フレーム１２０（１４４０×９６０）のサイズに縮小したとき、画像フレーム１２２の各ピクセル中心の画像フレーム１２０における座標を算出する。図１０は、図９の画像フレーム１２０の一部１２４を示しており、白丸１４０は、画像フレーム１２２のあるピクセルのピクセル中心の座標を示す。この座標に対応するピクセルの描画色を決定するために、図１０中の４つのピクセル１２４ａ、１２４ｂ、１２４ｃおよび１２４ｄのピクセル中心からの当該座標のずれに応じて、ＲＧＢ値を線形補間する。ここで、ピクセル１２４ａは図９の第１画像フレーム１１２のピクセルであり、ピクセル１２４ｂは第２画像フレーム１１４のピクセルであり、ピクセル１２４ｃは第３画像フレーム１１６のピクセルであり、ピクセル１２４ｄは第４画像フレーム１１８のピクセルであることに注意されたい。４つのピクセル１２４ａ〜１２４ｄのピクセル中心からの横方向のずれをα、縦方向のずれをβとすると（図１０参照）、線形補間で計算される白丸１４０のＲＧＢ値は、それぞれ以下の式で表すことができる。

Ｒ＝(１−α)(１−β)Ｒ_s1＋α(１−β)Ｒ_s2＋(１−α)βＲ_s3＋αβＲ_s4 （１）
Ｇ＝(１−α)(１−β)Ｇ_s1＋α(１−β)Ｇ_s2＋(１−α)βＧ_s3＋αβＧ_s4 （２）
Ｂ＝(１−α)(１−β)Ｂ_s1＋α(１−β)Ｂ_s2＋(１−α)βＢ_s3＋αβＢ_s4 （３）
ここで、Ｒ_s，Ｇ_s，Ｂ_sは４つのピクセル１２４ａ〜１２４ｄのＲＧＢ値であることを表し、添字ｓ１、ｓ２、ｓ３、ｓ４は、それぞれピクセル１２４ａ、１２４ｂ、１２４ｃ、１２４ｄの成分であることを表す。式（１）〜式（３）の計算を画像フレーム１２２に含まれるすべてのピクセルについて実行して描画色を決定することで、画像フレーム１２２が生成される
上記式（１）ないし式（３）は、一般的なバイリニアサンプリングにおける計算式と考え方は同一である。しかし、取得してくる色成分が、異なる画像フレームのピクセルに対するものである点が特徴的である。

レンダリング処理部４２の描画する画像フレーム列の解像度と、ディスプレイに表示する解像度とが、整数倍の関係にない場合、例えば、レンダリングされる画像フレームが７２０×４８０であり、ディスプレイに表示すべき画像フレームの解像度が１９２０×１０８０であるような場合には、単に画素ずらし処理とポイントサンプリングを実行しただけでは求める解像度を得ることができない。このような場合には、まず画素ずらし処理とポイントサンプリングによって、１４４０×９６０の画像フレームを中間的に生成しておき、そこからバイリニアサンプリングを実行することで１９２０×１０８０の画像フレームを得るようにするのである。なお、この場合は、フレームレートは１／（ポイントサンプリングした画像フレーム数）に低下する。

画素ずらし処理を実行することなく、レンダリング処理部４２によりレンダリングされた元の画像フレームに対して直接バイリニアサンプリングを実行して最終画像を得るようにしてもよいが、一旦画素ずらし処理とポイントサンプリングを経由することによって、サイズを拡大しても劣化の少ない画像を得ることができる。代替的に、レンダリングされた画像フレーム列の４枚の画像フレーム（例えば、７２０×４８０）を、それぞれディスプレイに表示すべき画像フレームの解像度（例えば、１９２０×１０８０）まで拡大した後に、拡大された４枚の画像フレームをブレンディングして、最終的な画像フレームを得るようにしてもよい。

上記実施例１ないし３のいずれを実行するかをユーザが選択するようにしてもよいが、画像フレーム処理装置がこの判断を自動的に実行するように構成することもできる。図１１は、マージ条件設定部５４で行われるこのような自動判断のフローチャートの一例を示す。このフローチャートでは、フレームレート、解像度およびコンテンツに応じて、レンダリング処理部４２により描画された画像フレーム列に対して、実施例１〜実施例３に示した後処理のうち、いずれの後処理を実行するかを決定する。

まず、マージ条件設定部５４は、インターフェイス部５２を介して取得したディスプレイのフレームレート情報と、レンダリング処理部４２で描画された画像フレームのフレームレートとを比較して、フレームレートが一致するか否かを判定する（Ｓ１０）。フレームレートが一致する場合（Ｓ１０のＹＥＳ）、転送制御部４６は、第１メモリ４４から第２メモリ４８に画像フレームを転送し、フレーム列取得部５６は、第２メモリ４８から、レンダリング処理部４２のフレームレートと同じ時間間隔で画像フレームを読み出し、マージ実行部５８はマージ処理等の後処理を実行せずに画像フレームを画像表示部６０に出力する（Ｓ１２）。こうすれば、レンダリング処理部４２のレンダリング実行能力を損なうことなく、フルスペックのフレームレートで画像を描画することができる。別の実施形態では、第２メモリ４８に一旦記憶することなく画像フレーム列を出力するようにしてもよい。すなわち、レンダリング処理部４２によって描画された画像フレーム列は、第１メモリ４４をバッファとして、フレーム列取得部５６が第１メモリから直接画像フレームを読み出して、画像表示部６０に出力するようにする。

Ｓ１０でフレームレートが一致しない場合（Ｓ１０のＮＯ）、マージ条件設定部５４は、レンダリング処理部４２で描画された画像フレーム（以下、「レンダリング画像フレーム」という）の解像度と、インターフェイス部５２を介して取得されたディスプレイの解像度情報とを比較して、解像度が一致するか否かを判定する（Ｓ１４）。ディスプレイの解像度のほうがレンダリング画像フレームの解像度よりも高い場合（Ｓ１４のＹＥＳ）、続いて、マージ条件設定部５４は、ディスプレイに表示する動画像のコンテンツが静止画像かまたは動画像かを判定する（Ｓ１６）。この判定は、予めプログラムのヘッダ部などに情報として記録されているものを読み取ってきてもよいし、または、図示しない動き判定部が検出する、隣接する画像フレーム間の差分である動き成分の大きさに基づいて、静止画像かまたは動画像かを判定するようにしてもよい。コンテンツが、ワードプロセッサの編集画面やＨＴＭＬ文書の表示画面のように静止画像である場合（Ｓ１６のＹＥＳ）、マージ条件設定部５４はさらに、ディスプレイの解像度がレンダリング画像の解像度の整数倍であるか否かを判定する（Ｓ１８）。ここで、「整数倍」とは、例えば、レンダリング画像フレームが６４０×４８０であるときに、ディスプレイの解像度が１２８０×９６０または１９２０×１４４０のように、縦横とも画素数に同じ正の整数を乗じた値であることをいう。このように、ディスプレイの解像度がレンダリング画像フレームの解像度の整数倍である場合は（Ｓ１８のＹＥＳ）、図５および図６を参照して説明した実施例１を実行して、所望の解像度の画像フレーム列を得ることができる（Ｓ２２）。したがって、マージ条件設定部５４は、解像度が２倍である場合は４画像フレーム、解像度が三倍である場合には９画像フレームの連続画像フレームを第２メモリから取り出すようにフレーム列取得部５６に指示する。フレーム列取得部５６は、取得した画像フレーム列をマージ実行部５８に渡し、マージ実行部５８はその複数の画像フレームに対してポイントサンプリングを実行して、所望の解像度を有する画像フレームを画像表示部６０に出力する。

Ｓ１８で、ディスプレイの解像度がレンダリング画像フレームの解像度の整数倍でない場合は（Ｓ１８のＮＯ）、図９および図１０を参照して説明した実施例３を実行して、所望の解像度の画像フレーム列を得ることができる（Ｓ２０）。すなわち、マージ条件設定部５４は、所望の解像度にもっとも近く、レンダリング画像フレームの解像度の整数倍である画像フレームをポイントサンプリングにより生成し、その画像フレームから縦横が比例していない画像をバイリニアサンプリングにより生成する。

Ｓ１６で、コンテンツがＣＧ動画や映画のような動画像である場合（Ｓ１６のＮＯ）、マージ条件設定部５４は、図７および図８を参照して説明した実施例２を実行して、モーションブラーを施した動画像を得ることができる（Ｓ２４）。すなわち、マージ条件設定部５４は、（レンダリング画像フレームのフレームレート）／（ディスプレイのフレームレート）で求められる数の画像フレームを使用して、マージを実行する。例えば、レンダリング画像フレームのフレームレートが２４０ｆｐｓで、ディスプレイのフレームレートが６０ｆｐｓであれば、２４０／６０＝４フレームを使用してマージを実行する。この値が整数でないとき、例えば、レンダリングのフレームレートが２４０ｆｐｓで、ディスプレイのフレームレートが７０ｆｐｓであるとき、２４０／７０＝３．４となるが、このときは、小数点以下を切り捨てて三つの画像フレームについてマージを実行し、得られた画像フレームを７０ｆｐｓで出力するようにする。

上記のいずれの場合も、後処理部５０から出力される画像フレーム列のフレームレートは、レンダリング処理部４２によって描画される画像フレームのフレームレートよりも低下することになる。例えば、解像度２倍のポイントサンプリングを実行すれば、フレームレートは１／４に低下し、解像度三倍のポイントサンプリングを実行すればフレームレートは１／９に低下する。したがって、Ｓ２０またはＳ２２の処理によって所望の解像度を得ることができたものの、フレームレートが低すぎて画面のちらつきなどが生じることが起こりえる。そこで、別の実施形態では、図示しないユーザプロンプト部を設け、所望の解像度を得た場合にフレームレートが大きく低下することをユーザに問い合わせる画面を表示し、ユーザの許否を入力させるようにしてもよい。ユーザが許諾すればそのままポイントサンプリングを実行し、許諾しなければ実行しない。さらに別の実施形態では、マージ条件設定部５４は、ディスプレイの仕様と後処理部５０で実行可能な後処理とをつき合わせて、組み合わせうる解像度とフレームレートとの一覧を画面表示するようにしてもよい。そして、図示しないユーザプロンプト部は、その組合せのなかから希望するものを選択するようユーザに促し、選択された組合せをマージ条件設定部５４に送信する。そうして、マージ条件設定部５４は、フレーム列取得部５６およびマージ実行部５８に対し、適切な指示を発する。

上記のような処理は、レンダリング画像フレームを表示する前に実行してもよいし、当初は決められたアルゴリズムにしたがってマージ処理された画像フレームを表示し、その結果を見た後のユーザの嗜好に応じて決めるようにしてもよい。

Ｓ１４に戻り、ディスプレイの解像度がレンダリング画像フレームの解像度と同等または低い場合（Ｓ１４のＹＥＳ）、マージ条件設定部５４は、コンテンツが静止画像であるか否かを判定する（Ｓ２６）。コンテンツが静止画像であれば（Ｓ２６のＹＥＳ）、マージ条件設定部５４は画像フレームを間引いて表示させる（Ｓ２８）。つまり、フレーム列取得部５６は、レンダリングされる画像フレームの特定枚数毎にひとつのみを取得するようにフレーム列取得部５６に指示し、マージ実行部５８はその画像フレームを後処理せずに画像表示部６０に出力する。例えば、レンダリング画像フレームのフレームレートが２４０ｆｐｓであり、ディスプレイのフレームレートが６０ｆｐｓであれば、４画像フレーム毎に１画像フレームを出力する。

Ｓ２６で、コンテンツが動画像であった場合は（Ｓ２６のＮＯ）、上述と同様に実施例２を実行して、モーションブラーを施された動画像を得る（Ｓ３０）。

このように、マージ条件設定部５４は、レンダリング処理部４２の描画する画像フレーム列のフレームレートと解像度の情報、接続されたディスプレイのフレームレートと解像度の情報とを比較し、さらにコンテンツを参照することによって、後処理の条件を自動的に決定することができる。

以上説明したように、実施の形態１によれば、レンダリング処理部が、表示装置に画像フレームを出力する際に画像フレームが満たすべき条件に依存せずに所定のフレームレートでレンダリングを実行して画像フレーム列を生成する一方、後処理部が、レンダリング処理によって生成された画像フレーム列に対して所定の処理を施し、前記条件に依存した形で新たな画像フレーム列を出力する。

このように、レンダリング処理と後処理とを分離して実行するようにしたので、実際に使用されている表示装置の仕様、例えば解像度やフレームレートに依存せずに所定のフレームレートでレンダリングを実行して画像フレーム列を生成することができる。

実施の形態１では、レンダリング処理部４２が６４０×４８０ピクセルの画像を２４０ｆｐｓでレンダリングする場合について述べたが、当然、他の画素数の画像フレームをレンダリングしてもよいし、画像フレームの描画速度がより低速または高速であってもよい。一例として、画像フレーム列を３００ｆｐｓで描画することができる。この場合、５０Ｈｚのディスプレイと６０Ｈｚのディスプレイの両方に対応させて画像フレームを生成することができる。

また、実施の形態１では、４つの画像フレームのピクセルに対してマージ処理を施すことを述べたが、より多数のピクセルについてマージ処理を施すこともできる。例えば、６つの画像フレームのピクセルが六角形の頂点にそれぞれ対応するように画像フレームをずらして描画し、６ピクセルのＲＧＢ値の平均値を持つピクセルを含む画像フレームを生成するようにしてもよい。

実施の形態１では、ＣＧ画像を描画するエンタテインメント装置に画像フレーム処理装置を組み込んだ場合について説明したが、本発明による画像フレーム処理技術はこれに限定されず、ＤＶＤ再生装置、パーソナルコンピュータ、デジタルビデオカメラなどにも適用することができる。

実施の形態２．
実施の形態１では、表示装置で必要となる画像フレーム数よりも余分に画像フレームをレンダリングし、レンダリングされた複数の画像フレームに対して所定の処理を施して、表示用の画像フレームを出力することを述べた。これに対し、予め再生用の動画像が準備されているとき、そのなかから複数の画像フレームを読み出して所定の処理を施し、読み出した画像フレーム数よりも少ない画像フレームを出力するといった実施の形態も考えられる。後者のようにすれば、元の動画像の「早送り」や撮影されたときの時間軸と逆方向に画像フレームを出力する「早戻し（巻戻しともいう）」にあたる動画像を構成することが可能である。以下、本明細書において「早送り」というときには、「早戻し」動作をも含むものとする。

これらの二つの実施の形態は一見異なっているように見えるが、最終的にユーザに提供される動画像の画像フレーム数よりも多数の画像フレームに対して所定の処理が施されて新たな画像フレームが得られる、という点で同一の概念を有しており、画像フレームを出力するときの時間軸を伸縮させた違いに過ぎないと考えることができる。

ところで、近年ＨＤＤ（Hard Disk Drive）録画再生装置などのデジタル動画像の記録装置が普及し、大量の動画像データを容易に作成、記録、再生できるようになった。このような装置において、記録されている動画像データのうち見たい部分を検索するとき、ユーザは動画像データの早送りを利用する。しかしながら、動画像データを早送りすると、ユーザは検索したい部分を見逃してしまうことが多く、検索に不便さを感じることがある。
そこで、実施の形態２では、早送り中にも画像の見やすい早送り映像を出力する画像フレーム処理技術を提供する。

図１２は、実施の形態２に係る画像フレーム処理装置２００のハードウェア構成図である。メインＣＰＵ１２、メインメモリ１４、ディスプレイ２６、表示制御装置２８、入出力ポート３０および外部記憶装置３２は、図１に示した実施の形態１と同様であるので、同一の符号を付して説明を省略する。入出力ポート３０には、デジタルビデオカメラなどの撮影装置３８が接続される。撮影装置３８により撮影された動画像はデジタルデータとして、ＤＶＤ（Digital Versatile Disc）ドライブやハードディスクドライブなどの外部記憶装置３２に格納される。グラフィックプロセッサ８０は、外部記憶装置３２に格納されている動画像データの画像フレーム列を取り出してメインメモリ１４に格納し、所定の処理を施して新たな画像フレーム列を生成し、表示制御装置２８を介してディスプレイ２６に出力する。

画像フレーム処理装置２００は、画像フレーム列で構成される動画像データをディスプレイ２６に表示させる種々の動画像表示装置に組み込むことができる。動画像表示装置には、ＤＶＤ再生装置やＨＤＤ録画再生装置などの、映像コンテンツの保存、再生を目的とする装置の他、パーソナルコンピュータ、デジタルビデオカメラ、エンタテインメント装置に組み込んでの使用も考えられる。

入力装置８４は、画像フレーム処理装置２００に対して入力をするための装置であり、画像フレーム処理装置２００が組み込まれる動画像表示装置のタイプにしたがって種々のものが考えられる。例えば、動画像表示装置がＤＶＤ再生装置やＨＤＤ録画再生装置などである場合、入力装置８４はリモートコントローラや装置本体に備えられた各種ボタンであり、動画像表示装置が汎用のコンピュータである場合、入力装置８４はキーボードやマウスである。

実施の形態２では、主に、予め作成され、ＤＶＤドライブやハードディスクドライブなどの大容量記憶装置に動画像データとして記録された映像コンテンツについて、ユーザから早送り表示要求があったときに、早送り映像を作成することを例として述べる。しかしながら、実施の形態１と同様に、ディスプレイにおける再生のたびに新たな画像フレーム列を作成するレンダリング処理を実行するエンタテインメント装置にも本実施の形態を適用することができる。

以下、図１２の画像フレーム処理装置２００において、種々の効果が付与された早送り映像を作成する方法について、いくつかの実施例を参照して説明する。

実施例４．
図１３は、実施例４に係る画像フレーム処理装置２００の機能ブロック図である。同図の機能は、主にグラフィックプロセッサ８０、メインＣＰＵ１２およびメインメモリ１４によって実現される。この実施例４では、ユーザから早送り要求があったときに、動きの滑らかな早送り映像を提供する方法について述べる。

インターフェイス部２０２は、入力装置８４を介してユーザから与えられる早送り要求を取得する。この早送り要求は、例えば画像フレーム処理装置２００がＤＶＤ再生装置に組み込まれているとすれば、リモートコントローラや装置本体に備えられた早送りボタンやダイヤルなどで指定される「二倍速」「四倍速」などの早送り速度情報である。早送り要求はユーザから与えられる代わりに、動画像データのヘッダ部において指定されていてもよい。インターフェイス部２０２は、取得した情報を転送フレーム数決定部２０６に送る。転送フレーム数決定部２０６は、送られた早送り速度情報を参照して、その速度による早送りを実現するために必要となる画像フレーム数を決定する。フレーム転送部２０８は、格納部２５０に格納されている画像フレーム列のなかから転送フレーム数決定部２０６で決定された数の画像フレームを一定のタイミングで読み出し、早送り処理部２２０に転送する。一例として、格納部２５０は図１２のメインメモリ１４に対応するが、外部記憶装置３２等の画像フレーム処理装置２００に備えられる任意の記憶装置またはメモリであってもよい。なお、格納部２５０内の画像フレームは、非圧縮の画像であってもよいし、離散コサイン変換を用いて圧縮された画像であってもよい。

早送り処理部２２０は、フレーム列取得部２２２とマージ実行部２２４を含む。フレーム列取得部２２２は、転送されてきた複数の画像フレームを取得して一時的に記憶する。マージ実行部２２４は、フレーム列取得部２２２に記憶されている複数の画像フレームから新たなひとつの画像フレームを生成するマージ処理を実行する。このマージ処理は、実施の形態１で説明したブレンディング処理であってよい。生成された画像フレームは、「早送り用フレーム」と呼ばれる。

マージ実行部２２４により生成された早送り用フレームは、生成された順に映像構成部２４０に送られる。映像構成部２４０は、順次送られてくる早送り用フレームを、ディスプレイ２６で表示可能な所定のフレームレートで連続的に出力する。これによって、ユーザはディスプレイ２６において所望の早送り映像を見ることができる。

複数の画像フレームに対してマージ処理を実行すると、早送り用フレーム内には擬似的な残像が生成される。このような早送り用フレームを順次出力することによって早送り映像にモーションブラーがかかるため、ユーザは自然かつ滑らかな早送り映像を見ることができる。

ところで、格納部２５０内の画像フレーム列から所定のフレーム数毎に画像フレームを抽出し、マージ処理を施すことなく所定のフレームレートで出力するようにして早送り映像を作成することも可能である。ここで、実施例４の効果を理解しやすくするために、このようにして作成された早送り映像の不都合な点について、図１４を参照して説明する。

図１４は、予め準備されている画像フレーム列３００から適当な数の画像フレームを抽出して、早送り用フレーム列３１０とする処理を概念的に示す図である。

画像フレーム列３００は、画像フレーム３０１〜３０９の他、これらの前後に連なる多数の画像フレームを含む。画像フレーム３０１〜３０９は、円形のオブジェクト４００が画面の左上から右下へ向かって移動していく映像を収めたものである。各画像フレームにコマ表示されているオブジェクト４００は、現実にはより多数の画像フレームを用いなければ円滑な再生ができないが、図１４では説明を簡単にすべく、画像フレーム３０１〜３０９だけでオブジェクト４００の移動が滑らかに表されているものと仮定する。

画像フレーム３０３および３０７に表されている星形４０１は、オブジェクト４００が光を発したことを表している。したがって、画像フレーム列３００では、オブジェクト４００は画面の左上に出現し、途中二回点滅しながら画面の右下に到達する。

図１４では、三つの画像フレーム毎にひとつの画像フレームを抽出する。具体的には、画像フレーム列３００のなかから３画像フレーム毎に、画像フレーム３０１、画像フレーム３０４および画像フレーム３０７・・・と抽出していく。そして、これらの画像フレームは何の加工も受けることなく、それぞれ早送り用フレーム３１１、３１２、３１３・・・となる。このように、適当な数の画像フレーム毎に一枚の画像フレームを抽出して早送り用フレーム列３１０を生成し、所定のフレームレートで出力することによって早送り映像を得ることができる。図１４の例では、元の映像を三倍速にした早送り映像が得られることになる。

しかしながら、上記した早送り映像の作成方法では、元の画像フレーム列から抽出された画像フレーム間の差分が大きい場合、特に高速の早送りを実行したとき映像がコマ送りのように不連続的になり、ユーザにとって見にくい映像となってしまう。また、元の画像フレーム列３００にはオブジェクトが点滅したことを示す画像フレーム３０３が含まれているのに対し、早送り用フレーム列３１０にはこの画像フレーム３０３が含まれない。そのため、早送り用フレーム列３１０で構成された早送り映像を見たユーザは、オブジェクト４００が二回点滅したことを認識することができなくなる。

このことから分かるように、図１４のようなオブジェクトの点滅以外でも、何らかの重要な情報を有する画像フレームが早送り映像に反映されないことが起こりうる。言い換えると、元の画像フレーム列には映っているのに、早送り映像にすると見えないということが起こりうる。このため、ある特定の情報を手がかりとして早送り映像から見たい場面を検索するとき、早送り映像から情報が欠落しているために、そのシーンを見つけ出すことができなくなるような事態が考えられる。

次に、図１５を参照して実施例４に係る早送り映像の生成方法について説明する。ここでは、図１４と同様の画像フレーム列３００に対して、三つの画像フレームからひとつの画像フレームを抽出する代わりに、マージ実行部２２４が三つの画像フレームにマージ処理を施してひとつの早送り用フレームを生成する。
具体的には、マージ実行部２２４は、画像フレーム３０１〜３０３に対してマージ処理を施して早送り用フレーム３２１を生成し、画像フレーム３０４〜３０６に対してマージ処理を施して早送り用フレーム３２２を生成し、画像フレーム３０７〜３０９に対してマージ処理を施して早送り用フレーム３２３を生成する。

このマージ処理は、画像フレーム内で同一位置にあるピクセルを重み付け平均した画像フレームを生成することである。具体的には、早送り用フレームＦ_ｆを作成するためにｎ枚の画像フレームＦ_ｍ（ｍ＝１，．．．，ｎ、ｎは正の整数）を用いる場合、次式で表すことができる。
Ｆ_ｆ＝Σα_ｍ・Ｆ_ｍ （４）
ここで、α_ｍは画像フレーム毎の重み付け係数であり、Σα_ｍ＝１である。式（４）から分かるように、マージ処理するときに、各画像フレームで重み付けの比率が同等でなくてもよい。例えば、ある画像フレームに隣接する画像フレームについては重み付けを大きくし、遠ざかるほど重み付けを小さくするようにしてもよい。α_ｍの分配は、早送り用フレームＦ_ｆとして得るべき画像フレームの特質に依存する。

上述のマージ処理によって、画像フレーム間で少しずつ移動するオブジェクト４００に擬似的な残像のかかった早送り用フレーム３２１、３２２、３２３が得られる。図１５においては、オブジェクト４００の残像を白抜きの円または星形で表してある。これによって、早送り用フレーム３２１〜３２３を含む早送り用フレーム列３２０を早送り映像として再生した場合、モーションブラーのかかった、オブジェクトの動きが比較的滑らかな映像が得られ、ユーザに与える視聴の負担が少なくなる。さらに、早送り用フレーム３２１および３２３に示すように、元の画像フレーム３０３および３０７に表されているオブジェクトが点滅したときの画像も、擬似的な残像の形で早送り用フレーム内に表されていることが分かる。つまり、早送り用フレームを作成したために元の画像フレーム内の情報が完全に欠落してしまうことがなく、情報の一部は必ず早送り用フレーム内に残ることになる。したがって、ある特定の情報を手がかりとして早送り映像から見たいシーンを検索したとき、そのシーンを見つけ出しやすくなる。

図１６は、マージ処理する画像フレームの数を増減させて、早送り速度を変化させた早送り映像を得る処理を概念的に示す。
画像フレーム列３５０は、画像フレーム３５１〜３６２とその前後に連なる多数の画像フレームを含む。通常の早送り映像生成時には、マージ実行部２２４は４つの画像フレームにマージ処理を施してひとつの早送り用フレームを生成する。具体的には、画像フレーム３５１〜３５４に対してマージ処理を施して早送り用フレーム３７１を生成し、画像フレーム３５５〜３５８に対してマージ処理を施して早送り用フレーム３７２を生成する。

早送り用フレームの生成中に、フレーム列取得部２２２によって特定の条件を満足する画像フレームが検出されると、マージ実行部２２４は、それ以降の画像フレームについては、二つの画像フレームにマージ処理を施してひとつの早送り用フレームを生成する。図１６の例では、画像フレーム３５９が特定の条件を満足するとき、マージ実行部２２４は、画像フレーム３５９、３６０に対してマージ処理を施して早送り用フレーム３７３を生成し、画像フレーム３６１、３６２に対してマージ処理を施して早送り用フレーム３７４を生成する。

以上のようにして生成された早送り用フレーム３７１〜３７４を含む早送り用フレーム列３７０から構成される早送り用映像は、初めは四倍速であるが、早送り用フレーム３７３以降は二倍速になる。このように、マージ処理する画像フレームの数を適宜増減させることによって、任意の時点から早送り速度の変化する早送り映像を得ることが可能になる。

特定の画像フレームを検出するには、任意の方法を用いることができる。例えば、公知のシーンチェンジ抽出技術を用いて、場面が切り替わる特定の画像フレームを検出する方法が考えられる。こうすれば、特定の場面について早送り速度を減じた早送り映像を得ることができる。または、画像フレーム間の動きベクトルを検出し、このベクトルの絶対値が所定値以上となった画像フレームを検出する方法が考えられる。こうすれば、画面内のオブジェクトの動きが大きくなった画像フレームを特定し、そのフレーム以降で早送り速度を減じた早送り映像を得ることができる。

こうすることによって、ユーザが映像を早送りしているときでも途中から早送り速度が減じられるため、重要な場面を見落とすことなく視聴することが可能になる。また、上述のように、ユーザが特定の情報を手がかりとして早送り映像から見たい場面を検索するとき、ある場面に来ると自動的に早送り速度が減少するので、ユーザはその場面を見つけ出しやすくなる。この応用例として、映像コンテンツがドラマであるとき、早送り中でも特定の俳優が出る場面を遅めに表示する、または、映像コンテンツがサッカー中継であるとき、得点場面を遅めに表示する、などの活用方法が想定される。

実施例５．
実施例４では、画像フレーム毎の特徴などを考慮することなく、画像フレーム列から所定数の画像フレームを順次取り出し、マージ処理を施して早送り用フレームを作成することを述べた。この方法は、滑らかな早送り映像を作成するには好ましいが、何らかの特徴のある画像フレームを優先的に取り出して早送り映像を作成することが好ましい場合もある。この実施例５では、輝度情報を画像フレームの特徴とし、一定の条件を満たす画像フレームを優先的に取り出すことによって、視聴効率の高い早送り映像を作成する画像フレーム処理装置を提供する。

図１７は、実施例５に係る画像フレーム処理装置の機能ブロック図である。インターフェイス部２０２、転送フレーム数決定部２０６、フレーム転送部２０８、フレーム列取得部２２２、映像構成部２４０および格納部２５０については図１３と同様であるため、同一の符号を付して説明を省略する。

早送り処理部２２０は、フレーム列取得部２２２と特徴フレーム抽出部２２６を含む。特徴フレーム抽出部２２６は、輝度情報に基づいて、フレーム転送部２０８から転送されてきた複数の画像フレームから、予め定められた条件を満たす画像フレームを特徴フレームとして抽出する。この条件は、例えば、ある画像フレームを含む前後１０フレームに含まれる画素の平均値を画素毎に算出し、その平均値より５０％以上大きい輝度を有する画素を含む画像フレームを特徴フレームとして抽出する。特徴フレーム抽出部２２６は、これら特徴フレームのほか適当な枚数の画像フレームを抽出して早送り用フレームを作成し、映像構成部２４０に送る。映像構成部２４０は、順次送られてくる早送り用フレームを、ディスプレイ２６で表示可能な所定のフレームレートで連続的に出力する。

以下、実施例５に係る特徴フレーム抽出の具体例を述べる。図１８は、輝度情報を参考にして画像フレーム列からいくつかの画像フレームを抽出する処理を概念的に示す。
画像フレーム列３００は、図１４と同様に画像フレーム３０１〜３０９とその前後に連なる多数の画像フレームを含む。そして、特徴フレーム抽出部２２６は、各画像フレームの輝度情報に基づいて、近隣の他の画像フレームよりも輝度の大きい画素を含む画像フレームを特徴フレームとして抽出する。上述したように、画像フレーム３０３および３０７ではオブジェクト４００が点滅しており、したがって近隣の画像フレームよりも輝度の大きい画素を含むため、それぞれ特徴フレームとして抽出される。これらは、何の処理も受けることなく早送り用フレーム３３１および３３２となる。

画像フレーム列３００から特徴フレームを抽出するだけでは、要求されている早送り速度の早送り映像を構成することができる最低限の枚数の画像フレームを確保できないおそれがある。このため、所定の数の画像フレーム内に輝度情報により抽出される特徴フレームが存在しない場合、特徴フレーム抽出部２２６は、輝度情報にかかわらずひとつのフレームを抽出するようにすることが好ましい。逆に、所定の数の画像フレーム内に輝度情報により抽出される特徴フレームが複数存在した場合、特徴フレーム抽出部２２６は、そのうちいずれかひとつのフレームのみを抽出することが好ましい。このようにして、早送り用フレーム列３３０を作成することができる。

別の方法として、所定の数の画像フレーム内に輝度情報により抽出される特徴フレームが複数存在した場合、早送り速度情報とは無関係に、特徴フレームと判定された画像フレームのすべてを早送り用フレームとしてもよい。こうすると、輝度の大きい画素を含む画像フレームがある期間にわたって連続して抽出されることになるため、その期間においては通常の再生速度と同等の早送り速度に減速された早送り映像を得ることができる。つまり、早送り中においても、特徴的な場面では通常再生と同じ映像が得られることになるため、ユーザが重要な情報を見逃すことが少なくなる。したがって、ユーザの見逃したくない情報に応じて特徴フレームの条件を設定することが好ましい。

以上説明したように、実施例５では、輝度情報に基づいて特徴フレームを抽出して早送り映像を作成するようにしたので、重要な情報を含む画像フレームが早送り映像において欠落することが少なくなる。

なお、特徴フレームを抽出するために参照される情報は輝度情報に限られない。一例として、画像フレーム間の動き情報を用いて、一定の条件を満たす画像フレームを優先的に抽出するようにしてもよい。

これについて図１７を参照して説明する。動き情報検出部２１０は、フレーム転送部２０８から転送される複数の画像フレームを受け取り、画像フレーム間の動き情報を検出する。例えば、公知のブロックマッチングにより画像フレーム間の対応点を求め、その対応点の差分から求められる動きベクトルを動き情報として用いることができる。画像フレーム内の領域またはオブジェクト毎の動き情報が予めデータとして存在しているときは、それらを用いてもよい。

特徴フレーム抽出部２２６は、動き情報に基づいて、転送されてきた複数の画像フレームから、予め定められた条件を満たす画像フレームを特徴フレームとして抽出する。この条件は、例えば、動きベクトルの絶対値が所定値以上となることである。特徴フレーム抽出部２２６は、これら特徴フレームのほか適当な枚数の画像フレームを抽出して早送り用フレームを作成し、映像構成部２４０に送る。映像構成部２４０は、順次送られてくる早送り用フレームを、ディスプレイ２６で表示可能な所定のフレームレートで連続的に出力する。

さらに、特徴フレーム抽出部２２６は、インターフェイス部２０２から動画像データのヘッダ部に書き込まれている情報を受け取り、その情報に基づいて特徴フレームを抽出してもよい。例えば、映像コンテンツがドラマである場合、シーンが切り替わる時点の前後数十〜数百の画像フレームのヘッダ部にそのことを示すビットを立てておき、特徴フレーム抽出部２２６は、ビットの立てられた画像フレームを特徴フレームとして抽出するようにしてもよい。こうすると、早送り映像においても、シーンの前後部分では通常再生と同じ速度の映像が得られることになり、早送りしてもユーザによる内容の把握が比較的容易になる。

実施例６．
実施例５では、輝度情報や動き情報などを利用して、一定の条件を満たす画像フレームを特徴フレームとして抽出することを述べた。この方法は、いわば画像フレーム列に含まれる画像フレームを、ユーザにとって比較的有益と思われる画像フレーム、すなわち情報量が多いと推定される画像フレームと、有益性が少ないと思われるフレーム、すなわち情報量が少ないと推定される画像フレームとに選り分け、前者からより多くの画像フレームを取り出して早送り映像を構成することに相当する。

これに対し、実施例６では、ひとつの画像フレーム内を情報量の多い部分と少ない部分とに分離し、それらを強調または目立たなくすることで、ユーザが情報を得やすい早送り映像を作成する画像フレーム処理装置を提供する。

図１９は、実施例６に係る画像フレーム処理装置の機能ブロック図である。インターフェイス部２０２、転送フレーム数決定部２０６、フレーム転送部２０８、動き情報検出部２１０および格納部２５０については、図１７と同様であるため、同一の符号を付して説明を省略する。

早送り処理部２２０は、フレーム内分離部２２８と、個別マージ部２３０と、フレーム再構成部２３２とを含む。フレーム内分離部２２８は、フレーム転送部２０８から転送される複数の画像フレームを受け取り、各画像フレームを「特定領域画像」と「非特定領域画像」とに分離する。特定領域画像と非特定領域画像との分離は、動き情報検出部２１０から受け取る動き情報にしたがって行われる。特定領域画像は、例えば、動きベクトルの絶対値が予め定められているしきい値以上となる部分の画像である。非特定領域画像は、特定領域画像以外の部分の画像である。個別マージ部２３０は、非特定領域画像について、複数の画像フレーム間でマージ処理を実行する。一方、特定領域画像については、複数の画像フレームからいずれかひとつを選択する。

フレーム再構成部２３２は、選択された特定領域画像とマージ処理後の非特定領域画像とを合成して、新たな画像フレームを作成する。作成された画像フレームは、早送り用フレームとして映像構成部２４０に送られる。映像構成部２４０は、順次送られてくる早送り用フレームを、ディスプレイ２６で表示可能な所定のフレームレートで連続的に出力する。

図２０は、画像フレームを特定領域画像と非特定領域画像とに分離する処理を概念的に示す。画像フレーム列３８０は、複数の画像フレーム３８１〜３８４とその前後に連なる多数の画像フレームを含む。画像フレーム列３８０は、特定の人物の画像が含まれているものとする。人物の画像部分は、その人物の着用している衣服の色や柄をユーザによって指定させ、指定された色や柄を手がかりとして公知の画像マッチング技術を用いて検出することができる。

フレーム内分離部２２８は、人物の画像部分を特定領域画像、背景部分を非特定領域画像として、画像フレーム３８１〜３８４を分離する。続いて、個別マージ部２３０は、画像フレーム３８１〜３８４の非特定領域画像に対してマージ処理を施すとともに、画像フレーム３８１〜３８４の特定領域画像からいずれかひとつを選択する。図２０では、画像フレーム３８２の特定領域画像を選択している。そして、フレーム再構成部２３２は、個別マージ部２３０により選択された特定領域画像と、マージ処理後の非特定領域画像とを組み合わせて、早送り用フレーム３８５を構成する。早送り用フレーム３８５は、背景部分がマージ処理によってブラーのかかった画像となる。したがって、早送り用フレーム３８５を含む早送り映像は、モーションブラーのかかった画像を背景に人物の画像が映し出されるようになるため、人物を認識しやすい映像となる。

このように、実施例６によれば、早送り時に画像フレーム内の重要な部分を明確に表示することができる。逆にいえば、画像フレーム内の不要な部分にモーションブラーをかけて目立たなくさせることができる。

実施例６の応用例として、映像コンテンツがドラマやスポーツ中継である場合、早送り中でもお気に入りの人物を目立つように表示させることが考えられる。

なお、個別マージ部２３０は、非特定領域画像が静止画像である場合、複数の画像フレームを使用して当該画像の画質を向上させる処理を実行してもよい。

実施例７．
図２１は、実施例７に係る画像フレーム処理装置の機能ブロック図である。実施例７では、画像フレーム内の任意のオブジェクトの軌跡を早送り映像に表示させる技術について述べる。

インターフェイス部２０２、転送フレーム数決定部２０６、フレーム転送部２０８、動き情報検出部２１０、映像構成部２４０および格納部２５０については、図１７と同様であるため、同一の符号を付して説明を省略する。

早送り処理部２２０は、軌跡作成部２３６とフレーム再構成部２３２を含む。軌跡作成部２３６は、動き情報検出部２１０から得られる動き情報、例えば動き予測のデータのトラッキングまたは動きベクトルなどを利用して、フレーム転送部２０８から転送されてくる画像フレーム内の予め定められたオブジェクトの動線を表示した軌跡画像を作成する。フレーム再構成部２３２は、作成された軌跡画像と元の画像フレームとを合成して、早送り用フレームを作成する。

図２２は、実施例７に係る軌跡表示処理を概念的に示す。画像フレーム列３００は、図１４と同様に画像フレーム３０１〜３０９とその前後に連なる多数の画像フレームを含む。

軌跡作成部２３６は、画像フレーム３０１と画像フレーム３０２の差分から軌跡画像４１１を作成し、画像フレーム３０２と画像フレーム３０３の差分から軌跡画像４１２を作成する。フレーム再構成部２３２は、軌跡画像４１１および４１２を、画像フレーム３０３に組み合わせて早送り用フレーム３４１を作成する。また、軌跡作成部２３６は、画像フレーム３０４と画像フレーム３０５の差分から軌跡画像４１３を作成し、画像フレーム３０５と画像フレーム３０６の差分から軌跡画像４１４を作成する。フレーム再構成部２３２は、軌跡画像４１３および４１４を、画像フレーム３０６に組み合わせて早送り用フレーム３４２を作成する。画像フレーム３０７以降についても、同様にして早送り用フレームが作成される。

映像構成部２４０は、早送り用フレーム３４１および３４２を含む早送り用フレーム列３４０を所定のフレームレートで出力することによって、オブジェクト４００が移動していく軌跡が表示された早送り用映像を得ることができる。

なお、画像フレーム内に存在するいずれのオブジェクトについて軌跡表示させるかは、公知の種々の方法を用いることができる。例えば、予め定めたオブジェクト、例えばサッカーボールの画像を公知の画像認識技術を用いて各画像フレーム内で検出し、サッカーボールの軌跡が表示された早送り映像を得ることができる。

このように、実施例７によれば、元の画像フレーム内には存在しない情報を早送り画像中に表示させることができる。言い換えると、複数の画像フレーム間の差分情報を活用することによって、元の画像フレームに対して情報をリッチ化することができる。

実施例８．
以上で説明した実施例４〜実施例７を使い分ければ、ユーザの目的やコンテンツの内容に合わせた早送り映像を提供することができる。例えば、ＨＤＤ録画再生装置に記録されている映像コンテンツの種類に応じて、早送りの仕方を変えるなどといった応用例が考えられる。

以下、画像フレーム処理装置が動画像再生装置に組み込まれている場合に、早送り映像を作成する処理を適宜変更する実施例について述べる。

図２３は、実施例４〜実施例７で示したすべての処理を実現可能な画像フレーム処理装置の機能ブロック図である。インターフェイス部２０２、転送フレーム数決定部２０６、フレーム転送部２０８、動き情報検出部２１０、映像構成部２４０および格納部２５０については、図１３と同様であるため、同一の符号を付して説明を省略する。

早送り処理部２２０は、実施例４〜実施例７で説明した処理をすべて実行することができるように構成されている。画像フレーム処理装置は、さらにコンテンツ判定部２１４を備える。コンテンツ判定部２１４は、格納部２５０に記録されている動画像データのコンテンツ種別を判定する。この判定は、動画像データのヘッダ部に基づくほか、ユーザの入力によったり、または動き情報検出部２１０から得られる動き情報に基づいて判定を行ってもよい。判定されたコンテンツ種別は早送り処理部２２０に送られる。早送り処理部２２０は、フレーム転送部２０８から転送される複数の画像フレームに対し、コンテンツ種別に応じて、実施例４〜実施例７で示したいずれかの処理を実施する。

続いて、コンテンツ判定部２１４で判定されたコンテンツ種別がスポーツ映像、ドラマ／映画、またはユーザ作成映像であった場合について、早送り処理部２２０において実施される処理の例について説明する。

Ａ．スポーツ映像
コンテンツが例えばサッカーの試合の録画である場合、得点シーンのみ早送り速度を低下させることができる。得点シーンは、以下のような方法で検出する。すなわち、ゴールを撮影する定点カメラからの動画像データを使用し、定点カメラで撮影される画像の中でゴール内部にあたる領域を予め指定しておく。そして、ゴール内部領域に、画像マッチング技術により認識されるサッカーボールの画像が侵入したときを得点シーンと判定し、その前後数十〜数百フレームを抽出するようにする。
また、ユニフォームの色、柄、背番号などを手がかりとして、画像マッチング技術により任意の選手を特定し、特定の選手以外にモーションブラーをかけることによって、その選手の動きを見やすくした早送り映像を作成することができる。さらに、サッカーボールを画像マッチング技術により認識し、ボールの軌跡を表示させた早送り映像を作成することができる。

Ｂ．ドラマ／映画
映像コンテンツが例えばドラマ番組である場合、ドラマ内の好みの俳優が着用している衣服の色や柄を動画像表示装置に入力するようユーザに要求し、公知の画像マッチング技術によって、入力された色、柄と一致する領域を含むオブジェクトを検出する。これによって、特定の俳優が出演しているシーンを特定し、そのシーンのみ早送り速度を低下させた早送り映像を作成することができる。

Ｃ．ユーザ作成映像
格納部２５０に格納された動画像データが、ユーザにより携帯型カメラ等で撮像されたものである場合、公知のシーンチェンジ抽出技術を使用して場面の切れ目を検出し、その前後の画像フレームは必ず早送り用フレームに含ませるようにすれば、早送り映像においても内容の把握を比較的容易にすることができる。また、携帯型カメラで追跡している対象をオブティカルフローなどで検出し、早送り映像において追跡対象以外の背景にはモーションブラーをかけることによって、注目している追跡対象を見やすくした映像を作成することができる。

このように、図２３に示す画像フレーム処理装置によれば、動画像データのコンテンツおよびユーザの嗜好に合わせた適切な処理を施された早送り映像を得ることができる。

以上説明したように、実施の形態２によれば、予めＤＶＤドライブやハードディスクドライブなどに格納されている画像フレーム列に対して、早送り表示要求があったときに所定の処理を施して早送り用フレームを生成し、早送り表示要求に合わせたフレームレートで出力することで早送り映像を表示する。実施の形態２では、映像コンテンツに基づいて、画像フレーム列に対して異なる処理を施すことによって、早送り映像に様々な付加価値を持たせることができる点に特徴のひとつがある。この付加価値には、元となる画像フレーム列から早送り画像を生成する際に、元の画像フレーム列に含まれている情報ができるだけ欠落しないような処理を施している例（例えば、実施例４、５）と、元の画像フレーム列に含まれている情報のうち、不要な情報を削除する処理を施している例（例えば、実施例６）に分けることもできる。

実施の形態２では、早送り要求信号を受信してからほぼリアルタイムに早送り用の画像を作成し、早送り映像を出力する。したがって、早送り要求信号を受信したときの条件の違いやユーザからの指定の違いに応じて、そのたび毎に異なる効果を有した早送り画像を提供することも可能である。言い換えると、実施の形態２では、後処理工程にあたる早送り処理部において高い汎用性を持たせているので、種々の効果を発揮する早送り映像を提供可能である。

格納部２５０に記録されている動画像の画像フレーム列は、早送り速度とは関係のない所定のフレームレートで作成されたものであるのに対し、早送り処理部では、早送り要求信号やコンテンツ種別に応じた処理が施されて、早送りのための新たな画像フレーム列が生成される。このことからも分かるように、実施の形態１と実施の形態２は、表示レートよりも高いレートで準備された画像フレームをサンプリングして実際の表示フレームを作成する、という概念において共通する。つまり、実施の形態２は、実施の形態１のサンプリングを時間方向に伸張した場合に相当すると考えられる。

実施の形態２は、早送りや早戻しの映像を生成することに限定されない。例えば、高速撮影カメラで撮影された映像を使用することで、通常速度の動画像について上述のような効果を持たせることも可能である。このとき、カメラにより撮影される単位時間当たりの画像フレーム数Ｎ_ｓ、記録装置に格納される単位時間当たりの画像フレーム数Ｎ_ｐ、および最終的にディスプレイに出力される単位時間当たりの画像フレーム数Ｎ_ｏの間に、以下の条件が成立すればよい。
Ｎ_ｓ≧Ｎ_ｐ≧Ｎ_ｏ （５）

以上、実施の形態をもとに本発明を説明した。これらの実施の形態は例示であり、各構成要素またはプロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。また、実施の形態で述べた構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

実施の形態１に係るエンタテインメント装置のハードウェア構成図である。 実施の形態１に係る画像フレーム処理装置の機能ブロック図である。 プリミティブ座標系を説明する図である。 レンダリングにより生成される連続画像フレーム列からオフセットされた一組の画像フレームを取り出すことを説明する図である。 ４つの画像フレームのポイントサンプリングを説明する図である。 ４つの画像フレームから４倍サイズの画像フレームを作成することを説明する図である。 ４つの画像フレームを利用したモーションブラーを説明する図である。 ４つの画像フレームから同じサイズの画像フレームを作成することを説明する図である。 ４つの画像フレームに対しポイントサンプリングを実行した後、バイリニア補間を行って拡大サイズの画像を作成することを説明する図である。 バイリニアサンプリングを説明する図である。 マージ条件設定部におけるマージ方法を決定するフローチャートである。 実施の形態２に係る画像フレーム処理装置２００のハードウェア構成図である。 実施例４に係る画像フレーム処理装置の機能ブロック図である。 画像フレーム列から画像フレームを抽出して早送り用フレームを生成する処理を概念的に示す図である。 複数の画像フレームをマージして早送り用フレームを生成する処理を概念的に示す図である。 マージ処理する画像フレームの数を増減させて、早送り速度を変化させた早送り映像を得る処理を概念的に示す図である。 実施例５に係る画像フレーム処理装置の機能ブロック図である。 輝度情報を参考にして画像フレームを抽出する処理を概念的に示す図である。 実施例６に係る画像フレーム処理装置の機能ブロック図である。 画像フレームを特定領域画像と非特定領域画像とに分離する処理を概念的に示す図である。 実施例７に係る画像フレーム処理装置の機能ブロック図である。 軌跡表示処理を概念的に示す図である。 実施例４〜実施例７で示した処理を実現可能な画像フレーム処理装置の機能ブロック図である。

符号の説明

１０ 画像フレーム処理装置、 １２ メインＣＰＵ、 １４ メインメモリ、 １６ ジオメトリプロセッサ、 １８ グラフィックチップ、 ２０ レンダリングプロセッサ、 ２２ メモリインターフェイス、 ２４ 画像メモリ、 ２６ ディスプレイ、 ２８ 表示制御装置、 ３０ 入出力ポート、 ３２ 外部記憶装置、 ３４ 入力装置、 ３６ バス、 ４０ オブジェクトデータ読出部、 ４２ レンダリング処理部、 ４４ 第１メモリ、 ４６ 転送制御部、 ４８ 第２メモリ、 ５０ 後処理部、 ５２ インターフェイス部、 ５４ マージ条件設定部、 ５６ フレーム列取得部、 ５８ マージ実行部、 ６０ 画像表示部、 ８４ 入力装置、 １００ エンタテインメント装置、 ２００ 画像フレーム処理装置、 ２０２ インターフェイス部、 ２０６ 転送フレーム数決定部、 ２０８ フレーム転送部、 ２１０ 動き情報検出部、 ２１４ コンテンツ判定部、 ２２０ 早送り処理部、 ２２２ フレーム列取得部、 ２２４ マージ実行部、 ２２６ 特徴フレーム抽出部、 ２２８ フレーム内分離部、 ２３０ 個別マージ部、 ２３２ フレーム再構成部、 ２３６ 軌跡作成部、 ２４０ 映像構成部、 ２５０ 格納部、 ３００、３５０、３８０ 画像フレーム列、 ３１０、３２０、３３０、３４０、３７０ 早送り用フレーム列。

Claims (23)

1. レンダリング処理と、該レンダリング処理によって生成される画像フレーム列を表示装置のために調整する後処理と、を含み、
   前記レンダリング処理では、表示装置に画像フレームを出力する際に画像フレームが満たすべき条件に依存せずに、前記表示装置に求められる第１のフレームレートよりも高い第２のフレームレートでレンダリングを実行して画像フレーム列を生成し、
   前記後処理は、レンダリング処理によって生成された画像フレーム列に対して所定の処理を施し、前記条件に依存した形で新たな画像フレーム列を生成および出力し、
   前記レンダリング処理部は、前記画像フレーム列内の一組の画像フレームについて、描画空間においてレンダリングを開始する座標をそれぞれ異なる量だけオフセットさせて画像フレーム全体をレンダリングし、
   前記後処理部は、オフセットさせてレンダリングされた前記一組の画像フレーム間のずれを維持するように、該一組の画像フレームに対してマージ処理を施すことによって、前記第２のフレームレートを前記第１のフレームレートに減じ、前記レンダリング処理部から出力された画像フレーム列よりも空間解像度を高めた画像フレーム列であって、前記表示装置に求められる前記第１のフレームレートの画像フレーム列を生成することを特徴とする画像フレーム処理方法。
2. レンダリング処理と、そのレンダリング処理によって生成される画像フレーム列を表示装置のために調整する後処理と、を含み、
   前記レンダリング処理では、実際に使用されている表示装置の仕様に依存せずに、前記表示装置に求められる第１のフレームレートよりも高い第２のフレームレートでレンダリングを実行して画像フレーム列を生成し、
   前記後処理は、レンダリング処理によって生成された画像フレーム列に対して所定の処理を施し、表示装置の仕様に依存した形で新たな画像フレーム列を生成および出力し、
   前記レンダリング処理部は、前記画像フレーム列内の一組の画像フレームについて、描画空間においてレンダリングを開始する座標をそれぞれ異なる量だけオフセットさせて画像フレーム全体をレンダリングし、
   前記後処理部は、オフセットさせてレンダリングされた前記一組の画像フレーム間のずれを維持するように、該一組の画像フレームに対してマージ処理を施すことによって、前記第２のフレームレートを前記第１のフレームレートに減じ、前記レンダリング処理部から出力された画像フレーム列よりも空間解像度を高めた画像フレーム列であって、前記表示装置に求められる前記第１のフレームレートの画像フレーム列を生成することを特徴とする画像フレーム処理方法。
3. レンダリング処理と、そのレンダリング処理によって生成される画像フレーム列を表示装置のために調整する後処理と、を含み、
   前記レンダリング処理では、表示されるコンテンツに依存せずに、前記表示装置に求められる第１のフレームレートよりも高い第２のフレームレートでレンダリングを実行して画像フレーム列を生成し、
   前記後処理は、レンダリング処理によって生成された画像フレーム列に対して所定の処理を施し、表示されるコンテンツに依存した形で新たな画像フレーム列を生成および出力し、
   前記レンダリング処理部は、前記画像フレーム列内の一組の画像フレームについて、描画空間においてレンダリングを開始する座標をそれぞれ異なる量だけオフセットさせて画像フレーム全体をレンダリングし、
   前記後処理部は、オフセットさせてレンダリングされた前記一組の画像フレーム間のずれを維持するように、該一組の画像フレームに対してマージ処理を施すことによって、前記第２のフレームレートを前記第１のフレームレートに減じ、前記レンダリング処理部から出力された画像フレーム列よりも空間解像度を高めた画像フレーム列であって、前記表示装置に求められる前記第１のフレームレートの画像フレーム列を生成することを特徴とする画像フレーム処理方法。
4. 表示装置に画像フレームを出力する際に画像フレームが満たすべき条件を取得するインターフェイス部と、
   前記条件に依存せずに、前記表示装置に求められる第１のフレームレートよりも高い第２のフレームレートでレンダリングを実行して画像フレーム列を生成するレンダリング処理部と、
   前記レンダリング処理部によって生成された画像フレーム列に対し、前記インターフェイス部によって取得された条件に応じた所定の処理を施し、表示装置のための新たな画像フレーム列を生成する後処理部と、
   を備え、
   前記レンダリング処理部は、前記画像フレーム列内の一組の画像フレームについて、描画空間においてレンダリングを開始する座標をそれぞれ異なる量だけオフセットさせて画像フレーム全体をレンダリングし、
   前記後処理部は、オフセットさせてレンダリングされた前記一組の画像フレーム間のずれを維持するように、該一組の画像フレームに対してマージ処理を施すことによって、前記第２のフレームレートを前記第１のフレームレートに減じ、前記レンダリング処理部から出力された画像フレーム列よりも空間解像度を高めた画像フレーム列であって、前記表示装置に求められる前記第１のフレームレートの画像フレーム列を生成することを特徴とする画像フレーム処理装置。
5. 前記条件は、前記表示装置の出力解像度であることを特徴とする請求項４に記載の画像フレーム処理装置。
6. 前記条件は、前記表示装置のフレームレートであることを特徴とする請求項４に記載の画像フレーム処理装置。
7. 前記条件は、表示されるコンテンツについて予め設定された出力解像度であることを特徴とする請求項４に記載の画像フレーム処理装置。
8. オフセットさせてレンダリングされた前記一組の画像フレームをひとつの座標系に配置し、この座標系においてピクセルをサンプリングすることによって、前記レンダリング処理部から出力された画像フレーム列よりも空間解像度を高めた画像フレーム列を生成することを特徴とする請求項４に記載の画像フレーム処理装置。
9. 前記後処理部は、オフセットさせてレンダリングされた前記一組の画像フレーム間のずれを解消するように、該一組の画像フレームに対してマージ処理を施すことによって、前記レンダリング処理部から出力された画像フレーム列と同じ空間解像度で画像フレーム列を生成することを特徴とする請求項４に記載の画像フレーム処理装置。
10. オフセットさせてレンダリングされた前記一組の画像フレームをひとつの座標系に配置し、この座標系においてピクセルをブレンディングすることによって、レンダリング処理部から出力された画像フレーム列と同じ空間解像度で画像フレーム列を生成することを特徴とする請求項９に記載の画像フレーム処理装置。
11. 前記レンダリング処理部によって生成された画像フレームを記憶する第１メモリと、前記後処理部が作業領域として使用する第２メモリとをさらに備え、
    前記第１メモリは前記レンダリング処理部によって生成された画像フレームを少なくともひとつ記憶する程度の容量を有し、
    前記第１メモリに一旦記憶された画像フレームが順次前記第２メモリへ転送され、前記後処理部によって複数の画像フレームが読み出されて所定の処理が施されることを特徴とする請求項４から１０のいずれかに記載の画像フレーム処理装置。
12. 前記レンダリング処理部によって生成された画像フレームを記憶する第１メモリと、前記後処理部が作業領域として使用する第２メモリとをさらに備え、
    前記第１メモリを少なくとも前記レンダリング処理部と同一の半導体回路素子に内蔵せしめたことを特徴とする請求項４から１０のいずれかに記載の画像フレーム処理装置。
13. 前記第２メモリとしてメインメモリを利用することを特徴とする請求項１２に記載の画像フレーム処理装置。
14. レンダリング処理と、該レンダリング処理によって生成される画像フレーム列を表示装置のために調整する後処理とをコンピュータに実行せしめるプログラムであって、
    前記レンダリング処理では、表示装置に画像フレームを出力する際に画像フレームが満たすべき条件に依存せずに、前記表示装置に求められる第１のフレームレートよりも高い第２のフレームレートでレンダリングを実行して画像フレーム列を生成し、
    前記後処理は、レンダリング処理によって生成された画像フレーム列に対して所定の処理を施し、前記条件に依存した形で新たな画像フレーム列を生成および出力し、
    前記レンダリング処理は、前記画像フレーム列内の一組の画像フレームについて、描画空間においてレンダリングを開始する座標をそれぞれ異なる量だけオフセットさせて画像フレーム全体をレンダリングし、
    前記後処理は、オフセットさせてレンダリングされた前記一組の画像フレーム間のずれを維持するように、該一組の画像フレームに対してマージ処理を施すことによって、前記第２のフレームレートを前記第１のフレームレートに減じ、前記レンダリング処理部から出力された画像フレーム列よりも空間解像度を高めた画像フレーム列であって、前記表示装置に求められる前記第１のフレームレートの画像フレーム列を生成することを特徴とするプログラム。
15. 表示装置に画像フレーム列を出力する際に画像フレームが満たすべき条件に依存せずに、前記表示装置に求められる第１のフレームレートよりも高い第２のフレームレートでレンダリングを実行し、後処理工程において前記条件に依存した新たな画像フレーム列に変換するための画像フレーム列を生成し、
    レンダリング処理において、前記画像フレーム列内の一組の画像フレームについて、描画空間においてレンダリングを開始する座標をそれぞれ異なる量だけオフセットさせて画像フレーム全体をレンダリングし、
    前記後処理工程において、オフセットさせてレンダリングされた前記一組の画像フレーム間のずれを維持するように、該一組の画像フレームに対してマージ処理を施すことによって、前記第２のフレームレートを前記第１のフレームレートに減じ、前記レンダリング処理部から出力された画像フレーム列よりも空間解像度を高めた画像フレーム列であって、前記表示装置に求められる前記第１のフレームレートの画像フレーム列を生成することを特徴とするレンダリングプロセッサ。
16. 前記条件は、前記表示装置の出力解像度であることを特徴とする請求項１５に記載のレンダリングプロセッサ。
17. 前記条件は、前記表示装置のフレームレートであることを特徴とする請求項１５に記載のレンダリングプロセッサ。
18. 前記条件は、表示されるコンテンツについて予め設定された出力解像度であることを特徴とする請求項１５に記載のレンダリングプロセッサ。
19. レンダリングによって複数の画像フレームを生成する際、描画空間においてレンダリングを開始する座標をオフセットさせて画像フレームを生成することを特徴とする請求項１５ないし１８のいずれかに記載のレンダリングプロセッサ。
20. レンダリングによって生成された画像フレームを記憶するメモリが同一の半導体回路素子に内蔵されていることを特徴とする請求項１５ないし１８のいずれかに記載のレンダリングプロセッサ。
21. 外部から受け取る画像フレーム列を表示装置に表示する画像フレーム処理方法であって、
    前記表示装置に画像フレームを出力する際に画像フレームが満たすべき条件を取得し、
    前記条件に依存しない、前記表示装置に求められる第１のフレームレートよりも高い第２のフレームレートの画像フレーム列を外部から受け取り、
    受け取った画像フレーム列に対して所定の処理を施し、前記条件に依存した形で新たな画像フレーム列を生成し、
    前記画像フレーム列内の一組の画像フレームは、描画空間においてレンダリングを開始する座標をそれぞれ異なる量だけオフセットさせて画像フレーム全体がレンダリングされており、前記所定の処理において、オフセットさせてレンダリングされた前記一組の画像フレーム間のずれを維持するように、該一組の画像フレームに対してマージ処理を施すことによって、前記第２のフレームレートを前記第１のフレームレートに減じ、前記レンダリング処理部から出力された画像フレーム列よりも空間解像度を高めた画像フレーム列であって、前記表示装置に求められる前記第１のフレームレートの画像フレーム列を生成することを特徴とする画像フレーム処理方法。
22. 表示装置に画像フレームを出力する際に画像フレームが満たすべき条件を取得するインターフェイス部と、
    前記条件に依存しない、前記表示装置に求められる第１のフレームレートよりも高い第２のフレームレートの画像フレーム列を外部から受け取る画像フレーム受付部と、
    前記画像フレーム列に対し、前記インターフェイス部によって取得された条件に応じた所定の処理を施し、表示装置のための新たな画像フレーム列を生成する後処理部と、
    を備え、
    前記画像フレーム列内の一組の画像フレームは、描画空間においてレンダリングを開始する座標をそれぞれ異なる量だけオフセットさせて画像フレーム全体がレンダリングされており、前記後処理部は、オフセットさせてレンダリングされた前記一組の画像フレーム間のずれを維持するように、該一組の画像フレームに対してマージ処理を施すことによって、前記第２のフレームレートを前記第１のフレームレートに減じ、前記レンダリング処理部から出力された画像フレーム列よりも空間解像度を高めた画像フレーム列であって、前記表示装置に求められる前記第１のフレームレートの画像フレーム列を生成することを特徴とする画像フレーム処理装置。
23. 外部から受け取る画像フレーム列を表示装置に表示させる処理をコンピュータに実行せしめるプログラムであって、
    前記表示装置に画像フレームを出力する際に画像フレームが満たすべき条件を取得し、
    前記条件に依存しない、前記表示装置に求められる第１のフレームレートよりも高い第２のフレームレートの画像フレーム列を外部から受け取り、
    受け取った画像フレーム列に対して所定の処理を施し、前記条件に依存した形で新たな画像フレーム列を生成し、
    前記画像フレーム列内の一組の画像フレームは、描画空間においてレンダリングを開始する座標をそれぞれ異なる量だけオフセットさせて画像フレーム全体がレンダリングされており、前記所定の処理において、オフセットさせてレンダリングされた前記一組の画像フレーム間のずれを維持するように、該一組の画像フレームに対してマージ処理を施すことによって、前記第２のフレームレートを前記第１のフレームレートに減じ、前記レンダリング処理部から出力された画像フレーム列よりも空間解像度を高めた画像フレーム列であって、前記表示装置に求められる前記第１のフレームレートの画像フレーム列を生成することを特徴とするプログラム。

Images