JP2004274724A - 高解像度画像を再構成する方法および装置 - Google Patents

Abstract

【課題】 バス帯域幅などによるビデオストリームの解像度の制限を解消する。
【解決手段】本発明にかかる方法は、第１の解像度を有する第１の複数の各々の時系列フレームをダウンサンプリングすることにより、第２の解像度を有する第２の複数の時系列フレームを構成すること、および第２の複数の時系列フレームを結合することにより画像を生成することを含む。本発明にかかるシステムは、複数の各々の時系列フレームに対応する第１の複数のピクセル値を格納するメモリと、第１の複数のピクセル値を使用して、複数の時系列フレームのいずれよりも高い解像度を有する画像に対応する第２の複数のピクセル値を生成するようにプログラムされたプロセッサとを有する。
【選択図】図１４

Description

本発明は、高解像度画像を再構成する方法および装置に関する。

デジタルビデオカメラは、非常に高解像度のビデオフレームを取込むことができる画像センサを有することができる。

しかしながら、たとえばバス帯域幅、メモリおよび／または処理速度等のコンピューティング資源が制限されることにより、カメラから出力されるビデオストリームまたはプリント可能画像の解像度が制限される場合がある。
その結果、ビデオカメラの出力の品質が十分でない場合がある。
したがって、デジタル画像形成に関連するこれらおよび／または他の問題に対処するシステムおよび方法が必要とされている。

画像解像度を変更する方法の実施形態は、第１の解像度を有する第１の複数の各々の時系列フレームをダウンサンプリングすることにより、第２の解像度を有する第２の複数の時系列フレームを構成すること、および第２の複数の時系列フレームを結合することにより画像を生成することを含む。

画像解像度を変更するシステムの実施形態は、複数の各々の時系列フレームに対応する第１の複数のピクセル値を格納するメモリと、第１の複数のピクセル値を使用して、複数の時系列フレームのいずれよりも高い解像度を有する画像に対応する第２の複数のピクセル値を生成するようにプログラムされたプロセッサと、を有する。

画像解像度を変更するシステムおよび方法は、例として示すものであり、以下の図面において例示する実施態様によって限定されない。
図面の構成要素は必ずしも一定の比率で縮小されていず、本発明の原理を明確に例示することに重きがおかれている。
さらに、図面において、各図を通して同じ参照番号は対応する部分を示している。

本発明の実施形態は、空間的にずれたサンプリンググリッドのセットを循環することであって、それによって高解像度ビデオストリームから低解像度ビデオストリームを生成する、循環することを含む。
サンプリンググリッドのセットは、低解像度ビデオストリームから高解像度画像を再構成するのに役立つように考えられている。

図１は、高解像度フレームＨＲ＿１、ＨＲ＿２、ＨＲ＿３およびＨＲ＿４のシーケンスの簡略化した実施例を示すブロック図である。
各高解像度フレームＨＲ＿ｔ（たとえば、ＨＲ＿１、ＨＲ＿２、ＨＲ＿３またはＨＲ＿４）は、複数のピクセルＡ＿ｔ、Ｂ＿ｔ、Ｃ＿ｔ、…、Ｐ＿ｔを含む。
高解像度フレームを使用して、後述するように低解像度フレームを構成することができる。
この簡略化した実施例では、フレーム毎に１６のピクセルのみを示すが、本明細書で説明する方法を、より多くのピクセル（たとえば、何千または何百万ピクセル）を有する高解像度フレームを使用して実施してもよく、かかる実施態様は、添付の特許請求項の適用範囲内にある。

図２は、各々高解像度フレームＨＲ＿１、ＨＲ＿２、ＨＲ＿３およびＨＲ＿４（図１）を使用して構成される低解像度フレームＬＲ＿１、ＬＲ＿２、ＬＲ＿３およびＬＲ＿４のシーケンスを示すブロック図である。
各高解像度フレームＨＲ＿ｔのピクセルのあるサブセットを使用して、対応する低解像度フレームＬＲ＿ｔを構成する。
たとえば、高解像度フレームＨＲ＿１（図１）のピクセルＡ＿１、Ｃ＿１、Ｉ＿１およびＫ＿１を含むピクセルのサブセットを使用して、低解像度フレームＬＲ＿１を構成してもよい。
同様に、フレームＨＲ＿２のピクセルＢ＿２、Ｄ＿２、Ｊ＿２およびＬ＿２を含むピクセルのサブセットを使用して、フレームＬＲ＿２を構成してもよい。

低解像度フレームＬＲ＿１、ＬＲ＿２、ＬＲ＿３およびＬＲ＿４のうちの１つにおける各ピクセルを、好ましくは、高解像度フレームにおける、低解像度フレームＬＲ＿１、ＬＲ＿２、ＬＲ＿３およびＬＲ＿４における他のピクセルのいずれをサンプリングするフレーム間位置とも異なる、フレーム間位置からサンプリングする。
このように、すべてのフレーム間位置を、高解像度フレームＨＲ＿１、ＨＲ＿２、ＨＲ＿３およびＨＲ＿４の組合せからサンプリングする。

４フレーム毎に、ダウンサンプリングプロセスを同様に繰返すことができる。
低解像度フレームを取得するために、上述したダウンサンプリング方法をフィルタリングプロセスと置換えるかまたはそれで補足してもよい。
たとえば、低解像度フレームＬＲ＿ｔにおける各ピクセルの値を、単一のまたは複数の連続した高解像度フレームのいずれかにおける複数の隣接するピクセルの値に基づいて計算してもよい。

低解像度フレームＬＲ＿１、ＬＲ＿２、ＬＲ＿３およびＬＲ＿４を、さらに、順にフィルタリングして表示することにより低解像度ビデオストリームを生成してもよい。
なお、この実施例では、フレーム毎のピクセルの数が、意味のあるビデオストリームを提供するためには少なすぎる場合がある、ということに留意する。
しかしながら、図１および図２に示す概念を、より多くのフレームに拡張してもよい。
たとえば、本発明の実施形態を使用して、１メガピクセルフレームのストリームを対応する０．２５メガピクセルフレームのストリームに変換してもよい。

図３は、低解像度フレームを使用して構成された高解像度画像ＨＲＩ＿５を示すブロック図である。
低解像度フレームＬＲ＿１、ＬＲ＿２、ＬＲ＿３およびＬＲ＿４（図２）を垂直におよび水平にインターレースすることにより、高解像度画像ＨＲＩ＿５を構成してもよい。
高解像度画像ＨＲＩ＿５は、プリントするために望ましい場合がある。
代替的に、高解像度画像ＨＲＩ＿ｔのシーケンスをフィルタリングし高解像度ビデオストリームとして順次表示してもよい。

高解像度画像ＨＲＩ＿５には、カメラおよび／または被写体の動きから生じるアーティファクトがある場合がある。
しかしながら、これらのアーティファクトは、対応するＬＲ＿ｔフレーム毎のピクセルの数および／または対応するＬＲ＿ｔフレームの周波数が増大するにしたがい、視覚的にごくわずかになる。
望ましい場合、画像強調技術を使用することにより、動きアーティファクトを低減または除去することができる。
たとえば、強調された高解像度画像における各ピクセルの値を、複数の連続した低解像度画像における複数の隣接するピクセルの値に基づいて計算してもよい。

本発明の実施形態のうちの１つを、以下のように生成することができる。
高解像度ビデオストリームの各フレームＸ＿ｔを、寸法ｍ×ｎを有する行列として表すものとする。
Ｘ＿ｔ（ｒ，ｃ）が、行ｒおよび列ｃにおける行列要素の値を表すものとする。
さらに、［ａ：ｂ：ｍ］が、整数のシーケンスａ、（ａ＋ｂ）、（ａ＋２ｂ）、（ａ＋３ｂ）、…、ｍを表すものとする。
そして、サイズｍ／２×ｎ／２の時系列の低解像度フレームＹ＿ｔを、以下のように導出することができる。
Ｙ＿１＝Ｘ＿１（［１：２：ｍ］，［１：２：ｎ］）
Ｙ＿２＝Ｘ＿２（［１：２：ｍ］，［２：２：ｎ］）
Ｙ＿３＝Ｘ＿３（［２：２：ｍ］，［２：２：ｎ］）
Ｙ＿４＝Ｘ＿４（［２：２：ｍ］，［１：２：ｎ］）
フレームＹ＿ｔ＋４とＸ＿ｔ＋４との間の関係をフレームＹ＿ｔとＸ＿ｔとの関係と同じにすることができるように、ダウンサンプリングプロセスを４フレーム毎に繰返すことができる。

時系列の低解像度フレームを使用して、高解像度画像Ｚ＿ｔを推定することができる。
たとえば、サイズｍ×ｎの高解像度画像Ｚ＿５を、以下のように低解像度フレームＹ＿１、Ｙ＿２、Ｙ＿３およびＴ＿４を使用して推定することができる。
Ｚ＿５（［１：２：ｍ］，［１：２：ｎ］）＝Ｙ＿１
Ｚ＿５（［１：２：ｍ］，［２：２：ｎ］）＝Ｙ＿２
Ｚ＿５（［２：２：ｍ］，［２：２：ｎ］）＝Ｙ＿３
Ｚ＿５（［２：２：ｍ］，［１：２：ｎ］）＝Ｙ＿４

図４は、図２に示す低解像度フレームのシーケンスに対する代替実施形態を示すブロック図である。
図４に示す低解像度フレームＬＲ＿１．１、ＬＲ＿２．１、ＬＲ＿３．１およびＬＲ＿４．１に達するために使用するサンプリング順序は、図２に示す低解像度フレームＬＲ＿１、ＬＲ＿２、ＬＲ＿３およびＬＲ＿４に達するために使用するサンプリング順序とは異なる。
たとえば、図４に示すように、フレームＬＲ＿２．１には、各々（２，２）、（２，４）、（４，２）および（４，４）に位置するピクセルＦ＿２、Ｈ＿２、Ｎ＿２およびＰ＿２（高解像度フレーム内）が含まれる。
対照的に、フレームＬＲ＿２には、各々（１，２）、（１，４）、（３，２）および（３，４）に位置するピクセルＢ＿２、Ｄ＿２、Ｊ＿２およびＬ＿２が含まれる。
他の多くのサンプリング順序もまた、本発明の範囲内で使用してもよい。

図５は、図４に示す低解像度フレームを使用して構成される高解像度画像ＨＲＩ＿５．１を示すブロック図である。
高解像度画像ＨＲＩ＿５．１を、低解像度フレームＬＲ＿１．１、ＬＲ＿２．１、ＬＲ＿３．１およびＬＲ＿４．１（図４）を垂直にかつ水平にインターレースすることによって構成してもよい。
画像ＨＲＩ＿５．１を構成する際に使用するピクセルの半分は、画像ＨＲＩ＿５（図３）を構成する際に使用するものとは異なる各々の高解像度フレームから発生するが、いずれの画像も、同一ではないとしても類似するように見える場合がある。
画像ＨＲＩ＿５とＨＲＩ＿５．１との類似性の程度は、高解像度フレームＨＲ＿１、ＨＲ＿２、ＨＲ＿３およびＨＲ＿４のフレームレートと内容とによって決まる。

図６は、高解像度フレームＨＲ'＿１、…、ＨＲ'＿９（明示的に示さないフレームＨＲ'＿２、…、ＨＲ'＿８を含む）シーケンスの簡略化した実施例を示すブロック図である。
各高解像度フレームＨＲ'＿ｔは、複数のピクセルＡ＿ｔ、Ｂ＿ｔ、Ｃ＿ｔ、…、ＪＪ＿ｔを含む。
後述するように、高解像度フレームＨＲ'＿ｔを使用して、低解像度フレームを構成することができる。

図７は、高解像度フレームＨＲ'＿１、…、およびＨＲ'＿９（図６）を各々使用して構成される低解像度フレームＬＲ'＿１、…、およびＬＲ'＿９のシーケンスを示すブロック図である。
各高解像度フレームＨＲ'＿ｔのピクセルのあるサブセットを使用して、対応する低解像度フレームＬＲ'＿ｔを構成する。
たとえば、高解像度フレームＨＲ'＿１（図１）のピクセルＡ＿１、Ｄ＿１、Ｓ＿１およびＶ＿１を含むピクセルのサブセットを使用して、低解像度フレームＬＲ'＿１を構成してもよい。
同様に、フレームＨＲ'＿２のピクセルＢ＿２、Ｅ＿２、Ｔ＿２およびＷ＿２を含むピクセルのサブセットを使用して、フレームＬＲ'＿２を構成してもよい。
９フレーム毎に、ダウンサンプリングプロセスを同様に繰返すことができる。

代替実施形態では、サンプリング順序が異なってもよい。
限定しない実施例として、フレームＨＲ'＿１のピクセルＢ＿１、Ｅ＿１、Ｔ＿１およびＷ＿１を使用してフレームＬＲ'＿１を構成してもよく、高解像度フレームＨＲ'＿１（図１）のピクセルＡ＿２、Ｄ＿２、Ｓ＿２およびＶ＿２を使用して低解像度フレームＬＲ'＿２を構成してもよい。

各低解像度フレームＬＲ'＿ｔは、対応する高解像度フレームＨＲ'＿ｔのピクセルの数の１／９しか含まない、ということに留意する。
したがって、ＬＲ'＿ｔフレームのシーケンスの解像度および品質が許容可能であるためには、ＨＲ'フレームの対応するシーケンスの解像度および／またはフレームレートが十分に高くなければならない。

図８は、図７に示す低解像度フレームを使用して構成される高解像度画像ＨＲＩ'＿１０を示すブロック図である。
低解像度フレームＬＲ'＿１、…、ＬＲ'＿９（図７）を垂直にかつ水平にインターレースすることによって、高解像度画像ＨＲＩ'＿１０を構成してもよい。
低解像度フレームＬＲ'＿１、…、ＬＲ'＿９からの各ピクセルを、画像ＨＲＩ'＿１０内の、高解像度フレームＨＲ'＿ｔ（図６）内のピクセルの元のフレーム間位置と同一のフレーム間位置に配置するように、低解像度フレームＬＲ'＿１、…、ＬＲ'＿９を結合してもよい。

図９は、図７に示す低解像度フレームのシーケンスに対する代替実施形態を示すブロック図である。
低解像度フレームＬＲ'＿１、…、およびＬＲ'＿９のシーケンスは、各々４つのピクセルを含むが、低解像度フレームＬＲ'＿１．１、ＬＲ'＿２．１、ＬＲ'＿３．１、ＬＲ'＿４．１のシーケンスは、各々９つのピクセルを含む。
したがって、本発明の実施形態を使用して、複数の所望の解像度のうちのいずれにおいて低解像度フレームを取得してもよい、ということが分かる。

図１０は、図９に示す低解像度フレームを使用して構成される高解像度画像ＨＲＩ'＿５を示すブロック図である。
低解像度フレームＬＲ'＿１．１、ＬＲ'＿２．１、ＬＲ'３．１およびＬＲ'＿４．１（図９）を垂直にかつ水平にインターレースすることによって、高解像度画像ＨＲＩ'＿５を構成してもよい。
画像ＨＲＩ'＿５を構成する際に使用するピクセルは、画像ＨＲＩ'＿１０（図８）を構成する際に使用するものとは異なる低解像度フレームから発生するが、いずれの画像も、同一でないとしても類似するように見える場合がある。
画像ＨＲＩ'＿５とＨＲＩ'＿１０との間の類似性の程度は、高解像度フレームＨＲ'＿１、…、ＨＲ'＿９（図６）のフレームレートおよび／または内容によって決まる。

図１１は、本発明の実施形態による方法１１００を示すフローチャートである。
ステップ１１０１において、複数の時系列高解像度フレームを使用して複数の各々の低解像度フレームを構成する。
ステップ１１０１を、好ましくは、高解像度フレームをダウンサンプリングすることによって達成する。
各高解像度フレームから選択された各ピクセルのフレーム間位置は、隣接する高解像度フレームから選択されたピクセルのフレーム間位置に隣接する（垂直に、水平に、または対角線上に）。
たとえば、各高解像度フレームを、ピクセルの行および列を有する行列としてモデル化する場合、そして第１の高解像度フレームの行１、列１（１，１）に位置するピクセルをサンプリングする（すなわち、対応する低解像度フレームに含める）場合、隣接するフレームからサンプリングされるピクセルのうちの１つを、（１，２）、（２，１）または（２，２）に配置してもよい。
使用するダウンサンプリング方式は、好ましくは周期的である。
たとえば、（１，１）に位置するピクセルを、４つおきの時系列高解像度フレーム（たとえば、ＨＲ＿１、ＨＲ＿５、ＨＲ＿９、ＨＲ＿１３等）からサンプリングしてもよい。

複数の高解像度フレームから複数の低解像度フレームを構成した後、ステップ１１０２に示すように、低解像度フレームのサブセットからのピクセルを結合して、高解像度画像を形成してもよい。
一実施形態では、４つの隣接する低解像度フレームの各々からのピクセルを垂直および水平にインターレースすることにより、高解像度画像を形成する。

図１２は、本発明の実施形態による方法１２００を示すフローチャートである。
ステップ１２０１において、第１の高解像度フレームＨＲ＿１から第１の複数のピクセルを抽出することにより、第１の低解像度フレームＬＲ＿１を作成する。
第１の高解像度フレームＨＲ＿１を、ピクセルの第１の複数のブロックとしてモデル化してもよい。
このモデルに基づいて、第１の複数のブロックの各々から１つのピクセルを抽出することにより、第１の低解像度フレームＬＲ＿１を作成してもよい。

ステップ１２０２において、第２の高解像度フレームＨＲ＿２から第２の複数のピクセルを抽出することにより、第２の低解像度フレームＬＲ＿２を作成する。
第２の高解像度フレームＨＲ＿２を、ピクセルの第２の複数のブロックとしてモデル化してもよく、第２の複数のブロックの各々は、第１の複数のブロックの対応するブロックのサイズおよびフレーム間位置それぞれと同一のサイズおよびフレーム間位置を有する。
このモデルに基づいて、第２の複数のブロックの各々から１つのピクセルを抽出することにより、第２の低解像度フレームＬＲ＿２を作成してもよい。
第２の複数のブロックのうちの１つから抽出される各ピクセルは、第１の複数のブロックの対応するブロックから抽出されるピクセルとは異なるフレーム間位置（高解像度フレームＨＲに関して）を有する。

ステップ１２０３において、第３の高解像度フレームＨＲ＿３から第３の複数のピクセルを抽出することにより、第３の低解像度フレームＬＲ＿３を作成する。
第３の高解像度フレームＨＲ＿３を、ピクセルの第３の複数のブロックとしてモデル化してもよく、第３の複数のブロックの各々は、第１及び第２の複数のブロックの対応するブロックのサイズおよびフレーム間位置それぞれと同一のサイズおよびフレーム間位置を有する。
このモデルに基づいて、第３の複数のブロックの各々から１つのピクセルを抽出することにより、第３の低解像度フレームＬＲ＿３を作成してもよい。
第３の複数のブロックのうちの１つから抽出される各ピクセルは、第１及び第２の複数のブロックの対応するブロックから抽出されるピクセルとは異なるフレーム間位置（高解像度フレームＨＲに関して）を有する。

ステップ１２０４において、第４の高解像度フレームＨＲ＿４から第４の複数のピクセルを抽出することにより、第４の低解像度フレームＬＲ＿４を作成する。
第４の高解像度フレームＨＲ＿４を、ピクセルの第４の複数のブロックとしてモデル化してもよく、第４の複数のブロックの各々は、第１、第２及び第３の複数のブロックの対応するブロックのサイズおよびフレーム間位置それぞれと同一のサイズおよびフレーム間位置を有する。
このモデルに基づいて、第４の複数のブロックの各々から１つのピクセルを抽出することにより、第４の低解像度フレームＬＲ＿４を作成してもよい。
第４の複数のブロックのうちの１つから抽出される各ピクセルは、第１、第２及び第３の複数のブロックの対応するブロックから抽出されるピクセルとは異なるフレーム間位置（高解像度フレームＨＲに関して）を有する。

最後に、ステップ１２０５において、低解像度フレームＬＲ＿１、ＬＲ＿２、ＬＲ＿３およびＬＲ＿４を結合することにより、高解像度画像ＨＲ１を作成する。
低解像度フレームＬＲ＿１、ＬＲ＿２、ＬＲ＿３およびＬＲ＿４を、それらからの各ピクセルが、画像ＨＲＩ内において、高解像度フレームＨＲ内のピクセルの元のフレーム間位置と同一のフレーム間位置に配置されるように、結合してもよい。

図１３は、本発明の実施形態によるデジタルカメラ１３００を示すブロック図である。
デジタルカメラ１３００は、画像を取込むフォトセンサ１３０２と、画像を操作するデジタル信号プロセッサＤＳＰ１３１２と、画像を表示する表示領域１３０４と、画像データを格納する記憶装置１３１６と、ファームウェアを格納するメモリ１３０８と、メモリ１３０８に格納されたファームウェアを実行するプロセッサ１３１０と、ユーザ入力を受取るユーザインタフェース（ＵＩ）コントロール１３０６と、画像データを別の装置に出力する１つまたは複数の通信ポート１３２２と、を有する。

各通信ポート１３２２は、たとえば、シリアルポート、パラレルポート、小型コンピュータシステムインタフェース（ＳＣＳＩ）、赤外線ＩＲインタフェース、無線周波数（ＲＦ）インタフェースまたはユニバーサルシリアルバス（ＵＳＢ）インタフェースからなってもよい。
ＵＩコントロール１３０６は、たとえば、ユーザ入力を受取るボタン、ロッカースイッチおよび／またはキーパッド等、物理コントロールを含んでもよい。
さらに、表示領域１３０４は、タッチセンシティブであってもよく、したがってユーザ入力を受取る仮想コントロールを表示してもよい。
デジタルカメラは、任意に、取込まれた画像に関連して記録される音声を受取るマイクロフォン１３１４と、記録された音声を出力するスピーカ１３１８と、を有してもよい。

デジタルカメラが取込んだデジタル画像、ビデオクリップおよび／または音声クリップを、記憶装置１３１６に格納してもよい。
メモリ１３０８を使用して、取込まれた画像を、ＤＳＰ１３１２またはプロセッサ１３１０による操作中に一時的に格納してもよい。
メモリ１３０８は、格納されたデータに対する高速アクセスを提供するための揮発性メモリ（たとえば、ある種のランダムアクセスメモリ（ＲＡＭ））からなってもよい。
一方、記憶装置１３１６は、長期記憶を提供するために適した不揮発性記憶媒体（たとえば、ハードディスクまたは磁気テープ）からなってもよい。

デジタルカメラ１３００の上述したコンポーネントを、たとえば１つまたは複数のバスもしくは他の有線または無線接続からなってもよいローカルインタフェース１３３０を介して、通信可能に連結してもよい。
ローカルインタフェース１３３０は、簡単のために省略するが、たとえばコントローラ、バッファ、ドライバ、中継器および／または受信機等、デジタルカメラ１３００のコンポーネント間のデータ転送および通信を可能にする、追加の要素を含んでもよい。

デジタルカメラ１３００は、動作中、フォトセンサ１３０２を介して高解像度画像データを取込む。
プロセッサ１３１０が上述した方法を使用して高解像度画像データを低解像度画像データに変換する際、その高解像度画像データを一時的にメモリ１３０８に格納する。
プロセッサ１３１０は、メモリ１３０８に含まれるプログラムコードを実行することによりかかる変換を実行する。
そして、低解像度画像データを記憶装置１３１６に格納し、表示領域１３０４を介してビデオストリームとして表示する。
代替的に、高解像度画像データを、特定用途向け集積回路（ＡＳＩＣ）を使用して低解像度画像データに変換してもよい。

ユーザは、ＵＩコントロール１３０６を介して、ある画像（たとえば、表示領域１３０４によって示されるような）をプリントするように要求する入力を提供する場合がある。
かかるユーザ入力に応じて、プロセッサ１３１０は、複数の低解像度画像に対応する画像データを使用して、上述した方法を使用して高解像度画像データを生成する。
そして、高解像度画像データをプリント装置（図示せず）に伝達する。
プリント装置は、スタンドアロンユニットであってもよく、あるいはデジタルカメラ１３００に一体化してもよい。
そして、プリント装置は、高解像度画像データを使用して高解像度画像をプリントする。

また、ユーザは、ＵＩコントロール１３０６を介して、低解像度画像ストリームをコンピュータ１４００（図１４）に転送するように要求する入力を提供する場合もある。
かかるユーザ入力に応じて、プロセッサ１３１０は、通信ポート１３２２を介して記憶装置１３１６からコンピュータ１４００に低解像度画像ストリームを転送する。
コンピュータ１４００を、低解像度画像ストリームを使用して高解像度画像を再構成するように構成する。

図１４は、本発明の実施形態によるコンピュータ１４００を示すブロック図である。
コンピュータ１４００は、たとえば、特に、デスクトップコンピュータ（たとえば、ＩＢＭ互換、Ａｐｐｌｅ互換等）、ノートブックコンピュータ、ワークステーション、ミニコンピュータ、個人情報端末（ＰＤＡ）またはメインフレームコンピュータであってもよい。

概して、ハードウェアアーキテクチャに関し、図１４に示すように、コンピュータ１４００のコンポーネントは、プロセッサ１４０２と、メモリ１４０４と、入出力（Ｉ／Ｏ）インタフェース１４０６と、記憶装置１４０８とを有する。
これらのコンポーネント（６０２、１４０４、１４０６および１４０８）を、たとえば１つまたは複数のバスもしくは他の有線または無線接続からなってもよいローカルインタフェース１４２０を介して通信可能に連結してもよい。
ローカルインタフェース１４２０は、簡単のために省略するが、コントローラ、バッファ（キャッシュ）、ドライバ、中継器および受信機等、通信を可能にする追加の要素を有してもよい。

プロセッサ１４０２は、ソフトウェア、特にメモリ１４０４に格納されたソフトウェアを実行するハードウェア装置である。
プロセッサ１４０２は、任意のカスタムメイドかまたは市販のプロセッサ、中央処理装置（ＣＰＵ）、コンピュータ１４００に関連するいくつかのプロセッサの中の補助プロセッサ、半導体ベースのマイクロプロセッサ（マイクロチップまたはチップセットの形態）、またはソフトウェア命令を実行する概していかなる装置であってもよい。
コンピュータ１４００の動作時、プロセッサ１４０２を、メモリ１４０４内に格納されたソフトウェアを実行し、メモリ１４０４との間でデータを伝達し、概してソフトウェアに準拠したコンピュータ１４００の動作を制御するように、構成する。

Ｉ／Ｏインタフェース１４０６を使用して、たとえばプリンタ、コピー機、キーボード、マウスおよび／またはモニタ等を含む１つまたは複数の周辺装置と通信してもよい。
Ｉ／Ｏインタフェース１４０６は、たとえば、シリアルポート、パラレルポート、小型コンピュータシステムインタフェース（ＳＣＳＩ）、ＩＲインタフェース、ＲＦインタフェースおよび／またはユニバーサルシリアルバス（ＵＳＢ）インタフェースを含んでもよい。

メモリ１４０４は、目下既知であるかまたは後に開発される揮発性および／または不揮発性メモリ素子のいずれか１つまたは組合せを含んでもよい。
たとえば、メモリ１４０４は、特に、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ハードディスク、テープおよび／またはコンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）からなってもよい。
メモリ１４０４は、分散アーキテクチャを有してもよく、その場合、各々のコンポーネントは互いからリモートに配置されるが、プロセッサ１４０２によってアクセスすることが可能である。

記憶装置１４０８を、低解像度フレームに対応する高解像度フレームおよび／または再構成された高解像度画像を格納するために使用することができる。
高解像度フレームおよび／または低解像度フレームを、たとえばデジタルカメラ１３００（図１３）等のデジタル画像形成装置からインポートしてもよい。
記憶装置１４０８は、たとえばハードディスク等の不揮発性メモリからなってもよい。
高解像度フレームを、低解像度フレームに変換する前に記憶装置１４０８からメモリ１４０４に移動させてもよく、その後、低解像度フレームを、記憶装置１４０８に格納しおよび／またはＩ／Ｏインタフェース１４０６のうちの１つを介してモニタ（図示せず）に出力してもよい。
さらに、低解像度フレームを、高解像度画像を再構成するために使用する前に、記憶装置１４０８からメモリ１４０４に移動してもよい。
そして、再構成した高解像度画像を、Ｉ／Ｏインタフェース１４０６を介してモニタおよび／またはプリンタ（図示せず）に出力してもよい。

メモリ１４０４のソフトウェアアプリケーションは、オペレーティングシステム（ＯＳ）１４１０と画像変更アプリケーション１４１２とを含む。
ＯＳ１４１０は、本質的に、他のアプリケーションの実行を制御し、他の機能もあるが特に、スケジューリング、入出力制御、ファイルおよびデータ管理、メモリ管理および／または通信制御を提供する。
画像変更アプリケーション１４１２を使用して、高解像度フレームを対応する低解像度フレームに変換しおよび／または高解像度画像を上述した方法を使用して低解像度フレームから再構成してもよい。
画像変更アプリケーション１４１２は、ソースプログラム、実行可能プログラム（たとえば、オブジェクトコード）、スクリプト、または実行される命令のセットを含む他の任意のエンティティであってもよい。

画像変更アプリケーション１４１２を、コンピュータベースシステムかまたはプロセッサ内蔵システム等、命令実行システム、装置または機器によるかまたはそれに関連して使用されるいかなるコンピュータ読取可能媒体でも実施することができる。
この開示の文脈において、「コンピュータ読取可能媒体」は、命令実行システム、装置または機器によるかまたはそれに関連して使用されるプログラムを格納し、通信し、伝播しまたは移送することができるいかなる手段であってもよい。
コンピュータ読取可能媒体は、たとえば、特に、目下既知であるかまたは後に開発される電子、磁気、光、電磁気、赤外線または半導体のシステム、装置、機器または伝播媒体であってもよい。

高解像度フレームのシーケンスの簡略化した実施例を示すブロック図である。 図１に示す高解像度フレームを使用して構成される低解像度フレームのシーケンスを示すブロック図である。 図２に示す低解像度フレームを使用して構成される高解像度画像を示すブロック図である。 図２に示す低解像度フレームのシーケンスに対する代替実施形態を示すブロック図である。 図４に示す低解像度フレームを使用して構成される高解像度画像ＨＲＩ＿５．１を示すブロック図である。 高解像度フレームのシーケンスの簡略化した実施例を示すブロック図である。 図６に示す高解像度フレームを使用して構成される低解像度フレームのシーケンスを示すブロック図である。 図７に示す低解像度フレームを使用して構成される高解像度画像を示すブロック図である。 図７に示す低解像度フレームのシーケンスに対する代替実施形態を示すブロック図である。 図９に示す低解像度フレームを使用して構成される高解像度画像を示すブロック図である。 画像を構成する方法の実施形態を示すフローチャートである。 画像を構成する方法の実施形態を示すフローチャートである。 本発明の実施形態によるデジタルカメラを示すブロック図である。 本発明の実施形態によるコンピュータを示すブロック図である。

符号の説明

１３０２・・・フォトセンサ、
１３０４・・・表示、
１３０６・・・ＵＩコントロール、
１３０８・・・メモリ、
１３１０・・・プロセッサ、
１３１４・・・マイクロフォン、
１３１６・・・記憶、
１３１８・・・スピーカ、
１３２２・・・通信ポート、
１４００・・・コンピュータ、
１４０２・・・プロセッサ、
１４０４・・・メモリ、
１４１０・・・オペレーティングシステム、
１４１２・・・画像変更アプリケーション、
１４０６・・・入出力インタフェース、
１４０８・・・記憶装置、

Claims (10)

1. 第１の解像度を有する第１の複数の時系列フレーム（ＨＲ＿ｔ）から、該第１の解像度より低い第２の解像度を有する第２の複数の時系列フレーム（ＬＲ＿ｔ）を構成することと、
   該第２の複数の時系列フレーム（ＬＲ＿ｔ）から、前記第２の解像度より高い解像度を有する画像（ＨＲＩ）を構成することと
   を含む方法。
2. コンピュータ（１４００）かまたはデジタルカメラ（１３００）のうちの１つによって実施される
   請求項１に記載の方法。
3. 前記画像（ＨＲＩ）の前記解像度は、前記第１の解像度に等しい
   請求項１に記載の方法。
4. 前記第２の複数の時系列フレーム（ＬＲ＿ｔ）の各々のピクセルの総数は、前記第１の複数の時系列フレーム（ＨＲ＿ｔ）からの対応するフレームにおけるピクセルの総数の１／４に等しい
   請求項１に記載の方法。
5. 前記第２の複数の時系列フレーム（ＬＲ＿ｔ）を使用して前記画像（ＨＲＩ）を構成することは、
   該第２の複数の時系列フレーム（ＬＲ＿ｔ）の各フレームからのピクセルを該第２の複数の時系列フレーム（ＬＲ＿ｔ）の各他のフレームからのピクセルとインターレースすること
   を含む
   請求項５に記載の方法。
6. 複数の各々の時系列フレーム（ＬＲ＿ｔ）に対応する第１の複数のピクセル値を格納するメモリ（１３０８、１４０４）と、
   前記第１の複数のピクセル値を使用して、前記複数の時系列フレーム（ＬＲ＿ｔ）のいずれよりも高い解像度を有する画像（ＨＲＩ）に対応する第２の複数のピクセル値を生成するようにプログラムされたプロセッサ（１３１０、１４０２）と
   を具備するシステム。
7. コンピュータ（１４００）かまたはデジタルカメラ（１３００）のうちの１つからなる
   請求項９に記載のシステム。
8. 前記画像（ＨＲＩ）の前記解像度は、前記複数の時系列フレーム（ＬＲ＿ｔ）のうちの１つの解像度の４倍に等しい
   請求項９に記載のシステム。
9. 前記画像（ＨＲＩ）は、前記複数の時系列フレーム（ＬＲ＿ｔ）の各フレームからのピクセルを該複数の時系列フレーム（ＬＲ＿ｔ）の各他のフレームからのピクセルとインターレースすることによって生成される
   請求項９に記載のシステム。
10. 前記複数の時系列フレーム（ＬＲ＿ｔ）の各々のピクセルの総数は、前記画像（ＨＲＩ）のピクセルの総数の１／４に等しい
    請求項９に記載のシステム。

Images