JP4863333B2 - 高分解能静止画像を創出するための方法及び装置 - Google Patents

Description

【０００１】
発明の技術分野
本発明は次のステップ、すなわち低分解能画像の画像列を受け取るステップ、前記低分解能画像の画像列における動きをサブ画素精度で推定するステップ、及び前記低分解能画像の画像列及び前記推定した動きから高分解能静止画像を創出するステップ、を具えている高分解能静止画像を創出する方法に関するものである。本発明はまた、高分解能静止画像を創出するための装置、例えば、電子静止画像カメラにも関係している。
【０００２】
発明の背景
冒頭文節に定義された高分解能静止画像を創出する従来技術の方法は、欧州特許出願明細書第ＥＰ−Ａ−０ ７３１ ６００号に開示されている。この従来技術の方法においては、低分解能画像のうちの一つが基準画像として選択され、且つその基準画像と他の画像の各々一つとの画素の間の相対的な動きがサブ画素精度で推定される。かくして推定した動きを用いて、低分解能画像が高分解能領域に合わせて調整され、且つ高分解能画像を形成するために結合される。相対的な動きが写像変換の形で表現される。
【０００３】
発明の目的及び要約
性能と実際の履行とによって好都合な効果を有する静止画像を創出する方法を提供することが本発明の目的である。
【０００４】
この目的のために、本発明による方法は、画像列に動き補償予測符号化を施し、それにより前記画像列の連続する画像間の動きを表現する動きベクトルを発生するステップ、前記符号化された画像を復号化するステップ、及び前記復号化した画像と前記符号化ステップにおいて発生された動きベクトルとから高分解能画像を創出するステップを具えている。
【０００５】
低分解能画像の画像列からの高分解能画像の創出はサブ画素の動き情報の有効度を頼りにする。（各画像と固定された基準画像との間の動きの代りに）連続する画像の間の動きを基礎として動き補償された予測符号化を使用することが、サブ画素精度を有する動きベクトルが得られる可能性を増大する。この方法の性能はかくして大幅に改善される。本発明はまた動き補償予測符号化された低分解能画像の画像列が、高分解能静止画像の圧縮された表現であると言う利点も有している。従って、その静止画像は効率的に記憶と送信との両方又はいずれか一方をされ得る。その動きベクトルは記憶されるデータの一部分であるから、それでもう一つの推定器を必要とすることなく高分解能静止画像を得ることができる。再生に際して、ユーザが高分解能静止画像の創出か又はもとの低分解能ビデオ画像列の再生を選択できることが別の利点である。
【０００６】
好適には、画像列を符号化するステップは、符号化画像のＩ（ピクチャ）Ｐ（ピクチャ）ＰＰ．．．画像列を発生するように構成されたＭＰＥＧ符号器の使用を含む。高圧縮比を有する費用効果の良いＭＰＥＧ符号器は容易に利用できる。
【０００７】
本発明の一実施例においては、高分解能静止画像が、反復的に、先に創出された画像へ現在復号化した画像を加算することにより創出され、前記先に創出された画像は、現在復号化した画像に関連する動きベクトルに応じた動き補償を施されている。それにより静止画像が単一画像メモリ内に次第に形成されることが達成される。
【０００８】
本発明はまた、動き補償予測符号化された低分解能画像のすでに利用できる（受信されるか又は記録された）画像列、例えば、ＭＰＥＧビットストリームから、高分解能静止画像を創出するためにも用いられ得る。
【０００９】
実施例の記載
図１は高分解能画像を創出する従来技術の方法を図解するための種々の画像を示している。この図においては、画像Ａ₁、Ａ₂及びＡ₃が動いている対象の３個の連続する様相を示している。画像Ｂ₁、Ｂ₂及びＢ₃は低分解能イメージセンサにより発生されるような低分解能グリッド上の対応する画素値を示している。この記載全体を通して、画素は領域０〜１００内の値を有し、種々の画像図面に値０は示されていない。
【００１０】
従来技術においては、動きの総量は固定された基準画像の画素と次の画像の各画素との間で計算される。図１に示された例においては、画像Ｂ₁が基準画像である。この例を単純化するために、対象の全画素が動きの同じ総量を有し、それで単一動きベクトルが各々次の画像に対して得られることが仮定される。従って動きベクトルｍ₁₂は画像Ｂ₁とＢ₂との間の動きの総量を表現している。そのベクトルは値ｍ₁₂＝（１，１／２）を有するように想定されて、右へ１画素及び上側へ１／２画素だけの動きを表している。同様に、動きベクトルｍ₁₃は画像Ｂ₁とＢ₃との間の動きの総量を示している。このベクトルは値ｍ₁₃＝（１１／２，１／２）を有するように想定される。
【００１１】
画像Ｃ₁、Ｃ₂及びＣ₃は高分解能グリッド上の画像Ｂ₁、Ｂ₂及びＢ₃の各自の変形である。それらはアップ−サンプリングにより得られる。動き推定が半画素精度で実行されるこの例においては、高分解能が水平及び垂直方向の双方において低分解能の２倍である。このアップ−サンプリングは４回各画素を反復することにより実行される。
【００１２】
画像Ｄ₁、Ｄ₂及びＤ₃は、それらの動きベクトルに対応する距離だけ画像Ｃ₁、Ｃ₂及びＣ₃を動かし戻すことにより得られる画像である。その高分解能領域における各自の動きベクトルｍ’₁₂及びｍ’₁₃は、分解能強調係数−２により低分解能領域における元の動きベクトルｍ₁₂及びｍ₁₃を乗算することにより得られる。かくして、画像Ｃ₂は左へ２画素及び下側へ１画素シフトされ、且つ画像Ｃ₃は左へ３画素及び下側へ１画素シフトされる。
【００１３】
最後に、画像Ｅは画像Ｄ₁、Ｄ₂及びＤ₃を一緒に加算し、且つ３（画像の数）によりその合計を除算した結果である。見られ得るように、画像Ｅは元の対象の高分解能詳細を示すために始める。もっと別の画像がこの方法で処理されれば処理されるほど、より良い画像になる。
【００１４】
図２は本発明による方法を実行するシステムのブロック線図を示している。このシステムは、イメージセンサ１、動き補償予測符号器２、記憶媒体（又は送信チャネル）３、動き補償予測デコーダー４及び高分解能画像を創出するための処理回路５を具えている。イメージセンサが図１に示された画像Ａ₁、Ａ₂及びＡ₃と対応するイメージＡ_iを受け取って、且つ図１に示された画像Ｂ₁、Ｂ₂及びＢ₃と対応するディジタル化された低分解能画像Ｂ_iを発生する。
【００１５】
動き補償予測符号器２（好適にはフィリップス社の集積回路ＳＡＡ７６５０のような標準ＭＰＥＧ符号器）が、ＭＰＥＧ２符号化標準に従って画像を符号化し且つ圧縮する。その符号器は、減算器２１、加算器２２、フレームメモリ２３、動き推定器２４及び動き補償器２５を具えている。離散余弦変換器、量子化器及び可変長符号器のような、本発明を理解するために本質的でない素子は、省略されてしまった。符号器の動作は図３を参照してわずかに説明されるだろう。この図においては、入力映像Ａ₁、Ａ₂及びＡ₃とそれらのディジタル副本Ｂ₁、Ｂ₂及びＢ₃とは、図１におけるのと同じである。
【００１６】
この画像列の最初の画像Ｂ₁は自立的に符号化される。ＭＰＥＧ符号化においては、そのような画像は通常Ｉ画像（Ｉピクチャ）と呼ばれる。図３においては、画像Ｄ₁が自立的に符号化された画像の画素値を示している。この画像が符号器の出力端子へ加えられ、且つまたフレームメモリ２３内に記憶される。
【００１７】
別の画像Ｂ₂及びＢ₃は予測符号化される。ＭＰＥＧ符号化においては、それらは通常Ｐ画像（Ｐピクチャ）と呼ばれている。これらの画像を符号化するために、動き推定器２４が現在の画像Ｂ_iと記憶された前に符号化された画像Ｂ_i-1との間の動きの総量を計算する。普通は、前記動き推定は１６×１６画素のブロックに基いて実行される。計算された動きベクトルを用いて、動き補償器２５が差出力画像Ｄ_iを形成するように符号化されるべき画像Ｂ_iから減算される予測画像Ｃ_iを発生する。予測映像Ｃ_iと符号化された差Ｄ_iとが加算器２２により加算され、且つフレームメモリ２３内に記憶される。
【００１８】
図３における画像Ｃ₂は画像Ｂ₂を符号化するための動き補償された予測画像である。従来技術におけるように、関連する動きベクトルｍ₁₂は値（１，１／２）を有すると想定される。画像Ｂ₂はかくして図３においてＤ₂として示されている差画像の形で符号化さされる。
【００１９】
同様に、画像Ｃ₃は画像Ｂ₃を符号化するための、動き補償された予測画像である。動きベクトルｍ₂₃は画像Ｂ₂とＢ₃の間の動きの総量の表現であることは注意されたい。これは全動きベクトルが同じ基準画像Ｂ₁に対して計算される従来技術とは著しく違っている。本例においては、動きベクトルｍ₂₃は値（１／２，０）を有している。画像Ｂ₃は今や差画像Ｄ₃の形に符号化される。
【００２０】
再び図２を参照して、動きベクトルｍと一緒に符号化された画像Ｄ_iが記憶媒体３上に記憶されるか、又は送信チャネルを通して伝達される。続いて、低分解能画像の元の画像列が動き補償予測デコーダー４により復号化される。再び、この（ＭＰＥＧ）デコーダーの最も関連する素子のみが示されており、すなわち加算器４１、フレームメモリ４２及び符号器により発生された動きベクトルｍを受け取る動き補償器４３が示されている。
【００２１】
元の低分解能画像を再構成の後に、高分解能静止画像が処理回路５により反復的に創出される。図２に示されたように、この処理回路５は、アップサンプラー５１、乗算器５２、加算器５３、フレームメモリ５４及び動き補償器５５を具えている。
【００２３】
図４は処理回路の動作を図解するために種々の画像を示している。画像Ｂ₁、Ｂ₂及びＢ₃は予測デコーダー４により供給された復号化された低分解能画像である。符号器による圧縮の不備による加工品は別として、それらは図１及び３に示された画像Ｂ₁、Ｂ₂及びＢ₃と対応している。画像Ｅ₁、Ｅ₂及びＥ₃は高分解能領域におけるそれらの変形である。それらは画素予測によるアップサンプラー５１により供給される。
【００２４】
第１反復ステップにおいて、処理回路５が第１高分解能画像Ｇ₁を出力し、且つそれをフレームメモリ５４内へ供給する。第１画像はＩ画像であるから、出力画像Ｇ₁は入力画像Ｅ₁と同じである。
【００２５】
第２反復ステップにおいて、次の高分解能画像Ｅ₂と動き補償された先の画像Ｆ₂とが加算器５３により加算される。動き補償された画像Ｆ₂は、もとの動きベクトルｍ₁₂の２倍である動きベクトルｍ’₁₂＝（２，１）に従って、右へ２画素及び上側へ１画素記憶された画像Ｇ₁をシフトすることにより得られる。画像Ｇ₂はこの反復ステップの結果である。図示された画素値は正規化されており、すなわち今までに処理された画像の数である２により除算されている。見られ得るように、高分解能詳細は垂直方向に現れるように始まる。元の動きベクトルｍ₁₂が垂直方向においてのみサブ画素成分を有するので、水平方向においては詳細はまだ現れない。（加えられる正規化係数無しで）出力画像Ｇ₂がフレームメモリ５４内に記憶される。
【００２６】
第３反復ステップにおいて、次の高分解能画像Ｅ₃と動き補償された先の画像Ｆ₃とが加算される。動き補償された先の画像Ｆ₃は動きベクトルｍ’₂₃＝（１，０）に従って、右へ１画素記憶された画像Ｇ₂をシフトすることにより得られる。画像Ｇ₃はこの反復ステップの結果である。図示された画素値は、今までに処理された画像の数である３による除算の後に得られる。見られ得るように、元の動きベクトルｍ₂₃がこの方向においてサブ画素成分を有するので、高分解能詳細は今や水平方向においてもまた現れ始める。
【００２７】
上記のステップは復号化される画像列において各々別の画像に対して反復される。もっと続くＰ画像がこの方法で処理されればされるほど、より良く出力画像が元の対象に似るようになる。
【００２８】
認識されるように、本発明は符号化局面において得られた動きベクトルもまた静止画像創出局面において用いられると言う特別の利点を提供する。もう一つの動き推定器を持つ必要はない。各画像に対してはメモリもまた必要でない。更にその上、動きベクトルは一定の基準画像よりもむしろ直前の画像に関係する。連続する画像間の動きは比較的小さいので、半画素精度（それは分解能を倍にするために本質的である）を有する動きベクトルを得る可能性は、それ故に従来技術におけるよりも大幅に大きい。
【００２９】
本発明はまた、静止画像が適度の送信あるいは記憶容量を必要とする圧縮された低分解能画像の画像列として送信されるか又は記憶されることを許容する。広く利用できる標準構成要素（ＭＰＥＧ符号器及びデコーダー）が用いられ得て、且つ低分解能画像の画像列が動画ビデオの形で任意に再生され得る。
【００３０】
要約すれば、高分解能静止画像を創出するための方法及び装置が開示されている。低分解能画像の画像列が、好適には符号化された画像のＩＰＰＰ．．．画像列を発生するＭＰＥＧ符号器により、動き補償予測符号化を施される。イメージセンサの動き又はそのシーン内の動きによる、連続する画像間の比較的小さい差が、サブ画素精度を有する動きベクトルにおいて明らかになる。それで高分解能画像が復号化された画像と符号器により発生された動きベクトルとから創出される。
【００３１】
本発明は記憶媒体を有する電子静止画像カメラに特に適用できる。ＭＰＥＧ符号器はデータ圧縮を処理し、且つデコーダーもまた元の動くビデオ画像列の再生を許す。
【００３２】
【図面の簡単な説明】
【図１】図１は高分解能画像を創出する従来技術の方法を図解するための種々の画像を示している。
【図２】図２は本発明による高分解能画像を創出する方法を実行するシステムのブロック線図を示している。
【図３】図３は図２に示されたシステムの動作を図解するための種々の画像を示している。
【図４】図４は図２に示されたシステムの動作を図解するための種々の画像を示している。

Claims (10)

1. ３つ以上の低分解能画像の画像列を受け取るステップ、
   前記３つ以上の低分解能画像の画像列における動きを、水平方向及び垂直方向の両方においてサブ画素精度で推定するステップ、及び、
   前記３つ以上の低分解能画像の画像列及び前記推定した動きから高分解能静止画像を創出するステップ
   を具えている高分解能静止画像を創出する方法において、
   該方法が
   前記３つ以上の低分解能画像の画像列に動き補償予測符号化を施し、それにより前記３つ以上の低分解能画像の画像列の連続する画像間の水平方向及び垂直方向の動きを表現する動きベクトルをサブ画素精度で発生するステップであって、符号化画像のＩＰＰＰ．．．画像列を発生するように構成されたＭＰＥＧ符号器の使用を含み、前記ＩＰＰＰ．．．画像列中の各Ｐ画像を、前記３つ以上の低分解能画像の画像列中の現在画像とその直前の画像との間の動きの量から予測符号化するステップ、
   前記動き補償予測符号化した画像を復号化するステップ、及び、
   前記復号化した画像、及び前記動き補償予測符号化を施すステップにおいて発生した前記動きベクトルから、水平方向及び垂直方向の両方の分解能を増加させた高分解能画像を創出するステップ、
   を具えていることを特徴とする高分解能静止画像を創出する方法。
2. 請求項１記載の方法において、前記高分解能画像を創出するステップが、高分解能領域において反復的に、先に創出された画像に現在復号化した画像を加算することを含み、前記先に創出された画像は、現在復号化した画像に関連する動きベクトルに応じた動き補償を施されていることを特徴とする高分解能静止画像を創出する方法。
3. 請求項１記載の方法において、更に、前記動き補償予測符号化した画像を記憶媒体上に記憶するステップを具えていることを特徴とする高分解能静止画像を創出する方法。
4. 動き補償予測符号化された画像の形で受け取った３つ以上の低分解能画像の画像列、及び前記３つ以上の低分解能画像の画像列の連続する画像間の水平方向及び垂直方向の両方の動きを表現する動きベクトルから高分解能静止画像を創出する方法であって、
   前記動き補償予測符号化された画像を復号化するステップ、及び、
   前記復号化した画像及び前記受け取った動きベクトルから、水平方向及び垂直方向の両方の分解能を増加させた高分解能画像を創出するステップ
   を具え、
   前記動き補償予測符号化された画像列及び前記動きベクトルを、符号化画像のＩＰＰＰ．．．画像列から成るＭＰＥＧビデオビットストリームの形で受け取り、前記ＩＰＰＰ．．．画像列中の各Ｐ画像は、前記３つ以上の低分解能画像の画像列中の現在画像とその直前の画像との間の動きの量から予測符号化されたＰ画像であることを特徴とする高分解能静止画像を創出する方法。
5. 請求項４記載の方法において、前記高分解能画像を創出するステップが、高分解能領域において反復的に、先に創出された画像に現在復号化した画像を加算することを含み、前記先に創出された画像は、前記現在復号化した画像に関連する動きベクトルに応じた動き補償を施されていることを特徴とする高分解能静止画像を創出する方法。
6. ３つ以上の低分解能画像の画像列を受け取るための手段、
   前記３つ以上の低分解能画像の画像列における動きを、水平方向及び垂直方向の両方においてサブ画素精度で推定するための手段、及び、
   前記３つ以上の低分解能画像の画像列及び前記推定した動きから高分解能静止画像を創出するための手段
   を具えている高分解能静止画像を創出するための装置において、
   該装置が更に
   前記３つ以上の低分解能画像の画像列に動き補償予測符号化を施すための符号器であって、前記３つ以上の低分解能画像の画像列の連続する画像間の水平方向及び垂直方向の動きを表現する動きベクトルをサブ画素精度で発生するための動き推定器を含む符号器、
   前記動き補償予測符号化された画像を復号化するためのデコーダー
   を具え、
   前記高分解能静止画像を創出するための手段が、前記符号化された画像及び前記符号器により発生された前記動きベクトルから、水平方向及び垂直方向の両方の分解能を増加させた高分解能画像を創出するように構成され、
   前記符号器が、符号化画像のＩＰＰＰ．．．画像列を発生するように構成されたＭＰＥＧ符号器であり、前記ＩＰＰＰ．．．画像列中の各Ｐ画像を、前記３つ以上の低分解能画像の画像列中の現在画像とその直前の画像との間の動きの量から予測符号化することを特徴とする高分解能静止画像を創出するための装置。
7. 請求項６記載の装置において、前記高分解能静止画像を創出するための手段が、高分解能領域において反復的に、先に創出された画像に現在復号化した画像を加算するための手段を含み、前記先に創出された画像は、前記現在復号化した画像に関連する動きベクトルに応じた動き補償を施されていることを特徴とする高分解能静止画像を創出するための装置。
8. 請求項６記載の装置において、更に、前記動き補償予測符号化された画像を記憶するための記憶媒体を具えていることを特徴とする高分解能静止画像を創出するための装置。
9. ３つ以上の低分解能画像の画像列を、動き補償予測符号化された画像の形で受け取り、前記３つ以上の低分解能画像の画像列の連続する画像間の水平方向及び垂直方向の両方の動きを表現する動きベクトルを受け取るための手段、
   前記動き補償予測符号化された画像を復号化するためのデコーダー、及び、
   前記復号化した画像及び前記受け取った動きベクトルから、水平方向及び垂直方向の両方の分解能を増加させた高分解能画像を創出するための手段
   を具え、
   前記動き補償予測符号化された画像列及び前記動きベクトルを、符号化画像のＩＰＰＰ．．．画像列から成るＭＰＥＧビデオビットストリームの形で受け取り、前記ＩＰＰＰ．．．画像列中の各Ｐ画像は、前記３つ以上の低分解能画像の画像列中の現在画像とその直前の画像との間の動きの量から予測符号化されたＰ画像であることを特徴とする高分解能静止画像を創出するための装置。
10. 請求項８に記載された装置を具え、更に、前記低分解能画像を得るためのイメージセンサを具えていることを特徴とするイメージ記録及び再生装置。

Images