JP5791241B2 - 画像処理方法、画像処理装置、およびプログラム - Google Patents

Description

本発明は、複数の画像間の動きベクトルを演算する画像処理方法、画像処理装置、およびプログラムに関する。

従来、動画フレーム間の動きベクトルを計算して、フレーム間の位置合わせを行う技術が開示されている。そして、画像に含まれる各画素の動きベクトルを求める方法として、画像の特徴を示す特徴点の動きベクトルを求め、この動きベクトルを画像の各画素に反映させる技術が提案されている。また、特許文献１には、１つの画像に含まれる複数の特徴点間の色の差や、各特徴点に対して仮算出した動きベクトルの差を、特徴点間の相関度とすることが記載されている。そして、その相関度を用いたベクトルスムージングによって特徴点の動きベクトルを取得し、フレーム間の位置合わせを行う。

特許第０３９３５５００号公報

更に、上記の特許文献１に記載の技術では、１つの画像に含まれる複数の特徴点の相関度を動きベクトルの算出に反映させているが、そもそも当該画像に含まれる特徴点と類似する領域が他の画像に含まれているとは限らない。例えば、カメラを移動して撮影する場合など基準画像にあった被写体が比較画像では存在しないときや、対象とする被写体が回転して対応点が隠れるなどが起こるときなど、基準画像の特徴点に対応する点が比較画像から欠落することがある。そのため、フレーム間で画像が大きく異なる場合のフレーム合成では、動きベクトルを定義すること自体ができない特徴点が発生する。従って、上記の特許文献１に記載の技術において当該画像における特徴点の相関度を動きベクトルの算出に反映させたとしても、上記のようなフレーム間で画像が大きく異なる場合のフレーム合成では、精度の良い動きベクトルの精度が低下する場合がある。

本発明は、上記の課題を鑑み、画像の特徴点の動きベクトルを精度良く決定する画像処理方法、画像処理装置、およびプログラムを提供する。

上記課題を解決するために、本発明の画像処理方法は、動画像に含まれる複数のフレームにおける動きベクトルを決定する画像処理方法であって、前記複数のフレームのうちの第１のフレームに含まれるエッジに対応する複数のエッジ特徴点と、エッジに対応するか否かに関わらず当該第１のフレームの隅に設定される設定特徴点とを抽出する抽出ステップと、前記抽出ステップにおいて抽出された前記第１のフレームの前記複数のエッジ特徴点のそれぞれとの一致度に応じて、前記複数のフレームのうちの第２のフレームに含まれる、当該複数のエッジ特徴点のそれぞれに対応する複数の対応点を特定する特定ステップと、前記特定ステップにおいて特定された複数の対応点のそれぞれの前記第２のフレームにおける位置に基づき、前記第１のフレームの前記複数のエッジ特徴点のそれぞれに対応する複数の動きベクトルを仮決定する仮決定ステップと、前記複数のエッジ特徴点に含まれる第１のエッジ特徴点と当該第１のエッジ特徴点に対応する第１の対応点との前記一致度が所定の一致度よりも低い場合、当該第１のエッジ特徴点に対応する動きベクトルを、当該第１のエッジ特徴点とは異なる複数の第２のエッジ特徴点のそれぞれに対して前記仮決定ステップにおいて仮決定された複数の参照動きベクトルを用いて決定する決定ステップとを備え、前記決定ステップでは、前記複数の参照動きベクトルのそれぞれに対応する一致度が高いほど重みが大きくなるように当該複数の参照動きベクトルのそれぞれを重み付けすることにより、前記第１のエッジ特徴点に対して前記仮決定ステップにおいて仮決定された動きベクトルを用いずに当該第１のエッジ特徴点に対応する動きベクトルを決定し、且つ、前記設定特徴点の所定範囲内に存在する少なくとも１つのエッジ特徴点に対応する動きベクトルを用い、当該設定特徴点に対応する仮決定動きベクトルを用いずに当該設定特徴点に対応する動きベクトルを決定することを特徴とする。

本発明によれば、フレームの特徴点に対応する動きベクトルを決定する場合に、他の動きベクトルを用いて、適切な動きベクトルを決定することができる。

画像処理システムのブロック構成の一例を示す図である。 フレーム多重画像作成方法の概要を示す概念図である。 本発明の画像処理のフローチャートを示す図である。 特徴点抽出に用いるフィルタの一例を示す図である。 特徴点と判断する際の画素条件を示す図である。 特徴点を判断した結果を示す図である。 ブロックマッチングに用いる判定エリアを示す図である。 基準画像と比較画像を示す図である。 ブロックマッチングにおける色差と動きベクトル信頼度の関係を示す図である。 基準画像の特徴点と比較画像の対応点から求めた各特徴点における動きベクトルを示す図である。 基準画像の特徴点、比較画像の対応点および動きベクトルを示す図である。 抽出特徴点と追加特徴点で構成される基準画像の領域分割を示す一例を示す図である。 三角形の面積補間による注目画素の動きベクトルの算出方法を示す図である。 別の実施例における基準画像と参照画像示す図である。

以下、本発明の実施の形態について詳細に説明する。

［実施形態１］
図１に本発明で使用する画像処理方法のブロック図を示す。画像処理に使用する装置として、ＰＣを使用すると想定して説明する。ＣＰＵ１０１は、中央演算ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のことであり、他の機能ブロックや装置の制御を行う。ブリッジ部１０２は、ＣＰＵ１０１と他の機能ブロックの間でデータのやり取りを制御する機能を提供している。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３は読み込み専用の不揮発メモリであり、通常はＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）と呼ばれるプログラムが格納されている。ＢＩＯＳは画像処理装置が起動したときに最初に実行されるプログラムであり、二次記憶装置１０５、表示装置１０７、入力装置１０９、出力装置１１０などの周辺機器の基本入出力機能を制御する。ＲＡＭ（ランダムアクセスメモリ）１０４は、高速の読み／書きが可能である。

二次記憶装置１０５は、例えば大容量の記憶が可能なＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）とすることができるが、これに限られない。ＢＩＯＳが実行されると、ＨＤＤ１０５に格納されているＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が実行される。ＯＳはすべてのアプリケーションで利用可能な基本的な機能や、アプリケーションの管理、基本ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のためのインタフェースを提供する。アプリケーションは、ＯＳが提供するＧＵＩの機能などを使用して、各々独自の機能を実現するためのＵＩを提供することができる。ＯＳおよびアプリケーションの実行プログラムや、作業用に使用するデータは、必要に応じてＲＡＭ１０５または二次記憶装置１０５に格納される。

表示制御部１０６は、ＯＳやアプリケーションに対して行われるユーザの操作の結果をＧＵＩの画像データとして生成し、表示装置１０７で表示するための制御を行う。表示装置１０７としては、例えば液晶ディスプレイや、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイを使用することができるが、これに限られない。Ｉ／Ｏ制御部１０８は、複数の入力装置１０９、出力装置１１０とのインタフェースを提供する。代表的なインタフェースとして、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＰＳ／２（Ｐｅｒｓｏｎａｌ Ｓｙｓｔｅｍ／２）などを使用することができる。

入力装置１０９には、キーボード、マウスといったユーザの指示を画像処理装置に入力する装置が含まれる。さらに、デジタルカメラ、ＵＳＢメモリ、ＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ）メモリ、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカードといった記憶機能を有する装置などを接続し、画像データを受け取ることも可能である。出力装置１１０にはプリンターが含まれ、所望の印刷結果を得ることが可能である。本発明を実現する画像補正アプリケーションは、二次記憶装置１０５に格納され、ユーザの操作で起動させることができる。

図２は、本発明の複数のフレーム画像を処理するフレーム多重画像作成方法の概要を示す概念図である。ビデオデータ２０１から指定された範囲内でＮ枚のフレーム２０２を選択して、これらフレーム間の画像の位置関係を推定して多重画像２０５を作成する。なお、図２では、３枚（Ｎ＝３）のフレームが選択されている様子を示しているが、これに限られずシステムに応じて任意の枚数とすることができる。ここで便宜上、ユーザの指定したフレーム２０３を特に基準画像、その近傍にあるフレーム２０４を比較画像と呼ぶ。

図３は、本発明のフレーム多重画像作成の処理のフローチャートである。以下このフローチャートの処理ステップに従って、本実施形態の処理を詳細に説明する。本実施形態では、特徴点を用いて動きベクトルを算出し、フレームを合成する。なお、この図３のフローチャートに示す処理は、ＲＯＭ１０３に格納されているプログラムをＣＰＵ１０１が実行することにより実現できる。

まず、基準画像２０３を解析して特徴点を抽出する（Ｓ３０１）。通常、画像の特徴として比較画像と対応関係を特定しやすいところを特徴点とする。例えば、エッジとエッジが交わる点（建物の窓の４隅などコーナー部分など）や、局所的な特異点などを特徴点とする。本実施例において特徴点は以下のようにして求める。

図４は特徴点抽出に用いるフィルタであり、フィルタサイズは３画素×３画素から構成される。基準画像中の各画素に対してこのフィルタを用いてフィルタ中心位置の解析対象画素４０１と、その周囲８画素４０２との色差を求める。色差とはＲＧＢやＹＣＣ色空間の信号値の距離や、Ｌａｂ色空間上のΔＥ、輝度の差の絶対値から求めることができる。ここでは、ＲＧＢの信号値を用いた色差を用いる。色差は基準画素の信号値をＲｓｔｄ（レッド）、Ｇｓｔｄ（グリーン）、Ｂｓｔｄ（ブルー）、比較画素の信号値をＲｒｅｆ（レッド）、Ｇｒｅｆ（グリーン）、Ｂｒｅｆ（ブルー）、とすると下記の式（１）で求めることができる。
色差＝√（（Ｒｓｔｄ − Ｒｒｅｆ ）＾２ ＋ （Ｇｓｔｄ − Ｇｒｅｆ ）＾２ ＋ （Ｂｓｔｄ − Ｂｒｅｆ ）＾２）） 式（１）
ここで「＾」はべき乗を表す。

図５は特徴点と判断する際の画素条件を示す図である。解析する画素Ａと周囲画素ＢおよびＣとが図５（ａ）〜図５（ｄ）の４つの比較位置関係すべてにおいて予め定めた一定の閾値以上の色差である場合に特徴点と判断する。また、画素Ａと画素Ｂ間、画素Ａと画素Ｃ間の色差のどちらか一方が図５（ａ）〜図５（ｄ）の４つの比較位置関係全てにおいて予め定めた所定の閾値以上である場合においても特徴点と判断することもできる。上記、図４のフィルタを用いることでエッジとエッジとが交わる、いわゆるコーナー部位を判断し、特徴点として抽出することができる。

図６は図４のフィルタを用いて特徴点か否かを判断する例を示す図である。この判断には、フィルタの解析エリア６０１を使用する。図６（ａ）に示す例は、図５を参照して説明した条件を満足しているためコーナー部位と判断され、特徴点として抽出される。一方、図６（ｂ）および図６（ｃ）に示す例では、図５を参照して説明した条件を満足しないため特徴点としては抽出されない。次に抽出された基準画像内の各々の特徴点に対応する、比較画像２０４内の点である対応点をブロックマッチングの手法などを用いて特定する。このとき、比較画像の座標値と基準画像の座標値の差分が動きベクトルとして仮決定される（Ｓ３０２）。動画の場合、カメラを動かすと構図そのものが変化し、さらに、通常は被写体自体も動くので必ずしも基準画像で抽出した特徴点の対応点が、比較画像の同じ座標点に存在するとは限らない。このため、比較画像における対応点の（座標の）特定が必要となる。

次に比較画像の対応点を求める方法の例として、ブロックマッチングの方法について説明する。図７はブロックマッチングに用いる判定エリアを示している。図７においてａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈおよびｉの９画素に対して、基準画像と比較画像における色差を算出する。基準画像と比較画像の各画素間の色差は先に説明した式（１）により求めることができる。

各画素間の色差をａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈおよびｉの９画素分加算することでブロックマッチング判定エリア内の色差すなわち一致度を求めることができる。加算した色差が小さいほど基準画像と比較画像のブロックマッチング判定エリアの一致度が高いことを示す。

図８は基準画像と比較画像を示しおり、図８（ａ）は基準画像、図８（ｂ）は比較画像のそれぞれ対応するエリアを示す図である。エリア８０１は基準画像の特徴点を中心としたブロックマッチング判定エリアを示している。図８（ｂ）の比較画像においてブロックマッチング判定エリアとしてエリア８０２、エリア８０３のように順次特定のエリアを選択する。選択されたエリアについて各画素を中心として基準画像のブロックマッチング判定エリア８０１との色差を判断し、最も色差が低く一致度が高いエリアを求める。この最も色差が低く一致度が高いと判断されたブロックマッチング判定エリアの中心画素が基準画像の特徴点に対応する対応点とする。この基準画像の特徴点とブロックマッチングにより求めた対応点とを結ぶ差分が動きベクトルとなる。対応点についてはあくまでも推定点であるため、ブロックマッチングで求めた色差に基づく一致度に基づいて動きベクトルの信頼度を決定することができる。

次に動きベクトルの信頼度決定（Ｓ３０３）について説明する。ブロックマッチングにおける色差と動きベクトル信頼度との関係は図９のように考えることができる。例えば、図９（ａ）に示すように色差から信頼度を線形関係となるものと仮定しても良いし、図９（ｂ）に示すように色差が大きくなるほど急激に信頼度が低くなる非線形関係で定めても良い。また、図９（ｃ）に示すように所定閾値以上の色差については信頼度を最も高くし、所定閾値以下の場合には信頼度を急激に落としても良い。次に信頼度により動きベクトルのスムージング処理を行う（Ｓ３０４）。

図１０は上述の基準画像の特徴点と比較画像の対応点とから求めた各特徴点における動きベクトルを示している。図１０（ａ）はスムージング処理を行う前の動きベクトルの状態を示している。図１０（ａ）を参照すると、動きベクトル１００２および１００４が周囲の他の動きベクトルのベクトル方向と異なっており、かつ信頼度が低くなっている。予め定めた信頼度よりも低い信頼度を持つ動きベクトルに対しては、所定範囲１００６内にある他の信頼度の高い動きベクトルを参照して加重平均を行うことで、信頼度の低い動きベクトルをスムージングにより補正することができる。

スムージング処理に用いる動きベクトルをＶ１、Ｖ２、Ｖ３、・・・Ｖｎとし、それぞれの信頼度をα１、α２、α３、・・・αｎ とすると、式（２）の加重平均によりスムージング後の動きベクトルＶを求めることができる。
Ｖ＝（α１・Ｖ１＋α２・Ｖ２＋α３・Ｖ３＋・・・＋αｎ・Ｖｎ）／（α１＋α２＋α３＋・・・＋αｎ） 式（２）
また、スムージングを行う動きベクトルは全てではなく、信頼度が所定値以下の場合のみ処理実行させるようにしても良い。

図１０（ｂ）はスムージング処理後の動きベクトルを示しており、周囲と極端に異なる方向を示す動きベクトルが減少していることがわかる。すなわち、本実施形態のスムージング処理の一例により、上述の動きベクトル１００２および１００４は、図１０（ｂ）ではそれぞれ動きベクトル１００７および１００８となる。

このベクトルスムージング処理を行った結果、最終的な動きベクトルを決定することができる（Ｓ３０５）。この処理を行うことで、全体的に破綻が少なく結果的に精度が高まる動きベクトルを決定することが可能となる。次に、基準画像の特徴点で画像の領域分割を行う。このとき、特徴点は任意の場所に出現するため、領域を複数の三角形で分割する（Ｓ３０６）。これは一例としてドローネ三角形分割の手法を利用すれば実現できる。なお、本実施例では画像を三角形の領域に分割する例を示すが、四角形等、他の多角形の領域に分割してもよい。

ここで、すべての画像領域を処理するために、画像の４隅は（特徴点として抽出されていなければ）特徴点として追加すればよい。追加した特徴点に対応する動きベクトルは、比較画像との対応関係で特定してもよいが、もともと特徴点として抽出されておらず、対応関係が特定しにくいため、近傍に存在する少なくともひとつの抽出特徴点の動きベクトルを利用して設定してもよい。

図１２は、抽出特徴点および追加特徴点で構成される基準画像の領域分割を示す一例である。各三角形の頂点１２０１ないし１２０３が特徴点を示している。図１２に示すように、画像の４隅１２１０を特徴点として追加することによって、画像を構成するすべての画素はいずれかの三角形領域に属することが分かる。さらに、分割された三角形領域に基づいて、基準画像の各画素に関して比較画像の対応画素を決定する。図１３は三角形の面積補間による注目画素の動きベクトルの算出方法を示す図である。注目画素１３０１が属する三角形を構成する頂点１３１１ないし１３１３が特徴点を示しており、それぞれに動きベクトルが設定されている。

したがって、注目画素１３０１の動きベクトルは、３つの特徴点１３１１ないし１３１３の動きベクトル（Ｖ１，Ｖ２，Ｖ３）を、注目画素１３０１が三角形を分割する３つの面積（Ｓ１，Ｓ２，Ｓ３）で加重平均して求めればよい（Ｓ３０７）。すなわち、それぞれの動きベクトル要素に、自分自身を特徴点として含まない辺をもつ三角形の面積を重みとして掛け合わせて全面積で割ればよい。

最後に、基準画像の注目画素１３０１の座標に、補間算出された動きベクトル分だけ移動した比較画像の画素値を、基準画像に合成する（Ｓ３０８）。このように、位置関係を合わせて、基準画像と比較画像を合成することで、例えば暗い場所で撮影した動画フレームに対して、ノイズ低減の効果が期待できる。

以上のように、本実施形態によれば、基準画像に含まれる特徴点に対する動きベクトルの信頼度を算出して、その信頼度に応じて、周囲の動きベクトルを参照して当該特徴点の動きベクトルを決定する。これにより、基準画像の特徴点が比較画像に含まれない場合であっても、精度の良い動きベクトルを決定することができる。

なお、特徴点の動きベクトルの信頼度を求めた結果、所定の信頼度よりも低い場合（例えば信頼度がゼロの場合）、当該特徴点に対して仮決定された動きベクトルを参照せずに、周囲の動きベクトルのみを用いて、当該特徴点の動きベクトルを決定してもよい。

また、この図３に示した例では、基準画像から抽出した特徴点と、比較画像の対応点から動きベクトルを仮決定し、特徴点の信頼度に応じて、仮決定した動きベクトルを、他の動きベクトルにより補正する例を示した。しかしながら、これに限らず、例えば比較画像内で対応点を求めた際に、特徴点と一致度が低かった場合には、その特徴点の動きベクトルを決定しなくてもよい。そして、信頼度が高かった特徴点の動きベクトルを求めた後に、その動きベクトルを参照することによって、信頼度が低かった特徴点を決定してもよい。

［実施形態２］
本実施形態は、上述の実施形態１で基準画像の特徴点に対応する比較画像において１つであった対応点が、複数抽出された場合に対応するものである。したがって、以下、対応点が複数抽出された場合の比較画像に対する動きベクトルの仮決定（Ｓ３０２）および動きベクトルの信頼度決定方法（Ｓ３０３）を中心に説明する。図１１は基準画像の特徴点、比較画像の対応点および動きベクトルを示す図である。

図１１は、基準画像の特徴点１１０１に対応して、比較画像内に３つの対応点１１０２、１１０３および１１０４が特定された場合について示している。この場合、対応点１１０２、１１０３および１１０４についての上述のブロックマッチングの色差に基づく一致度は同一またはほぼ同等となっている。

このような場合には、複数の対応点のいずれか一つあるいは複数の対応点の中心位置にある画素、またはブロックマッチング時の色差が一番小さい画素点が対応点とする。そして基準画像の特徴点と比較画像の対応点との差分を動きベクトルとして仮決定する。しかしながら隣接した位置に複数の対応点の候補が存在するということは、その対応点の信頼度が低いことを示していることから、その分、動きベクトルの信頼度を低くする。具体的には、対応点の候補がｎ点存在するときには信頼度を１／ｎとする。あるいは極めて信頼度が低いと判断し、信頼度をゼロとしてしまっても良い。

以上のような処理により、図１１（ａ）に示す特徴点１１０１に対応する対応点は、図１１（ｂ）に示す対応点１１０３と特定され、図１１（ｃ）に示すような動きベクトル１１０５を得ることができる。

以上のようにして、１つの対応点を特定し、動きベクトルおよびその信頼度を決定して、上述の実施形態１のようにフレーム合成処理を行うことにより、複数の対応点が特定された場合の処理を行うことができる。

［実施形態３］
本実施形態では、上述の各実施形態の処理の精度を向上させるための追加の処理を行うものである。すなわち、全画像領域を精度良く処理するために、画像の四隅に特徴点を追加する。また、上述のドローネ三角形分割の手法を用いた補間精度を向上させるために意図して特徴点を追加し、この追加した特徴点について、動きベクトルを仮決定し、および動きベクトルの信頼度を決定する。特に、特徴点抽出により求めた特徴点が画像周囲に存在する場合の動きベクトルの信頼度に関する動きベクトルの仮決定、動きベクトルの信頼度決定方法について説明する。

図１４は、基準画像と比較画像を示す図である。図１４（ａ）は基準画像１４０１を示しており、図１４（ｂ）は比較画像１４０２を示している。基準画像１４０１に対し、比較画像１４０２は撮影時にカメラや被写体が大きく動いたなどの理由で被写体の位置が基準画像１４０１と変化している。特に基準画像四隅に近い部分の画素についてはカメラの移動や被写体の移動などにより比較画像中に対応点が存在しない場合が多々ある。このような場合にも適切な動きベクトルを得られるように特徴点１４０４を処理のために加えるが、特徴点１４０５はもともと特徴点抽出により求めた特徴点である。

図１４（ｃ）において、欠落領域１４０３はカメラが動いたことにより基準画像に存在したが、比較画像では欠落した領域を示している。特徴点１４０４および１４０５に対応する対応点は、欠落領域１４０３に含まれる対応点１４０６および１４０７となる。すなわち特徴点に対応する比較画像中の対応点は存在しないことになる。このような場合を考慮し、もともと予め意図して追加した特徴点は特徴点として抽出されたものではないから信頼度を低く設定する必要がある。すなわち、上述の各実施例のように比較画像の対応点をブロックマッチングで求める際の色差に基づく一致度から信頼度を算出するが、意図して追加した特徴点の対応点については、算出された信頼度よりも低い信頼度を設定する。追加した特徴点の動きベクトルの信頼度はゼロとすることがより好ましい。追加した特徴点から動きベクトルを得る場合は、比較画像内の対応点を用いてもよいが、もともと対応関係が特定しにくいものである。このため、近傍に存在する少なくとも１つの特徴点から得られた動きベクトルをそのまま利用してもよい。

また、上述の例えば実施形態１の方法で抽出された特徴点においても、比較画像において対応点が欠落する可能性を考慮してそのような特徴点の周囲領域の特徴点から得られる動きベクトルの信頼度を低く設定しても良い。たとえば、ブロックマッチングで求められた色差に基づく一致度から算出した信頼度の１／２あるいはゼロに設定する。

このように動きベクトルの信頼度を低くすることでこの特徴点による位置合わせの誤判定を防止することが可能となる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。

Claims (11)

1. 動画像に含まれる複数のフレームにおける動きベクトルを決定する画像処理方法であって、
   前記複数のフレームのうちの第１のフレームに含まれるエッジに対応する複数のエッジ特徴点と、エッジに対応するか否かに関わらず当該第１のフレームの隅に設定される設定特徴点とを抽出する抽出ステップと、
   前記抽出ステップにおいて抽出された前記第１のフレームの前記複数のエッジ特徴点のそれぞれとの一致度に応じて、前記複数のフレームのうちの第２のフレームに含まれる、当該複数のエッジ特徴点のそれぞれに対応する複数の対応点を特定する特定ステップと、
   前記特定ステップにおいて特定された複数の対応点のそれぞれの前記第２のフレームにおける位置に基づき、前記第１のフレームの前記複数のエッジ特徴点のそれぞれに対応する複数の動きベクトルを仮決定する仮決定ステップと、
   前記複数のエッジ特徴点に含まれる第１のエッジ特徴点と当該第１のエッジ特徴点に対応する第１の対応点との前記一致度が所定の一致度よりも低い場合、当該第１のエッジ特徴点に対応する動きベクトルを、当該第１のエッジ特徴点とは異なる複数の第２のエッジ特徴点のそれぞれに対して前記仮決定ステップにおいて仮決定された複数の参照動きベクトルを用いて決定する決定ステップとを備え、
   前記決定ステップでは、前記複数の参照動きベクトルのそれぞれに対応する一致度が高いほど重みが大きくなるように当該複数の参照動きベクトルのそれぞれを重み付けすることにより、前記第１のエッジ特徴点に対して前記仮決定ステップにおいて仮決定された動きベクトルを用いずに当該第１のエッジ特徴点に対応する動きベクトルを決定し、且つ、前記設定特徴点の所定範囲内に存在する少なくとも１つのエッジ特徴点に対応する動きベクトルを用い、当該設定特徴点に対応する仮決定動きベクトルを用いずに当該設定特徴点に対応する動きベクトルを決定することを特徴とする画像処理方法。
2. 前記複数のエッジ特徴点のそれぞれと前記複数の対応点のそれぞれとの一致度に応じて、前記仮決定ステップで仮決定された複数の動きベクトルのそれぞれの信頼度を決定する信頼度決定ステップをさらに備え、
   前記決定ステップでは、前記信頼度が高いほど前記重みが重くなるように前記重み付けを行うことで、前記第１のエッジ特徴点と前記設定特徴点とのそれぞれに対応する動きベクトルを決定することを特徴とする請求項１に記載の画像処理方法。
3. 前記信頼度決定ステップにおいて、１つのエッジ特徴点に対応する対応点の候補が複数存在する場合には、１つのエッジ特徴点に対応する対応点が１つしか存在しない場合に決定される信頼度の値よりも低い値を前記信頼度として決定することを特徴とする請求項２に記載の画像処理方法。
4. 前記抽出ステップにおいて抽出された前記複数のエッジ特徴点に加え、前記第１のフレームの隅に前記設定特徴点を設定する設定ステップをさらに備え、
   前記抽出ステップでは前記設定ステップにおいて設定された設定特徴点を抽出し、前記信頼度決定ステップにおいて、前記設定ステップにおいて設定された前記設定特徴点については、前記抽出ステップにおいて抽出された前記複数のエッジ特徴点のそれぞれと前記対応点との一致度から決定した信頼度の値よりも低い値を前記信頼度として決定することを特徴とする請求項２または３に記載の画像処理方法。
5. 前記信頼度決定ステップにおいて、前記設定特徴点については、当該設定特徴点に対して前記仮決定ステップにおいて仮決定された動きベクトルの前記信頼度として、ゼロを決定することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理方法。
6. 前記決定ステップにおいて前記第１のエッジ特徴点および前記設定特徴点に対して決定された動きベクトルまたは前記仮決定ステップで仮決定された複数の参照動きベクトルに基づき、前記第１のフレームに含まれる、前記第１のエッジ特徴点と前記設定特徴点と前記複数の第２のエッジ特徴点とは異なる画素に対応する動きベクトルを決定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
7. 前記決定ステップにおいて決定された動きベクトルに基づき、前記第１のフレームと前記第２のフレームとの位置合わせを実行する実行ステップをさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理方法。
8. 前記実行ステップにおける前記第１のフレームと前記第２のフレームとの位置合わせの結果に従って、当該第１のフレームと当該第２のフレームとを合成する合成ステップをさらに備えることを特徴とする請求項７に記載の画像処理方法。
9. 前記第１のエッジ特徴点と当該第１のエッジ特徴点に対応する前記第１の対応点との前記一致度が所定の一致度よりも低くない場合、前記決定ステップでは、当該第１のエッジ特徴点に対して前記仮決定ステップにおいて仮決定された動きベクトルを、当該第１のエッジ特徴点に対応する動きベクトルとして決定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理方法。
10. 動画像に含まれる複数のフレームにおける動きベクトルを決定する画像処理装置であって、
    前記複数のフレームのうちの第１のフレームに含まれるエッジに対応する複数のエッジ特徴点と、エッジに対応するか否かに関わらず当該第１のフレームの隅に設定される設定特徴点とを抽出する抽出手段と、
    前記抽出手段により抽出された前記第１のフレームの前記複数のエッジ特徴点のそれぞれとの一致度に応じて、前記複数のフレームのうちの第２のフレームに含まれる、当該複数のエッジ特徴点のそれぞれに対応する複数の対応点を特定する特定手段と、
    前記特定手段により特定された複数の対応点のそれぞれの前記第２のフレームにおける位置に基づき、前記第１のフレームの前記複数のエッジ特徴点のそれぞれに対応する複数の動きベクトルを仮決定する仮決定手段と、
    前記複数のエッジ特徴点に含まれる第１のエッジ特徴点と当該第１のエッジ特徴点に対応する第１の対応点との前記一致度が所定の一致度よりも低い場合、当該第１のエッジ特徴点に対応する動きベクトルを、当該第１のエッジ特徴点とは異なる複数の第２のエッジ特徴点のそれぞれに対して前記仮決定手段により仮決定された複数の参照動きベクトルを用いて決定する決定手段と
    を備え、
    前記決定手段は、前記複数の参照動きベクトルのそれぞれに対応する一致度が高いほど重みが大きくなるように当該複数の参照動きベクトルのそれぞれを重み付けすることにより、前記第１のエッジ特徴点に対して前記仮決定手段により仮決定された動きベクトルを用いずに当該第１のエッジ特徴点に対応する動きベクトルを決定し、且つ、前記設定特徴点の所定範囲内に存在する少なくとも１つのエッジ特徴点に対応する動きベクトルを用い、当該設定特徴点に対応する仮決定動きベクトルを用いずに当該設定特徴点に対応する動きベクトルを決定することを特徴とする画像処理装置。
11. 請求項１乃至９のいずれか１項に記載の画像処理方法をコンピュータに実行させるための、またはコンピュータを請求項１０に記載の画像処理装置が備える各手段として機能させるためのプログラム。

Images