JP3859989B2 - 画像マッチング方法およびその方法を利用可能な画像処理方法と装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、画像の圧縮技術に関する。この発明は特に、画像フレーム間のマッチングを取り、画像を圧縮する画像マッチング方法およびその方法を利用可能な画像処理方法と装置に関する。
【０００２】
【従来の技術】
高精度で映像をデジタル化する技術がハードウエア、ソフトウエアの両面で急速に進歩しており、長時間にわたって動画像を撮影し、再生することが日常的に可能になっている。デジタルビデオカメラで撮影した動画像データをコンピュータに取り込んで、電子メールに添付して送信してコミュニケーションに利用したり、３ＤのＣＧのモデリングやレンダリング、アニメーションに利用するなど、動画像データの利用が広がっている。それに伴い、画像の高品質化がますます望まれるようになり、産業界ではカメラの撮像素子の高密度化、撮像処理の高速化が競って進められている。
【０００３】
【発明が解決しようとする課題】
このように動画像データの品質を向上させるために、画素数と画像フレーム数をともに増やす必要があり、デジタル画像データの大容量化は避けられない。しかしながら、携帯型のカメラに搭載される小型の半導体メモリに画像データを記録することや、撮影した画像をパソコンのハードディスクへの記録したり、インターネットで電子メールなどによって送受信することを考えると、画像データの大容量化は画像データの扱いを困難にし、実用上の記憶媒体の容量限界や通信速度の限界とぶつかることとなり、画像データの利用の促進を難しくする。かかる状況において動画像データを圧縮する技術が技術的にも実用的にもキーファクターとなることは疑いがない。
【０００４】
また、医療の現場では、より精度の高い診察をするために、患者の患部の断面画像を撮影するＣＴやＭＲＩなどの技術が用いられている。患部付近の断面画像は連続的に断面を変えながら多数枚撮影される。診断のため高品質の画像データが必要となっており、この分野でも、上記と同様に、医療機関で保存する患者の診察データが大容量化する問題に対処するため、一連の連続画像データを圧縮する技術が求められている。
【０００５】
本発明はそうした課題に鑑みてなされたものであり、その目的は、動画像データを符号化する技術の提供にある。
【０００６】
本発明の別の目的は、動画像データに限らず、連続した画像データの記録効率の改善に資する画像処理技術の提供にある。
【０００７】
【課題を解決するための手段】
本発明のある態様は、連続する第１から第ｎまでのｎ枚の画像フレームを処理する方法である。この方法は、第１と第２の画像フレーム間、第２と第３の画像フレーム間、・・・、第（ｎ−１）と第ｎの画像フレーム間のマッチングをそれぞれ計算し、それらのフレーム間の対応点情報ファイルをそれぞれ生成する隣接マッチング過程と、前記隣接マッチング過程において生成された（ｎ−１）個のファイルを順次統合することにより、最終的に第１と第ｎの画像フレーム間の対応点情報ファイルを１つ生成する過程とを含む。対応点とは、画像フレーム間で対応づけられる画像上の任意の領域であり、画像の点、点の集合、連続または非連続の特定部位、輪郭やエッジ等の線などを含む。対応点情報ファイルには、このような対応点について画像フレーム間での対応関係が記述され、たとえば「領域」が点の場合は、対応関係にある画像フレームの座標を対にした情報が格納される。
【０００８】
少なくとも１つの画像領域について、第１から第ｎまでの画像フレーム間の軌跡を関数の形で保存する過程をさらに含んでもよい。この軌跡は、画像フレーム間の対応点を順次たどることによって得られ、軌跡を表す関数は、軌跡を近似するＮＵＲＢＳ関数、ベジェ関数などのパラメトリック関数であってもよい。
【０００９】
前記第１と第ｎの画像フレームをキーフレームとし、第１と第ｎの画像フレーム間の対応点情報ファイルとともに保存する過程をさらに含んでもよい。キーフレームと対応点情報ファイルは関連づけて保存されてもよい。前記保存する過程は、前記隣接マッチング過程において良好なマッチングが取れない画像フレームもキーフレームとして保存してもよい。このようなマッチングの取らないキーフレームに対しても前記統合により前記対応点情報ファイルが生成されてもよい。
【００１０】
前記第１と第ｎの画像フレームをキーフレームとし、それらのキーフレームをフレーム内圧縮し、第１と第ｎの画像フレーム間の対応点情報ファイルとともに保存する過程をさらに含んでもよい。フレーム内圧縮には、ＪＰＥＧなどの画像圧縮方法が用いられてもよい。前記対応点情報ファイルを辞書圧縮やHuffman圧縮などにより圧縮して保存してもよい。
【００１１】
本発明の別の態様は、画像処理装置である。この装置は、画像読込部と、マッチング処理部と、一時記憶部と、対応点情報ファイル統合部と、キーフレーム記憶部とを含む。画像読込部は、連続する画像フレームの入力を受けつける。マッチング処理部は、前記連続画像フレームのうち隣接する２つの画像フレーム間のマッチングを順次計算し、それらの画像フレーム間の対応点情報ファイル（以下「隣接フレーム間対応点情報ファイル」ともいう）を生成する。一時記憶部は、順次生成される前記対応点情報ファイルを記憶する。対応点情報ファイル統合部は、前記記憶された対応点情報ファイルを順次統合して、統合の起点および終点となるキーフレーム間の対応点情報ファイル（以下「キーフレーム間対応点情報ファイル」ともいう）を生成する。キーフレーム記憶部は、前記キーフレームおよび前記キーフレーム間の対応点情報ファイルとを関連づけて保存する。キーフレーム以外の画像フレームを以下「中間フレーム」ともいう。
【００１２】
前記連続画像フレームの再生のために、前記キーフレームおよび前記キーフレーム間の対応点情報ファイルをユーザの端末に送信する送信部をさらに含んでもよい。前記キーフレーム記憶部は、前記キーフレームおよび前記キーフレーム間対応点情報ファイルを一時的に記憶し、前記送信部の送信後にはそれらのデータを破棄するようにしてもよい。
【００１３】
少なくとも１つの画像領域について、前記対応点情報ファイルを用いて前記連続画像フレーム間の軌跡を追跡し、前記軌跡を関数データとして取得する領域追跡部をさらに含み、前記キーフレーム記憶部は、前記関数データも保存してもよい。「画像領域」は、画像上の任意の領域であり、画像上の点、点の集合、連続または不連続の特定部位、輪郭やエッジ等の線を含む。領域追跡部は、隣接フレーム間対応点情報ファイルに格納される対応点を順にたどることにより、キーフレーム間の対応点が、中間フレームを移動した軌跡を獲得して関数に変換してもよい。また領域追跡部は、複数のキーフレームにわたって、キーフレーム間対応点情報ファイルに格納される対応点を順にたどり、対応点がキーフレームを移動した軌跡を獲得して関数に変換してもよい。
【００１４】
前記対応点情報統合部は、前記連続画像フレームの隣接する２つの画像フレームのペアについて良好なマッチングが取れていない場合に、前記ペアの先の画像フレームを統合の終点として前記統合の処理を終了し、前記ペアの後の画像フレームを新たな起点として次の統合の処理を開始してもよい。キーフレーム記憶部は、良好なマッチングの取れない画像フレームのペアをキーフレームとして保存してもよい。
【００１５】
本発明の別の態様は、コンピュータにて読み取り可能な記録媒体である。その記録媒体は、連続する画像フレームのうち隣接する２つの画像フレーム間のマッチングを計算し、それらの画像フレーム間の対応点情報ファイルを生成する機能と、前記対応点情報ファイルを順次統合して、統合の起点および終点となるキーフレーム間の対応点情報ファイルを生成する機能と、前記キーフレームおよび前記キーフレーム間の対応点情報ファイルを関連づけて提供する機能とをコンピュータに実行せしめるプログラムを格納してなる。
【００１６】
本発明の別の態様は画像処理方法に関する。この方法は、キーフレーム間の対応点を記述した対応点ファイルを複数取得し、それらをもとに新たな対応点ファイルを生成する。この方法は、対応点ファイルを複数取得し、それらを時間軸方向に統合することにより新たな対応点ファイルを生成してもよい。そうした統合のほか、例えばオブジェクトを縦方向に変化する視点から撮ったキーフレーム間の対応点ファイルと、同様に横方向に変化する視点から撮ったキーフレーム間の対応点ファイルを２軸補間（bilinear interpolation）してブレンディングすることでひとつの対応点ファイルを生成してもよい。また、生成された新たな対応点ファイルをもとに、前記キーフレーム間の中間フレームを補間によって生成する処理をさらに含んでもよい。いずれにしても、複数の対応点ファイルから新たな対応点ファイルが形成される点に本態様の特徴がある。
なお、以上の構成要素の任意の組合せ、本発明をサーバとクライアントを含むシステムとして表現したものもまた、本発明の態様として有効である。
【００１７】
【発明の実施の形態】
図１は、本実施形態の画像処理システムの構成図である。画像処理システムにおいて、画像符号化装置１０とユーザ端末４０とが図示しないインターネットを介して接続される。画像符号化装置１０は、画像読込部１４と、マッチング処理部１６と、対応点情報統合部１８と、領域追跡部２０と、画像送信部２２と、テンポラリデータ記憶部２４と、キーフレームデータ記憶部３０とを有する。ユーザ端末４０は、画像受信部４２と、画像復号部４４と、画像表示部４６とを有する。画像符号化装置１０は、通常のコンピュータとしての機能をもち、その構成は、ハードウエア的には、コンピュータのＣＰＵやメモリをはじめとする素子で実現でき、ソフトウエア的には画像処理機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろな形で実現できる。また、これらの機能ブロックは、ソフトウエアとして記録媒体３８に格納され、ハードディスクにインストールされ、メモリに読み出されてＣＰＵにて処理されてもよい。
【００１８】
画像符号化装置１０の画像読込部１４は、画像データ記憶部１２から連続する画像フレームを読み込み、画像フレームデータ２６としてテンポラリデータ記憶部２４に一時的に記憶する。画像データ記憶部１２は、画像符号化装置１０内に設けられてもよく、通信手段を介して他のサーバに設けられてもよい。マッチング処理部１６は、テンポラリデータ記憶部２４に格納された画像フレームデータ２６を取得し、連続した画像フレームのうち隣接する２つの画像フレーム間のマッチングを順次計算して対応する点を求め、対応関係を記述したフレーム間対応点ファイル２８をテンポラリデータ記憶部２４に記憶する。
【００１９】
対応点情報統合部１８は、テンポラリデータ記憶部２４に記憶された画像フレームデータ２６の１つの画像フレームを起点、他の画像フレームを終点として、フレーム間対応点ファイル２８を参照して、起点と終点の画像フレーム間に存在する中間フレームの対応点を順次統合し、起点と終点の画像フレームの間で対応する点を求める。起点と終点の画像フレームを「キーフレーム」と呼ぶ。対応点情報統合部１８は、キーフレームデータ３２およびキーフレーム間の対応関係を記述したキーフレーム間対応点ファイル３４を関連づけてキーフレームデータ記憶部３０に記憶する。
【００２０】
領域追跡部２０は、フレーム間対応点ファイル２８を用いて対応点を順にたどり、対応点が画像フレーム間で移動する軌跡を求め、ＮＵＲＢＳ関数、ベジェ関数などのパラメトリック関数として取得し、軌跡関数ファイル３６としてキーフレームデータ記憶部３０に記憶する。画像送信部２２は、キーフレームデータ３２とキーフレーム間対応点ファイル３４をユーザ端末４０へ送信する。画像送信部２２は、キーフレームデータ３２と軌跡関数ファイル３６をユーザ端末４０へ送信してもよい。
【００２１】
ユーザ端末４０の画像受信部４２は、キーフレームデータ３２と、キーフレーム間対応点ファイル３４または軌跡関数ファイル３６とを受信する。画像復号部４４は、キーフレーム間対応点ファイル３４または軌跡関数ファイル３６を用いてキーフレームデータ３２から中間フレームを復号する。画像表示部４６は、キーフレームと中間フレームを用いて連続する画像を再現して表示する。
【００２２】
図２は、フレーム間の対応点が順次統合される様子を説明する図である。連続する画像フレームＦ１、Ｆ２、Ｆ３、・・・、Ｆｎにおいて、画像領域Ｐ１、Ｐ２、Ｐ３、・・・、Ｐｎの軌跡が描かれている。マッチング処理部１６は、画像フレームＦ１とＦ２間、Ｆ２とＦ３間、・・・のマッチング処理を順次行う。マッチング処理とは、２つの画像フレーム間の画像領域の対応関係を取得する処理であり、たとえば両者の画像の上の点、特定部位、輪郭やエッジ等の線などの領域の対応関係を検出する。マッチング処理には、本出願人による先の提案に係る特許第２９２７３５０号に開示された、多重解像度特異点フィルタ技術とそれを用いた画像マッチング処理技術を用いてもよい。また他のマッチング技術として、色情報を用いる手法、輝度情報と位置情報を用いるブロックマッチング、輪郭線またはエッジを抽出してその情報を用いる手法、およびこれらの手法の組み合わせを用いてもよい。
【００２３】
マッチング処理部１６は、画像フレームＦ１とＦ２間、Ｆ２とＦ３間、・・・、Ｆｎ−１、Ｆｎ間のマッチング処理により取得した対応関係を、それぞれ対応点ファイルＭ１、Ｍ２、・・・、Ｍｎ−１に格納する。対応点情報統合部１８は、これらの対応点ファイルＭ１、Ｍ２、・・・、Ｍｎ−１を順次参照して、画像フレームＦ１とＦｎの間の対応関係を取得し、キーフレーム間対応点ファイルＫＭに格納する。たとえば、画像フレームＦ１の領域Ｐ１は、画像フレームＦ２では領域Ｐ２に対応しており、画像フレームＦ３では領域Ｐ３に対応している。この対応関係を順次統合し、画像フレームＦ１の領域Ｐ１は、画像フレームＦｎの領域Ｐｎに対応することが検出される。
【００２４】
マッチング処理部１６と対応点情報統合部１８により、隣接しない画像フレームＦ１とＦｎの間の対応関係が最終的に得られる。隣接しない画像フレームＦ１とＦｎの間のマッチング処理を行うと、動画像としての不連続性が大きく、正確な対応関係が得られない問題が生じるが、このように隣接する画像フレーム間の対応関係を順次統合することにより、コマ飛びのある画像フレーム間でも正確な対応関係を取得できる。
【００２５】
図３は、隣接フレーム間の対応関係を順次統合してキーフレーム間の対応関係を生成するマッチング方法のフローチャートである。スタートフレーム番号ｓを１に設定し、統合するフレームの枚数ｎをＮに設定する（Ｓ１０）。フレーム番号の変数ｉにスタートフレーム番号ｓを代入する（Ｓ１２）。画像フレームＦｉを入力する（Ｓ１４）。画像フレームＦｉ＋１を入力する（Ｓ１６）。マッチング処理部１６は、画像フレームＦｉとＦｉ＋１間のマッチング処理を行う（Ｓ１８）。マッチング処理部１６は、マッチングが良好であるかどうか確認し（Ｓ２０）、マッチングが良好である場合（Ｓ２０のＹ）、画像フレームＦｉ、Ｆｉ＋１間の対応点情報ファイルＭｉを作成し、マッチング処理部１６に記憶する（Ｓ２２）。変数ｉを１だけインクリメントし（Ｓ２４）、変数ｉが値ｓ＋ｎ−１より小さいかどうか調べる（Ｓ２６）。変数ｉが値ｓ＋ｎ−１より小さい場合（Ｓ２６のＹ）、処理Ｓ１６に戻る。そうでない場合、すなわちインクリメントされた変数ｉが値ｓ＋ｎ−１に等しくなった場合（Ｓ２６のＮ）、変数ｋに値ｓ＋ｎ−１を代入する（Ｓ２８）。
【００２６】
対応点情報統合部１８は、マッチング処理部１６が作成した対応点情報ファイルＭｓ、Ｍｓ＋１、・・・、Ｍｋ−１をテンポラリデータ記憶部２４から読み込み、それらのファイルを順次統合して、画像フレームＦｓとＦｋ間の対応点情報ファイルＭ（ｓ、ｋ）を作成する（Ｓ３２）。対応点情報統合部１８は、画像フレームＦｓとＦｋをキーフレームデータ３２として格納し、対応点情報ファイルＭ（ｓ、ｋ）をキーフレーム間対応点ファイル３４として格納する。スタートフレーム番号ｓに値ｋ＋１を代入する（Ｓ３４）。停止条件、たとえばスタートフレーム番号が所定の値以上になった場合などを確認し（Ｓ３６）、停止しない場合（Ｓ３６のＮ）は、処理Ｓ１２に戻り、停止する場合（Ｓ３６のＹ）、処理を終了する。
【００２７】
処理Ｓ２０において、マッチングが良好でなかった場合（Ｓ２０のＮ）、変数ｋに変数ｉを代入し（Ｓ３０）、処理Ｓ３２を行う。マッチングが良好でなかった場合、画像フレームＦｓからＦｉまでは連続性のある動画であるが、画像フレームＦｉ＋１からは、たとえばシーンが切り替わるなどにより、不連続な画像となったことを意味する。その場合は、画像フレームＦｓとＦｉをキーフレームとして、画像フレームＦｓからＦｉまでの対応点情報ファイルを統合し、画像フレームＦｉ＋１以降は、画像フレームＦｉ＋１を起点としてマッチング処理と統合処理を行うことになる。
【００２８】
図４は、キーフレームデータとキーフレーム間対応点データが関連づけられた画像データを説明する図である。キーフレームデータＫＦ１とキーフレームデータＫＦ２の間に、それらのキーフレーム間の対応点データＫＭ１が挿入される形で、キーフレームデータ、キーフレーム間対応点データの順に、画像データが格納される。キーフレームデータ記憶部３０は、キーフレームデータ３２とキーフレーム間対応点ファイル３４をこのような形式で格納してもよく、画像送信部２２がユーザ端末４０に画像データを送信する際、このような形式に変換してもよい。また、キーフレームデータはＪＰＥＧなどの画像圧縮方法により、それ自体で圧縮する。またキーフレーム間対応点データについても、文書圧縮方法により圧縮してもよい。
【００２９】
図５は、画像データの復号方法を示すフローチャートである。ユーザ端末４０の画像受信部４２は、画像符号化装置１０の画像送信部２２から送信される画像データを受信し、画像データからキーフレームデータを抽出し（Ｓ４０）、キーフレーム間対応点データを抽出する（Ｓ４２）。画像復号部４４は、キーフレーム間対応点データに基づいてキーフレーム間の中間フレームを復元する（Ｓ４４）。画像表示部４６は、キーフレームと中間フレームにより連続した画像を再現し、表示する（Ｓ４６）。
【００３０】
上記の説明では、キーフレーム間の対応関係が取得できると、中間フレーム間の対応点情報を破棄し、キーフレームデータとキーフレーム間の対応情報ファイルのみをユーザ端末４０に送信したが、中間フレーム間の対応点情報の少なくとも一部を破棄せずにユーザ端末４０に提供するようにしてもよい。これにより連続画像の再現性を高めることができる。また、別の方法として、中間フレーム間の対応点の軌跡を関数として表現して、その関数データをユーザ端末４０に提供するようにしてもよい。
【００３１】
図６は、軌跡関数データの一例を説明する図である。第１フレームの点Ｐ１は、第２フレームでは点Ｐ２に、第３フレームでは点Ｐ３に、・・・、第ｎフレームでは点Ｐｎに対応する。キーフレーム上の対応点である点Ｐ１と点Ｐｎを通り、中間点Ｐ２からＰｎ−１の軌跡を近似する関数をＬとする。関数Ｌは、一例としてNURBS関数、ベジェ（Bezier）関数などのパラメトリック関数である。領域追跡部２０は、画像フレーム間の対応点情報ファイルを参照し、適当なパラメトリック関数をあてはめて軌跡関数データ３７を得る。軌跡を関数表現することにより、たとえば関数の次元ｎを減らすことにより、元の対応点情報ファイルの容量よりも小さい容量で対応点の軌跡を表現することができる。さらに、関数で軌跡を表現することにより、画像フレームが存在しないところでも対応点の位置を表現できるので、コマ数を増やして連続画像を再現することもできる。
【００３２】
図７は、キーフレームの対応点データと軌跡関数データを対応づけて格納した軌跡関数ファイル３６の説明図である。軌跡関数ファイル３６は、キーフレームの対応点データと、その対応点が中間フレームにおいて移動した軌跡を近似する軌跡関数データを対応づけて格納する。ユーザ端末４０は、軌跡関数ファイル３６を用いて、中間フレームを復号し、連続画像を再生することができる。
【００３３】
以上述べたように、本実施形態の画像マッチング方法を用いた画像符号化装置によれば、中間フレームを破棄し、キーフレームとキーフレーム間対応点情報ファイルを保存することにより、画像を圧縮符号化できる。また、キーフレーム間の対応関係は、中間フレーム間のマッチングを繰り返すことにより生成されるため、キーフレーム間を直接マッチング計算するよりも正確な情報が得られる。
【００３４】
以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００３５】
そのような変形例として、上記の説明では動画像を例にマッチング処理を説明したが、本発明は、動画像に限らず、異なる複数の視点から撮影された被写体の画像や、医療現場におけるＣＴスキャンなどによる患部の断面画像にも適用することができる。これらの画像は、空間軸に沿って連続的に展開された画像データであるから、動画像と同様に画像フレームの集まりとみなすことができる。したがって上記の説明と同様、隣接する画像フレーム間の対応点を順次たどり、隣接しない画像フレーム間の画像領域の対応関係を抽出することができる。
【００３６】
【発明の効果】
本発明によれば、連続する画像フレームを符号化してデータ量を削減することができる。
【図面の簡単な説明】
【図１】 実施形態に係る画像処理システムの構成図である。
【図２】 フレーム間の対応点が順次統合される様子を説明する図である。
【図３】 隣接フレーム間の対応関係を順次統合してキーフレーム間の対応関係を生成するマッチング方法のフローチャートである。
【図４】 キーフレームデータとキーフレーム間対応点データが関連づけられた画像データを説明する図である。
【図５】 画像データの復号方法を示すフローチャートである。
【図６】 軌跡関数データの一例を説明する図である。
【図７】 キーフレームの対応点データと軌跡関数データを対応づけて格納した軌跡関数ファイルの説明図である。
【符号の説明】
１０ 画像符号化装置、 １２ 画像データ記憶部、 １４ 画像読込部、 １６ マッチング処理部、 １８ 対応点情報統合部、 ２０ 領域追跡部、 ２２ 画像送信部、２４ テンポラリデータ記憶部、２６ 画像フレームデータ、 ２８ フレーム間対応点ファイル、 ３０ キーフレームデータ記憶部、 ３２ キーフレームデータ、 ３４ キーフレーム間対応点ファイル、 ３６ 軌跡関数ファイル、 ４０ ユーザ端末、 ４２ 画像受信部、 ４４ 画像復号部、 ４６ 画像表示部。

Claims (8)

1. 第１から第ｎまでのｎ枚の画像フレームを処理する方法であって、
   １≦ｉ≦ｎ−１なる整数ｉのそれぞれについて、第ｉと第（ｉ＋１）の画像フレーム間の対応し合う点を検出するための所定のマッチング処理を行い、第ｉと第（ｉ＋１）の画像フレーム間で対応し合う点の座標を対にして記述する第ｉ対応点情報ファイルを生成する隣接マッチング過程と、
   第１の画像フレーム上にとられた注目点の第２の画像フレームにおける対応点を求め、この対応点を新たな注目点としてその第３の画像フレームにおける対応点を求め、以下同様に、前画像フレーム上にとられた注目点の現画像フレームにおける対応点を特定し、これを現画像フレーム上にとられた注目点として次画像フレームにおける対応点を特定する処理を隣接画像フレーム間で順次繰り返し、最終的に、第１の画像フレーム上にとられた前記注目点の第ｎの画像フレームにおける対応点を特定し、第１の画像フレーム上にとられた前記注目点とその第ｎの画像フレームにおける対応点の座標を対にして直接記述する、統合されたひとつの対応点情報ファイルを生成する過程と、
   を含むことを特徴とする画像マッチング方法。
2. 前記第１の画像フレーム上にとられた前記注目点について、第１から第ｎまでの画像フレーム間の軌跡を、時間を入力とし、画像フレームにおける点の座標を出力とする関数の形で保存する過程をさらに含むことを特徴とする請求項１に記載の画像マッチング方法。
3. 前記第１と第ｎの画像フレームをキーフレームとし、前記統合されたひとつの対応点情報ファイルとともに保存する過程をさらに含むことを特徴とする請求項１に記載の画像マッチング方法。
4. 前記第１と第ｎの画像フレームをキーフレームとし、それらのキーフレームをフレーム内圧縮し、前記統合されたひとつの対応点情報ファイルとともに保存する過程をさらに含むことを特徴とする請求項１に記載の画像マッチング方法。
5. 第１から第ｎまでのｎ枚の画像フレームの入力を受けつける画像読込部と、
   １≦ｉ≦ｎ−１なる整数ｉのそれぞれについて、第ｉと第（ｉ＋１）の画像フレーム間の対応し合う点を検出するための所定のマッチング処理を行い、第ｉと第（ｉ＋１）の画像フレーム間で対応し合う点の座標を対にして記述する第ｉ対応点情報ファイルを生成するマッチング処理部と、
   前記生成された第ｉ対応点情報ファイルを記憶する一時記憶部と、
   前記記憶された第ｉ対応点情報ファイルを利用して、第１の画像フレーム上にとられた注目点の第２の画像フレームにおける対応点を求め、この対応点を新たな注目点としてその第３の画像フレームにおける対応点を求め、以下同様に、前画像フレーム上にとられた注目点の現画像フレームにおける対応点を特定し、これを現画像フレーム上にとられた注目点として次画像フレームにおける対応点を特定する処理を隣接画像フレーム間で順次繰り返し、最終的に、第１の画像フレーム上にとられた前記注目点の第ｎの画像フレームにおける対応点を特定し、第１の画像フレーム上にとられた前記注目点とその第ｎの画像フレームにおける対応点の座標を対にして直接記述する、統合されたひとつの対応点情報ファイルを生成する対応点情報ファイル統合部と、
   前記第１と第ｎの画像フレームをキーフレームとし、それらのキーフレームと前記統合されたひとつの対応点情報ファイルとを関連づけて保存するキーフレーム記憶部と、
   を含むことを特徴とする画像処理装置。
6. 第１から第ｎまでのｎ枚の画像フレームの再生のために、前記キーフレームおよび前記統合されたひとつの対応点情報ファイルをユーザの端末に送信する送信部をさらに含むことを特徴とする請求項５に記載の画像処理装置。
7. 前記第１の画像フレーム上にとられた前記注目点について、前記第ｉ対応点情報ファイルを用いて前記第１から第ｎまでの画像フレーム間の軌跡を追跡し、その軌跡を、時間を入力とし、画像フレームにおける点の座標を出力とする関数のデータとして取得する領域追跡部をさらに含み、前記キーフレーム記憶部は、前記関数のデータも保存することを特徴とする請求項５に記載の画像処理装置。
8. 第１から第ｎまでのｎ枚の画像フレームのうち、１≦ｉ≦ｎ−１なる整数ｉのそれぞれについて、第ｉと第（ｉ＋１）の画像フレーム間の対応し合う点を検出するための所定のマッチング処理を行い、第ｉと第（ｉ＋１）の画像フレーム間で対応し合う点の座標を対にして記述する第ｉ対応点情報ファイルを生成する機能と、
   第１の画像フレーム上にとられた注目点の第２の画像フレームにおける対応点を求め、この対応点を新たな注目点としてその第３の画像フレームにおける対応点を求め、以下同様に、前画像フレーム上にとられた注目点の現画像フレームにおける対応点を特定し、これを現画像フレーム上にとられた注目点として次画像フレームにおける対応点を特定する処理を隣接画像フレーム間で順次繰り返し、最終的に、第１の画像フレーム上にとられた前記注目点の第ｎの画像フレームにおける対応点を特定し、第１の画像フレーム上にとられた前記注目点とその第ｎの画像フレームにおける対応点の座標を対にして直接記述する、統合されたひとつの対応点情報ファイルを生成する機能と、
   前記第１と第ｎの画像フレームをキーフレームとし、それらのキーフレームと前記統合されたひとつの対応点情報ファイルとを関連づけて提供する機能と、
   をコンピュータに実行せしめることを特徴とするコンピュータプログラム。

Images