JP3947973B2

JP3947973B2 - 画像処理装置および方法、プログラム、並びに記録媒体

Info

Publication number: JP3947973B2
Application number: JP2003037325A
Authority: JP
Inventors: 義教渡邊
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-02-14
Filing date: 2003-02-14
Publication date: 2007-07-25
Anticipated expiration: 2023-02-14
Also published as: JP2004246723A; US20040252861A1; US7409075B2

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、ユーザが所望のオブジェクトの輪郭を抽出することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
動画像データの中の最初のフレームにおいて、ユーザが所望のオブジェクトを指定して輪郭を入力することにより、その後の連続するフレームにおいてオブジェクトの輪郭を抽出し、所望のオブジェクトを切り出す技術が開発されている（例えば、特許文献１参照）。
【０００３】
図１は、あるフレーム０からフレーム４０までの連続するフレームにより構成される動画像データの表示例を示す図である。図１Ａはフレーム０の画像を示し、であり三角形のオブジェクト１が表示されている。図１Ｂはフレーム１０の画像を示し、オブジェクト１は、フレーム０の状態より若干右方向に移動している。図１Ｃ、図１Ｄ、および図１Ｅは、それぞれフレーム２０、フレーム３０、フレーム４０の画像を示し、オブジェクト１はその位置をより右方向に順次移動している。
【０００４】
図１Ａにおいて、ユーザは、画像処理装置に表示された三角形のオブジェクト１の輪郭の全体を、図示せぬペンでなぞることにより線２で指定する。そして、画像処理装置は、ユーザが線２で指定した輪郭に基づいて、その後の連続するフレームにおいて、オブジェクトをトラッキングし、図１Ｂ乃至図１Ｅの太線で示されるように、各フレームの画像におけるオブジェクトの輪郭を検出する。
【０００５】
また、図１Ｅにおいて、ユーザが、オブジェクト１の輪郭を指定し、画像処理装置は、その前の連続するフレーム図１Ｄ、図１Ｃ、図１Ｂ、図１Ａの順にオブジェクトをトラッキングし、輪郭を検出するという方法も考えられる。
【０００６】
【特許文献１】
特開平１０−２６９３６９号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、従来の技術では、図１Ｂ乃至図１Ｄに線２ａで示されるように、オブジェクトをトラッキングする過程において、オブジェクトの輪郭を誤って検出してしまうおそれがあるという課題があった。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、オブジェクトの輪郭をより正確に検出できるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の画像処理装置は、指定された画像の画像データを取得する画像取得手段と、画像取得手段により取得された画像データに基づいて、画像において、複数の特徴点を設定し、隣接する特徴点間の距離を計算することで画像の中のオブジェクトの背景に対する動きを演算する動き演算手段と、動き演算手段により演算された動きに基づいて、画像においてオブジェクトの輪郭を抽出する抽出領域を判定する領域判定手段と、所定の時刻の画像より時間的に前の第１のフレームの画像、または所定の時刻の画像より時間的に後の第２のフレームの画像を、画像の中から抽出すべきオブジェクトを指定するフレームの画像として提示する画像提示手段と、領域判定手段により判定された抽出領域に入力された輪郭を受け付ける輪郭入力受付手段と、輪郭入力受付手段により入力が受け付けられたオブジェクトの輪郭の線上に設定された所定の追跡点に基づいて、輪郭が入力されていない複数のフレームの画像のオブジェクトを抽出するオブジェクト抽出手段と、動き演算手段により演算された、時間的に前のフレームにおける隣接する特徴点間の距離と、時間的に後のフレームにおける隣接する特徴点間の距離を比較する比較手段とを備え、領域判定手段は、比較手段による比較の結果に基づいて、画像の背景のうちの、オブジェクトにより順次カバーされる第１の領域と、オブジェクトによりカバーされた状態からカバーされていない状態に順次変化する第２の領域を設定し、オブジェクト抽出手段は、第 1 の領域においては、第１のフレームで輪郭入力受付手段によりオブジェクトの輪郭の入力を受け付け、第１のフレームより時間的に後の複数のフレームにおいてオブジェクトを抽出し、第２の領域においては、第２のフレームで輪郭入力受付手段によるオブジェクトの輪郭の入力を受け付け、第２のフレームより時間的に前の複数のフレームにおいてオブジェクトを抽出することを特徴とする。
【００１１】
前記画像提示手段は、領域判定手段により判定された抽出領域を表示することができる。
【００１６】
前記オブジェクト抽出手段により抽出されたオブジェクトを表示するオブジェクト表示手段をさらに備えるようにすることができる。
【００１７】
本発明の画像処理方法は、指定された画像の画像データを取得する画像取得ステップと、画像取得ステップの処理により取得された画像において、複数の特徴点を設定し、隣接する特徴点間の距離を計算することで画像の中のオブジェクトの背景に対する動きを演算する動き演算ステップと、動き演算ステップの処理により演算された動きに基づいて、画像においてオブジェクトの輪郭を抽出する抽出領域を判定する領域判定ステップと、所定の時刻の画像より時間的に前の第１のフレームの画像、または所定の時刻の画像より時間的に後の第２のフレームの画像を、画像の中から抽出すべきオブジェクトを指定するフレームの画像として提示する画像提示ステップと、領域判定ステップの処理により判定された抽出領域に入力された輪郭を受け付ける輪郭入力受付ステップと、輪郭入力受付ステップの処理により入力が受け付けられたオブジェクトの輪郭の線上に設定された所定の追跡点に基づいて、輪郭が入力されていない複数のフレームの画像のオブジェクトを抽出するオブジェクト抽出手段と、動き演算ステップの処理により演算された、時間的に前のフレームにおける隣接する特徴点間の距離と、時間的に後のフレームにおける隣接する特徴点間の距離を比較する比較ステップと含み、領域判定ステップの処理では、比較ステップの処理による比較の結果に基づいて、画像の背景のうちの、オブジェクトにより順次カバーされる第１の領域と、オブジェクトによりカバーされた状態からカバーされていない状態に順次変化する第２の領域を設定し、オブジェクト抽出ステップの処理では、第 1 の領域においては、第１のフレームで輪郭入力受付ステップの処理によるオブジェクトの輪郭の入力を受け付け、第１のフレームより時間的に後の複数のフレームにおいてオブジェクトを抽出し、第２の領域においては、第２のフレームで輪郭入力受付ステップの処理によるオブジェクトの輪郭の入力を受け付け、第２のフレームより時間的に前の複数のフレームにおいてオブジェクトを抽出することを特徴とする。
【００１８】
本発明のプログラムは、指定された画像の画像データの取得を制御する画像取得制御ステップと、画像取得制御ステップの処理により取得された画像において、複数の特徴点を設定し、隣接する特徴点間の距離を計算することで画像の中のオブジェクトの背景に対する動きの演算を制御する動き演算制御ステップと、動き演算制御ステップの処理により演算された動きに基づいて、画像においてオブジェクトの輪郭を抽出する抽出領域の判定を制御する領域判定制御ステップと、所定の時刻の画像より時間的に前の第１のフレームの画像、または所定の時刻の画像より時間的に後の第２のフレームの画像の、画像の中から抽出すべきオブジェクトを指定するフレームの画像としての提示を制御する画像提示制御ステップと、領域判定ステップの処理により判定された抽出領域に入力された輪郭の受け付けを制御する輪郭入力受付制御ステップと、輪郭入力受付制御ステップの処理により入力が受け付けられたオブジェクトの輪郭の線上に設定された所定の追跡点に基づいて、輪郭が入力されていない複数のフレームの画像のオブジェクトの抽出を制御するオブジェクト抽出制御ステップと、動き演算制御ステップの処理により演算された、時間的に前のフレームにおける隣接する特徴点間の距離と、時間的に後のフレームにおける隣接する特徴点間の距離の比較を制御する比較制御ステップとをコンピュータに実行させ、領域判定制御ステップの処理では、比較制御ステップの処理による比較の結果に基づいて、画像の背景のうちの、オブジェクトにより順次カバーされる第１の領域と、オブジェクトによりカバーされた状態からカバーされていない状態に順次変化する第２の領域が設定され、オブジェクト抽出制御ステップの処理では、第 1 の領域においては、第１のフレームで輪郭入力受付ステップの処理によるオブジェクトの輪郭の入力を受け付け、第１のフレームより時間的に後の複数のフレームにおいてオブジェクトが抽出され、第２の領域においては、第２のフレームで輪郭入力受付ステップの処理によるオブジェクトの輪郭の入力を受け付け、第２のフレームより時間的に前の複数のフレームにおいてオブジェクトが抽出されることを特徴とする。
【００１９】
本発明の記録媒体は、指定された画像の画像データの取得を制御する画像取得制御ステップと、画像取得制御ステップの処理により取得された画像において、複数の特徴点を設定し、隣接する特徴点間の距離を計算することで画像の中のオブジェクトの背景に対する動きの演算を制御する動き演算制御ステップと、動き演算制御ステップの処理により演算された動きに基づいて、画像においてオブジェクトの輪郭を抽出する抽出領域の判定を制御する領域判定制御ステップと、所定の時刻の画像より時間的に前の第１のフレームの画像、または所定の時刻の画像より時間的に後の第２のフレームの画像の、画像の中から抽出すべきオブジェクトを指定するフレームの画像としての提示を制御する画像提示制御ステップと、領域判定ステップの処理により判定された抽出領域に入力された輪郭の受け付けを制御する輪郭入力受付制御ステップと、輪郭入力受付制御ステップの処理により入力が受け付けられたオブジェクトの輪郭の線上に設定された所定の追跡点に基づいて、輪郭が入力されていない複数のフレームの画像のオブジェクトの抽出を制御するオブジェクト抽出制御ステップと、動き演算制御ステップの処理により演算された、時間的に前のフレームにおける隣接する特徴点間の距離と、時間的に後のフレームにおける隣接する特徴点間の距離の比較を制御する比較制御ステップとをコンピュータに実行させ、領域判定制御ステップの処理では、比較制御ステップの処理による比較の結果に基づいて、画像の背景のうちの、オブジェクトにより順次カバーされる第１の領域と、オブジェクトによりカバーされた状態からカバーされていない状態に順次変化する第２の領域が設定され、オブジェクト抽出制御ステップの処理では、第 1 の領域においては、第１のフレームで輪郭入力受付ステップの処理によるオブジェクトの輪郭の入力を受け付け、第１のフレームより時間的に後の複数のフレームにおいてオブジェクトが抽出され、第２の領域においては、第２のフレームで輪郭入力受付ステップの処理によるオブジェクトの輪郭の入力を受け付け、第２のフレームより時間的に前の複数のフレームにおいてオブジェクトが抽出されるプログラムが記録されることを特徴とする。
【００２０】
本発明の画像処理装置および方法、並びにプログラムにおいては、指定された画像の画像データを取得する画像取得ステップと、画像取得ステップの処理により取得された画像において、複数の特徴点を設定し、隣接する特徴点間の距離を計算することで画像の中のオブジェクトの背景に対する動きを演算する動き演算ステップと、動き演算ステップの処理により演算された動きに基づいて、画像においてオブジェクトの輪郭を抽出する抽出領域を判定する領域判定ステップと、所定の時刻の画像より時間的に前の第１のフレームの画像、または所定の時刻の画像より時間的に後の第２のフレームの画像を、画像の中から抽出すべきオブジェクトを指定するフレームの画像として提示する画像提示ステップと、領域判定ステップの処理により判定された抽出領域に入力された輪郭を受け付ける輪郭入力受付ステップと、輪郭入力受付ステップの処理により入力が受け付けられたオブジェクトの輪郭の線上に設定された所定の追跡点に基づいて、輪郭が入力されていない複数のフレームの画像のオブジェクトを抽出するオブジェクト抽出手段と、動き演算ステップの処理により演算された、時間的に前のフレームにおける隣接する特徴点間の距離と、時間的に後のフレームにおける隣接する特徴点間の距離を比較する比較ステップと含み、領域判定ステップの処理では、比較ステップの処理による比較の結果に基づいて、画像の背景のうちの、オブジェクトにより順次カバーされる第１の領域と、オブジェクトによりカバーされた状態からカバーされていない状態に順次変化する第２の領域を設定し、オブジェクト抽出ステップの処理では、第 1 の領域においては、第１のフレームで輪郭入力受付ステップの処理によるオブジェクトの輪郭の入力を受け付け、第１のフレームより時間的に後の複数のフレームにおいてオブジェクトを抽出し、第２の領域においては、第２のフレームで輪郭入力受付ステップの処理によるオブジェクトの輪郭の入力を受け付け、第２のフレームより時間的に前の複数のフレームにおいてオブジェクトを抽出することを特徴とする。
【００２１】
【発明の実施の形態】
図２は、本発明を適用した画像処理装置の構成例を表すブロック図である。この構成例においては、画像処理装置５１に、画像を表示する表示部７１、使用者の操作入力を受け付ける入力部７２が設けられている。使用者は入力部７２に配置された図示せぬ操作ボタンを操作することにより、画像データの再生の開始、または後述するオブジェクト抽出処理の開始などを指示する。また、入力部７２には、タッチペン７２−１が設けられており、使用者は、表示部７１に表示された画像の中の所望のオブジェクトの輪郭を、タッチペン７２−１でトレースすることにより、オブジェクトの輪郭の入力を行う。
【００２２】
また、画像処理装置５１には、画像データを蓄積する画像データベース７３、画像の動きを解析する動き解析部７５、使用者が入力したオブジェクトの輪郭に基づいて、オブジェクトを抽出するオブジェクト抽出部７６が設けられている。さらに、オブジェクト抽出部７６により抽出されたオブジェクトのデータを記録するオブジェクトデータベース７４が設けられており、上述した各部は、バス７８により相互に接続され、各部を制御する制御部７７により制御される。
【００２３】
図３は、動き解析部７５の内部の構成例を示すブロック図である。動き解析部７５には、フレーム毎に画像の中の所定の領域における隣接する特徴点間の距離を演算する動き演算部８１、動き演算部の処理結果に基づいて、画像の中のカバードバックグラウンド領域またはアンカバードバックグラウンド領域を判定する領域判定部８２が設けられている。なお、カバードバックグラウンド領域とアンカバードバックグラウンド領域については後述する。
【００２４】
また、使用者が輪郭を入力すべきフレームを検出し、そのフレームの画像において使用者が輪郭を入力すべき部分の表示を制御するフレーム検出部８３、動き演算部８１、領域判定部８２、およびフレーム検出部８３の処理結果を記憶する記憶部８４、およびバス７８との接続を制御するインタフェース部８５が設けられており、動き解析部７５の中の各部は、バス８６を介して相互に接続されている。
【００２５】
次に、図４のフローチャートを参照して、オブジェクト抽出処理について説明する。
【００２６】
ステップＳ１において、制御部７７は、使用者により処理の開始が指示されたか否かを判定し、指示されたと判定されるまで待機する。使用者は、オブジェクト抽出処理の開始を指示するとき、入力部７２を操作して、画像データベース７３に蓄積された動画像データの中から、処理を実行すべき動画像データの種類（例えば動画像データファイルＡ）と、その動画像データの中でオブジェクトの抽出処理を実行すべき部分（例えば、フレーム０（始点）からフレーム５０（終点）まで）を指定して、処理の開始を指示する。
【００２７】
ステップＳ１において、処理の開始が指示されたと判定された場合、ステップＳ２において、制御部７７は、画像データベース７３から指定された始点と終点で規定される範囲の動画像データを読み込む。いまの例の場合、動画像データファイルＡのフレーム０からフレーム５０が読み込まれる。
【００２８】
そして、ステップＳ３に進み、制御部７７は、動き解析部７５に、ステップＳ２において読み込まれた動画像データについて、図１０を参照して後述する動き解析処理を実行させる。これにより、動画像の中で、オブジェクトの背景に対する動きが解析され、使用者が輪郭を入力すべき領域が検出される。このとき、使用者がオブジェクトの輪郭を入力すべき領域を検出するために、カバードバックグラウンド領域とアンカバードバックグラウンド領域が判定される。
【００２９】
図５はカバードバックグラウンドとアンカバードバックグラウンドの例を示す図である。
【００３０】
図５Ａ乃至図５Ｃは、ある動画像データにおいて時間的に連続するフレームＴ（Ｔ＝０，１，２）の画像を示す図である。この画像において、Ｔの値が増えるに従って（時間的に後のフレームになる程）、オブジェクト２１は、背景に対して図中右側に移動していく。そして、オブジェクト２１が図中右側に移動していくことにともなって、オブジェクト２１の背景にあり、隠れていたオブジェクト３１が画像の中に現れる。図５Ａ（フレーム０の画像）においては、オブジェクト３１は、オブジェクト２１の後ろに位置しており、表示されていないが、図５Ｂ（フレーム１の画像）では、オブジェクト２１が右側に移動したことに伴って、オブジェクト３１の左上部が、オブジェクト２１の輪郭線２１Ａの中央左側に表示され、図５Ｃ（フレーム２の画像）では、オブジェクト２１はさらに右側に移動し、オブジェクト３１の左上部がさらに大きく表示されている。
【００３１】
このようにオブジェクトの移動に伴って、今までオブジェクトに隠れていた部分であって、序々に表示される背景をアンカバードバックグラウンドと称する。一般に、このアンカバードバックグラウンドが検出される領域において、画像処理装置により、オブジェクトの輪郭を正確に抽出することは困難である。図５Ａ乃至図５Ｃにおいて、点線２２は、画像処理装置により検出されたオブジェクト２１の輪郭を表す。図５Ａ（フレーム０の画像）においては、点線２２は、使用者により入力されたオブジェクト２１の輪郭でもある。
【００３２】
フレーム０において、使用者により入力されたオブジェクト２１の点線２２に基づいて、画像処理装置は、オブジェクト２１の輪郭を抽出するが、オブジェクト２１の輪郭線２１Ａの近傍に別のオブジェクトが検出されると、画像処理装置は、オブジェクト２１の輪郭を誤って検出するおそれがある。例えば、フレーム１では、オブジェクト２１の背景にある別のオブジェクト３１の左上部が誤ってオブジェクト２１の輪郭として検出されている。そして、フレーム２においては、オブジェクト３１がさらに大きく表示されたことに伴って、検出された輪郭線（点線２２）は、オブジェクト２１の輪郭線２１Ａとさらに大きく異なっている。
【００３３】
このように、アンカバードバックグラウンドが検出される領域において、一旦オブジェクトの輪郭が誤って検出されると、その後に連続するフレームにおいても、オブジェクトの輪郭が誤って検出されてしまう可能性が高い。従って、この領域において、使用者からオブジェクトの輪郭の入力が受け付けられた場合、その後に連続するフレームにおいて、オブジェクトの輪郭が正確に検出されないおそれがある。
【００３４】
図５Ｄ乃至図５Ｆも、やはりある動画像データにおいて時間的に連続するフレームＴ（Ｔ＝０，１，２）の画像を示す図である。この画像において、Ｔの値が増えるに従って（時間的に後のフレームになる程）、オブジェクト２１は、背景に対して図中左側に移動していく。そして、オブジェクト２１が図中左側に移動していくことにともなって、オブジェクト２１の背景にある、別のオブジェクト３１が、次第にオブジェクト２１の後ろに隠れて画像の中から消えていく。図５Ｄ（フレーム０の画像）においては、オブジェクト３１は、オブジェクト２１の後部左に位置しており、大きく表示されているが、図５Ｅ（フレーム１の画像）では、オブジェクト２１が左側に移動したことに伴って、オブジェクト３１の図中右下の部分が、オブジェクト２１の後ろに隠れて、オブジェクト２１の輪郭線２１Ａの中央左側に、オブジェクト３１の左上部が小さく表示されている。図５Ｆ（フレーム２の画像）では、オブジェクト２１はさらに左側に移動し、オブジェクト３１は、オブジェクト２１の後ろに完全に隠れて、表示されていない。
【００３５】
このようにオブジェクトの移動に伴って、オブジェクトに隠されることで、序々に消えていく背景をカバードバックグラウンドと称する。一般に、このカバードバックグラウンドが検出される領域においては、オブジェクトの輪郭を正確に抽出することが比較的容易である。図５Ｄ乃至図５Ｆにおいて、点線２２は、画像処理装置により検出されたオブジェクト２１の輪郭を示す。ただし、図５Ｄ（フレーム０の画像）においては、点線２２は、使用者により入力されたオブジェクト２１の輪郭でもある。
【００３６】
図５Ｄのフレーム０において、使用者により入力された点線２２に基づいて、画像処理装置は、オブジェクト２１の輪郭を抽出するが、図５Ｅのフレーム１において、オブジェクト２１の背景にある別のオブジェクト３１の左上部が誤ってオブジェクト２１の輪郭として検出されている。しかし、図５Ｆのフレーム２においては、オブジェクト３１は、オブジェクト２１の背後に隠れて、消えてしまっているため、検出された輪郭線（点線２２）は、オブジェクト２１の輪郭線２１Ａとほぼ一致している。
【００３７】
このように、カバードバックグラウンドが検出される領域においては、一旦オブジェクトの輪郭が誤って検出されたとしても、その後に連続するフレームにおいて、オブジェクトの輪郭が誤って検出されてしまう可能性が低くなる。従って、このカバードバックグラウンド領域において、使用者からオブジェクトの輪郭の入力を受け付けるようにすれば、その後の連続するフレームにおいて、オブジェクトの輪郭が正確に検出される可能性が高くなる。
【００３８】
また、動画像のフレームを時間的に後（未来）の方向に再生する場合に、アンカバードバックグラウンドとなる背景は、動画像のフレームを時間的に前（過去）の方向に再生する（逆方向に再生する）ことにより、カバードバックグラウンドとなる。例えば、図５Ａ乃至図５Ｃに示される背景は、フレーム０、フレーム１、フレーム２の順で再生すると、アンカバードバックグラウンドとなるが、フレーム２、フレーム１、フレーム０の順に再生すれば、図５Ｄ乃至図５Ｆと同様に、カバードバックグラウンドとなる。
【００３９】
すなわち、カバードバックグラウンドが検出される領域においては、時間的に前のフレームで、使用者によるオブジェクトの輪郭の入力を受け付け、動画像のフレームを未来方向に再生して、オブジェクトの輪郭を抽出し、アンカバードバックグラウンドが検出される領域においては、時間的に後のフレームで、使用者によるオブジェクトの輪郭の入力を受け付け、動画像のフレームを過去方向に再生して、オブジェクトの輪郭を抽出すれば、オブジェクトの輪郭を正確に抽出できる可能性が高くなる。
【００４０】
図４に戻って、ステップＳ４において、制御部７７は、使用者が、輪郭入力すべきフレームの画像を表示部７１に表示し、ステップＳ５において、使用者からの輪郭入力を受け付ける。
【００４１】
図６は動画像の最初のフレームの画像９１と最後のフレームの画像９２を示す図である。この動画像において、前景となる人物（オブジェクト）１１１が、背景１１０に対して、左側に移動している。最初のフレームの画像９１では、背景１１０の中の山１１２は、人物１１１の左側にあるが、人物１１１は、背景１１０に対して左側に移動していくので、最後のフレーム９２においては、背景１１０の中の山１１２は、人物１１１の右側に位置している。
【００４２】
この動画像の場合、上述したように、人物１１１の左側は、カバードバックグラウンドとなり、人物１１１の右側は、アンカバードバックグラウンドとなる。そこで、ステップＳ４において、制御部７７は、図６のフレームの画像９１と９２を表示部７１に表示させる。そして、画像９１においては、人物１１１の左側（図中斜線で示される部分１２１）を、画像９２においては、人物１１１の右側（図中斜線で示される部分１２２）を、例えば、赤くハイライト表示するなどして、使用者の輪郭入力を促す。
【００４３】
そして、ステップＳ５において、使用者は、表示部７１をタッチペン７２−１でトレースすることにより、抽出すべきオブジェクト（人物１１１）の輪郭を入力する。このとき、図７に示されるように、画像９１においては、人物１１１の左側の部分１２１に、太線１３１で示されるように、画像９２においては、人物１１１の右側の部分１２２に、太線１３２で示されるように、それぞれ輪郭が入力される。すなわち、輪郭は人物１１１の全体を囲むように入力されるのではなく、最初のフレームと最後のフレームで、半分ずつ入力される。
【００４４】
ステップＳ６において、制御部７７は、オブジェクト抽出部７６に、カバードバックグラウンド領域において、未来方向に輪郭をトラッキングさせ、ステップＳ７に進み、アンカバードバックグラウンド領域において、過去方向に輪郭をトラッキングさせる。すなわち、図８に示されるように、画像９１に入力された輪郭（太線１３１）に基づいて、未来方向に人物１１１の左側の輪郭が抽出され、画像９２に入力された輪郭（太線１３２）に基づいて、過去方向に人物１１１の右側の輪郭が抽出される。
【００４５】
このときオブジェクトの輪郭は図９に示されるように抽出される。画像１３１は、フレーム（ｔ−１）における人物１１１の輪郭の一部を示す。画像１３２Ａは、フレーム（ｔ−１）より１フレーム後のフレーム（ｔ）における人物１１１の輪郭の一部を示す。画像１３２Ｂは、画像１３２Ａを補正処理した画像を示す。
【００４６】
画像１３１において人物１１１の輪郭線１５１上にトレーシングポイントＰ１（ｔ−１）、Ｐ２（ｔ−１）・・・Ｐｎ（ｔ−１）が設定されており、ブロックマッチングアルゴリズムなどの方法を用いて、画像の動きが検出され、１フレーム後のフレームにおける各トレーシングポイントが追跡される。画像１３２ＡのトレーシングポイントＰ１(t)Ａ、Ｐ２(t)Ａ、・・・Ｐｎ(t)Ａは、追跡の結果得られた、トレーシングポイントＰ１（ｔ−１）、Ｐ２（ｔ−１）・・・Ｐｎ（ｔ−１）に対応する、トレーシングポイントである。
【００４７】
ステップＳ６、Ｓ７では、追跡、抽出するオブジェクトの形状の変化に対応するために、スネークにより、オブジェクトと背景の境界線が抽出される。
スネークはエネルギー関数であり、次式により示される。
【数１】

【数２】

【数３】

Iiは、注目する画素について計算された特徴量のレベルであり、Ｅimageは、注目する画素の周辺における画素の特徴量のレベルの標準偏差であり、Ｅintは、オブジェクトと背景の境界における差分ベクトルの距離の自乗である。
【００４８】
このエネルギー関数Ｅsnakeの値を最小化するようにV(s)＝（ｘ(s)，ｙ(s)）が選択されることにより、オブジェクトと背景の境界線が得られる。
【００４９】
画像１３２Ａにおいて、スネークにより人物１１１と背景の境界線が求められ、画像１３２Ｂに示されるように、その境界線上にトレーシングポイントＰ１(t)Ｂ、Ｐ２(t)Ｂ・・・Ｐｎ(t)Ｂがあらたに設定され、トレーシングポイントＰ１(t)Ｂ、Ｐ２(t)Ｂ・・・Ｐｎ(t)Ｂを結ぶ線が人物１１１の輪郭として抽出される。
【００５０】
なお、この例では、オブジェクトの輪郭の抽出は、ブロックマッチングとスネークにより行っているが、他の方法でオブジェクトの輪郭を抽出してもよい。
【００５１】
また、このようにして抽出されたオブジェクトの画像のデータは、そのオブジェクトを特定する情報などが付加され、必要に応じてオブジェクトデータベース７４に記憶される。
【００５２】
そして、図４のステップＳ８において、制御部７７は、抽出結果を１フレーム毎に表示部７１に表示する。例えば、図８の画像９１をフレーム０の画像とし、画像９２をフレーム５０の画像とすると、制御部７７は、フレーム０、フレーム１、フレーム２・・・フレーム５０の画像を、入力部７２の所定のボタンが押下される都度、順番に表示する。
【００５３】
ステップＳ８において、表示された画像をもとに、使用者は、修正入力を指示することができる。例えば、表示されたフレーム０からフレーム５０までの画像の中で、フレーム３０からフレーム４０において、輪郭が誤って抽出されていると、使用者が判断した場合、使用者は、フレーム３０からフレーム４０を新たな始点と終点として指定して修正入力を指示する。
【００５４】
ステップＳ９において、制御部７７は、使用者から修正入力の指示があったか否かを判定し、修正入力が指示されたと判定された場合、ステップＳ２に戻り、それ以降の処理を繰り返し実行する。この場合、フレーム３０が最初のフレームとされ、フレーム４０が最後のフレームとされ、上述したステップＳ２乃至Ｓ８の処理が実行される。
【００５５】
このようにすることで、使用者は、例えば、図１Ａ乃至図１Ｅの動画像の中で、オブジェクトの輪郭が誤って検出されている画像として、フレーム１０（図１Ｂ）、フレーム２０（図１Ｃ）、フレーム３０（図１Ｄ）などを確認し、オブジェクトの輪郭が誤って検出された最初のフレーム（図１Ｂ）を始点として、オブジェクトの輪郭が誤って検出された最後のフレーム（図１Ｄ）を終点として指定し、修正入力することができる。その結果、オブジェクトの輪郭は、さらに正確に抽出される。
【００５６】
ステップＳ９において、使用者から修正入力の指示がなかったと判定された場合、すなわち、使用者が、修正すべきフレームはないと判断した場合、制御部７７は、ステップＳ１０に進み、例えば、抽出されたオブジェクトの輪郭を白い線で表示するなどして、全体の動画像（この場合、フレーム０からフレーム５０まで）を表示部７１に出力し、表示させる。
【００５７】
このようにして、使用者が所望するオブジェクトが抽出される。
【００５８】
次に図１０を参照して、図４のステップＳ３の動き解析処理について説明する。この処理は、動き解析部７５において実行される。ステップＳ３１において、動き解析部７５の動き演算部８１は、図１１を参照して後述する動き演算処理を実行する。これにより、オブジェクト上に設定されたトレーシングポイントと、背景上に設定されたトレーシングポイント間の距離が演算される。
【００５９】
ステップＳ３２において、動き解析部７５の領域判定部８２は、図１３を参照して後述する領域判定処理を行う。これにより、各フレームにおいて、カバードバックグラウンド領域とアンカバードバックグラウンド領域が設定される。そして、ステップＳ３３において、動き解析部７５のフレーム検出部８３は、図１４を参照して後述するフレーム検出処理を行う。これにより、図４のステップＳ４において、輪郭入力すべきフレームとして表示されるフレームが検出され、そのフレームの画像の中で輪郭入力すべき部分がハイライト表示される。
【００６０】
次に図１１を参照して、図１０のステップＳ３１の動き演算処理について説明する。ステップＳ５１において、動き演算部８１は、０番目のフレームにおいてトレーシングポイントを設定し、ステップＳ５２において、隣接するトレーシングポイント間の距離ｄ(0)xを計算する。
【００６１】
例えば、図１２Ａに示されるように、０番目のフレームの画像１７１において、トレーシングポイントＰａ１乃至Ｐｃ４が任意の位置に設定されている。抽出すべきオブジェクト１９１が表示されているとき、そのうち、３つのトレーシングポイントＰａ１，Ｐａ２、およびＰａ３は、オブジェクト１９１の上部に配置されており、トレーシングポイントＰｂ１乃至Ｐｂ３は、オブジェクト１９１の中央に配置されており、トレーシングポイントＰｃ１乃至Ｐｃ３は、オブジェクト１９１の下部に配置されている。また、トレーシングポイントＰａ０，Ｐｂ０、およびＰｃ０は、オブジェクト１９１の左側の背景に配置され、トレーシングポイントＰａ４，Ｐｂ４、およびＰｃ４は、オブジェクト１９１の右側の背景に配置されている。
【００６２】
そして、トレーシングポイントＰａ１とＰａ０の間の距離ｄ0(0)が計算される。図１２Ａの例では、トレーシングポイントＰｂ０とＰｂ１の間の距離、並びにトレーシングポイントＰｃ０とＰｃ１の間の距離は、トレーシングポイントＰａ１とＰａ０の間の距離ｄ(0)0と等しくとなるよう設定されているが、それらの値が異なる場合には、それぞれ隣接するトレーシングポイント間の距離が、個々に計算される。
【００６３】
さらに、トレーシングポイントＰａ１とＰａ２（Ｐｂ１とＰｂ２、Ｐｃ１とＰｃ２）の距離ｄ(0)１、トレーシングポイントＰａ２とＰａ３（Ｐｂ２とＰｂ３、Ｐｃ２とＰｃ３）の距離ｄ(0)２、およびトレーシングポイントＰａ３とＰａ４（Ｐｂ３とＰｂ４、Ｐｃ３とＰｃ４）の距離ｄ(0)３も同様に計算される。
【００６４】
勿論、図１２Ａに示されるように各トレーシングポイントが均等に配置されている場合には、１つの距離だけが演算される。さらに、より具体的には、トレーシングポイントは動き演算部８１が自分自身で指示した位置に配置されるだけなので、距離の演算といっても、その値を読み取るだけの処理となる。
【００６５】
ステップＳ５３において、動き演算部８１は、計算した結果、すなわち距離ｄ(0)0乃至d(0)3を記憶部８４に記憶させる。
【００６６】
ステップＳ５４において、動き演算部８１は、変数ｎに値１をセットし、ステップＳ５５に進み、ｎ番目のフレームにおけるトレーシングポイントを追跡し、ステップＳ５６において隣接するトレーシングポイント間の距離ｄ(n)xを計算する。
【００６７】
すなわち、図１２Ａの０番目のフレームの画像１７１において設定されたトレーシングポイントＰａ０乃至Ｐｃ４は、次のフレーム（１番目のフレーム）の画像１７２においても、トレーシングポイントＰａ０乃至Ｐｃ４として追跡される。トレーシングポイントの追跡には、ブロックマッチングアルゴリズムなどが用いられる。オブジェクト１９１は図中左方向に移動しているため、トレーシングポイントのうち、オブジェクト１９１上に設定された９個のトレーシングポイントＰａ１乃至Ｐｃ３は、１番目のフレームにおいて、図中左方向に移動する。一方、オブジェクト１９１の左側の背景上に設定された３個のトレーシングポイントＰａ０乃至Ｐｃ０、およびオブジェクト１９１の右側の背景上に設定された３個のトレーシングポイントＰａ４乃至Ｐｃ４は移動しない。
【００６８】
そして、画像１７２においても、隣接するトレーシングポイント間の距離ｄ(1)0，d(1)1，d(1)2，およびｄ(1)3が計算される。
【００６９】
ステップＳ５７において、動き演算部８１は、計算した結果、すなわち距離ｄ(1)0乃至d(1)3を記憶部８４に記憶させる。
【００７０】
ステップＳ５８において、動き演算部８１は、全てのフレームについて隣接するトレーシングポイント間の距離を演算したか否かを判定し、まだ全てのフレームについて演算していないと判定された場合、ステップＳ５９に進み、ｎの値を１だけインクリメントして、ステップＳ５５に戻り、それ以降の処理を繰り返し実行する。
【００７１】
ステップＳ５８において、全てのフレームについて隣接するトレーシングポイント間の距離を演算したと判定された場合、動き演算処理は終了される。
【００７２】
このようにして、各フレームにおいて、隣接するトレーシングポイント間の距離が計算され、記憶される。
【００７３】
次に図１３を参照して、図１０のステップＳ３２の領域判定処理について説明する。ステップＳ７１において、領域判定部８２は、変数ｎの値に０を設定する。ステップＳ７２において、ｎ番目のフレームにおける隣接するトレーシングポイント間の距離ｄ(n)xと、ｎ＋１番目のフレームにおける対応するトレーシングポイント間の距離ｄ(n+1)xの値を記憶部８４から読み出し、それぞれ値の大きさを比較し、ｄ(n)x＞＞ｄ(n+1)xの条件を満たすか否かを判定する。ここで「＞＞」は、左側の値が、右側の値より充分大きいことを示す記号であり、例えば、距離ｄ(n)xと距離ｄ(n+1)xの差が、所定の基準値以上である場合、ｄ(n)x＞＞ｄ(n+1)xの条件を満たすと判定される。
【００７４】
ステップＳ７２において、ｄ(n)x＞＞ｄ(n+1)xの条件を満たすと判定された場合、領域判定部８２は、ステップＳ７５に進み、当該領域をカバードバックグラウンド領域として設定する。
【００７５】
ステップＳ７２において、ｄ(n)x＞＞ｄ(n+1)xの条件を満たさないと判定された場合、ステップＳ７３に進み、領域判定部８２は、ｄ(n)x＜＜ｄ(n+1)xの条件を満たすか否かを判定する。ステップＳ７３において、ｄ(n)x＜＜ｄ(n+1)xの条件を満たすと判定された場合、ステップＳ７４に進み、領域判定部８２は、当該領域をアンカバードバックグラウンド領域として設定する。
【００７６】
例えば、変数ｎの値が０のとき、図１２Ａの０番目（ｎ番目）のフレームの画像１７１におけるトレーシングポイント間の距離ｄ(0)0と１番目（ｎ＋１番目）のフレームの画像１７２における対応するトレーシングポイント間の距離ｄ(1)0が比較され、ｄ(0)0＞＞ｄ(1)0の条件を満たすか否かが判定される。
【００７７】
抽出すべきオブジェクト１９１は、０番目のフレームの画像１７１において、図中ほぼ中央に表示されているが、１番目のフレームの画像１７２においては、図中やや左側に移動している。距離d(0)0とｄ(1)0は、オブジェクト１９１の左側の背景に設定されたトレーシングポイントＰａ０，Ｐｂ０、またはＰｃ０と、オブジェクト１９１の左側の輪郭近傍に設定されたトレーシングポイントＰａ１，Ｐｂ１、またはＰｃ１との間の距離なので、ステップＳ７２において、０番目のフレームのトレーシングポイント間の距離ｄ(0)0は、１番目のフレームにおけるトレーシングポイント間の距離ｄ(1)0より充分大きい（ｄ(0)0＞＞ｄ(1)0の条件を満たす）ものと判定される。
【００７８】
この場合、領域判定部８２は、ステップＳ７５において、トレーシングポイントＰａ０，Ｐｂ０、またはＰｃ０と、トレーシングポイントＰａ１，Ｐｂ１、またはＰｃ１の近傍の領域を図１２Ｂに示されるように、カバードバックグラウンド領域１９２として設定する。
【００７９】
同様に、距離ｄ(0)1と距離ｄ(1)１について、値の大きさが比較され、ｄ(0)1＞＞ｄ(1)1の条件を満たすか否かが判定される。このように、距離ｄ(0)２と距離ｄ(1)２、距離ｄ(0)３と距離ｄ(1)３についても、それぞれの値の大きさが比較され、上述した距離ｄ(0)0と距離ｄ(1)0の場合と同様に条件を満たすか否かが判定される。この例の場合、ｄ(n)x＞＞ｄ(n+1)xの条件を満たすと判定されるのは、距離ｄ(0)0と距離ｄ(0)１を比較した場合のみである。
【００８０】
一方、ステップＳ７３においては、上述したように、ｄ(n)x＜＜ｄ(n+1)xの条件を満たすか否かが判定される。すなわち、距離ｄ(0)0と距離ｄ(1)0について、値の大きさが比較され、ｄ(0)0＜＜ｄ(1)0の条件を満たすか否かが判定される。距離ｄ(0)1と距離ｄ(1)1、距離ｄ(0)２と距離ｄ(1)２、および距離ｄ(0)３と距離ｄ(1)３についても、それぞれの値の大きさが比較され、距離ｄ(0)0と距離ｄ(1)0の場合と同様に条件を満たすか否かが判定される。この例の場合、ｄ(n)x＜＜ｄ(n+1)xの条件を満たすと判定されるのは、ｄ(0)３と距離ｄ(1)３を比較した場合のみである。
【００８１】
すなわち、距離d(0)３とｄ(1)３は、オブジェクト１９１の右側の背景に設定されたトレーシングポイントＰａ４，Ｐｂ４、またはＰｃ４と、オブジェクト１９１の右側の輪郭近傍に設定されたトレーシングポイントＰａ３，Ｐｂ３、またはＰｃ３との間の距離なので、オブジェクト１９１が左へ移動することに伴って距離ｄ(1)３は距離ｄ(0)３より大きくなる。従って、ステップＳ７３において、１番目のフレームのトレーシングポイント間の距離ｄ(1)3は、０番目のフレームにおけるトレーシングポイント間の距離ｄ(0)3より充分大きい（ｄ(0)0＜＜ｄ(1)0の条件を満たす）ものと判定される。
【００８２】
この場合、領域判定部８２は、ステップＳ７４において、トレーシングポイントＰａ３，Ｐｂ３、またはＰｃ３と、トレーシングポイントＰａ４，Ｐｂ４、またはＰｃ４の近傍の領域を、図１２Ｂに示されるように、アンカバードバックグラウンド領域１９３として設定する。
【００８３】
図１３に戻って、ステップＳ７４もしくはステップＳ７５の処理の後、またはステップＳ７３でｄ(n)x＜＜ｄ(n+1)xの条件が満たされないと判定された場合、ステップＳ７６において、領域判定部８２は、設定結果を記憶部８４に記憶させる。ステップＳ７７において、領域判定部８２は、全てのフレームについて処理したか否かを判定し、まだ全てのフレームについて処理していないと判定された場合、ステップＳ７８に進み、ｎの値を１だけインクリメントして、ステップＳ７２に戻り、それ以降の処理を繰り返し実行する。
【００８４】
ステップＳ７７において、全てのフレームについて処理したと判定された場合、領域判定処理は終了される。
【００８５】
このようにして、各フレームにおいて、カバードバックグラウンド領域またはアンカバードバックグラウンド領域の判定が行われ、その判定に応じて領域が設定される。
【００８６】
次に、図１４を参照して図１０のステップＳ３３のフレーム検出処理について説明する。ステップＳ９１において、フレーム検出部８３は、カバードバックグラウンド領域が設定された最初のフレームを検索する。上述したように、カバードバックグラウンド領域においては、時間的に前のフレームで、使用者によるオブジェクトの輪郭の入力を受け付け、動画像のフレームを未来方向に再生して、オブジェクトの輪郭を抽出していくことにより、より正確にオブジェクトの輪郭を抽出することができる。
【００８７】
そこで、ステップＳ９２において、フレーム検出部８３は、カバードバックグラウンド領域が設定された最初のフレームの画像の中のカバードバックグラウンド領域をハイライトさせる。
【００８８】
ステップＳ９３において、フレーム検出部８３は、アンカバードバックグラウンド領域が設定された最後のフレームを検索する。上述したように、アンカバードバックグラウンド領域においては、時間的に後のフレームで、使用者によるオブジェクトの輪郭の入力を受け付け、動画像データのフレームを過去方向に再生して、オブジェクトの輪郭を抽出していくことにより、より正確にオブジェクトの輪郭を抽出することができる。
【００８９】
そこで、ステップＳ９４において、フレーム検出部８３は、アンカバードバックグラウンド領域が設定された最後のフレームの画像の中のアンカバードバックグラウンド領域をハイライトさせる。
【００９０】
この結果、各領域が設定されたフレームの画像が、図４のステップＳ４において、図６に示されるように表示される。
【００９１】
図１５と図１６は、このようにして表示される最初のフレーム（図１５）と最後のフレーム（図１６）の他の表示例を表している。図１５と図１６は、スカーフ２５１をもった女性が、図中左に向かって歩いているところを撮影したフレーム０からフレーム５０で構成される動画像データの中の、最初のフレーム（フレーム０）と最後のフレーム（フレーム５０）の画像を示す。この動画像において、スカーフ２５１をオブジェクトとして抽出するとき、図１５のフレーム０の画像において、カバードバックグラウンド領域となるスカーフ２５１の左側近傍の所定の部分２３１が、例えば赤くハイライトされて表示部７１に表示され、使用者に対して、輪郭の入力が促される。
【００９２】
また、図１６のフレーム５０の画像において、アンカバードバックグラウンド領域となるスカーフ２５１の右側近傍の所定の部分２３２が、例えば赤くハイライトされ表示部７１に表示され、使用者に対して、輪郭の入力が促される。
【００９３】
なお、使用者が輪郭を入力すべき部分２３１と２３２は、赤くハイライトさせるのに限らず、その部分を点滅させたり、その部分の輪郭を構成する線を表示したりすることによって表示し、使用者に入力を促すようにしてもよい。勿論、輪郭入力を禁止する方の領域を表示させ、禁止されていない方の領域に輪郭を入力させるようにしてもよいが、操作性を考慮した場合、図１５と図１６に示されるように、入力すべき領域を表示させるのが好ましい。
【００９４】
この例の場合、使用者は、図１７に示されるように、図１５のハイライト表示された部分２３１の中で、スカーフ２５１の輪郭をタッチペン７２−１でトレースすることにより、太線２６１を入力し、図１８に示されるように、図１６のハイライト表示された部分２３２の中で、スカーフ２５１の輪郭をタッチペン７２−１でトレースすることにより、太線２６２を入力する。
【００９５】
このように、使用者が、抽出すべきオブジェクトの輪郭を入力すべきフレームの画像と、輪郭を入力すべき部分が表示される。従って、オブジェクトをより正確に抽出することが可能となる。
【００９６】
次に、本発明によるオブジェクト抽出の実験結果を、本発明とは異なる２つの方法によるオブジェクトの抽出の実験結果と比較しつつ説明する。ここで比較される本発明とは異なるオブジェクト抽出方法として、輪郭を入力すべき部分を表示せずに、最初のフレーム（フレーム０）において、抽出すべきオブジェクトの輪郭を使用者が目で見て、全周に渡って囲むように入力し、動画像データのフレームを未来方向に再生して、オブジェクトの輪郭を抽出していく方法（以下、方法Ａと称する）と、輪郭を入力すべき部分を表示せずに最後のフレーム（フレーム５０）において、抽出すべきオブジェクトの輪郭を使用者が目で見て、全周に渡って囲むように入力し、動画像データのフレームを過去方向に再生して、オブジェクトの輪郭を抽出していく方法（以下、方法Ｂと称する）を考える。
【００９７】
方法Ａによれば、図１９に示されるように、最初のフレーム（フレーム０）において、スカーフ２５１全体の輪郭をトレースして線２７１を使用者が入力し、方法Ｂによれば、図２０に示されるように、最後のフレーム（フレーム５０）において、スカーフ２５１全体の輪郭をトレースして線２７２を使用者が入力する。本発明によるスカーフ２５１の輪郭の入力は、図１７と図１８を参照して説明した通りである。
【００９８】
図２１は、方法Ａまたは方法Ｂによるオブジェクト抽出の実験結果の評価値と、本発明によるオブジェクト抽出の実験結果の評価値を示すグラフである。図２１の横軸はフレームの番号を示し、縦軸は、オブジェクト抽出結果の評価値を示す。オブジェクト抽出の実験結果の評価値は、フレーム０からフレーム５０の各フレームにおいて、スカーフ２５１の輪郭線を使用者が入力し、自動的に抽出されたオブジェクトの輪郭と比較することにより決定される。
【００９９】
すなわち、図２２に示されるように、使用者により手入力されたオブジェクトの境界線２８１上に、比較ポイントＰ１乃至Ｐ４が設定され、自動的に抽出されたオブジェクトの境界線２８２上にも、比較ポイントＰ１乃至Ｐ４に対応する比較ポイントＰ１Ａ乃至Ｐ４Ａが設定される。それぞれの比較ポイント間の距離が求められ、例えば、比較ポイントＰ２とＰ２Ａ間の距離がｄｎとされ、Ｐ３とＰ３Ａ間の距離がｄｎ＋１とされる。このようにＮ個の比較ポイントが設定されている場合、オブジェクト抽出結果の評価値αは次の式で求められる。
α＝（１／Ｎ）Σｄｎ
【０１００】
ここで、評価値αは、各比較ポイント間の距離の平均値を示すものであり、値が小さいほど、オブジェクトを正確に抽出できていることを示す。
【０１０１】
図２１において、方法Ａによるオブジェクト抽出の実験結果の評価値は線Ａで示され、方法Ｂによるオブジェクト抽出の実験結果の評価値は線Ｂで示され、本発明によるオブジェクト抽出の実験結果の評価値は、線Ｃで示されている。線Ａは、フレーム４０からフレーム５０にかけて、図中上方向に急傾斜しており、評価値の値が大きくなっている。線Ｂは、フレーム５０付近では、評価値の値が小さいものの、フレーム０からフレーム４０にかけて、評価値の値が大きくなっている。
【０１０２】
これに対して、線Ｃは、フレーム０からフレーム５０にかけて、安定して、比較的小さい評価値を示しており、本発明によるオブジェクト抽出の実験結果は、方法Ａまたは方法Ｂと比較して、最初のフレームから最後のフレームにいたるまで、安定して、かつ比較的高い精度でオブジェクトを抽出していることが分かる。
【０１０３】
図２３において、本発明により抽出されたフレーム０の画像におけるスカーフ２５１（オブジェクト）の輪郭を線２９１で示し、図２４において、方法Ｂにより抽出されたフレーム０の画像におけるスカーフ２５１の輪郭を線２９２で示す。
【０１０４】
図２４に示されるように、方法Ｂによる抽出では、矢印３０１付近でスカーフ２５１の輪郭が誤って抽出されている。これに対して、図２３に示されるように本発明による抽出では、目立った誤りはない。
【０１０５】
図２５において、本発明により抽出されたフレーム５０の画像におけるスカーフ２５１（オブジェクト）の輪郭を線２９１で示し、図２６において、方法Ａにより抽出されたフレーム５０の画像におけるスカーフ２５１の輪郭を線２９２で示す。図２６に示されるように、方法Ａによる抽出では、矢印３０２付近でスカーフ２５１の輪郭が誤って抽出されている。これに対して、図２５に示されるように本発明による抽出では、目立った誤りはない。
【０１０６】
図２７において、本発明により抽出されたフレーム４０の画像におけるスカーフ２５１（オブジェクト）の輪郭を線３１１で示し、図２８において、方法Ａにより抽出されたフレーム４０の画像におけるスカーフ２５１の輪郭を線３１２で示す。また、図２９において、方法Ｂにより抽出されたフレーム４０の画像におけるスカーフ２５１の輪郭を線３１３で示す。図２８に示されるように、方法Ａによる抽出では、矢印３２１付近でスカーフ２５１の輪郭が誤って抽出されている。また、図２９に示されるように、方法Ｂによる抽出では、矢印３２２付近でスカーフ２５１の輪郭が誤って抽出されている。これに対して、図２７に示されるように本発明による抽出では、目立った誤りはない。
【０１０７】
このように、最初のフレーム（フレーム０）でカバードバックグラウンド領域にオブジェクトの輪郭を使用者に入力させ、最後のフレーム（フレーム５０）でアンカバードバックグラウンド領域にオブジェクトの輪郭を使用者に入力させれば、使用者が入力するオブジェクトの輪郭の量を増やすことなく、全てのフレームにわたって、オブジェクトを安定して、かつ比較的高い精度で抽出することができる。
【０１０８】
なお、上述した一連の処理をハードウェアで実現するか、ソフトウェアで実現するかは問わない。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、図３０に示されるような、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１０９】
図３０において、CPU（Central Processing Unit）３９１は、ROM（Read Only Memory）３９２に記憶されているプログラム、または記憶部３９８からRAM（Random Access Memory）３９３にロードされたプログラムに従って各種の処理を実行する。RAM３９３にはまた、CPU３９１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１１０】
CPU３９１、ROM３９２、およびRAM３９３は、バス３９４を介して相互に接続されている。このバス３９４にはまた、入出力インタフェース３９５も接続されている。
【０１１１】
入出力インタフェース３９５には、キーボード、マウスなどよりなる入力部３９６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ（表示部）、並びにスピーカなどよりなる出力部３９７、ハードディスクなどより構成される記憶部３９８、モデム、ターミナルアダプタなどより構成される通信部３９９が接続されている。通信部３９９は、インターネットなどのネットワークを介しての通信処理を行う。
【０１１２】
入出力インタフェース３９５にはまた、必要に応じてドライブ４００が接続され、ドライブ２００には、本発明のプログラムが記録された記録媒体が装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３９８にインストールされる。
【０１１３】
記録媒体は、磁気ディスク４２１、光ディスク４２２、光磁気ディスク４２３、或いは半導体メモリ４２４などにより構成される。
【０１１４】
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１５】
【発明の効果】
以上の如く、本発明によれば、オブジェクトを安定して、かつより高い精度で抽出することができる。
【図面の簡単な説明】
【図１】従来のオブジェクト検出方法の例を示す図である。
【図２】本発明を適用した画像処理装置の構成例を示すブロック図である。
【図３】図２の動き解析部の構成例を示すブロック図である。
【図４】オブジェクト抽出処理を説明するフローチャートである。
【図５】カバードバックグラウンドとアンカバードバックグラウンドの例を示す図である。
【図６】使用者が輪郭を入力すべきフレームの画像の表示例を示す図である。
【図７】図６の画像に対する輪郭入力の例を示す図である。
【図８】図７の画像をもとに輪郭抽出が行われた例を示す図である。
【図９】抽出されるオブジェクトの輪郭の一部を拡大した図である。
【図１０】動き解析処理を説明するフローチャートである。
【図１１】動き演算処理を説明するフローチャートである。
【図１２】動き解析処理において設定されるトレーシングポイントの例を示す図である。
【図１３】領域判定処理を説明するフローチャートである。
【図１４】フレーム検出処理を説明するフローチャートである。
【図１５】本発明において、表示される使用者が輪郭入力すべきフレームの画像の表示例を示す図である。
【図１６】本発明において、表示される使用者が輪郭入力すべきフレームの画像の表示例を示す図である。
【図１７】図１５の画像に対して、使用者が輪郭入力するときの表示例を示す図である。
【図１８】図１６の画像に対して、使用者が輪郭入力するときの表示例を示す図である。
【図１９】方法Ａにおいて、表示される使用者が輪郭入力すべきフレームの画像の表示例を示す図である。
【図２０】方法Ｂにおいて、表示される使用者が輪郭入力すべきフレームの画像の表示例を示す図である。
【図２１】本発明によるオブジェクト抽出の実験結果の評価値と、方法Ａまたは方法Ｂによるオブジェクト抽出の実験結果の評価値を比較するグラフである。
【図２２】評価値を算出するための、オブジェクトの境界線における比較ポイントを示す図である。
【図２３】本発明によりオブジェクトが抽出されたフレーム０の画像を示す図である。
【図２４】方法Ｂによりオブジェクトが抽出されたフレーム０の画像を示す図である。
【図２５】本発明によりオブジェクトが抽出されたフレーム５０の画像を示す図である。
【図２６】方法Ａによりオブジェクトが抽出されたフレーム５０の画像を示す図である。
【図２７】本発明によりオブジェクトが抽出されたフレーム４０の画像を示す図である。
【図２８】方法Ａによりオブジェクトが抽出されたフレーム４０の画像を示す図である。
【図２９】方法Ｂによりオブジェクトが抽出されたフレーム４０の画像を示す図である。
【図３０】パーソナルコンピュータの構成例を示す図である。
【符号の説明】
５１画像処理装置，７１表示部，７２入力部，７３画像データベース，７４オブジェクトデータベース，７５動き解析部，７６オブジェクト抽出部７７制御部

Claims

指定された画像の画像データを取得する画像取得手段と、
前記画像取得手段により取得された前記画像データに基づいて、前記画像において、複数の特徴点を設定し、隣接する特徴点間の距離を計算することで前記画像の中の前記オブジェクトの背景に対する動きを演算する動き演算手段と、
前記動き演算手段により演算された前記動きに基づいて、前記画像において前記オブジェクトの輪郭を抽出する抽出領域を判定する領域判定手段と、
所定の時刻の画像より時間的に前の第１のフレームの画像、または所定の時刻の画像より時間的に後の第２のフレームの画像を、前記画像の中から抽出すべき前記オブジェクトを指定するフレームの画像として提示する画像提示手段と、
前記領域判定手段により判定された前記抽出領域に入力された輪郭を受け付ける輪郭入力受付手段と、
前記輪郭入力受付手段により入力が受け付けられた前記オブジェクトの輪郭の線上に設定された所定の追跡点に基づいて、前記輪郭が入力されていない複数のフレームの画像の前記オブジェクトを抽出するオブジェクト抽出手段と、
前記動き演算手段により演算された、時間的に前のフレームにおける隣接する前記特徴点間の距離と、時間的に後のフレームにおける隣接する前記特徴点間の距離を比較する比較手段とを備え、
前記領域判定手段は、
前記比較手段による比較の結果に基づいて、前記画像の背景のうちの、前記オブジェクトにより順次カバーされる第１の領域と、前記オブジェクトによりカバーされた状態からカバーされていない状態に順次変化する第２の領域を設定し、
前記オブジェクト抽出手段は、
前記第 1 の領域においては、前記第１のフレームで前記輪郭入力受付手段により前記オブジェクトの輪郭の入力を受け付け、前記第１のフレームより時間的に後の複数のフレームにおいて前記オブジェクトを抽出し、
前記第２の領域においては、前記第２のフレームで前記輪郭入力受付手段による前記オブジェクトの輪郭の入力を受け付け、前記第２のフレームより時間的に前の複数のフレームにおいて前記オブジェクトを抽出する
ことを特徴とする画像処理装置。
前記画像提示手段は、前記領域判定手段により判定された前記抽出領域を表示する
ことを特徴とする請求項１に記載の画像処理装置。
前記オブジェクト抽出手段により抽出されたオブジェクトを表示するオブジェクト表示手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。
指定された画像の画像データを取得する画像取得ステップと、
前記画像取得ステップの処理により取得された前記画像において、複数の特徴点を設定し、隣接する特徴点間の距離を計算することで前記画像の中の前記オブジェクトの背景に対する動きを演算する動き演算ステップと、
前記動き演算ステップの処理により演算された前記動きに基づいて、前記画像において前記オブジェクトの輪郭を抽出する抽出領域を判定する領域判定ステップと、
所定の時刻の画像より時間的に前の第１のフレームの画像、または所定の時刻の画像より時間的に後の第２のフレームの画像を、前記画像の中から抽出すべき前記オブジェクトを指定するフレームの画像として提示する画像提示ステップと、
前記領域判定ステップの処理により判定された前記抽出領域に入力された輪郭を受け付ける輪郭入力受付ステップと、
前記輪郭入力受付ステップの処理により入力が受け付けられた前記オブジェクトの輪郭の線上に設定された所定の追跡点に基づいて、前記輪郭が入力されていない複数のフレームの画像の前記オブジェクトを抽出するオブジェクト抽出手段と、
前記動き演算ステップの処理により演算された、時間的に前のフレームにおける隣接する前記特徴点間の距離と、時間的に後のフレームにおける隣接する前記特徴点間の距離を比較する比較ステップと含み、
前記領域判定ステップの処理では、
前記比較ステップの処理による比較の結果に基づいて、前記画像の背景のうちの、前記オブジェクトにより順次カバーされる第１の領域と、前記オブジェクトによりカバーされた状態からカバーされていない状態に順次変化する第２の領域を設定し、
前記オブジェクト抽出ステップの処理では、
前記第 1 の領域においては、前記第１のフレームで前記輪郭入力受付ステップの処理による前記オブジェクトの輪郭の入力を受け付け、前記第１のフレームより時間的に後の複数のフレームにおいて前記オブジェクトを抽出し、
前記第２の領域においては、前記第２のフレームで前記輪郭入力受付ステップの処理による前記オブジェクトの輪郭の入力を受け付け、前記第２のフレームより時間的に前の複数のフレームにおいて前記オブジェクトを抽出する
ことを特徴とする画像処理方法。
指定された画像の画像データの取得を制御する画像取得制御ステップと、
前記画像取得制御ステップの処理により取得された前記画像において、複数の特徴点を設定し、隣接する特徴点間の距離を計算することで前記画像の中の前記オブジェクトの背景に対する動きの演算を制御する動き演算制御ステップと、
前記動き演算制御ステップの処理により演算された前記動きに基づいて、前記画像において前記オブジェクトの輪郭を抽出する抽出領域の判定を制御する領域判定制御ステップと、
所定の時刻の画像より時間的に前の第１のフレームの画像、または所定の時刻の画像より時間的に後の第２のフレームの画像の、前記画像の中から抽出すべき前記オブジェクトを指定するフレームの画像としての提示を制御する画像提示制御ステップと、
前記領域判定ステップの処理により判定された前記抽出領域に入力された輪郭の受け付けを制御する輪郭入力受付制御ステップと、
前記輪郭入力受付制御ステップの処理により入力が受け付けられた前記オブジェクトの輪郭の線上に設定された所定の追跡点に基づいて、前記輪郭が入力されていない複数のフレームの画像の前記オブジェクトの抽出を制御するオブジェクト抽出制御ステップと、
前記動き演算制御ステップの処理により演算された、時間的に前のフレームにおける隣接する前記特徴点間の距離と、時間的に後のフレームにおける隣接する前記特徴点間の距離の比較を制御する比較制御ステップとをコンピュータに実行させ、
前記領域判定制御ステップの処理では、
前記比較制御ステップの処理による比較の結果に基づいて、前記画像の背景のうちの、前記オブジェクトにより順次カバーされる第１の領域と、前記オブジェクトによりカバーされた状態からカバーされていない状態に順次変化する第２の領域が設定され、
前記オブジェクト抽出制御ステップの処理では、
前記第 1 の領域においては、前記第１のフレームで前記輪郭入力受付ステップの処理による前記オブジェクトの輪郭の入力を受け付け、前記第１のフレームより時間的に後の複数のフレームにおいて前記オブジェクトが抽出され、
前記第２の領域においては、前記第２のフレームで前記輪郭入力受付ステップの処理による前記オブジェクトの輪郭の入力を受け付け、前記第２のフレームより時間的に前の複数のフレームにおいて前記オブジェクトが抽出される
ことを特徴とするプログラム。
指定された画像の画像データの取得を制御する画像取得制御ステップと、
前記画像取得制御ステップの処理により取得された前記画像において、複数の特徴点を設定し、隣接する特徴点間の距離を計算することで前記画像の中の前記オブジェクトの背景に対する動きの演算を制御する動き演算制御ステップと、
前記動き演算制御ステップの処理により演算された前記動きに基づいて、前記画像において前記オブジェクトの輪郭を抽出する抽出領域の判定を制御する領域判定制御ステップと、
所定の時刻の画像より時間的に前の第１のフレームの画像、または所定の時刻の画像より時間的に後の第２のフレームの画像の、前記画像の中から抽出すべき前記オブジェクトを指定するフレームの画像としての提示を制御する画像提示制御ステップと、
前記領域判定ステップの処理により判定された前記抽出領域に入力された輪郭の受け付けを制御する輪郭入力受付制御ステップと、
前記輪郭入力受付制御ステップの処理により入力が受け付けられた前記オブジェクトの輪郭の線上に設定された所定の追跡点に基づいて、前記輪郭が入力されていない複数のフレームの画像の前記オブジェクトの抽出を制御するオブジェクト抽出制御ステップと、
前記動き演算制御ステップの処理により演算された、時間的に前のフレームにおける隣接する前記特徴点間の距離と、時間的に後のフレームにおける隣接する前記特徴点間の距離の比較を制御する比較制御ステップとをコンピュータに実行させ、
前記領域判定制御ステップの処理では、
前記比較制御ステップの処理による比較の結果に基づいて、前記画像の背景のうちの、前記オブジェクトにより順次カバーされる第１の領域と、前記オブジェクトによりカバーされた状態からカバーされていない状態に順次変化する第２の領域が設定され、
前記オブジェクト抽出制御ステップの処理では、
前記第 1 の領域においては、前記第１のフレームで前記輪郭入力受付ステップの処理による前記オブジェクトの輪郭の入力を受け付け、前記第１のフレームより時間的に後の複数のフレームにおいて前記オブジェクトが抽出され、
前記第２の領域においては、前記第２のフレームで前記輪郭入力受付ステップの処理による前記オブジェクトの輪郭の入力を受け付け、前記第２のフレームより時間的に前の複数のフレームにおいて前記オブジェクトが抽出される
プログラムが記録されることを特徴とする記録媒体。