JP3561942B2 - ショット検出方法および代表画像記録・表示装置 - Google Patents
ショット検出方法および代表画像記録・表示装置 Download PDFInfo
- Publication number
- JP3561942B2 JP3561942B2 JP02650794A JP2650794A JP3561942B2 JP 3561942 B2 JP3561942 B2 JP 3561942B2 JP 02650794 A JP02650794 A JP 02650794A JP 2650794 A JP2650794 A JP 2650794A JP 3561942 B2 JP3561942 B2 JP 3561942B2
- Authority
- JP
- Japan
- Prior art keywords
- shot
- information
- image
- unit
- representative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、動画像の早見、検索、編集などのために、画像内容に応じた単位で動画像をまとめる方法、及び、まとめられた動画像を基に代表的な画像を自動抽出し、その画像を記録・表示する装置に関するものである。
【０００２】
【従来の技術】
従来、動画像の区切りを検出する技術や、動画像の区切りを編集作業に利用する技術が多数提案されてきた。
【０００３】
動画像の区切りを映像信号から自動検出する方法としては、例えば、特開平３−２１４３６４号公報に開示されたシーン変化検出手法がある。これは、隣接フレーム間でヒストグラムを比較することにより、シーンが変化したかどうか判定するものである。ここでのシーンの変化は、撮影・録画の開始／終了時点や、編集作業によって別々のシーンを連結した時のつなぎ目に対応している。また、ＶＩＳＳ（ＶＨＳ Ｉｎｄｅｘ Ｓｅａｒｃｈ Ｓｙｓｔｅｍ）では、録画開始時に、ビデオテープにＶＩＳＳ信号を自動記録し、高速頭出しなどのタグとして利用している。
【０００４】
一方、録画の開始点だけでなく、好みの画像の時点にタグ付けする、といった柔軟な技術も必要とされている。例えば、前述のＶＩＳＳでは、ユーザが見たい場面に対してもＶＩＳＳ信号を記録できるので、ビデオテープ上に記録されたＶＩＳＳ信号を利用して、イントロサーチと呼ばれる早送り再生を行うことができる。イントロサーチとは、早送り中にＶＩＳＳ信号を見つけると、ある時間だけ再生状態にし、その後再び早送りするという動作をテープの終わりまで繰り返すものである。
【０００５】
さらに、「好みの画像を選択してＶＩＳＳ信号を付加する」というユーザの手間を省くために、代表的な画像を自動抽出する方法も提案されている。例えば、特開平５ー１４７３３７では、１カット（録画開始操作をしてから録画終了操作をするまでの間に連続して撮影された動画像）の中から、代表的な画像を自動的に抽出する静止画像自動抽出方法が開示されている。ここで、代表的な画像は、撮影者の意図、撮影された画像の状態、被写体の状態をもとに評価して選び出され、動画像の早見や検索などに利用される。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記の静止画像自動抽出方法も、録画開始から終了までの動画像ごとに代表画像を抽出するので、基本的に代表画像の数は、動画像全体に含まれる録画開始／終了の区切りの数に依存する。
【０００７】
例えば、映画のようにカットの多い動画像の場合には、代表画像が多くなる。この代表画像は少数の画像の中から選ばれるので、各カットの画像内容をよく表すような画像が選ばれ易い。一方、ビデオカメラで長時間、撮影しつづけた映像の場合には、どんなに画像内容が変化しても、録画開始／終了の区切りがないので、ほとんど代表画像を抽出できない。従って、代表画像だけ見ても、動画像全体の内容がわからない場合もある。
【０００８】
ここで具体例として、撮影開始から終了までに、２種類の被写体を撮影するような場合を考えてみる。図２の画像Ａ〜画像Ｐは、長時間撮影した動画像から、一部分をぬきだしたものである。撮影者はまず、「黄色の車」を撮影して（画像Ａ，Ｂ）いったん撮影を止め、撮影開始後、「赤い服の人物」を撮影し（画像Ｃ〜画像Ｆ）、そのままカメラをパンニングして（画像Ｇ〜画像Ｉ）、「茶色の屋根の小屋」を撮影（画像Ｊ〜画像Ｎ）、ここで撮影を中止し、再開後は「高層ビル」を撮影している（画像Ｏ、Ｐ）。録画開始／終了の区切りは、画像Ｂと画像Ｃの間、画像Ｎと画像Ｏの間であり、画像Ｃ〜Ｎが一まとまりの画像とみなされる。しかし、画像内容から考えると画像Ｃ〜Ｎの中で、「赤い服の人物」の部分と「茶色の屋根の小屋」の部分は別の場面であり、それぞれで代表画像を選んだ方が良い。
【０００９】
このように、撮影や編集操作による区切りで動画像をまとめても、まとまりによって画像内容の変化する度合が異なるため、内容を表現するのに必要な代表画像の数が変化し、従来方法では対応できないことがわかる。従って、画像内容に応じた単位で動画像をまとめて取り扱うことが必要になる。
【００１０】
本発明はかかる点に鑑み、画像内容に応じて動画像をまとめる手法、およびまとめられた動画像を基に代表的画像を自動抽出し、記録表示する装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明のショット検出方法は、撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中で、撮影者が特定の被写体を撮影しつづけた動画像、及び撮影者が特定の画角や撮影条件や撮影方法で撮影し続けた動画像をショットとし、撮像装置のズームや撮影開始操作などのカメラ操作情報と撮影中のカメラのセンサーからの信号を処理して得られた撮影状態情報の少なくとも一つを入力情報とし、動画像が一方のショットから別のショットへ移行する際の前記入力情報の変化の規則を予め選出しておき、前記入力情報に関して前記変化の規則と合っている度合をショット変化度合として検出し、少なくとも１つの前記ショット変化度合をもとにして、動画像中のショットを検出するものである。
【００１２】
また、本発明の代表画像記録・表示装置は、撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中で、撮影者が特定の被写体を撮影しつづけた動画像、及び撮影者が特定の画角や撮影条件や撮影方法で撮影し続けた動画像をショットとし、動画像を撮影する際に撮影者がカメラを操作したカメラ操作情報を取り込むカメラ操作情報獲得手段と、カメラのセンサーからの信号を処理して得られた撮影中の撮影状態情報を取り込む撮影状態情報獲得手段のうち少なくとも１つを備えて前記カメラ操作情報または前記撮影状態情報を出力する画像情報出力部と、前記画像情報出力部からの出力に関して、予め設定された変化の規則に合っている度合をショット変化度合として検出するショット変化度合検出部と、前記ショット変化度合検出部からの出力の少なくとも１つを基にして、動画像中のショットを検出するショット検出部と、前記ショット検出部で求められたショットに属する画像から代表的な画像を抽出する代表画像抽出部と、動画像の映像信号を取り込む映像情報獲得部と、前記代表画像抽出部で抽出した代表画像の映像信号を前記映像情報獲得部から入力し、画像記録媒体に記録、または画像表示装置に表示する画像記録・表示部を備えたものである。
【００１３】
【作用】
以上のような構成において、カメラ操作情報や撮影状態情報を入力情報とし、動画像の内容が変化する際の入力情報の変化規則を予め選出しておき、変化規則と入力情報を比較することで、撮影者が特定の被写体を撮影しつづけた動画像や特定の画角、撮影条件で撮影しつづけた動画像をショットとして検出できる。これによって、録画開始から終了までの動画像の単位にとらわれず、動画像を画像内容に応じた任意個数のかたまりにまとめることができる。
【００１４】
また、上記方法で検出されたショットを基に代表的画像を選ぶことにより、動画像の内容の変化度合に応じて必要個数の代表画像が得られるようになり、さらに、抽出した代表画像の情報を記録・表示することで、できるだけ少ない画像で動画像全体の内容をよく表せるようになる。
【００１５】
【実施例】
（実施例１）
まず、本発明のショット検出方法の第１の実施例について説明する。ここで、「ショット」とは、１カットの画像を撮影している間に、パンニングやズーミングなどのカメラ操作を続けたり、特定の被写体を撮りつづけたりして、撮影者が１つの場面として意図的に連続撮影した動画像のかたまりとする。それに対して、「カット」は、カメラにおいて録画開始操作をしてから録画終了操作をするまでの間に連続して撮影された動画像のかたまりとする。
【００１６】
例えば、図２の動画像に対して、カットの単位で区切ると、画像Ｂまでが「黄色い車」の写ったカット、画像Ｃ〜Ｎが「赤い服の人物」と「茶色い屋根の小屋」の両方の写ったカット、画像Ｏからは「高層ビル」の写ったカットが始まっている。一方、ショットについて考えると、画像Ｃ〜Ｎのカットの中に、
・「赤い服の人物」をアップショットで撮影した区間（画像Ｅ〜Ｆ付近）
・「茶色い屋根の小屋」をややロングショットで撮影した区間（画像Ｍ〜Ｎ付近）
の２つのショットが含まれることがわかる。
【００１７】
まず、図１を基に本発明のショット検出方法の概要を説明する。図に示すように、本発明のショット検出方法は、画像情報出力部１、ショット変化度合検出部２、ショット検出部３の３つの部分で実現されている。
【００１８】
画像情報出力部１は、映像信号を処理した情報、撮影時にユーザが行ったカメラ操作の情報、センサの出力情報を出力する。この３種類の情報に関しては、以後、それぞれの種類の情報を総称して、画像処理情報、カメラ操作情報、撮影状態情報と呼ぶことにする。３情報の詳しい説明は後述する。図１では、画像処理情報２０の例として、高周波成分（の大きさ）２１と色ヒストグラム２２を、カメラ操作情報３０の例として、録画開始／終了３１とズーム（倍率）３２を、撮影状態情報４０の例として、パンニング速度４１を挙げている。
【００１９】
ショット変化度合検出部２は、画像情報出力部１からの情報を入力として、画像内容の変化する度合を検出する。ショット検出部３では、ショット変化度合検出部２からの結果をもとに、動画像中でショットと判定される区間を検出する。
【００２０】
続いて、画像情報出力部１、ショット変化度合検出部２、ショット検出部３の各部の動作について詳細に説明する。
【００２１】
始めに、図３を用いて画像情報出力部１について説明する。図において、４はカメラ、５は映像信号、２０は画像処理情報、２１は高周波成分の大きさ、２２は色ヒストグラム、２３は動きベクトル、２４は高周波成分検出部、２５は色ヒストグラム検出部、２６は動きベクトル検出部、３０はカメラ操作情報、３１は録画開始／終了のボタン押下信号、３２はズーム倍率、３３はオート／マニュアルのモードのボタン設定、４０は撮影状態情報、４１は角速度センサの出力（パンニング時の速度）、４２はズーム倍率を換算するためのレンズ焦点距離、４３は絞り開度センサの出力、４４はフォーカス距離である。図３に示すように、画像情報出力部１は、カメラと多数の出力端子からなっており、ビデオカメラで撮影中、画像処理情報２０、カメラ操作情報３０、撮影状態情報４０を順次出力する。
【００２２】
ここで画像処理情報は、撮像素子で撮像した映像信号をもとにして自動的もしくは人間が関与して抽出処理した情報の総称である。図３では例として、フォーカス制御を行うために求めた映像信号の高周波成分の大きさ２１、画面内の色ヒストグラム２２、画面各所の動きベクトル２３を示している。この情報はすべて、カメラ４から映像信号５を入力し、それぞれ高周波成分検出部２４、色ヒストグラム検出部２５、動きベクトル検出部２６において求められる。その他、フレーム間における輝度信号や色信号の差異を求めたフレーム間差分値、あるいは映像信号から被写体領域の位置や大きさの情報なども画像処理情報に含まれる。
【００２３】
また、カメラ操作情報は、ユーザがビデオカメラで撮影する際に行った、ボタン操作をもとにした情報の総称である。図３では、例として、撮影の開始／終了のボタン操作により撮影の開始点／終了点を表す情報３１、撮影中のズーム操作から換算されたズーム倍率を表す情報３２、Ａｕｔｏ／Ｍａｎｕａｌの設定の情報３３を示している。
【００２４】
また撮影状態情報は、カメラの撮影中の状態をセンサーなどで検出した情報の総称である。図３では、例として、角速度センサーによって検出したパンニング速度の情報４１、撮影時のズーム倍率を示すレンズ焦点距離４２、絞り開度センサによって検出した絞り開度情報４３、フォーカス距離４４を示している。
【００２５】
次に、ショット変化度合検出部２とショット検出部３について説明する。ただしここでは、例として、高周波成分（の大きさ）２１、色ヒストグラム２２、録画開始／終了のボタン押下信号３１、ズーム倍率３２、パンニング速度４１の５つの情報が入力する場合に限定して説明する。
【００２６】
まず、図２の動画像を例にとり、ショット変化度合検出部２、ショット検出部３において、ショットを検出する原理を説明する。図５は、図２の各画像に対して、録画開始／終了、ズーム倍率、画面内の高周波成分の大きさ、色ヒストグラム、パンニングの速度、の５つの情報をプロットしたものである。ただし、色ヒストグラムは多数の色の中から茶色、赤色、黄緑に対する頻度だけを抽出して表示した。また、パンニング速度は、水平方向の速度に限定している。図からわかるように、ショットのの区間（Ｅ〜Ｆ、Ｍ〜Ｎ）は、全ての情報が一定値で安定しているのに対し、１つのショットから別のショットへ移る区間（Ｃ〜Ｅ、Ｆ〜Ｍ）では少なくとも１つの情報が変化していることがわかる。このことから、入力情報の変化度合を調べれば、現在処理中の画像が、ショットの区間中なのか、それとも別のショットに移行中なのか、わかるはずである。ここで、「処理中の画像が別のショットに移行中である」という信頼度をショット変化度合と呼ぶことにし、以下、入力される情報の変化度合を、各情報のショット変化度合として検出し、各情報に関するショット変化度合からショットの区間を特定する方法を説明する。
【００２７】
図４は、ショット変化度合検出部２、ショット検出部３の具体的な構成図である。図において、５１は微分フィルタ、５２は絶対値処理部、５３はローパスフィルタ、５４はゲイン調整部、５６は最大値検出部、５７は状態判定部、５８はショット区間出力部、５９はカウンタである。
【００２８】
まず、ショット変化度合検出部２では、入力される情報それぞれのショット変化度合を検出する。ここで、ショット変化度合は［０，ｍａｘ］（ｍａｘ：定数）の範囲の値に正規化されており、値が大きいほど、処理中の画像が別のショットに移行中の可能性が高いことを示すものとする。
【００２９】
ショット変化度合の検出方法は、入力情報によって多少異なっている。高周波成分（の大きさ）２１、ズーム倍率３２、パンニング速度４１の情報に関しては、まず微分フィルタ５１を通し、絶対値処理部５２で絶対値を求めることにより、各情報の時間的変動の大きさを求める。さらに、細かいノイズの影響を少なくし、大域的な変化だけを検出するため、ローパスフィルタ５３を通す。最後にゲイン調整部５４において、各情報固有のゲインをかけて正規化し、出力がショット変化度合の範囲内の値をとるように調整する。また色ヒストグラムのように、多次元のパラメータに関しては、隣接フレーム間での相関計算を行う。色ヒストグラム２２の場合、ヒストグラム相関検出部５５において、ヒストグラム差分などの相関計算を行う。さらに他の情報と同様に、ローパスフィルタ５３を通し、ゲイン調整部５４において正規化する。ただし、ここでの正規化は、相関が低いほど大きい値を出力するように調整する。また、録画開始／終了のボタン押下信号３１に関しては、ゲイン調整部５４において、カットの切れ目のとき ｍａｘ 、切れ目でないとき０の値を出力するよう、調整する。以上のようにして、ショット変化度合検出部２では、入力情報毎にショット変化度合を検出する。
【００３０】
一方、ショット検出部３では、各情報に関するショット変化度合をもとに、ショットの区間を検出する。まず、最大値検出部５６では、ショット変化度合検出部２から同時刻に出力されるすべてのショット変化度合を比較し、その最大値Ｍを求める。状態判定部５７では、求めた最大値Ｍを所定のしきい値ＴＨと比較し、比較結果をもとに、現在処理中の画像の状態を以下のように判定する。
【００３１】
Ｍ ＞ ＴＨのとき、現在処理中の画像はショット外である
（別のショットへ移行中である） …（Ａ）
Ｍ ≦ ＴＨのとき、現在処理中の画像はショット区間内にある …（Ｂ）
ショット区間出力部５８では、状態判定部５７の出力（Ａ ｏｒ Ｂ）に応じて以下のような処理を行う。
・状態判定部５７の出力がＡのとき、
カウンタ５９の内容Ｃを読み込む。
【００３２】
Ｃ＞０の場合、Ｃを出力し、その後カウンタ５９の内容を０にリセットする。
・状態判定部５７の出力がＢのとき、
カウンタ５９の内容をインクリメントする。
【００３３】
ただし、初期状態で、カウンタは０に設定されているとする。ショット終了時点で出力される値Ｃは、ショット継続中に処理した回数を表している。従って、ショット検出部３から値Ｃが出力された時、その出力を基に、直前に終了したショットの区間を特定することができる。
【００３４】
ここで、以上説明した構成が、実際の画像でどのように動作するか調べるため、図２の動画像を例にとって情報の流れを追ってみる。図６は、ショット変化度合検出部２とショット検出部３の内部のブロックの出力の時間変化を示した図である。図の上部のグラフはショット変化度合検出部２に対応しており、その中で実線は微分フィルタ５１またはヒストグラム相関検出部５５の出力を表し、破線はショット変化度合検出部２の最終的な出力（ショット変化度合）を表している。また、図６の下部のショット検出部３に対応するグラフでは、ショット変化度合検出部２の出力（破線）とその最大値（太い実線）、しきい値を重ねて示した。また、取り扱う入力情報は、録画開始／終了３１、ズーム倍率３２、画面内の高周波成分の大きさ２１、色ヒストグラム２２、パンニングの速度４１、の５つに限定し、さらに色ヒストグラムは３色のみ、パンニングの速度は水平方向に限定して表示してある。図６において、各入力情報に対するショット変化度合は、ショット以外の区間（Ｃ〜Ｅ、Ｆ〜Ｍ）で大きな値を出力している。また、ショット変化度合の最大値は、ショット以外の区間でしきい値を越えていることがわかる。従って、ＦとＮの画像を処理する際、ショット検出部３からそれぞれＥ〜Ｆ、Ｍ〜Ｎの区間中の処理回数（Ｌ１，Ｌ２）が出力され、Ｌ１、Ｌ２により、Ｅ〜Ｆ、Ｍ〜Ｎがショットの区間であると特定できる。
【００３５】
以上のように、カメラ操作情報または画像処理情報または撮影状態情報を入力とし、各情報に関するショット変化度合を検出することにより、ショットの区間が特定でき、動画像を画像内容に応じた単位でまとめることができる。
【００３６】
なお、上記実施例では、画像情報出力部１の具体例としては、図３を用いて、撮影中、カメラから直接情報を出力する方法を説明した。しかし、別の方法として、撮影中はカメラからの情報を記録媒体に記録し、ショット検出を行う際に、記録媒体から情報を読み出しても同様の処理が行える。この方法を図７を用いて説明する。図において、４はカメラ、５は映像信号、６は記録媒体、７は符号化処理部、８は復号化処理部、９は画像処理部、２０は画像処理情報、３０はカメラ操作情報、４０は撮影状態情報であり、破線枠内が画像情報出力部１に対応している。
【００３７】
以下に各部の動作を説明する。記録媒体６は、録画時と再生時で切り替わるスイッチを持っている。ここで、「録画時」とは、カメラ４で撮影しながら、各種情報を記録媒体に記録する期間であり、「再生時」とは、記録媒体に記録された各種情報を出力する期間である。まず、ユーザが撮影する際、記録媒体６のスイッチは「録画時」のモードに設定されている。撮影中にカメラ４から出力された映像信号５、画像処理情報、カメラ操作情報、撮影状態情報は、符号化処理部７において、符号化の処理やフォーマット合わせの処理が施され、記録媒体６に蓄積される。その後、ショットを検出する際に、記録媒体６のスイッチは「再生時」のモードに設定される。記録媒体６に蓄えられた情報は、復号化処理部８でそれぞれの情報として読み出され、画像情報出力部１の出力として、ショット変化度合検出部２に送られる。ここで、復号化処理部８をから出力された映像信号５を画像処理部９で加工し、その結果を他の画像処理情報と合わせて出力しても同様である。
【００３８】
このように、各種情報をいったん記録媒体に蓄積しても、カメラから直接得るのと同様にして、各種情報を出力できる。
【００３９】
以上の実施例では、画像処理情報、カメラ操作情報、撮影状態情報を、カメラから直接出力したり、いったん記録媒体に蓄積して後から読みだしたりする場合について説明したが、いずれにしても、必要なすべての情報は、もともとカメラから与えられていた。しかし、これら情報の一部、もしくは全部が与えられない場合でも、カメラあるいは記録媒体から出力される映像信号を処理することによって、欠如した情報に相当する情報を獲得し、獲得した情報をもとにショットを検出することができる。これについて、以下の第２の実施例のショット検出方法で詳細に説明する。
【００４０】
（実施例２）
第２の実施例は、映像信号のみから画像処理情報、カメラ操作情報、撮影状態情報を獲得し、獲得した情報からショットを検出するものである。本実施例の全体構成は、第１の実施例で用いた図１と同じであるが、画像情報出力部１の具体的な構成が異なっている。以下、図８を用いて、本実施例の画像情報出力部１において映像信号から各種情報を検出・出力する方法を説明する。ただし、ここで説明するのは、画像処理情報に関して高周波成分と色ヒストグラム、カメラ操作情報に関しては録画開始／終了の情報とズーム倍率、撮影状態情報に関してはパンニング速度、の５つの情報に限定している。
【００４１】
図８で、５は映像信号、２６は高周波成分検出部、２１は高周波成分（の大きさ）の情報、２７は色ヒストグラム検出部、２２は色ヒストグラムの情報、６０はフレーム間差分値検出部、６１はメモリ、６２は変化量検出部、６３はカットチェンジ検出部、３１は録画開始／終了の情報、６４はカメラワーク検出部、６５は動きベクトル検出部、６６はカメラワークパラメータ推定部、３２はズーム倍率の情報、４１はパンニング速度の情報である。以上の構成における各部の動作について以下に説明する。
【００４２】
まず、画像処理情報に関しては、高周波成分検出部２４、色ヒストグラム検出部２５において、それぞれ高周波成分２１、色ヒストグラム２２の情報を検出する。ここで、高周波成分検出部２４と色ヒストグラム検出部２５は、図３の各部と同じであり、既に第１の実施例で述べたので、説明は省略する。
【００４３】
次に、カメラ操作情報の内、録画開始／終了３１の情報を検出する方法を説明する。録画開始／終了の情報の検出は、フレーム間差分値検出部６０とカットチェンジ検出部６３で行われ、さらにフレーム間差分値検出部６０は、映像信号を１フレーム遅延させるためのメモリ６１と、連続するフレーム間で映像信号の差分を求める変化量検出部６２から構成されている。連続するフレーム間での差を求める信号は、輝度値やＲＧＢ値等を用い、変化量検出部６２において画素単位で連続するフレーム間の映像信号の差分演算を行い、画素ごとの差分値の総和を求めてフレーム間差分値として出力する。カットチェンジ検出部６３は、フレーム間差分値検出部６０で求めたフレーム間差分値に対してしきい値処理をする。すなわち、所定のしきい値とフレーム間差分値との比較を行い、フレーム間差分値がしきい値より大きい場合は、２枚のフレーム間で画像内容が大きく変化していると考えて、その部分でカットチェンジがあったと判断する。ここで検出したカットチェンジは、撮影の開始や終了時点に対応するので、カットチェンジの有無の信号は、カメラのボタン押下信号として得られる録画開始／終了の情報に相当する。
【００４４】
次に、カメラ操作情報の中のズーム倍率３２の情報と、撮影状態情報のパンニング速度４１の情報を検出する方法を説明する。この２つの情報は、カメラワーク検出部６４において検出され、さらにカメラワーク検出部６４は、動きベクトル検出部６５とカメラワークパラメータ推定部６６に分かれる。まず、動きベクトル検出部６５は、画面内で複数の座標位置を設定し、隣接フレームとの画素値の比較により、各座標位置での動きベクトルを検出する。カメラワークパラメータ推定部６６では、検出された動きベクトルを基に、カメラの水平、垂直方向の変化（パンニング、チルティング）や、カメラ画角の変化（ズーミング）、カメラの水平・垂直・前後の位置の変化（トラッキング、ブーミング、ドリーイング）等のカメラワークを推定する。ズーム倍率３２とパンニング速度４１は、カメラワークの１つとして推定されるので、カメラ操作情報や撮影状態情報に相当する情報が得られる。ここで、動きベクトル検出部６５、カメラワークパラメータ推定部６６の詳細な動作は、例えば特開平４ー３１７２６７で説明されているので、ここでの説明は省略する。
【００４５】
以上のように、カメラから、カメラ操作情報や撮影状態情報が得られない場合でも、映像信号を処理することにより、相当する情報を推定することができる。本実施例では、γ補正値、色温度、逆光や過順光の状態などの情報については記載しなかったが、これらの情報も、映像信号を処理することによって獲得することが可能である。上記情報を獲得後、この情報をもとにショットを検出する構成と手法については、第１の実施例と同様であり、説明は省略する。
【００４６】
（実施例３）
次に、本発明のショット検出方法の第３の実施例について説明する。本実施例は、図１のショット変化度合検出部２に関するものである。
【００４７】
第１の実施例では、図４に示すように、微分フィルタやヒストグラム相関処理によって各情報の変動量を求め、ショット変化度合を検出した。これは、「撮影者が１つのショットを撮り終わって別のショットを撮り始めるまでの期間は、各情報が大きく変化する」、という性質を利用している。しかしながら、入力される情報それぞれについて調べると、情報が大きく変化する現象以外にも、ショットを検出する際に関連するような現象があることがわかる。
【００４８】
例えば、ある被写体を撮影中に、急に別の被写体にレンズを向けると、フォーカスがずれ、ピンボケの状態が短時間続くことがあるが、この間、高周波成分は、小さくなっている。従って、「高周波成分が小さいとき、別のショットへの移行期間である」というルールが成り立つ。また、同じパンニングでも、ある被写体から別の被写体へ移るためのパンニングは、ショットの移行中と判定してほしいが、ゆっくり移動する被写体を追いかけてパンする場合には、パンニングの期間を１つのショットの区間中として認識したい。このように、同じパンニングでも、ショットの移行中の場合とそうでない場合があるので、第１の実施例のようにパンニング速度の変動量からパンニングの期間を検出できたとしても、ショットの区間を特定できないことがある。しかし、別のショットへ移行するためのパンニングは速くて短時間でおわるし、被写体をトラッキングする場合には、遅くてほぼ一定速度のパンニングが長時間継続するので、パンニング速度とパンニングの継続時間によって両者を区別することができる。
【００４９】
このように、ショットが移行する際に各情報がどのような変動パターンを示すかを予め調べておき、この変動パターンに合っているかどうかでショット変化度合を検出することにより、ショットの検出性能を高めることができる。本実施例では、各情報の変動量以外に、各情報の大きさ、各情報が所定の状態を継続する時間、を基にショット変化度合を検出する方法を説明する。
【００５０】
図９は、高周波成分２１とパンニング速度４１の２つの情報に関して、ショット変化度合の検出方法を示したものである。図において、微分フィルタ５１、絶対値処理部５２は、図４の各部と同じであり、６７、６９は推定部、６８は継続時間検出部である。以下に上記構成におけるショット変化度合検出部２の動作を説明する。
【００５１】
まず、高周波成分２１に関する検出方法を説明する。第１の実施例と同様に、微分フィルタ５１と絶対値処理部５２によって、高周波成分の時間的変動の大きさを求める。推定部６７では、高周波成分と絶対値処理部５２からの出力を、予め設定した関数で写像し、ショット変化度合として出力する。ここで、写像の関数の具体例として、図１０を用いて説明する。図１０は、２入力（高周波成分、絶対値処理部５２からの出力）、１出力（ショット変化度合）の写像関係を示している。図からわかるように、出力の値域は［０，ｍａｘ］であり、高周波成分の変動が大きい場合、または高周波成分が小さい場合に大きい値を出力するよう、設定されている。このような写像関数を予め設定することで、２つの入力に対して一意の出力がショット変化度合として求められる。
【００５２】
次にパンニング速度４１に関する検出方法を説明する。この場合も同様にして、微分フィルタ５１と絶対値処理部５２によって、パンニング速度の時間的変動の大きさを求める。さらに、継続時間検出部６８では、微分フィルタ５１からの結果を基に、パンニングの継続時間を求める。ここでパンニングの継続時間とは、撮影者がほぼ一定の速度でパンニングしつづけた時間とする。パンニング継続時間の具体的な検出方法としては、まず、パンニング速度の時間的変動量Ｄが振動許容範囲をはずれた時点から、初めてＤが許容範囲内に入る時点をパンニング開始時点として検出し、パンニング開始時点から初めてＤが振動許容範囲をはずれるまでの時間をパンニング継続時間として求める。ただし、振動許容範囲はあらかじめ［ーＷＩＤＥ，ＷＩＤＥ］（ＷＩＤＥ：正の所定数）と設定されているものとする。
【００５３】
推定部６９は、パンニング速度と、絶対値処理部５２の出力、パンニング継続時間の３つの値を、予め設定した関数で写像し、ショット変化度合として出力する。ここでの写像の関数は、図１０の２入力１出力の関係を３入力１出力に拡張したものであり、「パンニング速度が速いとき」または「パンニング速度の変動が大きいとき」または「パンニング継続時間が短いとき」に、大きい値が出力されるよう設定されている。
【００５４】
以上のように、ショットが移行する際に各情報がどのような変動パターンを示すかを予め調べておき、この変動パターンに合っているかどうかでショット変化度合を検出することにより、ショットの検出性能を高めることができる。
【００５５】
なお、上記実施例では、推定部６７、６９においてショット変化度合を検出する方法として、２入力１出力と３入力１出力の予め設定された写像関数を用いる方法を説明したが、入出力の変換に、例えばファジィ推論や多重線形関数、ニューラルネットなどを用いてもよい。
【００５６】
また、上記実施例では、入力される情報として高周波成分とパンニング速度の２種類に限定して説明したが、他の情報に対しても同様である。
【００５７】
また、上記実施例では、各情報の変動量、各情報の大きさ、各情報の所定状態が継続する時間を基に、ショット変化度合の検出を行ったが、入力する情報に応じて、他のパラメータを用いても同様である。
【００５８】
（実施例４）
次に本発明の代表画像記録・表示装置における実施例を説明する。
【００５９】
本発明の代表画像記録・表示装置は、前述のショット検出方法を利用して、動画像中の代表画像を抽出し、記録・表示するものである。ここで、代表画像とは、ブラウジングや検索などで、動画像を代表する画像として利用するために選ばれる画像であり、撮影者の意図、撮影された画像の状態、被写体の状態などの画像内容が良く表せるように選ばれる。
【００６０】
図１１に本発明の代表画像記録・表示装置の構成図を示す。図において、画像情報出力部１、ショット変化度合検出部２、ショット検出部３、画像処理情報２０、カメラ操作情報３０、撮影状態情報４０は、既に本発明のショット検出方法の実施例で説明したように、図１の構成図と同じである。また、１０は代表画像抽出部、７０はショット内代表情報検出部、７１はメモリ、７２は代表情報比較部、１１は映像信号出力部、１２は画像記録・表示部である。
【００６１】
以下、各部の動作を説明する。画像情報出力部１は、画像処理情報２０、カメラ操作情報３０、撮影状態情報４０を出力し、ショット変化度合検出部２において各情報に関するショット変化度合を検出する。ショット検出部３では、複数のショット変化度合を基にして、撮影者が１つのショットとして撮影した画像の区間を特定する。
【００６２】
一方、代表画像抽出部１０は、ショット内代表情報検出部７０、メモリ７１、代表情報比較部７２から構成されており、ショット検出部３で求めたショットの区間を基に、動画像の代表画像を求める。以下、代表画像抽出部１０の動作を説明する。
【００６３】
まず、ショット内代表情報検出部７０は、ショット検出部３で検出された各ショットに対して、同一ショットに属する画像の画像処理情報２０、カメラ操作情報３０、撮影状態情報４０を入力し、各情報の平均値を求める。検出された各情報の平均値は「ショットを代表する情報」として出力される。ここで、ショット検出部３で第ｉ番目に検出されたショットに注目し、ショットを代表する情報を数式で表すと、以下のようになる。
【００６４】
【数１】
【００６５】
ただし、ＩＮは、画像処理情報２０、カメラ操作情報３０、撮影状態情報４０の中で入力情報として利用される情報の数とする。例えば、入力情報を、高周波成分、色ヒストグラム、録画開始／終了、ズーム倍率、パンニング速度とする場合、ＩＮ＝５であり、ｍ（１，ｉ）は高周波成分、ｍ（２，ｉ）は色ヒストグラム、ｍ（３，ｉ）は録画開始／終了、ｍ（４，ｉ）はズーム倍率、ｍ（５，ｉ）はパンニング速度の平均値を示している。従って、ｋ番目（０≦ｋ≦ＩＮ）の入力情報に関する代表情報ｍ（ｋ，ｉ）は、
【００６６】
【数２】
【００６７】
と表される。
次に、メモリ７１は、ショット内代表情報検出部７０において検出されたショット毎の代表情報 Ｍ（ｉ）を蓄える。代表情報比較部７２では、ショット間で代表情報 Ｍ（ｉ）の比較を行い、検出された全てのショットの中から「代表画像を出すべきショット」を選び、選ばれたショットから代表画像を抽出する。代表情報比較部７２の処理手順は以下の通りである。
（１）最初に検出されたショットを「代表画像を出すべきショット」に選び、ショットを代表する情報 Ｍ（１）をメモリ７１内の変数 Ｍｐｒｅに代入して、Ｍｐｒｅ＝Ｍ（１）とする。
（２）２番目のショットが検出されたとき、ショットを代表する情報 Ｍ（２）をＭｐｒｅ と比較し、２つの代表情報間の距離を検出する。ここで代表情報間の距離とは、入力情報毎に１つの次元の軸を割り当てて（ＩＮ）次元空間をつくり、この空間に２つの代表情報をプロットしたときの距離である。例えば、ａ番目のショットとｂ番目のショットの代表情報の距離Ｄｉｓ（ａ，ｂ）は、
【００６８】
【数３】
【００６９】
で表される。
（３）Ｄｉｓ（１，２）を所定のしきい値Ｅと比較し、以下の処理を行う。
・Ｄｉｓ（１，２）＞Ｅのとき、
２番目のショットを「代表画像を出すべきショット」として選択し、ショットに属する画像の中から、中央に位置する画像Ｆ（２，Ｎ２／２）を代表画像として抽出する。また、メモリ７１内の変数Ｍｐｒｅに、代表情報Ｍ（２）を代入する。
・Ｄｉｓ（１，２）≦Ｅのとき、
２番目のショットは１番目のショットと画像内容が似ている、と判断される。（４）以降で検出されるショットに対しても、（２）、（３）と同様の処理を行う。すなわち、
（４−１）ｉ番目のショットが検出されたとき、Ｍ（ｉ）とＭｐｒｅを比較し、２つの代表情報間の距離Ｄｉｓ（ｉ，ｐｒｅ）を検出する。
（４−２）Ｄｉｓ（ｉ，ｐｒｅ）をしきい値Ｅと比較し、
・Ｄｉｓ（ｉ，ｐｒｅ）＞Ｅのとき、
ｉ番目のショットを「代表画像を出すべきショット」として選択し、ショットに属する画像の中から、中央に位置する画像Ｆ（ｉ，Ｎｉ／２）を代表画像として抽出する。メモリ７１内の変数Ｍｐｒｅに代表情報Ｍ（ｉ）を代入する。
・Ｄｉｓ（ｉ，ｐｒｅ）≦Ｅのとき、
ｉ番目のショットは Ｍｐｒｅの情報を持つショットと画像内容が似ている、と判断する。
（４ー３）４−１に戻り、（ｉ＋１）番目のショットに対して同様の処理を行う。
【００７０】
４−１，４−２，４−３の処理は、最後に検出されたショットまで継続され、動画像の代表画像が抽出される。
【００７１】
一方、代表画像記録・表示部１２は、映像信号やその他情報を表示するディスプレイ、または各種情報を記録する記録媒体で構成されている。代表情報比較部７２から代表画像に関する情報を入力し、映像信号出力部１１からは代表画像に対応する映像信号を入力し、代表画像の表示または記録を行う。
【００７２】
以上のようにして、ショット間で代表情報を比較し、比較結果を基に選んだショットから、代表画像を抽出することにより、できるだけ少ない代表画像ですべての画像内容を表現することが可能になる。従って、この代表画像を表示、記録して、動画像のブラウジング、検索などに利用することにより、画像内容が把握しやすくなる。
【００７３】
【発明の効果】
以上説明したように、本発明のショット検出方法は、カメラ操作情報や撮影状態情報を入力情報として画像内容の変化する度合を検出することで、撮影者が特定の被写体を撮影しつづけた動画像や特定の画角、撮影条件で撮影しつづけた動画像をショットとして検出できる。
【００７４】
本発明の方法によれば、画像内容が変化する毎に、動画像が別のショットとして分類されるので、「話の展開が速い」ときは多くのショットが、「ずっと同じような画面が続く」ときには少ないショットが検出され、動画像によって画像内容の変化の仕方が異なる場合にも、画像内容に応じた動画像の単位化が行える。
【００７５】
また本発明の代表画像表示・記録装置は、上記方法で求めたショットを用いて、代表画像を抽出することにより、少ない代表画像で多くの画像内容を網羅することが可能になり、抽出した代表画像の情報を記録・表示することで、動画像の効率的な検索、早見、編集が行えるようになる。
【図面の簡単な説明】
【図１】本発明のショット検出方法の全体構成を示す図
【図２】動画像のショットとカットの関係を説明するための図
【図３】本発明のショット検出方法の第１の実施例における画像情報出力部の構成を示す図
【図４】本発明のショット検出方法の第１の実施例におけるショット変化度合検出部およびショット検出部の具体的構成を示す図
【図５】本発明のショット検出方法の画像情報出力部の出力の時間変化を示す図
【図６】本発明のショット検出方法の第１の実施例のショット変化度合検出部およびショット検出部に関して、内部ブロックの出力の時間変化を示す図
【図７】本発明のショット検出方法の第１の実施例の画像情報出力部に関して、図３とは別の構成を示す図
【図８】本発明のショット検出方法の第２の実施例の画像情報出力部の構成を示す図
【図９】本発明のショット検出方法の第３の実施例のショット変化度合検出部の構成を示す図
【図１０】本発明のショット検出方法の第３の実施例の推定部における２入力１出力の写像関数を示す図
【図１１】本発明の代表画像記録・表示装置の実施例の構成を示す図
【符号の説明】
１ 画像情報出力部
２ ショット変化度合検出部
３ ショット検出部
４ カメラ
５ 映像信号
６ 記録媒体
７ 符号化処理部
８ 復号化処理部
９ 画像処理部
１０ 代表画像抽出部
１１ 映像信号出力部
１２ 画像記録表示部
２０ 画像処理情報
２１ 高周波成分
２２ 色ヒストグラム
２３ 動きベクトル
２４ 高周波成分検出部
２５ 色ヒストグラム検出部
２６ 動きベクトル検出部
３０ カメラ操作情報
３１ 録画開始／終了
３２ ズーム倍率
３３ オート／マニュアルのモード
４０ 撮影状態情報
４１ パンニング速度
４２ レンズ焦点距離
４３ 絞り開度センサ出力
４４ フォーカス距離
５１ 微分フィルタ
５２ 絶対値処理部
５３ ローパスフィルタ
５４ ゲイン調整部
５６ 最大値検出部
５７ 状態判定部
５８ ショット区間出力部
５９ カウンタ
６０ フレーム間差分値検出部
６１ メモリ
６２ 変化量検出部
６３ カットチェンジ検出部
６４ カメラワーク検出部
６５ 動きベクトル検出部
６６ カメラワークパラメータ推定部
６７、６９ 推定部
６８ 継続時間検出部
７０ ショット内代表情報検出部
７１ メモリ
７２ 代表情報比較部
【産業上の利用分野】
本発明は、動画像の早見、検索、編集などのために、画像内容に応じた単位で動画像をまとめる方法、及び、まとめられた動画像を基に代表的な画像を自動抽出し、その画像を記録・表示する装置に関するものである。
【０００２】
【従来の技術】
従来、動画像の区切りを検出する技術や、動画像の区切りを編集作業に利用する技術が多数提案されてきた。
【０００３】
動画像の区切りを映像信号から自動検出する方法としては、例えば、特開平３−２１４３６４号公報に開示されたシーン変化検出手法がある。これは、隣接フレーム間でヒストグラムを比較することにより、シーンが変化したかどうか判定するものである。ここでのシーンの変化は、撮影・録画の開始／終了時点や、編集作業によって別々のシーンを連結した時のつなぎ目に対応している。また、ＶＩＳＳ（ＶＨＳ Ｉｎｄｅｘ Ｓｅａｒｃｈ Ｓｙｓｔｅｍ）では、録画開始時に、ビデオテープにＶＩＳＳ信号を自動記録し、高速頭出しなどのタグとして利用している。
【０００４】
一方、録画の開始点だけでなく、好みの画像の時点にタグ付けする、といった柔軟な技術も必要とされている。例えば、前述のＶＩＳＳでは、ユーザが見たい場面に対してもＶＩＳＳ信号を記録できるので、ビデオテープ上に記録されたＶＩＳＳ信号を利用して、イントロサーチと呼ばれる早送り再生を行うことができる。イントロサーチとは、早送り中にＶＩＳＳ信号を見つけると、ある時間だけ再生状態にし、その後再び早送りするという動作をテープの終わりまで繰り返すものである。
【０００５】
さらに、「好みの画像を選択してＶＩＳＳ信号を付加する」というユーザの手間を省くために、代表的な画像を自動抽出する方法も提案されている。例えば、特開平５ー１４７３３７では、１カット（録画開始操作をしてから録画終了操作をするまでの間に連続して撮影された動画像）の中から、代表的な画像を自動的に抽出する静止画像自動抽出方法が開示されている。ここで、代表的な画像は、撮影者の意図、撮影された画像の状態、被写体の状態をもとに評価して選び出され、動画像の早見や検索などに利用される。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記の静止画像自動抽出方法も、録画開始から終了までの動画像ごとに代表画像を抽出するので、基本的に代表画像の数は、動画像全体に含まれる録画開始／終了の区切りの数に依存する。
【０００７】
例えば、映画のようにカットの多い動画像の場合には、代表画像が多くなる。この代表画像は少数の画像の中から選ばれるので、各カットの画像内容をよく表すような画像が選ばれ易い。一方、ビデオカメラで長時間、撮影しつづけた映像の場合には、どんなに画像内容が変化しても、録画開始／終了の区切りがないので、ほとんど代表画像を抽出できない。従って、代表画像だけ見ても、動画像全体の内容がわからない場合もある。
【０００８】
ここで具体例として、撮影開始から終了までに、２種類の被写体を撮影するような場合を考えてみる。図２の画像Ａ〜画像Ｐは、長時間撮影した動画像から、一部分をぬきだしたものである。撮影者はまず、「黄色の車」を撮影して（画像Ａ，Ｂ）いったん撮影を止め、撮影開始後、「赤い服の人物」を撮影し（画像Ｃ〜画像Ｆ）、そのままカメラをパンニングして（画像Ｇ〜画像Ｉ）、「茶色の屋根の小屋」を撮影（画像Ｊ〜画像Ｎ）、ここで撮影を中止し、再開後は「高層ビル」を撮影している（画像Ｏ、Ｐ）。録画開始／終了の区切りは、画像Ｂと画像Ｃの間、画像Ｎと画像Ｏの間であり、画像Ｃ〜Ｎが一まとまりの画像とみなされる。しかし、画像内容から考えると画像Ｃ〜Ｎの中で、「赤い服の人物」の部分と「茶色の屋根の小屋」の部分は別の場面であり、それぞれで代表画像を選んだ方が良い。
【０００９】
このように、撮影や編集操作による区切りで動画像をまとめても、まとまりによって画像内容の変化する度合が異なるため、内容を表現するのに必要な代表画像の数が変化し、従来方法では対応できないことがわかる。従って、画像内容に応じた単位で動画像をまとめて取り扱うことが必要になる。
【００１０】
本発明はかかる点に鑑み、画像内容に応じて動画像をまとめる手法、およびまとめられた動画像を基に代表的画像を自動抽出し、記録表示する装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明のショット検出方法は、撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中で、撮影者が特定の被写体を撮影しつづけた動画像、及び撮影者が特定の画角や撮影条件や撮影方法で撮影し続けた動画像をショットとし、撮像装置のズームや撮影開始操作などのカメラ操作情報と撮影中のカメラのセンサーからの信号を処理して得られた撮影状態情報の少なくとも一つを入力情報とし、動画像が一方のショットから別のショットへ移行する際の前記入力情報の変化の規則を予め選出しておき、前記入力情報に関して前記変化の規則と合っている度合をショット変化度合として検出し、少なくとも１つの前記ショット変化度合をもとにして、動画像中のショットを検出するものである。
【００１２】
また、本発明の代表画像記録・表示装置は、撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中で、撮影者が特定の被写体を撮影しつづけた動画像、及び撮影者が特定の画角や撮影条件や撮影方法で撮影し続けた動画像をショットとし、動画像を撮影する際に撮影者がカメラを操作したカメラ操作情報を取り込むカメラ操作情報獲得手段と、カメラのセンサーからの信号を処理して得られた撮影中の撮影状態情報を取り込む撮影状態情報獲得手段のうち少なくとも１つを備えて前記カメラ操作情報または前記撮影状態情報を出力する画像情報出力部と、前記画像情報出力部からの出力に関して、予め設定された変化の規則に合っている度合をショット変化度合として検出するショット変化度合検出部と、前記ショット変化度合検出部からの出力の少なくとも１つを基にして、動画像中のショットを検出するショット検出部と、前記ショット検出部で求められたショットに属する画像から代表的な画像を抽出する代表画像抽出部と、動画像の映像信号を取り込む映像情報獲得部と、前記代表画像抽出部で抽出した代表画像の映像信号を前記映像情報獲得部から入力し、画像記録媒体に記録、または画像表示装置に表示する画像記録・表示部を備えたものである。
【００１３】
【作用】
以上のような構成において、カメラ操作情報や撮影状態情報を入力情報とし、動画像の内容が変化する際の入力情報の変化規則を予め選出しておき、変化規則と入力情報を比較することで、撮影者が特定の被写体を撮影しつづけた動画像や特定の画角、撮影条件で撮影しつづけた動画像をショットとして検出できる。これによって、録画開始から終了までの動画像の単位にとらわれず、動画像を画像内容に応じた任意個数のかたまりにまとめることができる。
【００１４】
また、上記方法で検出されたショットを基に代表的画像を選ぶことにより、動画像の内容の変化度合に応じて必要個数の代表画像が得られるようになり、さらに、抽出した代表画像の情報を記録・表示することで、できるだけ少ない画像で動画像全体の内容をよく表せるようになる。
【００１５】
【実施例】
（実施例１）
まず、本発明のショット検出方法の第１の実施例について説明する。ここで、「ショット」とは、１カットの画像を撮影している間に、パンニングやズーミングなどのカメラ操作を続けたり、特定の被写体を撮りつづけたりして、撮影者が１つの場面として意図的に連続撮影した動画像のかたまりとする。それに対して、「カット」は、カメラにおいて録画開始操作をしてから録画終了操作をするまでの間に連続して撮影された動画像のかたまりとする。
【００１６】
例えば、図２の動画像に対して、カットの単位で区切ると、画像Ｂまでが「黄色い車」の写ったカット、画像Ｃ〜Ｎが「赤い服の人物」と「茶色い屋根の小屋」の両方の写ったカット、画像Ｏからは「高層ビル」の写ったカットが始まっている。一方、ショットについて考えると、画像Ｃ〜Ｎのカットの中に、
・「赤い服の人物」をアップショットで撮影した区間（画像Ｅ〜Ｆ付近）
・「茶色い屋根の小屋」をややロングショットで撮影した区間（画像Ｍ〜Ｎ付近）
の２つのショットが含まれることがわかる。
【００１７】
まず、図１を基に本発明のショット検出方法の概要を説明する。図に示すように、本発明のショット検出方法は、画像情報出力部１、ショット変化度合検出部２、ショット検出部３の３つの部分で実現されている。
【００１８】
画像情報出力部１は、映像信号を処理した情報、撮影時にユーザが行ったカメラ操作の情報、センサの出力情報を出力する。この３種類の情報に関しては、以後、それぞれの種類の情報を総称して、画像処理情報、カメラ操作情報、撮影状態情報と呼ぶことにする。３情報の詳しい説明は後述する。図１では、画像処理情報２０の例として、高周波成分（の大きさ）２１と色ヒストグラム２２を、カメラ操作情報３０の例として、録画開始／終了３１とズーム（倍率）３２を、撮影状態情報４０の例として、パンニング速度４１を挙げている。
【００１９】
ショット変化度合検出部２は、画像情報出力部１からの情報を入力として、画像内容の変化する度合を検出する。ショット検出部３では、ショット変化度合検出部２からの結果をもとに、動画像中でショットと判定される区間を検出する。
【００２０】
続いて、画像情報出力部１、ショット変化度合検出部２、ショット検出部３の各部の動作について詳細に説明する。
【００２１】
始めに、図３を用いて画像情報出力部１について説明する。図において、４はカメラ、５は映像信号、２０は画像処理情報、２１は高周波成分の大きさ、２２は色ヒストグラム、２３は動きベクトル、２４は高周波成分検出部、２５は色ヒストグラム検出部、２６は動きベクトル検出部、３０はカメラ操作情報、３１は録画開始／終了のボタン押下信号、３２はズーム倍率、３３はオート／マニュアルのモードのボタン設定、４０は撮影状態情報、４１は角速度センサの出力（パンニング時の速度）、４２はズーム倍率を換算するためのレンズ焦点距離、４３は絞り開度センサの出力、４４はフォーカス距離である。図３に示すように、画像情報出力部１は、カメラと多数の出力端子からなっており、ビデオカメラで撮影中、画像処理情報２０、カメラ操作情報３０、撮影状態情報４０を順次出力する。
【００２２】
ここで画像処理情報は、撮像素子で撮像した映像信号をもとにして自動的もしくは人間が関与して抽出処理した情報の総称である。図３では例として、フォーカス制御を行うために求めた映像信号の高周波成分の大きさ２１、画面内の色ヒストグラム２２、画面各所の動きベクトル２３を示している。この情報はすべて、カメラ４から映像信号５を入力し、それぞれ高周波成分検出部２４、色ヒストグラム検出部２５、動きベクトル検出部２６において求められる。その他、フレーム間における輝度信号や色信号の差異を求めたフレーム間差分値、あるいは映像信号から被写体領域の位置や大きさの情報なども画像処理情報に含まれる。
【００２３】
また、カメラ操作情報は、ユーザがビデオカメラで撮影する際に行った、ボタン操作をもとにした情報の総称である。図３では、例として、撮影の開始／終了のボタン操作により撮影の開始点／終了点を表す情報３１、撮影中のズーム操作から換算されたズーム倍率を表す情報３２、Ａｕｔｏ／Ｍａｎｕａｌの設定の情報３３を示している。
【００２４】
また撮影状態情報は、カメラの撮影中の状態をセンサーなどで検出した情報の総称である。図３では、例として、角速度センサーによって検出したパンニング速度の情報４１、撮影時のズーム倍率を示すレンズ焦点距離４２、絞り開度センサによって検出した絞り開度情報４３、フォーカス距離４４を示している。
【００２５】
次に、ショット変化度合検出部２とショット検出部３について説明する。ただしここでは、例として、高周波成分（の大きさ）２１、色ヒストグラム２２、録画開始／終了のボタン押下信号３１、ズーム倍率３２、パンニング速度４１の５つの情報が入力する場合に限定して説明する。
【００２６】
まず、図２の動画像を例にとり、ショット変化度合検出部２、ショット検出部３において、ショットを検出する原理を説明する。図５は、図２の各画像に対して、録画開始／終了、ズーム倍率、画面内の高周波成分の大きさ、色ヒストグラム、パンニングの速度、の５つの情報をプロットしたものである。ただし、色ヒストグラムは多数の色の中から茶色、赤色、黄緑に対する頻度だけを抽出して表示した。また、パンニング速度は、水平方向の速度に限定している。図からわかるように、ショットのの区間（Ｅ〜Ｆ、Ｍ〜Ｎ）は、全ての情報が一定値で安定しているのに対し、１つのショットから別のショットへ移る区間（Ｃ〜Ｅ、Ｆ〜Ｍ）では少なくとも１つの情報が変化していることがわかる。このことから、入力情報の変化度合を調べれば、現在処理中の画像が、ショットの区間中なのか、それとも別のショットに移行中なのか、わかるはずである。ここで、「処理中の画像が別のショットに移行中である」という信頼度をショット変化度合と呼ぶことにし、以下、入力される情報の変化度合を、各情報のショット変化度合として検出し、各情報に関するショット変化度合からショットの区間を特定する方法を説明する。
【００２７】
図４は、ショット変化度合検出部２、ショット検出部３の具体的な構成図である。図において、５１は微分フィルタ、５２は絶対値処理部、５３はローパスフィルタ、５４はゲイン調整部、５６は最大値検出部、５７は状態判定部、５８はショット区間出力部、５９はカウンタである。
【００２８】
まず、ショット変化度合検出部２では、入力される情報それぞれのショット変化度合を検出する。ここで、ショット変化度合は［０，ｍａｘ］（ｍａｘ：定数）の範囲の値に正規化されており、値が大きいほど、処理中の画像が別のショットに移行中の可能性が高いことを示すものとする。
【００２９】
ショット変化度合の検出方法は、入力情報によって多少異なっている。高周波成分（の大きさ）２１、ズーム倍率３２、パンニング速度４１の情報に関しては、まず微分フィルタ５１を通し、絶対値処理部５２で絶対値を求めることにより、各情報の時間的変動の大きさを求める。さらに、細かいノイズの影響を少なくし、大域的な変化だけを検出するため、ローパスフィルタ５３を通す。最後にゲイン調整部５４において、各情報固有のゲインをかけて正規化し、出力がショット変化度合の範囲内の値をとるように調整する。また色ヒストグラムのように、多次元のパラメータに関しては、隣接フレーム間での相関計算を行う。色ヒストグラム２２の場合、ヒストグラム相関検出部５５において、ヒストグラム差分などの相関計算を行う。さらに他の情報と同様に、ローパスフィルタ５３を通し、ゲイン調整部５４において正規化する。ただし、ここでの正規化は、相関が低いほど大きい値を出力するように調整する。また、録画開始／終了のボタン押下信号３１に関しては、ゲイン調整部５４において、カットの切れ目のとき ｍａｘ 、切れ目でないとき０の値を出力するよう、調整する。以上のようにして、ショット変化度合検出部２では、入力情報毎にショット変化度合を検出する。
【００３０】
一方、ショット検出部３では、各情報に関するショット変化度合をもとに、ショットの区間を検出する。まず、最大値検出部５６では、ショット変化度合検出部２から同時刻に出力されるすべてのショット変化度合を比較し、その最大値Ｍを求める。状態判定部５７では、求めた最大値Ｍを所定のしきい値ＴＨと比較し、比較結果をもとに、現在処理中の画像の状態を以下のように判定する。
【００３１】
Ｍ ＞ ＴＨのとき、現在処理中の画像はショット外である
（別のショットへ移行中である） …（Ａ）
Ｍ ≦ ＴＨのとき、現在処理中の画像はショット区間内にある …（Ｂ）
ショット区間出力部５８では、状態判定部５７の出力（Ａ ｏｒ Ｂ）に応じて以下のような処理を行う。
・状態判定部５７の出力がＡのとき、
カウンタ５９の内容Ｃを読み込む。
【００３２】
Ｃ＞０の場合、Ｃを出力し、その後カウンタ５９の内容を０にリセットする。
・状態判定部５７の出力がＢのとき、
カウンタ５９の内容をインクリメントする。
【００３３】
ただし、初期状態で、カウンタは０に設定されているとする。ショット終了時点で出力される値Ｃは、ショット継続中に処理した回数を表している。従って、ショット検出部３から値Ｃが出力された時、その出力を基に、直前に終了したショットの区間を特定することができる。
【００３４】
ここで、以上説明した構成が、実際の画像でどのように動作するか調べるため、図２の動画像を例にとって情報の流れを追ってみる。図６は、ショット変化度合検出部２とショット検出部３の内部のブロックの出力の時間変化を示した図である。図の上部のグラフはショット変化度合検出部２に対応しており、その中で実線は微分フィルタ５１またはヒストグラム相関検出部５５の出力を表し、破線はショット変化度合検出部２の最終的な出力（ショット変化度合）を表している。また、図６の下部のショット検出部３に対応するグラフでは、ショット変化度合検出部２の出力（破線）とその最大値（太い実線）、しきい値を重ねて示した。また、取り扱う入力情報は、録画開始／終了３１、ズーム倍率３２、画面内の高周波成分の大きさ２１、色ヒストグラム２２、パンニングの速度４１、の５つに限定し、さらに色ヒストグラムは３色のみ、パンニングの速度は水平方向に限定して表示してある。図６において、各入力情報に対するショット変化度合は、ショット以外の区間（Ｃ〜Ｅ、Ｆ〜Ｍ）で大きな値を出力している。また、ショット変化度合の最大値は、ショット以外の区間でしきい値を越えていることがわかる。従って、ＦとＮの画像を処理する際、ショット検出部３からそれぞれＥ〜Ｆ、Ｍ〜Ｎの区間中の処理回数（Ｌ１，Ｌ２）が出力され、Ｌ１、Ｌ２により、Ｅ〜Ｆ、Ｍ〜Ｎがショットの区間であると特定できる。
【００３５】
以上のように、カメラ操作情報または画像処理情報または撮影状態情報を入力とし、各情報に関するショット変化度合を検出することにより、ショットの区間が特定でき、動画像を画像内容に応じた単位でまとめることができる。
【００３６】
なお、上記実施例では、画像情報出力部１の具体例としては、図３を用いて、撮影中、カメラから直接情報を出力する方法を説明した。しかし、別の方法として、撮影中はカメラからの情報を記録媒体に記録し、ショット検出を行う際に、記録媒体から情報を読み出しても同様の処理が行える。この方法を図７を用いて説明する。図において、４はカメラ、５は映像信号、６は記録媒体、７は符号化処理部、８は復号化処理部、９は画像処理部、２０は画像処理情報、３０はカメラ操作情報、４０は撮影状態情報であり、破線枠内が画像情報出力部１に対応している。
【００３７】
以下に各部の動作を説明する。記録媒体６は、録画時と再生時で切り替わるスイッチを持っている。ここで、「録画時」とは、カメラ４で撮影しながら、各種情報を記録媒体に記録する期間であり、「再生時」とは、記録媒体に記録された各種情報を出力する期間である。まず、ユーザが撮影する際、記録媒体６のスイッチは「録画時」のモードに設定されている。撮影中にカメラ４から出力された映像信号５、画像処理情報、カメラ操作情報、撮影状態情報は、符号化処理部７において、符号化の処理やフォーマット合わせの処理が施され、記録媒体６に蓄積される。その後、ショットを検出する際に、記録媒体６のスイッチは「再生時」のモードに設定される。記録媒体６に蓄えられた情報は、復号化処理部８でそれぞれの情報として読み出され、画像情報出力部１の出力として、ショット変化度合検出部２に送られる。ここで、復号化処理部８をから出力された映像信号５を画像処理部９で加工し、その結果を他の画像処理情報と合わせて出力しても同様である。
【００３８】
このように、各種情報をいったん記録媒体に蓄積しても、カメラから直接得るのと同様にして、各種情報を出力できる。
【００３９】
以上の実施例では、画像処理情報、カメラ操作情報、撮影状態情報を、カメラから直接出力したり、いったん記録媒体に蓄積して後から読みだしたりする場合について説明したが、いずれにしても、必要なすべての情報は、もともとカメラから与えられていた。しかし、これら情報の一部、もしくは全部が与えられない場合でも、カメラあるいは記録媒体から出力される映像信号を処理することによって、欠如した情報に相当する情報を獲得し、獲得した情報をもとにショットを検出することができる。これについて、以下の第２の実施例のショット検出方法で詳細に説明する。
【００４０】
（実施例２）
第２の実施例は、映像信号のみから画像処理情報、カメラ操作情報、撮影状態情報を獲得し、獲得した情報からショットを検出するものである。本実施例の全体構成は、第１の実施例で用いた図１と同じであるが、画像情報出力部１の具体的な構成が異なっている。以下、図８を用いて、本実施例の画像情報出力部１において映像信号から各種情報を検出・出力する方法を説明する。ただし、ここで説明するのは、画像処理情報に関して高周波成分と色ヒストグラム、カメラ操作情報に関しては録画開始／終了の情報とズーム倍率、撮影状態情報に関してはパンニング速度、の５つの情報に限定している。
【００４１】
図８で、５は映像信号、２６は高周波成分検出部、２１は高周波成分（の大きさ）の情報、２７は色ヒストグラム検出部、２２は色ヒストグラムの情報、６０はフレーム間差分値検出部、６１はメモリ、６２は変化量検出部、６３はカットチェンジ検出部、３１は録画開始／終了の情報、６４はカメラワーク検出部、６５は動きベクトル検出部、６６はカメラワークパラメータ推定部、３２はズーム倍率の情報、４１はパンニング速度の情報である。以上の構成における各部の動作について以下に説明する。
【００４２】
まず、画像処理情報に関しては、高周波成分検出部２４、色ヒストグラム検出部２５において、それぞれ高周波成分２１、色ヒストグラム２２の情報を検出する。ここで、高周波成分検出部２４と色ヒストグラム検出部２５は、図３の各部と同じであり、既に第１の実施例で述べたので、説明は省略する。
【００４３】
次に、カメラ操作情報の内、録画開始／終了３１の情報を検出する方法を説明する。録画開始／終了の情報の検出は、フレーム間差分値検出部６０とカットチェンジ検出部６３で行われ、さらにフレーム間差分値検出部６０は、映像信号を１フレーム遅延させるためのメモリ６１と、連続するフレーム間で映像信号の差分を求める変化量検出部６２から構成されている。連続するフレーム間での差を求める信号は、輝度値やＲＧＢ値等を用い、変化量検出部６２において画素単位で連続するフレーム間の映像信号の差分演算を行い、画素ごとの差分値の総和を求めてフレーム間差分値として出力する。カットチェンジ検出部６３は、フレーム間差分値検出部６０で求めたフレーム間差分値に対してしきい値処理をする。すなわち、所定のしきい値とフレーム間差分値との比較を行い、フレーム間差分値がしきい値より大きい場合は、２枚のフレーム間で画像内容が大きく変化していると考えて、その部分でカットチェンジがあったと判断する。ここで検出したカットチェンジは、撮影の開始や終了時点に対応するので、カットチェンジの有無の信号は、カメラのボタン押下信号として得られる録画開始／終了の情報に相当する。
【００４４】
次に、カメラ操作情報の中のズーム倍率３２の情報と、撮影状態情報のパンニング速度４１の情報を検出する方法を説明する。この２つの情報は、カメラワーク検出部６４において検出され、さらにカメラワーク検出部６４は、動きベクトル検出部６５とカメラワークパラメータ推定部６６に分かれる。まず、動きベクトル検出部６５は、画面内で複数の座標位置を設定し、隣接フレームとの画素値の比較により、各座標位置での動きベクトルを検出する。カメラワークパラメータ推定部６６では、検出された動きベクトルを基に、カメラの水平、垂直方向の変化（パンニング、チルティング）や、カメラ画角の変化（ズーミング）、カメラの水平・垂直・前後の位置の変化（トラッキング、ブーミング、ドリーイング）等のカメラワークを推定する。ズーム倍率３２とパンニング速度４１は、カメラワークの１つとして推定されるので、カメラ操作情報や撮影状態情報に相当する情報が得られる。ここで、動きベクトル検出部６５、カメラワークパラメータ推定部６６の詳細な動作は、例えば特開平４ー３１７２６７で説明されているので、ここでの説明は省略する。
【００４５】
以上のように、カメラから、カメラ操作情報や撮影状態情報が得られない場合でも、映像信号を処理することにより、相当する情報を推定することができる。本実施例では、γ補正値、色温度、逆光や過順光の状態などの情報については記載しなかったが、これらの情報も、映像信号を処理することによって獲得することが可能である。上記情報を獲得後、この情報をもとにショットを検出する構成と手法については、第１の実施例と同様であり、説明は省略する。
【００４６】
（実施例３）
次に、本発明のショット検出方法の第３の実施例について説明する。本実施例は、図１のショット変化度合検出部２に関するものである。
【００４７】
第１の実施例では、図４に示すように、微分フィルタやヒストグラム相関処理によって各情報の変動量を求め、ショット変化度合を検出した。これは、「撮影者が１つのショットを撮り終わって別のショットを撮り始めるまでの期間は、各情報が大きく変化する」、という性質を利用している。しかしながら、入力される情報それぞれについて調べると、情報が大きく変化する現象以外にも、ショットを検出する際に関連するような現象があることがわかる。
【００４８】
例えば、ある被写体を撮影中に、急に別の被写体にレンズを向けると、フォーカスがずれ、ピンボケの状態が短時間続くことがあるが、この間、高周波成分は、小さくなっている。従って、「高周波成分が小さいとき、別のショットへの移行期間である」というルールが成り立つ。また、同じパンニングでも、ある被写体から別の被写体へ移るためのパンニングは、ショットの移行中と判定してほしいが、ゆっくり移動する被写体を追いかけてパンする場合には、パンニングの期間を１つのショットの区間中として認識したい。このように、同じパンニングでも、ショットの移行中の場合とそうでない場合があるので、第１の実施例のようにパンニング速度の変動量からパンニングの期間を検出できたとしても、ショットの区間を特定できないことがある。しかし、別のショットへ移行するためのパンニングは速くて短時間でおわるし、被写体をトラッキングする場合には、遅くてほぼ一定速度のパンニングが長時間継続するので、パンニング速度とパンニングの継続時間によって両者を区別することができる。
【００４９】
このように、ショットが移行する際に各情報がどのような変動パターンを示すかを予め調べておき、この変動パターンに合っているかどうかでショット変化度合を検出することにより、ショットの検出性能を高めることができる。本実施例では、各情報の変動量以外に、各情報の大きさ、各情報が所定の状態を継続する時間、を基にショット変化度合を検出する方法を説明する。
【００５０】
図９は、高周波成分２１とパンニング速度４１の２つの情報に関して、ショット変化度合の検出方法を示したものである。図において、微分フィルタ５１、絶対値処理部５２は、図４の各部と同じであり、６７、６９は推定部、６８は継続時間検出部である。以下に上記構成におけるショット変化度合検出部２の動作を説明する。
【００５１】
まず、高周波成分２１に関する検出方法を説明する。第１の実施例と同様に、微分フィルタ５１と絶対値処理部５２によって、高周波成分の時間的変動の大きさを求める。推定部６７では、高周波成分と絶対値処理部５２からの出力を、予め設定した関数で写像し、ショット変化度合として出力する。ここで、写像の関数の具体例として、図１０を用いて説明する。図１０は、２入力（高周波成分、絶対値処理部５２からの出力）、１出力（ショット変化度合）の写像関係を示している。図からわかるように、出力の値域は［０，ｍａｘ］であり、高周波成分の変動が大きい場合、または高周波成分が小さい場合に大きい値を出力するよう、設定されている。このような写像関数を予め設定することで、２つの入力に対して一意の出力がショット変化度合として求められる。
【００５２】
次にパンニング速度４１に関する検出方法を説明する。この場合も同様にして、微分フィルタ５１と絶対値処理部５２によって、パンニング速度の時間的変動の大きさを求める。さらに、継続時間検出部６８では、微分フィルタ５１からの結果を基に、パンニングの継続時間を求める。ここでパンニングの継続時間とは、撮影者がほぼ一定の速度でパンニングしつづけた時間とする。パンニング継続時間の具体的な検出方法としては、まず、パンニング速度の時間的変動量Ｄが振動許容範囲をはずれた時点から、初めてＤが許容範囲内に入る時点をパンニング開始時点として検出し、パンニング開始時点から初めてＤが振動許容範囲をはずれるまでの時間をパンニング継続時間として求める。ただし、振動許容範囲はあらかじめ［ーＷＩＤＥ，ＷＩＤＥ］（ＷＩＤＥ：正の所定数）と設定されているものとする。
【００５３】
推定部６９は、パンニング速度と、絶対値処理部５２の出力、パンニング継続時間の３つの値を、予め設定した関数で写像し、ショット変化度合として出力する。ここでの写像の関数は、図１０の２入力１出力の関係を３入力１出力に拡張したものであり、「パンニング速度が速いとき」または「パンニング速度の変動が大きいとき」または「パンニング継続時間が短いとき」に、大きい値が出力されるよう設定されている。
【００５４】
以上のように、ショットが移行する際に各情報がどのような変動パターンを示すかを予め調べておき、この変動パターンに合っているかどうかでショット変化度合を検出することにより、ショットの検出性能を高めることができる。
【００５５】
なお、上記実施例では、推定部６７、６９においてショット変化度合を検出する方法として、２入力１出力と３入力１出力の予め設定された写像関数を用いる方法を説明したが、入出力の変換に、例えばファジィ推論や多重線形関数、ニューラルネットなどを用いてもよい。
【００５６】
また、上記実施例では、入力される情報として高周波成分とパンニング速度の２種類に限定して説明したが、他の情報に対しても同様である。
【００５７】
また、上記実施例では、各情報の変動量、各情報の大きさ、各情報の所定状態が継続する時間を基に、ショット変化度合の検出を行ったが、入力する情報に応じて、他のパラメータを用いても同様である。
【００５８】
（実施例４）
次に本発明の代表画像記録・表示装置における実施例を説明する。
【００５９】
本発明の代表画像記録・表示装置は、前述のショット検出方法を利用して、動画像中の代表画像を抽出し、記録・表示するものである。ここで、代表画像とは、ブラウジングや検索などで、動画像を代表する画像として利用するために選ばれる画像であり、撮影者の意図、撮影された画像の状態、被写体の状態などの画像内容が良く表せるように選ばれる。
【００６０】
図１１に本発明の代表画像記録・表示装置の構成図を示す。図において、画像情報出力部１、ショット変化度合検出部２、ショット検出部３、画像処理情報２０、カメラ操作情報３０、撮影状態情報４０は、既に本発明のショット検出方法の実施例で説明したように、図１の構成図と同じである。また、１０は代表画像抽出部、７０はショット内代表情報検出部、７１はメモリ、７２は代表情報比較部、１１は映像信号出力部、１２は画像記録・表示部である。
【００６１】
以下、各部の動作を説明する。画像情報出力部１は、画像処理情報２０、カメラ操作情報３０、撮影状態情報４０を出力し、ショット変化度合検出部２において各情報に関するショット変化度合を検出する。ショット検出部３では、複数のショット変化度合を基にして、撮影者が１つのショットとして撮影した画像の区間を特定する。
【００６２】
一方、代表画像抽出部１０は、ショット内代表情報検出部７０、メモリ７１、代表情報比較部７２から構成されており、ショット検出部３で求めたショットの区間を基に、動画像の代表画像を求める。以下、代表画像抽出部１０の動作を説明する。
【００６３】
まず、ショット内代表情報検出部７０は、ショット検出部３で検出された各ショットに対して、同一ショットに属する画像の画像処理情報２０、カメラ操作情報３０、撮影状態情報４０を入力し、各情報の平均値を求める。検出された各情報の平均値は「ショットを代表する情報」として出力される。ここで、ショット検出部３で第ｉ番目に検出されたショットに注目し、ショットを代表する情報を数式で表すと、以下のようになる。
【００６４】
【数１】
ただし、ＩＮは、画像処理情報２０、カメラ操作情報３０、撮影状態情報４０の中で入力情報として利用される情報の数とする。例えば、入力情報を、高周波成分、色ヒストグラム、録画開始／終了、ズーム倍率、パンニング速度とする場合、ＩＮ＝５であり、ｍ（１，ｉ）は高周波成分、ｍ（２，ｉ）は色ヒストグラム、ｍ（３，ｉ）は録画開始／終了、ｍ（４，ｉ）はズーム倍率、ｍ（５，ｉ）はパンニング速度の平均値を示している。従って、ｋ番目（０≦ｋ≦ＩＮ）の入力情報に関する代表情報ｍ（ｋ，ｉ）は、
【００６６】
【数２】
と表される。
次に、メモリ７１は、ショット内代表情報検出部７０において検出されたショット毎の代表情報 Ｍ（ｉ）を蓄える。代表情報比較部７２では、ショット間で代表情報 Ｍ（ｉ）の比較を行い、検出された全てのショットの中から「代表画像を出すべきショット」を選び、選ばれたショットから代表画像を抽出する。代表情報比較部７２の処理手順は以下の通りである。
（１）最初に検出されたショットを「代表画像を出すべきショット」に選び、ショットを代表する情報 Ｍ（１）をメモリ７１内の変数 Ｍｐｒｅに代入して、Ｍｐｒｅ＝Ｍ（１）とする。
（２）２番目のショットが検出されたとき、ショットを代表する情報 Ｍ（２）をＭｐｒｅ と比較し、２つの代表情報間の距離を検出する。ここで代表情報間の距離とは、入力情報毎に１つの次元の軸を割り当てて（ＩＮ）次元空間をつくり、この空間に２つの代表情報をプロットしたときの距離である。例えば、ａ番目のショットとｂ番目のショットの代表情報の距離Ｄｉｓ（ａ，ｂ）は、
【００６８】
【数３】
で表される。
（３）Ｄｉｓ（１，２）を所定のしきい値Ｅと比較し、以下の処理を行う。
・Ｄｉｓ（１，２）＞Ｅのとき、
２番目のショットを「代表画像を出すべきショット」として選択し、ショットに属する画像の中から、中央に位置する画像Ｆ（２，Ｎ２／２）を代表画像として抽出する。また、メモリ７１内の変数Ｍｐｒｅに、代表情報Ｍ（２）を代入する。
・Ｄｉｓ（１，２）≦Ｅのとき、
２番目のショットは１番目のショットと画像内容が似ている、と判断される。（４）以降で検出されるショットに対しても、（２）、（３）と同様の処理を行う。すなわち、
（４−１）ｉ番目のショットが検出されたとき、Ｍ（ｉ）とＭｐｒｅを比較し、２つの代表情報間の距離Ｄｉｓ（ｉ，ｐｒｅ）を検出する。
（４−２）Ｄｉｓ（ｉ，ｐｒｅ）をしきい値Ｅと比較し、
・Ｄｉｓ（ｉ，ｐｒｅ）＞Ｅのとき、
ｉ番目のショットを「代表画像を出すべきショット」として選択し、ショットに属する画像の中から、中央に位置する画像Ｆ（ｉ，Ｎｉ／２）を代表画像として抽出する。メモリ７１内の変数Ｍｐｒｅに代表情報Ｍ（ｉ）を代入する。
・Ｄｉｓ（ｉ，ｐｒｅ）≦Ｅのとき、
ｉ番目のショットは Ｍｐｒｅの情報を持つショットと画像内容が似ている、と判断する。
（４ー３）４−１に戻り、（ｉ＋１）番目のショットに対して同様の処理を行う。
【００７０】
４−１，４−２，４−３の処理は、最後に検出されたショットまで継続され、動画像の代表画像が抽出される。
【００７１】
一方、代表画像記録・表示部１２は、映像信号やその他情報を表示するディスプレイ、または各種情報を記録する記録媒体で構成されている。代表情報比較部７２から代表画像に関する情報を入力し、映像信号出力部１１からは代表画像に対応する映像信号を入力し、代表画像の表示または記録を行う。
【００７２】
以上のようにして、ショット間で代表情報を比較し、比較結果を基に選んだショットから、代表画像を抽出することにより、できるだけ少ない代表画像ですべての画像内容を表現することが可能になる。従って、この代表画像を表示、記録して、動画像のブラウジング、検索などに利用することにより、画像内容が把握しやすくなる。
【００７３】
【発明の効果】
以上説明したように、本発明のショット検出方法は、カメラ操作情報や撮影状態情報を入力情報として画像内容の変化する度合を検出することで、撮影者が特定の被写体を撮影しつづけた動画像や特定の画角、撮影条件で撮影しつづけた動画像をショットとして検出できる。
【００７４】
本発明の方法によれば、画像内容が変化する毎に、動画像が別のショットとして分類されるので、「話の展開が速い」ときは多くのショットが、「ずっと同じような画面が続く」ときには少ないショットが検出され、動画像によって画像内容の変化の仕方が異なる場合にも、画像内容に応じた動画像の単位化が行える。
【００７５】
また本発明の代表画像表示・記録装置は、上記方法で求めたショットを用いて、代表画像を抽出することにより、少ない代表画像で多くの画像内容を網羅することが可能になり、抽出した代表画像の情報を記録・表示することで、動画像の効率的な検索、早見、編集が行えるようになる。
【図面の簡単な説明】
【図１】本発明のショット検出方法の全体構成を示す図
【図２】動画像のショットとカットの関係を説明するための図
【図３】本発明のショット検出方法の第１の実施例における画像情報出力部の構成を示す図
【図４】本発明のショット検出方法の第１の実施例におけるショット変化度合検出部およびショット検出部の具体的構成を示す図
【図５】本発明のショット検出方法の画像情報出力部の出力の時間変化を示す図
【図６】本発明のショット検出方法の第１の実施例のショット変化度合検出部およびショット検出部に関して、内部ブロックの出力の時間変化を示す図
【図７】本発明のショット検出方法の第１の実施例の画像情報出力部に関して、図３とは別の構成を示す図
【図８】本発明のショット検出方法の第２の実施例の画像情報出力部の構成を示す図
【図９】本発明のショット検出方法の第３の実施例のショット変化度合検出部の構成を示す図
【図１０】本発明のショット検出方法の第３の実施例の推定部における２入力１出力の写像関数を示す図
【図１１】本発明の代表画像記録・表示装置の実施例の構成を示す図
【符号の説明】
１ 画像情報出力部
２ ショット変化度合検出部
３ ショット検出部
４ カメラ
５ 映像信号
６ 記録媒体
７ 符号化処理部
８ 復号化処理部
９ 画像処理部
１０ 代表画像抽出部
１１ 映像信号出力部
１２ 画像記録表示部
２０ 画像処理情報
２１ 高周波成分
２２ 色ヒストグラム
２３ 動きベクトル
２４ 高周波成分検出部
２５ 色ヒストグラム検出部
２６ 動きベクトル検出部
３０ カメラ操作情報
３１ 録画開始／終了
３２ ズーム倍率
３３ オート／マニュアルのモード
４０ 撮影状態情報
４１ パンニング速度
４２ レンズ焦点距離
４３ 絞り開度センサ出力
４４ フォーカス距離
５１ 微分フィルタ
５２ 絶対値処理部
５３ ローパスフィルタ
５４ ゲイン調整部
５６ 最大値検出部
５７ 状態判定部
５８ ショット区間出力部
５９ カウンタ
６０ フレーム間差分値検出部
６１ メモリ
６２ 変化量検出部
６３ カットチェンジ検出部
６４ カメラワーク検出部
６５ 動きベクトル検出部
６６ カメラワークパラメータ推定部
６７、６９ 推定部
６８ 継続時間検出部
７０ ショット内代表情報検出部
７１ メモリ
７２ 代表情報比較部
Claims (8)
- 撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中で、撮影者が特定の被写体を撮影しつづけた動画像、及び撮影者が特定の画角や撮影条件や撮影方法で撮影し続けた動画像をショットとし、撮像装置のズームや撮影開始操作などのカメラ操作情報と撮影中のカメラのセンサーからの信号を処理して得られた撮影状態情報の少なくとも一つを入力情報とし、動画像が一方のショットから別のショットへ移行する際の前記入力情報の変化の規則を予め選出しておき、前記入力情報に関して前記変化の規則と合っている度合をショット変化度合として検出し、少なくとも１つの前記ショット変化度合をもとにして、動画像中のショットを検出することを特徴とするショット検出方法。
- 更に、入力情報として撮像した画像を処理して得られた画像処理情報を加え、前記入力情報のそれぞれの変化の規則を予め選出しておき、前記入力情報それぞれに関して前記変化の規則と合っている度合をショット変化度合として検出する、請求項１記載のショット検出方法。
- 前記カメラ操作情報および前記画像処理情報および前記撮影状態情報の前記入力情報は、カメラでの撮影の際、または予め前記入力情報の蓄積された記録媒体を再生する際、カメラまたは記録媒体から前記入力情報を直接読み出す、またはカメラまたは記録媒体から出力される映像信号を基に前記入力情報を推定することによって獲得することを特徴とする請求項２記載のショット検出方法。
- 動画像が一方のショットから別のショットへ移行する際に前記入力情報が大きく変動することを利用し、各前記入力情報に関して隣接フレーム間での相関値または時間軸の微分フィルタの出力をもとに前記ショット変化度合を検出することを特徴とする請求項２記載のショット検出方法。
- 入力情報に関して、隣接フレーム間での相関値または時間軸の微分フィルタの出力、または前記入力情報の大きさ、または前記入力情報が微小な変動のまま継続している時間をもとに前記ショット変化度合を検出することを特徴とする請求項２記載のショット検出方法。
- 撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中で、撮影者が特定の被写体を撮影しつづけた動画像、及び撮影者が特定の画角や撮影条件や撮影方法で撮影し続けた動画像をショットとし、動画像を撮影する際に撮影者がカメラを操作したカメラ操作情報を取り込むカメラ操作情報獲得手段と、カメラのセンサーからの信号を処理して得られた撮影中の撮影状態情報を取り込む撮影状態情報獲得手段のうち少なくとも１つを備えて前記カメラ操作情報または前記撮影状態情報を出力する画像情報出力部と、前記画像情報出力部からの出力に関して、予め設定された変化の規則に合っている度合をショット変化度合として検出するショット変化度合検出部と、前記ショット変化度合検出部からの出力の少なくとも１つを基にして、動画像中のショットを検出するショット検出部と、前記ショット検出部で求められたショットに属する画像から代表的な画像を抽出する代表画像抽出部と、動画像の映像信号を取り込む映像情報獲得部と、前記代表画像抽出部で抽出した代表画像の映像信号を前記映像情報獲得部から入力し、画像記録媒体に記録、または画像表示装置に表示する画像記録・表示部を備えたことを特徴とする代表画像記録・表示装置。
- 撮像した画像を処理して得られた画像処理情報を取り込む画像処理情報獲得手段を備え、画像情報出力部は、更に前記画像処理情報を出力し、ショット変化度合検出部は、前記画像情報出力部からの複数の出力それぞれに関して、予め設定された変化の規則に合っている度合をショット変化度合として検出する請求項６記載の代表画像記録・表示装置。
- 代表画像抽出部は、前記ショット検出部で検出された各ショットに対して、同一ショットに属する画像の各種情報を入力して各ショットの代表情報を求めるショット内代表情報検出部と、前記ショット内代表情報検出部で求められたショットの代表情報を蓄えるメモリと、ショット間で代表情報を比較して、比較結果を基にショットを選び、 選ばれたショットに属する画像から代表画像を抽出する代表情報比較部から構成されることを特徴とする請求項５記載の代表画像記録・表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02650794A JP3561942B2 (ja) | 1994-02-24 | 1994-02-24 | ショット検出方法および代表画像記録・表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02650794A JP3561942B2 (ja) | 1994-02-24 | 1994-02-24 | ショット検出方法および代表画像記録・表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07236115A JPH07236115A (ja) | 1995-09-05 |
| JP3561942B2 true JP3561942B2 (ja) | 2004-09-08 |
Family
ID=12195404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02650794A Expired - Fee Related JP3561942B2 (ja) | 1994-02-24 | 1994-02-24 | ショット検出方法および代表画像記録・表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3561942B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10276395A (ja) * | 1997-03-28 | 1998-10-13 | Sony Corp | 画像処理装置および画像処理方法、並びに記録媒体 |
| JP4656680B2 (ja) | 1998-11-30 | 2011-03-23 | シャープ株式会社 | 画像検索情報記録装置及び画像検索装置 |
| JP3732366B2 (ja) * | 1999-10-05 | 2006-01-05 | 財団法人電力中央研究所 | 画像データベース装置及び画像データベース作成検索方法 |
| JP4497761B2 (ja) * | 2001-07-18 | 2010-07-07 | キヤノン株式会社 | 画像処理装置及びインデックス作成方法 |
| JP4433937B2 (ja) | 2004-08-24 | 2010-03-17 | ソニー株式会社 | 撮像装置、撮像方法および撮像プログラム、ならびに、記録装置、記録方法および記録プログラム |
| JP2006244424A (ja) * | 2005-03-07 | 2006-09-14 | Nippon Telegr & Teleph Corp <Ntt> | 映像シーン分類方法及び装置及びプログラム |
| JP2007081594A (ja) | 2005-09-13 | 2007-03-29 | Sony Corp | 撮像装置、記録方法 |
| JP4379409B2 (ja) | 2005-11-08 | 2009-12-09 | ソニー株式会社 | 撮像装置、および情報処理方法、並びにコンピュータ・プログラム |
| JP2008085539A (ja) * | 2006-09-27 | 2008-04-10 | Sony Corp | プログラム、検出方法、検出装置、画像処理方法、及び画像処理装置 |
| JP5228760B2 (ja) * | 2008-09-30 | 2013-07-03 | カシオ計算機株式会社 | 撮像装置及びプログラム |
| WO2022259618A1 (ja) * | 2021-06-08 | 2022-12-15 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
1994
- 1994-02-24 JP JP02650794A patent/JP3561942B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07236115A (ja) | 1995-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100215586B1 (ko) | 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법 | |
| US7453506B2 (en) | Digital camera having a specified portion preview section | |
| US7433586B2 (en) | Camera with an auto-focus function | |
| JP3230858B2 (ja) | 動画像の優先度自動選択方法および動画像ダイジェスト自動表示装置 | |
| JP4241709B2 (ja) | 画像処理装置 | |
| US20050228849A1 (en) | Intelligent key-frame extraction from a video | |
| JPH09130732A (ja) | シーンチェンジ検出方法および動画像編集装置 | |
| US20120082389A1 (en) | Image processing device and computer-program product of image evaluation | |
| JP2004208318A (ja) | アーカイブ像の中の重要領域を決定する撮像装置と方法 | |
| JP3561942B2 (ja) | ショット検出方法および代表画像記録・表示装置 | |
| EP2053540B1 (en) | Imaging apparatus for detecting a scene where a person appears and a detecting method thereof | |
| US7742072B2 (en) | Monitoring image recording apparatus | |
| JP6660236B2 (ja) | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 | |
| JP3404803B2 (ja) | 動画像記録媒体、静止画像抽出装置、動画像記録装置および静止画像自動抽出方法 | |
| JP4154012B2 (ja) | 画像表示方法を実現するためのプログラムを記録した記録媒体及び画像合成装置 | |
| US7982792B2 (en) | Image processing apparatus | |
| JP2003032600A (ja) | 画像処理装置、インデックス作成システム、インデックス作成方法、記録媒体及びプログラム | |
| JP2009267773A (ja) | 映像編集装置、撮影装置および映像編集方法 | |
| JP2008199330A (ja) | 動画像管理装置 | |
| JP4654552B2 (ja) | 画像記録再生装置、再生装置、記録再生方法および再生方法 | |
| JP4842232B2 (ja) | 撮影装置及び画像再生装置 | |
| JP3525493B2 (ja) | 静止画像抽出装置、動画像記録装置および静止画像自動抽出方法 | |
| JPH11261946A (ja) | 映像表示方法および装置並びに該映像表示方法を記録した記録媒体 | |
| JP7353821B2 (ja) | 画像処理装置、その制御方法、プログラム | |
| JP4520792B2 (ja) | 自動焦点制御方法及び自動焦点制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040511 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040524 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080611 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090611 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110611 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120611 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120611 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |