JPWO2008136466A1

JPWO2008136466A1 - 動画編集装置

Info

Publication number: JPWO2008136466A1
Application number: JP2009513012A
Authority: JP
Inventors: 富康大出
Original assignee: DEP INC.
Current assignee: DEP INC.
Priority date: 2007-05-01
Filing date: 2008-04-28
Publication date: 2010-07-29
Also published as: WO2008136466A1

Abstract

あるテーマに沿って面白みのあるストーリー展開をする動画を自動的に作成できる動画編集装置を提供する。動画編集装置は、複数の動画素材それぞれのシーンの内容を示す情報が含まれたメタデータとそれぞれの画像データとを含む画像データベース、前記複数の動画素材同士の関連性が記憶された関連性データベース、および前記複数の動画素材同士を組み合わせた場合の効果が記憶された効果データベースを有する記憶部１３と、１以上の検索条件が入力される入力部１１と、前記入力部に前記検索条件が入力されると、前記効果データベースを検索し所定の順で並ぶ複数の動画素材を抽出する処理部１２とを有する。

Description

本発明は、動画編集装置に関し、特にメタデータを付与された画像データを編集する装置に関する。

従来、動画像や静止画像を編集してストーリー性のある動画（映画やテレビ番組、ビデオクリップ等を含む）が作成されている。近年、デジタル技術の普及に伴い、動画の一部となる動画像や静止画像（以下「動画素材」または「クリップ」と称する）がデジタルデータとしてデータ化されるようになっている。

近年、動画素材のデジタルデータには、表示装置に画像を表示させるための情報（画像データ）に加え、メタデータと呼ばれる付加情報を含まれる。メタデータとしては、動画素材の識別用の符合、タイトル、内容、撮影日時、出演者、その役柄、および著作権情報などがある。

メタデータは、近年、複数の動画を編集するために利用されている。例えば、特許文献１には、動画素材の制作日時、出演者名、その内容を示すキーワード等をメタデータとして登録することで、動画の各シーンに用いられる動画素材を容易に検索できるようにした動画編集装置が開示されている。

また、特許文献２には、動画素材のデータの他に、複数の動画素材の接続規則に関するデータを記憶装置に記憶させ、接続規則に関する情報を各動画素材について登録しておくことで、自動的な動画編集を可能とする動画編集装置が開示されている。
特開２００５−３０３８４０号公報特開平９−１４９３１８号公報

特許文献１の動画編集装置は、複数の動画素材をどのような順序で並べ、組み合わせるかが予め決定されている場合に、複数の動画素材を自動的に並べ替え、編集作業を容易かつ迅速にすることに寄与する。

ところで、ある動画素材をどのような他の動画素材と組み合わせ、どのような順序でつなげるかは、動画の出来栄えを左右する。しかし、どのような動画素材をどのような動画素材と組み合わせれば、どのような動画の効果が得られるかは、これまで編集者の技能、ノウハウに依存しており、自動化されていない。このため、動画の編集技能やノウハウを持たない、いわゆる素人にとって、鑑賞に堪える面白い動画を作製することは容易ではない。

特許文献１の編集装置は、他の動画素材との組み合わせや並び順が決定されていない動画素材を自動的に編集できない。このため、特許文献１の編集装置では複数の動画素材を並べて鑑賞に堪える動画を自動的に作成することはできない。

また、特許文献２の動画編集装置では、人や物等に焦点を合わせて画面がスムーズに連続した動画を自動編集することが可能となる。しかし、編集された動画に面白みのあるストーリー展開を与えることはできない。

本発明は上記課題に鑑み、あるテーマに沿って面白みのあるストーリー展開をする動画を自動的に作成できる動画編集装置を提供することを目的とする。

具体的には、本発明は、複数の連続する映像素材であるショットのそれぞれの内容を示す情報であるショットメタデータを記憶するショットメタデータ・データベースと、前記複数の連続する映像素材のそれぞれの画像データを記憶する画像データベースと、複数の前記ショット同士の関連性データを記憶する関連性データベースとを有する記憶部と、前記複数の連続する映像素材を入力し、且つ１以上の検索条件を入力するための入力部と、前記検索条件に対応する結果を出力表示するための出力表示部と、前記入力部に前記検索条件が入力されると、記憶された１以上の前記ショット及び１以上の前記ショットと関連する映像素材を前記記憶部から抽出して、所定の順に配列して前記出力表示部に再生表示させる処理部と、を有する動画編集装置を提供する。

本発明の動画編集装置は、ディスプレイ装置を含むデスクトップ・タイプ・パーソナルコンピュータ又は、ノート・タイプ・パーソナルコンピュータであっても良い。

本発明の動画編集装置の前記処理部は、前記入力部に前記検索条件が入力されると、前記効果データベース、前記関連性データベース、前記カット構成パターン・データベース及び前記ショットメタデータ・データベースを検索し、検索された１以上の前記ショットを前記所定の順に配列して前記出力表示部に表示させるための配列順序を、前記ショットメタデータに基づいて記述するシーン構成部を有しても良い。

本発明の動画編集装置の前記シーン構成部は、検索された１以上の前記ショットを検索条件に合致する項目の多い順に、且つ合致する項目数が同じ場合には前記効果順に配列して前記出力表示部に表示させるための配列順序を、前記ショットメタデータに基づいて記述しても良い。

本発明の動画編集装置の前記所定の順は、画像編集のために前記複数のショットのそれぞれのショットがユーザによって選択された選択回数をパラメータとする評価データの数値の大きい順であり、前記動画編集装置は、前記評価データを含む効果データを記憶する効果データベースを前記記憶部内にさらに有しても良い。

本発明の動画編集装置は、前記シーン構成部の作成した前記記述に従って、前記画像データベースから所望の１以上の前記ショットの画像データを抽出して配列し、前記出力表示部に出力表示させるシーン再生部をさらに有しても良い。

本発明の動画編集装置は、前記入力部から入力された複数の連続する映像素材を連続する複数の画像に分割して一つひとつの画像の内容を示す情報であるメタデータを抽出し、前後する２つの画像のそれぞれの前記メタデータの差分に基づいて前記複数の連続する映像素材を複数のショットに分割するショット自動認識部と、分割された前記複数のショット毎の前記ショットメタデータを抽出するショットメタデータ抽出部とを有するショット情報自動抽出部をさらに備えても良い。

本発明の動画編集装置の前記ショット自動認識部は、顔認識技術及び画像認識技術に基づいて、一つの画像の主な被写体と背景とを分離して前記メタデータを抽出しても良い。

本発明の動画編集装置の前記ショットメタデータ抽出部は、前記入力部から前記複数の連続する映像素材を入力する際にユーザによって入力された所定の情報を、自動的に前記ショットメタデータに反映しても良い。

前記ユーザからの入力情報は、少なくともシーンタイトル、シーンタイプ及びシーン効果を含むシーン情報であっても良い。

本発明の動画編集装置は、前記ショット情報自動抽出部においてユーザが指定した既存の映画のシーンから前記ショットメタデータを作成し、作成された前記ショットメタデータとユーザによって入力された前記既存の映画のシーンの前記シーン情報とによって、前記既存の映画のシーンの構成パターンを分析して蓄積し、蓄積された複数の前記構成パターンから所望の映像効果に合わせシーンを構成するための前記ショットの組合せパターンを生成するカット構成パターン生成部をさらに有しても良い。

本発明の動画編集装置の前記入力部はグラフィック・ユーザ・インタフェースによって構成され、ユーザの操作により、少なくとも検索条件入力画面と前記複数の連続する映像素材及び前記シーン情報を入力する映像素材入力画面とを選択できても良い。

本発明の動画編集装置の前記出力表示部は、ユーザの操作によって前記検索された１以上のショットの配列順序が変更された場合に、前記変更された順序に従ってショットを表示し、且つユーザの操作によって前記検索された１以上のショットの配列中に前記検索された結果以外の画像又はショットが任意に追加された場合に、前記検索された１以上のショットの中に前記追加されたショット又は画像を並べて表示する表示部と、前記関連性データに基づいて前記検索された１以上のショットと関連する前記検索された１以上のショット以外の画像又はショットを一覧表示する動画素材リスト部と、ユーザが選択した任意の前記画像上にユーザがキーボードからコメントを入力した場合に、前記選択された任意の画像上に前記コメントを併せて表示するコメント枠部とのうち少なくとも一つ以上を有しても良い。

本発明の動画編集装置は、前記検索された１以上のショット以外の画像又はショットが前記１以上のショットの配列中に任意に追加された場合に、前記追加された画像又はショットの情報及び前記入力された検索条件を前記検索された１以上のショットのそれぞれの前記関連性データ中に反映し、且つ、前記検索された１以上のショットの情報及び前記入力された検索条件を前記追加された画像又はショットのそれぞれの前記関連性データ中に反映しても良い。

本発明の動画編集装置は、前記検索された１以上のショット以外の画像又はショットが前記１以上のショットの配列中に任意に追加された場合に、前記追加された画像又はショットの前記効果データ中に前記入力された検索条件を反映しても良い。

本発明の動画編集装置は、前記検索された１以上のショット以外の画像又はショットが前記１以上のショットの配列中に任意に追加された場合に、前記入力された検索条件において前記画像又はショットが追加のために採用された回数を、前記追加された画像又はショットの前記入力された検索条件における評価として反映しても良い。

本発明の動画編集装置は、前記検索された１以上のショットの配列順序がユーザによって任意に変更された場合に、変更後の前記複数のショットの配列順番を前記カット構成パターンとして前記カット構成パターン・データベースに記憶しても良い。

本発明は、複数の連続する映像素材の一区切りであるショットのそれぞれの内容を示す情報であるショットメタデータを記憶するショットメタデータ・データベースと、前記複数の連続する映像素材のそれぞれの画像データを記憶する画像データベースと、複数の前記ショット同士の関連性データを記憶する関連性データベースと、および複数の前記ショ
ット同士を組み合わせた場合の効果データを記憶する効果データベースとを有する記憶部を備えるサーバと、前記複数の連続する映像素材を入力し、且つ１以上の検索条件を入力するための入力部と、前記検索条件に対応する結果を出力表示するための出力表示部と、前記入力部に前記検索条件が入力されると、記憶された１以上の前記ショット及び１以上の前記ショットと関連する映像素材を前記効果データベース、前記関連性データベース、前記カット構成パターン・データベース及び前記ショットメタデータ・データベースから検索し、検索された１以上の前記ショットを所定の順に配列して前記出力表示部に表示させるための配列順序を、前記ショットメタデータに基づいて記述するシーン構成部を有する処理部とを備えるクライアントと、から構成されることを特徴とする動画編集装置を提供する。

本発明の動画編集装置の前記サーバは、前記入力部に前記検索条件が入力されると、記憶された１以上の前記ショット及び１以上の前記ショットと関連する映像素材を前記効果データベース、前記関連性データベース及び前記ショットメタデータ・データベースから検索し、検索された１以上の前記ショットを前記所定の順に配列して前記出力表示部に表示させるための配列順序を、前記ショットメタデータに基づいて記述するシーン構成部を有する処理部を備え、前記クライアントの前記処理部は、入力部から入力された検索条件を前記サーバの前記処理部に転送し、且つ、前記サーバの前記処理部から転送された前記所定の順に配列された前記検索された１以上のショットの画像データを前記出力表示部に表示させることを制御しても良い。

本発明の動画編集装置の前記サーバは、インターネット上の動画投稿サイトから所定の映像素材をダウンロードして前記映像素材を複数のショットに分割し、前記複数のショットから画像データ及びショットメタデータを作成し、前記記憶部に記憶された画像データ及びショットメタデータと、前記分割された複数のショットの前記画像データ及びショットメタデータとを比較し、前記比較結果に基づいて同一のショットメタデータを有する前記所定の映像素材の所在情報をクライアントの出力表示部に表示することで動画投稿サイト検索方法及び動画投稿サイト検索サービスを提供しても良い。

本発明では、複数の動画素材それぞれに、その内容を示す情報（例えば、場面や登場人物、その動作についての情報）をメタデータとして記憶させる。また、複数の動画素材同士を特定の順序で並べてあるテーマの動画にした場合の、これら複数の動画素材の並び順を関連性データベースとして記憶させる。さらに、複数の動画素材同士を特定の順序で並べた場合に得られる表現上の効果を効果データベースとして記憶させる。

これにより、入力部に検索条件が入力されると、処理部は効果データベース、関連性データベース、および各動画素材のメタデータを検索して、検索条件に合致する複数の動画素材が面白みのあるストーリー展開をするように並べられて表示される。

本発明によれば、視聴者にとって面白みを感じさせるようにストーリー展開される動画が自動的に編集される。

ショットの構成要素を示す概略図である。ショット情報に含まれる情報要素であるメタデータの一例を示す図である。本発明の一実施態様に係る動画編集装置のブロック図。本発明の一実施形態に係る動画編集装置のより詳細な構成を示すブロック図である。関連性データベースの内容の一例を示す図である。画像データベースの内容の一例を示す図である。効果データベースの内容の一例を示す図である。本発明の一実施形態に係る画像編集装置における、ショット抽出の一例を示す図である。ショットメタデータの一例を示す図である。入力部（ＧＵＩ）の一例を示す図である。シーン構成ルールの一例を示す図である。本発明の一実施形態に係る動画編集装置におけるカット構成パターン自動生成を示す概略図である。上記動画編集装置を用いた動画編集手順の一例を示すフロー図である。本発明の一実施形態に係る動画編集装置における動画編集動作のフローの詳細図である。入力部への入力に応じた検索結果が表示された状態の一例を示す図である。出力表示部に動画素材が表示された状態の一例を示す図である。

符号の説明

１０動画編集装置
１１入力部
１２処理部
１３記憶部
１４出力表示部
２０ショット情報自動抽出部
２１ショット自動認識部
２２ショットメタデータ抽出部
２３シーン構成部
３０ショットメタデータＤＢ
３４関連性ＤＢ
３５効果ＤＢ
４０ショット情報自動抽出システム
５０シーン構成システム
６０シーン再生システム

以下、図面を用いて本発明について詳細に説明するが、まず、動画編集に関する用語について、以下に説明する。但し、用語の意義はこれに限定されるものではない。

本明細書において、一つの主題（テーマ）に沿って、内容が異なる２以上の画像が展開してなる映像を「動画」と称する。動画は、２以上の静止画像または１以上の動画により構成され、映画を構成する静止画像のそれぞれ、または連続して展開される画像の一つ一つを「動画素材」と称する（以下において、映像素材という場合もある。）。

本明細書において、一回の撮影で撮影された連続的な映像素材（即ち、画像の連続。）を「ショット」と称する。また、連続して視聴することが期待されている作品全体を「コンテンツ」といい、一定の場所の中での一区切りの動作を「シーン」といい、連続した撮影シーン内での一区切りを「カット」という。即ち、複数のカットを時系列に並べることによりシーンが構成され、複数のシーンを時系列に並べることによりコンテンツが構成される。また、「ショット」と「カット」の関係は、連続的な映像素材である「ショット」から、連続する一区切りの映像として構成したものが「カット」である。なお、本発明の一実施形態に係る動画編集装置においては、「一区切り」とは、連続する画像から構成さ
れる一場面をいい、連続する２つの画像間において、画像の内容を示すデータであるメタデータに含まれる情報要素の差分が所定の閾値を超える場合に、当該２つの画像の間で一区切りとされる。ここで、前記情報要素とは、オブジェクトリストや映像空間対応、カメラ移動等のショット情報及び、オブジェクトタイプ、オブジェクトネーム、オブジェクトの位置等のキーオブジェクト情報である。また、前記所定の閾値は、ユーザが任意に設定することができる。

また、本明細書において、「カメラ」とは、ビデオカメラ、映画撮影用カメラ等の動画撮影用のカメラを総称する。そして、映像をカメラで撮影した場合にカメラで撮影された範囲（即ち、映像の枠）を「画像フレーム」といい、一方、動画は連続した画像から構成されているが、この映像の１コマ（即ち、それぞれの画像）を単に「フレーム」という。

さらに、撮影者が目的を持って撮影を行っている限り、ショットは、概略次のような構成要素を含む。即ち、「キーオブジェクト」、「背景」、「映像空間」である。「キーオブジェクト」とは、撮影の主体となっている人物、動物、モノ（例えば、自動車、飛行機、列車等）をいい、山や建物等の静止物の場合もあるが、一般的にはカメラのフレームにあって動くものが対象とされる。「背景」とは、撮影された空間上でカメラに映っているが、撮影者の主たる撮影対象でないものをいい、「映像空間」とは、撮影された映像を人間が認識する場合にフレーム内外に想定される３次元の空間をいう。

これを、図を基に説明する。図１は、ショットの構成要素を示す概略図である。図１においては、キーオブジェクト１０１として、人物を表示している。画面の枠が画像フレーム１０２である。画像フレーム１０２内のキーオブジェクト１０１の以外が背景１０３であり、図１においては、人物の後ろの壁や床が背景１０３に該当する。また、図１からは把握しにくいが、画像フレーム１０２の内外に想定される３次元の空間が映像空間１０４である。そして、一つのショットは、上述したように一回の撮影で撮影された連続的な映像であり（即ち、画像の連続）、従って、そこにおいてはキーオブジェクト１０２の移動が生じる場合がある。図１において、キーオブジェクト１０２の移動を矢印で示している。

図１に示したような構成要素からなるショットには、多数の情報要素が含まれる。例えば、ショット全体に関する情報要素であるショット情報であり、また、撮影者の主な撮影対象であるキーオブジェクトに関する情報要素であるキーオブジェクト情報である。かかるショット情報及びキーオブジェクト情報等を総称してメタデータという。図２は、ショットに含まれる情報要素であるメタデータの概略である。図２に示すように、ショット情報には、概略、オブジェクトリスト、映像キー、映像空間タイプ及びカメラ移動が含まれる。キーオブジェクト情報には、概略、オブジェクトタイプ、オブジェクトネーム、オブジェクトショット、オブジェクトの位置、オブジェクト移動等が含まれる。

［動画編集装置のシステム構成］
以下に、本発明の一実施形態に係る動画編集装置のシステム構成について、図を基に説明する。図３は、本発明の一実施態様に係る動画編集装置の構成を示すブロック図である。図４は、本発明の一実施形態に係る動画編集装置のより詳細な構成を示すブロック図である。

図３に示すように、本発明の一実施態様に係る動画編集装置１０は、入力部１１、処理部１２、記憶部１３、および出力表示部１４を有する。

入力部１１は、表示装置等に表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ＿Ｕｓｅｒ＿Ｉｎｔｅｒｆａｃｅ）からなる入力画面である。入力部１１は、図示はしないが、撮影した映
像素材をエントリーする映像素材エントリー画面、検索条件を入力する検索条件入力画面等からなり、それぞれの画面は、ファンクションキーや選択ボタンを選択することで表示可能とされており、ユーザの選択によって目的の入力画面が表示される。映像素材エントリー画面には、後の編集に必要なデータ、例えば、「内容」、「撮影場所」、「撮影日時」等を入力するフィールドが設けられ、ユーザが必要な情報を入力できる。また、検索条件画面には、ユーザの検索を容易にするために、一例として、テーマ選択部、効果選択部等の各種選択部が設けられる。各選択部は、入力フィールドにカーソルが移動すると所定のプルダウンメニューが表示されるように構成されても良い。また、チェックボックス形式のメニューであっても良い。

処理部１２は、ＣＰＵやＲＡＭ等から構成され、図４に示すように、内部にショット情報自動抽出部２０、シーン構成部（シーン構成エンジンという場合がある。）２３、シーン再生部（シーン再生エンジンという場合がある。）２４、シーン構成ルール部２５及びカット構成パターン生成部（カット構成パターン生成エンジンという場合がある。）２６を備える。そして、ショット情報自動抽出部２０は、さらに内部にショット自動認識部（ショット自動認識エンジンという場合がある。）２１及びショットメタデータ抽出部２２を備える。

ショット自動認識部２１は、顔認識技術や画像認識技術に基づいて、連続した複数の画像を分析する。即ち、連続する映像を、個々のフレームに分割して、フレーム毎にメタデータ（ショット情報及びキーオブジェクト情報）等の映像情報を抽出する。そして、連続する画像から前後の映像情報の差分を抽出し、時間の前後で大きく映像情報が異なる場合、その時点で１ショットが終了したとみなして連続する映像をショット単位に切り分ける。より具体的には、フレーム毎のメタデータを比較して、データの内容が大きく異なる場合、その時点で１ショットが終了したとみなしても良い。その上で、ショット毎に「ショット番号」と「ショットの開始・終了時間」の情報を付加する。

ショットメタデータ抽出部２２は、ショット自動認識部２１からのフレーム毎のメタデータ、ショット番号及びショットの開始・終了時間から、１ショット中の各フレームに共通するメタデータである「ショットメタデータ」を抽出する。

シーン構成部２３は、入力部１１からの入力に基づいて、記憶部１３に保存された膨大な映像データから目的に沿ったシーンを抽出して表示するためのシーン記述情報を作成して、シーン再生部２４に転送する。この時、詳細は後述するが、記憶部１３内の、効果データベース（以下、効果ＤＢと記す。）３５を参照し、次いで関連性データベース（以下、関連性ＤＢと記す。）３４を参照することで、出力表示部１４に効果順にシーンを表示し、且つ関連するシーンも合わせて表示することを可能とし、ユーザの任意編集を可能にしている。具体的なシーン記述情報の作成方法については後述する。

シーン再生部２４は、シーン構成部２３からのシーン記述情報に基づいて、記憶部１３に保存された膨大な映像データから、目的のシーンを抽出して出力表示部１４に転送する。

シーン構成ルール部２５は、自動編集を行い、シーンを作成するためのルール記述（以下、これをシーン構成ルールという。）を保存する。シーン構成部２３の要求に応じて、シーン構成ルールを提供する。

カット構成パターン生成部２６は、ショットを選択する場合にテーマに沿って効果的に演出できるように予め決められたショットの組合せパターン（以下、これをカット構成パターンという。）を記述する。カット構成パターンを作成するには、映画の編集ノウハウ
が必要であり、誰もが簡単に作れるものではない。本発明の一実施形態に係る動画編集装置１０は、詳細は後述するが、かかるカット構成パターンを自動生成する機能を有する。カット構成パターン生成部２６は、このカット構成パターン自動生成において中心的な役割を果す。なお、カット構成パターンは、映画で使用されているカット割等のノウハウに基づいて、予め一定のパターンが提供される。

記憶部１３には、複数の動画素材の画像データとそれらのメタデータ、特定のテーマで複数の動画素材を組み合わせる場合の並び順が記憶された関連性データ、および複数の動画素材がつなぎ合されてなる動画の評価を示す情報が記憶された効果データ等が記憶されている。

記憶部１３は、エントリーされた映像データを記憶するとともに、処理部１２で処理された結果である各種データを記憶する。図４に示すように、記憶部１３内部には、ショットメタデータ・データベース（以下、データベースを「ＤＢ」と記す。）３０、画像ＤＢ３１、カット構成パターンＤＢ３３、関連性ＤＢ３４、効果ＤＢ３５を備え、さらに画像ＤＢ３１内部には、ショットデータファイル３２を有する。但し、これは一例であり、複数のデータが１つのデータベースに記憶されても良い。

ショットメタデータＤＢ３０は、ショットメタデータ抽出部２２で抽出されたショットメタデータを記憶する。画像ＤＢ３１は、エントリーされた全ての映像データを記憶し、ショットデータファイル３２は、ショットデータを記憶する。さらに、カット構成パターン３３は、カット構成パターン生成部２６で生成されたカット構成パターンを記憶し、関連性ＤＢ３４は、以前に特定のテーマに沿って複数の動画素材を組み合わせて映像を構成した際の動画素材の並び順である関連性データを、ショット毎に記憶する。また、効果ＤＢ３５は、関連性データにより記述される順番で展開される動画の表現効果を記憶する。そして、記憶されたこれらの効果に基づいて、効果の高い順に自動編集されるが、詳細は後述する。

図５に、関連性ＤＢ３４に記憶された関連性データの一例を示す。関連性データは、特定のテーマに基づいて展開する複数の動画素材の展開順序を少なくとも含む。一つの関連性データは、２以上の動画素材を含み、一の関連性データはこの中に含まれている動画素材同士の関連性（より具体的には、並び順等。）を記述している。例えば、図５においてパターン１とされた関連性データは、Ｎ１、Ｎ２、Ｎ３、Ｎ４という動画素材識別用の番号が付与された４つの動画素材相互の関連性を記述している。

関連性データは、好ましくは各動画素材について、それぞれのシーンの内容を示す情報（動画素材内容情報）を含む。動画素材内容情報としては、ある動画素材に描かれた一定の場所、その動画素材に登場する（人）物、またはその動画素材の中での動作の一区切りを示す情報等が挙げられる。動画素材内容情報は、画像ＤＢ３１に、各動画素材のメタデータとしても記憶されている。

図６は、画像ＤＢ３１の内容の一例を示す図であり、ある動画素材について、画像データにより表示される画像と、この動画素材のメタデータとを示している。この例では、動画素材内容情報として、その動画素材に登場する人（物）の数、種類（タイプ）、シチュエーション、およびショットがメタデータとされている。但しこれは一例であり、画像ＤＢ３１の内容は、これに限定されない。

なお、メタデータには、動画素材内容情報以外にも各動画素材に関する情報が含まれてもよい。動画素材内容情報以外の情報としては、各動画素材の識別用の番号または記号（以下、「識別符号」）、取得日時、著作権の有無や著作権管理者名等の著作権情報等が挙
げられる。また、各動画素材のタイトル、表現スタイル（アニメ、実写等）、表現効果（驚き、笑い等）等が挙げられる。さらに、各動画素材についての採用回数もメタデータとして記憶されるようにしておいてもよい。

関連性データにより記述された順番で展開される動画の表現効果は、図７に示すように効果ＤＢ３５に記憶される。図７では、「お笑い」というテーマに分類される３パターンの動画の組み合わせについて、表現効果の種類が「効果」として「シリアス」、「コミカル」、「奇妙」等と記述され、その優劣が「評価」として数値化されて記述されている。但しこれは一例であり、効果ＤＢ３５の内容は、これに限定されない。

出力表示部１４は、検索条件に従って抽出された動画素材を表示する、表示装置に表示される画面である。詳細は後述するが、検索された動画素材を表示する動画素材リスト部、ユーザが任意に動画素材の配列を変更し、また任意に他の画像を追加できる動画素材順番表示部、及びユーザが動画素材にコメントを記載するためのコメント枠等を有する。

以上説明したように、本発明の一実施形態に係る動画編集装置１０は、上述したシステム構成を有し、また、記憶部１３のそれぞれのＤＢに、上述の各種データを記憶する。そして、動画編集装置１０では、これらのＤＢを備えることにより、あるテーマ等が検索条件として入力されると、その検索条件に合致して展開される面白みのある複数の動画素材が自動的に選択され、リスト化されて表示される。

なお、本発明の一実施形態に係る動画編集装置１０は、上記システム構成を充足するディスプレイ装置とパーソナルコンピュータ（以下、パソコンと記す場合がある。）本体が分離したデスクトップ・タイプ・パソコン、又はディスプレイとパソコン本体が一つになった、いわゆるノート・タイプ・パソコンのいずれであっても良い。この場合、ディスプレイ装置又はディスプレイ部の画面が、入力部１１及び出力表示部１４を兼ねる。一方、パソコン本体が処理部１２及び記憶部１３である。さらに、本発明の一実施形態に係る動画編集装置１０は、ディスプレイを有する携帯型情報端末（Ｐｅｒｓｏｎａｌ＿Ｄｉｇｉｔａｌ＿Ａｓｓｉｓｔａｎｔｓ）や携帯電話であっても良く、また、上記要件を充足するディスプレイを有する他の情報端末であっても良い。

以下、動画編集装置１０を用いた動画編集動作について説明する。本発明の一実施形態に係る動画編集装置１０の動画編集動作は、大きくシーン構成動作と、シーン再生動作に区分される。また、これらの動作の前提として、動画編集装置１０に読み込まれる映像素材から連続する複数のショットを抽出し、ショットメタデータを抽出してショットメタデータＤＢ３０に記憶するショット情報自動抽出動作、及び、シーンを構成する際に、映画の編集ノウハウを有しないユーザであってもカット構成パターンを作成できるようにするカット構成パターン自動生成動作が含まれる。以下、それぞれの動作を各部の動作を基に説明する。

［ショット自動抽出動作］
上述したように、映像素材には、１つの映像素材の中に複数のショットが存在することが多い。例えば、子供の運動会を撮影したテープにおいては、学校の全景ショット、開会式のショット、徒競走のショット、家族みんなでの昼食のショット等、様々なショットが含まれるのが一般的である。従って、例えば子供の成長を、毎年の運動会の様子によって編集して表現する場合、何年分ものテープから必要な箇所を抽出し、それぞれを編集で繋げる作業は、編集ノウハウを有しない者には非常に困難である。本発明の一実施形態に係る動画編集装置１０は、かかる編集を容易にするために、映像素材をショット毎に自動的に分割してデータベースに記録し、且つ、後に目的の編集が自動的に行えるように、ショット毎のショットメタデータを自動的に作成する機能を有する。この機能を果すのが、処
理部１２のショット自動認識部２１及びショットメタデータ抽出部２２と、記憶部１３のショットメタデータＤＢ３０及び画像ＤＢ３１である。図４に破線で示すように、便宜上、これらをショット情報自動抽出システム４０という。図４を基に説明する。

映像素材が入力部１１の映像素材エントリー画面からエントリーされる。この時、映像素材エントリー画面には、少なくとも撮影された内容、撮影場所、撮影日時を入力するフィールドが表示される。さらに、撮影の対象となったキーオブジェクトの名称等を入力できるようにしても良い。エントリーされた映像素材は、ショット情報自動抽出部２０のショット情報自動認識部２１において分析されて、ショット毎に分割される。映像は複数の連続した画像から構成されている。デジタルカメラ等において、人間の顔を抽出したり、それぞれの顔の特徴を分析したりすることができることは良く知られている。いわゆる顔認識技術である。また、画像をドットの集合と認識し、各ドットの色彩、配列等から山や海といった背景を抽出する画像認識技術もよく知られている。ショット自動認識部２１は、かかる技術に基づいて映像素材を１つずつの画像に分割し、それぞれの画像からキーオブジェクトと背景を分離する。これによって、画像ごとの情報記述であるメタデータを抽出する。メタデータの内容の概略については、既に述べているので詳細は省略する。

次に、ショット情報自動認識部２１は、連続する２つの画像ごとに、メタデータを比較し、前後の画像のメタデータの差分を取る。この時、前後の画面でメタデータの内容が大きく異なっている場合、前の画像と後の画像は、異なるショットの画像であると判断し、この箇所で１ショットが終了したと判断する。上述した映像素材からショットを抜き出す例を、図を基に説明する。図８は、本発明の一実施形態に係る画像編集装置１０における、ショット抽出の一例を示す図である。図８の第３画面と、第４画面では、キーオブジェクトの位置が大きく異なり、従って、第３画面で前のショットが終了し、第４画面から新たなショットが開始していることが判別できる。これを映像素材全体について実施することで、映像素材をショット毎に分割する。分割されたショットには、それぞれショット番号及びショットの開始・終了時間のデータが付与され、ショットメタデータ抽出部２２に転送される。

ショットメタデータ抽出部２２は、ショット番号によって１ショットを認識し、１ショット毎に、そのショットの連続する画像に共通するデータであるショットメタデータを作成する。１ショット内のそれぞれ画像のメタデータを比較し、また連続する２つの画像におけるキーオブジェクトの位置や大きさ等から、撮影しているカメラが何れの方向に移動しているかの情報（カメラ移動データ）や、アップやフルショットといった、いわゆるショットのタイプ情報（オブジェクトショットデータ）を得る。図９は、ショットメタデータの一例である。上述した方法によって、ショット毎のショットメタデータを作成するが、ショットメタデータのキーオブジェクト情報は、オブジェクトリストに記述されているオブジェクトごとに作成する。ショットメタデータのうち、内容、撮影場所、撮影日時、オブジェクトネームは、ユーザによって映像素材のエントリー時に入力フィールドから入力されたデータである。

作成されたショットメタデータは、記憶部１３のショットメタデータＤＢ３０に記憶され、また、画像データ自体は、画像ＤＢ３１に保存される。なお、画像ＤＢ３１には、膨大な画像データの中から、目的の画像を素早く抽出できるように、ショットの主要なデータだけを記録するショットデータファイル３２が設けられ、所要なショットデータが保存される。

なお、本実施形態においては、画像編集装置１０に既にたくさんの映像素材がエントリーされている場合において新たに映像素材がエントリーされた場合に、ショット自動認識部２１及びショットメタデータ抽出部２２が、ショットメタデータＤＢ３０及び画像ＤＢ
３１を検索するようにしても良い。即ち、映像素材がエントリーされた場合、ショット自動認識部２１及びショットメタデータ抽出部２２は、分割した各画像や各ショットについて、抽出された画像毎のメタデータやショット毎のショットメタデータに基づいて、近似するメタデータ又はショットメタデータを有する画像やショットを検索する。検索された画像又はショットのキーオブジェクトと分割された画像やショットのキーオブジェクトとを比較することで、同一のキーオブジェクトを検索できる。従って、映像素材のエントリーに際して、例えばオブジェクトネームが入力されなかった場合でも、欠落しているオブジェクトネームを自動的に付加することができる。これは一例であるが、このように既に蓄積されたデータを検索し、不足しているデータを自動的に付加することで、映像素材エントリー時のユーザの操作を軽減できる。付加に際して確認画面を表示し、ユーザの確認を得ることでより精度を向上できる。従って、ショット情報自動抽出システム４０には、ショットメタデータＤＢ３０に加えて画像ＤＢ３１が含められる。

［シーン構成動作］
入力部１１に検索条件が入力されると、本画像編集装置１０のシーン構成部２３は、検索条件を基に、記憶部１３の各ＤＢに記憶されているデータを検出して、その検索条件に合致して展開される複数の動画素材を選択し、シーン記述情報としてシーン再生部２４に転送する。そして、本発明の一実施形態に係る動画編集装置１０は、動画素材の自動選択に際して、複数の検索条件が入力された場合には、効果ＤＢ、関連性ＤＢ、そして画像ＤＢの順で検索を行い、検索条件にマッチする関連性データ（すなわち、動画素材の並びを指定するデータ）、または／および動画素材を選び、検索条件に対してマッチする項目が多い順に並べるように構成されている。

より具体的には、検索条件にマッチする動画素材が複数検索された場合には、動画素材の展開パターンを記憶部１３の効果ＤＢ３５に記憶されている評価の高い順に表示することを特徴とする。また、複数の検索条件が入力された場合には、まず全ての条件を満たすデータが先に並べられ、以下検索条件にマッチする項目の多いデータ順に並べられる。そして、検索条件にマッチする項目数が同じデータ同士については、前述の効果ＤＢ３５に記憶された評価の高い順に並べられることを特徴とする。しかも、表示順の基準となる効果は、ユーザによって選択された回数等に応じて自動的に更新されることを特徴とする。さらに、動画編集の知識のないユーザであってもプロ並みの編集動画を作成することができるように、選択されたデータが、一定の編集ルールに基づいて不必要な画面が自動的にカットされて、視覚的に美しい（言い換えれば、見やすい。）映像が表示されることを特徴とする。

図４及び図１０を基に、具体的に説明する。図１０は、本発明の一実施形態に係る動画編集装置１０の入力部１１の一例である。図１０においては、検索条件入力画面が表示された状態を示す。ユーザが、図４の入力部１１のＧＵＩ画面から、ファンクションキーやボタンとして表示された検索条件入力画面を選択することで、図１０に示す検索条件入力画面が表示される。この画面から入力された検索条件が、シーン構成部２３に転送される。シーン構成部２３は、記憶部１３のショットメタデータＤＢ３０、関連性ＤＢ３４及び効果ＤＢ３５を検索し、検索条件にマッチするショットメタデータを選択し、さらに入力されたテーマ条件で当該ショットと以前に映像を構成した関連性を有するショットメタデータが抽出される。シーン構成部２３は、同時にカット構成パターンＤＢ３３を検索し、入力されたテーマに沿って効果的に演出するためにカット構成パターンを選択する。検索結果は、上述したように効果の高い順で検索項目にマッチする項目の多い順に並べられる。そして、次に、並び順がカット構成パターンに沿って組立てられ、シーン構成ルール部２５から提供されるシーン構成ルールに基づいてルールに合致しない画像を除外される。そして、検索条件に合致するショットを所定の順番で再現できるように、シーンを再現するために必要な情報要素であるシーン記述情報を作成する。

ここで、シーン構成ルールは、自動編集を行い、シーンを作成するためのルールである。例えば、撮影した時系列に並べる、ロングのショットは除外する、アップショットの後にはミディアムのショットを続ける等である。図１１にシーン構成ルールの一例を示す。図１１から把握されるように、かかるルールは編集した映像を見やすくするルールであり、また、編集時に例えば映像に音楽を付ける場合の絶対条件等である。従って、予め提供され、シーン構成ルール部２５に記憶されるが、一部のルールについては、検索条件入力時に、例えば映像に付ける音楽の時間等に合わせて時間条件を入力することで設定されるようにしても良い。

カット構成パターンは、シーンを作成するために選択されるショットを効果的に演出するための組合せパターンである。映画においては、映画の撮影に先立って、実際のショットの組合せパターンを記載した絵コンテが作られ、絵コントを基に映像が撮影される。絵コンテは、映画のショットの構図や撮影内容、ショットの時間が記述されており、例えば、カットの識別子である「カット番号」、どのような映像を撮影するかを記述した「映像の概略」、セリフや音声の効果を記述した「音声」、カットの時間を指定する「秒数」等が代表的な項目である。即ち、言い換えれば、カット構成パターンは、シーンを作成するために選択されるショットメタデータの情報要素上の内容をパターンとして記述したものである。
本動画編集装置１０も、映画と同様に絵コンテに相当するカット構成パターンによって、編集が行われる。そして、本発明の一実施形態にかかる動画編集装置１０は、このカット構成パターンを自動生成する機能を有するが、詳細については後述する。

カット構成パターンの内容は、一例として次のようなものが挙げられる。まず、シーンは上述したように複数のカットから構成されるため、カット構成パターンは、シーンを記述する内容の情報をメタデータとして持つ。例えば、「シーンタイトル」「シーンタイプ」「シーン効果」である。シーンタイトルは、まさにシーンの表題であり、例えば「二人の人物の会話」「走る人物」「愛し合う二人」等である。シーンタイプは、当該シーンの状況等を説明する内容であり、また、編集時に当該シーンを利用できる情報とも言え、例えば、「会話」「覗き見」といった記述である。また、シーン効果は、シーンが持つ効果の記述で、例えば「サスペンス」「お笑い」等である。これらの情報は、映像素材のエントリー時に、入力画面からユーザによって入力された内容に基づく。

また、カット構成パターンには、映画の絵コンテと同様に、次のような内容の情報が記述される。即ち、カットのシーケンス（順序番号）である「カット番号」。カットとして採用される映像の構成要素を記述した「ショット構成パターン」。ショットの構成パターンにマッチするショットがショットメタデータＤＢ３０から見つからない場合に、カットに空白が生まれないようにするためにどのようなショットで埋め合わせるか、ショット構成パターンを複数記述した「オルタナティブショット構成パターン」。カットの秒数である「秒数」等である。このうち、ショット構成パターンは、カットとして編集される前の、ショットの構成内容であり、ショットメタデータの各構成要素に基づいて構成された情報である。ショットメタデータの、オブジェクトタイプ（一例として、「人物」）、オブジェクトネーム（一例として、「翔太」）、オブジェクトショット（一例として、「フル」）、オブジェクト移動（一例として、「前」）のデータから構成されたショット構成パターンの場合、「息子の翔太が画面上で向こうからフルショットでやってくる」映像が選択されることになる。

入力された検索条件に応じて、シーン構成部２３によって、上述したようなカット構成パターンがカット構成パターンＤＢ３３から選択される。同時に、シーン構成部２３によって、効果ＤＢ３５が検索され、さらに関連性ＤＢ３４が検索される。これによって、検
索条件にマッチするデータが、カット構成パターンに沿って、効果の高い順に並べ替えられる。また、関連性ＤＢ３４を検索することで、選択されたデータと関連性のあるデータの有無が検索される。即ち、複数の動画素材同士を特定の順序で並べてあるテーマの動画にした場合の、これら複数の動画素材の並び順である関連性データによって、検索条件として入力されたテーマに沿って以前に一度並べられた他のデータとその並び順を把握することができる。従って、関連性データが存在する場合には、かかる他の動画素材も検索結果の動画素材の列に加えられる。シーン構成部２３は、抽出された関連性データに存在する他の動画素材のショットメタデータを、ショットメタデータＤＢ３０から選択する。そしてカット構成パターンに適合するように抽出して動画素材の配列を構成する。さらに、シーン構成ルール部２５から提供されたシーン構成ルールに基づいて、ショットの配列をルールに適合するように並べ替える。そして、その並びに従って、各シーンを再生するために必要な情報要素であるシーン記述情報を作成する。

上述したとおり、シーン記述情報は、シーンを再生するために必要な情報が記述されており、大きく分けて、選択されたショット情報（ショット番号等）、各ショットの配置順、ショットの秒数（ショットの開始・終了時間）等から構成される。シーン構成部２３によって作成されたシーン情報記述はシーン再生部２４に転送され、シーン記述情報を受け取ったシーン再生部２４は、シーン記述情報に基づいて、記憶部１３の画像ＤＢ３１から必要なショットを選択し、シーン記述情報に記述された順番で、選択したショットを出力表示部１４に表示する。

以上が、本発明の一実施形態に係る動画編集装置１０におけるシーン構成動作であり、かかるシーン構成動作に関わるシーン構成部２３、シーン構成ルール部２５及び記憶部１３を総称して、シーン構成システム５０という。図４に一点鎖線で示した部分が、シーン構成システム５０である。なお、シーン構成システム５０が構成するのは、あくまでも検索条件に適合したショット番号やショットの配列順等であり、動画であるショット自体の画像データを直接選択して配列するわけではない。かかる動作は、後述するシーン再生動作であり、他のシステムが担当する。

［シーン再生動作］
次に、本発明に一実施形態に係る動画編集装置１０によるシーン再生動作について、説明する。上述したように、処理部１２のシーン構成部２３によって、検索条件に適合するショットが記憶部１３の各種データベースから選択され、出力表示の際の順番も含めてシーン記述情報としてシーン再生部２４に出力される。シーン再生部２４は、シーン記述情報に記述された目的の映像データを、画像ＤＢ３１のショットデータファイル３２を基に抽出し、シーン記述情報に記述された順番で出力表示部１４に表示する。即ち、シーン再生部２４は、シーン記述情報で提供されたショット番号等によって目的のショットを画像ＤＢ３１から抽出し、抽出したショットをシーン記述情報で指定された順によって出力表示部１４に出力する。

出力表示部１４は、シーン再生部２４から転送されたショットを順に表示する。なお、上述したように、出力表示部１４には、動画素材順番表示部が設けられ、ユーザが任意に検索されたショットの配列を変更し、又はコメント入力することもできる。このように配列が変更された場合や、別の動画素材が追加された場合、シーン記述情報が書き換えられたことになる。従って、最終的にユーザによって配列の変更や動画素材の追加が承認（即ち、画面上で決定ボタンがクリックされたことを意味する。）された場合、このシーン記述情報が出力表示部１４からシーン構成部２３にフィードバックされる。そして、シーン構成部２３によって、ショットメタデータ、関連性データ、効果データとして書き加えられる。それぞれのデータは、ショットメタデータＤＢ３０、関連性ＤＢ３４、効果ＤＢに記憶される。かかるフィードバック機能により、カット構成パターン、関連性データ及び
効果データが追加されることで、本動画編集装置１０の自動編集機能が益々高まっていく。

以上が本動画編集装置１０におけるシーン再生動作であり、かかるシーン再生動作に直接関連する（即ち、フィードバック機能を除く。）シーン再生部２４、画像ＤＢ３１及び出力表示部１４を、便宜上シーン再生システム６０という。図４において、２点鎖線で囲んだ部分がシーン再生システム６０である。

［カット構成パターン自動生成動作］
上述したように、シーン構成にあたって、動画編集知識のないユーザが、プロのような編集をすることは非常に困難である。本動画編集装置１０におけるシーン構成は、カット構成パターンに基づいてシーン構成部２３で行われるが、本動画編集装置１０は、上述したようにカット構成パターン自動生成機能を有する。以下、このカット構成パターン自動生成動作について説明する。

上述したように、本動画編集装置１０は、処理部１２内にショットの自動認識を行うショット自動認識部２１を有する。このショット自動認識部２１は、既に説明したように、顔認識技術及び画像認識技術に基づいて、映像素材中の複数のショットをショット毎に分割し、且つ、ショット内の一つ一つの画像のメタデータの差分を抽出することができる。このショット自動認識部２１及びショットメタデータ抽出部２２によって、既存の映画のシーンで使われているカット割りからカット構成パターンを作り出すことができる。

図を基に詳細に説明する。図１２は、本発明の一実施形態に係る動画編集装置１０におけるカット構成パターン自動生成を示す概略図である。まず、入力部１１（図示せず。）の映像素材エントリー画面から、既存の映画のシーンを入力する。例えば、ユーザが大好きなシーンを入力する。また、本動画編集装置１０が、デジタル放送を録画できるパソコンであれば、ハードディスクに記憶した映像を指定して呼び出すだけでよい。図１２においては、４つのショットを有する映像素材を例示的に示している。この時、映像素材エントリー画面には、エントリーした映像素材のシーンタイトル、シーンタイプ、シーン効果等のシーン情報を入力するフィールドが表示され、それぞれの情報をユーザが入力する。次に、エントリーされた映像素材のシーンの中から、ユーザがカット構成パターンとして作成したいシーンを指定する。エントリーした映像素材が、画面上に順番にサムネイル表示されるので、目的のシーンの初めと終わりを指定するだけで良い。

ショット情報自動抽出部２０のショット自動認識部２１は、エントリーされたシーンを上述した方法でショットに分割し、各ショットの時間を計測する。ショット番号及びショットの開始・終了時間（ショットの秒数）のデータが抽出される。このデータは、カット構成パタ―ン生成部２５に転送される。ショット時間の計測が終了したショットは、ショットメタデータ抽出部２２において次の処理が行われ、各ショットに対するショットメタデータが作成される。作成されたショットメタデータは記憶部１３のショットメタデータＤＢ３０に記憶されるとともに、カット構成パターン生成部２５に転送される。カット構成パターン生成部２５は、ショット自動認識部２１から転送されたショット番号、ショット開始・終了時間のデータと、ショットメタデータとを合成して、カット構成パターンを生成する。図１２においては、４つのショットから、図１２下側に示すカット構成パターンが生成される。図１２には図示しないが、生成されたカット構成パターンは記憶部１３のカット構成パターンＤＢ３３に記憶される。このようにして、多数の映画シーンからカット構成パターンを生成して記憶する。

カット構成パターンは、シーンの抽象的な表現でもあるので、同じシーン情報に対して複数の映画などのカット構成パターンを得ることができる。本動画編集装置１０は、統計
分析機能を有し、シーン情報ごとに、それらのカット構成パターンの統計を採って分析することができる。即ち、映画の中でシーンがどのように構成されているかについての情報的な分析を行う。例えば、シーン効果「サスペンス」というシーン情報を有する蓄積されたカット構成パターンを分析することによって、映画の中でサスペンスシーンがどのようにして盛り上げられているか、アクションシーンがどのようなショットの連続によって構成されているかといった、映画のテクニックを定量的に分析することができる。そして、分析した結果をカット構成パターンにフィードバックすることで、カット構成パターンを充実させることができる。以上が、本発明の一実施形態に係る動画編集装置１０におけるカット構成パターンの自動生成動作である。

［シーン構成動作及びシーン再生動作のフロー］
次に、上述したシーン構成動作及びシーン再生動作が、検索条件入力時にどのように行われるかフローチャートをもとに説明する。図１３は、動画編集装置１０を用いる動画編集動作を示す全体フローの概略図である。また、図１４は、本発明の一実施形態に係る動画編集装置１０における動画編集動作のフローの詳細図である。ここでは、図１０に示した入力部１１としてのＧＵＩ（Ｇｒａｐｈｉｃａｌ＿Ｕｓｅｒ＿Ｉｎｔｅｒｆａｃｅ）に、検索条件として動画のテーマが入力される場合について、図１４を基に詳細に説明する。

ステップＳ１００において開始されると、ステップＳ１０１において、ユーザによって検索条件が入力部１１から入力される。ここでは、図１０に示した入力部１１としてのＧＵＩに、検索条件として、選択されたテーマである「お笑い」が指定され入力された入力ステップが実行された状態を示す。ステップＳ１０２において、動画編集装置１０の処理部１２のシーン構成部２３は、入力部１１に検索条件が入力されると、検索条件であるテーマ「お笑い」を基に、記憶部１３のショットメタデータＤＢ３０を検索して、前記入力条件に合致するデータを検索する。ステップＳ１０３において、シーン構成部２３は、検索結果があるか否かを判断する。検索結果がある場合ステップＳ１０４に進み、一方検索結果がない場合には、ユーザに更なる検索条件、例えばキーワードや効果等を入力させるため、ステップＳ１０１の検索条件入力画面に戻る。

ステップＳ１０４において、シーン構成部２３は、さらに上記検索条件に合致する検索結果が一つだけであるか複数あるかを判断する。検索結果が一つだけの場合はステップＳ１０６に進む。一方、検索結果が複数ある場合、ステップＳ１０５において、シーン構成部２３は、さらに記憶部１３の効果ＤＢ３５を検索し、効果ＤＢ３５の検索結果に基づき、検索された複数のデータを効果の優れた順に配列する。

ステップＳ１０６において、シーン構成部２３は、さらに記憶部１３の関連性ＤＢ３４を検索し、前記検索されたデータと関連性を有する他のデータの存在を検索する。そして、ステップＳ１０７において、前記検索されたデータの配列に、関連性ＤＢ３４から検索された関連するデータを追加し、併せてシーン構成ルールに適合するように不要な画像をカットする。

ステップＳ１０８において、シーン構成部２３は、検索結果の配列順をショットメタデータによって記述し（即ち、検索条件に合致するショットの表示順をショットメタデータの記述として作成する。）、処理部１２内のシーン再生部２４に転送する。

転送された前記記述を受け取ったシーン再生部２４は、ステップＳ１０９において、前記記述に従って記憶部１３の画像ＤＢ３１から検索条件に合致する画像データを抽出する。そしてステップＳ１１０において、シーン再生部２４は、画像ＤＢ３１から抽出された画像データを、順に出力表示部１４に転送する。

ステップＳ１１１において、出力表示部１４は、シーン再生部２４から転送された画像データをＧＵＩからなる出力表示画面上に表示する。以上のような方法によって、本動画編集装置１０は、入力されたテーマでの動画素材の展開パターンを抽出する。また、処理部１２は、このとき、上述したように各パターンについて効果ＤＢに記憶されている評価の高い順に検索結果を表示するよう、構成されている。なお、詳細は後述するが、表示された検索結果について、ユーザが検索結果である画像データの配列を任意に変更し、また、関連性のある画像データを前記配列中に任意に追加できるように、出力表示画面には、動画素材順番表示部及び動画素材リスト部が設けられている。また、検索された画像データの一つひとつに、ユーザが任意でコメントを記載することができるコメント枠部を画像データ一つひとつに重ねて表示するようにしても良い。

ステップＳ１１２において、シーン構成部２３は、出力表示部１４の前記動画素材順番表示部及び動画素材リスト部等を使用して、ユーザによって出力された画像データの配列が変更され、又は配列中に他の画像データが追加されたか否かを判断する。出力表示部１４の前記動画素材順番表示部及び動画素材リスト部が使用された場合、使用された結果のデータをシーン構成部２３に転送するようにすれば良い。ステップＳ１１２において、配列変更又は追加がある場合、シーン構成部２３はステップＳ１０１に戻り、前記変更・追加情報による新たな検索条件が入力されたものとしてステップＳ１０１からステップＳ１１２を、ステップＳ１１２において変更・追加がされていないと判断されるまで、繰り返す。

ステップＳ１１２において、変更・追加がされていないと判断された場合、ステップＳ１１３において、シーン構成部２３は、ユーザによって配列が変更された結果情報及びその時の入力された検索条件を効果データ及び関連性データとして、必要な画像データのメタデータ等に追加し、記憶部１３の効果ＤＢ３５及び関連性ＤＢ３４に記憶する。

さらにステップＳ１１４において、シーン構成部２３は、ユーザによって採用されて追加された画像データの、効果データ中の評価データの項目について、採用回数１回ごとに１をカウントする。そしてステップＳ１１５において終了する。本発明の一実施形態に係る動画編集装置１０は、以上のようなステップによって、動画を編集することができる。

なお、上述したように、本発明の一実施形態に係る動画編集装置１０によれば、上記ステップＳ１０１の入力ステップでは、複数の検索条件を入力することができる。以下複数の検索条件が入力された場合について説明する。

例えば、入力部１１は、図１０に示したように、効果ＤＢに対する第１の検索条件が入力されるテーマ選択部と、第２の検索条件が入力される効果選択部とを備える。そして、入力ステップで、テーマと効果とが検索条件として入力された場合は、処理部１２は、効果ＤＢを検索し、効果ＤＢのデータの中から、検索条件にマッチするデータを選び、検索条件に対してマッチする項目が多い順に並べるように構成されている。

具体的には、テーマと効果という２つの検索条件が入力された場合であれば、２項目の検索条件の両方に合致するデータが先に並べられ、どちらか片方の検索条件に合致するデータが次に並べられる。そして、検索条件にマッチする項目数が同じデータ同士（例えば、テーマと項目の両方で合致する２以上のデータ）の中では、効果ＤＢに記憶された評価の高い順に検索結果を表示する。

さらに、図１０に示したこの例では、入力部１１は、検索条件として効果ＤＢ以外のＤＢを検索対象とできるように構成されている。具体的には、図１０に示すように、入力部
１１にはテーマ選択部、効果選択部以外に、キーワード選択部と素材キーワード選択部とが設けられている。これらの選択部に、キーワードが入力されると、処理部１２のシーン構成部２３は、効果ＤＢ３５、関連性ＤＢ３４、そして画像ＤＢ３１の順で検索を行い、検索条件にマッチする関連性データ（すなわち、動画素材の並びを指定するデータ）、または／および動画素材を選び、検索条件に対してマッチする項目が多い順に並べるように構成されている（図１５参照）。

以上のように複数の検索条件が入力され、シーン構成部２３によって関連性データが抽出された場合、シーン再生部２４によって関連性ＤＢ３４から読み出された関連性データにしたがって複数の動画素材が並んだ列が１以上、表示される。一方、シーン構成部２３によって動画素材が抽出された場合は、１以上の動画素材が表示される。即ち検索されたデータによって、表示されるデータの内容が異なる。入力部１１は、本実施態様では表示された動画素材の列または動画素材を選択して指定する指示が入力される。出力表示された動画素材の列、または動画素材の中に、操作者が選択したい動画素材の列または動画素材が見出されない場合、上述したように別の検索条件で検索をするために上記ステップＳ１０１の入力ステップに戻ればよい。

上述したように、シーン構成部２３によって動画素材が指定されると、処理部１２のシーン構成部２３は、さらに関連性ＤＢを検索して、関連性データが存在する場合には、選択された動画素材が他の動画素材と組み合わされた動画の列を出力表示部１４に表示する（図１６参照）。本実施態様では、出力表示部１４に表示された動画素材は操作者による加工が可能とされている。

具体的には、図１６に示すように、出力表示部１４は、上記ステップで抽出された動画素材を表示順に並べて表示する部分（動画素材順番表示部）と、動画素材に重ねて表示する複数のコメント枠が選択されるコメント枠部とを有する。コメント枠部は、入力部１１を操作することにより、動画素材順番表示部に表示された各動画素材に重ねられるように構成されている。また、各コメント枠は、入力部１１にテキストを入力することにより枠内に任意のテキストが表示できるように構成されている。

よって、出力表示部１４に列状に並べられた動画素材のそれぞれに、任意のコメント枠が付加され、コメント枠内にテキストを入力することができる。このため、操作者は動画編集の専門家のノウハウを活用したシーン展開パターンで展開する動画を簡易に作成できるとともに、動画素材を独自に加工して操作者オリジナルのストーリー作りをすることもできる。

さらに、出力表示部１４には、選択された動画素材と関連性の高い他の動画素材を一覧表示する部分（図１６における動画素材リスト部）を設けてもよい。この場合、動画素材順番表示部に表示された動画素材を、動画素材リスト部に表示された別の動画素材と入れ替えることができる。

動画素材リスト部から別の動画素材が選ばれれば、関連性ＤＢになかった並び順のパターンが作成されることになる。そこで、新たに作成されたこのパターンを関連性ＤＢに新たに記憶させることにより、関連性データベースを充実させることができる。

このとき、新たに選ばれた動画素材や、これを含む新しい関連性データについて、入力部１１に入力された検索条件を、効果ＤＢや動画素材のメタデータに自動的に付与するように構成すれば、関連性ＤＢや効果ＤＢを半自動的に作成できる。上記ステップＳ１１３の動作である。さらに、各動画素材、あるいは各関連性データについて、その採用回数が自動的に記憶されるようにすれば、効果ＤＢに設けられた、各パターンの効果の優劣（評
価）を半自動的に数値化できる。上記ステップＳ１１４で説明した動作である。

以上説明したように、本発明によれば、動画素材を抽出してあるストーリーに沿って展開させるための検索は、画像ＤＢのメタデータとしてテキスト情報形式で記述されている情報の検索により行われる。よって、容量の小さい情報処理装置でも迅速かつ簡易にストーリー性のある動画を製作できる。このため、本発明のプログラムは、様々な情報処理端末に実装でき、本発明に係る情報処理装置は、パーソナルコンピュータ、携帯型情報端末（ＰＤＡ）、携帯電話等で構成できる。

（第二の実施形態）
上述したように、本発明の一実施形態に係る動画編集装置１０は、パソコン等で簡易に構成し、ユーザが自宅等でプロ並みの動画編集を行うことができる。しかし、本発明に係る動画編集装置１０は、かかる構成に限定されるものではない。即ち、上記動画編集装置１０では、記憶部１３が、入力部１１、処理部１２、および出力表示部１４が搭載された情報処理装置に備えられている構成とされている。しかし、記憶部１３は、入力部１１、処理部１２、および出力表示部１４が搭載された情報処理装置とは別の情報処理端末に備えられていてもよい。本発明の第二実施形態は、動画編集装置１０を、サーバ機及びクライアント機で構成される、サーバ・クライアントシステムとした例である。

本発明に係る動画編集装置１０は、ユーザが、自宅等で簡易にプロ並みの動画編集をすることを可能にする。しかし、動画等のデータは文書データに比して容量が大きく、家族の思い出を撮影したビデオテープ等の映像素材は、長年蓄積されると膨大なデータ量となる。従って、自宅のパソコンのハードディスク資源を圧迫し、パソコン本体の動作に影響を与える場合もある。また、通常パソコンは、ハード及びソフトの進歩に伴い数年単位で新機種に買い換えるため、機種変更の都度データを保存するのは非常に面倒であり、従って、データのみをパソコン本体以外に蓄積できれば、機種変更時の煩わしい作業から開放され、また、容量を気にする必要もなくなる。そこで、本発明の第二実施形態に係る動画編集装置１０を、サーバ・クライアントシステムとして提供する。

図４に示した、本動画編集装置１０のシステム構成において、記憶部１３をサーバ機に設ける。これによって、膨大なデータ量となる映像素材を、大容量のサーバ機に確実に記憶し保存することができる。容量が増えれば、サーバ機のハードディスクを増設すれば良い。この場合、クライアント機には、入力部１１、処理部１２及び出力表示部１４が設けられる。そして、入力部１１から検索条件が入力された場合に、サーバ機の記憶部１３とＬＡＮ又はインターネット等を介してデータの転送を行うために、処理部１２内に一般的なデータ転送機能を設ければよい。

また、サーバ機の処理能力及びクライアント機の処理能力によっては、処理部１２の処理機能の一部又は大半をサーバ機に設けても良い。一般的にサーバ機の処理能力はクライアント機の処理能力より上回るため、より高速な処理を可能にするためである。一例として、処理部１２のショット情報自動抽出部２０、シーン構成部２３、シーン構成ルール部２５及びカット構成パターン生成部２６をサーバ機に設ける。この場合は、クライアント機には、入力部１１、出力表示部１４のほかに、処理部１２内に、データ転送機能とシーン再生部２４が設けられ、クライアント機は、サーバ機で作成された検索条件にマッチするシーン記述情報に従って、サーバ機から目的のショットの画像データを抽出して、順に出力表示部１４に表示させる動作のみを行う。但しこれは一例であり、これに限定されるものではない。

［変形実施例１］
この、サーバ・クライアントシステムによる本動画編集装置１０は、例えば、インター
ネットプロバイダの会員向けサービスとして実施することもできる。本第二実施形態の変形実施例は、インターネットプロバイダの会員向けサービスの一環として、実施する例である。

即ち、インターネットプロバイダは、会員向けにメール保存サービス等各種のサービス機能を提供している。そこで、本発明の第二実施形態に係る動画編集装置１０を、プロバイダのサーバ機に会員個人の映像素材を保存する、いわば会員向けサービスの一環として、「個人映像アルバム」作成保存機能として提供するのである。即ち、上述したサーバ・クライアントシステムのサーバ機の機能を、プロバイダのサーバ機に持たせ、会員個人のパソコンであるクライアント機と、インターネットを介して接続することで、上述のサーバ・クライアントシステムを構築することができる。これによって、会員向けに簡易動画編集機能を容易に提供することができ、他のプロバイダとの差別化を図ることができる。会員個人のクライアント機とのデータ転送に際しては、パスワード等のセキュリティイ機能を設けることで、データの秘密性を確保すれば良い。会員にとっては、パソコンを買い替えても、また、データが膨大な量になっても、インターネット接続によりプロバイダのサーバ機からいつでも必要な画像データを得ることができ、データの保存に煩わされることがない。

［変形実施例２］
また昨今、ウィルスソフトによって、個人のパソコンに保存していた動画データが不正に他人に盗まれ、インターネット上の動画投稿サイトに勝手に投稿される事件が相次いでいる。権利者が不正投稿された１つのコンテンツを発見して削除措置を講じても、また別の他人によって同じような映像が投稿されるため、違法映像・不正映像の取締りが非常に困難なのである。現状の対策としては、権利を有する元映像と違法に投稿された映像との相違点を見つける方法や、映像の中に、いわゆるウォーターマークを入れることで映像の同一性をチェックする方法がある。しかし、これらの方法によっても、元の映像をトリミングし、他の情報（例えば、字幕など。）を付け加えてしまっていた場合には、直接比較しても同じものであるかを判断することが非常に困難である。また、家庭用ビデオ機で撮影した個人の動画データの場合、一般にウォーターマークを入れることは容易ではない。本発明の第二実施形態に係るサーバ・クライアントシステムによる動画編集装置１０の機能を応用すれば、ウォーターマーク等を利用することなく、かかる画像データの不正投稿をいち早く発見し、不正投稿された画像データを削除するための措置を早期に講じることができる。

即ち、違法映像・不正映像のカット構成パターンを抽出し、そのカット構成パターンとショットメタデータやその秒数が完全に一致しているシーンがあったとすれば、この二つの映像が同じものである蓋然性が非常に高い。なぜなら、ショットの組立が偶然に似ることはあるが、ショット毎の時間が完全に一致したシーンは、意図しない限り全く別個に作ることは非常に困難だからである。従って、違法性が疑われる映像のカット構成パターン及びショットメタデータを抽出し、比較することができれば、ウォーターマーク等がなくても、映像の同一性を判断できる。

上述したように、本動画編集装置１０は、装置内のショット自動認識部２１でエントリーされた映像素材をショット毎に分割し、ショットメタデータ抽出部２２で、ショット毎のメタデータを抽出することができる。さらに、かかる機能を活用し、カット構成パターン生成部２６において、エントリーされたシーンをショットに分割し、各ショットの時間を計測することで、ショットメタデータと併せてカット構成パターンを生成できる。かかるショット自動認識機能及びカット構成パターン生成機能をプロバイダのサーバ機に持たせる。そして、会員からの要請に基づき、違法性が疑われる映像についてネット上を検索してダウンロードし、前述のショット自動認識機能及びカット構成パターン生成機能によ
って、ダウンロードした映像のカット構成パターンを生成する。そして、当該サーバ機内に記憶された前記会員の元映像のカット構成パターン等と比較する。これによって、映像の同一性を簡易に判断できる。

また、別の方法として、ショットメタデータによってネット上をサーチすることも可能である。会員のクライアント機に処理部１２の機能を設ける。クライアント機からデータをエントリーすると、上述のショット自動認識機能及びカット構成パターン生成機能によって、エントリーされた映像のショットメタデータ及びカット構成パターンが生成され、画像データと関連付けられて、サーバ機の記憶部１３のそれぞれのデータベースに記憶される。この時、画像データと関連付けられたショットメタデータ及びカット構成パターンについて、会員パスワード等によってガードし、会員以外の第三者が関連付けを変更、或いは書き換えられないようにする。そして、会員が、必要に応じて画像データを自己のクライアント機に保存する場合には、必ず、関連付けられたショットメタデータ及びカット構成パターンが付着して保存されるようにする。これによって、例えば、会員のクライアント機からウィルスソフトによって画像データが盗まれた場合であっても、盗まれた画像データには、必ず前記のショットメタデータ及びカット構成パターンが付着していることになる。サーバ機から、ショットメタデータによってネット上の動画投稿サイトを自動的にサーチすることで、不正に投稿された盗まれた画像データを簡易に発見できる。プロバイダのサーバ機によって、会員のショットメタデータを基に定期的にサーチすることで、早期の発見が可能となる。

以上説明したとおり、本発明の第二実施形態に係るサーバ・クライアントシステムを利用した動画編集装置１０によれば、インターネットプロバイダによる個人映像のアルバム保存機能や不正投稿サーチ機能等を提供することができる。なお、上記は一例であり、本発明は、これらに限定されるものでない。

Claims

複数の連続する映像素材であるショットのそれぞれの内容を示す情報であるショットメタデータを記憶するショットメタデータ・データベースと、前記複数の連続する映像素材のそれぞれの画像データを記憶する画像データベースと、複数の前記ショット同士の関連性データを記憶する関連性データベースとを有する記憶部と、
前記複数の連続する映像素材を入力し、且つ１以上の検索条件を入力するための入力部と、
前記検索条件に対応する結果を出力表示するための出力表示部と、
前記入力部に前記検索条件が入力されると、記憶された１以上の前記ショット及び１以上の前記ショットと関連する映像素材を前記記憶部から抽出して、所定の順に配列して前記出力表示部に再生表示させる処理部と、を有する動画編集装置。
前記動画編集装置は、ディスプレイ装置を含むデスクトップ・タイプ・パーソナルコンピュータ又は、ノート・タイプ・パーソナルコンピュータであることを特徴とする請求項１に記載の動画編集装置。
前記処理部は、
前記入力部に前記検索条件が入力されると、前記効果データベース、前記関連性データベース、前記カット構成パターン・データベース及び前記ショットメタデータ・データベースを検索し、検索された１以上の前記ショットを前記所定の順に配列して前記出力表示部に表示させるための配列順序を、前記ショットメタデータに基づいて記述するシーン構成部を有することを特徴とする請求項２に記載の動画編集装置。
前記シーン構成部は、検索された１以上の前記ショットを検索条件に合致する項目の多い順に、且つ合致する項目数が同じ場合には前記所定の順に配列して前記出力表示部に表示させるための配列順序を、前記ショットメタデータに基づいて記述することを特徴とする請求項３に記載の動画編集装置。
前記所定の順は、画像編集のために前記複数のショットのそれぞれのショットがユーザによって選択された選択回数をパラメータとする評価データの数値の大きい順であり、
前記動画編集装置は、前記評価データを含む効果データを記憶する効果データベースを前記記憶部内にさらに有することを特徴とする請求項４に記載の動画編集装置。
前記動画編集装置は、前記シーン構成部の作成した前記記述に従って、前記画像データベースから所望の１以上の前記ショットの画像データを抽出して配列し、前記出力表示部に出力表示させるシーン再生部をさらに有することを特徴とする請求項５に記載の動画編集装置。
前記入力部から入力された複数の連続する映像素材を連続する複数の画像に分割して一つひとつの画像の内容を示す情報であるメタデータを抽出し、前後する２つの画像のそれぞれの前記メタデータの差分に基づいて前記複数の連続する映像素材を複数のショットに分割するショット自動認識部と、
分割された前記複数のショット毎の前記ショットメタデータを抽出するショットメタデータ抽出部とを有するショット情報自動抽出部をさらに備えることを特徴とする請求項６に記載の動画編集装置。
前記ショット自動認識部は、顔認識技術及び画像認識技術に基づいて、一つの画像の主な被写体と背景とを分離して前記メタデータを抽出することを特徴とする請求項７に記載の動画編集装置。
前記ショットメタデータ抽出部は、前記入力部から前記複数の連続する映像素材を入力する際にユーザによって入力された所定の情報を、自動的に前記ショットメタデータに反映することを特徴とする請求項７に記載の動画編集装置。
前記ユーザからの入力情報は、少なくともシーンタイトル、シーンタイプ及びシーン効果を含むシーン情報であることを特徴とする請求項９に記載の動画編集装置。
前記動画編集装置は、前記ショット情報自動抽出部においてユーザが指定した既存の映画のシーンから前記ショットメタデータを作成し、作成された前記ショットメタデータとユーザによって入力された前記既存の映画のシーンの前記シーン情報とによって、前記既存の映画のシーンの構成パターンを分析して蓄積し、蓄積された複数の前記構成パターンから所望の映像効果に合わせシーンを構成するための前記ショットの組合せパターンを生成するカット構成パターン生成部をさらに有することを特徴とする請求項１０に記載の動画編集装置。
前記入力部はグラフィック・ユーザ・インタフェースによって構成され、ユーザの操作により、少なくとも検索条件入力画面と前記複数の連続する映像素材及び前記シーン情報を入力する映像素材入力画面とを選択できることを特徴とする請求項１１に記載の動画編集装置。
前記出力表示部は、
ユーザの操作によって前記検索された１以上のショットの配列順序が変更された場合に、前記変更された順序に従ってショットを表示し、且つユーザの操作によって前記検索された１以上のショットの配列中に前記検索された結果以外の画像又はショットが任意に追加された場合に、前記検索された１以上のショットの中に前記追加されたショット又は画像を並べて表示する表示部と、
前記関連性データに基づいて前記検索された１以上のショットと関連する前記検索された１以上のショット以外の画像又はショットを一覧表示する動画素材リスト部と、
ユーザが選択した任意の前記画像上にユーザがキーボードからコメントを入力した場合に、前記選択された任意の画像上に前記コメントを併せて表示するコメント枠部とのうち少なくとも一つ以上を有することを特徴とする請求項１２に記載の動画編集装置。
前記検索された１以上のショット以外の画像又はショットが前記１以上のショットの配列中に任意に追加された場合に、
前記追加された画像又はショットの情報及び前記入力された検索条件を前記検索された１以上のショットのそれぞれの前記関連性データ中に反映し、且つ、前記検索された１以上のショットの情報及び前記入力された検索条件を前記追加された画像又はショットのそれぞれの前記関連性データ中に反映することを特徴とする請求項１３に記載の動画編集装置。
前記検索された１以上のショット以外の画像又はショットが前記１以上のショットの配列中に任意に追加された場合に、
前記追加された画像又はショットの前記効果データ中に前記入力された検索条件を反映することを特徴とする請求項１３に記載の動画編集装置。
前記検索された１以上のショット以外の画像又はショットが前記１以上のショットの配列中に任意に追加された場合に、
前記入力された検索条件において前記画像又はショットが追加のために採用された回数を、前記追加された画像又はショットの前記入力された検索条件における評価として反映
することを特徴とする請求項１３に記載の動画編集装置。
前記検索された１以上のショットの配列順序がユーザによって任意に変更された場合に、変更後の前記複数のショットの配列順番を前記カット構成パターンとして前記カット構成パターン・データベースに記憶することを特徴とする請求項１３に記載の動画編集装置。
複数の連続する映像素材の一区切りであるショットのそれぞれの内容を示す情報であるショットメタデータを記憶するショットメタデータ・データベースと、前記複数の連続する映像素材のそれぞれの画像データを記憶する画像データベースと、複数の前記ショット同士の関連性データを記憶する関連性データベースと、および複数の前記ショット同士を組み合わせた場合の効果データを記憶する効果データベースとを有する記憶部を備えるサーバと、
前記複数の連続する映像素材を入力し、且つ１以上の検索条件を入力するための入力部と、
前記検索条件に対応する結果を出力表示するための出力表示部と、
前記入力部に前記検索条件が入力されると、記憶された１以上の前記ショット及び１以上の前記ショットと関連する映像素材を前記効果データベース、前記関連性データベース、前記カット構成パターン・データベース及び前記ショットメタデータ・データベースから検索し、検索された１以上の前記ショットを所定の順に配列して前記出力表示部に表示させるための配列順序を、前記ショットメタデータに基づいて記述するシーン構成部を有する処理部とを備えるクライアントと、から構成されることを特徴とする動画編集装置。
前記サーバは、前記入力部に前記検索条件が入力されると、記憶された１以上の前記ショット及び１以上の前記ショットと関連する映像素材を前記効果データベース、前記関連性データベース及び前記ショットメタデータ・データベースから検索し、検索された１以上の前記ショットを前記所定の順に配列して前記出力表示部に表示させるための配列順序を、前記ショットメタデータに基づいて記述するシーン構成部を有する処理部を備え、
前記クライアントの前記処理部は、入力部から入力された検索条件を前記サーバの前記処理部に転送し、且つ、前記サーバの前記処理部から転送された前記所定の順に配列された前記検索された１以上のショットの画像データを前記出力表示部に表示させることを制御することを特徴とする請求項１８に記載の動画編集装置。
前記サーバは、
インターネット上の動画投稿サイトから所定の映像素材をダウンロードして前記映像素材を複数のショットに分割し、
前記複数のショットから画像データ及びショットメタデータを作成し、
前記記憶部に記憶された画像データ及びショットメタデータと、前記分割された複数のショットの前記画像データ及びショットメタデータとを比較し、
前記比較結果に基づいて同一のショットメタデータを有する前記所定の映像素材の所在情報をクライアントの出力表示部に表示することを特徴とする請求項１９に記載の動画編集装置を用いた動画投稿サイト検索方法及び動画投稿サイト検索サービス。