JP4101258B2 - 画像編集方法及び画像編集装置並びにコンピュータに画像編集処理動作を実行させるためのプログラムを記録した媒体 - Google Patents

Description

本発明は、ビデオ画像など動画像の編集処理に係り、特にテレビジョン放送番組やビデオ番組作成に好適な画像編集方法及び画像編集装置並びにコンピュータに画像編集処理動作を実行させるためのプログラムを記録した媒体に関する。

近年、コンピュータを用いることによる高機能化されたテレビジョン放送番組やビデオ番組の制作方法が急速に進展している。ビデオテープレコーダを用い、そのテープカウンタを頼りに、早送り、巻き戻し動作を繰り返すような映像編集技法ではなく、廉価で取り扱いや保存が容易なハードディスクに格納した画像を用いて編集を行なう、いわゆるダイレクト方式の技法を用いた動画像編集装置が、最近、にわかに注目されるようになってきた。

ところで、ここで言う動画像とは、時系列的にそれぞれ独立して並べられた複数のフレーム単位の画像からなるものであり、動画として表示することができる画像情報や音声情報あるいはその二つの情報からなる情報のことである。

ところで、画像編集作業は、何れにしても編集者の有するフィーリングで判断されるべき作業が中心となる。画像編集方法としては、編集映像画面で映像を操作するための表示、いわゆるアイコン表示（以下アイコンと称す）を画像情報と関連付けて用いることにより画像編集を行なう方式の装置が使用されている。

図２と図３は、このような画像編集装置の従来技術において、時系列な映像素材（動画像）のうちの所望のカット（複数のフレーム単位画像の連り）または他の複数のカットにより構成されるシーンと他の所望のカットまたはシーンとのエフェクト編集、すなわち、画像の内容を変化させながら画像の内容が切り替わる編集を行なうときでの画面表示例を示したものである。

ここで、まず図２は、コンピュータ支援による編集作業用画面の表示例で、次に図３は、コンピュータ支援による編集作業用画面の別の表示例である。これらの編集作業は、ともに市販されている代表的な画像編集用ソフトウエアを使用する。

このとき用いられる編集装置の一般的な構成は、コンピュータをベースとしたシステムであり、より具体的には、中央処理ユニット、メモリ及びオペレータにより操作される種々の装置を備えた典型的かつ汎用的なコンピュータ構成によるものである。

図４は、画像編集システムの一例で、コンピュータ４０１を備えており、このコンピュータ４０１に、例えば１９インチの寸法の表示スクリーンを有するモニタ４０７が接続されている。

ビデオ再生ユニット（ＶＴＲ）４０２は、ＮＴＳＣ方式、ＰＡＬ方式、或いはその他のフォーマット方式の任意のビデオ情報（画像情報）を再生することができる。このビデオ再生ユニット４０２から再生されたビデオ情報がビデオキャプチャ／フレーム記憶ユニット４０３に送られ、そこにデジタル情報化されて格納される。

こうしてビデオキャプチャ／フレーム記憶ユニット４０３に格納されたビデオ情報は、次に伸張器／圧縮器４０４を介してディスクアクセラレータ４０５に供給される。この伸張器／圧縮器４０４は、ビデオ情報を圧縮伸張するもので、現在最も高速のＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｕｐ）チップを用いた伸張／圧縮プロセッサが多く用いられている。

次にディスクアクセラレータ４０５は、ビデオ再生ユニット４０２からビデオキャプチャ／フレーム記憶ユニット４０３に送られ格納されたビデオ情報を、１台又は複数台のディスク記憶ユニット４０６へ送信し、又はそこから受信するためのものである。

コンピュータ４０１は、制御信号４０８、４０９、及び４１０によって、画像編集装置の各構成部分、すなわち、ビデオキャプチャ／フレーム記憶ユニット４０３、伸張器／圧縮器４０４、ディスクアクセラレータ４０５を制御する。

そして、ディスク記憶ユニット４０６に記憶されたビデオ情報は、これから実行すべき編集作業及び他の作業のため、コンピュータ４０１からの制御信号４０８、４０９、及び４１０によってディスク記憶ユニット４０６から読み出され、ディスクアクセラレータ４０５、伸張器／圧縮器４０４を介してビデオキャプチャ／フレーム記憶ユニット４０３に読み取ることができるようになっている。

この図４に示した装置は、所望のビデオ情報にアクセスするためには、原理的にビデオテープの巻き取り動作が必要な従来のシーケンシャル・ファイル装置とは異なり、ビデオ情報に「直ちに」アクセス（ランダム・アクセス）できるという特徴があり、このため、上記したように、ダイレクト方式の技法を用いるものである。

上記した図２と図３は、編集作業時、モニタ４０７に表示される第１と第２の編集作業用の画面例である。図２と図３において、２１０、３１３で示す縦のラインは、編集作業時の基準位置を表示するための、現在位置バーとよばれる図形である。

図３の画面の３０２、３０３は、上記現在位置バーの位置を基準とした編集対象のカットあるいはシーンの位置および範囲を相対的に表示するためのタイムラインである。それぞれの編集対象のカットあるいはシーンの属する画像情報ごとにタイムライン表示用のトラックが割り当てられることで、その対応するトラック名が付けられる。

また、図２の画面の２０３は、編集された後のカットあるいはシーンの位置および範囲を相対的に表示するためのタイムライン、さらに、３０４は、二つのタイムライン３０２と３０３の画像の合成編集時に合成される範囲を示すタイムラインである。２０１（図２）、３０１（図３）はタイムラインウィンドウで、そのウィンドウ上に上記タイムラインが表示される。なお、タイムライン２０３、３０２、３０３は、画面操作によりスクロール移動させることができる。

２０５はプログラム・ウィンドウで、タイムラインウィンドウ２０１中に表示されているタイムライン２０３の画像のシーンを確認するために、ディスク記憶ユニット４０６から読み出されたビデオ情報によりその画像が表示される。なお、画像表示の再生開始および再生停止の位置である、マーク・イン位置及びマーク・アウト位置を、図４のコンピュータ４０１が接続された指示装置であるマウス（図示せず）により指示するためのボタン群が合わせて表示されている。

２０６、３０６はワーキングビン・ウィンドウ、或いはプロジェクト・ウィンドウと呼ばれるウィンドウで、ディスク記憶ユニット４０６に記録されているビデオ情報（画像情報）、主に編集された編集画像情報を表示するものである。

そして、エフェクト編集を行なうためには、各種のビデオエフェクトパターンを一覧表示するためのウィンドウ３０５と、エフェクトの種類やその効果量を設定するためのエフェクト設定ウィンドウ３１２とが、あるいは、これら２つのウィンドウの機能を合わせ有するビデオエフェクトパネルウィンドウ２０７が設けてある。

エフェクト編集とは、画像に対してワイプ・エフェクトやディゾルブ・エフェクトなどの特殊効果処理を施す編集である。ワイプ・エフェクトとは、画像Ａから画像Ｂへ転換する過程で、ある変化するパターンで画像Ａを拭き取るようにして画面から消し去り、代わりに画像Ａを消し去った領域に別の画像Ｂが現れてくるような画像処理である。ディゾルブ・エフェクトとは、画像Ａを画像Ｂに転換する過程で、画像Ａの輝度が徐々に低下して消滅するまでの間に画像Ｂが徐々に現れてくる画像処理である。エフェクト編集にはワイプ・エフェクトやディゾルブ・エフェクト以外の他の特殊効果処理も含まれる。

次に、エフェクト編集に必要な動作を、これら図２と図３により、さらに詳しく説明する。
＜図２の場合＞まず、ワーキングビン・ウィンドウ２０６に表示されたシーンまたはカット毎に異なる映像素材のうちの２つがマウスの操作によってそれぞれ選択され、タイムライン２０３上につなぎ合わせるための順序でもって配置される。次いで、さらにマウスにより、二つの映像素材のつなぎ合わせの位置にバー２１０が移動させられることで、その移動された位置におけるエフェクト編集が開始される。

すなわち、ビデオエフェクトパネルウィンドウ２０７に表示された、エフェクトの種類を選択するメニューバー２０８や、マウスと同様にコンピュータ４０１に接続されたキーボード（図示せず）からの数値入力によりエフェクト時間が設定可能なウィンドウ２０９、さらに、その他の設定量、例えば左から右へ場面転換する縦ワイプの境界の幅、ぼかしなどの量を設定可能なスライダを操作することで、ユーザの好みに合わせた編集を行なうのである。

このとき、編集されたシーンまたはカットのエフェクトの様子は、編集された後の複数の静止画像２０２が、タイムラインウィンドウ２０１上に、所定のフレーム間隔で並べて表示されることにより、知ることができるようになっている。ここでの所定のフレーム間隔数については可変設定が可能であり、この設定は、プログラム・ウィンドウ２０５中のメニューバー中から所定のメニューが選択されることで行なうのである。

＜図３の場合＞まず、プロジェクト・ウィンドウ３０６に表示された、シーンあるいはカットの異なる映像素材のうちの２つがそれぞれ選択され、タイムライン３０２、３０３上にそれぞれＡロール、Ｂロールとして配置される。ここでＡロール、Ｂロールとは、２つのシーンまたはカットを合成編集する場合に、それらのおのおのを区別して呼称するためのものであり、この場合の合成編集をＡＢロール編集とも称す。

次に、エフェクト時間を設定するためにタイムライン３０３がマウスにより移動されて、タイムライン３０２と横軸（時間軸）方向に所定の重ね合わせ幅となるようにする。
さらに、ビデオエフェクトパターン表示ウィンドウ３０５に表示された各種エフェクトパターンからいずれか１つのパターンがユーザにより選択されると、エフェクト設定ウィンドウ３１２が表示されると共に、選択されたパターンを表わすエフェクトパターン記号がタイムライン３０４上の上記重ね合わせの範囲に表示される。

そこで、エフェクト設定ウィンドウ３１２においてエフェクトの設定量を可変するように操作してユーザの好みの編集を行なう。
このとき、タイムラインウィンドウ３０１内のタイムライン３０２、３０３上における所定のフレーム間隔で、それぞれ編集前の静止画像表示が行われるが、このフレーム間隔数設定は、スライダ３１５にて行われるのである。

図２と図３と図４で説明した編集システムでは、画像編集に必要な表示、特にその種別選択に充分な配慮がされているとは言えず、画像編集作業の簡略化が図れず、効果的な画像編集を可能にする点で問題があった。

すなわち、まず図２の例では、キーボードからの数値入力によって、所定のフレーム間隔でもって表示される静止画像２０２によって、編集されたエフェクトの内容を確認しながら編集作業を行なうことになるが、しかし、このとき、ＡＢロール編集をやり易くするのに効果的な、Ａロール、Ｂロールに相当する画像の同時表示が行われないため、操作者はシーン合成時の場面（シーン）転換の開始点や終了点を、編集前の映像を確認しながら決定することができない。

次に、図３の例では、プロジェクト・ウィンドウ３０６に表示された、場面の異なる映像素材をそれぞれ選択し、タイムライン３０２、３０３上に移動してＡロールおよびＢロールの画像を表示しながら編集作業を行なうので、図２の場合のような問題は無い。しかしながら、図２のようなエフェクト編集された後の静止画像表示２０２に相当する表示が無いため、ユーザはエフェクト編集したときの、場面転換状態を確認することができない。

従って、上記二例では、編集される前のＡロールとＢロールそれぞれの場面転換の開始点や終了点については、画像表示により確認する場合と、合成編集された画像である、ＡＢロールの画像がどのような結果になるのかを確認する場合とで、それぞれの上記・ウィンドウの画像表示のみによっては迅速に確認することができず、表示を切り替えなければならないという問題点が残っていたのである。

本発明は、画像のエフェクト編集や音声編集をコンピュータグラフィカルユーザインタフェース画面上での操作で簡単にかつ早くできる編集方法と編集システムおよびその編集処理を実行するプログラムを格納した記録媒体を提供する。

本発明は、音声情報と動画像情報とを含む映像情報素材をコンピュータ支援のもとで編集処理を行うための編集方法と編集システムを提供する。
本発明による編集方法および編集システムにおいては、映像情報素材の情報が記憶装置に格納され、記憶装置から映像情報が読み出され、読み出された映像情報が表示装置の画面に表示され、ユーザの指示に応じて映像情報の編集位置を画面の映像情報表示上で表示され、ユーザの指示があった場合に編集位置の変更が行われ、表示された編集位置の映像情報に対してユーザが指定した編集処理が施され、そして編集された映像情報が画面に表示される。従って、ユーザは、画面上で編集素材と編集結果の両方を同時に確認しながら編集処理ができる。

本発明の実施例によれば、動画像情報と音声情報のいずれか一方あるいは両方の編集を表示装置の画面上で行うことができる。
本発明の他の実施例によれば動画像情報の編集に連動して関連する音声情報の表示が変更される。

本発明の別の実施例によれば、動画像情報の画素を間引くことにより縮小動画像を作成して前記記憶装置に格納され、記憶装置より読み出した縮小動画像からフィルムイメージの動画像を作成してそれが画面で編集素材として表示される。

上記目的は、動画情報の中からエフェクト編集を施こすべき部分を選択し、その部分にある複数のフレーム単位の画像を第１のフィルムイメージとして表示させ、上記選択された部分に編集を施して得た複数のフレーム単位の画像を第２のフィルムイメージとして、上記表示された第１のフィルムイメージと並んで表示させ、これら第１と第２のフィルムイメージが表示された画像表示面を用いて動画像編集を行なうようにして達成される。具体的には、実施形態に示されているように、以下の表示が得られるようにしたものである。

まず、動画像、すなわち、上記したように、時系列的にそれぞれ独立して並んだ複数のフレーム単位の画像からなり、動画として表示することができる画像情報の中から、エフェクト編集を行いたい所望の一方のシーンと他方のシーンを選択することにより、ディゾルブ、ワイプ等のエフェクト映像作成のためのウィンドウが表示されるようにし、その中に、いま選択したそれぞれのシーンを含む複数のフレームの画像を縮小して高速表示用画像データとし、それらを一定のフレーム間隔で配列したフィルムイメージが表示されるようにする。

次に、エフェクト時間の設定領域を設け、ここには、選択されたシーンのそれぞれのフレーム数が長方形の図形で表示されるようにする。ここで、横方向が時間間隔である。
これにより、エフェクト時間設定が、これら長方形の図形の重なりとして認識できるようになる。

さらに、これら長方形の図形の重なりとしてエフェクト時間が設定されると共に、上記２種のフィルムイメージが表示されている領域の下側の領域に、エフェクト編集された画像がフィルムイメージで表示されるようにする。この結果、動画表示による場合と同様に、ＡＢロール編集を容易に行なうことできる。

また、選択した一方のシーンと他方のシーンの合計のフレーム数を相対的に表示する領域を設け、この中に、マウスなどの入力手段の操作によって移動する長方形の図形を表示させ、その移動位置によりエフェクト編集部分でのそれぞれのシーンの確認したい箇所がフィルムイメージ上に表示されるようにする。

さらにまた、フィルムイメージ上に任意の縮尺で表示すること、すなわち、高速表示用画像データを一定のフレーム間隔表示することのための設定領域にも、マウスの操作によって移動する長方形を表示する。なお、設定した数値も長方形上に同時に表示を行なう。

一方、数種のワイプパターンマークを表示している領域を備え、マウスの操作によって任意のワイプパターンマークを選択すると、フィルムイメージのエフェクトパターンも変化するようにしたものである。

本発明の実施例によれば、ワイプなどの場面転換による映像編集時に、編集されるべき各シーンと、ワイプなどのエフェクト処理された画像とを、同時に表示することできるので、動画表示による場合と同様に、ダイレクト方式の利点を充分に活かし、ＡＢロール編集なども含めて、各種のエフェクト編集操作を効率的に、しかも容易に行なうことができる。

また、本発明の実施例によれば、ワイプなどの処理や、画像の圧縮伸張処理にハードウエアを用いることを必要としないので、コストの上昇と装置の大型化を充分に抑えることができる。

以下、本発明による画像編集装置について、図示の実施形態により詳細に説明する。
図５は、本発明の実施形態におけるハード構成の一例で、各種制御を処理するＣＰＵ５０１、画像編集に用いるシーンやカットの画像情報及び編集状態を表す階層構造（ツリー構造）などの、各種の情報を表示するモニタ５０８、ＣＰＵ５０１の各種制御プログラムなどを記憶するメモリ５０２、上記画像情報や音声情報およびそれらに関する情報を記憶する記憶装置、例えば、磁気記録装置５０６、モニタ５０８に表示するための画像を記憶するフレームバッファメモリ５０７、複数のシーンからなる画像あるいはシーンにおける、カットとカットの間の変化点であるシーン変化点を検出するシーン変化点検出部５０３、入力装置としてのマウス（又はキーボード）５０９、ビデオテープレコーダ（以下、ＶＴＲと称す）５０５からの画像情報を圧縮して圧縮画像データを生成し、また、圧縮画像データを伸張してＶＴＲ５０５からの画像情報と同等の画像情報を再生する圧縮伸張部５１１などで構成されている。

また、磁気記憶装置５０６に記憶された画像情報からは、ＣＰＵ５０１の制御により、元の画像素材から情報量が例えば１／６４にまびきされた高速表示用縮小画像が生成され、磁気記憶装置５０６に記憶される。

そして、これらＣＰＵ５０１、メモリ５０２、シーン変化点検出部５０３、ビデオインタフェース５０４、磁気記録装置５０６、フレームバッファ５０７は、それぞれバス５１０に接続されており、このことによりＣＰＵ５０１からのアクセスにより各部が制御されるようになっている。

次に、磁気記録装置５０６には、以下に示す様々な情報が記憶されている。
ａ．一連の画像におけるフレーム、あるいはカット変化点検出部５０３で検出された変化点のフレームごとに対応したフレーム番号。
ｂ．高速表示用縮小画像データがファイルされたファイルの名。
ｃ．圧縮画像データがファイルされたファイルの名。
ｄ．高速表示用縮小画像データ。
ｅ．圧縮画像データ。
ｆ．複数のシーン、カットごとの階層の段数を表す階層番号。
ｇ．複数の基となる映像素材におけるカットの順に、シリアルにそれぞれ付与されるカット番号。
ｈ．シーンを構成する複数のカットそれぞれのそのシーンにおける順序を表すシーケンス番号。
ｉ．モニタ５０８に階層構造を表示時に、シーンまたはカット毎に階層構造に表示するか否かを表わす識別情報。

なお、磁気記録装置５０６としては、磁気ディスク、光ディスクあるいは他の記録媒体、例えば、ＭＯディスク記憶装置を用いても良く、或いは通信ネットワーク（ＬＡＮ，ＲＳ−２３２Ｃインタフェースを用いたネットワーク）を介してアクセス可能にしたリモートファイルを用いるようにしても良い。

次に、このように構成された本発明の実施形態の動作について説明する。まず、マウス（またはキーボード）５０９からの指示により、ＶＴＲ５０５に装填済みのビデオテープから映像情報ソースである映像信号が出力され、ビデオインタフェース５０４とバス５１０を介することによって、その映像信号に応じた画像情報が磁気記録装置５０６に登録される。

また、このときＶＴＲ５０５から出力される映像信号に応じた、１フレーム単位毎の画像情報がシーン変化点検出部５０３に供給される。これにより、シーン変化点検出部５０３では、画像情報を符号化し、その符号化された画像情報におけるシーン変化点が検出され、そのシーン変化点に関する情報も磁気記録装置５０６に登録される。

この結果、磁気記録装置５０６には、シーン変化が検出されたシーン変化点のフレームに応じたフレーム番号、高速表示用縮小画像及びその画像がファイルされたファイル名、圧縮画像及びその画像がファイルされたファイル名からなる画像情報が、それぞれ記憶されることになる。

すなわち、ＶＴＲ５０５から出力される映像信号は、圧縮伸張部５１１によって、データ圧縮され、この圧縮画像データも磁気記録装置５０６に登録される。
さらに、複数フレームからなる動画像全体、或いはシーンの内容を確認するとき、又は編集結果を確認するとき、磁気記憶装置５０６から高速で読み出しされるための高速表示用縮小画像も、ＶＴＲ５０５から映像信号を出力したときにその映像信号に基づきＣＰＵ５０１の制御により生成されて磁気記憶装置５０６に登録される。

高速表示用の縮小画像とは、各シーンを代表する多数のカット画像を編集操作に応じて即時に、すなわち圧縮伸張処理を行なうための処理時間を要さないで、モニタ５０８の画面に表示するために、画像サイズを縮小し画素数をオリジナル画像よりも少なくした画像である。本発明の編集システムにおいては、編集対象の素材画像と編集が完了した画像の両方を一つの画面上にユーザの指示に応じて実質的に瞬時に表示する。そのために、元の画像情報から所定量の情報量（画素数あるいは走査線数など）を間引いて情報量を少なくして磁気記録装置５０６からの読みだし速度を高速に行えるようにし、かつ必要な数のカット画面がモニタの表示画面内に収まるように、カット画像サイズを縮小した高速表示用の縮小画像があらかじめ用意される。高速表示用縮小画像はＮＴＳＣ方式あるいはＰＡＬ方式など各種映像方式のオリジナル画像情報から、情報量を間引く処理をＣＰ∪５０１が行って作成される。

そして、このようにして縮小された高速表示用画像は、上記したシーンの内容を確認したいとき、マウス（またはキーボード）５０９による指示により、図６に示す高速表示用ウィンドウ６０２に所望のシーンを表示するのに用いられる。図６のウィンドウ表示は、本発明の実施例によるエフェクト編集の開始前にモニタ５０８の画面に表示される。

周知のように、データ圧縮された画像データから所定のフレーム画像を取り出すには伸張処理する必要があり、このため、もし圧縮伸張部がハードウエアとして存在しなければ、ＣＰＵ５０１および圧縮伸張部５１１が、例えば、ＪＰＥＧ方式のアルゴリズムで画像処理して圧縮する必要がある。ソフトウエアによるデータ圧縮処理またはデータ圧縮伸張処理の場合には多大の処理時間を要する。

しかるに、この実施形態例では、予め高速表示用の縮小した画像データを磁気記録装置５０６に記録しておくので、高速にて圧縮伸張するための圧縮伸張部をハードウエアで有さなくても伸張化のための処理時間を必要とせずに読み出すことができる。すなわち高速表示用縮小画像を再生する場合には伸張処理は不要である。

次に、オペレータが、磁気記録装置５０６に登録した高速表示用の画像情報の読み出しを、マウス（またはキーボード）５０９により指示すると、ＣＰＵ５０１は、対応する画像のシーンの変化点としての各カットの１フレーム目だけを読み出し、モニタ５０８によって、表示面６００に、図６に示すカット一覧用ウィンドウ６０３を表示する。

次に、この表示に対して、オペレータは、シーン変化点検出部５０３により検出されたシーンの変化点が画像の内容に対して適切か否かの指示と、シーンの区切りとをマウス（キーボード）５０９により指示する。

そこで、ＣＰＵ５０１は、磁気記録装置５０６に記憶された画像のシーンの変化点として、適切と指示されたカット毎にカット番号を付与する。次に、マウス（またはキーボード）５０９から、オペレータにより画像編集等が指示されると、磁気記録装置５０６、或いはメモリ５０２から図７、図８に示すツリー構造管理情報が読み出される。

図１０は、磁気記録装置５０６に記録された動画像を構成するフレーム画像を階層構造で表現したものである。本実施例のシステムではモニタ画面にこの階層構造が表示される。「カット」というのはＴＶカメラでの１回の撮影動作開始から終了までの間で撮影されたフレーム画像の集合として定義される。「シーン」は、ある決まった撮影対象を撮影した複数のカットの集合で構成される。複数のシーンはさらに特定の撮影テーマで取りまとめることができる。映像ソースは複数のカット、カットをいくつかまとめるシーン、いくつかのシーンをまとめる撮影テーマあるいは題名というような情報の階層構造として整理できる。カットやシーンにはそれぞれ特定する番号が付与される。

図１０は、記録映像ソースのツリー状の階層構造の一例である。撮影テーマは例えば「トロピカルアイランド」とする。記録された映像ソースには、島の周囲の海中の魚を撮影したカット１、海岸風景を撮影したカット２、森に生息する烏を撮影したカット３、花を撮影したカット４等が含まれる。カット１は例えば第１フレームから第９０フレームで構成され、カット２は第９１フレームから第１５０フレームで構成されている、カット１とカット２の映像は撮影対象が海の映像であるシーン１としてまとめられる。カット３と４は撮影対象が森の映像であるシーン２としてまとめられる。

本発明の実施例による編集装置においては、この階層構造の画面では、これら各カットを構成するフレーム中の代表フレームと、シーンを構成するカット中の代表的なカットのフレームとが、それぞれ高速表示用の縮小画像として表示される。

本発明の実施例では、画面上のオリジナルの階層構造を簡単な操作によって変更することにより簡単に編集ができる。例えば、カット１とカット３とを島に生息する動物を撮影対象とした新たなシーン１とする階層構造に変更（編集）することができる。階層構造の画面を使用しての編集ではカットの入れ替えや削除あるいは別のカットの追加などが可能である。

例えば、図１０のようなツリー構造に応じた管理情報が読み出された場合で、カット１とカット２の画像をシーン１とする指示がオペレータから入力されたとすると、ＣＰＵ５０１により磁気記録装置５０６から、カット１、カット２にそれぞれ対応する、図７に示すデータ構造を有する画像データと、図８に示すデータ構造を有するツリー構造管理情報とが読み出された上で、ツリー構造管理情報における親となる画像番号を１とし、子となるカット番号１、２のアドレスにそれぞれ値“１”、“２”を設定する。

そして、さらに、これら２つのカットのアイコンが表示される表示座標を計算し、計算された値をそれぞれ図８のカット・アイコン表示座標として設定し、ツリー構造管理情報が再登録される。シーン２についても同様な処理で、ツリー構造管理情報が再登録される。

さらに、図１０に示すように、複数のシーンからなるテーマ１が、シーン１とシーン２からなる場合には、磁気記録装置５０６からツリー構造管理情報が読み出され、子となるシーン番号１、２に値“１”、“２”を、さらに、シーン番号が値“１”及び値“２”である管理情報の親となる画像番号に、値“テーマ１”を登録する。

次に、オペレータがマウス（またはキーボード）５０９を操作し、最下位層に位置するアイコン以外のアイコンに対しては、ツリー構造表示用ウィンドウ６０１に表示しないという指示をすると、磁気記録装置５０６、或いはメモリ５０２から階層構造管理情報が読み出され、ツリー構造表示用ウィンドウ６０１に表示しないという表示識別子を所定の管理情報に付して再登録する。

この結果、ＣＰＵ５０１は、この表示識別子を判定して、ディスプレイ表示位置を再計算し、モニタ５０８に表示するので、このときの表示は、図１１のように、表示しないように表示識別子が付されたカット３および４が表示されなくなる。

従って、この操作を順次繰り返すことにより、ＣＰＵ５０１がアイコンの表示座標に基いて処理を行い、図６に示すツリー構造が、モニタ５０８のツリー構造表示用ウィンドウ６０１に、図１２に示すように表示されることになる。

そこで、次に、ワイプ、ディゾルブ等のエフェクト映像編集に移行する。この実施形態では、マウス５０９により、図１２の左側部に並んでいるアイコン図形の中から、ワイプ動作機能の起動を表わすアイコン６１０あるいは６１１を選択することにより、まず、図１のエフェクト映像編集用の画面表示が得られるように構成してある。

ここまで、図６に示したツリー構造について説明してきたので、引き続き、これを前提として説明を続ける。ここで、いま、図１０のカット１とカット２がオペレータによりエフェクト編集の対象として指示されたとする。まず、図６と図１２に示したツリー構造表示用ウィンドウ６０１から、オペレータがマウス５０９により指示した２つのカットの座標により、図８の階層（ツリー）構造管理情報に格納されているアイコン表示座標６２０を参照して、それぞれ対応するカット番号が格納されている情報を検索する。

そうすると、この指示操作により、図１２の画像が表示されているモニタ５０８の画面に、図１に示すエフェクト映像作成のためのウィンドウ１０１が開かれる。（後述の図９のフローチャートのステップ９０１）次に、検索された各カット番号が記憶されている情報のアドレス６２１から２番目のアドレスに記憶されている高速表示用縮小画像ファイル名６２２をそれぞれ読み出す。

さらに、図１３のメモリ５０２上に予め用意されている、高速表示用縮小画像を読み出すためのフレーム間隔の数値に従って、磁気記録装置５０６から高速表示用縮小画像を読み出し、これらカット１とカット２の高速表示用縮小画像を、コマ取り写真と同様なフィルムイメージを形成するアイコン列（イメージ列）１０２、１０３として図１に示すウィンドウ１０１上に表示する。

このとき、フレーム間隔を指定する数値として、図１のスライダ１０７で予め“２”が設定されていたとすると、高速表示用縮小画像の読み出しフレーム数は、１、３、５、・・・・という具合に、１フレームおきになる。そして、このとき、上記したように、この実施形態では、高速表示用に縮小した画像を用いて表示しているため、表示に必要な処理時間がより短くてすむ。

そして、アイコン列１０２と１０３の下方の領域には、これら２つのフィルムイメージを、エフェクト映像処理により合成されたフィルムイメージが、アイコン列１０４として表示される。図１では、ディゾルブ効果の場面転換により合成されたフィルムイメージ１０４が示されている。

従って、この実施形態によれば、ＡロールとＢロールを表す疑似的な画像として、コマ取り写真と同様なフィルムイメージからなるアイコン列１０２、１０３として表示され、これに、同じくディゾルブ編集により合成された結果の映像である、ＡＢロールを表す疑似的な画像として、コマ取り写真と同様なフィルムイメージからなるアイコン列１０４が表示されることになり、この結果、ＡＢロール編集作業を容易に行なうことができる。

ウィンドウ１０１上のアイコン列１０２、１０３、１０４の下方にエフェクト時間設定領域としてウィンドウ１０５が設定してあり、ここに、マウス５０９の操作によって選択され移動する長方形の図形（スライダ）１５０、１５１が表示され、これら長方形の図形１５０、１５１の画面上の横方向の長さが、シーン（このときは、カット１とカット２）それぞれのフレーム数を表わすようになっている。

従って、エフェクト時間設定は、これら長方形の図形１５０、１５１の重なりとして把握できる。マウス５０９により、これらの図形１５０、１５１を動かすことにより、それらの長さと重なり量がメモリ５０２に書き込まれ、その結果として、エフェクト時間が設定されることになる。

図１のバー図形１０６の白い領域は、編集対象として選択したカット１とカット２を構成する全画像の全長（時間）を示し、バー図形１０６の中央部近くの他よりも暗く描いた長方形１０６ａは、ウィンドウ１０１で現在表示している領域のカット１とカット２の縮小画像列１０２と１０３のイメージの時間長と、画像全体における表示画像の時間位置を示している。マウスの操作によってこの長方形１０６ａを移動することができ、その移動した位置により、エフェクト部分それぞれのシーンの確認したい箇所のフィルムイメージをアイコン列１０２、１０３、１０４として表示する。

そして、このときのマウス５０９による長方形１０６ａの移動位置もメモリ５０２に書き込まれ、その結果として、アイコン列１０２、１０３、１０４に表示されるフィルムイメージが設定されることになる。

また、フィルムイメージ上に任意の縮尺で表示する設定領域、すなわち、高速表示用画像データを一定のフレーム間隔表示する設定領域として、フィルムイメージアイコン列表示間隔設定スライダ１０７のアイコンが設定される。スライダ１０７にも、マウスの操作によって移動する長方形１０７ａを表示させる。このとき、設定した数値も長方形１０７ａ内に同時に表示されるようになっている。

次に、この実施形態では、アイコン用のＯＫボタン１０８、キャンセルボタン１０９が設定してある。オペレータは、マウス５０９により画面上のポインタを操作し、ＯＫボタン１０８を選ぶことにより、編集を終了させることができ、キャンセルボタン１０９を選択することにより、途中で処理を放棄することができる。

さらに、この実施形態では、数種類のワイプパターンとディゾルブパターン、さらにはその他のエフェクト映像処理を図形で表示したアイコン領域１１０が設定してある。オペレータがこの領域１１０内の図形（アイコン）をマウス５０９で選択することにより、選択された図形（アイコン）が表すエフェクト映像処理に対応したフィルムイメージの合成パターンを表示させることができるようになっている。例えば、パターン１１０ａは、水平スライドワイプ処理、すなわち、Ａロールの画像の上にＢロールの画像が左から水平にスライドしながら切り替わっていく処理に対応する図形である。

従って、この実施形態によれば、ワイプ、ディゾルブ等のエフェクト映像編集に必要な各種のデータが画像として表示され、さらに必要な入力処理も、ほとんど画像面で選択することができ、作業を効率的に進めることができる次に、ＣＰＵ５０１によるウィンドウ１０１の制御処理についてフローチャートを参照して説明する。このウィンドウ１０１は、メモリ５０２に格納してある所定のプログラムを用いて制御されるもので、図９は、このプログラムによるウィンドウ１０１の制御処理を示すフローチャートである。

この図９の処理は、上記したように、マウス５０９により、図１２の左側部に並んでいるアイコン図形の中のワイプ６１０を選択することにより開始され、まず、ステップ９００では、アイコン列１０２、１０３、１０４の表示処理を行なうか否かの判定用のフラグである、メモリ５０２中に設定されたＲＥＤＲＡＷ＿ＦＬＡＧ変数を”０”にする初期設定を行なう。

次に、ステップ９０１では、ウィンドウ１０１（図１）をモニタ５０８に表示する処理を行なう。
ここで、図１に示すウィンドウ１０１が、モニタ５０８の画面６００に表示されることになる。次にステップ９０２で割り込み入力処理を行なってからステップ９０３に進む。

ここで、マウス５０９の操作による割り込みは、そのボタンがＯＦＦからＯＮ、又はＯＮからＯＦＦになったときの何れの場合にも発生するが、ステップ９０２では、マウス５０９のボタンがＯＦＦからＯＮになったときを有効な割り込みであると判断し、そのときの画面上をマウス５０９により動かされたポインタの位置座標を入力する。

そして、ステップ９０３〜９０８では、それぞれこのポインタの位置座標を、図１に示したウィンドウ１０１の各種スライダやボタン、ワイプパターンマークなどの領域と比較し、このときの割り込みが何れのイベント、すなわち設定変更及びその変更量または値を指定したものであるかを判定する。このとき、意味のない場所での割り込みは無視すると共に、有効な割り込みがなければ、イベントは無かったものとしてステップ９０９へ抜けて行く。

ステップ９０３からステップ９０８では、ポインタで指示され、マウス５０９のボタンの割り込みによってイベントが発生した場合、そのイベントに対応した処理９１１〜９１８のそれぞれの実行に進む。処理９１１〜９１８については後述する。

そして、これらの処理終了後にステップ９０９を実行する。このステップ９０９では、ＲＥＤＲＡＷ＿ＦＬＡＧ変数が１であるか否かを判定する。もし１でない場合はワイプ等の場面転換の編集の指示がユーザから行われていないものと解釈し、ステップ９００に戻り、以後、ＲＥＤＲＡＷ＿ＦＬＡＧ変数が１になるまで、ステップ９００からステップ９０９のループで待つのである。

しかして、ステップ９０９で、ＲＥＤＲＡＷ＿ＦＬＡＧ変数が１と判断されたときはステップ９１０に進み、ここで、メモリ５０２から特殊効果ウィンドウ設定用のデータを読み込み、ウィンドウ１０１上のフィルムイメージのアイコン列１０２、１０３、１０４を表示する処理を行ない、その後、ＲＥＤＲＡＷ＿ＦＬＡＧ変数をリセットし０にもどして、ステップ９００に戻る。従って、これらステップ９００から９１０までの処理は、ウィンドウ１０１の表示に伴い行うことが可能なエフェクト編集処理終了まで繰り返されることになる。

次に、各イベントに対応したステップ９０３からステップ９０８の個別処理について説明する。マウスにより画面からポインタで選択された結果、ステップ９０３からステップ９０６の何れかでの判定結果がイエス（ＹＥＳ）になったときには、それぞれステップ９１１からステップ９１９で、選択されたイベントに対応した処理を実行するためのデータをＣＰＵ５０１はメモリ５０２に書き込む。

なお、画面に表示された各種スライダやボタンと、割り込みのイベントとは予め対応付けしてある。ステップ９０３では、重ね合わせ量設定スライダ１０５が押されたとき、つまりスライダ１０５がポイントされたとき結果がイエスになり、そうでなければステップ９０４に進む。

結果がイエスのときは、まずステップ９１１でＲＥＤＲＡＷ＿ＦＬＡＧ変数を１にセットし、次いでステップ９１２へ進み、マウス５０９によるポイント位置に応じて入力される数値を、メモリ５０２の重ね合わせ量のアドレスに書き込み、ステップ９０９へ進む。

ステップ９０４では、表示位置設定スライダ１０６が押されたか判定し、押されていればステップ９１３へ、そうでなければステップ９０５に進む。そしてステップ９１３でＲＥＤＲＡＷ＿ＦＬＡＧ変数に１をセットし、ステップ９１４へ進み、マウス５０９により指示された数値を、メモリ５０２のフィルムイメージ表示開始フレーム番号のアドレスに書き込み、ステップ９０９へ進む。

ステップ９０５は、フィルムイメージアイコン列表示間隔設定スライダ１０７が押されたか判定し、押されていればステップ９１５へ、そうでなければステップ９０６に進む。
そしてステップ９１５ではＲＥＤＲＡＷ＿ＦＬＡＧ変数に１をセットし、次いでステップ９１６へ進み、マウス５０９により指示された数値を、メモリ５０２のフィルムイメージアイコン列表示間隔数のアドレスに書き込み、ステップ９０９へ進む。ステップ９０６ではワイプパターンマーク１１０が押されたか判定し、押されていればステップ９１７へそうでなければステップ９０７に進む。

そしてステップ９１７ではＲＥＤＲＡＷ＿ＦＬＡＧ変数に１をセットしてからステップ９１８へ進み、マウス５０９により指示された数値を、メモリ５０２のワイプパターン番図８の階層構造管理情報ファイルに書き込み、ステップ９２０へ進む。ステップ９２０ではウィンドウ１０１をクローズ（閉）する処理を行なう。そこで、この後は、図１２に示した元の表示画面に戻り、エフェクト編集を一旦終了する。

一方、ステップ９０８はキャンセルボタン１０９が押されたか否か判定し、押されていればステップ９２０へ、そうでなければステップ９０９へ進む。従って、このときは、階層構造管理情報ファイルの書き替えは行われず、元のままで処理を終了するのである。

図９に示したフローチャートで表される編集処理プログラムは、ＣＰＵ５０１により読み取り可能なコード信号形式でメモリ５０２に格納されている。メモリ５０２は半導体メモリやＣＤ−ＲＯＭあるいは磁気ディスクや光ディスクのような記録媒体であってもよい。図９号のアドレスに書き込んでからステップ９０９へ進む。ステップ９０７ではＯＫボタン１０８が押されたか判定し、押されていればステップ９１９へ、そうでなければステップ９０８へ進む。

ステップ９１９では、メモリ５０２の該当カット番号の記録アドレスより所定数のアドレスから読み出した重ね合わせ量、ワイプパターン番号で代表される本発明の実施例の編集処理プログラムは、このような記録媒体に格納された形態でユーザの汎用コンピュータにインストールされてもよい。あるいは、編集処理プログラムは、外部の遠隔地にある記憶装置に格納されていて、それが通信回線を介してメモリ５０２にダウンロードされてもよい。

本発明の実施形態によるエフェクト編集画面表示の一例を示す説明図である。 従来技術によるエフェクト編集の画面表示の一例を示す説明図である。 他の従来技術によるエフェクト編集の画面表示の他の例を示す説明図である。 従来技術による動画像編集装置の一例を示すブロック構成図である。 本発明による動画像編集装置の一実施形態におけるブロック構成図である。 本発明の実施形態によるツリー構造画面表示の一例を示す説明図である。 本発明の実施形態における画像情報ファイルのデータ構成図である。 本発明の実施形態における階層構造管理情報ファイルのデータ構成図である。 本発明の実施形態におけるエフェクト編集を制御するプログラムのフローチャートである。 本発明の実施形態における代表画像の組み合わせによる画像情報の階層構造表示の一例を示す説明図である。 本発明の実施形態における代表画像の組み合わせによる画像情報の階層構造表示の別の例を示す説明図である。 本発明の実施形態においてエフェクト編集画面表示に移行する前の表示状態を示す説明図である。

符号の説明

１０１ エフェクト編集ウィンドウ
１０２、１０３、１０４ フィルムイメージからなるアイコン列
２０１ 従来技術によるソフトウエアの一例によるタイムラインウィンドウ
３０１ 従来技術によるソフトウエアの他の一例によるタイムラインウィンドウ
４０１ コンピュータ
４０２ ＶＴＲ
４０３ キャプチャ／フレーム記憶部
４０４ 圧縮器／伸張器
４０５ ディスクアクセラレータ
４０６ ディスク記憶ユニット
４０７ モニタ
５０１ ＣＰＵ
５０２ メモリ
５０３ シーン変化点検出部
５０４ ビデオインタフェース
５０５ ＶＴＲ
５０６ 磁気記録装置
５０７ フレームバッファ
５０８ モニタ
５０９ マウス（キーボード）
５１０ バス
５１１ 圧縮伸張部
６０１ ツリー構造表示用ウィンドウ
６０２ 高速表示用ウィンドウ
６０３ カット一覧表示用ウィンドウ

Claims (2)

1. 少なくとも画像情報からなる動画像をコンピュータ支援のもと表示画面上で編集処理を行う編集方法において、
   前記画像情報を記憶装置に格納し、前記記憶装置から前記画像情報のうち編集される第１のシーンと第２のシーンを読み出し、前記読み出した第１のシーンを前記表示画面上の第１のイメージ列に所定のフレーム間隔で表示し、前記読み出した第２のシーンを前記表示画面上の第２のイメージ列に所定のフレーム間隔で表示し、前記第１と第２のシーンの時間的重なり部分に施したエフェクトのシーンを前記表示画面上の第３のイメージ列に所定のフレーム間隔で表示することを特徴とする画像編集方法。
2. 少なくとも画像情報からなる動画像をコンピュータ支援のもと表示画面上で編集処理を行う編集装置において、
   前記画像情報を格納する記憶装置と、前記記憶装置から前記画像情報のうち編集される第１のシーンと第２のシーンを読み出す手段と、前記読み出した第１のシーンを前記表示画面上の第１のイメージ列に所定のフレーム間隔で表示する手段と、前記読み出した第２のシーンを前記表示画面上の第２のイメージ列に所定のフレーム間隔で表示する手段と、前記第１のシーンと第２のシーンの時間的重なり部分に施したエフェクトのシーンを前記表示画面上の第３のイメージ列に所定のフレーム間隔で表示する手段とを有することを特徴とする画像編集装置。