JP4727342B2 - 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体に関し、例えばノンリニア編集装置に適用して好適なものである。

従来、テレビジョン放送局等のコンテンツ制作現場においては、ビデオカメラで撮影することにより得られた映像音声素材（以下、これをクリップと呼ぶ）からその一部を切り取るようにして新たな１つのクリップを作成し、同様に作成した複数のクリップを繋ぎ合わせるようにして１本のコンテンツを作成している（例えば、非特許文献１参照）。

図４１は、このような編集作業に用いられる編集装置のディスプレイに表示されるＧＵＩ（Graphical User Interface）画面（以下、これを編集画面と呼ぶ）の一例を示すものである。この図４１からも明らかなように、この編集画面１は、クリップ一覧表示部２、モニタ部３、ストーリーボード部４、タイムライン部５及びエフェクト情報表示部６Ａ〜６Ｃから構成されている。

この場合クリップ一覧表示部２には、その編集装置に登録されている各種ビン及びファイルの中から所望の１つのビン又はファイルを選択して、そのビン又はファイルに収納されているクリップの一覧を表示させることができるようになされている。

そしてオペレータは、これらクリップ一覧表示部２に一覧表示されたクリップの中から所望のクリップを選択し、これをモニタ部３にドラッグアンドドロップすることによって、そのクリップの先頭画像をモニタ部３内に表示させることができる。

またオペレータは、その状態でモニタ部３の下部に表示されたボタン群７の中から対応するボタンをクリックすることによって、かかるドラッグアンドドロップされたクリップの再生を開始させてその再生映像をモニタ部３に表示させることや、その表示された再生映像を早送り又は巻き戻し等させることができ、さらにボタン群７の上側に表示されたそのクリップ全体における現在の表示画像の位置を表すスクラブカーソル８をマウス操作により左右に移動させることによって、そのときのスクラブカーソル８の位置に応じた画像をモニタ部３に表示させることができる。

かくしてオペレータは、モニタ部３に表示される再生映像を目視確認しながら、かかるボタン群７内の再生ボタン等やスクラブカーソル８を操作することによって所望のフレームを探索し、そのフレームの画像をモニタ部３に表示させた状態で当該モニタ部３の下部に設けられたイン点ボタン９_ＩＮ又はアウト点ボタン９_ＯＵＴをクリックすることにより、そのクリップから切り取るべき映像音声部分の開始点（以下、イン点）及び終了点（以下、アウト点）をそれぞれ指定することができる。

そして、このようにしてイン点及びアウト点を指定したクリップについては、当該イン点及びアウト点で挟まれる映像音声部分を新たなクリップとして、ドラッグアンドドロップによりストーリーボード部４に貼り付けることができる。これにより編集画面１においては、編集に使用するクリップを予めストーリーボード部４に並べることによって、オペレータが編集結果を容易にイメージし得るようになされている。なお、このときストーリーボード部４には、貼り付けられた各クリップの先頭画像等の代表画像のサムネイル及び詳細情報が表示される。

そしてオペレータは、この後かかるストーリーボード部４に貼り付けた各クリップを、それぞれドラッグアンドドロップによりタイムライン部５のビデオトラック１０_Ｖ上に並べるように順次貼り付けるようにする。このときビデオトラック１０_Ｖには、タイムスケール１１を指標として、貼り付けられたクリップの素材長に応じた長さの帯１２_Ｖが表示される。またこのときそのクリップに音声がある場合には、オーディオトラック１０_Ａにおけるタイムスケール１１上の同じ位置に同じ長さの帯１２_Ａが表示される。

ここで、このようにタイムライン部５のビデオトラック１０_Ｖやオーディオトラック１０_Ａに帯１２_Ｖ、１２_Ａが表示されることは、編集映像音声の出力時にタイムスケール１１で表された時間にその帯１２_Ｖ、１２_Ａに対応するクリップの映像が表示され又は音声が出力されることを意味する。従って、このような操作により編集映像として表示され、又は編集音声として出力されるクリップの映像又は音声を順次規定してなる編集リストを作成することができる。

なお、このようにして編集リストを作成する際に、例えば第１のクリップの映像から第２のクリップの映像への切り替わり時に映像特殊効果処理を施したいときには、エフェクト情報表示部６Ａ〜６Ｃのうちのエフェクト一覧表示部６Ｃに一覧表示された、この編集装置が実行できる各種映像特殊効果の中から、所望する映像特殊効果と対応付けられたアイコン（以下、これをエフェクトアイコンと呼ぶ）１３を、タイムライン部５のトラジショントラック１０_Ｔにおける第１及び第２のクリップの切り替わり部分とタイムスケール１１上で同じ位置にドラッグアンドドロップにより貼り付けるようにする。

これにより編集映像における第１のクリップの映像と第２のクリップの映像との繋ぎ部分において、上述のようにトラジショントラック１０_Ｔに貼り付けられたエフェクトアイコン１３と対応付けられた映像特殊効果処理を実行すべき旨の指示を入力することができる。
特願平１１−９５３３２号

ところで、上述のような編集画面１を用いた編集作業において、イン点やアウト点とすべきフレームの探索作業は、上述のようにスクラブカーソル８を左右に動かすスクラブ（Scrub）と呼ばれるマウス操作により、そのクリップの映像を高速再生させて所望のフレームを見つけ出すことにより行われる。

しかしながら、このようなスクラブによる所望フレームの探索作業（以下、適宜、これを画探し作業と呼ぶ）は、その操作に習熟していなければ多くの時間を要するものである。また対象とする映像音声素材が、例えば圧縮効率を高めるために１ＧＯＰ（Group of Pictures）内に複数フレームをもつ方式、いわゆるＭＰＥＧ（Motion Picture Expert Group）方式のロングＧＯＰ（Long GOP）フォーマットで圧縮符号化が行われている場合や、前後のＧＯＰのデータをも利用して圧縮するオープンＧＯＰフォーマットの場合には、フレームを復号化処理するために複数のフレーム及びＧＯＰをも復号化処理しなければならない場合があることから、高速なランダム再生が困難となる。この結果、かかる場合には、表示映像の応答性が悪くなって、スクラブによる画探し作業がさらにやり難いものとなる。

さらに上述のようにクリップ同士を繋げるいわゆるカット編集の操作も、従来は、編集画面１内のタイムライン部５のビデオとラック１０_Ｖやオーディオトラック１０_Ａにクリップを貼り付けるようにして行い、イン点及びアウト点の前後の映像確認をその後の再生やスクラブにより行っていた。このためかかるカット編集を行うためには、上述のようにいくつかのステップが必要であり、簡易に行うことが困難な問題があった。

さらに、通常、編集作業では、映像と音声とを意識して編集するのが常であるが、音声については映像を目視確認しながらスピーカから出力される音を頼りにするか、又は編集画面１のタイムライン部５のオーディオトラック１０_Ａに表示される音声のレベル波形（例えば図のタイムライン部５の「オーディオ３」のオーディオトラック１０_Ａを参照）を確認しながら編集する必要があり、映像と音声とを連携させた編集作業を容易に行い得ない問題があった。

本発明は以上の点を考慮してなされたもので、編集作業を容易化させ得る画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体を提案しようとするものである。

かかる課題を解決するため本発明の画像処理装置においては、映像データから、表示画面上の複数の映像表示部に対して表示させる複数の表示映像データを生成する画像生成手段と、画像生成手段により生成された複数の表示映像データを、表示順に連携させ時系列に流れるような時間差を設けた動画として、３次元に湾曲させて配置された複数の映像表示部を表示順に連携することにより生成した映像表示部群に対して連動表示させる画像処理手段とを有するようにした。

これにより画像処理装置では、３次元に湾曲させて配置された複数の映像表示部を表示順に連携することにより生成した映像表示部群に対して、複数の表示映像データを表示順に連携させ時系列に流れるような時間差を設けた動画として連動表示させることができるため、３次元の奥行き感を立体的に表現した複数の映像表示部からなる映像表示部群により時間軸方向の推移を分かり易く表現することができる。

また本発明の画像処理方法においては、映像データから、表示画面上の複数の映像表示部に対して表示させる複数の表示映像データを画像生成手段により生成する画像生成ステップと、画像生成ステップにより生成された複数の表示映像データを、画像処理手段により、表示順に連携させ時系列に流れるような時間差を設け設けた動画として、３次元に湾曲させて配置された複数の映像表示部を表示順に連携することにより生成した映像表示部群に対して連動表示させる画像処理ステップとを有するようにした。

これにより画像処理方法では、３次元に湾曲させて配置された複数の映像表示部を表示順に連携することにより生成した映像表示部群に対して、複数の表示映像データを表示順に連携させ時系列に流れるような時間差を設けた動画として連動表示させることができるため、３次元の奥行き感を立体的に表現した複数の映像表示部からなる映像表示部群により時間軸方向の推移を分かり易く表現することができる。

さらに本発明の画像処理プログラムにおいては、コンピュータに対し、映像データから、表示画面上の複数の映像表示部に対して表示させる複数の表示映像データを生成する画像生成ステップと、画像生成ステップにより生成された複数の表示映像データを、表示順に連携させ時系列に流れるような時間差を設け設けた動画として、３次元に湾曲させて配置された複数の映像表示部を表示順に連携することにより生成した映像表示部群に対して連動表示させる画像処理ステップとを実行させるようにした。

この結果、本発明の画像処理プログラムによれば、３次元に湾曲させて配置された複数の映像表示部を表示順に連携することにより生成した映像表示部群に対して、複数の表示映像データを表示順に連携させ時系列に流れるような時間差を設けた動画として連動表示させることができるため、３次元の奥行き感を立体的に表現した複数の映像表示部からなる映像表示部群により時間軸方向の推移を分かり易く表現することができる。

さらに本発明のプログラム格納媒体においては、映像データから、表示画面上の複数の映像表示部に対して表示させる複数の表示映像データを生成する画像生成ステップと、画像生成ステップにより生成された複数の表示映像データを、表示順に連携させ時系列に流れるような時間差を設け設けた動画として、３次元に湾曲させて配置された複数の映像表示部を表示順に連携することにより生成した映像表示部群に対して連動表示させる画像処理ステップとを含む処理をコンピュータに実行させる画像処理プログラムを記録するようにした。

この結果、本発明のプログラム格納媒体によれば、３次元に湾曲させて配置された複数の映像表示部を表示順に連携することにより生成した映像表示部群に対して、複数の表示映像データを表示順に連携させ時系列に流れるような時間差を設けた動画として連動表示させることができるため、３次元の奥行き感を立体的に表現した複数の映像表示部からなる映像表示部群により時間軸方向の推移を分かり易く表現することができる。

本発明によれば、３次元に湾曲させて配置された複数の映像表示部を表示順に連携することにより生成した映像表示部群に対して、複数の表示映像データを表示順に連携させ時系列に流れるような時間差を設けた動画として連動表示させることができるため、３次元の奥行き感を立体的に表現した複数の映像表示部からなる映像表示部群により時間軸方向の推移を分かり易く表現することができ、かくして編集作業を容易化させ得る画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体を実現することができる。

以下図面について、本発明の一実施の形態を詳述する。

（１）第１の実施の形態
（１−１）第１の実施の形態による編集システム２０の構成
図１において、２０は全体として本発明を適用した本実施の形態による編集システムを示し、ビデオテープに記録された映像音声の一部又は全部をクリップとして編集装置２１を介してＲＡＩＤ（Redundant Arrays of Independent Disks）でなる大容量の記憶装置２２に取り込み得るようになされている。

またこの編集システム２０では、記憶装置２２に取り込まれたクリップを所望状態につなぎ合わせて所望の編集映像音声を得るための編集内容に規定した編集リストを作成でき、さらにこの作成した編集リストに従って実際に編集処理を実行し、得られた編集映像及び編集音声を記憶装置２２に蓄積し、或いはビテオテープに記録することができるようになされている。

すなわちこの編集システム２０は、編集装置２１、記憶装置２２及び複数台のビデオテープレコーダ２３１〜２３ｎから構成されている。

この場合、編集装置２１においては、ＣＰＵ（Central Processing Unit）３０、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）３２、ハードディスク装置３３、信号処理部３４及び映像特殊効果／音声ミキシング処理部３５と、第１〜第４のインタフェース部３６Ａ〜３６Ｄとがバス３７を介して相互に接続されることにより構成されている。そして第１のインタフェース部３６Ａにマウス３８及びキーボード３９が接続され、第２のインタフェース部３６Ｂに各ビデオテープレコーダ２３_１〜２３_ｎが接続され、第３のインタフェース部３６Ｃに記憶装置２２が接続され、第４のインタフェース部３６Ｄにディスプレイ４０及びスピーカ４１が接続されている。

そしてＣＰＵ３０は、起動時、ＲＯＭ３１に格納された制御プログラムに基づき、ハードディスク装置３３に格納された必要なソフトウェアを読み出してＲＡＭ３２に展開し、この後このソフトウェア及びユーザ操作に基づいて必要な制御処理を実行する。

実際上、ＣＰＵ３０は、マウス３８やキーボード３９が操作されて、ビデオテープに記録された映像音声を記憶装置２２に取り込むための所定のウィンドウ（以下、これをクリップ取込みウィンドウと呼ぶ）の表示命令が入力されると、これに応動してハードディスク装置３３を制御することにより、対応する画像データを読み出させる一方、これと併せて信号処理部３４を制御することにより、この画像データに基づく上述のクリップ取込みウィンドウをディスプレイ４０に表示させる。

またＣＰＵ３０は、この状態でマウス３８が操作されて、あるビデオテープレコーダ２３_１〜２３_ｎに対する再生動作命令が入力されると、これに応動して第２のインタフェース部３６Ｂを介して対応するビデオテープレコーダ２３_１〜２３_ｎを制御することにより、ビデオテープに記録された映像音声信号の再生動作を実行させる。この結果このビデオテープレコーダ２３_１〜２３_ｎからは、当該ビデオテープレコーダ２３_１〜２３_ｎに装填されているビデオテープから再生された映像音声信号Ｓ１が出力され、これが第２のインタフェース部３６Ｂ、バス３７及び映像特殊効果／音声ミキシング処理部３５を順次介して信号処理部３４に与えられる。

このとき信号処理部３４は、ＣＰＵ３０の制御のもとに、供給される映像音声信号Ｓ１に対して所定の信号処理を施し、得られた映像信号Ｓ２をバス３７及び第４のインタフェース部３６Ｄを介してディスプレイ４０に送出することにより、映像信号Ｓ２に基づく映像をクリップ取込みウィンドウ内の所定位置に表示させる一方、このとき得られた音声信号Ｓ３をバス３７及び第４のインタフェース部３６Ｄを介してスピーカ４１に送出することにより、当該音声信号Ｓ３に基づく音声をスピーカ４１から出力させる。

かくしてオペレータは、ディスプレイ４０に表示された映像及びスピーカ４１から出力される音声に基づいて、マウス３８及びキーボード３９を用いて映像及び音声の所望部分を指定することができ、さらにその映像音声部分をクリップとしてそのイン点及びアウト点のタイムコードや素材長（デュレーション）、クリップＩＤ、クリップ名、その映像音声の撮影日時、そのクリップの作成日時等の管理情報を登録することができる。そしてこの登録されたそのクリップの管理情報が、ＣＰＵ３０の制御のもとに、ハードディスク装置３３内のクリップ管理情報データベースに登録される。

またＣＰＵ３０は、この後マウス３８又はキーボード３９が操作されて、そのクリップの取込み命令が入力されると、これに応動して第２のインタフェース部３６Ｂを介してそのビデオテープレコーダ２３_１〜２３_ｎを制御することにより、指定されたクリップの映像音声の再生動作を実行させる。この結果、ビデオテープレコーダ２３_１〜２３_ｎからは、ビデオテープから再生されたそのクリップの映像音声信号Ｓ１が出力され、これが第２のインタフェース部３６Ｂ及びバス３７を順次介して映像特殊効果／音声ミキシング処理部３５に与えられる。またＣＰＵ３０は、これと併せて映像特殊効果／音声ミキシング処理部３５及び記憶装置２２を制御することにより、ビデオテープレコーダ２３_１〜２３_ｎから与えられるかかるクリップの映像音声信号Ｓ１を映像特殊効果／音声ミキシング処理部３５を介して記憶装置２２に取り込ませる。

このようにしてこの編集システム１においては、指定されたクリップの映像音声をビデオテープから再生して記憶装置２２に取り込むことができるようになされている。

一方、オペレータは、この後マウス３８やキーボード３９を用いた所定操作により編集作業を行うための後述のような編集画面５０（図２）をディスプレイ４０に表示させることができ、この編集画面５０を用いてどのクリップとどのクリップとをどのように繋ぎ合わせるかといった編集内容を規定した編集リストを作成することができる。またオペレータは、編集リストの作成後又は作成途中において、その編集リストに基づく編集映像及び編集音声を確認することができる。

そしてＣＰＵ３０は、編集リストが作成された後マウス３８が操作されてその編集リストの登録命令が入力された場合には、その編集リストにおいて規定された全てのユーザプログラムによる設定でなる編集データをファイル化してハードディスク装置３３内の編集リストデータベースに登録する。

またＣＰＵ３０は、編集リストの作成後又は作成途中において、マウス３８又はキーボード３９が操作されて、その編集リストに基づく編集映像音声の再生命令が入力されると、これに応動して記憶装置２２を制御することにより、必要なクリップの映像音声信号Ｓ１を記憶装置３に読み出させる。かくしてこの記憶装置２２から読み出された映像音声信号Ｓ４が第３のインタフェース部３６Ｃ及びバス３７を順次介して映像特殊効果／音声ミキシング処理部３５に与えられ、この後ＣＰＵ３０の制御のもとに、当該映像特殊効果／音声ミキシング処理部３５において必要に応じて映像特殊効果加工処理や音声ミキシング処理が施され、得られた編集結果でなる編集映像音声信号Ｓ５が信号処理部３４に与えられる。

このとき信号処理部３４は、ＣＰＵ３０の制御のもとに、供給される編集映像音声信号Ｓ５に対して所定の信号処理を施し、得られた映像信号Ｓ２及び音声信号Ｓ３をそれぞれバス３７及び第４のインタフェース部３６Ｄを順次介してディスプレイ４０又はスピーカ４１に送出する。この結果、この映像信号Ｓ２に基づいて、編集画面５０内の所定位置に編集映像音声信号Ｓ５に基づく編集映像が表示され、スピーカ４１から当該編集映像音声信号Ｓ５に基づく編集音声が出力される。

このようにしてこの編集システム１においては、オペレータが編集リストに基づく編集映像及び編集音声を確認しながら編集作業を行うことができる。

さらにＣＰＵ３０は、編集リストが作成された後、マウス３８又はキーボード３９が操作されてその実行命令が入力されると、これに応動して記憶装置２２を制御することにより、編集処理に利用するクリップの映像音声信号Ｓ４を記憶装置２２から読み出させて映像特殊効果／音声ミキシング処理部３５に送出させる。

そしてこのとき映像特殊効果／音声ミキシング処理部３５は、ＣＰＵ３０の制御のもとに、上述の再生モード時と同様にして、供給される各クリップの映像音声信号Ｓ４に対して必要に応じて特殊効果加工処理や音声ミキシング処理を施す一方、得られた編集映像音声信号Ｓ５をバス３７と、第３又は第２のインタフェース部３６Ｃ、３６Ｂとを順次介して記憶装置２２又は対応するビデオテープレコーダ２３_１〜２３_ｎに送出する。

かくして記憶装置２２は、ＣＰＵ３０の制御のもとに、供給される編集映像音声信号Ｓ５を指定されたアドレス位置に記憶する。またビデオテープレコーダ２３_１〜２３_ｎは、ＣＰＵ３０の制御のもとに、供給される編集映像音声信号Ｓ５をビデオテープの指定された位置に記録する。

このようにしてこの編集システム１では、作成された編集データに従って、指定されたクリップの映像音声を指定された状態に編集加工して記憶装置２２に蓄積したり、ビデオテープに記録したりすることができるようになされている。また、本説明では映像音声の蓄積場所として記憶装置２２を使い、説明を行ったが、ハードディスク装置３３に蓄積してもよい。

（１−２）編集画面５０における操作手順
（１−２−１）編集画面５０における再生映像の表示方法
（１−２−１−１）編集画面５０における再生映像の表示方法
ここでＣＰＵ３０は、マウス３８又はキーボード３９が操作されて編集画面を表示すべき命令が入力されると、ハードディスク装置３３及び信号処理部３４を制御することにより、図２に示すような編集画面５０をディスプレイ４０に表示させる。

この編集画面５０は、図４１について上述した編集画面１のクリップ一覧表示部２、ストーリーボード部４、タイムライン部５及びエフェクト情報表示部６Ａ〜６Ｃとそれぞれ同様の機能を有するクリップ一覧表示部５１、ストーリーボード部５２、タイムライン部５３及びエフェクト情報表示部５４と、この編集画面５０に固有の機能を有する帯状表示部５５とから構成される。なお、編集画面５０の場合、後述のように編集作業は主として帯状表示部５５を用いて行われるため、ストーリーボード部５２及びタイムライン部５３は補助的に設けられたものである。

そして帯状表示部５５には、初期時、図３に示すように、例えばゴルフスイングのような一連の動きを示す映像を表示するのに適した複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）が、例えば楕円状に３次元的に湾曲させて連続的かつ手前中央部の映像表示部（以下、適宜、これを基準映像表示部と呼ぶ）５７Ａを中心として左右両側に同じ数だけ位置するように並べて配置されてなる帯状の映像表示部群５８が表示される。

この場合において、映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）は、例えば基準映像表示部５７Ａが最も大きく、これから離れるにつれて徐々に小さくなるように、かつ手前側の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）と後側の映像表示部５７とが重なる部分では後側の映像表示部５７が手前側の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）によって隠れるように表示される。

但し、各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）においては、半透明の再生映像が表示されるようになされており、手前側の映像表示部５７Ａによって隠れる後側の映像表示部５７Ｂ及び５７Ｚの一部分や、当該映像表示部５７Ｂ及び５７Ｚによって隠れる後側の映像表示部５７Ｃ及び５７Ｙの一部分や、当該映像表示部５７Ｃ及び５７Ｙによって隠れる後側の映像表示部５７Ｄ及び５７Ｘの一部分や、当該映像表示部５７Ｄ及び５７Ｘによって隠れる後側の映像表示部５７Ｅ及び５７Ｗの一部分や、当該映像表示部５７Ｅ及び５７Ｗによって隠れる後側の映像表示部５７Ｆ及び５７Ｖの一部分についても透けた状態で目視確認し得るようになされている。

なお、この場合のＣＰＵ３０は、ハードディスク装置３３から複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）の表示サイズ及び帯状表示部５５上における表示位置を含む表示情報を取得し、この表示情報に基づいて画像処理を施すことにより当該複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示すべき対応する表示映像データをそれぞれ生成するようになされている。

そしてこの編集画面５０では、例えばクリップ一覧表示部５１に一覧表示されたクリップの中から所望するクリップをドラッグアンドドロップにより帯状表示部５５内に移動させ、その後帯状表示部５５の左下隅に表示された再生ボタン５６をクリックすると、図４に示すように、この映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に、それぞれ右側に隣接する映像表示部５７に表示された再生映像に対して予め設定された所定の等間隔の時間差（以下、この時間を再生時間差と呼ぶ）ΔＴ（図５）をもって順次再生されたそのクリップの再生映像が順次表示される。

つまり、図５に示すように、最初に右奥の映像表示部５７Ｆ内にそのクリップの再生映像が先頭から表示され、その後設定された再生時間差ΔＴ分の時間経過後にこれと左側に隣接する次の映像表示部５７Ｅにそのクリップの再生映像が先頭から表示され、さらにその後当該再生時間差ΔＴ分の時間経過後にこれと左側に隣接する次の映像表示部５７Ｄにその再生映像が先頭から表示され、……というように、そのクリップの再生映像が、かかる等間隔の再生時間差ΔＴをもって各映像表示部５７に図４の矢印ａの方向の順番で時系列の流れとして順次表示されることとなる。なお図５において破線で示す部分は、初期状態において編集画面５０には表示されないが、映像の再生が行われている後述の映像表示部５７Ｇ，５７Ｈ，……、５７Ｕ，５７Ｔ，……における当該映像の再生タイミングを示すものである。

従ってＣＰＵ３０は、複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）の間において動画像の状態で再生時間差ΔＴ分の時間差を設けながら、複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）が表示順に連携した映像表示部群５８として再生映像を連動表示させ得るようになされている。

また図６に示すように各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示される再生映像は、予め設定された画像更新速度、すなわち再生速度ｖで再生画像が表示される。従って、かかる再生速度ｖの設定値が大きい場合には、これに応じて各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に等速度で高速再生された再生映像がそれぞれ表示され、当該設定された再生速度ｖが遅い場合には、これに応じて各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に等速度でスロー再生された再生映像がそれぞれ表示されることとなる。

なお、これら再生時間差ΔＴ及び再生速度ｖの初期値は、帯状表示部５５の上部に表示されたツールバー５９における「設定」をクリックし、かくして表示される図示しないコンテキストメニューの中から「再生時間差・再生速度」を選択したときに表示される図７に示すような再生時間差・再生速度設定ダイアログ６０を用いて設定することができる。

実際上、かかる再生時間差ΔＴ及び再生速度ｖの初期値を設定する場合には、これら再生時間差ΔＴ及び再生速度ｖにそれぞれ対応させてこの時間差・再生速度設定ダイアログ６０に設けられた各テキストボックス６１、６２内の数値を、例えば対応するアップダウンキー６３Ａ、６３Ｂ、６４Ａ、６４Ｂをクリック操作し、又はキーボード３９を用いて所望する数値を直接入力するようにして変更した後に、「ＯＫ」ボタン６５をクリックすれば良く、このときこれらテキストボックス６１、６２内に表示されていた数値が、それぞれかかる再生時間差ΔＴ及び再生速度ｖの初期値として設定される。

これによりこの編集装置５１においては、例えばその映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示される再生映像の再生時間差ΔＴを小さくし、かつこれら再生映像の再生速度ｖを遅く設定することによって、クリップの狭い範囲の映像を当該映像表示部群５８に表示させることができ、またかかる再生時間差ΔＴを大きく、かつこれら再生映像の再生速度ｖを遅く設定することによって、クリップの広い範囲の映像を当該映像表示部群５８に表示させることができるようになされている。

実際上、図６に示したような各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示される再生映像は、再生速度ｖが変更されることに応じて可変速表示され、また再生時間差ΔＴ分が変更されることに応じて任意の時間間隔で時間差表示されることになるため、全体としては太矢印ＳＴ１に示すフォワード方向へ流れるように可変速表示された状態で連動表示される。

この場合、各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）では、映像表示部５７Ｆに対して最も時間的に進んだタイミングの再生映像が表示されることになり、映像表示部５７Ｖに対して最も時間的に遅れたタイミングの再生映像が表示されることになるため、時系列順にずらした状態で流れるような映像表示が行われていることをユーザに対して直感的に認識させ得るようになされている。

また図８に示すように、各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示される再生映像としては、再生速度−ｖと設定された場合、逆戻り方法に可変速表示され、また再生時間差ΔＴ分が変更されることに応じて任意の時間間隔で時間差表示されることになるため、全体としては太矢印ＳＴ２に示すリバース方向へ流れるように可変速表示された常態で連動表示される。

さらにこの編集画面５０では、帯状表示部５５内に既に１又は複数の映像表示部群５８が表示されている状態において、クリップ一覧表示部５１に表示された他のクリップを帯状表示部５５内にドラッグアンドドロップすることにより、帯状表示部５５内にそれまで表示されていた１又は複数の映像表示部群５８に加えて、その新たにドラッグアンドドロップされたクリップと対応付けられた映像表示部群５８を帯状表示部５５内に表示させることができる。

逆に、編集画面５０では、帯状表示部５５内に既に１又は複数の映像表示部群５８が表示されている状態において、帯状表示部５５内の１又は複数の映像表示部群５８を選択してクリップ一覧表示部５１にドラッグアンドドロップすることにより、それまで帯状表示部５５内に表示されていた１又は複数の映像表示部群５８から、選択した１又は複数の映像表示部群５８を帯状表示部５５から削除することもできる。あるいは、帯状表示部５５内の１又は複数の映像表示部群５８を選択して、Deleteキーを押すことによっても削除できる。

そして帯状表示部５５に複数の映像表示部群５８を表示させた場合には、マウス操作により１つの映像表示部群５８を選択した後に、再生ボタン５６をクリックすることによって、その映像表示部群５８の各映像表示部５７に対応するクリップの再生映像をそれぞれ表示させることができる。なお、この場合における上述の再生時間差ΔＴ及び再生速度ｖの初期値は、いずれも上述の再生時間差・再生速度設定ダイアログ６０を用いて設定された値となる。

一方、編集画面５０では、帯状表示部５５の上部に表示されたツールバー５９の「設定」をクリックし、かくして表示される図示しないコンテキストメニューの中から「音声出力モード」を選択することによって、クリップの再生映像を帯状表示部５５に表示しているときの音声出力モードとして、例えば「メイン音声出力モード」及び「全音声出力モード」のうちのいずれかを１つを選択して設定することができる。

そして音声出力モードとして「メイン音声出力モード」を設定したときには、そのとき操作している映像表示部群５８の基準映像表示部５７Ａに表示された再生映像に付随する再生音声のみがスピーカ４１から出力され、「全音声出力モード」を設定したときには、基準映像表示部５７Ａから離れた映像表示部５７に表示された再生映像の音声ほど小さい音量となるように音量調整された状態で、そのとき操作している映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示された再生映像に付随するすべての再生音声がスピーカ４１から出力される。

ただし、音声出力モードとして「全音声出力モード」を設定した場合において、隣接する映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示された再生映像間の再生時間差ΔＴが大きくなった場合や、シーンチェンジを検出した場合など、予め定められた音混ざりが予測される所定の場合には、基準映像表示部５７Ａ及びその近傍数個の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示された各再生映像の音声のみをスピーカ４１から出力するように自動的に出力音声が調整される。これにより「全音声出力モード」時においても良好な状態で音声を出力し得るようになされている。

（１−２−１−２）編集画面５０における再生映像の表示に関するＣＰＵ３０の処理
ここでＣＰＵ３０は、上述のような再生映像の表示や再生音声の出力に関する処理を、ＲＯＭ３１（図１）に格納された制御プログラムに基づき、図９に示す再生処理手順ＲＴ１に従って実行する。

すなわちＣＰＵ３０は、編集画面５０のクリップ一覧部５１から１つのクリップが帯状表示部５５にドラッグアンドドロップされた後に再生ボタン５６がクリック（帯状表示部５５に複数の映像表示部群５８が表示されている場合には、１つの映像表示部群５８が選択されて再生ボタン５６がクリック）されると、この再生処理手順ＲＴ１をステップＳＰ０において開始し、続くステップＳＰ１において、その映像表示部群５８に対応するクリップのクリップＩＤを確認する。

続いてＣＰＵ３０は、ステップＳＰ２に進んで、そのとき設定されている再生映像の再生速度ｖ（又は−ｖ）及び再生時間差ΔＴの各初期値と、音声出力モードの設定とをそれぞれ確認し、この後ステップＳＰ３に進んで、マウス３８、キーボード３９により決められた再生映像の再生速度ｖ（又は−ｖ）及び再生時間差ΔＴ並びに表示形態を確認する。

このときステップＳＰ４においてＣＰＵ３０は、停止操作あるいはストリームが終了しているか否かを判定し、肯定結果が得られると次のステップＳＰ１０へ移って表示の更新処理を中止し、否定結果が得られると次のステップＳＰ５へ移る。

ステップＳＰ５においてＣＰＵ３０は、その映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示すべき再生映像の表示位置及びその大きさと、これら再生映像に付随する各再生音声の出力音量とをそれぞれ計算する。

そしてＣＰＵ３０は、この後ステップＳＰ６に進んで、ステップＳＰ１で確認した対応するクリップのクリップＩＤに基づいて記憶装置２２を制御することにより、そのクリップの映像音声信号Ｓ４をステップＳＰ２で確認したそのとき設定されている再生速度で読み出し、必要に応じて圧縮された映像音声信号Ｓ４を復号し、映像信号に関してはステップＳＰ５において計算した位置及び大きさで表示させるための映像信号Ｓ２を生成する。さらに、この映像信号Ｓ２に対応した再生映像に付随する再生音声の音声信号Ｓ３を、ステップＳＰ５においてその再生映像について算出した信号レベルで生成させ、その生成した映像信号Ｓ２及び音声信号Ｓ３をＲＡＭ３２や信号処理部３４内のメモリに一時的に蓄積する。

ステップＳＰ７においてＣＰＵ３０は、全ての映像表示部５７（５７Ｖ〜５７Ａ〜５７Ｆ）に表示再生するのに必要な画像及び音声が準備できたかを判断し、否定結果が得られた場合にはステップＳＰ６へ戻り、肯定結果が得られた場合にはステップＳＰ８へ移る。

ステップＳＰ８においてＣＰＵ３０は、画面表示周期時間の経過を監視し、経過した場合にはステップＳＰ９へ移って映像表示部群５８を表示し、その再生映像に付随する再生音声を対応する音量でスピーカ４１から出力すると同時にステップＳＰ３へ戻り、次の再生映像音声の準備を行う。

なおＣＰＵ３０は、ステップＳＰ６において、以前に再生したＲＡＭ３２や信号処理部３４内のメモリに残っている画像データのうち再利用できるものがあれば使い、足りないもののみを生成し、当該生成した画像データをＲＡＭ３２や信号処理部３４内のメモリに蓄積されている古いデータから順に上書きしていく。

（１−２−２）編集画面５０の帯状表示部５５における各種操作方法
次に、編集画面５０の帯状表示部５５における各種操作方法について説明する。

（１−２−２−１）基本操作
帯状表示部５５では、図１０に示すように、映像表示部群５８内の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示された再生映像のうちのそのとき所望のシーンを表示している映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）をクリック（この場合、例えば最初に映像表示部５７Ｄをクリック）することによって、その映像表示部５７Ｄが編集操作に伴う編集位置に対応した再生映像であることを所定色に着色させるようにして強調表示させることができる。

そしてこの映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）の強調表示は、映像表示部群５８におけるそのシーンの流れ（映像の時系列の流れ）に従って、図１０及び図１１に示すように、再生時間差ΔＴをもって映像表示部群５８の各映像表示部（５７Ｆ〜５７Ａ〜５７Ｖ）のうちの左側（リバース再生のときには右側）に隣接する映像表示部（５７Ｆ〜５７Ａ〜５７Ｖ）に順次移動する。これによりオペレータは、この映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）の強調表示の流れに基づいて、かかるシーンが現在どの映像表示部（５７Ｆ〜５７Ａ〜５７Ｖ）に表示されているかを認識することができる。

すなわち映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に対する強調表示は、ユーザが最初に着目した編集操作に伴う編集位置に対応するシーン（映像表示部５７Ｄ）であり、それが移動したときであっても終始かかるシーンを強調表示によって提示し続けることになるため、図１１の長い太矢印に示すように映像表示部（５７Ｆ〜５７Ａ〜５７Ｖ）に対して流れるような映像表示が行われるなかで、ユーザに対して最初の着目シーンを強調表示によって瞬時かつ直感的に認識させ得るようになされている。

なお、図１１の短い太矢印に示すように、例えばユーザが最初に着目した編集操作に伴う編集位置に対応するシーンが映像表示部５７Ｂであったときは、そのユーザが着目したシーンが強調表示されるので、ユーザに対してはそこから流れが始まるかのように印象付けさせることができるようになされている。

また帯状表示部５５では、図１２（Ａ）に示すように、例えばキーボード３９の方向キー７０のうちの上方向に対応した「上（↑）」キー７０Ｕを押圧操作し（図１２（Ａ−１））、又はマウス３８の右ボタンを押圧した状態で、カーソル７１によって映像表示部群５８に表示された再生映像の一部を、その映像表示部群５８に沿って左方向に引くように当該カーソル７１を移動させる表示操作入力（図１２（Ａ−２））に応じて、対応するクリップの映像の表示速度を上げることができる。

この場合ＣＰＵ３０は、マウス３８による表示操作入力に対応した表示状態変更情報を第１のインタフェース部３６Ａを介して取得し、当該表示状態変更情報の内容に応じてクリップの映像の表示速度を上げるようになされている。

なお、ここで言う『クリップの映像の表示速度を上げる』とは、その映像表示部群５８内の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示される再生映像の再生速度ｖが増加し、かつこれと連携して隣接する映像表示部５７間における再生映像の再生時間差ΔＴが増加することを意味する。

そしてこの「再生映像の表示速度」の変化の大きさは、そのときキーボード３９の「上（↑）」キー７０Ｕを押圧操作し又はマウス操作により映像表示部群５８の一部を引いたときの時間が長いほど大きくなる。つまりこの時間が長いほど、かかる再生速度ｖ及び再生時間差ΔＴが共により多く増加して、そのクリップの映像全体としての見た目（再生映像の各シーンの流れ）の表示速度が上がることとなる。

すなわち帯状表示部５５では、キーボード３９の「上（↑）」キー７０Ｕを押圧操作し、マウス操作によりカーソル７１を介して映像表示部群５８の一部を左方向へ引いたときの時間が長いほど、映像表示部群５８内の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示される再生映像の表示加速度ＧＳ１を増加させ得るようになされている。因みに帯状表示部５５では、時間を用いるのではなく、例えばキーボード３９の「上（↑）」キー７０Ｕに対する押下回数が多いほど再生映像の表示化速度ＧＳ１を増加させるようにしても良い。

これに対して、帯状表示部５５では、図１２（Ｂ）に示すように、例えばキーボード３９の方向キー７０のうちの下方向に対応した「下（↓）」キー７０Ｄを押圧操作し（図１０（Ｂ−１））、又はマウス３８の右ボタンを押圧した状態で、カーソル７１によって映像表示部群５８に表示された再生映像の一部をその映像表示部群５８に沿って右方向に引くように当該カーソル７１を移動させる表示操作入力（図１２（Ｂ−２））に応じて、対応するクリップの映像の表示速度を下げることができる。

この場合ＣＰＵ３０は、マウス３８による表示操作入力に対応した表示状態変更情報を第１のインタフェース部３６Ａを介して取得し、当該表示状態変更情報の内容に応じてクリップの映像の表示速度を下げるようになされている。

なお、ここで言う『クリップの映像の表示速度を下げる』とは、その映像表示部群５８内の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示される再生映像の再生速度ｖが減少し、かつこれと連携して隣接する映像表示部５７間における再生映像の再生時間差ΔＴが減少することを意味する。

そしてこの「再生映像の表示速度」の変化の大きさは、そのときキーボード３９の「下（↓）」キー７０Ｄを押圧操作した時間又はマウス操作により映像表示部群５８の一部を引いたときの時間が長いほど大きくなる。つまりこの時間が長いほど、かかる再生速度ｖ及び再生時間差ΔＴが共に減少して、そのクリップの映像全体としての見た目の表示速度が下がることとなる。

すなわち帯状表示部５５では、キーボード３９の「下（↓）」キー７０Ｄを押圧操作し、マウス操作によりカーソル７１を介して映像表示部群５８の一部を右方向へ引いたときの時間が長いほど、映像表示部群５８内の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示される再生映像の表示加速度ＧＳ２を減少させ得るようになされている。因みに帯状表示部５５では、時間を用いるのではなく、例えばキーボード３９の「下（↓）」キー７０Ｄに対する押下回数が多いほど再生映像の表示化速度ＧＳ１を減少させるようにしても良い。

この場合において、かかる再生速度ｖや再生時間差ΔＴが「０」となった後は、その再生速度ｖ又は再生時間差ΔＴはさらに減少（すなわち、負方向に増加）する。従ってこの場合には、今まで映像表示部群５８において左方向に流れていた再生映像の各シーンの流れが徐々に遅くなってやがて止まり、その後右方向へ流れ始めてリバース再生に変わり、やがてその速度が次第に上がってゆくように見えるようになる。

さらに帯状表示部５５では、マウス５０の左ボタンを押圧した状態で、当該マウス操作に応動して編集画面５０上を自由に移動するように表示されるカーソル７１により映像表示部群５８の一部を例えば１秒以上同じ位置で押さえるように操作することによって、対応するクリップの映像を停止させることができる。なお、ここで言う『クリップの映像を停止させる』とは、その映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に、再生時間差ΔＴを保った状態で静止画像をそれぞれ表示させることをいう。

（１−２−２−２）拡張操作
（１−２−２−２−１）再生時間差ΔＴ及び再生速度ｖの変更操作
一方、帯状表示部５５では、上述のような基本操作のほか、キーボード３９の「シフト」キーを押圧したまま、上述の『クリップの映像の表示速度を上げる』操作、つまりキーボード３９の方向キー７０の「上（↑）」キー７０Ｕを押圧操作し、又はマウス３８の右ボタンを押圧した状態で、カーソル７１によって映像表示部群５８に表示された再生映像の一部を、その映像表示部群５８に沿って左方向へ引くように当該カーソル７１を移動させることによって、その映像表示部群５８の各映像表示部５７に表示された再生映像の再生速度ｖを固定としながら、隣接する映像表示部５７にそれぞれ表示される再生映像の再生時間差ΔＴを増加させることができる。

この場合ＣＰＵ３０は、キーボード３９又はマウス３８による表示操作入力に対応した表示状態変更情報を第１のインタフェース部３６Ａを介して取得し、当該表示状態変更情報の内容に応じて再生映像の再生速度ｖを固定としながら、再生映像の再生時間差ΔＴを増加させるようになされている。

このとき隣接する映像表示部５７にそれぞれ表示される再生映像の連続性は低くなるが、映像表示部群５８全体として、時間的に広い範囲の再生映像を表示させることができる。

これに対して編集画面５０では、例えばキーボード３９の「シフト」キーを押圧したまま、上述の『クリップの映像の表示速度を下げる』操作、つまりキーボード３９の方向キー７０の「下（↓）」キー７０Ｄを押圧操作し、又はマウス３８の右ボタンを押圧した状態で、カーソル７１によって映像表示部群５８に表示された再生映像の一部をその映像表示部群５８に沿って右方向へ引くように当該カーソル７１を移動させることによって、その映像表示部群５８の各映像表示部５７に表示された再生映像の再生速度ｖを固定としながら、隣接する映像表示部５７にそれぞれ表示される再生映像の再生時間差ΔＴを減少させることができる。

この場合ＣＰＵ３０は、キーボード３９又はマウス３８による表示操作入力に対応した表示状態変更情報を第１のインタフェース部３６Ａを介して取得し、当該表示状態変更情報の内容に応じて再生映像の再生速度ｖを固定としながら、再生映像の再生時間差ΔＴを減少させるようになされている。

このとき映像表示部群５８全体として、時間的に狭い範囲の再生映像が表示されることとなるが、その映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示される再生映像の連続性は高く、同じシーンが短い再生時間差ΔＴをもってその映像表示部群５８内を左方向へ流れるように各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に順次表示されるようになる。そして、この流れは、隣接する映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示される再生映像の再生時間差ΔＴを減少させるほど速くなる。

また帯状表示部５５では、例えばキーボード３９の「シフト」キー及び「ＡＬＴ」キーの双方を押圧したまま、かかる『クリップの映像の表示速度を上げる』操作を行うことによって、隣接する映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示される再生映像の再生時間差ΔＴを固定としながら、その映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示された再生映像の再生速度ｖを増加させることができる。

この場合もＣＰＵ３０は、キーボード３９又はマウス３８による表示操作入力に対応した表示状態変更情報を第１のインタフェース部３６Ａを介して取得し、当該表示状態変更情報の内容に応じて再生映像の再生時間差ΔＴを固定としながら、再生映像の再生速度ｖを増加させるようになされている。

この結果、映像表示部群５８にクリップ全体の映像から見て時間的に同じ範囲の再生映像を表示させたまま、その映像表示部群５８における再生映像の各シーンの流れを速くすることができる。なおこの場合には、隣接する映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示される再生映像の連続性が高くなる。

これに対して編集画面５０では、例えばキーボード３９の「シフト」キー及び「ＡＬＴ」キーの双方を押圧したまま、かかる『クリップの映像の表示速度を下げる』操作を行うことによって、隣接する映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示される再生映像の再生時間差ΔＴを固定としながら、その映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示された再生映像の再生速度ｖを減少させることができる。

この場合もＣＰＵ３０は、キーボード３９又はマウス３８による表示操作入力に対応した表示状態変更情報を第１のインタフェース部３６Ａを介して取得し、当該表示状態変更情報の内容に応じて再生映像の再生時間差ΔＴを固定としながら、再生映像の再生速度ｖを減少させるようになされている。

この結果、映像表示部群５８にクリップ全体の映像から見て時間的に同じ範囲の再生映像を表示させたまま、その映像表示部群５８における再生映像の各シーンの流れを遅くすることができる。なおこの場合には、隣接する映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示される再生映像の連続性が低くなる。

（１−２−２−２−２）再生映像の瞬間送り又は戻し操作
一方、帯状表示部５５では、図１３（Ａ）に示すように、キーボード３９の方向キー７０の「左（←）」キー７０Ｌを押圧操作し（図１３（Ａ−１））、又はマウス３８の左ボタンを押圧した状態で１秒以内にカーソル７１によって映像表示部群５８に表示された再生映像の一部（映像表示部５７Ｃ）を表示選択操作（つかみ）し、その映像表示部群５８に沿って左方向へ引くように当該カーソル７１を移動させる（図１３（Ａ−２））ときの映像表示部群移動操作に応じて、その映像表示部群５８に表示される再生映像の再生速度ｖと、隣接する映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示される再生映像の再生時間差ΔＴとの双方を共に固定とした状態で、その映像表示部群５８の各映像表示部５７の表示位置を、図１４に示すように、当該映像表示部群５８に沿って、引かれた方向（画面右側から画面左側へ向かう方向）と同一方向へカーソル７１と一体に移動させることができる。

この場合ＣＰＵ３０は、キーボード３９又はマウス３８による映像表示部群移動操作に対応した表示状態変更情報を第１のインタフェース部３６Ａを介して取得し、当該表示状態変更情報の内容に応じて再生映像の再生速度ｖ及び再生時間差ΔＴの双方を固定としながら、各映像表示部５７の表示位置を当該映像表示部群５８に沿って画面右側から画面左側へ向かってカーソル７１と一体に移動させるようになされている。

そのとき引っ張られた再生映像を表示していた映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｗ）が映像表示部群５８における引っ張り終えた位置にまで移動して表示される。またこれに伴って、図１４及び図１５に示すように、それまで表示されていた映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）の中から、当該操作前に基準映像表示部５７Ａに表示された再生映像を基準とした場合の時間的に過去の再生映像を表示していた映像表示部５７Ｖ，５７Ｗ，……が消え、これと同じ数のそれまで表示されていなかった図５において破線で示す時間的に未来の再生映像を表示する映像表示部５７Ｇ，５７Ｈ，……がその映像表示部群５８内に新たに表示される。

なおＣＰＵ３０は、映像表示部５７Ｃに対する表示選択操作（図１４）に応じて当該映像表示部５７Ｃを強調表示（破線で囲われた部分）すると共に、その映像表示部５７Ｃからそれ以降の映像表示部５７Ｄ、５７Ｅ、……を表示順に順次強調表示することにより、映像表示部５７Ｃの移動開始点以降の流れをユーザに対して直感的に認識させ得るようになされている。

なお、このときＣＰＵ３０は、表示選択操作された瞬間の映像表示部５７Ｃに対する表示映像データ又は各映像表示部５７に対する表示映像データの全てをその状態で一時的に停止（保持）し、その状態をユーザに目視確認させ得るようになされている。

因みにＣＰＵ３０は、映像表示部５７Ｃに対する表示選択操作を解除する表示選択解除操作が入力された場合、当該映像表示部５７Ｃに対する表示映像データ又は各映像表示部５７に対する表示映像データの全てを停止状態から解除し、複数の映像表示部５７の間において動画像の状態で時間差を設けながら、当該複数の映像表示部５７が表示順に連携した映像表示部群５８として再度連動表示させるようになされている。

この場合において、かかる映像表示部群５８の移動操作後における各映像表示部５７（……，５７Ｆ〜５７Ａ〜５７Ｖ，……）は、それぞれの表示情報（表示サイズ及び表示位置を含む表示情報）に応じて、かかる映像表示部群５８の移動操作前にその位置に表示されていた映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）と同じ大きさで表示されるため、それまでその映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示されていた再生映像があたかも瞬時に未来側へ送られたように見えることとなる。

またこの場合において、各映像表示部５７（……，５７Ｆ〜５７Ａ〜５７Ｖ，……）に表示された再生映像に付随する各再生音声は、音声出力モードとしてメイン音声出力モードが設定されているときには、そのとき手前中央部に位置する映像表示部５７（図１３（Ａ−２）では５７Ｃとなる）に表示された再生映像に付随する再生音声のみが出力され、音声出力モードとして全音声出力モードが設定されているときには、手前中央部に位置する映像表示部５７（５７Ｃ）から離れた映像表示部５７（５７Ｄ〜５７Ｆ，……、５７Ｂ，５７Ａ，５７Ｚ〜５７Ｗ，……）に表示された再生映像に付随する再生音声ほど小さい音量となるように、各再生音声の出力音量が調整される。

これに対して帯状表示部５５では、図１３（Ｂ）に示すように、キーボード３９の方向キー７０の「右（→）」キー７０Ｒを押圧操作し（図１３（Ｂ−１））、又はマウス３８の左ボタンを押圧した状態で１秒以内にカーソル７１によって映像表示部群５８の一部（映像表示部５７Ｙ）を選択（つかみ）し、画面左側から画面右側に引っ張るように当該カーソル７１を移動させる（図１３（Ｂ−２））ときの映像表示部群移動操作に応じて、その映像表示部群５８に表示される再生映像の再生速度ｖと、隣接する映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示される再生映像の再生時間差ΔＴとの双方を共に固定とした状態で、その映像表示部群５８の各映像表示部５７の表示位置を、図１６に示すように、当該映像表示部群５８に沿って、引かれた方向（画面左側から画面右側に向かう方向）と同一方向へカーソル７１と一体に移動させることができる。

この場合ＣＰＵ３０は、キーボード３９又はマウス３８による映像表示部群移動操作に対応した表示状態変更情報を第１のインタフェース部３６Ａを介して取得し、当該表示状態変更情報の内容に応じて再生映像の再生速度ｖ及び再生時間差ΔＴの双方を固定としながら、各映像表示部５７の表示位置を当該映像表示部群５８に沿って画面左側から画面右側へ向かってカーソル７１と一体に移動させるようになされている。

そのとき引っ張られた再生映像を表示していた映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）が映像表示部群５８における引っ張り終えた位置にまで移動して表示される。またこれに伴って、図１６及び図１７に示すように、それまで表示されていた映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）の中から、当該操作前に基準映像表示部５７Ａに表示された再生映像を基準とした場合の時間的に未来の再生映像を表示していた映像表示部５７Ｆ，５７Ｅ，……が消え、これと同じ数のそれまで表示されていなかった図５において破線で示す時間的に過去の再生映像を表示する映像表示部５７Ｕ，５７Ｔ，……がその映像表示部群５８内に新たに表示される。

これにより帯状表示部５５では、フォワード方向へ流れるように映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）を再生させた状態で、映像表示部群移動操作に応じて各映像表示部５７の表示位置をバックワード側へ瞬時に移動させることができるので、ＭＰＥＧ方式のロングＧＯＰフォーマットでリバース再生を行った場合等のような表示映像の応答性が悪くなるようなことがなく、過去のシーンを直ちに再表示させ得るようになされている。

なおＣＰＵ３０は、映像表示部５７Ｙに対する表示選択操作（図１６）に応じて当該映像表示部５７Ｙを強調表示（破線で囲われた部分）すると共に、その映像表示部５７Ｙからそれ以降の映像表示部５７Ｚ、５７Ａ、……を表示順に順次強調表示することにより、映像表示部５７Ｙの移動開始点以降の流れをユーザに対して直感的に認識させ得るようになされている。

なお、このときＣＰＵ３０は、表示選択操作された瞬間の映像表示部５７Ｙに対する表示映像データ又は各映像表示部５７に対する表示映像データの全てをその状態で一時的に停止（保持）し、その状態をユーザに目視確認させ得るようになされている。

因みにＣＰＵ３０は、映像表示部５７Ｙに対する表示選択操作を解除する表示選択解除操作が入力された場合、当該映像表示部５７Ｙに対する表示映像データ又は各映像表示部５７に対する表示映像データの全てを停止状態から解除し、複数の映像表示部５７の間において動画像の状態で時間差を設けながら、当該複数の映像表示部５７が表示順に連携した映像表示部群５８として再度連動表示させるようになされている。

この場合においても、かかる映像表示部群５８の移動操作後における各映像表示部５７（……，５７Ｆ〜５７Ａ〜５７Ｖ，……）は、それぞれの表示情報（表示サイズ及び表示位置を含む表示情報）に応じて、かかる映像表示部群５８の移動操作前にその位置に表示されていた映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）と同じ大きさで表示されるため、それまでその映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示されていた再生映像があたかも瞬時に過去側へ戻されたように見えることとなる。

またこの場合において、各映像表示部５７（……，５７Ｆ〜５７Ａ〜５７Ｖ，……）に表示された再生映像に付随する各再生音声は、音声出力モードとしてメイン音声出力モードが設定されているときには、そのとき手前中央部に位置する映像表示部５７（図１３（Ｂ−２）では５７Ｙとなる）に表示された再生映像に付随する再生音声のみが出力され、音声出力モードとして全音声出力モードが設定されているときには、手前中央部に位置する映像表示部５７（５７Ｙ）から離れた映像表示部５７（５７Ｘ，５７Ｗ，……、５７Ｚ，５７Ａ〜５７Ｆ，……）に表示された再生映像に付随する再生音声ほど小さい音量となるように、各再生音声の出力音量が調整される。

（１−２−２−２−３）映像表示部群５８の表示形態変更操作
他方、帯状表示部５５では、映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示される再生映像を停止させた状態で、例えばキーボード３９の「コントロール」キーを押圧操作しながら、上述の『クリップの映像の表示速度を上げる』操作を行うことによって、図１８（Ａ）に示すように、その映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）の表示位置を全体として当該映像表示部群５８に沿って画面右側から画面左側へ向かう方向に移動させることができ、これにより映像表示部群５８の表示形態を変更することができる。

この場合において、かかる映像表示部群５８の移動操作後における各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）は、それぞれその表示位置に応じて、かかる映像表示部群５８の移動操作前にその位置に表示されていた映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）と同じ大きさで表示されるため、当該操作後の映像表示部群５８では、当該移動操作前の状態と比べて、手前中央部に表示される映像表示部５７（５７Ｂ〜５７Ｆ）内の再生映像を基準として、時間的に過去の再生映像が多く、時間的に未来の再生映像が少なくなるように、その映像表示部群５８が表示されることとなる。

またこの場合においても、その後その状態で再生が開始された場合、各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示された再生映像に付随する各再生音声は、音声出力モードとしてメイン音声出力モードが設定されているときには、そのとき手前中央部に位置する映像表示部５７（５７Ｃ）に表示された再生映像に付随する再生音声のみが出力され、音声出力モードとして全音声出力モードが設定されているときには、手前中央部に位置する映像表示部５７（５７Ｃ）から離れた映像表示部５７（５７Ｄ〜５７Ｆ、５７Ｂ，５７Ａ，５７Ｚ〜５７Ｖ）に表示された再生映像に付随する再生音声ほど小さい音量となるように、各再生音声の出力音量が調整される。

これに対して帯状表示部５５では、映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示される再生映像を停止させた状態で、例えばキーボード３９の「コントロール」キーを押圧操作しながら、上述の『クリップの映像の表示速度を下げる』操作を行うことによって、図１８（Ｂ）に示すように、その映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）の表示位置を全体として当該映像表示部群５８に沿って画面左側から画面右側へ向かう方向に移動させることができ、これにより映像表示部群５８の表示形態を変更することができる。

この場合においても、かかる映像表示部群５８の移動操作後における各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）は、それぞれその表示位置に応じて、かかる映像表示部群５８の移動操作前にその位置に表示されていた映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）と同じ大きさで表示されるため、当該操作後の映像表示部群５８では、当該操作前の状態と比べて、手前中央部に表示される映像表示部５７（５７Ｚ〜５７Ｖ）内の再生映像を基準として、時間的に未来の再生映像が多く、時間的に過去の再生映像が少なくなるように、その映像表示部群５８が表示されることとなる。

またこの場合においても、その後その状態で再生が開始された場合、各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示された再生映像に付随する各再生音声は、音声出力モードとしてメイン音声出力モードが設定されているときには、そのとき手前中央部に位置する映像表示部５７（５７Ｙ）に表示された再生映像に付随する再生音声のみが出力され、音声出力モードとして全音声出力モードが設定されているときには、手前中央部に位置する映像表示部５７（５７Ｙ）から離れた映像表示部５７（５７Ｚ，５７Ａ〜５７Ｆ、５７Ｘ〜５７Ｖ）に表示された再生映像に付随する再生音声ほど小さい音量となるように、各再生音声の出力音量が調整される。

（１−２−２−２−４）映像表示部群５８の拡大縮小操作
他方、帯状表示部５５では、例えば１つの映像表示部群５８をマウス操作により選択し、その後マウス３８の左ボタンをクリックしたまま、キーボード３９の方向キー７０のうちの「下（↓）」キー７０Ｄを押圧操作することによって、その映像表示部群５８の表示を小さくさせることができ、また１つの映像表示部群５８をマウス操作により選択し、その後マウス３８の左ボタンをクリックしたまま、キーボード３９の方向キー７０のうちの「上（↑）」キー７０Ｕを押圧操作することによって、その映像表示部群５８の表示を大きくさせることができる。

これにより帯状表示部５５では、例えばある第１のクリップの編集作業中に他の第２のクリップの映像音声部分を切り出して第１のクリップに挿入するインサート編集を行う場合に、編集途中の第１のクリップの映像表示部群５８を小さく表示させることにより帯状表示部５５内に大きなスペースを作ってから、新しい第２のクリップの映像表示部群５８をそのスペースに大きく表示させて所望の映像音声部分の切出し操作を行い、その後第１のクリップの映像表示部群５８の表示サイズを戻して、当該切り出した第２のクリップの映像音声部分を第１のクリップの所望位置に挿入するといった操作を行うことができる。

（１−２−２−３）各種基本又は拡張操作入力に対するＣＰＵ３０の処理
ここでＣＰＵ３０は、上述のような各種基本又は拡張操作入力に対する処理を、ＲＯＭ３１（図１）に格納された制御プログラムに基づき、図９に示す表示変更処理手順ＲＴ１に従って実行する。

例えば、図９のステップＳＰ３において認識した操作が上述の『クリップの映像の表示速度を上げる』操作であった場合、ＣＰＵ３０は、記憶装置２２を制御して、対応する映像表示部群５８の各映像表示部５７に表示させる再生映像の再生速度ｖに応じて、映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示する各映像を選択し、生成する。このとき各映像表示部間の再生フレームの間隔を広げると共に、各映像表示部５７内においても表示再生速度を上げることにより、映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示される再生映像の再生速度ｖが増加し、かつ隣接する映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）間における再生映像の再生時間差ΔＴが増加する。

またＣＰＵ３０は、ステップＳＰ３において認識した操作が上述の『クリップの映像の表示速度を下げる』操作であった場合には、記憶装置２２を制御して、対応する映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示させる再生映像の再生速度ｖに応じて、映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示する各映像を選択し、生成する。このとき各映像表示部間の再生フレームの間隔を小さくすると共に、各映像表示部５７内においても表示再生速度を下げることにより、映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示される再生映像の再生速度ｖが減少し、かつ隣接する映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）間における再生映像の再生時間差ΔＴが減少する。

さらにＣＰＵ３０は、ステップＳＰ３において認識した操作が『クリップの映像を停止させる』操作であった場合には、記憶装置２２を制御して、対応する映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示させる再生映像の再生を停止させる一方、信号処理部３４を制御して、当該映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に再生停止直前の最後のフレームの画像をそれぞれ表示させ続ける。この結果、各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に、もとの再生時間差ΔＴを保った状態でそれぞれ対応する静止画像が表示されることとなる。

さらにＣＰＵ３０は、ステップＳＰ３において認識した操作が『キーボード３９の「シフト」キーを押圧したまま、「クリップの映像を停止させる」』操作等の各種拡張操作であった場合には、帯状表示部５５の対応する映像表示部群５８に表示される各再生映像や、その映像表示部群５８自体の表示映像を、その拡張操作に応じた状態に変化させるように記憶装置２２や信号処理部３４を制御する。

そしてＣＰＵ３０は、ステップＳＰ５、ステップＳＰ６において、帯状表示部５５に表示された映像表示部群５８内の各再生映像や映像表示部群５８自体の表示映像を操作入力に応じた状態に変更する。

（１−２−３）帯状表示部５５における編集内容設定のための各種操作
（１−２−３−１）帯状表示部５５における編集内容設定のための各種操作
次に、帯状表示部５５における編集内容設定のための具体的な個々の操作の操作手順について説明する。

まず同一クリップ内でのカット編集について説明する。帯状表示部５５にドラッグアンドドロップしたクリップについて、そのクリップ内でのカット編集を行う場合には、図１９（Ａ）に示すように、まずそのクリップの映像の再生を開始させ、必要に応じてその映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示された各再生映像の再生速度ｖや、隣接する映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示される再生映像の再生時間差ΔＴを上述のようにして変更しながら、切り取るべき映像音声部分の最初のフレームＦＲ_ＩＮを探すようにする。

そしてそのフレームＦＲ_ＩＮが編集位置として決まったら、各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示される再生映像を全て停止させ、その状態でそのフレームＦＲ_ＩＮの画像が表示されている映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）をクリックする。この編集操作入力の結果、そのフレームＦＲ_ＩＮが切り取るべき映像音声部分のイン点として設定され、その映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）の枠部分が所定色（例えば黄色）に着色される。

次に、これと同様にして、切り取ろうとする映像音声部分の最後のフレームの次のフレームＦＲ_ＯＵＴを探し出し、そのフレームＦＲ_ＯＵＴが編集位置として決まったら、各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示される再生映像を全て停止させ、その状態でそのフレームＦＲ_ＯＵＴの画像が表示されている映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）をクリックするようにする。この編集操作入力の結果、そのフレームＦＲ_ＯＵＴが切り取るべき映像音声部分のアウト点として設定され、その映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）のうち切り取られるフレームの枠部分が所定色（例えば白色）に表示される。

そして、このようにしてそのクリップ内にイン点及びアウト点を編集位置として設定した後に、必要に応じて隣接する映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示される再生映像の再生時間差ΔＴを上述のようにして変更することにより、イン点及びアウト点の各フレームＦＲ_ＩＮ、ＦＲ_ＯＵＴの画像をそれぞれその映像表示部群５８に静止させた状態で表示させ、その後図１９（Ｂ）に示すように、イン点及びアウト点を繋ぎ合わせる操作、つまりかかるアウト点に設定されたフレームＦＲ_ＯＵＴの画像を、イン点に設定されたフレームＦＲ_ＩＮの画像上に重ねるようにドラッグアンドドロップする編集操作入力を行う。

この結果、図１９（Ｃ）に示すように、そのクリップ全体の映像音声部分のうちのイン点に設定されたフレームＦＲ_ＩＮからアウト点に設定されたからフレームＦＲ_ＯＵＴの１つ前のフレームまでの映像音声部分を削除し、イン点に設定されたフレームＦＲ_ＩＮの１つ前のフレームとアウト点に設定されたフレームＦＲ_ＯＵＴとを繋ぎ合わせるべき旨の編集データが作成され、この編集データに基づく加工処理により得られる編集映像音声の映像が、そのクリップと同じ表示形態で帯状表示部５５に表示される。つまり、かかるように表示形態が変更されたカット編集後の編集映像音声の所定再生時間差ΔＴごとの再生映像を各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示した映像表示部群５８が帯状表示部５５に表示される。

なお、このような加工処理により切り出される映像音声部分を削除することなく、別クリップとして残しておきたいときには、まず帯状表示部５５のツールバー５９に表示された「設定」をクリックすることにより表示されるコンテキストメニューの中から「分離モード」を選択して設定し、その後図２０（Ａ）及び（Ｂ）に示すように、図１９（Ａ）及び（Ｂ）について上述したカット編集のときと同様にしてイン点及びアウト点の各フレームＦＲ_ＩＮ、ＦＲ_ＯＵＴをそれぞれ設定し、さらにその後アウト点に設定したフレームＦＲ_ＯＵＴの画像をドラッグアンドドロップにより、イン点に設定したフレームＦＲ_ＩＮ上に重ねる編集操作入力を行う。

この結果、図２０（Ｃ）に示すように、そのクリップ全体の映像音声部分のうちのイン点に設定されたフレームＦＲ_ＩＮの１つ前のフレームと、アウト点に設定されたフレームＦＲ_ＯＵＴとを繋ぎ合わせ、さらにイン点に設定されたフレームＦＲ_ＩＮからアウト点に設定されたフレームＦＲ_ＯＵＴの１つ前のフレームまでの映像音声部分を別クリップとすべき旨の編集データが作成される。

このとき帯状表示部５５には、かかる編集データに基づく加工処理により得られるカット編集後の表示形態が変更された編集映像音声の映像と、別クリップとして生成されたイン点に設定されたフレームＦＲ_ＩＮからアウト点に設定されたフレームＦＲ_ＯＵＴの１つ前のフレームまでの映像音声部分の映像とがそのクリップと同じ表示形態で帯状表示部５５に表示される。つまりかかるカット編集により得られた編集映像音声の所定再生時間差ΔＴごとの再生映像が各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示された映像表示部群５８Ａと、かかる別クリップとされた映像音声部分の所定再生時間差ΔＴごとの再生映像が各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示された映像表示部群５８Ｂとが帯状表示部５５に表示されることとなる。

なお、この場合ＣＰＵ３０は、映像表示部群５８Ａ及び映像表示部群５８Ｂにおけるそれぞれの表示情報（表示サイズ及び表示位置を含む表示情報）に応じて、映像表示部群５８Ａと映像表示部群５８Ｂとが帯状表示部５５内に収まるよう上下方向に僅かに圧縮された状態に変形して表示するようになされている。

このようにＣＰＵ３０は、キーボード３９又はマウス３８による上述のような編集操作入力が行われると、当該編集操作入力に対応した編集情報を第１のインタフェース部３６Ａを介して取得し、当該編集情報の内容に応じて各映像表示部５７の表示形態を変更させ得るようになされている。

因みにＣＰＵ３０は、編集位置として設定する編集操作入力を解除するための編集位置設定解除操作が入力された場合、各映像表示部５７に対する表示映像データの全てを停止状態から解除し、複数の映像表示部５７の間において動画像の状態で時間差を設けながら、当該複数の映像表示部５７が表示順に連携した映像表示部群５８として再度連動表示させるようになされている。

さらに１つのクリップを、所望フレームを境として２つのクリップに分離したいときには、上述のようにして「分離モード」を設定し、その後上述と同様にして編集位置として所望するフレームＦＲ_ＩＮをイン点に設定する。この結果図２１（Ａ）に示すように、そのフレームＦＲ_ＩＮの画像が表示されている映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）の枠部分が所定色（例えば黄色）に着色され、これによりそのフレームを、分離する際の境とすべきフレームとして設定することができる。そして、例えばその後キーボード３９の「オルト（Alt）」キー及び「スペース」キーの双方を押圧するような編集操作入力を行う。

この結果、図２１（Ｂ）に示すように、そのクリップのイン点に設定されたフレームＦＲ_ＩＮを境として分割すべき編集データが生成され、この編集データに基づく加工処理により得られるそのクリップの前半及び後半の各映像音声部分の映像がそのクリップと同じ表示形態で帯状表示部５５に表示される。つまり、そのクリップにおける前半の映像音声部分の所定再生時間差ΔＴごとの再生映像が各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示された映像表示部群５８Ａと、そのクリップにおける後半の映像音声部分の所定再生時間差ΔＴごとの再生映像が各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示された映像表示部群５８Ｂとが帯状表示部５５に表示されることとなる。

なお、この場合にもＣＰＵ３０は、映像表示部群５８Ａ及び映像表示部群５８Ｂにおけるそれぞれの表示情報（表示サイズ及び表示位置を含む表示情報）に応じて、映像表示部群５８Ａと映像表示部群５８Ｂとが帯状表示部５５内に収まるよう上下方向に僅かに圧縮された状態に変形して表示するようになされている。

一方、かかる編集画面５０では、帯状表示部５５に２つのクリップの映像表示部群５８をそれぞれ表示させ、これらを利用して２つのクリップを繋ぎ合わせるいわゆるアッセンブル編集や、一方のクリップの所望位置に他方のクリップの一部を挿入するインサート編集などのカット編集を行うこともできる。

実際上、アッセンブル編集を行う場合、上述した操作により、図２２（Ａ）に示すように、アッセンブル編集に使用しようとする２つのクリップとそれぞれ対応付けられた映像表示部群５８（５８Ａ、５８Ｂ）を帯状表示部５５内にそれぞれ表示させる。

続いて、帯状表示部５５に表示された２つの映像表示部群５８のうち、下地にしようとする一方の第１のクリップと対応付けられた映像表示部群５８（５８Ａ）をマウス操作により選択した後に、カット編集のときと同様にして、この第１のクリップ内に第１の編集位置としてイン点を設定する。

またこの後、帯状表示部５５に表示された２つの映像表示部群５８のうち、挿入側にしようとする他方の第２のクリップと対応付けられた映像表示部群５８（５８Ｂ）をマウス操作により選択した後に、カット編集のときと同様にして、この第２のクリップ内に第２の編集位置としてイン点及び必要に応じてアウト点を設定する。

そして、この後図２２（Ｂ）に示すように、第１の編集位置として設定された第１のクリップのイン点と第２の編集位置として設定された第２のクリップのイン点とを繋ぎ合わせる操作、つまり第２のクリップと対応付けられた映像表示部群５８（５８Ｂ）に表示された第２のクリップのイン点に設定されたフレームＦＲ_ＩＮ−２の画像を、第１のクリップと対応付けられた映像表示部群５８（５８Ａ）に表示された第１のクリップのイン点に設定されたフレームＦＲ_ＩＮ−１の画像上に重ねるようにドラッグアンドドロップする編集接続操作を行う。

この結果、図２２（Ｃ）に示すように、第１のクリップの先頭のフレームからイン点に設定されたフレームとＦＲ_ＩＮ−１の１フレーム前までの映像音声部分と、第２のクリップのイン点に設定されたフレームＦＲ_ＩＮ−２から最後のフレームまで（第２のクリップ内にアウト点を設定したときには、イン点に設定されたフレームＦＲ_ＩＮ−２からアウト点に設定されたフレームまで）の映像音声部分とを繋げ合わせるべき旨の編集データが生成され、またこの編集データに基づく加工処理により得られる編集映像音声の映像がそのときの第１及び第２のクリップの映像と同じ表示形態で帯状表示部５５に表示される。つまり、かかる編集映像音声の所定再生時間差ΔＴごとの映像を各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示した映像表示部群５８が帯状表示部５５に表示される。

これに対してインサート編集を行う場合には、アッセンブル編集時と同様にして、図２３（Ａ）に示すように、インサート編集に使用しようとする２つのクリップの映像表示部群５８（５８Ａ、５８Ｂ）を帯状表示部５５内にそれぞれ表示させる。

続いて、帯状表示部５５に表示されたこれら２つの映像表示部群５８（５８Ａ、５８Ｂ）のうち、下地にしようとする一方の第１のクリップと対応付けられた映像表示部群５８（５８Ａ）をマウス操作により選択した後に、カット編集のときと同様にして、この第１のクリップ内にイン点及びアウト点を第１の編集位置としてそれぞれ設定する一方、これと同様にして他方の第２のクリップ内にイン点及びアウト点を第２の編集位置としてそれぞれ設定する。

そして、この後図２３（Ｂ）に示すように、第１のクリップのイン点と第２のクリップのイン点とを繋ぎ合わせる操作、つまり第２のクリップと対応付けられた映像表示部群５８（５８Ｂ）に表示された当該第２のクリップのイン点に設定されたフレームＦＲ_ＩＮ−２の画像を、第１のクリップと対応付けられた映像表示部群５８（５８Ａ）に表示された当該第１のクリップのイン点に設定されたフレームＦＲ_ＩＮ−１の画像上に重ねるようにドラッグアンドドロップする編集接続操作を行う。

この結果、図２３（Ｃ）に示すように、第１のクリップの先頭のフレームからイン点に設定されたフレームＦＲ_ＩＮ−１の１つ前のフレームまでの映像音声部分と、第２のクリップのイン点に設定されたフレームＦＲ_ＩＮ−２からアウト点に設定されたフレームＦＲ_{ＯＵＴ−２}の１フレーム前までの映像音声部分と、第１のクリップのアウト点に設定されたフレームＦＲ_{ＯＵＴ−１}から当該第１のクリップの最後のフレームまでの映像音声部分とを順次繋ぎ合わせるべき旨の編集データが生成され、この編集データに基づく加工処理により得られる編集映像音声の映像がそのときの第１及び第２のクリップの映像と同じ表示形態で帯状表示部５５に表示される。つまり、かかる編集映像音声の所定再生時間差ΔＴごとの映像を各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示した映像表示部群５８が帯状表示部５５に表示される。

他方、このように得られたアッセンブル編集又はインサート編集の編集映像音声について、第１及び第２のクリップの切替わり部分に映像特殊効果を設定したい場合には、図２４（Ａ）に示すように、カット編集時と同様にして、かかる編集映像音声における第１のクリップ側の終わり近傍にイン点を編集位置として設定すると共に、第２のクリップ側の始まり近傍にアウト点を設定する。

次いで、エフェクト情報表示部５４に表示されるエフェクト一覧の中から所望する映像特殊効果と対応付けられたエフェクトアイコン１３を選択し、図２４（Ｂ）に示すように、例えばこれをドラッグアンドドロップにより、対応する映像表示部群５８に表示されたイン点に設定されたフレームＦＲ_ＩＮからアウト点に設定されたフレームＦＲ_ＯＵＴまでの間のいずれかのフレームの画像上に貼り付けるようにする。

この結果、その編集映像音声について、図２４（Ｃ）に示すように、第１及び第２のクリップの切替わり部分において、貼り付けられたエフェクトアイコン１３に対応する映像特殊効果処理を施すべき編集データが生成され、編集データに基づく加工処理により得られる編集映像音声の映像が元の編集映像音声の映像と同じ表示形態で帯状表示部５５に表示される。つまり、かかる映像特殊効果処理が施された編集映像音声の所定再生時間差ΔＴごとの映像を各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示した映像表示部群５８が帯状表示部５５に表示されることとなる。

このようにしてオペレータは、この編集画面５０の帯状表示部５５を利用して、所望のクリップを順次繋ぎ合わせ、所望位置に所望の映像特殊効果を設定してなる編集映像音声を得るための編集データを作成することができる。

なお、上述のようにして編集データを作成後、これらを編集リストとして保存したいときには、帯状表示部５５のツールバー５９の「ファイル」をクリックすることによって表示される図示しないコンテキストメニューの中から「編集リストの保存」を選択するようにする。この結果、そのとき作成した各編集データが１つの編集リストとしてファイルかされてハードディスク装置３３（図１）内の編集リストデータベースに登録される。

（１−２−３−２）各種操作に対するＣＰＵ３０の処理
ここで、ＣＰＵ３０は、操作入力に対する上述のような各種表示映像等の変更処理を、ＲＯＭ３１（図１）に格納された制御プログラムに基づき、図２５に示す編集操作応答処理手順ＲＴ２に従って実行する。

すなわちＣＰＵ３０は、図９に示す再生処理手順ＲＴ１に従って指定されたクリップの映像表示部群５８を編集画面５０の帯状表示部５５に表示し終えると、図９を用いた上述した表示変更処理手順ＲＴ１と並行してこの編集操作応答処理手順ＲＴ２をステップＳＰ２０において開始し、続くステップＳＰ２１において、そのとき帯状表示部５５に表示している映像表示部群５８上においてクリックされたか否かを判断する。

そしてＣＰＵ３０は、このステップＳＰ２１において否定結果を得るとステップＳＰ２２に進んで、オペレータが所定の編集操作入力が行われたか否かを判断する。なお、ここでいう「編集操作入力」とは、図１９及び図２０について上述したように、同一クリップ内にイン点やアウト点が設定された後に、アウト点に設定されたフレームＦＲ_ＯＵＴの画像をイン点に設定されたフレームＦＲ_ＩＮの画像上にドラッグアンドドロップする操作や、図２１について上述したように、「分離モード」が設定されている状態で、あるクリップにイン点が設定され、その後キーボード３９の「オルト（Alt）」キー及び「スペース」キーの双方が押圧される操作、図２２及び図２３について上述したように、第１及び第２のクリップにそれぞれ対応する映像表示部群５８が帯状表示部５５に表示された状態で、これら第１及び第２のクリップにイン点（及びアウト点）がそれぞれ設定され、その後第２のクリップのイン点に設定されたフレームＦＲ_ＩＮ−２の画像を第１のクリップのイン点のフレームＦＲ_ＩＮ−１の画像上にドラッグアンドドロップする操作、又は図２４について上述したように、エフェクトアイコン１３を対応する映像表示部群５８上にドラッグアンドドロップする操作等をいう。

そしてＣＰＵ３０は、このステップＳＰ２２において否定結果を得ると、ステップＳＰ２１に戻って、この後ステップＳＰ２１−ＳＰ２２−ＳＰ２１のループを繰り返しながら、ステップＳＰ２１又はステップＳＰ２２において肯定結果を得るのを待ち受ける。

そしてＣＰＵ３０は、やがてオペレータが帯状表示部５５内に表示された映像表示部群５８上でクリックすることによりステップＳＰ２１において肯定結果を得ると、ステップＳＰ２３に進んで、そのときクリックされたフレームを状況に応じてイン点又はアウト点に設定すると共に、これと併せて信号処理部３４を制御することにより、その映像表示部群５８におけるそのイン点又はアウト点に設定されたフレームＦＲ_ＩＮ、ＦＲ_ＯＵＴ（ＦＲ_ＩＮ−１、ＦＲ_ＩＮ−２、ＦＲ_{ＯＵＴ−１}、ＦＲ_{ＯＵＴ−２}）の画像を表示している映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）の枠部を所定色に着色させる。

またＣＰＵ３０は、クリップにイン点（及びアウト点）が設定された後に、オペレータが所定の編集操作を入力することによりステップＳＰ２２で肯定結果を得ると、ステップＳＰ２４に進んで、その編集操作に応じた編集結果を得るための編集データを生成する。

そしてＣＰＵ３０は、この後ステップＳＰ２５に進んで、信号処理部３４を制御することにより、このようにして生成した編集データに基づく映像、つまり図１９（Ｃ）、図２０（Ｃ）、図２１（Ｂ）、図２２（Ｃ）〜図２４（Ｃ）について上述したような編集後の表示形態が変更された編集映像音声の映像を帯状表示部５５内に表示させる。さらにＣＰＵ３０は、この後ステップＳＰ２６に進んで、この編集操作応答処理手順ＲＴ２を終了する。

このようにしてＣＰＵ３０は、オペレータにより入力された編集操作入力に応じた編集データを生成すると共に、当該編集操作入力に応じて表示形態が変更された編集結果の映像を帯状表示部５５に表示させる。

（１−３）編集システムの構成例
次に、編集システム１としては図１に示した構成を一例として説明したが、実際には種々の構成が考えられ、その具体的な構成を第１構成例及び第２構成例として順に説明する。

（１−３−１）第１構成例
図１との対応部分に同一符号を付した図２６に示すように、２００は全体として本実施の形態による編集システム１（図１）をさらに具体化した第１構成例の編集システムを示し、編集装置２０１、記憶装置２２及び複数台のビデオテープレコーダ２３_１〜２３ｎ等から構成されている。

この編集システム２００においても、編集システム１（図１）と同様にビデオテープに記録された映像音声の一部又は全部をクリップとして編集装置２０１を介してＲＡＩＤでなる大容量の記憶装置２２に取り込み得るようになされている。

またこの編集システム２００においても、記憶装置２２に取り込まれたクリップを所望状態につなぎ合わせて所望の編集映像音声を得るための編集内容を規定した編集リストを作成でき、さらにこの作成した編集リストに従って実際に編集処理を実行し、得られた編集映像及び編集音声を記憶装置２２に蓄積し、ビデオテープに記録することができるようになされている。

この場合、編集装置２０１においては、編集装置２１（図１）とは異なり、ノースブリッジ２０４に対してＣＰＵ２０２、ＲＡＭ３２、編集装置２１の信号処理部３４（図１）に相当する画像描画部としてのＧＰＵ（Graphic Processing Unit）２０３及びサウスブリッジ２０５が接続されると共に、当該サウスブリッジ２０５にハードディスク装置３３、ＵＳＢインタフェース２０６及びサウンド入出力コーデック２０８が接続されている。このサウンド入出力コーデック２０８にはスピーカ４１が接続されている。

またサウスブリッジ２０５には、ＰＣＩ（Peripheral Component Interconnect）バス２０７を介してマウス３８、キーボード３９、ビデオテープレコーダ２３_１〜２３_ｎ、記憶装置２２が接続されている。なおＧＰＵ２０３にはディスプレイ４０が接続されている。

ところで編集装置２０１のＣＰＵ２０２は、主にＭＰＥＧデコーダやＪＰＥＧ2000、H.264／AVC(Advanced Video Coding)等のコーデック等の役割を担い、デコードした結果得られる映像表示部５７に表示するための再生映像をＧＰＵ２０３へデータ転送したり、再生時間差ΔＴ及び再生速度ｖの設定を変更したり、或いは物理演算等を行うようになされている。

一方ＧＰＵ２０３は、各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示する再生映像を動かすときのテクスチャの張り込みなどの最終的なレンダリング処理に加えて座標変換計算処理や、再生映像の拡大・縮小処理等を行う機能を司り、ＣＰＵ２０２の処理負担を軽減させるようになされている。

実際上、ＣＰＵ２０２は、起動時、ハードディスク装置３３に格納された制御プログラムに基づき、当該ハードディスク装置３３に格納されている必要なソフトウェアを読み出してＲＡＭ３２に展開し、この後このソフトウェア及びユーザ操作に基づいて必要な制御処理を実行する。

ＣＰＵ２０２は、マウス３８やキーボード３９が操作されて、ビデオテープに記録された映像音声を記憶装置２２に取り込むためのクリップ取込みウィンドウの表示命令が入力されると、これに応動してハードディスク装置３３を制御することにより、対応する画像データを読み出させる一方、これと併せてＧＰＵ２０３を制御することにより、この画像データに基づく上述のクリップ取込みウィンドウをディスプレイ４０に表示させる。

またＣＰＵ２０２は、この状態でマウス３８が操作されて、あるビデオテープレコーダ２３_１〜２３_ｎに対する再生動作命令が入力されると、これに応動してビデオテープレコーダ２３_１〜２３_ｎを制御することにより、ビデオテープに記録された映像音声信号の再生動作を実行させる。

この結果このビデオテープレコーダ２３_１〜２３_ｎからは、当該ビデオテープレコーダ２３_１〜２３_ｎに装填されたビデオテープから再生された映像音声信号Ｓ１が出力され、そのうち映像信号Ｓ２がＰＣＩバス２０７、サウスブリッジ２０５、ノースブリッジ２０４を順次介してＧＰＵ２０３に与えられる。

因みに映像信号Ｓ２は、ＰＣＩバス２０７、サウスブリッジ２０５、ノースブリッジ２０４を順次介してＧＰＵ２０３に供給されるのだが、映像信号Ｓ２に基づいて各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示すべき複数の再生映像を全て転送する際の転送速度はノースブリッジ２０４とＧＰＵ２０３との間における転送レート（例えば最大５Gbyte/sec）に依存する。

ＧＰＵ２０３は、ＣＰＵ２０２の制御のもとに、供給される映像信号Ｓ２に対して所定の信号処理を施し、その結果得られた映像信号をディスプレイ４０に送出することにより、当該映像信号に基づく映像をクリップ取込みウィンドウ内の所定位置に表示させる。一方、ＣＰＵ２０２はこのとき映像音声信号Ｓ１から抽出した音声信号Ｓ３をサウンド入出力コーデック２０８を介してスピーカ４１に送出することにより、当該音声信号Ｓ３に基づく音声をスピーカ４１から出力させる。

かくしてオペレータは、ディスプレイ４０に表示された映像及びスピーカ４１から出力される音声に基づいて、マウス３８及びキーボード３９を用いて映像及び音声の所望部分を指定することができ、さらにその映像音声部分をクリップとしてそのイン点及びアウト点のタイムコードや素材長、クリップＩＤ、クリップ名、その映像音声の撮影日時、そのクリップの作成日時等の管理情報を登録することができる。そしてこの登録されたそのクリップの管理情報が、ＣＰＵ２０２の制御のもとに、ハードディスク装置３３内のクリップ管理情報データベースに登録される。

またＣＰＵ２０２は、この後マウス３８又はキーボード３９が操作されて、そのクリップの取込み命令が入力されると、これに応動してビデオテープレコーダ２３_１〜２３_ｎを制御することにより、指定されたクリップの映像音声の再生動作を実行させる。

この結果、ビデオテープレコーダ２３_１〜２３_ｎからは、ビデオテープから再生されたそのクリップの映像音声信号Ｓ１が出力され、そのうち映像信号Ｓ２がＰＣＩバス２０７、サウスブリッジ２０５及びノースブリッジ２０４を順次介してＧＰＵ２０３に与えられる。またＣＰＵ２０２は、これと併せてＧＰＵ２０３及び記憶装置２２を制御することにより、ビデオテープレコーダ２３_１〜２３_ｎから与えられるかかるクリップの映像音声信号Ｓ１を記憶装置２２に取り込ませる。

このようにしてこの編集システム２００においても、編集システム１（図１）と同様に、指定されたクリップの映像音声をビデオテープから再生して記憶装置２２に取り込むことができるようになされている。

一方、オペレータは、この後マウス３８やキーボード３９を用いた所定操作により編集作業を行うための編集画面５０（図２）をディスプレイ４０に表示させることができ、この編集画面５０を用いてどのクリップとどのクリップとをどのように繋ぎ合わせるかといった編集内容を規定した編集リストを作成することができる。またオペレータは、編集リストの作成後又は作成途中において、その編集リストに基づく編集映像及び編集音声を確認することができる。

そしてＣＰＵ２０２は、編集リストが作成された後マウス３８が操作されてその編集リストの登録命令が入力された場合には、その編集リストにおいて規定された全てのユーザプログラムによる設定でなる編集データをファイル化してハードディスク装置３３内の編集リストデータベースに登録する。

またＣＰＵ２０２は、編集リストの作成後又は作成途中において、マウス３８又はキーボード３９が操作されて、その編集リストに基づく編集映像音声の再生命令が入力されると、これに応動して記憶装置２２を制御することにより、必要なクリップの映像音声信号Ｓ４を記憶装置２２に読み出させる。

かくしてこの記憶装置２２から読み出された映像音声信号Ｓ４のうち映像信号がＰＣＩバス２０７、サウスブリッジ２０５及びノースブリッジ２０４を順次介してＧＰＵ２０３に与えられ、この後ＣＰＵ２０２の制御のもとに、当該ＧＰＵ２０３又はＣＰＵ２０２において必要に応じて映像特殊効果加工処理が施される。

そしてＧＰＵ２０３は、ＣＰＵ２０２の制御のもとに、供給される映像信号に対して映像特殊効果加工処理を施すことにより得られた編集映像信号に対して所定の信号処理を施し、その結果得られた映像信号をディスプレイ４０へ送出する。一方、ＣＰＵ２０２は、映像音声信号Ｓ４のうち音声信号に対して音声ミキシング処理を施し、その結果得られた編集音声信号をサウンド入出力コーデック２０８を介してスピーカ４１へ送出する。この結果、編集画面５０内の所定位置に編集映像が表示され、スピーカ４１から編集音声が出力される。

このようにしてこの編集システム２００においては、オペレータが編集リストに基づく編集映像及び編集音声を確認しながら編集作業を行うことができる。

さらにＣＰＵ２０２は、編集リストが作成された後、マウス３８又はキーボード３９が操作されてその実行命令が入力されると、これに応動して記憶装置２２を制御することにより、記憶装置２２から読み出した編集処理に利用するクリップの映像音声信号Ｓ４のうち映像信号をＰＣＩバス２０７、サウスブリッジ２０５及びノースブリッジ２０４を介してＧＰＵ２０３に送出させる。

同様にＣＰＵ２０２は、記憶装置２２から読み出した映像音声信号Ｓ４のうち音声信号を、ＰＣＩバス２０７、サウスブリッジ２０５を介してサウンド入出力コーデック２０８からスピーカ５１へ出力する。

そしてこのときＧＰＵ２０３は、ＣＰＵ２０２の制御のもとに、上述の再生モード時と同様にして、供給される各クリップの映像信号に対して必要に応じて特殊効果加工処理を施す一方、得られた編集映像信号をノースブリッジ２０４、サウスブリッジ２０５及びＰＣＩバス２０７を順次介して記憶装置２２又は対応するビデオテープレコーダ２３_１〜２３_ｎに送出する。

かくして記憶装置２２は、ＣＰＵ２０２の制御のもとに、供給される編集映像信号を指定されたアドレス位置に記憶する。またビデオテープレコーダ２３_１〜２３_ｎは、ＣＰＵ２０２の制御のもとに、供給される編集映像信号をビデオテープの指定された位置に記録する。

このようにしてこの編集システム２００においても、編集装置１（図１）と同様に、作成した編集データに従って、指定されたクリップの映像音声を指定された状態に編集加工して記憶装置２２に蓄積したり、ビデオテープに記録したりすることができるようになされている。

従って編集システム２００では、編集システム１と同様に、編集装置２０１のＣＰＵ２０２及びＧＰＵ２０３により、編集画面５０の帯状表示部５５における映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に対して、所定の再生速度ｖ及び再生時間差ΔＴに設定された、流れるような映像表示（図４）を実行し得ると共に、種々の拡張操作や編集処理を実行し得るようになされている。

（１−３−２）第２構成例
図２６との対応部分に同一符号を付した図２７に示すように、２５０は全体として本実施の形態による編集システム１（図１）をさらに具体化した第２構成例の編集システムを示し、編集装置２５１、記憶装置２２及び複数台のビデオテープレコーダ２３_１〜２３ｎ等から構成されている。

この編集システム２５０においても、編集システム２００（図２６）と同様にビデオテープに記録された映像音声の一部又は全部をクリップとして編集装置２５１を介してＲＡＩＤでなる大容量の記憶装置２２に取り込み得るようになされている。

またこの編集システム２５０においても、記憶装置２２に取り込まれたクリップを所望状態につなぎ合わせて所望の編集映像音声を得るための編集内容を規定した編集リストを作成でき、さらにこの作成した編集リストに従って実際に編集処理を実行し、得られた編集映像及び編集音声を記憶装置２２に蓄積したり、ビデオテープに記録することができるようになされている。

この場合、編集装置２５１においては、編集装置２０１（図２６）とは異なり、マイクロプロセッサ２５２に対してＧＰＵ２６５、ＸＤＲ（Extreme Data Rate）−ＲＡＭ２６６及びサウスブリッジ２０５が接続されると共に、当該サウスブリッジ２０５にハードディスク装置３３、ＵＳＢインタフェース２０６及びサウンド入出力コーデック２０８が接続されている。このサウンド入出力コーデック２０８にはスピーカ４１が接続されている。

またサウスブリッジ２０５には、ＰＣＩバス２０７を介してマウス３８、キーボード３９、ビデオテープレコーダ２３_１〜２３_ｎ及び記憶装置２２が接続されている。なおＧＰＵ２６５にはディスプレイ４０が接続されている。

ところでマイクロプロセッサ２５２は、ＯＳ（Operating System）等の基本プログラムを実行する汎用のメインＣＰＵコア２５３と、当該メインＣＰＵコア２５３に内部バス２６３を介して接続された複数（この場合８個）のＲＩＳＣ（Reduced Instruction Set Computer）タイプの信号処理プロセッサ（以下、これをサブＣＰＵコアと呼ぶ）２５４〜２６１と、例えば２５６[MByte]の容量を有するＸＤＲ−ＲＡＭ２６６に対するメモリコントロールを行うメモリコントローラ２６２と、サウスブリッジ２０５との間でデータの入出力を管理するＩ／Ｏ（In/Out）コントローラ２６４とが１チップに集積されたマルチコア構成でなり、例えば動作周波数４[GHz]を可能としている。

この編集装置２５１のマイクロプロセッサ２５２は、主にＭＰＥＧデコーダ、ＪＰＥＧ2000、H.264／AVC(Advanced Video Coding)等のコーデックの役割を担い、デコードした結果得られる映像表示部５７に表示するための再生映像をＧＰＵ２６５へデータ転送したり、再生時間差ΔＴ及び再生速度ｖの設定を変更したり、或いは物理演算等を行うようになされている。

特にマイクロプロセッサ２５２は、８個のサブＣＰＵコア２５４〜２６１がデコーダの役割をそれぞれ担い、当該８個のサブＣＰＵコア２５４〜２６１がＨＤ（High Definition）の再生映像を同時並列的にデコードすることが可能である。

またメインＣＰＵコア２５３は、８個のサブＣＰＵコア２５４〜２６１が行う以外の処理や管理を行うようになされており、サウスブリッジ２０５を介してマウス３８やキーボード３９から供給された命令を受け付け、当該命令に応じた種々の処理を実行する。

このようにマイクロプロセッサ２５２は、８個のサブＣＰＵコア２５４〜２６１によって同時並列的に再生映像をデコードすることができるようになされており、かつマイクロプロセッサ２５２とＧＰＵ２６５との間を帯域幅の大きなバス２６８により例えば最大３０[Gbyte/sec]の転送速度でデータ転送し得るようになされているため、多くの枚数の高精細な再生画像をデコードして短時間にデータ転送し得るようになされている。

因みに、この場合８個のサブＣＰＵコア２５４〜２６１では、例えば同時に２枚のＨＤの再生映像をそれぞれデコードすることが可能であり、すなわちマイクロプロセッサ２５２からＧＰＵ２６５へは一度に１６枚（この場合）もの高精細な再生画像を高速転送することができる。但し、８個のサブＣＰＵコア２５４〜２６１が同時にデコード可能なＨＤの枚数としてはこれに限るものではない。

一方ＧＰＵ２６５は、第１構成例のＧＰＵ２０３と同様に、各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示する再生映像を動かすときのテクスチャの張り込みなどの最終的なレンダリング処理に加えて座標変換計算処理や、再生映像の拡大・縮小処理等を行う機能を司り、マイクロプロセッサ２５２の処理負担を軽減させるようになされている。

実際上、マイクロプロセッサ２５２は、起動時、ハードディスク装置３３に格納された制御プログラムに基づき、当該ハードディスク装置３３に格納されている必要なソフトウェアを読み出してＸＤＲ−ＲＡＭ３２に展開し、この後このソフトウェア及びユーザ操作に基づいて必要な制御処理を実行する。

マイクロプロセッサ２５２は、マウス３８やキーボード３９が操作されて、ビデオテープに記録された映像音声を記憶装置２２に取り込むためのクリップ取込みウィンドウの表示命令が入力されると、これに応動してハードディスク装置３３を制御することにより、対応する画像データを読み出させる一方、これと併せてＧＰＵ２６５を制御することにより、この画像データに基づく上述のクリップ取込みウィンドウをディスプレイ４０に表示させる。

またマイクロプロセッサ２５２は、この状態でマウス３８が操作されて、あるビデオテープレコーダ２３_１〜２３_ｎに対する再生動作命令が入力されると、これに応動してビデオテープレコーダ２３_１〜２３_ｎを制御することにより、ビデオテープに記録された映像音声信号の再生動作を実行させる。

この結果このビデオテープレコーダ２３_１〜２３_ｎからは、当該ビデオテープレコーダ２３_１〜２３_ｎに装填されたビデオテープから再生された映像音声信号Ｓ１が出力され、そのうち映像信号Ｓ２がＰＣＩバス２０７、サウスブリッジ２０５及びマイクロプロセッサ２５２を順次介してＧＰＵ２６５に与えられる。

ＧＰＵ２６５は、マイクロプロセッサ２５２の制御のもとに、供給される映像信号Ｓ２に対して所定の信号処理を施し、その結果得られた映像信号をディスプレイ４０に送出することにより、当該映像信号に基づく映像をクリップ取込みウィンドウ内の所定位置に表示させる。一方、ＣＰＵ２６５は、このとき映像音声信号Ｓ１から抽出した音声信号Ｓ３をサウンド入出力コーデック２０８を介してスピーカ４１に送出することにより、当該音声信号Ｓ３に基づく音声をスピーカ４１から出力させる。

かくしてオペレータは、ディスプレイ４０に表示された映像及びスピーカ４１から出力される音声に基づいて、マウス３８及びキーボード３９を用いて映像及び音声の所望部分を指定することができ、さらにその映像音声部分をクリップとしてそのイン点及びアウト点のタイムコードや素材長、クリップＩＤ、クリップ名、その映像音声の撮影日時、そのクリップの作成日時等の管理情報を登録することができる。そしてこの登録されたそのクリップの管理情報が、マイクロプロセッサ２５２の制御のもとに、ハードディスク装置３３内のクリップ管理情報データベースに登録される。

またマイクロプロセッサ２５２は、この後マウス３８又はキーボード３９が操作されて、そのクリップの取込み命令が入力されると、これに応動してビデオテープレコーダ２３_１〜２３_ｎを制御することにより、指定されたクリップの映像音声の再生動作を実行させる。

この結果、ビデオテープレコーダ２３_１〜２３_ｎからは、ビデオテープから再生されたそのクリップの映像音声信号Ｓ１が出力され、そのうち映像信号Ｓ２がＰＣＩバス２０７、サウスブリッジ２０５、マイクロプロセッサ２５２及びバス２６８を順次介してＧＰＵ２６５に与えられる。またマイクロプロセッサ２５２は、これと併せてＧＰＵ２６５及び記憶装置２２を制御することにより、ビデオテープレコーダ２３_１〜２３_ｎから与えられるかかるクリップの映像音声信号をＧＰＵ２６５を介して記憶装置２２に取り込ませる。

このようにしてこの編集システム２５０においても、編集システム１（図１）と同様に、指定されたクリップの映像音声をビデオテープから再生して記憶装置２２に取り込むことができるようになされている。

一方、オペレータは、この後マウス３８やキーボード３９を用いた所定操作により編集作業を行うための編集画面５０（図２）をディスプレイ４０に表示させることができ、この編集画面５０を用いてどのクリップとどのクリップとをどのように繋ぎ合わせるかといった編集内容を規定した編集リストを作成することができる。またオペレータは、編集リストの作成後又は作成途中において、その編集リストに基づく編集映像及び編集音声を確認することができる。

そしてマイクロプロセッサ２５２は、編集リストが作成された後マウス３８が操作されてその編集リストの登録命令が入力された場合には、その編集リストにおいて規定された全てのユーザプログラムによる設定でなる編集データをファイル化してハードディスク装置３３内の編集リストデータベースに登録する。

またマイクロプロセッサ２５２は、編集リストの作成後又は作成途中において、マウス３８又はキーボード３９が操作されて、その編集リストに基づく編集映像音声の再生命令が入力されると、これに応動して記憶装置２２を制御することにより、必要なクリップの映像音声信号Ｓ４を記憶装置２２に読み出させる。

かくしてこの記憶装置２２から読み出された映像音声信号Ｓ４のうち映像信号がＰＣＩバス２０７、サウスブリッジ２０５、マイクロプロセッサ２５２及びバス２６８を順次介してＧＰＵ２６５に与えられ、この後マイクロプロセッサ２５２の制御のもとに、当該ＧＰＵ２６５において必要に応じて映像特殊効果加工処理が施される。

そしてＧＰＵ２６５は、マイクロプロセッサ２５２の制御のもとに、供給される映像信号に対して映像特殊効果加工処理を施すことにより得られた編集映像信号に対して所定の信号処理を施し、その結果得られた映像信号をディスプレイ４０へ送出する。一方、マイクロプロセッサ２５２は、映像音声信号Ｓ４のうち音声信号に対して音声ミキシング処理を施し、その結果得られた編集音声信号をサウンド入出力コーデック２０８を介してスピーカ４１へ送出する。この結果、編集画面５０内の所定位置に編集映像が表示され、スピーカ４１から編集音声が出力される。

このようにしてこの編集システム２５０においては、オペレータが編集リストに基づく編集映像及び編集音声を確認しながら編集作業を行うことができる。

さらにマイクロプロセッサ２５２は、編集リストが作成された後、マウス３８又はキーボード３９が操作されてその実行命令が入力されると、これに応動して記憶装置２２を制御することにより、編集処理に利用するクリップの映像音声信号Ｓ４を記憶装置２２から読み出させてＰＣＩバス２０７、サウスブリッジ２０５及びバス２６８を介してＧＰＵ２６５に送出させる。

そしてこのときＧＰＵ２６５は、マイクロプロセッサ２５２の制御のもとに、上述の再生モード時と同様にして、供給される各クリップの映像信号に対して必要に応じて特殊効果加工処理や音声ミキシング処理を施す一方、得られた編集映像信号をバス２６８、マイクロプロセッサ２５２、サウスブリッジ２０５及びＰＣＩバス２０７を順次介して記憶装置２２又は対応するビデオテープレコーダ２３_１〜２３_ｎに送出する。

かくして記憶装置２２は、マイクロプロセッサ２５２の制御のもとに、供給される編集映像信号を指定されたアドレス位置に記憶する。またビデオテープレコーダ２３_１〜２３_ｎは、マイクロプロセッサ２５２の制御のもとに、供給される編集映像信号をビデオテープの指定された位置に記録する。

このようにしてこの編集システム２５０においても、編集装置１（図１）と同様に、作成した編集データに従って、指定されたクリップの映像音声を指定された状態に編集加工して記憶装置２２に蓄積したり、ビデオテープに記録したりすることができるようになされている。

従って編集システム２５０では、編集システム１と同様に、編集装置２５１のマイクロプロセッサ２５２及びＧＰＵ２６５により、編集画面５０の帯状表示部５５における映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に対して、所定の再生速度ｖ及び再生時間差ΔＴに設定された、流れるような映像表示（図４）を実行し得ると共に、種々の拡張操作や編集処理を実行し得るようになされている。

ところで、マイクロプロセッサ２５２における８個のサブＣＰＵコア２５４〜２６１で同時並列的にデコードされた映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示する再生映像は、バス２６８を介してＧＰＵ２６５にデータ転送されるのだが、このときの転送速度は例えば最大３０[Gbyte/sec]である。

これに対して第１構成例の編集装置２０１（図２６）では、ノースブリッジ２０４とＧＰＵ２０３との間における転送レートがこの場合最大５Gbyte/secであるので、ＣＰＵ２０２からノースブリッジ２０４を介してＧＰＵ２０３へ転送される再生映像の転送速度よりも、マイクロプロセッサ２５２からＧＰＵ２６５へ転送される再生映像の転送速度の方が数倍高速である。

従って第２構成例の編集システム２５０では、第１構成例の編集システム２００に比べて、映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示する再生映像を高速かつ滑らかに表示し得るようになされている。

このような第２構成例の編集システム２５０における編集装置２５１のマイクロプロセッサ２５２に設けられた８個のサブＣＰＵコア２５４〜２６１を用いて同時並列的にデコード処理を行う並列デコード処理手順を次に説明する。

図２８に示すように編集装置２５１は、ルーチンＲＴ３をステップＳＰ４０において開始し、続くステップＳＰ４１においてマウス３８やキーボード３９から入力された制御信号をサウスブリッジ２０５を介してマイクロプロセッサ２５２に取り込み、当該制御信号をメインＣＰＵコア２５３で認識すると、次のステップＳＰ４２へ移る。

ステップＳＰ４２において編集装置２５１は、ステップＳＰ４１で認識した制御信号が映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示すべきクリップを特定する命令であったとき、各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示するクリップの描画ループをメインＣＰＵコア２５３で設定し、次のステップＳＰ４３へ移る。

ステップＳＰ４３において編集装置２５１は、当該クリップに対応した再生映像、表示位置、表示サイズ等の各種物理演算をメインＣＰＵコア２５３で行い、次のステップＳＰ４４へ移る。

ステップＳＰ４４において編集装置２５１は、メインＣＰＵコア２５３で描画ループを構成するクリップの再生映像のフレーム位置計算を行うと共に、各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示するクリップの再生映像を何れのサブＣＰＵコア２５４〜２６１でデコードさせるかの担当をメインＣＰＵコア２５３により割り当て、次のステップＳＰ４５へ移る。

ステップＳＰ４５において編集装置２５１は、記憶装置２２から再生映像の出力に必要なフレームを読み出し、ステップＳＰ４４で割り当てたサブＣＰＵコア２５４〜２６１へ分配し、次のステップＳＰ４６へ移る。

ステップＳＰ４６において編集装置２５１は、デコーダとしての役割を担う８個のサブＣＰＵコア２５４〜２６１により、ステップＳＰ４５で分配されたフレームを同時並列的にデコードし、次のステップＳＰ４７へ移る。

ステップＳＰ４７において編集装置２５１は、メインＣＰＵコア２５３により、ステップＳＰ４６でデコードされた再生映像を、帯状表示部５５の画面上に表示すべき位置やサイズを示した表示情報（表示サイズ及び表示位置）と共にＧＰＵ２６５へ高速データ転送し、次のステップＳＰ４８へ移る。

ステップＳＰ４８において編集装置２５１は、ＧＰＵ２６５により、メインＣＰＵコア２５３からデータ転送された再生映像を表示情報（表示サイズ及び表示位置）に従って各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）の所定位置に貼り付けて表示し、次のステップＳＰ４９へ移って処理を終了する。

このように編集装置２５１では、マイクロプロセッサ２５２における８個のサブＣＰＵコア２５４〜２６１が各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示する再生映像のデコーダとしての役割をそれぞれ担って同時並列的にデコードし、そのデコードされた再生映像を帯域幅の大きなバス２６８により例えば最大３０[Gbyte/sec]の転送速度でＧＰＵ２６５へ高速データ転送し得るようになされているため、多くの枚数の高精細な再生画像をデコードして短時間にＧＰＵ２６５へデータ転送することができ、かくして複数の映像表示部５７の間において動画像の状態で時間差を設けながら表示順に連携した映像表示部群５８として帯状表示部５５にレスポンス良く滑らかに連動表示させ得るようになされている。

（１−４）第１の実施の形態の動作及び効果
以上の構成において、この編集システム２０の編集装置２１、２０１及び２５１では、ディスプレイ４０に表示された編集画面５０のクリップ一覧表示部５１から所望のクリップを選択して帯状表示部５５にドラッグアンドドロップし、この後必要に応じてそのクリップと対応付けられた映像表示部群５８を選択した後に再生ボタン５６をクリックすると、その映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に一定の時間差をもってそのクリップの再生映像がそれぞれ表示される。

そしてこのような映像表示方法によれば、かかるクリップの再生映像の各シーンが、その映像表示部群５８の右奥の映像表示部から左奥の映像表示部へ向けて、そのとき設定されている再生時間差ΔＴをもって順次右回りに流れて行くように表示されるため、２次元の再生映像に時間的な奥行きをもたせることができ、この結果、従来の編集画面１（図４１）のように２次元１画面の再生映像を目視しながら所望する映像部分を探索する場合に比べて、格段的に容易に画探し作業を行うことができる。

またこの場合において編集装置２１、２０１及び２５１では、キーボード３９の方向キー７０の「上（↑）」キー７０Ｕを押下操作し、又はマウス３８の右ボタンを押圧した状態で、カーソル７１によって映像表示部群５８に表示された再生映像の一部を、その映像表示部群５８に沿って左方向へ引くように当該カーソル７１を移動させることによって、その映像表示部群５８に表示されている対応する再生映像の表示速度を上げることができ、キーボード３９の方向キー７０の「下（↓）」キー７０Ｄを押圧操作し、又はマウス３８の右ボタンを押圧した状態で、カーソル７１によって映像表示部群５８に表示された再生映像の一部を、その映像表示部群５８に沿って右方向へ引くように当該カーソル７１を移動させることによって、その映像表示部群５８に表示されている対応する再生映像の表示速度を下げることができる。またマウス３８の左ボタンを押圧した状態で、当該マウス操作に応動して編集画面５０上を自由に移動するように表示されるカーソル７１により映像表示部群５８の一部を１秒以上同じ位置で押さえるように操作することによって、その映像表示部群５８の各映像表示部５７にそれぞれ表示された各再生映像を停止させることができる。

すなわちこの映像表示方法では、映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に動画像の状態で一定の時間差を設けながら各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）が表示的に連携した映像表示部群としてクリップの再生映像を表示することにより、映像表示部群５８の右奥から左奥へ向かって流れるような映像表示を実行し、その映像表示の表示状態を変更する表示操作入力に応じて当該表示状態を変更することができるので、その結果ユーザに対して見易い状態で編集画面を提示し、直感的な操作による編集作業を容易に実行させることができる。

そしてこのような映像表示方法によれば、これら基本操作として、その操作を行ったことによる操作結果（表示速度の上げ下げや停止）を想起し易く、かつそれ自体が容易な操作が割り当てられているため、これら基本操作を容易かつ直感的に行うことができる。

またこの場合において、編集装置２１、２０１及び２５１では、かかる再生時間差ΔＴや映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示される再生映像の再生速度ｖを自在に変更することができるため、対象とするクリップの内容に応じて当該クリップの所望範囲をその映像表示部群５８に表示させることができ、その分かかる画探し作業をより容易化させることができる。さらにこのとき、かかる再生時間差ΔＴ及び再生速度ｖを連携して変化させることができるため、かかる画探し作業をより一層と容易化させることができる。

さらに編集装置２１、２０１及び２５１では、かかる映像表示部群５８を表示するに際して、手前中央部の基準映像表示部５７Ａを最も大きく、これから離れるにつれて徐々に小さくなるように各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）を表示するため、オペレータが基準映像表示部５７Ａに表示された再生映像に注目し易く、また基準映像表示部５７Ａに表示された再生映像を基準として映像表示部群５８を見ることによって、当該映像表示部群５８に表示された再生映像を基準とする過去及び未来の再生映像を容易に把握することができる。

さらに編集装置２１、２０１及び２５１では、個々のクリップの切り出し、複数クリップの編集及び編集映像の確認といった作業を１つの帯状表示部５５内で行うことができるため、例えば図４１について上述した従来の編集装置のようにクリップの切り出しはモニタ部３を用いて行い、編集はストーリーボード部４及びタイムライン部５を用いて行い、編集映像の確認はモニタ部３を用いて行うといった煩雑な作業を必要とせず、かかる一連の編集作業を帯状表示部５５内で一括して行うことができる。かくするにつき、いわゆる画探し作業のみならず、編集作業を全体として容易化させることができる。

さらに編集装置２１、２０１及び２５１では、かかる映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に再生映像をそれぞれ表示する際に、音声出力モードとして「メイン音声出力モード」及び「全音声出力モード」を選択することができるため、そのとき対象としているクリップの再生音声の内容に応じて音声出力モードを切り換えることによって、出力音声による所望の映像音声部分の探索作業も可能となる。

またこの場合において、この編集装置２１、２０１及び２５１では、音声出力モードとして「全音声出力モード」を設定したときには、基準映像表示部５７Ａから離れた映像表示部５７（５７Ｂ，５７Ｃ，……、５７Ｚ，５７Ｙ，……）に表示された再生映像の音声ほど小さい音量となるように音量調整された状態で、そのとき操作している映像表示部群５８の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示された再生映像に付随するすべての再生音声がスピーカ４１から出力されるため、音声を３次元的に表現することができ、その分クリップの内容によって、かかる出力音声に基づく所望の映像音声部分の探索作業をより容易化させることができる。もちろん、編集の容易性だけでなく、帯状表示による再生を行うだけでも今までに無い奥行き感を感じさせる音声表現が可能となる。

以上の構成によれば、選択されたクリップの再生映像を一定の時間差をもって帯状に複数表示するようにしたことにより、再生映像に時間的な奥行きをもたせることができる。かくするにつき、従来の編集画面１のように２次元１画面の再生映像を目視しながら所望する映像部分を探索する場合に比べて、オペレータが格段的に容易に所望する映像部分の探索を行うことができ、かくして編集作業を容易化させ得る編集システムを実現できる。

また以上の構成によれば、クリップの再生映像を、一定の再生時間差ΔＴを有する複数の再生映像を帯状に並べて配置した所定の表示形態で表示する一方、その再生時間差ΔＴや各再生映像の再生速度ｖを増減させるための基本操作として、その操作を行ったことによる操作結果を想起し易く、かつそれ自体が容易な操作を割り当てるようにしたことにより、これら操作を容易かつ直感的に行うことができ、かくして編集作業の作業効率を格段的に向上させ得る編集システムを実現できる。

（２）第２の実施の形態
（２−１）本実施の形態による編集システムの構成
図１において、９０は第２の実施の形態による編集システムを示し、編集画面５０の帯状表示部５５に表示される映像表示部群１００（図２）の各映像表示部１０１（図２）の大きさが、その映像表示部１０１に表示される再生映像に付随する再生音声の信号レベルに応じて変動する点を除いて第１の実施の形態による編集システム１（図１）と同様に構成されている。

すなわちこの編集システム９０の場合、編集装置９１の信号処理部９２は、必要時、上述のように記憶装置２２から映像特殊効果／音声ミキシング処理部３５を介して与えられる映像音声信号Ｓ４に基づいて、図２９に示すように、対応する映像表示部群１００の各映像表示部１０１に対応するクリップの再生映像をそれぞれ表示させる一方、これら再生映像に付随する各再生音声のフレームごとの音声レベル（音声信号Ｓ３の信号レベル）のピークレベルをＣＰＵ９３に順次通知するようになされている。

そしてＣＰＵ９３は、かかる信号処理部９２からの通知に基づいて、これら各再生音声について、その音声レベルのピークレベルが予め設定された閾値Ｔｈｄ（図２９（Ｂ））よりも大きいか否かをそれぞれ判断し、大きいと判断したときには、信号処理部９２を制御して、そのフレームの画像を表示する際に、対応する映像表示部１０１を通常表示すべき大きさよりも大きく表示させる。

例えば、各映像表示部１０１に表示された再生映像がそれぞれ図２９（Ａ）であり、そのときこれら再生映像に付随する再生音声の音声レベル（音声信号の信号レベル）が図２９（Ｂ）である場合には、手前中央の基準映像表示部１０１Ａから右側に数えて２〜４番目の映像表示部１０１Ｃ〜１０１Ｅに表示される再生映像に付随する各再生音声と、基準映像表示部１０１Ａから左側に数えて２番目及び４番目の映像表示部１０１Ｙ、１０１Ｗに表示される再生映像に付随する各再生音声の音声レベルがそれぞれ閾値Ｔｈｄよりも大きいことから、この瞬間では図２９（Ｃ）において十字の矢印で示すように、これら基準映像表示部１０１Ａから右側に数えて２〜４番目の各映像表示部１０１Ｃ〜１０１Ｅと、基準映像表示部１０１Ａから左側に数えて２番目及び４番目の映像表示部１０１Ｙ、１０１Ｗとが大きく表示されることとなる。

またこの場合においてＣＰＵ９３は、かかる大きく表示させる映像表示部１０１Ｃ〜１０１Ｅ、１０１Ｙ、１０１Ｗについて、その映像表示部１０１に表示される再生映像に付随する再生音声の音声レベルが大きければ大きいほど、対応する映像表示部１０１Ｃ〜１０１Ｅ、１０１Ｙ、１０１Ｗの拡大率が大きくなるように各映像表示部１０１を表示するように信号処理部９２を制御する。

従って、例えば図２９（Ｂ）の例では、この瞬間では基準映像表示部１０１Ａから右側に２番目の映像表示部１０１Ｃに表示される再生映像に付随する再生音声の音声レベルが最も高く、他の基準映像表示部１０１Ａから右側に数えて３番目及び４番目の映像表示部１０１Ｄ、１０１Ｅと、基準映像表示部１０１Ａから左側に数えて２番目及び４番目の映像表示部１０１Ｙ、１０１Ｗとにそれぞれ表示される再生映像に付随する再生音声の音声レベルがこれよりも少し低いほぼ同じ大きさであるため、基準映像表示部１０１Ａから右側に２番目の映像表示部１０１Ｃが最も大きい拡大率で拡大表示され、他の基準映像表示部１０１Ａから右側に数えて３番目及び４番目の映像表示部１０１Ｄ、１０１Ｅと、基準映像表示部１０１Ａから左側に数えて２番目及び４番目の映像表示部１０１Ｙ、１０１Ｗとがこれよりも少し小さい拡大率で拡大表示されることとなる。

このようにしてこの編集システム９０では、編集画面５０の帯状表示部５５において、映像表示部群１００の各映像表示部１０１（１０１Ｆ〜１０１Ａ〜１０１Ｖ）にそれぞれ表示された再生映像に付随する再生音声の音声レベルを視覚的に認識し得るように表示するようになされ、これによりオペレータがより直感的にクリップの内容を認識して編集作業を行い得るようになされている。

（２−２）映像表示部拡大表示処理手順
ここで、実際上、ＣＰＵ９３は、上述のような映像表示部１０１（１０１Ｆ〜１０１Ａ〜１０１Ｖ）に表示された再生映像に付随する再生音声の音声レベルに応じて必要な映像表示部１０１（１０１Ｆ〜１０１Ａ〜１０１Ｖ）を拡大表示させる処理を、ＲＯＭ９４（図１）に格納された制御プログラムに基づき、図３０に示す映像表示部拡大表示処理手順ＲＴ４に従って実行する。

すなわちＣＰＵ９３は、図９に示す再生処理手順ＲＴ１に従ってクリップの再生映像を映像表示部群１００に表示させ終えると、図９を用いた上述の表示変更処理手順ＲＴ１及び図２５について上述した編集操作応答処理手順ＲＴ２と並行してこの映像表示部拡大表示処理手順ＲＴ４をステップＳＰ３０において開始し、続くステップＳＰ３１において、信号処理部９２から供給される、対応する映像表示部群１００の１つの映像表示部１０１について、表示フレーム（例えば、１フレーム分）に付随する音声のピークレベルを取得する。

続いてＣＰＵ９３は、ステップＳＰ３２に進んで、そのピークレベルが予め設定された閾値Ｔｈｄよりも大きいか否かを判断し、否定結果を得るとステップＳＰ３１に戻る。

これに対してＣＰＵ９３は、ステップＳＰ３２において肯定結果を得ると、ステップＳＰ３３に進んで、そのとき取得したその映像表示部１０１についてのピークレベルに基づいて拡大率を算出し、この後ステップＳＰ３４に進んで、この算出結果に基づいて信号処理部９２を制御する。かくして、このとき編集画面５０の帯状表示部５５に表示された対応する映像表示部群１００の対応する映像表示部１０１（１０１Ｆ〜１０１Ａ〜１０１Ｖ）が、通常時の大きさ（ピークレベルが閾値Ｔｈｄ以下の場合の大きさ）と比べてステップＳＰ３３で算出した拡大率に応じた大きさに拡大されて表示される。

次いでＣＰＵ９３は、ステップＳＰ３１に戻って、この後対象とする映像表示部１０１（１０１Ｆ〜１０１Ａ〜１０１Ｖ）を順次循環的に代えながら、ステップＳＰ３１〜ステップＳＰ３４を同様に処理する。

このようにしてＣＰＵ９３は、対応する映像表示部群１００の各映像表示部１０１に表示された再生映像に付随する音声の音声レベルが大きいときに、その映像表示部１０１（１０１Ｆ〜１０１Ａ〜１０１Ｖ）をその音声レベルに応じた大きさに表示させる。

（２−３）第２の実施の形態の動作及び効果
以上の構成において、この編集システム９０の編集装置９１では、映像表示部群１００内の各映像表示部１０１（１０１Ｆ〜１０１Ａ〜１０１Ｖ）にそれぞれ表示されている再生映像に付随する再生音声の音声レベルに応じて、当該音声レベルが大きいときには、これに応じて対応する映像表示部１０１（１０１Ｆ〜１０１Ａ〜１０１Ｖ）も大きく表示する。

そしてこのような映像表示方法によれば、映像表示部群１００の各映像表示部１０１（１０１Ｆ〜１０１Ａ〜１０１Ｖ）の大きさに基づいてそのとき各映像表示部１０１（１０１Ｆ〜１０１Ａ〜１０１Ｖ）にそれぞれ表示されている再生映像に付随する再生音声の音声レベルも目視により認識できるため、映像と音声とを連携させた編集を容易に行うことができる。

以上の構成によれば、映像表示部群１００内の各映像表示部１０１（１０１Ｆ〜１０１Ａ〜１０１Ｖ）にそれぞれ表示されている再生映像に付随する再生音声の音声レベルに応じて、当該音声レベルが大きいときには、これに応じて対応する映像表示部１０１（１０１Ｆ〜１０１Ａ〜１０１Ｖ）も大きく表示するようにしたことにより、映像と音声とを連携させた編集を容易に行い得るようにすることができ、かくして第１の実施の形態による編集システムに比べてより一層と編集作業を容易化させ得る編集システムを実現できる。

（３）他の実施の形態
なお上述の第１及び第２の実施の形態においては、本発明をノンリニア編集装置である編集装置２１、２０１及び２５１に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の形態の編集装置や、編集装置以外の種々の映像表示制御装置に広く適用することができる。

また上述の第１及び第２の実施の形態においては、映像表示部群５８、１００の各映像表示部５７、１０１にそれぞれ再生映像を表示するに際して、その都度、記憶装置２２を制御して対応するクリップの映像音声信号Ｓ４を読み出させるようにした場合について述べたが、本発明はこれに限らず、例えば信号処理部３４内にバッファメモリを設け、映像表示部群５８、１００の各映像表示部５７、１０１にそれぞれ再生映像を表示するに際しては、対応するクリップの映像音声信号Ｓ４を記憶装置２２から１度だけ読み出してこれをバッファメモリに保持し、その後このバッファメモリに保持された映像音声信号Ｓ４に基づいて、映像表示部群５８、１００の各映像表示部５７、１０１に再生映像を表示するようにしても良い。なおこの場合には、１又は複数の映像素材の映像情報を記憶する記憶手段は記憶装置２２及びかかるバッファメモリから構成されることとなる。また、第１及び第２の実施の形態においては、記憶装置２２に、映像音声信号を保存する説明を行ったがハードディスク装置３３に全てあるいは一部を保存しても良い。

さらに上述の第１及び第２の実施の形態においては、複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）を楕円状に３次元的に湾曲させて連続的に並べた帯状表示部５５を一つだけ編集画面５０に設けるようにした場合について述べたが、本発明はこれに限らず、図３１に示すように、映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）及び映像表示部群５８を構成する表示領域の数（この場合４個）に応じてクリップ全体を時間軸上で４分割してそれぞれが帯状表示部５５Ａ〜５５Ｄの表示領域に表示されてなる帯状表示部５５を編集画面５０に設けるようにしても良い。この場合ＣＰＵ３０は、帯状表示部５５Ａ〜５５Ｄの各表示領域に表示すべき４分割された映像表示部５７の部分をそれぞれ独立して制御して表示するようにする。

この帯状表示部５５Ａでは、画面下部に再生、停止、一時停止、早送り、早戻し等の各種操作ボタン群５５Ａ１が設けられ、その下部に全体の１／４時間に相当するクリップ部分の再生タイミング表示バー５５Ａ２が設けられると共に、その下部のタイムライン上にスライダー５５Ａ３が設けられ、帯状表示部５５Ｂ、帯状表示部５５Ｃ及び帯状表示部５５Ｄに対しても同様の各種操作ボタン群５５Ｂ１、５５Ｃ１及び５５Ｄ１、再生タイミング表示バー５５Ｂ２、５５Ｃ２及び５５Ｄ２、スライダー５５Ｂ３、５５Ｃ３及び５５Ｄ３が設けられている。

特に、再生タイミング表示バー５５Ａ２、５５Ｂ２、５５Ｃ２及び５５Ｄ２については、画面最下部分の表示エリア５５Ｅに全てが時系列に沿って一本化された状態で表示され、そのうち例えば再生タイミング表示バー５５Ｃ２が選択されると、図３２に示すように、表示エリア５５Ｅの上に帯状表示部５５Ｃが拡大表示されるようになされている。

なお再生タイミング表示バー５５Ａ２、５５Ｂ２、５５Ｃ２及び５５Ｄ２では、現在、複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示されている再生映像の部分が１／４時間のうちのどの辺に相当するのかを白抜エリアＷＥによって表現すると共に、その中でユーザにより選択された強調表示されている映像表示部５７Ａ及び５７Ｄに対応する部分を所定色のバーＢ１及びＢ２によって示すようになされている。これにより編集システム２０及び９０では、４つの帯状表示部５５Ａ、帯状表示部５５Ｂ、帯状表示部５５Ｃ及び帯状表示部５５Ｄを介して１度に４つの時間範囲のクリップ部分に相当する再生映像をユーザに対して提示し得、編集作業の効率化を促進し得るようになされている。

さらに上述の第１及び第２の実施の形態においては、複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）を楕円状に３次元的に湾曲させて連続的に並べるようにした場合について述べたが、本発明はこれに限らず、図３３（Ａ）に示すように、複数の映像表示部５７（５７Ｈ〜５７Ａ〜５７Ｔ）を直線的に複数行及び複数列に順次生成し、各太矢印に示す方向へ順番に連続的に並べるようにしても良い。

この場合、編集システム２０及び９０では、画面サイズにもよるがクリップを構成する全ての再生映像を同一サイズで表示することができるので、一度に全ての再生映像を均一な状態でユーザに目視確認させることができ、いずれの再生映像についても見難いという印象をユーザに抱かせることはない。

なお編集システム２０及び９０では、図３３（Ｂ）に示すように、例えば５つの映像表示部５７Ｈ〜５７Ｄまでの１行を単位とするカーソルＣＫ１と、各映像表示部（５７Ｈ〜５７Ａ〜５７Ｔ）の一つを単位とするカーソルＣＫ２とを連携させてユーザが希望するシーンを選択させ得るようになされており、このときカーソルＣＫ１によって選択された５つの映像表示部５７Ｆ〜５７Ｂを全て同じ見易さでユーザに提示することができる。

さらに上述の第１及び第２の実施の形態においては、複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）を楕円状に３次元的に湾曲させて連続的に並べて帯状表示部５５に表現するようにした場合について述べたが、本発明はこれに限らず、図３４に示すように、複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）を奥行方向から手前方向へ順次向かってくるように連続的に並べ、最も手前側に位置した映像表示部５７Ａの再生映像を最終的には手前側に倒して消滅させるよう帯状表示部５５に表現するようにしても良い。

このとき編集装置２１、２０１及び２５１では、例えば映像表示部５７Ｂ及び５７Ｅに対してその時点における１０分や１５分の再生経過時間の数字（「１０」、「１５」）を表示することにより、クリップの時間的な流れをユーザに対して直感的に提示するようにしても良い。この場合も編集装置２１、２０１及び２５１では、複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示する再生映像の再生速度ｖ及び再生時間差ΔＴを任意に設定することにより、ユーザにとって編集し易い帯状表示部５５を提供することができる。

さらに上述の第１及び第２の実施の形態においては、複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）を楕円状に３次元的に湾曲させて連続的に並べて帯状表示部５５に表現するようにした場合について述べたが、本発明はこれに限らず、図３５に示すように、複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）を奥行方向から手前方向へ順次向かってくるように連続的に並べ、最も手前側に位置した映像表示部５７Ａの再生映像を順次反転させて奥行方向へ戻っていくよう帯状表示部５５に表現するようにしても良い。

このとき編集装置２１、２０１及び２５１では、例えば映像表示部５７Ｖ、５７Ｙ、５７Ｂ及び５７Ｅに対してその時点における０分、５分、１０分及び１５分の再生経過時間の数字（「０」、「５」、「１０」）「１５」）を表示することにより、クリップの時間的な流れをユーザに対して直感的に提示するようにしても良い。この場合も編集装置２１、２０１及び２５１では、複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示する再生映像の再生速度ｖ及び再生時間差ΔＴを任意に設定することにより、ユーザにとって編集し易い帯状表示部５５を提供することができる。

さらに上述の第１及び第２の実施の形態においては、複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）を楕円状に３次元的に湾曲させて連続的に並べて帯状表示部５５に表現するようにした場合について述べたが、本発明はこれに限らず、図３６に示すように、両手の間で左手から右手の方向へ映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）の再生画像を時系列に順次飛ばすよう帯状表示部５５に表現するようにしても良い。

この場合、編集装置２１、２０１及び２５１では、図３７に示すように左手の掌を奥行方向へ倒すように操作されたことを認識すると、複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に対する再生映像を時系列に流す速度に応じて手前側から奥行側へ倒れるように表示角度を変更して順次飛ばすように連動表示し、図３８に示すように左手の掌を手前方向へ倒すように操作されたことを認識すると、複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に対する再生映像を奥行側から手前側へ倒れるように表示角度を変更して順次飛ばすように連動表示することができる。

因みに編集装置２１、２０１及び２５１は、例えば映像表示部５７Ｂに対して時系列に流す速度の状態を表すその時点における１０分の再生経過時間の数字（「１０」）を速度表示データとして表示することにより、クリップの時間的な流れをユーザに対して直感的に認識させるようにしても良い。この場合も編集装置２１、２０１及び２５１では、複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示する再生映像の再生速度ｖ及び再生時間差ΔＴを任意に設定することにより、ユーザにとって編集し易い帯状表示部５５を提供することができる。

さらに上述の第１及び第２の実施の形態においては、複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）を楕円状に３次元的に湾曲させて連続的に並べて帯状表示部５５に表現するようにした場合について述べたが、本発明はこれに限らず、図３９（Ａ）及び（Ｂ）に示すように、複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）の再生画像が奥行側から手前側へあたかも滑り台を順次滑り落ちるよう帯状表示部５５に表示するようにしても良い。

この場合、編集装置２１、２０１及び２５１は、既に表示し終わった映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）の再生画像については順次積み上げて表示すると共に、これから表示予定の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）の再生映像についても複数枚分を重ねられた状態で表示するようになされているため、現在表示している再生映像部分がクリップ全体のどの辺りであるかを直感的に認識させ得るようになされている。

因みに編集装置２１、２０１及び２５１は、これとは逆に、右側に積み重ねられた映像表示部５７の再生映像があたかも滑り台を順次駆け上るように帯状表示部５５に表現するようにしても良い。

さらに上述の実施の形態においては、図１０に示したように映像表示部群５８内の各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）にそれぞれ表示された再生映像のうちのそのとき所望のシーンを表示している映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）をクリック（この場合、例えば最初に映像表示部５７Ｄをクリック）することによって、その映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）が編集操作に伴う編集位置に対応した再生映像であることを所定色に着色して強調表示するようにした場合について述べたが、本発明はこれに限らず、シーンチェンジに対応する表示映像データを映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）に表示する際、そのシーンチェンジの表示映像データを表示する映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）だけを強調表示するようにしても良い。

さらに上述の実施の形態においては、キーボード３８やマウス３９を介して設定や編集等の入力操作等を行うようにした場合について述べたが、本発明はこれに限らず、ゲームコントローラ等を介して種々の入力操作を行うようにしても良い。

さらに上述の第１及び第２の実施の形態においては、映像表示部群５８、１００の手前中央部に表示される映像表示部５７Ａ、１０１Ａを最も大きく、かつこれから離れるにつれて徐々に小さくなるように各映像表示部５７、１０１を表示することにより、映像表示部群５８の手前中央の映像表示部５７Ａ、１０１Ａに近づくほど注目度を向上させるようにした場合について述べたが、本発明はこれに限らず、これに加えて例えば手前中央部の映像表示部５７Ａ、１０１Ａから距離が離れるにつれて解像度を下げ、各映像表示部５７、１０１の配置間隔を狭め又はぼかすように各映像表示部５７、１０１に再生映像を表示するようにしても良い。このようにすることによって、より一層と映像表示部群５８の手前中央の映像表示部５７Ａ、１０１Ａに近づくほど注目度を向上させ得ることができる。なお、映像表示部複数の映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｖ）群５８の手前中央の映像表示部５７Ａ、１０１Ａに近づくほど注目度を向上させる手法としては、この他種々の手法を広く適用することができる。

さらに上述の第１及び第２の実施の形態においては、手前側の映像表示部５７、１０１と後側の映像表示部５７、１０１とが重なる部分では後側の映像表示部５７、１０１が透けて表示されるようにした場合について述べたが、本発明はこれに限らず、透けて表示することにより見難くなる場合には、後側の映像表示部５７、１０１が透けて表示されるのではなく手前側の映像表示部５７、１０１によって隠れるように表示ようにしても良い。

さらに上述の第１及び第２の実施の形態においては、映像表示部群５８、１００の各映像表示部５７、１０１に表示する再生映像間の再生時間差ΔＴや各再生映像の再生速度ｖをすべての再生映像間及び再生映像について一定とするようにした場合について述べたが、本発明はこれに限らず、これを再生映像間ごとに又は再生映像ごとに独立に設定できるようにしても良い。

この場合には、表示画面上において各映像表示部５７、１０１にそれぞれ表示される再生映像の再生速度ｖや各映像表示部５７、１０１にそれぞれ表示される再生映像の再生時間差ΔＴを、表示画面上における各映像表示部５７、１０１の座標位置（絶対座標位置）に応じて再生制御するようにすれば良い。具体的には、ＣＰＵ３０、９３が、表示画面上における各映像表示部５７、１０１の座標値をそれぞれ検出すると共に、この検出結果に基づいて、各映像表示部５７、１０１に表示する再生映像の再生速度ｖや各映像表示部５７、１０１にそれぞれ表示される再生映像の再生時間差ΔＴがそのときの設定値となるように記憶装置２２を制御するようにする。具体的な再生時間差ΔＴの座標位置による変更の方法としては、映像表示部群５８、１００の手前中央部に表示される映像表示部５７Ａから離れ奥にいくほど再生時間差ΔＴを大きくする。視覚効果として、右奥から高速に画像が飛んできて手前部分ではスピードを落とし、再び、左奥へ行くほど高速に消えていくように見える。

またユーザの所定の操作入力によって映像表示部５７、１０１や映像表示部群５８、１００の位置が変更（移動）された場合には、ＣＰＵ３０、９３がこれに応じてディスプレイ４０上における映像表示部５７、１０１や映像表示部群５８、１００の表示位置を変更する一方で、変更後の映像表示部５７、１０１や映像表示部群５８、１００の座標位置を順次検出して、その座標位置の変化に応じて各映像表示部５７、１０１に表示させる再生映像の再生速度ｖや再生時間差ΔＴを制御するようにすれば良い。またＣＰＵ３０、９３の一部機能として再生状態を検出する再生状態検出機能を搭載するようにしても良い。なお再生状態とは、再生速度、再生時刻（映像素材中の相対時刻等）のパラメータの集合などが考えられる。

さらに上述の第１及び第２の実施の形態においては、映像表示部群５８、１００の各映像表示部５７、１０１にそれぞれ表示される再生映像の再生速度ｖ及び再生時間差ΔＴがユーザ操作に応じて変更できるようにした場合について述べたが、本発明はこれに限らず、例えば可変ビットレートで圧縮符号化された映像を再生する場合に、発生符号量が多い高ビットレートで圧縮符号化された部分は動きの速い映像部分と推測することができることから、その部分では映像をゆっくりと確認できるように再生速度ｖを及び又は再生時間差ΔＴを小さくする一方、発生符号量が少ない低ビットレートで圧縮符号化された部分は動きが少ない映像部分と推測することができることから、その部分では映像をある程度速く流すように再生速度ｖ及び又は再生時間差ΔＴを大きくするようにしても良い。このようにすることによってオペレータにとって再生映像を目視確認し易く、かつ編集し易いように映像を表示することができる。なお、この場合の再生及び表示制御は、発生符号量等の閾値を予めメニュー画面等から設定する、又は編集システムにおいて自動的に制御するようにしても良い。

さらに上述の第１及び第２の実施の形態においては、帯状表示部５５内に映像表示部群５８、１００のみを表示するようにした場合について述べたが、本発明はこれに限らず、帯状表示部５５内に映像表示部群５８、１００に沿ってタイムスケールを表示するようにしても良い。このようにすることによって編集映像音声の時間情報を容易に確認できるようにすることができる。

さらに上述の第１及び第２の実施の形態においては、タイムライン部５３を補助的に設けるようにした場合について述べたが、本発明はこれに限らず、タイムライン部５３を時間軸表示用としての機能をもたせるようにしても良い。この場合には、映像表示部群５８、１００の基準映像表示部５７Ａにそのとき表示されている再生映像が、対応するクリップ全体のどの部分に相当するかをタイムライン部５３に表示するような機能をもたせるようにすれば良い。

さらに上述の第１及び第２の実施の形態においては、図１９〜図２４について上述した操作を行うごとに、当該操作に応じた加工処理の処理結果を、かかる表示形態と同じ表示形態で編集画面５０の帯状表示部５５内に順次表示するようにした場合について述べたが、この場合において、例えば直前の編集内容を自動的にバックアップしておき、かかる操作後にその操作直前の状態に戻れるようにしても良い。

さらに上述の第１及び第２の実施の形態においては、キーボード３９の方向キー７０の「上（↑）」キー７０Ｕを押圧操作し、又はマウス３８の右ボタンを押圧した状態で、カーソル７１によって映像表示部群５８、１００に表示された再生映像の一部を、その映像表示部群５８に沿って左方向に引くように当該カーソル７１を移動させる操作を行ったときに、その映像表示部群５８、１００内の各映像表示部５７、１０１にそれぞれ表示される再生映像の再生速度ｖが増加し、かつこれと連携して隣接する映像表示部５７、１０１間における再生映像の再生時間差ΔＴが増加するようにした場合について述べたが、本発明はこれに限らず、例えばかかる再生速度ｖ及び再生時間差ΔＴのいずれか一方のみが増加するように編集装置２１を構築するようにしても良い。

同様に、上述の第１及び第２の実施の形態においては、キーボード３９の方向キー７０の「下（↓）」キー７０Ｄを押圧操作し、又はマウス３８の右ボタンを押圧した状態で、カーソル７１によって映像表示部群５８、１００に表示された再生映像の一部を、その映像表示部群５８、１００に沿って右方向に引くように当該カーソル７１を移動させる操作を行ったときに、その映像表示部群５８内の各映像表示部５７、１０１にそれぞれ表示される再生映像の再生速度ｖが減少し、かつこれと連携して隣接する映像表示部５７、１０１間における再生映像の再生時間差ΔＴが減少するようにした場合について述べたが、本発明はこれに限らず、例えばかかる再生速度ｖ及び再生時間差ΔＴのいずれか一方のみが減少するように編集装置２１を構築するようにしても良い。

さらに上述の第１及び第２の実施の形態においては、映像表示部群５８、１００の各映像表示部５７、１０１にそれぞれ表示される再生映像の再生速度ｖ及び再生時間差ΔＴを設定自在とすることにより、映像表示部群５８、１００に表示される再生映像の見た目を変更することができるようにした場合について述べたが、本発明はこれに限らず、再生映像の再生速度ｖ及び再生時間差ΔＴのほかに例えばフレーム・フィールド間隔を数値設定できるようにすることによって、映像表示部群５８、１００に表示される再生映像の見た目を変更することができるようにしても良く、当該再生映像の見た目を変更するパラメータとしてこの他のパラメータを設定自在とするようにしても良い。

さらに上述の第１の実施の形態においては、図１３（Ａ）又は図１３（Ｂ）について上述した再生映像の瞬間送り又は瞬間戻し操作の結果、その映像表示部群５８の各映像表示部５７の表示位置を、当該映像表示部群５８に沿って、引かれた方向にカーソル７１と一体に移動表示することにより、それまでその映像表示部群５８の各映像表示部５７に表示していた再生映像があたかも瞬時に未来側又は過去側に送られたように見せるようにした場合について述べたが、本発明はこれに限らず、各映像表示部５７の表示位置は変えずに、かかる操作が入力されたときに各映像表示部５７に表示した映像のみを瞬間的に早送り又は戻すようにして、各映像表示部５７に表示していた再生映像をあたかも瞬時に未来側に進み又は過去側に戻したように見せるようにしても良い。

さらに上述の第２の実施の形態においては、再生音声の音声レベルのピークレベルが予め設定された閾値Ｔｈｄよりも大きいときにのみ、そのフレームの画像を表示する際に、対応する映像表示部１０１を通常表示すべき大きさよりも大きく表示させるようにした場合について述べたが、本発明はこれに限らず、かかる閾値Ｔｈｄを設定することなく、対応する再生音声の音声レベルに応じて各映像表示部１０１を拡大又は縮小させるように表示するようにしても良い。

さらに上述の第２の実施の形態においては、再生音声の音声レベルのピークレベルを閾値Ｔｈｄよりも大きいときに、そのフレームの画像を表示する際に、対応する映像表示部１０１を通常表示すべき大きさよりも大きく表示させるようにした場合について述べたが、本発明はこれに限らず、音声レベルの平均を閾値Ｔｈｄと比較して、平均が閾値Ｔｈｄよりも大きいときにはその映像表示部１０１を拡大表示する一方、当該平均が閾値Ｔｈｄよりも小さいときにはその映像表示部１０１を縮小表示するようにしても良い。

さらに上述の第１及び第２の実施の形態においては、図６においてフォワード方向再時に右から左へ流れるように映像表示部５７を表示するようにした場合について述べたが、本発明はこれに限らず、ユーザの設定により流れる方向を任意に切り換えられるようにし、映像素材によっては左から右へ流れる場合を正方向として左から右へ流れるように映像表示部５７を表示するようにしても良い。

さらに上述の第１及び第２の実施の形態においては、各映像表示部５７を固定した状態で表示するようにした場合について述べたが、本発明はこれに限らず、各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｗ）の表示映像の再生速度ｖが極めて低速時でかつ再生時間差ΔＴが１フレーム以下の場合、各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｗ）に表示中の画像については更新することなく各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｗ）全体を再生方向へ向かって動かしていくかのように各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｗ）の位置を順次ずらすことにより、低速再生時に一段と滑らかな動きの画像表示群を目視確認させるようにしても良い。

例えば編集装置２１、２０１及び２５１では、図４０（Ａ）及び（Ｂ）に示すように、各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｗ）の画像についてはそれぞれ更新することなく停止させた状態で、各映像表示部５７（５７Ｆ〜５７Ａ〜５７Ｗ）の位置を隣へずらすことにより一斉に１コマずつ右側から左側へシフトしているかのような低速の動きを表現することができる。

さらに上述の第１及び第２の実施の形態においては、図２４で示したように編集点に対するエフェクト操作の方法としては、イン点及びアウト点において、同時に、エフェクト処理を行うようにした場合について述べたが、本発明はこれに限らず、イン点及びアウト点に対して個別にエフェクト設定できるようにしてもよい。具体的には、図２４（Ｂ）において、エフェクトアイコン１３を選択後、イン点のフレーム付近にドラッグアンドドロップすることによりイン点側の設定を、アウト点のフレーム付近にドラッグアンドドロップすることによりアウト点側の設定を行う。

なお、このときのエフェクト効果がかかるフレームの前後数フレームやエフェクト効果がかかるフレームの前後数秒間に関してもエフェクト処理を行うことができ、ユーザが事前に設定しておく方法と、エフェクト設定後に調整する方法の両者を選択させるようにしておく。後者の具体的な方法としては、編集点のエフェクトフレームをシフトキーを押下しながらクリック後、シフトキーを押下したままエフェクト区間を延ばす、あるいは縮める先のフレームをクリックすることにより可能とすることができる。

さらに上述の第１及び第２の実施の形態においては、本発明を図１のように構成された編集装置２１、図２６のように構成された編集装置２０１及び図２７のように構成された編集装置２５１に適用するようにした場合について述べたが、本発明はこれに限らず、編集装置としての機能の提供が可能な画像処理装置であれば、この他種々の構成の画像処理装置に広く適用することができる。なおこの画像処理装置には、例えばコンピュータ、ビデオカメラ、ディジタルカメラ、ゲーム機器、携帯情報端末（携帯型のコンピュータ、携帯電話機、携帯型ゲーム機器）、ストレージ機器（例えば光ディスク装置、ホームサーバ）、発明に係る機能を搭載した処理ボードや処理カードが含まれる。なお、いずれの画像処理装置の場合にも、筐体と、信号処理部と、外部インタフェースとを共通構成とし、商品形態に応じた周辺装置が組み合わされて構成される。例えば、ビデオカメラやディジタルカメラであれば、前述の構成に加え、カメラユニットや撮像された映像データを記憶媒体に保存するための書込み回路を有する。また例えば携帯電話機その他の通信機能を有する電子機器であれば、前述の構成に加え、送受信回路やアンテナを有する。

なお、発明の趣旨の範囲内で上述のほかに様々な変形例が考えられる。また本明細書の記載に基づいて創作される各種の変形例及び応用例も考えられる。

本発明は、ノンリニア編集装置のほか、これ以外の編集装置や、編集装置以外の映像を表示する種々の映像表示制御装置に広く適用することができる。

本実施の形態による編集システムの構成を示すブロック図である。 本実施の形態による編集画面の構成を示す略線図である。 映像表示部の配置等の説明に供する略線図である。 帯状表示部における再生映像の表示の説明に供する概念図である。 各映像表示部にそれぞれ表示される再生映像の再生時間差の説明に供するタイミングチャートである。 Ｆｏｗａｒｄ方向へ流れるような映像表示の説明に供する略線図である。 再生時間差・再生速度設定ダイアログを示す略線図である。 Ｒｅｖｅｒｓｅ方向へ流れるような映像表示の説明に供する略線図である。 再生処理手順を示すフローチャートである。 帯状表示部における基本操作（１）の説明に供する略線図である。 着色された映像表示部の流れの説明に供するタイミングチャートである。 帯状表示部における基本操作（２）の説明に供する略線図である。 帯状表示部における拡張操作（１）の説明に供する略線図である。 拡張操作による映像表示部の移動（１−１）の説明に供する概念図である。 拡張操作による映像表示部の移動（１−２）の説明に供するタイミングチャートである。 拡張操作による映像表示部の移動（２−１）の説明に供する概念図である。 拡張操作による映像表示部の移動（２−２）の説明に供するタイミングチャートである。 帯状表示部における拡張操作（２）の説明に供する略線図である。 帯状表示部における同一クリップ内でのカット編集（１）の説明に供する略線図である。 帯状表示部における同一クリップ内でのカット編集（２）の説明に供する略線図である。 クリップの分離操作の説明に供する略線図である。 複数クリップを用いたカット編集（１）の説明に供する略線図である。 複数クリップを用いたカット編集（２）の説明に供する略線図である。 映像特殊効果の設定の説明に供する略線図である。 編集操作応答処理手順を示すフローチャートである。 編集システムの第１構成例を示す略線的ブロック図である。 編集システムの第２構成例を示す略線的ブロック図である。 並列デコード処理手順を示すフローチャートである。 第２の実施の形態における再生映像の表示方法の説明に供する略線図である。 映像表示部拡大表示処理手順を示すフローチャートである。 他の実施の形態における映像表示部の構成（１−１）を示す略線図である。 他の実施の形態における映像表示部の構成（１−２）を示す略線図である。 他の実施の形態における映像表示部の構成（２）を示す略線図である。 他の実施の形態における帯状表示部の再生映像（１）を示す略線図である。 他の実施の形態における帯状表示部の再生映像（２）を示す略線図である。 他の実施の形態における帯状表示部の再生映像（３−１）を示す略線図である。 他の実施の形態における帯状表示部の再生映像（３−２）を示す略線図である。 他の実施の形態における帯状表示部の再生映像（３−３）を示す略線図である。 他の実施の形態における帯状表示部の再生映像（４）を示す略線図である。 他の実施の形態における低速再生時の映像表示部の移動の説明に供する略線図である。 従来の編集画面の一例を示す略線図である。

符号の説明

１３……エフェクトアイコン、２０、９０……編集システム、２１、９１、２０１及び２５１……編集装置、２２……記憶装置、３０、９３……ＣＰＵ、９４……ＲＯＭ、３４、９２……信号処理部、３８……マウス、３９……キーボード、５０……編集画面、５５……帯状表示部、５７、５７Ａ〜５７Ｈ、５７Ｔ〜５７Ｚ、１０１……映像表示部、５８、５８Ａ、５８Ｂ、５８Ｃ、１００……映像表示部群、７０……十字キー、７０Ｕ……上キー、７０Ｄ……下キー、７０Ｌ……左キー、７０Ｒ……右キー。

Claims (23)

1. 映像データから、表示画面上の複数の映像表示部に対して表示させる複数の表示映像データを生成する画像生成手段と、
   上記画像生成手段により生成された上記複数の表示映像データを、表示順に連携させ時系列に流れるような時間差を設けた動画として、３次元に湾曲させて配置された上記複数の映像表示部を表示順に連携することにより生成した映像表示部群に対して連動表示させる画像処理手段と
   を有する画像処理装置。
2. 上記画像処理手段は、上記映像表示部群に含まれる上記複数の映像表示部のうちの表示基準となる基準映像表示部の上記表示サイズを最も大きく設定し、当該基準映像表示部に表示される基準表示映像データを、上記複数の表示映像データのなかで最も大きくした状態で上記基準映像表示部に表示させる
   請求項１に記載の画像処理装置。
3. 上記画像処理手段は、上記基準映像表示部から距離が離れるに連れて当該基準映像表示部を除く他の上記映像表示部の上記表示サイズを除々に小さくするように設定し、上記基準表示映像データを除いた上記複数の表示映像データを、上記基準映像表示部から距離が離れるに連れて上記表示サイズを徐々に小さくした状態で当該基準映像表示部を除く他の上記映像表示部に表示させる
   請求項２に記載の画像処理装置。
4. 上記画像処理手段は、上記基準表示映像データを除いた上記複数の表示映像データを、上記基準映像表示部から距離が離れるに連れて上記表示サイズを小さく設定した他の上記映像表示部に対して表示させる際に、解像度を下げるように表示させる
   請求項３に記載の画像処理装置。
5. 上記画像処理手段は、上記基準表示映像データを除いた上記複数の表示映像データを、上記基準映像表示部から距離が離れるにつれて上記表示サイズを小さく設定した他の上記映像表示部に対して表示させる際に、各上記映像表示部の配置間隔を狭めて表示させる
   請求項３に記載の画像処理装置。
6. 上記画像処理手段は、上記基準映像表示部を上記映像表示部群の中央部に位置するように表示させる
   ことを特徴とする請求項２に記載の画像処理装置。
7. 上記画像処理手段は、上記複数の表示映像データを可変速表示させた状態で上記複数の映像表示部に表示させる
   請求項１に記載の画像処理装置。
8. 上記画像処理手段は、上記複数の表示映像データの表示速度をそれぞれ等しくさせた状態で上記複数の映像表示部に表示させる
   請求項１に記載の画像処理装置。
9. 上記画像処理手段は、上記複数の表示映像データの表示速度をそれぞれ等しく固定した状態で、上記時間差を増加又は減少させることにより、時間的に広い範囲の再生映像又は時間的に狭い範囲の再生映像を上記複数の映像表示部に表示させる
   請求項７に記載の画像処理装置。
10. 上記画像処理手段は、上記時間差を固定したまま上記複数の表示映像データの表示速度を増加又は減少させることにより、再生映像の連続性を高くさせ、又は上記再生映像の連続性を低くさせる
    請求項７に記載の画像処理装置。
11. 上記画像処理手段は、上記複数の映像表示部の間で等間隔の上記時間差を設けながら、上記複数の表示映像データを上記複数の映像表示部に表示させる
    請求項１に記載の画像処理装置。
12. 上記画像処理手段は、上記複数の表示映像データを、隣接する各上記映像表示部において重なり合う状態で表示させると共に、各上記表示映像データの重なり合う部分をそれぞれ透かせた状態で表示させる
    請求項１に記載の画像処理装置。
13. 上記画像処理手段は、上記複数の表示映像データを時系列に流す表示速度に応じて、上記複数の表示映像データを、上記複数の映像表示部の表示角度を変更して表示させる
    請求項１に記載の画像処理装置。
14. 上記画像生成手段は、上記複数の表示映像データを時系列に流す表示速度を示す速度表示データを更に生成し、
    上記画像処理手段は、上記速度表示データを、上記表示画面上のアイコンとして表示させる
    請求項１に記載の画像処理装置。
15. 上記画像処理手段は、編集位置に対応する上記表示映像データが上記映像表示部に表示される際、上記編集位置に対応する映像表示部又は上記編集位置に対応する表示映像データを強調表示させる
    請求項に１記載の画像処理装置。
16. 上記画像処理手段は、シーンチェンジに対応する上記表示映像データが上記映像表示部に表示される際、上記シーンチェンジに対応する映像表示部又は上記シーンチェンジに対応する表示映像データを強調表示させる
    請求項１に記載の画像処理装置。
17. 上記画像生成手段は、符号化ストリームを復号処理することにより、上記複数の表示映像データを生成する
    請求項１に記載の画像処理装置。
18. 上記符号化ストリームを記憶する記憶手段と、
    上記記憶手段から上記符号化ストリームを読み出す読出手段と
    を更に有し、
    上記画像生成手段は、上記読出手段により読み出された上記符号化ストリームを復号処理することにより、上記複数の表示映像データを生成する
    請求項１７に記載の画像処理装置。
19. 上記画像生成手段は、上記複数の映像表示部で構成される表示領域の数に応じて上記符号化ストリームを時間軸上で複数に分割して分割符号化ストリームを生成し、上記分割符号化ストリームを復号処理して上記表示領域毎に上記複数の表示映像データを生成する
    請求項１７に記載の画像処理装置。
20. 上記画像生成手段は、
    上記符号化ストリームを復号処理して上記表示映像データを生成する複数の復号部と、
    上記複数の映像表示部の数に応じて、上記符号化ストリームの復号処理を上記複数の復号部に割り当てる制御部とを具える
    請求項１７に記載の画像処理装置。
21. 映像データから、表示画面上の複数の映像表示部に対して表示させる複数の表示映像データを画像生成手段により生成する画像生成ステップと、
    上記画像生成ステップにより生成された上記複数の表示映像データを、画像処理手段により、表示順に連携させ時系列に流れるような時間差を設け設けた動画として、３次元に湾曲させて配置された上記複数の映像表示部を表示順に連携することにより生成した映像表示部群に対して連動表示させる画像処理ステップと
    を有する画像処理方法。
22. コンピュータに対し、
    映像データから、表示画面上の複数の映像表示部に対して表示させる複数の表示映像データを生成する画像生成ステップと、
    上記画像生成ステップにより生成された上記複数の表示映像データを、表示順に連携させ時系列に流れるような時間差を設け設けた動画として、３次元に湾曲させて配置された上記複数の映像表示部を表示順に連携することにより生成した映像表示部群に対して連動表示させる画像処理ステップと
    を実行させる画像処理プログラム。
23. 映像データから、表示画面上の複数の映像表示部に対して表示させる複数の表示映像データを生成する画像生成ステップと、
    上記画像生成ステップにより生成された上記複数の表示映像データを、表示順に連携させ時系列に流れるような時間差を設け設けた動画として、３次元に湾曲させて配置された上記複数の映像表示部を表示順に連携することにより生成した映像表示部群に対して連動表示させる画像処理ステップと
    を含む処理をコンピュータに実行させる画像処理プログラムを記録したプログラム格納媒体。

Images