JPH10276388A

JPH10276388A - 画像処理装置および画像処理方法、画像再生装置および画像再生方法、並びに記録媒体

Info

Publication number: JPH10276388A
Application number: JP9077285A
Authority: JP
Inventors: Shinji Takashima; 伸次高嶋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-03-28
Filing date: 1997-03-28
Publication date: 1998-10-13

Abstract

(57)【要約】【課題】動画像の編集を、容易かつ短時間で行うこと
ができるようにする。【解決手段】入力された動画像から、一まとまりのシ
ーンが検出され、そのシーンごとにファイルに記録され
る。また、シーンを代表する静止画であるクリップ画面
が、各シーンごとに生成され、そのクリップ画面が、仮
想的なアルバムに貼り付けられる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、画像再生装置および画像再生方法、並
びに記録媒体に関し、特に、例えば、ビデオカメラなど
で撮影された動画像を、容易かつ効率的に編集すること
ができるようにする画像処理装置および画像処理方法、
画像再生装置および画像再生方法、並びに記録媒体に関
する。

【０００２】

【従来の技術】例えば、ビデオカメラなどで撮影された
動画像を編集する方法には、大別して、リニア編集とノ
ンリニア編集とがある。

【０００３】図２６は、従来のリニア編集装置の一例の
構成を示している。

【０００４】ビデオカメラ２０１においては、動画が撮
影され、その撮影された動画が再生されて、編集機２０
２に供給される。編集機２０２に入力された画像はＴＶ
（TeleVision）モニタ２０３に表示され、ユーザは、そ
の表示を見ながら編集機２０２を操作し、ビデオカメラ
２０１からの画像を編集する。編集後の画像は、例え
ば、ＶＴＲ（Video Tape Recoder）２０４などの記録装
置に供給されて記録される。

【０００５】以上のようなリニア編集装置では、ビデオ
カメラ２０１から再生された画像が、編集機２０２を介
して、ＶＴＲ２０４で順次記録されていくため、ＶＴＲ
２０４に記録された画像（編集済みの画像）の途中に、
新たに画像を挿入などしようとするときには、その挿入
部分から再度編集をやり直す必要があり、面倒で、また
時間を要する問題があった。

【０００６】そこで、最近では、コンピュータなどをベ
ースに構成されたノンリニア編集装置が急速に普及しつ
つある。

【０００７】図２７は、ノンリニア編集装置の一例の構
成を示している。

【０００８】ノンリニア編集装置においては、まず最初
に、編集対象の画像が編集機２２２に取り込まれる。即
ち、ビデオカメラ２１１において撮影された動画が再生
されて、例えば、コンピュータをベースに構成された編
集機２２２に供給される。編集機２２２においては、ビ
デオカメラ２２２からの画像が、例えば、ハードディス
ク（図示せず）などのランダムアクセスが可能な補助記
憶装置に記録されていく。従って、編集機２２２への画
像の取り込みは、基本的に、ビデオカメラ２１１で画像
を再生する時間に等しい時間だけかかる。

【０００９】なお、画像がディジタル信号の場合は、専
用のインターフェイスを介して、アナログ信号の場合
（例えば、画像がＮＴＳＣ方式やＰＡＬ方式の信号であ
る場合など）は、そのアナログの画像信号はＡ／Ｄ変換
器（図示せず）を介してディジタル信号とされて、ハー
ドディスクに記録される。

【００１０】ここで、画像をハードディスクに記録する
場合においては、その画像を、例えばモーションＪＰＥ
Ｇ（Joint Photographic coding Experts Group）やＭ
ＰＥＧ（Moving Picture Experts Group）などの規格に
準拠して圧縮することができる。この場合、ハードディ
スクに記録する画像データのデータ量を飛躍的に少なく
することができ、ノンリニア編集装置の小型化および低
価格化を図ることができる。

【００１１】なお、画像を圧縮せずに記録する場合には
約２０Ｍバイト／秒程度に、画像を圧縮して記録する場
合には約数１００ｋバイト／秒乃至数Ｍバイト／秒程度
に、それぞれ画像の再生時間を乗じた容量のハードディ
スクが必要となる。従って、画像を圧縮せずに記録する
場合には、装置が大型化および高コスト化するが、高画
質を維持することができる。一方、画像を圧縮して記録
する場合には、上述のように、装置を小型化および低コ
スト化することができるが、画質が多少劣化する。

【００１２】画像の取り込みが完了すると、その編集が
行われる。即ち、編集対象の画像がコンピュータディス
プレイ２２３の所定の領域やＴＶモニタ２２７に表示さ
れ、ユーザは、その表示を見ながら編集機２２２のキー
ボード２２４やマウス２２５などを操作し、取り込んだ
画像を編集する。これにより、編集機２２２では、画像
に付されているタイムスタンプを基準に、例えば、不必
要な部分のカット、画像や文字の挿入、画像のシーンの
入れ替えなどが行われ、また、特殊効果などが付され
る。そして、編集後の画像は、ハードディスクに記録さ
れる。

【００１３】ハードディスクに記録された編集後の画像
は、編集機２２２からＶＴＲ２２６に供給されて記録さ
れたり、また、別の編集のための素材として使用され
る。

【００１４】なお、編集後の画像をディジタル信号のま
ま出力する場合には、その画像は専用のインターフェイ
スを介して、また、編集後の画像をアナログ信号として
出力する場合には、その画像はＤ／Ａ変換器（図示せ
ず）を介して、それぞれ出力される。さらに、編集後の
画像が圧縮されている場合には、その圧縮されている画
像は伸張されてから出力される。

【００１５】以上のように、ノンリニア編集装置では、
編集対象の画像をすべて編集機２２２に取り込んでから
編集が行われるので、既に編集が行われた部分に、新た
に画像などを挿入することなども、容易に行うことがで
きる。

【００１６】

【発明が解決しようとする課題】ところで、ノンリニア
編集であっても、リニア編集と同様に、編集後の画像を
得ることが、その作業の目的であり、画像を取り込むだ
けでは意味がない。

【００１７】そして、編集作業は、リニア編集であって
も、またノンリニア編集であっても、ユーザが、画像を
見てチェックし、編集に用いる画像を決めた後、編集機
２０２や２２２を操作することで行われるため、時間を
要する課題があった。

【００１８】さらに、編集機２０２や２２２の操作は、
ある程度の熟練を要するため、初心者のユーザが編集を
行うことは困難であった。

【００１９】また、例えば、画像を、一まとまりのシー
ンごとにカット編集などする場合に、従来においては、
例えば、特開平８−９３２８号公報に開示されているよ
うな、マニュアルで編集点を入力して、その編集点でシ
ーンをカットすると思われる装置はあったが、マニュア
ルで編集点を入力するのは面倒であった。

【００２０】本発明は、このような状況に鑑みてなされ
たものであり、動画像の編集を、容易かつ短時間で行う
ことができるようにするものである。

【００２１】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、入力された動画像から、一まとまりのシーン
を検出するシーン検出手段と、シーンを代表する静止画
であるクリップ画面を生成するクリップ画面生成手段
と、クリップ画面を貼り付けた仮想的なアルバムを生成
するアルバム生成手段とを備えることを特徴とする。

【００２２】請求項２６に記載の画像処理方法は、入力
された動画像から、一まとまりのシーンを検出し、シー
ンを代表する静止画であるクリップ画面を生成し、クリ
ップ画面を貼り付けた仮想的なアルバムを生成すること
を特徴とする。

【００２３】請求項２７に記載の画像再生装置は、入力
された動画像から、一まとまりのシーンを検出し、シー
ンを代表する静止画であるクリップ画面を生成し、クリ
ップ画面を貼り付けた仮想的なアルバムを生成すること
により得られたシーンについての画像データのファイル
であるシーンファイルおよびアルバムを再生する再生手
段を備えることを特徴とする。

【００２４】請求項３０に記載の画像再生方法は、入力
された動画像から、一まとまりのシーンを検出し、シー
ンを代表する静止画であるクリップ画面を生成し、クリ
ップ画面を貼り付けた仮想的なアルバムを生成すること
により得られたシーンについての画像データのファイル
であるシーンファイルおよびアルバムを再生することを
特徴とする。

【００２５】請求項３１に記載の記録媒体は、入力され
た動画像から、一まとまりのシーンを検出し、シーンを
代表する静止画であるクリップ画面を生成し、クリップ
画面を貼り付けた仮想的なアルバムを生成することによ
り得られたシーンについての画像データのファイルであ
るシーンファイルおよびアルバムが記録されていること
を特徴とする。

【００２６】請求項１に記載の画像処理装置において
は、シーン検出手段は、入力された動画像から、一まと
まりのシーンを検出し、クリップ画面生成手段は、シー
ンを代表する静止画であるクリップ画面を生成するよう
になされている。アルバム生成手段は、クリップ画面を
貼り付けた仮想的なアルバムを生成するようになされて
いる。

【００２７】請求項２６に記載の画像処理方法において
は、入力された動画像から、一まとまりのシーンを検出
し、シーンを代表する静止画であるクリップ画面を生成
し、クリップ画面を貼り付けた仮想的なアルバムを生成
するようになされている。

【００２８】請求項２７に記載の画像再生装置において
は、再生手段が、入力された動画像から、一まとまりの
シーンを検出し、シーンを代表する静止画であるクリッ
プ画面を生成し、クリップ画面を貼り付けた仮想的なア
ルバムを生成することにより得られたシーンについての
画像データのファイルであるシーンファイルおよびアル
バムを再生するようになされている。

【００２９】請求項３０に記載の画像再生方法において
は、入力された動画像から、一まとまりのシーンを検出
し、シーンを代表する静止画であるクリップ画面を生成
し、クリップ画面を貼り付けた仮想的なアルバムを生成
することにより得られたシーンについての画像データの
ファイルであるシーンファイルおよびアルバムを再生す
るようになされている。

【００３０】請求項３１に記載の記録媒体には、入力さ
れた動画像から、一まとまりのシーンを検出し、シーン
を代表する静止画であるクリップ画面を生成し、クリッ
プ画面を貼り付けた仮想的なアルバムを生成することに
より得られたシーンについての画像データのファイルで
あるシーンファイルおよびアルバムが記録されている。

【００３１】

【発明の実施の形態】以下に、本発明の実施の形態を説
明するが、その前に、特許請求の範囲に記載の発明の各
手段と以下の実施の形態との対応関係を明らかにするた
めに、各手段の後の括弧内に、対応する実施の形態（但
し、一例）を付加して、本発明の特徴を記述すると、次
のようになる。

【００３２】即ち、請求項１に記載の画像処理装置は、
動画像を処理する画像処理装置であって、入力された動
画像から、一まとまりのシーンを検出するシーン検出手
段（例えば、図４に示すプログラムの処理ステップＳ１
９およびＳ２０並びに図６に示すプログラムの処理ステ
ップＳ３１乃至Ｓ３８など）と、シーンを代表する静止
画であるクリップ画面を生成するクリップ画面生成手段
（例えば、図７に示すプログラムの処理ステップＳ４３
など）と、クリップ画面を貼り付けた仮想的なアルバム
を生成するアルバム生成手段（例えば、図７に示すプロ
グラムの処理ステップＳ４５など）とを備えることを特
徴とする。

【００３３】請求項４に記載の画像処理装置は、動画像
から、ユーザが必要としないフレームである無効フレー
ムを検出する無効フレーム検出手段（例えば、図５に示
すプログラムの処理ステップＳ２２や、Ｓ２４，Ｓ２６
など）と、シーンから、無効フレームを削除する無効フ
レーム削除手段（例えば、図５に示すプログラムの処理
ステップＳ２３や、Ｓ２５，Ｓ２７など）とをさらに備
えることを特徴とする。

【００３４】請求項９に記載の画像処理装置は、シーン
についての画像データをＭＰＥＧ（Moving Picture Exp
erts Group）符号化する符号化手段（例えば、図１に示
す圧縮部１３など）をさらに備え、クリップ画面生成手
段が、シーンのうちの最初のＩピクチャを、クリップ画
面とすることを特徴とする。

【００３５】請求項１０に記載の画像処理装置は、シー
ンについての画像データのファイルであるシーンファイ
ルおよびアルバムを記録する記録手段（例えば、図１に
示す補助記憶インターフェイス１０やＶＴＲ１６など）
をさらに備えることを特徴とする。

【００３６】請求項１１に記載の画像処理装置は、記録
手段により記録されたシーンファイルおよびアルバムを
再生する再生手段（例えば、図２４に示すプログラムの
処理ステップＳ１３１乃至Ｓ１３７など）をさらに備え
ることを特徴とする。

【００３７】請求項１４に記載の画像処理装置は、アル
バムに貼り付けられたクリップ画面を指定する指定手段
（例えば、図１に示すマウス９など）をさらに備え、再
生手段が、指定手段により指定されたクリップ画面に対
応するシーンファイルを再生することを特徴とする。

【００３８】請求項１５に記載の画像処理装置は、画像
データを符号化する符号化手段（例えば、図１に示す圧
縮部１３など）をさらに備え、記録手段が、符号化手段
により符号化された画像データを記録することを特徴と
する。

【００３９】請求項１６に記載の画像処理装置は、符号
化手段により符号化された画像データを復号化する復号
化手段（例えば、図１に示す伸張部１５など）をさらに
備えることを特徴とする。

【００４０】請求項１７に記載の画像処理装置は、アル
バムを編集するアルバム編集手段（例えば、図９に示す
プログラムの処理ステップＳ５１およびＳ５２や、図１
１に示すプログラムの処理ステップＳ６１乃至６３、図
２２に示すプログラムの処理ステップＳ１２１乃至Ｓ１
２９など）をさらに備えることを特徴とする。

【００４１】請求項２０に記載の画像処理装置は、シー
ンを編集するシーン編集手段（例えば、図１３に示すプ
ログラムの処理ステップＳ７１乃至Ｓ８４など）をさら
に備えることを特徴とする。

【００４２】請求項２５に記載の画像処理装置は、入射
された光を光電変換し、動画像の信号を出力する光電変
換手段（例えば、図２５に示すＣＣＤ（Charge Coupled
Device）１０２など）をさらに備えることを特徴とす
る。

【００４３】請求項２７に記載の画像再生装置は、動画
像を再生する画像再生装置であって、入力された動画像
から、一まとまりのシーンを検出し、シーンを代表する
静止画であるクリップ画面を生成し、クリップ画面を貼
り付けた仮想的なアルバムを生成することにより得られ
たシーンについての画像データのファイルであるシーン
ファイルおよびアルバムを再生する再生手段（例えば、
図２４に示すプログラムの処理ステップＳ１３１乃至Ｓ
１３７など）を備えることを特徴とする。

【００４４】請求項２９に記載の画像再生装置は、アル
バムに貼り付けられたクリップ画面を指定する指定手段
（例えば、図１に示すマウス９など）をさらに備え、再
生手段が、指定手段により指定されたクリップ画面に対
応するシーンファイルを再生することを特徴とする。

【００４５】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。

【００４６】図１は、本発明を適用したノンリニア編集
装置の一実施の形態の構成例を示している。

【００４７】このノンリニア編集装置は、例えば、コン
ピュータをベースとして構成されている。即ち、マイク
ロプロセッサ１は、ハードディスク１２に記録されたオ
ペレーティングシステムの制御の下、同じくハードディ
スク１２に記録されたアプリケーションプログラムを実
行することで、画像や音声の編集処理や編集後の画像や
音声の再生処理などの所定の処理を行う。メインメモリ
２は、マイクロプロセッサ１が実行するプログラムや、
マイクロプロセッサ１の動作上必要なデータを記憶す
る。フレームバッファ３は、例えば、ＤＲＡＭ（Dynami
c Random AccessMemory）などで構成され、マイクロプ
ロセッサ１が生成した画像などを記憶する。バスブリッ
ジ４は、内部バスと、例えばＰＣＩ（Peripheral Compo
nent Interconnect）ローカルバスなどの拡張バスとの
間でのデータのやりとりを制御する。

【００４８】以上のマイクロプロセッサ１、メインメモ
リ２、フレームバッファ３、およびバスブリッジ４は、
相互に、内部バスを介して接続されており、残りのブロ
ックは、拡張バスを介して相互に接続されている。な
お、バスブリッジ４は、内部バスと拡張バスとの両方に
接続されている。

【００４９】チューナ５は、例えば、地上波や衛星回
線、ＣＡＴＶ網を利用して放送されているテレビジョン
放送信号を受信する。ここで、チューナ５において受信
した画像や音声なども編集の対象とすることができる。
モデム６は、電話回線を介しての通信を制御する。ここ
で、モデム６において、例えば、インターネットなどか
ら受信した画像や音声なども編集の対象とすることがで
きるし、また、編集した画像や音声などを、外部に送信
することもできる。

【００５０】Ｉ／Ｏ（Input/Output）インターフェイス
７は、キーボード８やマウス９の操作に対応した操作信
号を出力する。キーボード８は、所定のデータやコマン
ドを入力するときに、マウス９は、ディスプレイ（コン
ピュータディスプレイ）１７に表示されるカーソルを移
動させたり、また、位置を指示したりするときなどに、
それぞれ操作される。

【００５１】補助記憶インターフェイス１０は、ＣＤ−
Ｒ（Compact Disc Recodable）１１やハードディスク
（ＨＤ（Hard Disk））１２などに対するデータの読み
書きを制御する。ＣＤ−Ｒ１１には、例えば、編集後の
画像や音声などが記録される。ハードディスク１２に
は、オペレーティングシステムや、ノンリニア編集その
他処理をマイクロプロセッサ１に実行させるためのアプ
リケーションプログラムなどが記憶されている。さら
に、ハードディスク１２には、編集対象の画像や音声、
編集後の画像や音声なども記録される。

【００５２】圧縮部１３は、そこに入力される画像や音
声を、例えば、ＭＰＥＧの規格に準拠して圧縮符号化す
る。なお、圧縮部１３では、拡張バスを介して供給され
るデータや、伸張部１５を介して供給されるデータ、さ
らには、外部の装置である、例えば、ビデオカメラ１４
から供給されるデータなども圧縮することができるよう
になされている。

【００５３】ビデオカメラ１４では、例えば、編集対象
とする画像や音声が記録される。圧縮部１３は、ビデオ
カメラ１４とのインターフェイスを有しており、これに
より、ビデオカメラ１４で記録された画像や音声は圧縮
部１３に入力することができるようになされている。

【００５４】伸張部１５は、圧縮部１３で符号化（圧
縮）されたデータを復号化（伸張）して出力する。な
お、伸張部１５は、必要に応じて、フレームバッファ３
に記憶された画像に、復号化した画像をオーバレイして
出力する。ここで、フレームバッファ３から伸張部１５
への画像データの供給は、図１の実施の形態では、それ
らの間で直接行われるようになされているが、その他、
内部バス、バスブリッジ４、および拡張バスを介して行
うことも可能である。但し、フレームバッファ３から伸
張部１５への画像データの供給を、内部バス、バスブリ
ッジ４、および拡張バスを介して行う場合には、内部バ
スや拡張バスの能力が低いと、データが渋滞するおそれ
がある。

【００５５】ＶＴＲ１６は、伸張部１５が出力する画像
や音声を、必要に応じて記録する。ディスプレイ１７
は、伸張部１５が出力する画像を、必要に応じて表示す
る。なお、伸張部１５が出力する画像の表示は、コンピ
ュータ用のディスプレイであるディスプレイ１７の他、
ＴＶモニタなどによっても行うことができるようになさ
れている。

【００５６】図２は、図１の圧縮部１３の構成例を示し
ている。

【００５７】Ａ／Ｄコンバータ２１または２２には、ア
ナログの画像信号または音声信号がそれぞれ入力される
ようになされており、それぞれでは、アナログの画像信
号または音声信号がＡ／Ｄ変換されることによりディジ
タル信号とされ、選択部２３または２４にそれぞれ供給
される。

【００５８】選択部２３には、Ａ／Ｄコンバータ２１の
出力、ディジタルの画像信号、および画像／音声挿入部
２８の出力が供給されるようになされており、そこで
は、それらのうちの所定のものが選択され、画像圧縮部
２５に供給される。選択部２４には、Ａ／Ｄコンバータ
２２の出力、ディジタルの音声信号、および画像／音声
挿入部２８の出力が供給されるようになされており、そ
こでは、やはり、それらのうちの所定のものが選択さ
れ、音声圧縮部２６に供給される。

【００５９】なお、選択部２３において、Ａ／Ｄコンバ
ータ２１の出力、ディジタルの画像信号、または画像／
音声挿入部２８の出力が選択される場合には、選択部２
４においては、Ａ／Ｄコンバータ２２の出力、ディジタ
ルの音声信号、または画像／音声挿入部２８の出力がそ
れぞれ選択されるようになされている。また、選択部２
３においてＡ／Ｄコンバータ２１の出力が選択される場
合には、選択部２４においては、そのＡ／Ｄコンバータ
２１の出力であるディジタルの画像信号の同期信号に基
づきに、その画像信号と同期するように、Ａ／Ｄコンバ
ータ２２から供給されるディジタルの音声信号が出力さ
れる。従って、Ａ／Ｄコンバータ２２において音声信号
をＡ／Ｄ変換するためのサンプリングクロックは、Ａ／
Ｄコンバータ２１に入力されるアナログの画像信号の同
期信号に同期している必要がある。

【００６０】画像圧縮部２５または音声圧縮部２６で
は、選択部２３または２４からの画像または音声が、例
えば、ＭＰＥＧ（例えば、ＭＰＥＧ２など）の規格に準
拠して符号化（ＭＰＥＧ符号化）され、これにより、そ
の規格に規定されているエレメンタリストリームが出力
される。このエレメンタリストリームは、例えば、ＤＭ
Ａ（Direct Memory Access）コントローラでもあるバス
インターフェイス２７により、拡張バスを介して、ＤＭ
Ａ転送される。

【００６１】また、バスインターフェイス２７は、拡張
バスを介して転送されてくる画像や音声を、画像／音声
挿入部２８に供給し、画像／音声挿入部２８は、バスイ
ンターフェイス２７からの画像または音声を、選択部２
３または２４にそれぞれ出力するようになされている。

【００６２】なお、画像圧縮部２５は、そこに入力され
る画像を符号化して出力する他、後述するような無効フ
ラグおよびシーンチェンジフラグも出力するようになさ
れており、バスインターフェイス２７は、これらの無効
フラグおよびシーンチェンジフラグも、画像圧縮部２５
が出力する、画像を圧縮した圧縮データとともにＤＭＡ
転送するようになされている。

【００６３】次に、図１のノンリニア編集装置の動作に
ついて説明する。

【００６４】例えば、ビデオカメラ１４で記録された画
像および音声を編集する場合、ユーザは、その画像およ
び音声を、ノンリニア編集装置に取り込ませる。即ち、
ユーザは、例えば、ビデオカメラ１４の図示せぬ再生ボ
タンを操作することにより、ビデオカメラ１４に、画像
および音声を再生させる。

【００６５】なお、ビデオカメラ１４による画像および
音声の再生は、その他、例えば、キーボード８やマウス
９を操作することによっても行わせることができる。即
ち、キーボード８やマウス９が、ビデオカメラ１４にお
ける再生を指示するように操作されると、その旨の操作
信号が、Ｉ／Ｏインターフェイス７およびバスブリッジ
４を介して、マイクロプロセッサ１で受信される。マイ
クロプロセッサ１は、この操作信号を受信すると、再生
を指示するコントロール信号を、バスブリッジ４および
圧縮部１３を介して、ビデオカメラ１４に送信する。ビ
デオカメラ１では、マイクロプロセッサ１からのコント
ロール信号にしたがって、画像および音声の再生が開始
される。

【００６６】ビデオカメラ１４での画像および音声の再
生が開始されると、ノンリニア編集装置では、その画像
および音声の取り込み処理が、例えば、図３に示すフロ
ーチャートにしたがって行われる。

【００６７】即ち、まず最初に、ステップＳ１におい
て、ビデオカメラ１４で再生された画像および音声がＭ
ＰＥＧ符号化（圧縮）される。

【００６８】具体的には、ビデオカメラ１４で再生され
た画像および音声は、圧縮部１３に供給される。圧縮部
１３（図２）では、ビデオカメラ１４で再生された画像
または音声がディジタル信号のものであれば、それぞれ
が選択部２３または２４で選択され、画像圧縮部２５ま
たは音声圧縮部２６に供給される。また、ビデオカメラ
１４で再生された画像または音声がアナログ信号のもの
であれば、それぞれは、Ａ／Ｄコンバータ２１または２
２を介することによりディジタル信号とされ、選択部２
３または２４に供給される。この場合、選択部２３また
は２４では、Ａ／Ｄコンバータ２１または２２が出力す
るディジタルの画像または音声が選択され、画像圧縮部
２５または音声圧縮部２６にそれぞれ供給される。

【００６９】画像圧縮部２５または音声圧縮部２６で
は、ステップＳ１において、選択部２３または２４から
の画像または音声がそれぞれＭＰＥＧ符号化され、バス
インターフェイス２７に出力される。さらに、画像圧縮
部２５においては、無効フラグおよびシーンチェンジフ
ラグも適宜出力され、バスインターフェイス２７に出力
される。バスインターフェイス２７は、画像圧縮部２５
および音声圧縮部２６の出力を補助記憶インターフェイ
ス１０に供給してハードディスク１２に記録させる。

【００７０】以上のようにハードディスク１２へのデー
タの記録が開始されると、マイクロプロセッサ１は、ス
テップＳ２において、そのデータを読み出し、後述する
ようなシーンファイルを構成するシーンファイル化処理
を行う。さらに、マイクロプロセッサ１は、ステップＳ
３において、後述するような仮想的なアルバムを構成
し、ディスプレイ７に表示させて、画像および音声の取
り込み処理を終了する。

【００７１】次に、図２の画像圧縮部２５は、上述の無
効フラグおよびシーンチェンジフラグを、次のような画
像分類情報検出処理を行うことで出力するようになされ
ている。

【００７２】即ち、まず最初に、ステップＳ１１におい
て、いま符号化の対象となっている１フレームの画像の
輝度値Ｙの総和Ｓ（Ｙ）が算出される。具体的には、１
フレームの画像がＮ個の画素で構成されている場合にお
いて、そのｎ番目の画素の輝度値をＹ_nと表すとき、ス
テップＳ１１では、次式にしたがって、１フレームの画
像の輝度値の総和Ｓ（Ｙ）が算出される。

【００７３】Ｓ（Ｙ）＝ΣＹ_n・・・（１）但し、式（１）におけるΣは、ｎを１乃至Ｎに変えての
サメーションを意味する。

【００７４】その後、ステップＳ１２に進み、ステップ
Ｓ１１で算出された輝度値の総和Ｓ（Ｙ）が、所定の閾
値ε₁より小さいかどうかが判定される。ステップＳ１
２において、Ｓ（Ｙ）がε₁より小さいと判定された場
合、ステップＳ１３に進み、その旨を示す第１の無効フ
ラグが出力され、ステップＳ１４に進む。

【００７５】また、ステップＳ１２において、Ｓ（Ｙ）
がε₁より小さくないと判定された場合、ステップＳ１
３をスキップして、即ち、第１の無効フラグを出力せず
に、ステップＳ１４に進み、１フレームについてのＤＣ
Ｔ（Discrete Cosine Transform）係数のＤＣ成分（直
流成分）すべてが所定の閾値ε₂よりも大きいかどうか
が判定される。ここで、ＤＣＴ係数は、画像圧縮部２５
において画像がＭＰＥＧ符号化されるときに、マクロブ
ロック（１６×１６画素のブロック）単位で求められる
ので、ステップＳ１４における判定処理は、そのＤＣ成
分に基づいて行われる。

【００７６】ステップＳ１４において、１フレームにつ
いてのＤＣＴ係数のＤＣ成分すべてがε₂より大きいと
判定された場合、ステップＳ１５に進み、その旨を示す
第２の無効フラグが出力され、ステップＳ１６に進む。

【００７７】また、ステップＳ１４において、１フレー
ムについてのＤＣＴ係数のＤＣ成分がε₂より大きくな
いと判定された場合、ステップＳ１５をスキップして、
即ち、第２の無効フラグを出力せずに、ステップＳ１６
に進み、いま符号化の対象となっているフレームと、そ
の１フレーム前のフレームとの間の相関（フレーム間相
関）Ｃが算出される。即ち、例えば、１フレームの画像
がＮ個の画素で構成されている場合において、第ｆフレ
ームのｎ番目の画素の輝度値をＹ_f,nと表すとき、ステ
ップＳ１６では、次式にしたがって、フレーム間相関Ｃ
が算出される。

【００７８】Ｃ＝Σ｜Ｙ_f,n−Ｙ_f-1,n｜・・・（２）但し、式（２）におけるΣも、式（１）における場合と
同様に、ｎを１乃至Ｎに変えてのサメーションを意味す
る。

【００７９】フレーム間相関Ｃを算出した後は、ステッ
プＳ１７に進み、そのフレーム間相関Ｃが所定の閾値ε
₃より大きいかどうかが判定される。ステップＳ１７に
おいて、フレーム間相関Ｃがε₃より大きいと判定され
た場合、ステップＳ１８に進み、その旨を表す第３の無
効フラグが出力され、ステップＳ２１に進む。

【００８０】また、ステップＳ１７において、フレーム
間相関Ｃがε₃より大きくないと判定された場合、ステ
ップＳ１９に進み、フレーム間相関Ｃが所定の閾値ε₄
（但し、ε₃＞ε₄）より小さいかどうかが判定される。
ステップＳ１９において、フレーム間相関Ｃがε₄より
小さいと判定された場合、ステップＳ２０に進み、その
旨を表すシーンチェンジフラグが出力され、ステップＳ
２１に進む。また、ステップＳ１９において、フレーム
間相関Ｃがε₄より小さくないと判定された場合、ステ
ップＳ２０をスキップして、ステップＳ２１に進み、ビ
デオカメラ２１からの画像の入力がすべて終了したかど
うかが判定され、終了していないと判定された場合、ス
テップＳ１１に戻り、次のフレームを対象に、同様の処
理が行われる。

【００８１】一方、ステップＳ２１において、ビデオカ
メラ２１からの画像の入力がすべて終了したと判定され
た場合、ビデオカメラ２１からの画像を分類するための
情報としての無効フラグ（第１乃至第３の無効フラグ）
およびシーンチェンジフラグを検出する画像分類情報検
出処理を終了する。

【００８２】なお、バスインターフェイス２７では、無
効フラグやシーンチェンジフラグは、各フラグが出力さ
れるときの画像分類情報検出処理の対象となっていたフ
レームの画像データを符号化したものに対応付けて出力
される。

【００８３】次に、マイクロプロセッサ１においては、
以上のような画像分類情報検出処理により得られる無効
フラグに基づいて、ユーザが必要としないフレームであ
る無効フレームを検出して削除する画像削除処理が、図
５に示すフローチャートにしたがって行われる。

【００８４】即ち、まず最初に、ステップＳ２２におい
て、第１の無効フラグが、所定のフレーム数としての、
例えば、１ＧＯＰ（Group Of Picture）などを構成する
フレーム数以上連続したかどうかが判定される。ステッ
プＳ２２において、第１の無効フラグが１ＧＯＰ分以上
連続したと判定された場合、ステップＳ２３に進み、そ
の間の画像データを符号化したものがハードディスク１
２から削除され、ステップＳ２４に進む。即ち、第１の
無効フラグは、１フレームの画像の輝度値の総和Ｓ
（Ｙ）が閾値ε₁より小さい場合に出力されるが、Ｓ
（Ｙ）がε₁より小さい場合というのは、何も録画がさ
れていないと考えられる。このようなフレームが、例え
ばＩピクチャが出現する間隔である１ＧＯＰ分以上連続
する部分は、ユーザが必要としない無効フレームと考え
られるため、ステップＳ２３で削除される。

【００８５】なお、第１の無効フラグが長時間連続する
場合は、ビデオカメラ１４による録画が終了したと考え
られる。従って、図４のステップＳ２１におけるビデオ
カメラ２１からの画像の入力がすべて終了したかどうか
の判定は、この第１の無効フラグの出力が長時間連続し
たかどうかを判定ことで行うことができる。

【００８６】一方、ステップＳ２２において、第１の無
効フラグが１ＧＯＰ分以上連続していないと判定された
場合、ステップＳ２３をスキップして、ステップＳ２４
に進み、第２の無効フラグが、例えば、数１０秒以上連
続したかどうかが判定される。ステップＳ２４におい
て、第２の無効フラグが数１０秒以上連続したと判定さ
れた場合、ステップＳ２５に進み、その間の画像データ
を符号化したものがハードディスク１２から削除され、
ステップＳ２６に進む。即ち、第２の無効フラグは、１
フレームについてのＤＣＴ係数のＤＣ成分がすべて閾値
ε₂より大きい場合に出力されるが、このようにＤＣ成
分がε₂より小さいフレームというのは、そのフレーム
全体が、ある単色で塗りつぶされたようなものとなって
いると考えられる。このようなフレームが、数１０秒以
上連続する部分は、ユーザが必要としない無効フレーム
と考えられるため、ステップＳ２５で削除される。

【００８７】なお、単色のフレームは、編集時におい
て、例えば、フェードをかけるときに使用される場合が
あるため、何も録画がされていないフレームの場合のよ
うに、１ＧＯＰ分の時間のような短時間ではなく、上述
したように、数１０秒などの長時間連続した場合に削除
される。

【００８８】一方、ステップＳ２４において、第２の無
効フラグが数１０秒以上連続していないと判定された場
合、ステップＳ２５をスキップして、ステップＳ２６に
進み、第３の無効フラグが、例えば、数１０秒以上連続
したかどうかが判定される。ステップＳ２６において、
第３の無効フラグが数１０秒以上連続したと判定された
場合、ステップＳ２７に進み、その間の画像データを符
号化したものがハードディスク１２から削除され、ステ
ップＳ２２に戻る。即ち、第３の無効フラグは、フレー
ム間相関Ｃが閾値ε₃より大きい場合に出力されるが、
このようにフレーム間相関Ｃがε₃より大きいフレーム
（フレーム間相関が非常に大きいフレーム）というの
は、前のフレームと同一の画像になっていると考えられ
る。このようなフレームが、数１０秒以上連続する部分
は、ユーザが必要としない無効フレームと考えられるた
め、ステップＳ２７で削除される。

【００８９】ステップＳ２７の処理後は、ステップＳ２
２に戻り、以下、同様の処理が繰り返される。

【００９０】なお、ステップＳ２３，Ｓ２５、およびＳ
２７で画像を削除する場合、その画像に対応する音声も
削除される。

【００９１】また、上述の場合においては、ハードディ
スク１２に記録された画像を削除するようにしたが、画
像の削除（音声についても同様）は、画像圧縮部２５
に、画像を符号化する前に行わせる（音声については音
声圧縮部２６に行わせる）ようにすることも可能であ
る。

【００９２】ここで、図４の画像分類情報検出処理にお
ける閾値ε₁乃至ε₃は、上述したような無効フレームを
削除する観点に基づいて適切な値が設定されるようにな
されている。

【００９３】次に、図３のステップＳ２におけるシーン
ファイル化処理の詳細について、図６のフローチャート
を参照して説明する。

【００９４】シーンファイル化処理では、動画像から、
一まとまりのシーンが検出され、そのシーンごとの画像
データおよび音声データが１つのファイル（以下、適
宜、シーンファイル）とされる。

【００９５】即ち、まず最初に、ステップＳ３１におい
て、シーンファイルを識別するためのユニークな番号と
してのシーン番号を表す変数ｉが、初期値としての、例
えば１に初期化され、ステップＳ３２に進む。ステップ
Ｓ３２では、シーン番号＃ｉのシーンファイルがオープ
ンされ、ステップＳ３３に進み、そのシーンファイル
に、ハードディスク１２に記録された、画像および音声
をＭＰＥＧ符号化したデータ（以下、適宜、圧縮データ
という）が記録される。即ち、シーンファイル化処理が
開始されると、ハードディスク１２に記録された圧縮デ
ータが、その先頭から順次読み出され、その圧縮データ
が、ステップＳ３２でオープンされたシーンファイルに
記録される。そして、ステップＳ３４に進み、シーンチ
ェンジフラグを受信したかどうかが判定され、受信して
いないと判定された場合、ステップＳ３３に戻り、シー
ン番号＃ｉのシーンファイルへの圧縮データの記録が継
続される。

【００９６】一方、ステップＳ３４において、シーンチ
ェンジフラグを受信したと判定された場合、ステップＳ
３５に進み、シーン番号＃ｉが、ステップＳ３２でオー
プンされたシーンファイルに対応付けられ、ステップＳ
３６に進む。ステップＳ３６では、シーン番号＃ｉのシ
ーンファイルがクローズされる。

【００９７】ここで、シーンチェンジフラグは、フレー
ム間相関Ｃが閾値ε₄より小さい場合に出力されるが、
このようにフレーム間相関Ｃがε₄より小さいフレーム
（フレーム間相関が非常に小さいフレーム）というの
は、あるシーンの録画を終了し、新たなシーンの録画を
開始したフレームになっていると考えられる。そこで、
ステップＳ３３では、シーンチェンジフラグが検出され
るまでの圧縮データが、一まとまりのシーンを構成する
として、１のシーンファイルに記録される。

【００９８】シーン番号＃ｉのシーンファイルがクロー
ズされた後は、ステップＳ３７に進み、ハードディスク
１２に記録された圧縮データの読み出しがすべて終了し
たかどうかが判定される。ステップＳ３７において、圧
縮データの読み出しがすべて終了していないと判定され
た場合、ステップＳ３８に進み、シーン番号＃ｉが１だ
けインクリメントされ、ステップＳ３２に戻る。即ち、
この場合、次のシーンについてのシーンファイルが構成
される。一方、ステップＳ３７において、圧縮データの
読み出しがすべて終了したと判定された場合、シーンフ
ァイル化処理を終了する。

【００９９】以上のようにして、シーンごとに圧縮デー
タをファイルにしたシーンファイルの作成が終了した
後、ハードディスク１２に記録された圧縮データは削除
される。

【０１００】なお、上述の場合においては、画像削除処
理およびシーンファイル化処理を、圧縮部１３で得られ
た圧縮データをハードディスク１２に記録した後に行う
ようにしたが、その他、例えば、圧縮部１３で得られた
圧縮データを、バスブリッジ４を介して、メインメモリ
２にＤＭＡ転送して記憶させ、このメインメモリ２に記
憶された圧縮データを対象に、画像削除処理およびシー
ンファイル化処理を行い、これにより得られるシーンフ
ァイルを、ハードディスク１２に記録させるようにする
ことも可能である。

【０１０１】次に、図７および図８を参照して、図３の
ステップＳ３におけるアルバム表示処理の詳細について
説明する。

【０１０２】アルバム表示処理では、まず最初に、ステ
ップＳ４１において、シーン番号を表す変数ｉが、図６
のステップＳ３１における場合と同様に、初期値である
１に初期化され、ステップＳ４２に進み、シーン番号＃
ｉのシーンファイル（以下、適宜、シーンファイル＃ｉ
と記述する）がオープンされる。そして、ステップＳ４
３に進み、そのシーンファイル＃ｉに対応するシーンを
代表する静止画であるクリップ画面が生成される。

【０１０３】即ち、ステップＳ４３では、マイクロプロ
セッサ１において、シーンファイル＃ｉに記録された画
像の圧縮データが読み出され、所定の復号化アルゴリズ
ム（伸張部１５の処理に対応する復号化アルゴリズム）
にしたがって復号化（ソフトウェアで復号化）される。
そして、マイクロプロセッサ１は、例えば、最初に復号
化したＧＯＰを構成するＩピクチャを、例えば、その画
素数を間引くことにより縮小し、それを、クリップ画面
とする。このクリップ画面は、ステップＳ４４におい
て、シーンファイル＃ｉと対応付けられて、ハードディ
スク１２に記録される。

【０１０４】そして、ステップＳ４５に進み、マイクロ
プロセッサ１は、ディスプレイ１７にあらかじめ表示さ
せておいた仮想的なアルバムに、ステップＳ４５で生成
したクリップ画面を貼り付けるように表示させる。

【０１０５】即ち、図３で説明したデータの取り込み処
理が開始されると、マイクロプロセッサ１は、例えば、
図８（Ａ）に示すような仮想的なアルバム（アルバムの
画像）をフレームバッファ３に書き込み、これを伸長部
１５を介してディスプレイ１７に転送することで表示さ
せるようになされており、ステップＳ４５では、このア
ルバムに、例えば、図８（Ｂ）に示すように、クリップ
画面が表示される。

【０１０６】その後、ステップＳ４６に進み、ハードデ
ィスク１２に記録されたシーンファイルすべてについて
クリップ画面を生成したかどうかが判定され、生成して
いないと判定された場合、ステップＳ４７に進み、シー
ン番号を表す変数ｉが１だけインクリメントされ、ステ
ップＳ４２に戻る。即ち、この場合、次のシーンファイ
ルについてのクリップ画面が生成され、アルバムに貼り
付けられる。

【０１０７】一方、ステップＳ４６において、ハードデ
ィスク１２に記録されたシーンファイルすべてについて
クリップ画面を生成したと判定された場合、アルバム表
示処理を終了する。

【０１０８】以上のようにして、アルバム表示処理によ
れば、シーンファイルごとのクリップ画面が生成され
て、アルバムに貼り付けられる。

【０１０９】ここで、図８（Ｃ）に、５つのシーンファ
イルについて、クリップ画面が生成され、アルバムに貼
り付けられた状態を示す。同図において、クリップ画面
の上部に付してある番号は、シーン番号を示している。

【０１１０】なお、アルバムにおいては、所定の位置を
原点として、クリップ画面が、それが生成される順番に
配置位置をずらして貼り付けられるようになされてい
る。また、マイクロプロセッサ１は、アルバムにクリッ
プ画面を貼り付けるスペースがなくなると、アルバムの
新たなページを開き、そのページにクリップ画面を貼り
付けるようになされている。

【０１１１】以上のように、入力された動画像から、一
まとまりのシーンが検出され、各シーンについてのクリ
ップ画面が生成されて、アルバムに貼り付けられる。ま
た、各シーンからは、上述したように、無効フレーム
（およびそれに付随する音声）が削除される。従って、
ユーザは、そのような無効フレームを探して削除し、シ
ーンごとにカットするような編集の作業をせずに、編集
対象の画像および音声を取り込むための操作をするだけ
で、編集作業に熟練していなくても、無効なフレームが
削除され、かつシーンごとにカット編集されたデータ
を、容易に得ることができる。また、無効フレームが削
除されることから、ハードディスク１２の記録容量を有
効に活用することができる。

【０１１２】さらに、アルバムに貼り付けられたクリッ
プ画面を見ることで、各シーンを再生しなくても、その
内容を把握することができる。また、ディスプレイ１７
上に表示されたアルバムは、実際に写真を貼り付けたア
ルバムと同様に利用することができる。

【０１１３】なお、上述の場合においては、画像および
音声を圧縮し、シーンファイル化を行った後に、クリッ
プ画面をアルバムに貼り付けるようにしたが、これらの
処理は同時に行う（並列に進める）ことが可能である。

【０１１４】即ち、画像および音声を圧縮し、シーンフ
ァイルを構成するとともに、画像の圧縮データを伸張部
１５で復号化し、その縮小画像を、そのシーンファイル
のクリップ画面を貼り付けるアルバムの位置に表示させ
る。そして、ある１つのシーンについての圧縮およびシ
ーンファイル化の終了後に、そのシーンについてのクリ
ップ画面を生成し、いままで縮小画像を表示させていた
アルバムの位置に、そのクリップ画面を貼り付け、その
後、次のシーンについて、同様の処理を行うようにす
る。このようにした場合、圧縮している最中の画像がア
ルバムに表示され、そのシーンファイル化が終了する
と、アルバムには、そのクリップ画面が表示されるとと
もに、次のシーンについての画像（圧縮が開始された画
像）がアルバムに表示されるので、ユーザは、処理の進
行状況を把握することができるようになる。

【０１１５】次に、以上のようにしてアルバムが構成さ
れた後は、後述するように、そのアルバムに貼り付けら
れたクリップ画面に対応するシーンファイルを、例え
ば、シーン番号順などに再生することができるので、そ
のような再生がなされれば充分であるユーザについて
は、その後の作業を行う必要はない。

【０１１６】しかしながら、シーンファイルの再生順序
を入れ替えたり、また、図３のデータ取り込み処理で作
成されたシーンファイルのうちの一部のシーンを削除し
たりすることが要望される場合がある。

【０１１７】そこで、図１のノンリニア編集装置では、
シーンの入れ替えや削除などを容易にすることができる
ようになされている。

【０１１８】即ち、シーンの再生順序を変更する場合
（シーンの入れ替えを行う場合）においては、ユーザ
は、例えば、キーボード８を操作することによりコマン
ドを入力し（その他、例えば、図示せぬアイコンをマウ
ス９でクリックしても良い）、装置の動作モードを並び
替えモードとする。動作モードが並び替えモードとされ
ると、マイクロプロセッサ１では、図９のフローチャー
トにしたがった処理が行われる。即ち、ステップＳ５１
において、アルバムに貼り付けられたクリップ画面が並
び替えられたかどうか（その並びが替わるように、クリ
ップ画面の位置が移動されたかどうか）が判定され、並
び替えられていないと判定された場合、ステップＳ５１
に戻る。

【０１１９】また、ステップＳ５１において、アルバム
に貼り付けられたクリップ画面が並び替えられたと判定
された場合、ステップＳ５２に進み、並び替えられたク
リップ画面の並びにしたがって、各クリップ画面に対応
するシーンファイルのシーン番号が付け替えられて、処
理を終了する。

【０１２０】即ち、アルバムに貼り付けられたクリップ
画面は、例えば、マウス９でドラッグすることにより移
動させることができるようになされている。いま、例え
ば、図１０（Ａ）に示すように、アルバムにクリップ画
面が並んでいる場合において、シーン番号＃３のクリッ
プ画面Ｃ₁と、シーン番号＃４のクリップ画面Ｃ₂との位
置が、マウス９を操作することにより入れ替えられたと
する。この場合、同図（Ｂ）に示すように、クリップ画
面Ｃ₁に対応するシーンファイルのシーン番号は４に、
クリップ画面Ｃ₂に対応するシーンファイルのシーン番
号は３に、それぞれ付け替えられる。

【０１２１】従って、ユーザは、シーンの再生順序を容
易に変更することができる。

【０１２２】なお、クリップ画面は、そのクリップ画面
が貼り付けられているページの中だけでなく、他のペー
ジに移動させることも可能である。

【０１２３】次に、例えば、装置の動作モードが、上述
のような並び替えモードとされた場合や、後述するクリ
ップ画面編集モードとされた場合などにおいて、クリッ
プ画面がアルバムの外に移動されたときには、そのクリ
ップ画面に対応するシーンがカット（削除）されるよう
になされている。

【０１２４】即ち、上述したように、クリップ画面はド
ラッグすることで移動されることができるが、そのよう
にして、クリップ画面をアルバムの外に移動し、そのド
ラッグを解除した場合においては、例えば、図１１のフ
ローチャートに示すように、ステップＳ６１において、
そのクリップ画面についてのデータがハードディスク１
２から削除される。具体的には、そのクリップ画面の画
像データおよびそれに対応するシーンファイルが削除さ
れる。

【０１２５】そして、ステップＳ６２において、クリッ
プ画面が並び替えられ、ステップＳ６３に進み、ステッ
プＳ６２で並び替えられたクリップ画面の並びにしたが
って、各クリップ画面に対応するシーンファイルのシー
ン番号が付け替えられ、処理を終了する。

【０１２６】即ち、例えば、図１２（Ａ）に示すよう
に、シーン番号＃３のクリップ画面がドラッグされて、
アルバムの外に移動され、そのドラッグが解除された場
合には、シーン番号＃３のクリップ画面が削除される。
そして、同図（Ｂ）に示すように、その削除された位置
の空白を詰めるように、シーン番号＃４と＃５のクリッ
プ画面が移動される。さらに、そのシーン番号＃４と＃
５のクリップ画面に対応するシーンファイルのシーン番
号が、＃３と＃４にそれぞれ付け替えられる。

【０１２７】従って、ユーザは、シーンの削除を、容易
に行うことができる。

【０１２８】次に、ユーザが、各シーンの内容の編集を
することを希望する場合がある。この場合、ユーザは、
キーボード８やマウス９を操作することにより、装置の
動作モードをシーン編集モードとする。動作モードがシ
ーン編集モードとされると、マイクロプロセッサ１で
は、例えば、図１３のフローチャートにしたがった処理
が行われる。

【０１２９】即ち、まず最初に、ステップＳ７１におい
て、編集対象のシーンに対応するクリップ画面が選択さ
れたかどうかが判定され、選択されていないと判定され
た場合、ステップＳ７１に戻る。また、ステップＳ７１
において、編集対象のシーンに対応するクリップ画面が
選択されたと判定された場合、ステップＳ７２に進み、
編集ウインドウがオープンされ、ディスプレイ１７に表
示される。

【０１３０】具体的には、例えば、図１４（Ａ）に示す
ように、クリップ画面が貼り付けられたアルバムが表示
されている場合において、ユーザがマウス９をクリック
することにより、そのうちのいずれかが選択されたとす
る。この場合、例えば、同図（Ｂ）に示すような編集ウ
インドウがディスプレイ１７に表示される。

【０１３１】編集ウインドウには、選択されたクリップ
画面に対応するシーンを再生するための再生ボタン４８
が設けられており、ステップＳ７３では、この再生ボタ
ン４８が、マウス９でクリックされたかどうかが判定さ
れ、クリックされていないと判定された場合、ステップ
Ｓ７３に戻る。また、ステップＳ７３において、再生ボ
タン４８がクリックされたと判定された場合、ステップ
Ｓ７４に進み、ステップＳ７１で選択されたと判定され
たクリップ画面に対応するシーンファイルの再生が、所
定の再生速度で行われる。

【０１３２】即ち、ステップＳ７４では、そのシーンフ
ァイルがハードディスク１２から読み出され、伸張部１
５に供給される。伸張部１５では、シーンファイルにお
ける画像の圧縮データが復号化され、編集ウインドウが
有する表示窓４１に表示される。具体的には、編集ウイ
ンドウの画像データは、マイクロプロセッサ１によって
フレームバッファ３に書き込まれており、伸張部１５
は、この編集ウインドウの表示窓４１の部分に、圧縮デ
ータを復号化した画像をオーバレイして、ディスプレイ
１７に表示させる。

【０１３３】ここで、表示窓４１への動画の表示が開始
されると、図１５（Ａ）に示すように、編集ウインドウ
が有するタイムコード欄４２に、表示窓４１に表示され
ている画像に対応するタイムコード（タイムスタンプ）
が表示されるとともに、編集ウインドウが有する再生イ
ンジケータ４４が、再生された画像のデータ量に対応し
て塗りつぶされていく。従って、ユーザは、タイムコー
ド欄４２や再生インジケータ４４を参照することで、画
像（シーン）の再生時間を把握することができる。

【０１３４】その後、ステップＳ７５に進み、画像をカ
ットする開始点が指定されたかどうかが判定される。即
ち、表示窓４１に表示された画像を見て、あるフレーム
からの画像のカットを開始したい場合、そのタイミング
で、例えば、再生インジケータ４４をクリックすること
により開始点を指定することができるようになされてお
り、ステップＳ７５では、この指定がなされたかどうか
が判定される。ステップＳ７５において、開始点が指定
されていないと判定された場合、ステップＳ７６に進
み、ステップＳ７１で選択されたシーンファイルの再生
がすべて終了したかどうかが判定され、終了していない
と判定された場合、ステップＳ７４に戻り、シーンファ
イルの再生が継続される。

【０１３５】また、ステップＳ７６において、シーンフ
ァイルの再生がすべて終了したと判定された場合、ステ
ップＳ８３に進み、その再生されたシーンの中に、開始
点と後述する終了点で挟まれる部分（以下、適宜、カッ
トシーンという）が存在するかどうかが判定される。ス
テップＳ８３において、カットシーンが存在しないと判
定された場合、即ち、開始点の指定が一度も行われなか
った場合、ステップＳ８４をスキップして、処理を終了
する。

【０１３６】一方、ステップＳ７５において、開始点が
指定されたと判定された場合、ステップＳ７７に進み、
開始点が指定されたフレームを含むＧＯＰの、例えば先
頭のフレームに開始点が設定され、ステップＳ７８に進
む。

【０１３７】ここで、ステップＳ７７で開始点が設定さ
れると、例えば、図１５（Ｂ）に示すように、その開始
点に対応する、再生インジケータ４４の位置に、開始点
を表す表示が行われるようになされており、これによ
り、ユーザが、開始点が設定された位置を、容易に認識
することができるようになされている。

【０１３８】図１３に戻り、ステップＳ７８では、シー
ンファイルの再生が継続され、ステップＳ７９に進み、
画像をカットする終了点が指定されたかどうかが判定さ
れる。即ち、開始点の設定後は、その開始点を指定する
のと同様にして、画像のカットを終了するフレームを指
定することができるようになされており、ステップＳ７
９では、この指定がなされたかどうかが判定される。ス
テップＳ７９において、終了点が指定されたと判定され
た場合、ステップＳ８０に進み、終了点が指定されたフ
レームを含むＧＯＰの、例えば最後のフレームに終了点
が設定され、ステップＳ７４に戻る。

【０１３９】ここで、ステップＳ８０で終了点が設定さ
れると、例えば、図１５（Ｃ）に示すように、その終了
点に対応する、再生インジケータ４４の位置に、終了点
を表す表示が行われるようになされており、これによ
り、ユーザが、終了点が設定された位置を、容易に認識
することができるようになされている。さらに、終了点
が設定された場合においては、その終了点と、その直前
に設定された開始点との間に対応する再生インジケータ
４４の部分、即ち、カットシーンに対応する部分が、同
図（Ｃ）に斜線を付して示すように、異なる色で塗りつ
ぶされるようになされており、これにより、ユーザがカ
ットシーンとされた部分を、容易に認識することができ
るようになされている。

【０１４０】再び、図１３に戻り、ステップＳ７９にお
いて、終了点が指定されていないと判定された場合、ス
テップＳ８１に進み、ステップＳ７１で選択されたシー
ンファイルの再生がすべて終了したかどうかが判定さ
れ、終了していないと判定された場合、ステップＳ７８
に戻り、シーンファイルの再生が継続される。

【０１４１】また、ステップＳ８１において、シーンフ
ァイルの再生がすべて終了したと判定された場合、ステ
ップＳ８２に進み、最後に再生されたフレームに終了点
が設定され、ステップＳ８４に進む。

【０１４２】ステップＳ８４では、シーンファイルから
カットシーンを取り出し（カットし）、新たなシーンフ
ァイルとするカット編集処理が行われ、処理を終了す
る。

【０１４３】次に、図１３のステップＳ８４におけるカ
ット編集処理の詳細について、図１６のフローチャート
を参照して説明する。

【０１４４】カット編集処理では、まず最初に、ステッ
プＳ９１において、カットシーンが選択されたか否かが
判定される。即ち、ユーザは、再生インジケータ４４に
表示されたカットシーンの部分（例えば、図１５（Ｃ）
において斜線を付した部分）を、例えばマウス９でクリ
ックすることにより、そのカットシーンを、新たなシー
ンファイルを構成するシーンとして選択することができ
るようになされており、ステップＳ９１では、この選択
が行われたか否かが判定される。

【０１４５】ステップＳ９１において、カットシーンの
選択が行われていないと判定された場合、ステップＳ９
１に戻る。また、ステップＳ９１において、カットシー
ンの選択が行われたと判定された場合、ステップＳ９２
に進み、その選択されたカットシーンについて、新たに
シーンファイルが作成される。

【０１４６】即ち、選択されたカットシーンを構成する
画像および音声の圧縮データが記録されているシーンフ
ァイルから、そのカットシーンに相当する部分が読み出
され、新たなシーンファイルとされて、ハードディスク
１２に記録される。

【０１４７】ここで、例えば、図１７（Ａ）に示すよう
に、３つのカットシーン＃１，＃２，＃３が設定されて
いる場合において、そのうちの１つである、例えばカッ
トシーン＃１が選択され、これにより、そのカットシー
ン＃１について、新たなシーンファイルが作成された場
合、同図（Ｂ）に示すように、編集ウインドウが有する
タイムコード欄４３に、新たなシーンファイルの再生時
間（この場合は、カットシーン＃１の再生時間）が表示
されるとともに、編集ウインドウが有する編集インジケ
ータ４５が、そのデータ量に対応して塗りつぶされる。
従って、ユーザは、タイムコード欄４３や編集インジケ
ータ４５を参照することで、新たなシーンファイルの再
生時間を把握することができる。

【０１４８】図１６に戻り、新たなシーンファイルの作
成後は、ステップＳ９３に進み、新たにカットシーンの
選択が行われたか否かが判定される。ステップＳ９３に
おいて、カットシーンの選択が行われていないと判定さ
れた場合、ステップＳ９４をスキップして、ステップＳ
９５に進む。また、ステップＳ９３において、カットシ
ーンの選択が新たに行われたと判定された場合、ステッ
プＳ９４に進み、その新たに選択されたカットシーンに
対応する圧縮データが、ステップＳ９２で作成されたシ
ーンファイルに追加され、ステップＳ９４に進む。

【０１４９】即ち、例えば、図１７（Ｂ）に示した場合
において、さらに、例えば、カットシーン＃３が選択さ
れた場合、先に選択されたカットシーン＃１について作
成された新たなシーンファイルに、カットシーン＃３の
圧縮データが追加される。なお、この場合、同図（Ｃ）
に示すように、編集ウインドウが有するタイムコード欄
４３に、カットシーン＃３の圧縮データが追加されたシ
ーンファイルの再生時間（従って、カットシーン＃１と
＃３の再生時間を合わせた時間）が表示されるととも
に、編集ウインドウが有する編集インジケータ４５も、
やはり、カットシーン＃３の圧縮データが追加されたシ
ーンファイルのデータ量に対応して塗りつぶされる。従
って、ユーザは、タイムコード欄４３や編集インジケー
タ４５を参照することで、カットシーン＃３が追加され
たシーンファイルの再生時間を把握することができる。

【０１５０】再び、図１６に戻り、ステップＳ９５で
は、キーボード８やマウス９がカット編集処理を終了す
るように操作されたか否かが判定され、操作されていな
いと判定された場合、ステップＳ９３に戻る。また、ス
テップＳ９５において、カット編集処理を終了するよう
に操作がなされたと判定された場合、処理を終了する。

【０１５１】ここで、図１６および図１７においては、
カットシーンを選択された順番に、新たなシーンファイ
ルに配置するようにしたが、カットシーンの配置順は変
更することが可能である。即ち、例えば、図１８（Ａ）
は、カットシーン＃１，＃２が順次選択され、そのよう
な順番で、新たなシーンファイルに配置された様子を示
している。このような場合において、例えば、カットシ
ーン＃３を選択し、続けて、編集インジケータ４５のカ
ットシーン＃１と＃２との境目部分を、マウス９でクリ
ックするなどして挿入位置を指定すると、選択されたカ
ットシーン＃３は、同図（Ｂ）に示すように、カットシ
ーン＃１と＃２との間に配置される。

【０１５２】なお、編集ウインドウにおいて、逆再生ボ
タン４６は、図１３のステップＳ７１で選択されたシー
ンファイルを逆再生するときに操作され、停止ボタン４
７は、そのシーンファイルの再生（順方向への再生）や
逆再生を停止するときに操作される。また、逆再生ボタ
ン４９は、新たに作成されたシーンファイルを逆再生す
るときに、停止ボタン５０は、新たに作成されたシーン
ファイルの再生や逆再生を停止するときに、再生ボタン
５１は、新たに作成されたシーンファイルを再生すると
きに、それぞれ操作される。従って、ユーザは、例え
ば、再生ボタン５１を操作することで、新たなシーンフ
ァイルの内容を確認することができる。

【０１５３】以上のように新たなシーンファイルが作成
されると、そのシーンファイルについてのクリップ画面
も生成され、アルバムに貼り付けられる。即ち、例え
ば、図１９（Ａ）に示すように、アルバムに、５つのシ
ーンファイルのクリップ画面が貼り付けられている場合
において、そのうちの１のシーンファイルが編集され、
新たなシーンファイルが作成されたときには、その新た
なシーンファイルのクリップ画面が生成され、例えば、
同図（Ｂ）に示すように、アルバムの最後に追加され
る。従って、ここでは、新たなシーンファイルのシーン
番号は、アルバムに既に貼り付けられているクリップ画
面の数に１を加算した値である６とされている。

【０１５４】以上のように、ユーザは、開始点および終
了点を指定することにより、カットシーンを設定し、そ
のカットシーンを選択するだけで、容易に、シーンファ
イルの編集を行うことができる。

【０１５５】なお、シーンファイルを編集し、新たなシ
ーンファイルを得た後、元のシーンファイルが不要な場
合には、上述したように、そのクリップ画面をアルバム
の外に出すことで、容易に削除することができる。ま
た、シーンの再生順序も、上述したように、クリップ画
面の並びを替えることで、容易に変更することができ
る。

【０１５６】また、上述の場合においては、１のシーン
ファイルから、新たなシーンファイルを生成するように
したが、複数のシーンファイルから、新たなシーンファ
イルを生成することも可能である。

【０１５７】次に、シーンファイルには、例えば、チュ
ーナ５やモデム６で、外部から受信した画像や音声や、
マイクロプロセッサ１で作成した画像や音声のデータを
挿入すること（以下、適宜、挿入編集という）もでき
る。

【０１５８】挿入編集が指示された場合、その挿入する
所定のフレーム数についての画像データおよび音声デー
タが圧縮部１３に入力され、例えば、図２０のフローチ
ャートにしたがった処理が行われる。

【０１５９】即ち、圧縮部１３（図２）では、そこに入
力された画像データおよび音声データがバスインターフ
ェイス２７で受信され、画像／音声挿入部２８に転送さ
れる。画像／音声挿入部２８では、バスインターフェイ
ス２７からの画像データまたは音声データが選択部２３
または２４を介して、画像圧縮部２５または音声圧縮部
２６にそれぞれ供給される。画像圧縮部２５または音声
圧縮部２６では、ステップＳ１０１において、入力され
た画像データまたは音声データがそれぞれ符号化（圧
縮）され、その結果得られる圧縮データが、バスインタ
ーフェイス２７に出力される。バスインターフェイス２
７は、画像圧縮部２５および音声圧縮部２６からの圧縮
データを、バスブリッジ４を介して、メインメモリ２に
ＤＭＡ転送する。

【０１６０】以上のようにして、メインメモリ２にシー
ンファイルに挿入する圧縮データが記憶されると、マイ
クロプロセッサ１は、ステップＳ１０２において、ハー
ドディスク１２から、挿入編集対象のシーンファイルを
読み出し、そのシーンファイルに、メインメモリ２に記
憶されている圧縮データを挿入して、再び、ハードディ
スク１２に記録させ、処理を終了する。なお、シーンフ
ァイルに、メインメモリ２に記憶されている圧縮データ
を挿入する位置は、上述の処理が行われる前に、あらか
じめユーザにより設定され、その位置に挿入される。

【０１６１】次に、例えば、チューナ５やモデム６で、
外部から受信した画像や音声や、マイクロプロセッサ１
で作成した画像や音声のデータは、シーンファイルに挿
入する他、シーンファイルの一部分に上書き（シーンフ
ァイルの一部分と置換）すること（以下、適宜、上書き
編集という）も可能である。

【０１６２】上書き編集が指示された場合、その上書き
する所定のフレーム数についての画像データおよび音声
データ（以下、適宜、上書きデータともいう）、それら
を上書きする位置（例えば、それらを上書きするシーン
ファイルの先頭からのフレーム数など）、並びに上書き
する画像データのフレーム数（なお、上書きする位置と
フレーム数は、あらかじめユーザにより入力されている
ものとする）が圧縮部１３に入力されるとともに、上書
き編集の対象であるシーンファイルがハードディスク１
２から読み出されて伸張部１５に入力され、例えば、図
２１のフローチャートにしたがった処理が行われる。

【０１６３】即ち、伸張部１５では、ステップＳ１１１
において、そこに入力されるシーンファイルが伸張さ
れ、その結果得られる画像データおよび音声データ（以
下、適宜、伸張データともいう）が圧縮部１３に供給さ
れる。

【０１６４】また、圧縮部１３（図２）では、そこに入
力された上書きデータ、上書きデータを上書きする位
置、並びに上書きするフレーム数がバスインターフェイ
ス２７で受信される。さらに、バスインターフェイス２
７では、伸張部１５からの伸張データも受信される。

【０１６５】そして、バスインターフェイス２７では、
ステップＳ１１２において、受信した、上書きデータを
上書きする位置および上書きするフレーム数に基づい
て、上書きデータまたは伸張データのうちのいずれを出
力すべきタイミングであるかが判定される。ステップＳ
１１２において、伸張データを出力すべきタイミングで
あると判定された場合、ステップＳ１１３に進み、伸張
データが符号化される。

【０１６６】即ち、バスインターフェイス２７は、伸張
データを、画像／音声挿入部２８に転送し、画像／音声
挿入部２８では、バスインターフェイス２７からの伸張
データとしての画像データまたは音声データが選択部２
３または２４を介して、画像圧縮部２５または音声圧縮
部２６にそれぞれ供給される。画像圧縮部２５または音
声圧縮部２６では、入力された画像データまたは音声デ
ータがそれぞれ符号化（圧縮）され、その結果得られる
圧縮データが、バスインターフェイス２７に供給され
る。

【０１６７】一方、ステップＳ１１２において、上書き
データを出力すべきタイミングであると判定された場
合、ステップＳ１１４に進み、上書きデータが符号化さ
れる。即ち、バスインターフェイス２７は、上書きデー
タを、画像／音声挿入部２８に転送し、画像／音声挿入
部２８では、バスインターフェイス２７からの上書きデ
ータとしての画像データまたは音声データが選択部２３
または２４を介して、画像圧縮部２５または音声圧縮部
２６にそれぞれ供給される。画像圧縮部２５または音声
圧縮部２６では、入力された画像データまたは音声デー
タがそれぞれ符号化され、その結果得られる圧縮データ
が、バスインターフェイス２７に供給される。

【０１６８】なお、バスインターフェイス２７は、上書
きデータを、画像／音声挿入部２８に出力している間に
伸張部１５から受信した伸張データを破棄するようにな
されており、これにより、画像圧縮部２５および音声圧
縮部２６からバスインターフェイス２７に対しては、所
定の部分の伸張データを、上書きデータに置換した圧縮
データが供給されるようになされている。

【０１６９】ステップＳ１１３およびＳ１１４の処理後
は、いずれもステップＳ１１５に進み、上書き編集の対
象のシーンファイルに記録された圧縮データを伸張した
伸張データの、伸張部１５から圧縮部１３への供給がす
べて終了したか否かが判定され、終了していないと判定
された場合、ステップＳ１１１に戻り、まだ伸張してい
ない圧縮データの伸張が行われる。また、伸張部１５か
ら圧縮部１３への伸張データの供給が終了したと判定さ
れた場合、ステップＳ１１６に進み、画像圧縮部２５お
よび音声圧縮部２６からバスインターフェイス２７に供
給された圧縮データを記録したシーンファイルが作成さ
れ、上書き編集の対象とされたシーンファイルに代え
て、ハードディスク１２に記録される。

【０１７０】なお、以上のような挿入編集や上書き編集
では、動画の他、静止画の挿入や上書きもすることが可
能である。従って、ユーザは、例えば、シーンのタイト
ル画面などとする静止画を作成し、そのタイトル画面
を、シーンに挿入したり、また、上書きすることができ
る。

【０１７１】次に、図１のノンリニア編集装置では、シ
ーンの他、例えば、図８に示したように、アルバムやそ
こに貼り付けられたクリップ画面も編集することができ
るようになされている。

【０１７２】即ち、例えば、キーボード８やマウス９が
所定操作され、装置の動作モードが、アルバムやクリッ
プ画面を編集するアルバム／クリップ画面編集モードと
されると、マイクロプロセッサ１では、例えば、図２２
のフローチャートにしたがった処理が行われる。

【０１７３】即ち、この場合、まず最初に、ステップＳ
１２１において、クリップ画面を移動させる操作が行わ
れたかどうかが判定される。ステップＳ１２１におい
て、クリップ画面を移動させる操作が行われたと判定さ
れた場合、ステップＳ１２２に進み、その操作に対応し
て、クリップ画面が移動され、ステップＳ１２３に進
む。上述したように、クリップ画面は、マウス９でドラ
ッグすることにより移動させることができ、ステップＳ
１２１およびＳ１２２では、そのような操作が行われた
ときに、クリップ画面が移動される。なお、クリップ画
面のドラッグが、アルバムの外で解除された場合、上述
したように、そのクリップ画面は、対応するシーンファ
イルとともに削除される。

【０１７４】ここで、クリップ画面は、同一のページ内
だけでなく、上述したように、異なるページにも移動さ
せることができるようになされている。さらに、クリッ
プ画面は、新たなアルバムをオープンして、そのアルバ
ムに移動させることなどもできるようになされている。
なお、クリップ画面の移動後は、上述したように、必要
に応じて、そのシーン番号の付け替えも行われる。

【０１７５】また、ステップＳ１２１において、クリッ
プ画面を移動させる操作が行われていないと判定された
場合、ステップＳ１２２をスキップして、ステップＳ１
２３に進み、クリップ画面を拡大／縮小させる操作が行
われたかどうかが判定される。ステップＳ１２３におい
て、クリップ画面を拡大／縮小させる操作が行われたと
判定された場合、ステップＳ１２４に進み、その操作に
対応して、クリップ画面が拡大／縮小され、ステップＳ
１２５に進む。

【０１７６】即ち、クリップ画面は、例えば、その境界
部分をマウス９でドラッグして動かすことにより拡大／
縮小させることができるようになされており、このよう
な操作が行われた場合、ステップＳ１２４において、ク
リップ画面が拡大／縮小される。

【０１７７】一方、ステップＳ１２３において、クリッ
プ画面を拡大／縮小させる操作が行われていないと判定
された場合、ステップＳ１２４をスキップして、ステッ
プＳ１２５に進み、クリップ画面を変形する操作が行わ
れたかどうかが判定される。ステップＳ１２５におい
て、クリップ画面を変形する操作が行われたと判定され
た場合、ステップＳ１２６に進み、その操作に対応し
て、クリップ画面が変形される。

【０１７８】即ち、クリップ画面は、キーボード８やマ
ウス９を所定操作した後に、その境界部分をマウス９で
ドラッグして動かすことにより、その形状を変形させる
ことができるようになされており、このような操作が行
われた場合、ステップＳ１２６において、クリップ画面
が変形される。

【０１７９】また、ステップＳ１２５において、クリッ
プ画面を変形させる操作が行われていないと判定された
場合、ステップＳ１２７に進み、文字を入力する操作が
行われたかどうかが判定される。ステップＳ１２７にお
いて、文字を入力する操作が行われたと判定された場
合、ステップＳ１２８に進み、その操作により入力され
た文字が、アルバムに付加され、ステップＳ１２８に進
む。

【０１８０】即ち、アルバムにおいては、クリップ画面
に重ねて、またはクリップ画面が貼り付けられていない
余白部分に、文字を付加することができるようになされ
ており、例えば、マウス９をクリックすることにより位
置が指定され、その後に、キーボード８を操作すること
により文字が入力された場合には、ステップＳ１２８に
おいて、マウス９により指定された位置に、キーボード
８により入力された文字が付加される。

【０１８１】一方、ステップＳ１２７において、文字を
入力する操作が行われていないと判定された場合、ステ
ップＳ１２８をスキップして、ステップＳ１２９に進
み、アルバムおよびクリップ画面の編集を終了する操作
が行われたかどうかが判定され、行われていないと判定
された場合、ステップＳ１２１に戻る。また、ステップ
Ｓ１２９において、アルバムおよびクリップ画面の編集
を終了する操作が行われたと判定された場合、処理を終
了する。

【０１８２】ここで、図２３に、例えば、図８（Ｃ）に
示したアルバムを、上述のようにして編集した編集結果
の例を示す。

【０１８３】以上のように、ユーザは、実際に写真を貼
るアルバムと同様に、クリップ画面が貼り付けられたア
ルバムの編集を行うことができる。

【０１８４】なお、アルバムの編集結果についての情報
は、例えば、ハードディスク１２に記録されるようにな
されている。

【０１８５】次に、シーンファイルの再生処理について
説明する。

【０１８６】例えば、キーボード８やマウス９が操作さ
れ、装置の動作モードが、シーンファイルの再生を行う
再生モードとされると、マイクロプロセッサ１では、例
えば、図２４のフローチャートにしたがった処理が行わ
れる。

【０１８７】即ち、まず最初に、ステップＳ１３１にお
いて、再生対象のアルバムが指定されたかどうかが判定
される。具体的には、例えば、作成されたアルバムは、
アイコンの状態で、ディスプレイ１７に表示されるよう
になされており、そのアイコンのうちのいずれかが、マ
ウス９によってクリックされたかどうかが、ステップＳ
１３１において判定される。ステップＳ１３１におい
て、再生対象のアルバムが指定されていないと判定され
た場合、ステップＳ１３１に戻る。

【０１８８】また、ステップＳ１３１において、再生対
象のアルバムが指定されたと判定された場合、ステップ
Ｓ１３２に進み、そのアルバムが、例えば、図２３に示
したように、ディスプレイ１７に表示される。

【０１８９】その後、ステップＳ１３３において、例え
ば、キーボード８やマウス９が、アルバム全体を再生す
るように操作されたか否かが判定され、操作されたと判
定された場合、ステップ１３４に進み、そのアルバムに
貼り付けられているクリップ画面に対応するシーンファ
イルが、例えば、シーン番号の昇順で、順次再生され
る。即ち、再生対象のシーンファイルに記録された圧縮
データが、ハードディスク１２から読み出され、伸張部
１５に供給される。伸張部１５では、圧縮データが復号
化され、その復号結果としての画像が、ディスプレイ１
７で表示される。なお、音声は、図示せぬスピーカから
出力される。アルバムに貼り付けられているクリップ画
面に対応するシーンファイルすべての再生がすべて終了
すると、ステップＳ１３７に進む。

【０１９０】一方、ステップＳ１３３において、アルバ
ム全体の再生をするように操作がされていないと判定さ
れた場合、ステップＳ１３５に進み、アルバムに貼り付
けられたクリップ画面のうちのいずれかが、例えば、マ
ウス９でクリックされることにより選択されたかどうか
が判定される。ステップＳ１３５において、クリップ画
面が選択されていないと判定された場合、ステップＳ１
３３に戻る。また、ステップＳ１３５において、クリッ
プ画面が選択されたと判定された場合、ステップＳ１３
６に進み、その選択されたクリップ画面に対応するシー
ンファイルが、上述したように再生される。

【０１９１】そして、その再生の終了後、ステップＳ１
３７に進み、例えば、キーボード８やマウス９が、再生
モードを終了するように操作されたかどうかが判定さ
れ、操作されていないと判定された場合、ステップＳ１
３１に戻る。また、ステップＳ１３７において、再生モ
ードを終了するように操作がなされたと判定された場
合、処理を終了する。

【０１９２】なお、編集後のデータは、ハードディスク
１２に記録しておく他、持ち運びに便利な、例えば、Ｃ
Ｄ−Ｒ１１や、図示しないＤＶＤ（Digital Versatile
Disc）−Ｒなどの記録媒体にも記録することが可能であ
る。ＣＤ−Ｒ１１などに編集後のデータを記録しておく
場合には、写真を貼るアルバムと同様に、動画を、簡単
に、整理、保存しておくことが可能となる。

【０１９３】また、編集後のデータは、上述した再生モ
ードで再生して、例えば、ＶＴＲ１６によってビデオテ
ープに記録しておくことなども可能である。

【０１９４】次に、図２５は、本発明を適用したＭＰＥ
Ｇビデオカメラの一実施の形態の構成例を示している。

【０１９５】操作部１１２が操作され、これにより録画
が指令されると、レンズ１０１に入射した光は、ＣＣＤ
１０２上に集光され、ＣＣＤ１０２では、レンズ１０１
からの光が光電変換され、その結果得られる電気信号と
しての画像信号が、Ａ／Ｄ変換器１０３に出力される。
Ａ／Ｄ変換器１０３では、ＣＣＤ１０２からの画像信号
がＡ／Ｄ変換されることによりディジタルの画像信号と
され、編集部１０６に供給される。

【０１９６】一方、マイク（マイクロフォン）１０４に
入力された音声は、そこで電気信号としての音声信号と
され、Ａ／Ｄ変換器１０５に供給される。Ａ／Ｄ変換器
１０５では、マイク１０４からの音声信号がＡ／Ｄ変換
されることによりディジタルの音声信号とされ、編集部
１０６に供給される。

【０１９７】編集部１０６では、Ａ／Ｄ変換器１０３ま
たは１０５それぞれからの画像信号または音声信号がＭ
ＰＥＧ符号化されるとともに、それらの画像信号および
音声信号に対して、上述した画像分類情報検出処理（図
４）、画像削除処理（図５）、およびシーンファイルか
処理（図６）が施される。そして、その結果得られるシ
ーンファイルがハードディスク（ＨＤ）１０７に記録さ
れる。

【０１９８】ハードディスク１０７にシーンファイルが
記憶されると、アルバム化部１０８は、各シーンファイ
ルについてクリップ画面を生成し、それを仮想的なアル
バムに貼り付ける処理（以下、適宜、アルバム化処理と
いう）を行い、そのアルバム化処理の結果得られたデー
タ（以下、適宜、アルバムデータという）をハードディ
スク１０７に記録する。

【０１９９】その後、操作部１１２が操作され、これに
より再生が指令されると、再生部１０９は、ハードディ
スク１０７からアルバムデータを再生し、例えば、液晶
ディスプレイなどで構成される表示部１１０に出力す
る。これにより、表示部１１０では、例えば、図８
（Ｃ）に示したような、クリップ画面が貼り付けられた
アルバムが表示される。そして、図２４に示したような
再生モードの処理が行われる。

【０２００】即ち、操作部１１２が、アルバム全体を再
生するように操作された場合、アルバムに貼り付けられ
ているクリップ画面に対応するシーンファイルが、例え
ば、シーン番号の昇順で、順次再生される。つまり、シ
ーンファイルに記録された圧縮データが、ハードディス
ク１０７から読み出され、再生部１０９においてＭＰＥ
Ｇ復号化される。そして、その結果得られる画像または
音声が、表示部１１０で表示され、またはスピーカ１１
１から出力される。以上の処理が、アルバムに貼り付け
られているクリップ画面に対応するシーンファイルにつ
いて繰り返される。

【０２０１】また、操作部１１２が操作され、これによ
り、アルバムに貼り付けられたクリップ画面のうちのい
ずれかが選択された場合、その選択されたクリップ画面
に対応するシーンファイルが、上述したように再生され
る。

【０２０２】従って、ユーザは、録画を行った後に、シ
ーンごとに分類したり、また、無効フレームを削除した
りする編集を行うことなく、所望のシーンを即座に得る
ことができる。

【０２０３】以上、本発明を適用したリニア編集装置お
よびビデオカメラについて説明したが、本発明は、その
他、例えば、ＶＴＲなどの画像の記録を行う装置その他
などにも適用可能である。

【０２０４】なお、本実施の形態では、ＭＰＥＧ方式に
より、データを符号化／復号化するようにしたが、デー
タの符号化／復号化方式としては、ＭＰＥＧ方式の他、
例えば、モーションＪＰＥＧ方式、ＤＶ方式その他を採
用することが可能である。さらに、データの符号化／復
号化は、必ずしも行う必要はない。

【０２０５】また、本実施の形態では、フレーム間相関
に基づいてシーンチェンジを検出するようにしたが、シ
ーンチェンジの検出方法は、これに限定されるものでは
ない。なお、フレーム間相関に基づいてシーンチェンジ
を検出する場合においては、フレーム間相関が小さいフ
レームで、シーンが区切られるので、例えば、ビデオカ
メラによる撮影中にシーンを区切りたい場合には、ビデ
オカメラを高速でパンなどすることにより、シーンを区
切ることができる。

【０２０６】

【発明の効果】請求項１に記載の画像処理装置および請
求項２６に記載の画像処理方法によれば、入力された動
画像から、一まとまりのシーンが検出され、シーンを代
表する静止画であるクリップ画面が生成される。そし
て、クリップ画面を貼り付けた仮想的なアルバムが生成
される。従って、動画像の編集を、容易かつ短時間で行
うことが可能となる。

【０２０７】請求項２７に記載の画像再生装置および請
求項３０に記載の画像再生方法によれば、入力された動
画像から、一まとまりのシーンを検出し、シーンを代表
する静止画であるクリップ画面を生成し、クリップ画面
を貼り付けた仮想的なアルバムを生成することにより得
られたシーンについての画像データのファイルであるシ
ーンファイルおよびアルバムが再生される。従って、所
望するシーンを容易に得ることが可能となる。

【０２０８】請求項３１に記載の記録媒体には、入力さ
れた動画像から、一まとまりのシーンを検出し、シーン
を代表する静止画であるクリップ画面を生成し、クリッ
プ画面を貼り付けた仮想的なアルバムを生成することに
より得られたシーンについての画像データのファイルで
あるシーンファイルおよびアルバムが記録されている。
従って、所望するシーンを容易に得ることが可能とな
る。

【図面の簡単な説明】

【図１】本発明を適用したノンリニア編集装置の一実施
の形態の構成例を示すブロック図である。

【図２】図１の圧縮部１３の構成例を示すブロック図で
ある。

【図３】図１のノンリニア編集装置の動作を説明するた
めのフローチャートである。

【図４】画像分類情報検出処理を説明するためのフロー
チャートである。

【図５】画像削除処理を説明するためのフローチャート
である。

【図６】図３のステップＳ２の処理の詳細を説明するた
めのフローチャートである。

【図７】図３のステップＳ３の処理の詳細を説明するた
めのフローチャートである。

【図８】アルバム表示処理を説明するための図である。

【図９】並び替えモードの処理を説明するためのフロー
チャートである。

【図１０】並び替えモードの処理を説明するための図で
ある。

【図１１】クリップ画面がアルバムから出された場合の
処理を説明するためのフローチャートである。

【図１２】クリップ画面がアルバムから出された場合の
処理を説明するための図である。

【図１３】シーン編集モードの処理を説明するためのフ
ローチャートである。

【図１４】シーン編集モードの処理を説明するための図
である。

【図１５】シーン編集モードの処理を説明するための図
である。

【図１６】図１３のステップＳ８４の処理の詳細を説明
するためのフローチャートである。

【図１７】カット編集処理を説明するための図である。

【図１８】カット編集処理を説明するための図である。

【図１９】カット編集処理を説明するための図である。

【図２０】挿入編集処理を説明するためのフローチャー
トである。

【図２１】上書き編集処理を説明するためのフローチャ
ートである。

【図２２】クリップ画面編集モードの処理を説明するた
めのフローチャートである。

【図２３】クリップ画面編集モードの処理結果を示す図
である。

【図２４】再生モードの処理を説明するためのフローチ
ャートである。

【図２５】本発明を適用したビデオカメラの一実施の形
態の構成例を示すブロック図である。

【図２６】従来のリニア編集装置の一例の構成を示す図
である。

【図２７】従来のノンリニア編集装置の一例の構成を示
す図である。

【符号の説明】

１マイクロプロセッサ，２メインメモリ，３
フレームバッファ，４バスブリッジ，５チュー
ナ，６モデム，７Ｉ／Ｏインターフェイス，
８キーボード，９マウス，１０補助記憶イン
ターフェイス，１１ＣＤ−Ｒ，１２ハードディス
ク，１３圧縮部，１４ビデオカメラ，１５
伸張部，１６ＶＴＲ，１７コンピュータディス
プレイ，２１，２２Ａ／Ｄコンバータ，２３，２
４選択部，２５画像圧縮部，２６音声圧縮
部，２７バスインターフェイス，２８画像／音
声挿入部，１０１レンズ，１０２ＣＣＤ，１
０３Ａ／Ｄ変換器，１０４マイク，１０５Ａ
／Ｄ変換器，１０６編集部，１０７ハードディ
スク，１０８アルバム化部，１０９再生部，
１１０表示部，１１１スピーカ，１１２操作部

Claims

【特許請求の範囲】

【請求項１】動画像を処理する画像処理装置であっ
て、入力された動画像から、一まとまりのシーンを検出する
シーン検出手段と、前記シーンを代表する静止画であるクリップ画面を生成
するクリップ画面生成手段と、前記クリップ画面を貼り付けた仮想的なアルバムを生成
するアルバム生成手段とを備えることを特徴とする画像
処理装置。
【請求項２】前記シーン検出手段は、前記動画像のシ
ーンチェンジを検出し、前回のシーンチェンジから今回
のシーンチェンジまでの動画像を、１つのシーンとして
検出することを特徴とする請求項１に記載の画像処理装
置。
【請求項３】前記シーン検出手段は、前記動画像のフ
レーム間の相関に基づいて、そのシーンチェンジを検出
することを特徴とする請求項２に記載の画像処理装置。
【請求項４】前記動画像から、ユーザが必要としない
フレームである無効フレームを検出する無効フレーム検
出手段と、前記シーンから、前記無効フレームを削除する無効フレ
ーム削除手段とをさらに備えることを特徴とする請求項
１に記載の画像処理装置。
【請求項５】前記無効フレーム検出手段は、前記動画
像を構成するフレームの輝度値に基づいて、前記無効フ
レームを検出することを特徴とする請求項４に記載の画
像処理装置。
【請求項６】前記無効フレーム検出手段は、前記動画
像を構成するフレームをＤＣＴ（Discreate Cosine Tra
nsfer）して得られるＤＣＴ係数の直流成分に基づい
て、前記無効フレームを検出することを特徴とする請求
項４に記載の画像処理装置。
【請求項７】前記無効フレーム検出手段は、前記動画
像のフレーム間の相関に基づいて、前記無効フレームを
検出することを特徴とする請求項４に記載の画像処理装
置。
【請求項８】前記クリップ画面生成手段は、前記シー
ンを構成する所定のフレームを、前記クリップ画面とす
ることを特徴とする請求項１に記載の画像処理装置。
【請求項９】前記シーンについての画像データをＭＰ
ＥＧ（Moving Picture Experts Group）符号化する符号
化手段をさらに備え、前記クリップ画面生成手段は、前記シーンのうちの最初
のＩピクチャを、前記クリップ画面とすることを特徴と
する請求項８に記載の画像処理装置。
【請求項１０】前記シーンについての画像データのフ
ァイルであるシーンファイルおよび前記アルバムを記録
する記録手段をさらに備えることを特徴とする請求項１
に記載の画像処理装置。
【請求項１１】前記記録手段により記録された前記シ
ーンファイルおよびアルバムを再生する再生手段をさら
に備えることを特徴とする請求項１０に記載の画像処理
装置。
【請求項１２】前記再生手段は、前記アルバムに貼り
付けられた前記クリップ画面に対応する前記シーンファ
イルを、所定の順番で再生することを特徴とする請求項
１１に記載の画像処理装置。
【請求項１３】前記記録手段は、前記再生手段が前記
シーンファイルを再生することにより得られる画像も記
録することを特徴とする請求項１１に記載の画像処理装
置。
【請求項１４】前記アルバムに貼り付けられた前記ク
リップ画面を指定する指定手段をさらに備え、前記再生手段は、前記指定手段により指定された前記ク
リップ画面に対応する前記シーンファイルを再生するこ
とを特徴とする請求項１１に記載の画像処理装置。
【請求項１５】前記画像データを符号化する符号化手
段をさらに備え、前記記録手段は、前記符号化手段により符号化された画
像データを記録することを特徴とする請求項１０に記載
の画像処理装置。
【請求項１６】前記符号化手段により符号化された画
像データを復号化する復号化手段をさらに備えることを
特徴とする請求項１５に記載の画像処理装置。
【請求項１７】前記アルバムを編集するアルバム編集
手段をさらに備えることを特徴とする請求項１に記載の
画像処理装置。
【請求項１８】前記アルバム編集手段は、前記アルバ
ムに貼り付けられた前記クリップ画面を削除、拡大、縮
小、変形、または移動することを特徴とする請求項１７
に記載の画像処理装置。
【請求項１９】前記アルバム編集手段は、前記アルバ
ムに文字を付加することを特徴とする請求項１７に記載
の画像処理装置。
【請求項２０】前記シーンを編集するシーン編集手段
をさらに備えることを特徴とする請求項１に記載の画像
処理装置。
【請求項２１】前記シーン編集手段は、前記シーンを
構成する一部のフレームを削除することを特徴とする請
求項２０に記載の画像処理装置。
【請求項２２】前記シーン編集手段は、前記シーンを
構成する一部のフレームを、新たなシーンとすることを
特徴とする請求項２０に記載の画像処理装置。
【請求項２３】前記シーン編集手段は、前記シーン
に、所定のフレームを挿入することを特徴とする請求項
２０に記載の画像処理装置。
【請求項２４】前記シーン編集手段は、前記シーンの
一部のフレームを、他のフレームに置き換えることを特
徴とする請求項２０に記載の画像処理装置。
【請求項２５】入射された光を光電変換し、前記動画
像の信号を出力する光電変換手段をさらに備えることを
特徴とする請求項１に記載の画像処理装置。
【請求項２６】動画像を処理する画像処理方法であっ
て、入力された動画像から、一まとまりのシーンを検出し、前記シーンを代表する静止画であるクリップ画面を生成
し、前記クリップ画面を貼り付けた仮想的なアルバムを生成
することを特徴とする画像処理方法。
【請求項２７】動画像を再生する画像再生装置であっ
て、入力された動画像から、一まとまりのシーンを検出し、前記シーンを代表する静止画であるクリップ画面を生成
し、前記クリップ画面を貼り付けた仮想的なアルバムを生成
することにより得られた前記シーンについての画像デー
タのファイルであるシーンファイルおよび前記アルバム
を再生する再生手段を備えることを特徴とする画像再生
装置。
【請求項２８】前記再生手段は、前記アルバムに貼り
付けられた前記クリップ画面に対応する前記シーンファ
イルを、所定の順番で再生することを特徴とする請求項
２７に記載の画像再生装置。
【請求項２９】前記アルバムに貼り付けられた前記ク
リップ画面を指定する指定手段をさらに備え、前記再生手段は、前記指定手段により指定された前記ク
リップ画面に対応する前記シーンファイルを再生するこ
とを特徴とする請求項２７に記載の画像再生装置。
【請求項３０】動画像を再生する画像再生方法であっ
て、入力された動画像から、一まとまりのシーンを検出し、前記シーンを代表する静止画であるクリップ画面を生成
し、前記クリップ画面を貼り付けた仮想的なアルバムを生成
することにより得られた前記シーンについての画像デー
タのファイルであるシーンファイルおよび前記アルバム
を再生することを特徴とする画像再生方法。
【請求項３１】動画像についてのデータが記録された
記録媒体であって、入力された動画像から、一まとまりのシーンを検出し、前記シーンを代表する静止画であるクリップ画面を生成
し、前記クリップ画面を貼り付けた仮想的なアルバムを生成
することにより得られた前記シーンについての画像デー
タのファイルであるシーンファイルおよび前記アルバム
が記録されていることを特徴とする記録媒体。