JP3636830B2 - インテリジェントビデオカメラ及びインテリジェントスチルカメラ - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラに係り、特に、撮影した映像内容を編集することが可能なデジタルビデオカメラに関する。
【０００２】
【従来の技術】
子供の成長記録や各種行事の記録を主な目的として、家庭用ビデオカメラの普及が進んでいる。家庭用ビデオカメラでは、素人が撮影を行うため、必要以上に長く撮影したり、同じシーンを何度も撮り直したりして、非常に冗長で面白味のないテープができあがる場合が多い。そして、多くの人々は、後で改めて適当な編集を施すのが面倒なため、そのまま放置しているのが現状である。そのため、最近では、後で編集しなくてすむよう、撮影時から気を配る撮影技法が注目されている。また、業務用ビデオカメラにおいては、例えば、池上通信機からハードディスクに映像を記録するカメラが製品化され、撮影済みの映像を素早く呼び出して試し見できたり、不要なカット（ビデオカメラの録画スタートからストップまでの連続した一区間の映像をカットという。こうしたカットを複数撮影して組み合わせ、一本の映像作品を構成する）の削除といった簡易編集が可能となっている。
【０００３】
【発明が解決しようとする課題】
しかしながら、編集を不要にする撮影技法は不慣れな人にはうまく行えず、また、上記業務用カメラの編集機能は、専門家が作業を効率的に行えるよう改善された程度で、まだ素人が使うには十分簡単とはいえない。また、撮影のときに、どのような映像の内容のカットを撮影したのか、または、どのカットが重要であるかは、紙などにメモしておく必要があり、その作業自体が煩雑であり、また、後で実際の録画テープとメモとの対応をとるのが更に面倒であった。
【０００４】
ところで、静止画用のデジタルスチルカメラでは、すでに撮影した画像を縮小し、縮小した画像を複数まとめて画面に表示できるようなデジタルカメラが知られている。しかし、この従来技術では、撮影している画像を表示するモードと、縮小した画像を複数まとめて表示するモードとがあり、このモードをユーザが切り替え指示しなければ、縮小した画像を複数まとめて表示することができない。
【０００５】
本発明の第一の目的は、撮影者が、撮影した映像もしくは静止画の内容を瞬時に把握できるようなインテリジェントビデオカメラ及びインテリジェントスチルカメラを提供することにある。
【０００６】
本発明の第二の目的は、特別な編集機器を必要とせずに、インテリジェントビデオカメラ上で簡単に編集を行えるようにすることにある。
【０００７】
【課題を解決するための手段】
上述した第一の目的を達成するため、本発明のインテリジェントビデオカメラは、任意の情景を動画として撮影する撮影手段と、前記撮影手段により撮影された動画を表示する表示手段と、前記撮影手段により撮影された動画を録画する録画手段と、前記録画手段により録画された動画から、当該動画の一部の静止画である代表画像を抽出する抽出手段と、前記抽出手段により抽出された代表画像を一覧にして表示する一覧表示手段とを設ける。
【０００８】
本発明によれば、代表画像を一覧にして表示することができ、撮影者は代表画像をみることにより撮影した映像の内容を瞬時に把握することができる。
【０００９】
また、本発明のインテリジェントスチルカメラは、任意の情景を静止画として撮影する撮影手段と、前記撮影手段により撮影された静止画を表示する表示手段と、前記撮影手段により撮影された静止画を記録する記録手段と、前記記録手段により記録された静止画を縮小する縮小手段と、前記縮小手段により縮小された静止画を一覧にして表示する一覧表示手段と、前記撮影手段の撮影の指示を受け付ける操作入力手段とを有し、前記縮小手段は、前記操作入力手段により前記撮影の指示が受け付けられたときに、前記撮影手段により撮影された新たな静止画を縮小し、前記一覧表示手段は、一覧にして表示している前記静止画のうちの一つを当該新たに縮小された静止画に更新する。
【００１０】
本発明によれば、縮小画像を一覧にして表示することができ、撮影者は縮小画像をみることにより撮影した静止画の内容を瞬時に把握することができる。
【００１１】
また、上述した第二の目的を達成するため、前記代表画像に関係する補助情報を作成する作成手段をさらに有し、前記一覧表示手段は、前記作成手段により作成された補助情報を、関係する当該代表画像に対応させて表示する。また、前記抽出手段は、前記操作入力手段により受け付けられた録画の開始の指示から終了の指示までに録画された一区間の動画であるカットから、前記代表画像を一つ抽出し、前記一覧表示手段により表示されている代表画像ごとに、当該代表画像に対応するカットの録画が有効であるか無効であるかを設定する設定手段をさらに有し、前記一覧表示手段は、前記設定手段により録画が有効であると設定されたカットに対応する代表画像に対応させて、当該カットの録画が有効であることを示す表示を行うことができる。また、前記録画手段により録画された動画の編集を行う編集手段と、前記編集手段により編集を行わせる旨の指示を受け付ける受付手段と、前記受付手段により前記指示が受け付けられたときに、前記編集手段の編集対象の代表画像を表示する編集対象表示手段とをさらに有するようにしてもよい。
【００１２】
本発明によれば、インテリジェントビデオカメラ上で簡単に編集を行うことができる。
【００１３】
【発明の実施の形態】
以下、本発明の第一の実施の形態を詳細に説明する。
【００１４】
図１は、本発明を実現するためのシステム構成の概略ブロック図の一例を示している。図１に示す構成は、基本的には、現在汎用的に用いられているデジタルコンピュータ、特にノート型パソコンのシステム構成と同じように、ＣＰＵ１１２、補助記憶装置１１０、メモリ１１４、ビデオメモリ１１６、D/Aコンバータ１１８、ディスプレイ１２０、及び、入力I/F１２２を備え、それに加わえて、撮影のためのレンズをはじめとする光学系１００、光電変換素子などの撮像素子１０２、撮影した映像を圧縮伸張するためのデバイスである画像圧縮エンコーダ１０４及び画像伸長デコーダ１０６、及び、映像を外部に出力するためのアナログ出力１２４などが備わる。また、このようなシステム構成を備えるインテリジェントビデオカメラを、１つの筺体にコンパクトにまとめた場合の外観図を図２に示す。
【００１５】
図１において、１００は、光学系であり、撮影しようとする風景や人物などが撮像素子に正しく焦点を結ぶように調節する。この光学系には、ズームアップ撮影を行うための倍率調整機構も含まれる。どれだけのズーム倍率に設定したかなどの操作情報は、ＣＰＵ１１２にも伝えられる。１０２は、撮像素子であり、光電変換を行って、撮影対象を電気的な信号に変える。１０４は、画像圧縮エンコーダであり、１０２で得られた電気信号を一枚の画像として取り込み、MPEGに代表される画像圧縮方法を用いてデータ量を削減し、圧縮後の画像を補助記憶装置１１０に格納させる。こうした画像の取り込みを、毎秒30回程度の頻度で繰り返すことで、連続的な動画として補助記憶装置に格納できる。音声については、マイク126とA/Dコンバータ128などによって取り込み、動画と対応づけて補助記憶装置１１０に格納することが可能である。光学系１００、撮像素子１０２及び画像圧縮エンコーダ１０４により撮影手段を構成することができる。補助記憶装置１１０は、ハードディスク等の大容量記録装置であり、デジタルデータを半永久的に記録するための装置である。これは、PCMCIA方式のハードディスクカードのように記憶装置ごと本体から着脱できたり、あるいは、光磁気ディスク等のように、記録媒体のみを着脱できるタイプの記録装置であっても構わない。ＣＰＵ１１２は、録画処理のスタート／ストップなどの制御をはじめ、本実施の形態で説明する機能を実現するためのソフトウエアプログラムを実行する。ソフトウエアプログラムは、メモリ１１４に常駐し、プログラムの実行に必要となる各種の変数の値やデータ類もここに必要に応じて格納される。ビデオメモリ１１６は、ディスプレイ１２０に表示される画像をデジタルデータとして格納している。１１８は、一般にRAMDACとも呼ばれている種類のD/Aコンバータであり、ビデオメモリ１１６に書かれたデータを走査線スピードに合わせて逐次読みとり、ディスプレイ１２０に描画する。したがって、ビデオメモリ１１６のデータを更新すると、その更新内容がディスプレイ１２０の表示内容に直ちに反映される。画像圧縮エンコーダ１０４に入力される撮影中の画像を、画像圧縮機能をバイパスして、直接、ビデオメモリ１１６に直接書き込むことも可能である。ディスプレイ１２０は、画像を表示するためのデバイスであり、例えば、小型のCRTやプラズマディスプレイであっても良いし、液晶タイプの表示デバイスであっても構わない。画像伸張デコーダ１０６は、補助記憶装置１１０に格納された圧縮された動画データを伸張し、伸長された画像としてビデオメモリ１１６上に展開する。また、アナログ出力１２４は、伸張した画像を、例えば、NTSC方式をはじめとする、テレビ受像機に広く用いられているアナログ映像信号に変換して出力する。この出力を現在、広く普及しているVHS方式などのビデオ機器に接続して記録することができる。音声も記録されている場合には、画像の伸張に同期させて、音声用D/Aコンバータ132及びスピーカー130などによって音声出力することもできる。入力I/F１２２は、情報入力デバイスであり、録画ボタンや再生ボタンなどのスイッチ類や、ディスプレイ１２０の表示面に貼られた透明なタッチパネルなどがある。入力I/F１２２を介して入力した入力情報は、ＣＰＵ１１２に伝えられ、適宜処理される。１０８は、以上述べた各デバイス間を相互につなぐデータバスである。
【００１６】
図２は、前述したように、インテリジェントビデオカメラの外観ならびに画面表示の一例を示している。図２において、インテリジェントビデオカメラ本体２００は、レンズ部２０２と、表示機能とペン入力機能とを合わせ持った平面ディスプレイ２０６と、２１６などのボタン類の入力I/Fとを備える。レンズ部２０２により撮られた映像は、ディスプレイ２０６の中の部分領域２０８にそのまま表示され、撮影者が映像の内容を確認できるようになっている。レンズ部２０２を含む本体上部２０３は回転できるようになっていて、撮影者が、平面ディスプレイを見る角度を固定したまま、様々なアングルの情景や人物等を撮影することができる。また、２０４はズームを行うための操作スイッチであり、シーソースイッチになっていて、一方に倒すと連続的にズームアップし、もう一方に倒すと逆にワイド撮影になる。録画ボタン２１６を押すことで録画の開始／終了を指示でき、一度押すと録画が開始され、録画中にもう一度押すと録画が終了する。ディスプレイ右側の領域には、アイコン画像２１０が一覧になって表示される。これは、直前に撮影されたカットから各々一枚ずつ代表的なフレーム画像を選び、選んだフレーム画像を、代表画像としてアイコン化した画像である。このように、ディスプレイ２０６上に、録画中も常に直前に撮影したカットの一覧を表示しているので、これまでの撮影履歴が即座に確認でき、現在どういう形で撮影すればよいのかや、これからどういうカットを撮影していくべきかの判断が撮影しながら簡単にできる。また、第一の実施の形態においては、録画された時間やカットの時間長といった補助情報２１２をアイコンの下に合わせて表示し、そのカットがどういうカットかを思い起こすための情報を提供する。補助情報２１２としては、ＧＰＳ(Global Positioning System）等により撮影した場所が得られる場合には、場所の情報を用いることができる。これらにより、素人でも無駄のない撮影が可能になり、後で大きな映像編集をしなくても、視聴に耐えられる映像が記録できるようになる。また、撮影した映像の流れを見失うことがないので、１つのカットの撮影中に次に撮るべきカットのイメージが浮かび、次のカットの撮影にスムーズに移行できて時間が節約できるとともに、ストーリーの流れにも破綻が生じにくい。一方、撮影中以外は、カーソルボタン２１８を使って、アイコン一覧の中から任意のアイコンを強調表示２２４に示すような強調表示にすることができる。カーソルボタン２１８を押すと、現在強調表示されているアイコンの強調表示が消え、押された方向に対応する隣り合う別のアイコンが強調表示される。このアイコンが強調表示された状態で右カーソルボタン２１８の操作等によって、映像のプレイバックが指示されると、強調表示されたアイコンに対応するカットが部分領域２０８にプレイバックされる。図２に示すインテリジェントビデオカメラの構成例では、２２０と２２２は汎用ボタンであり、カメラの各種の動作の決定に汎用的に用いることができる。２１４は、ペンであり、表示デバイス上の任意の位置をポイントしたり、後述する注釈情報を入力したりするのに用いる。ペンとタッチパネルとの組み合わせは、現在のパーソナルコンピュータで広く用いられているマウスなどのポインティングデバイスと基本的に等価であり、マウスとカーソル表示の組み合わせでも代替可能である。そのため、以下では、情報入力は、ペン入力だけに限定せず、ポインティングデバイスによる入力全般を考える。また、編集モードボタン２２６を押すと、後述する簡易編集モードになり、カットの並べ替えやトリミングといった簡単な編集ができる。
【００１７】
図３は、図２に示すインテリジェントビデオカメラ２００における主な処理の流れを表す状態遷移図である。これらの処理はプログラムとしてメモリ１１４に格納され、ＣＰＵ１１２によって実行される。
【００１８】
図３において、インテリジェントビデオカメラ２００の電源が投入されると、まず初期化処理３００によって、各種のデバイスの初期化が行われ、光学系から入力された映像がディスプレイにそのまま表示される状態にシステムを設定する。また、直前に撮影されたカットが補助記憶装置内に残っている場合には、それらのカットの各代表画像を一覧表示し、最も新しく撮られた代表画像に表示を更新し、最新の代表画像のアイコンを強調表示する。そして、３０２の待機状態では、いずれかのボタンが押されるか、ポインティングデバイスによる入力があるまで何もしない。録画ボタン２１６が押されると、カメラは録画状態３０４に遷移する。光学系から入力された映像を画像圧縮しながら補助記憶装置の所定の記憶領域に記録し続ける。空き領域がなくなれば警告を発して自動的に録画を終了する。補助記憶装置への記録方法については、ここでは現在のコンピュータが一般的に用いているディスクオペレーションシステム等のファイル管理方式に準拠するものとする。１つのカットの映像データは、補助記憶装置の中では１つのファイルとして記録される。
【００１９】
図４に、カットごとにファイル管理を行う場合の管理テーブル１０００を示す。図４において、カットごとにシリアルナンバーがカット番号１０１０として付加され、後述する、カットの映像データ及びその映像データに関する情報を記憶するための映像データ構造体５００の記憶位置を示すポインタ１０２０と、そのカットにおける代表画像を識別するためのフレーム番号１０３０とがカットのシリアルナンバーに対応させて記憶される。この管理テーブル１０００によりファイルを管理することができる。
【００２０】
また、カットの映像に関する情報を記憶する補助記憶装置の映像データ構造体の一例を図５に示す。これを映像データ構造体５００と称する。図５において、５０２は、映像のヘッダー情報であり、画像圧縮の方式、画像の縦横のサイズといった伸張に必要な情報が含まれる。５０４は、そのカットの録画が有効か無効かを示すフラグであり詳細については後述する。５１０は、映像データのデータ量を示し、このあとに続く映像データ５１２が何バイトあるのかを示す。これにより、映像の種類によって画像圧縮されたデータサイズが変化しても、映像データ５１２の後に記憶される注釈情報と記憶する注釈構造体関係のデータがどこに記録されているかが計算できる。映像データ５１２は、カットを構成する一枚一枚の静止画、すなわちフレーム画像と、音声のデータとを有する。各フレームには固有のシリアル番号（以下、フレーム番号と呼ぶ）が付けられており、そのフレーム番号も映像データに含まれる。トリミング開始点５０６及びトリミング終了点５０８は、カット中の映像の一区間を指定するために利用し、トリミング開始点５０６はカット中の映像の一区間の開始位置のフレーム番号を示し、トリミング終了点５０８は一区間の終了位置のフレーム番号を示す。フラグ５０４とトリミング開始点５０６とトリミング終了点５０８とは、後述する簡易映像編集の際に用いられる。簡易編集時に、トリミングされたカットの再生をするときには、カットの最初からではなく、トリミング開始点から終了点までの区間についてのみ再生を行う。５１４は、データ構造体で示されるカットに対応づけられた注釈の数であり、５１６は、その注釈情報のデータへのポインタである。注釈情報は１つずつファイルとして管理し、ポインタとは、具体的には、そのファイルの記憶位置を一意に特定するための識別コードである。
【００２１】
注釈情報は、例えば、ポインティングデバイスを用いて表示画面上の任意位置に任意の線画図形を描くことで行う。線画図形の中には文字も含まれる。ポインティングデバイスが、特にペンデバイスの場合には、表示画像が印刷された一枚の紙の上にペンで絵を描くのと等価になる。こうした描画処理を行うプログラムそのものについては、市販の図形処理ソフトウエアを利用することができ、描画処理プログラムにより表示画面上の線図の色及び座標が描画情報として獲得される。
【００２２】
この描画処理プログラムによって得られた描画情報を記録格納する注釈構造体４００のデータ形式の例を図６に示す。図６において、対応フレーム番号４０２は、注釈が加えられたフレーム番号が入る。表示フラグ４０４は、カット再生中に注釈情報を表示するかどうかを示すフラグであり、フラグがセットされている場合に注釈情報を表示する。カットの再生中、ＣＰＵ１１２は、カット中のどのフレームを現在伸張し表示しているかを管理しており、表示するフレーム番号が４０２に格納された値と一致した場合に、表示フラグ４０４がセットされているときに、４０８から４２０までのデータによって表現される注釈情報を表示画面上に重畳して描画することができる。表示時間４０６には、再生中のフレーム番号が対応フレーム番号４０２の値と一致してから、どれくらいの時間表示しつづけるかを示す値が入る。デフォルトは５秒程度の固定値を入れるようにし、ユーザが特に希望するときだけ変更できるインタフェースを別個設けることができる。例えば、注釈情報の入力時に汎用ボタン２２０を押下したときに、カーソルボタン２１８により表示時間４０６を５秒より長くしたり短くしたり設定するようにできる。４０８から４２０までのデータが描画する線画データであり、色コード４０８は描画する線の色を表すコード番号である。４１０〜４１６は、いわゆるポリゴンの座標データ列であり、線分区切り符号４１８が現れるまでに記述された座標を順番に直線で結ぶ。また、終端記号４２０が現れるまでに記述されたポリゴンの数だけ描画を行う。これらのポリゴンによって、任意の文字や図形を表現することができる。この注釈情報は、一種のテロップやタイトル文字としての利用ができる。通常のテロップは、映像そのものを書き換えることを前提にした合成方法であるが、こうしたテロップは映像そのものに変更を加えないので、簡単に合成内容の変更や取り消しができる。例えば、撮影現場でとりあえず付けた手書きの文字を、後から活字体に変更するといったことができる。
【００２３】
また、注釈情報としては、線画図形のほか、図１に示すマイク126とA/Dコンバータ128とを使って入力できる音声を用いてもよい。具体的には、注釈をつけたいフレームで、ユーザがペンで描くかわりに、マイクで注釈を録音する。注釈構造体には、ポリゴンデータの代わりにデジタル音声データが入る。
【００２４】
図３において、ＣＰＵ１１２は、録画状態で録画ボタンが押されると直ちに録画を終了し、映像データサイズ５１０などの、録画が終了するまで確定しなかった情報を図５に示す映像データ構造体５００内に記録する。次に、たった今録画が終了したカットについて代表画像を抽出し（３０６）、図４に示す管理テーブル１０００の代表画像のフレーム番号１０２０に、抽出した代表画像のフレーム番号を記録する。つぎに、代表画像一覧表示において、最も長い時間表示している代表画像を最新に抽出した代表画像に更新して表示し、また、その更新した代表画像を強調表示し（３０８）、待機状態に戻る。代表画像としては、カットの先頭、末尾、もしくは半分の位置などの予め定めた位置のフレーム画像をデフォルトとして取得する。
【００２５】
ここでは、録画終了後に代表画像の抽出および一覧表示への追加を行う例を示しているが、録画開始と同時にその先頭の画像を代表画像として抽出して一覧表示に加える形でもよい。
【００２６】
図３において、待機状態（３０２）で上カーソルボタン２１８が押されると、一覧表示の中で強調表示されているカットの一つ上のカットに強調表示が移る（３１０）。逆に下カーソルボタンが押されると、同様に一つ下のカットに強調表示が移る。これにより一覧表示された任意のカットを強調表示させることができる。ここで、直前に撮影したカットの数が一覧表示用の画面領域に収まらない場合は、画面をスクロールさせることによって、表示しきれないカットの代表画像を表示できるようにする。
【００２７】
また、待機状態（３０２）で右カーソルボタン２１８が押されると、再生が指示されたとして、強調表示された代表画像に対応するカットについて先頭から再生を開始する（３１２）。この再生状態でさらに右カーソルが押されると、早送りが指示されたとして、その再生位置から直ちに早送り再生に切り替わる（３１４）。この早送り再生の状態で、なにかボタンが押されるとその早送り再生から直ちに通常再生に戻る。また、通常再生状態（３１２）で、左カーソルボタンが押されると、一時停止が指示されたとして、そのときの再生位置でスチル（一時停止）状態になる（３１６）。このスチル状態でポインティングデバイスから入力があると、それを注釈情報とし、このときの再生位置のフレーム番号に対応づけて、注釈情報を図６に示す注釈構造体４００に記録する（３１８）。スチル状態３１６で右カーソルボタンが押されると、再生が指示されたとして、その位置から通常再生に戻る。もし、右カーソルボタン以外のボタンが押されたのならば待機状態に戻る。カット再生中の状態（３１２、３１４）では、カットの最後まで再生が終わると直ちに待機状態に戻るほか、いずれの状態でも録画ボタンが押されると、３０４の録画状態に遷移する。
【００２８】
第一の実施の形態におけるインテリジェントビデオカメラ２００では、以上のように状態遷移して処理される。
【００２９】
第一の実施の形態によれば、録画中も常に直前の撮影したカットの代表画像の一覧が表示されているので、これまでの撮影履歴が即座に確認でき、現在どういう形で撮影すればよいのかや、これからどういうカットを撮影していくべきかの判断が撮影しながら簡単にできる。また、撮影中に気になった事柄を、注釈として簡単に映像と対応づけて記述でき、また、その部分を素早く見つけられるので、後で編集を行いたい場合に、どのカットを使うかの判断がしやすくなるとともに、そのカットを即座に呼び出すことができる。
【００３０】
また、ディスプレイ２０６に表示されるカットの一覧表示において、上述したように、代表画像として先頭や末尾といった固定位置のフレーム画像を用いることとしたが、もっとカットの内容を把握しやすい部分のフレーム画像を用いてもよい。例えば、注釈情報が付けられたフレームを代表画像に用い、さらに、その注釈情報をその代表画像に重畳表示する。注釈を付けたフレームは、カットの中でも、ユーザが特に重要であると判断したフレームであり、その画像が一覧に表示されているほうが、カットの中身が思い出しやすくなるからである。また、カットの中にズームなどのカメラ操作がある場合には、操作を行った後の安定して撮られた部分から代表画像を抽出したほうがよい。このようにするのは、そうしたカメラ操作を行った後には、撮影したい対象が定まって的確に撮影されている場合が多いためである。
【００３１】
前述した実施の形態においては、カットの先頭、末尾、もしくは半分の位置などの予め定めた位置のフレーム画像を代表画像として抽出していたが、他の抽出方法を以下に示す。
【００３２】
図７に、カメラ操作終了後の映像から代表画像を抽出する場合の処理の流れを示す。図７においては、カットの中にズーム操作があった後に、映像が安定している（映像が静止している状態に近い）部分から代表画像を抽出する場合の処理を示す。この場合、画像が安定している部分の画像を抽出するために、所定の時間差がある二つのフレーム画像間の相違度が予め定めた閾値より小さい場合の一つのフレーム画像を代表画像としている。
【００３３】
図７において、変数frは、代表画像のフレーム番号を示し、初期値として先頭のフレーム番号０を代入することにより初期化処理を行う（ステップ６００）。撮像素子から画像が入力されると（ステップ６０２）、ＣＰＵ１１２によって入力されているカットのファイルを管理するために、図４に示す管理テーブル１０００にカット番号１０１０および映像データ構造体のポインタ１０２０が登録される。また、画像の入力が始まると、画像圧縮処理（ステップ６０４）と、表示のためのビデオメモリへの転送処理（ステップ６０６）とを並行して行う。ステップ６０４とステップ６０６との処理は、ＣＰＵ１１２を用いずに、専用のハードウエアで行うようにしてもよい。専用のハードウエアで行ったほうがパフォーマンスが良くなる。ステップ６０４で圧縮された画像データは、映像データ構造体のポインタ１０２０が示す補助記録装置の空き領域に映像データ構造体５００に示すような形式で記録される（ステップ６０８）。そして、代表画像を決定するために、圧縮前の画像データを使って画像認識処理を行い、映像が静止して撮影されているかどうかを調べる。ここでは、圧縮される前の画像から色ヒストグラムを求め（ステップ６１０）、予め定めた時間であるt1秒前の撮影画像から同様にして求めた色ヒストグラムと比較する（ステップ６１２）。比較には、ヒストグラム間の各度数の自乗和等の予め定めた方法により相違度を求め、その相違度が予め設定した閾値より大きければ（ステップ６１４）、静止していないとして処理ステップ６２０に移る。相違度が小さければ、直前にズーム操作があったかどうかをチェックし（ステップ６１６）、あれば現在録画書き込み中のフレーム番号をfrに代入して代表画像とする（ステップ６１８）。直前にズーム操作があったかどうかは、ズームボタン２０４が押された時刻を記憶し、その時刻と現在の時刻との差分が十分小さいかどうかを判定することで知ることができる。もし録画終了の指示がなければ（ステップ６２０）、ステップ６０２に戻って録画処理を継続する。録画終了の指示があれば、フレーム番号frの画像を代表画像としてアイコン化する（ステップ６２２）。そして、代表画像の一覧表示に追加し、図２に示すような強調表示を行う。カットの中に、ズーム操作がない場合や、相違度が閾値より大きい場合には、初期値である先頭のフレーム番号０が代表画像とされる。
【００３４】
このように処理することにより、カットの中にズーム操作があった後に、映像が安定している部分から代表画像を抽出することができる。
【００３５】
図８は、図２に示すインテリジェントビデオカメラにおいて簡単な映像編集を行うための画面例である。図２に示す本体の編集ボタン２２６が押されると、簡易編集モードとなり、ディスプレイ画面２０６が図８に示すような表示に変わる。もう一度編集ボタン２２６を押すと、図２に示すような録画再生モードの表示に戻る。ここでは、カットの選択、並び替え及びトリミングの３点の編集操作について説明する。７００は、モニタ領域であり、録画済みの任意のカットを再生表示する。７０２は、スクロールバー領域であり、この領域の横幅が、表示中のカットの全時間長に対応する。領域７０２の任意の位置を、ポインティングデバイスによりポイントすると、全幅とポイント位置との相対的な位置関係から、対応する位置のフレーム画像に表示が切り替わる。７０４は、録画済みのカットの各々の代表画像の一覧表示を行う表示領域である。カットの数がこの領域に表示しきれないほど多いときには、スクロールによって表示しきれなかった代表画像を適宜表示できるようスクロールバー７０６を用意する。表示領域７０４に表示される代表画像は、前述の注釈情報が対応づけられたフレームの画像であったり、カメラ操作が終わった後の安定して撮影された状態の画像であってもよい。あるいは、少なくとも１つは注釈情報が対応づけられているカットの代表画像を表示するようにして必要となるカットを探しやすくすることができる。同様の目的のため、すべてのカットの代表画像を一覧表示した場合に、注釈情報が対応づけられているカットの代表画像を強調表示７１２に示すように強調して表示するようにしてもよい。この場合、注釈情報がないカットの代表画像でも一覧にあるので、注釈情報がないカットの代表画像が見つからなくなる心配はない。最終的な編集映像の組み立ては編集領域７０８で行う。表示領域７０４に表示されている代表画像は、ポインティングデバイスによる、いわゆるドラッグ操作でグラフィカルに移動できるようにする。編集領域７０８は初期状態では空白領域であり、代表画像がドラッグされて移動してくるに従い、選ばれた代表画像だけから構成される代表画像列が形成される。編集領域に一覧に並べられた代表画像列の順番にしたがって代表画像に対応するカットを順次再生することで最終的な編集済み映像が得られる。選ばれた代表画像に対応するカットの映像データ構造体５００には、有効フラグ５０４に有効を示す値がセットされる。例えば、選ばれなかった代表画像のカットの映像データ構造体５００の有効フラグ５０４には、無効であることを示す値として０がセットされる。それ以上の数値ならば有効であると規定する。編集領域に並んだ代表画像をドラッグによって入れ替える場合には、編集映像上でのカットの再生の順番の並べ替えに対応させる。このときのカットの再生の順番は、代表画像列の並んだ順番に対応させて、例えば、有効フラグ５０４に１から順にシリアル番号を書き込んでおくことで記憶する。また、カットのトリミングを行う場合は、モニタ７００で映像を確認しながらトリミングの開始点のフレーム画像をスクロールバー７０２を用いて選び、そのフレーム画像が表示されているときに、トリミング開始点を指示する予め定めた本体のボタン、例えば、図２に示す汎用ボタン２２０が押されると、そのフレーム画像をトリミングの開始点とする。その開始点のフレーム番号は、図５に示す映像データ構造体中のトリミング開始点５０６に記録される。同様に、モニタ７００で映像を確認しながらトリミングの終了点のフレーム画像をスクロールバー７０２を用いて選び、そのフレーム画像が表示されているときに、トリミング終了点を指示する予め定めた本体のボタン、例えば、図２に示す汎用ボタン２２２が押されると、そのフレーム画像をトリミングの終了点とする。トリミング終了点のフレーム番号は、図５に示す映像データ構造体中のトリミング終了点５０８に記録される。トリミングされたカットの再生をするときには、カットの最初からではなく、トリミング開始点から終了点までの区間についてのみ行う。
【００３６】
または、各々のカットごとに録画の有効／無効を指示するようにしてもよい。例えば、図８に示すモニタ領域７００において、各カットをモニタして調べていき、再生中に、図２に示す汎用ボタン２２０が押されるとそのカットは有効であるとされ、図２に示す汎用ボタン２２２が押されるとそのカットは無効であるというように規定しておくことができる。
【００３７】
さらに、編集の指示後に、録画再生モードに切り替わり、再度、簡易編集モードに切り替わったときには、映像データ構造体の有効フラグが０ならば領域７０４に代表画像を表示し、映像データ構造体の有効フラグが１以上ならば、編集領域７０８に代表画像を順番に表示していくようにすることができる。
【００３８】
また、映像データを外部の映像編集システムに転送できるような出力手段をさらに備えることにより、外部の映像編集システムにおいて編集することも可能になる。この場合に、録画が有効であると設定されたカットのみを外部に出力するようにしてもよい。これにより、外部の映像編集システムでは有効なカットのみを編集することができる。
【００３９】
以上説明したように、第一の実施の形態によれば、簡単な編集がビデオカメラ上で可能になる。
【００４０】
以上で述べた例では、動画を記録するビデオカメラについて述べたが、本発明はそれに限定されるものではなく、例えば、静止画写真を電子的に記録するスチルカメラにも適用できる。この場合を第二の実施の形態として以下に説明する。第二の実施の形態では、上述した第一の実施の形態中のカットがスチルカメラで撮影された静止画に、その静止画を縮小して一覧に並べたものが代表画像一覧に対応する。この場合、スチルカメラは、任意の情景を静止画として撮影する撮影手段と、前記撮影手段により撮影された静止画を表示する表示手段と、前記撮影手段により撮影された静止画を記録する記録手段と、前記記録手段により記録された静止画を縮小する縮小手段と、前記縮小手段により縮小された静止画を一覧にして表示する一覧表示手段と、前記撮影手段の撮影の指示を受け付ける操作入力手段とを有し、前記縮小手段は、前記操作入力手段により前記撮影の指示が受け付けられたときに、前記撮影手段により撮影された新たな静止画を縮小し、前記一覧表示手段は、一覧にして表示している前記静止画のうちの一つを当該新たに縮小された静止画に更新する。
【００４１】
第二の実施の形態によれば、静止画撮影の際も、直前に撮ったカメラアングルや被写体の表情を確認しながら、次の撮影イメージを決めることが可能になる。また、前述した実施の形態と同様に、注釈情報を入力させたり、補助情報を作成したり、簡易編集モードを備えるようにできる。これにより検索や写真整理が簡単になる。
【００４２】
【発明の効果】
本発明によれば、録画中も常に直前の撮影したカットの代表画像の一覧が表示されているので、これまでの撮影履歴が即座に確認でき、現在どういう形で撮影すればよいのかや、これからどういうカットを撮影していくべきかの判断が撮影しながら簡単にできる。また、撮影中に気になった事柄を、注釈として簡単に映像と対応づけて記述でき、また、その部分を素早く見つけられるので、後で編集を行いたい場合に、どのカットを使うかの判断がしやすくなるとともに、そのカットを即座に呼び出すことができる。また、ビデオカメラにアイコンを使ったグラフィカルな編集機能を具備したことにより、ビデオカメラ上での編集が簡単に行えるようになる。
【図面の簡単な説明】
【図１】本発明を実現するためのシステム構成図の一例である。
【図２】本発明におけるシステムの外観ならびに画面表示の一例を表す図である。
【図３】本発明におけるシステムの動作フローを表す状態遷移図の一例を表す図である。
【図４】本発明におけるシステムで作成される管理テーブルの構造の一例を表す図である。
【図５】本発明におけるシステムで作成される映像データの構造の一例を表す図である。
【図６】本発明におけるシステムで作成される注釈のデータ構造の一例を表す図である。
【図７】代表画像を決定する処理のフローチャートの一例である。
【図８】編集用の画面表示図の一例である。
【符号の説明】
１００…光学系、１０２…撮像素子、１０２…画像圧縮エンコーダ、１０６…画像伸張デコーダ、１０８…バス、１１０…補助記憶装置、１１２…ＣＰＵ、１１４…メモリ、１１６…ビデオメモリ、１１８…D/Aコンバータ、１２０…ディスプレイ、１２２…入力I/F、１２４…アナログ出力。

Claims (4)

1. 任意の情景を動画として撮影する撮影手段と、
   前記撮影手段により撮影された動画を撮影中に表示する表示手段と、
   前記撮影手段により撮影された動画を録画する録画手段と、
   前記録画手段の録画の開始と終了との指示を受け付ける操作入力手段と、
   前記操作入力手段により受け付けられた録画の開始の指示から終了の指示までに録画された一区間の動画であるカットの中から、静止画である代表画像を抽出する抽出手段と、
   前記操作入力手段により録画の開始と終了との指示を受け付けるごとに、前記抽出手段により抽出された代表画像を一覧にして、上記撮影された動画とともに上記表示手段に表示する一覧表示手段と、
   操作者より受け付けた前記一覧表示手段に表示されている代表画像を選択する行為に従って、前記一覧表示手段に表示されている代表画像ごとに、当該選択された代表画像に対応するカットの録画を外部に出力する旨の指示を受け付ける編集指示入力手段と、
   前記編集指示入力手段において選択された代表画像に対応するカットのみを外部に出力する出力手段とを有することを特徴とするインテリジェントビデオカメラ。
2. 請求項１において、
   操作者より受け付けた前記一覧表示手段により表示されている代表画像を選択する行為に従って、前記一覧表示手段に表示されている代表画像から、当該代表画像に対応するカットの再生を受け付ける再生指示入力手段と、
   前記再生指示入力手段において選択された代表画像に対応するカットを再生する再生手段とをさらに有することを特徴とするインテリジェントビデオカメラ。
3. 請求項１又は２において、前記代表画像に関係する補助情報を作成する作成手段をさらに有し、
   前記一覧表示手段は、前記作成手段により作成された補助情報を、関係する当該代表画像に対応させて表示することを特徴とするインテリジェントビデオカメラ。
4. 請求項１、２又は３において、前記抽出手段は、前記操作入力手段により録画の開始もしくは終了の指示が受け付けられたときに、新たな代表画像を抽出し、前記一覧表示手段は、一覧にして表示している前記代表画像のうち、最も長い時間表示している前記代表画像を、前記抽出手段により新たに抽出された当該代表画像に更新することを特徴とするインテリジェントビデオカメラ。

Images