JP4960301B6 - 記録再生装置及び方法 - Google Patents

Description

本発明は、記録再生装置及び方法に関し、例えばビデオカメラに適用して好適なものである。

近年、ＤＶＤ（Digital Versatile Disc）、半導体メモリ及び又はハードディスク装置（HDD：Hard Disc Drive）などのランダムアクセスが可能な記録媒体に対応した記録再生装置が普及しつつある。このような記録再生装置では、記録媒体に記録した撮影映像の頭出しを容易かつ迅速に行うことができる。

この種の記録再生装置のうち、例えば汎用のビデオカメラでは、通常、撮影映像の映像情報をシーン単位で管理しており、かかるシーンごとの管理情報を用いて各シーンの頭出しを行うことができるようになされている。また、この種のビデオカメラでは、１つのシーン内に複数のチャプタを設定でき、これらチャプタごとの頭出しを行うこともできる。

ここでシーンとは、ユーザが記録ボタンを押下して撮影を開始してからもう一度記録ボタンを押下して撮影を終えるまでに記録された一連の映像をいう。記録ボタンを押下して撮影を行うたびに、シーン数は増加する。またチャプタとは、１つのシーン内における映像の区切りのことをいう。

従って、かかるビデオカメラでは、各チャプタの頭出しを順次行いながら記録媒体に記録された映像情報を再生することによって、ユーザが素早くシーンの内容を把握することができる。

しかしながら、かかるビデオカメラにおいては、シーン内に設定されたチャプタの数が多い場合、シーンの最後まで内容を確認するためには、ユーザはシーン内に設定したチャプタ数だけチャプタごとの頭出し操作をしなければならず、その分の労力及び時間を要する問題があった。

なお、特許文献１には、撮影時のボタン操作の種類からフレームの優先度を算出し、再生を行う際に優先度の高いフレームを再生して効率良くシーンの内容を把握するための技術が開示されている。
特開平６−１６５００９号公報

近年、ビデオカメラの記録媒体が大容量化し、一度に長時間の撮影を行ったり、複数回に分けて撮影したシーンをまとめて記録媒体に保存したりできるようになった。そのため、ユーザが記録媒体に記録された膨大なシーンから目的のシーンを素早く見つけることが困難になってきた。

従来の記録再生装置の中には、シーンごとのサムネイル画像を一覧表示する機能が搭載されたものもあるが、かかる機能では１つのシーンに対して１つのサムネイル画像しか対応させることができず、ユーザが１つのサムネイル画像から長時間のシーンの全容を思い出すことが困難な場合もあった。また、撮影から長時間経過した場合、シーンに対応付けられた１つのサムネイル画像からだけではシーンの全容をユーザが思い出すことは困難であった。

さらに、通常、サムネイル画像を見てもシーンの内容が把握できない場合、ユーザはシーンを再生してシーンの内容を確認する。そのため、長時間のシーンの内容を確認する場合は、チャプタの頭出しを行いながら素早くシーン全体の内容を確認できる機能が必要となるが、現在はそのような機能は提案されていない。

上記特許文献１には、撮影時のボタン操作の種類からフレームの優先度を算出し、シーンの内容を把握するためのダイジェスト再生を行う際に優先度の高いフレームを再生する技術が開示されているものの、この技術によると、ユーザがボタン操作を行わずに撮影したシーンに対して優先度を設定することができず、使い勝手が良いとはいえない。

本発明は以上の点を考慮してなされたもので、ユーザが目的のチャプタやシーンを素早く、かつ容易に見つけ出すことができる記録再生装置及び方法を提案しようとするものである。

かかる課題を解決するため本発明においては、シーンごとに１又は複数のチャプタを設定可能な記録再生装置において、撮影により得られた前記シーンの映像情報を記録媒体に記録する記録部と、前記記録部により前記記録媒体に記録された映像情報を再生する再生部と、前記映像情報に基づく撮影映像に対して顔認識処理を実行する顔認識実行部と、予めユーザにより登録された人物の顔画像を一覧表示する表示部と、前記表示部に一覧表示された前記顔画像の中からユーザにより選択された前記顔画像に対応する人物を重要人物として設定する重要人物設定部と、前記顔認識実行部の前記顔認識処理に基づいて、前記重要人物設定部により設定された重要人物が含まれるチャプタを前記記録媒体から選択的に再生するように前記再生部を制御する制御部とを備えることを特徴とする。

この結果、本発明による記録再生装置では、例えば重要人物が多く登場するチャプタといった、ユーザの設定に応じた特定のチャプタを選択的に再生させることができる。

また本発明においては、撮影により得られたシーンの映像情報を記録媒体に対して記録再生すると共に、前記シーンごとに１又は複数のチャプタを設定可能な記録再生装置における記録再生方法において、前記映像情報に基づく撮影映像に対して顔認識処理を実行する第１のステップと、予めユーザにより登録された人物の顔画像を一覧表示する第２のステップと、前記第２のステップで一覧表示された前記顔画像の中からユーザにより選択された前記顔画像に対応する人物を重要人物として設定する第３のステップと、前記第１のステップの前記顔認識処理に基づいて、前記第３のステップで設定した重要人物が含まれるチャプタを前記記録媒体から選択的に再生する第４のステップとを備えることを特徴とする。

この結果、本発明による記録再生方法によれば、例えば重要人物が多く登場するチャプタといった、ユーザの設定に応じた特定のチャプタを選択的に再生させることができる。

本発明によれば、ユーザが目的のチャプタやシーンを素早く、かつ容易に見つけ出すことができる記録再生装置及び方法を提供することができる。

以下図面について、本発明の一実施の形態を詳述する。

（１）第１の実施の形態
（１−１）記録再生装置の構成
図１において、１は全体として本実施の形態によるビデオカメラを示す。このビデオカメラ１は、図示しないＤＶＤドライブと内蔵型のハードディスク装置２とを備えたハイブリッドビデオカメラである。ＤＶＤドライブに装着されるＤＶＤ３には、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ及びＨＤ（High Definition）−ＤＶＤのように複数の種類が存在するが、本ビデオカメラ１に適用可能なＤＶＤ３の種類は、特に限定されない。

ビデオカメラ１においては、各種操作ボタンや後述する表示部６の表示面に貼着されたタッチパネルなどからユーザインタフェース部４が構成される。そしてこのユーザインタフェース部４を介して入力されたユーザの操作指令に応じてシステム制御部５が対応する制御処理を実行することにより、ハードディスク装置２や、ＤＶＤドライブに装着されたＤＶＤ３に撮影映像を記録したり、ハードディスク装置２やＤＶＤ３に記録された撮影映像を再生して表示部６に表示させることができるようになされている。

実際上、システム制御部５は、ＣＰＵ（Central Processing Unit）及び内部メモリ等を備えるマイクロコンピュータとして構成される。そしてシステム制御部５は、ユーザインタフェース部４が操作されて記録モードが選択された後、ユーザインタフェース部４内の記録ボタンが押下されると、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などから構成されるイメージセンサ７を駆動する。

このときイメージセンサ７の受光面には、レンズ８により被写体の光学像が集光される。かくしてイメージセンサ７は、この光学像を光電変換し、得られた撮影映像信号をアナログ／ディジタル変換部９に送出する。またアナログ／ディジタル変換部９は、供給される撮影映像信号をアナログ／ディジタル変換処理し、得られた映像情報をＣＯＤＥＣ（Compressor／Decompressor）部１０に送出する。

ＣＯＤＥＣ部１０は、供給される映像情報をそのままバス１１を介して表示部６に転送する。表示部６は、例えば液晶ディスプレイや有機ＥＬディスプレイなどから構成され、供給される映像情報に基づく撮影映像（スルー映像）を表示する。

またＣＯＤＥＣ部１０は、供給される映像情報に対してＭＰＥＧ（Moving Picture Expert Group）方式などの所定の圧縮符号化方式で符号化処理を施し、得られた符号化映像情報と、当該符号化処理を施していない映像情報とをバス１１を介してＲＡＭ（Random Access Memory）１２に格納する。

そしてＲＡＭ１２に格納された符号化映像情報は、この後、システム制御部５の制御のもとに、ハードディスク装置制御部１３又はＤＶＤドライブ制御部１４によりＲＡＭ１２から読み出されてハードディスク装置２又はＤＶＤ３に記録される。

またＲＡＭ１２に格納された映像情報は、顔認識実行部１５により読み出される。そして顔認識実行部１５は、この映像情報に基づく撮影映像に対して所定の顔認識処理を行い、その認識結果を後述の顔認識管理情報としてそのとき符号化映像情報が格納されたハードディスク装置制御部２又はＤＶＤドライブ制御部１４に与える。かくしてこの顔認識管理情報がかかる符号化映像情報と対応付けられてハードディスク装置２又はＤＶＤ３に記録される。

一方、システム制御部５は、ユーザインタフェース部４が操作されて再生モードが選択された後、ユーザインタフェース部４内の再生ボタンが押下されると、対応するハードディスク装置制御部１３又はＤＶＤドライブ制御部１４を制御することにより、ハードディスク装置２又はＤＶＤ３から符号化映像情報を読み出させ、これをバス１１を介してＣＯＤＥＣ部１０に送信させる。

ＣＯＤＥＣ部１０は、システム制御部５の制御のもとに、ハードディスク装置制御部１３又はＤＶＤドライブ制御部１４から供給される符号化映像情報に対して所定の復号処理を施し、得られた再生映像情報をバス１１を介して表示部６に送信する。かくしてこの再生映像情報に基づく再生映像が表示部６に表示される。

なおバス１１には画像サイズ変換部１６も接続されている。そして画像サイズ変換部１６は、例えば撮影動作中などに、システム制御部５の制御のもとに、ＲＡＭ１２に格納された映像情報や、ハードディスク装置２又はＤＶＤ３から読み出されてＣＯＤＥＣ部１０において復号された映像情報の中から各シーンの先頭フレームの映像情報や、各チャプタの先頭フレームの映像情報を抽出する。そして画像サイズ変換部１６は、これら抽出した映像情報をそれぞれ所定サイズのサムネイル画像の画像情報に変換し、かくして得られたシーンの先頭フレームや、各チャプタの先頭フレームのサムネイル画像の画像情報をそのシーンと対応付けて、当該シーンの符号化映像情報が格納されたハードディスク装置２又はＤＶＤ３に格納する。

またビデオカメラ１には、電源投入中や、充電中、ハードディスク装置２又はＤＶＤ３へのアクセス時などに点灯するＬＥＤ（Light Emitting Diode）や各回路等に電源電力を供給するバッテリなどの他の一般的なビデオカメラのハードウェアや機能がすべて搭載されているものとする。

さらに以下においては、撮影中はハードディスク装置２に撮影映像を記録し、撮影後にこの撮影映像をＤＶＤ３にダビングするという使用方法を想定して説明するが、撮影中はＤＶＤ３に撮影映像を記録し、撮影後にこの撮影映像をハードディスク装置２にダビングするという使用方法でも構わない。

（１−２）シーン管理情報
本ビデオカメラ１の場合、ハードディスク装置２には、撮影の際に符号化映像情報と併せてシーン毎の管理情報（以下、これをシーン管理情報と呼ぶ）も記録される。このシーン管理情報は、チャプタ管理情報や顔認識管理情報など、シーンを管理するための情報から構成される。チャプタ管理情報には、チャプタごとの先頭フレームの位置、長さ、重要度及び概要などの情報が含まれる。また顔認識管理情報には、撮影中に顔認識実行部が認識した顔が登場するフレームの位置や、そのフレームにおけるその顔の表情及びそのフレームにおけるその顔の大きさなどの情報が含まれる。

図２に、チャプタ管理情報の一例を示す。この図２に示すチャプタ管理情報２０は、そのシーン内に設定されたチャプタごとのチャプタＩＤ情報２１、開始フレーム位置情報２２及びチャプタ重要度情報２３から構成される。

チャプタＩＤ情報２１は、各チャプタにそれぞれ付与された固有のＩＤ（以下、これをチャプタＩＤと呼ぶ）を表す情報であり、開始フレーム位置情報２２は、対応するチャプタの開始フレームの位置（時、分、秒及びフレーム番号）を表す情報である。またチャプタ重要度情報２３は、対応するチャプタに設定された重要度（以下、これをチャプタ重要度と呼ぶ）を表す情報である。チャプタ重要度の詳細については、後述する。このチャプタ管理情報２０は、システム制御部５により、そのシーンの符号化映像情報と対応付けてハードディスク装置２に格納される。

また図３に、顔認識管理情報の一例を示す。この図３に示す顔認識管理情報２４は、対応するシーン内で認識された顔ごとの顔ＩＤ情報２５、パス／ファイル名情報２６及びフレーム位置情報２７から構成される。

顔ＩＤ情報２５は、顔認識実行部１５により認識された個々の顔にそれぞれ付与された固有のＩＤ（以下、これを顔ＩＤと呼ぶ）を表す情報であり、パス／ファイル名情報２６は、対応する顔の画像（以下、これを顔画像と呼ぶ）の画像ファイルへのパス又はその画像ファイルのファイル名を表す情報である。かかる画像ファイルに格納される顔画像は、フレーム内で初めてその人物を認識した際にキャプチャした画像でも良いし、顔認識処理の際に笑顔などの良い表情を識別しておき、シーン内でその人物の一番良い表情をキャプチャした画像でも良い。

またフレーム位置情報２７は、対応する顔を認識したフレーム位置（時、分、秒及びフレーム番号）を表す情報である。このフレーム位置情報２７は、対応する顔が登場したすべてのフレーム位置を含む。従って、そのシーンの中で登場する回数の多い顔（人物）ほどフレーム位置情報２７に含まれるフレーム位置の数が多くなる。なお、かかる各フレーム位置とそれぞれ対応させて、そのフレームにおけるその顔の表情の種類も記録しておくようにしても良い。

この顔認識管理情報２４は、上述のように顔認識実行部１５により、そのとき記録している撮影映像の符号化映像情報と対応付けてハードディスク装置２に格納される。

（１−３）チャプタ重要度の設定方法
図４は、顔認識機能を「有効」に設定して撮影を行うときに表示部６に表示される撮影映像の一例を示す。本ビデオカメラ１においては、顔認識機能を「有効」に設定した場合、表示部６に表示される撮影映像３０内に、顔認識機能により検出された人間の顔を囲むように四角形状の枠３１が表示される。なお、顔認識機能を「無効」に設定した場合には、この枠３１は表示されない。

図５は、顔認識機能を「有効」に設定して撮影を行った場合における、撮影映像をハードディスク装置２に記録する処理（以下、これを撮影映像記録処理と呼ぶ）に関するシステム制御部５の処理内容を示している。システム制御部５は、この図５に示す撮影映像記録処理を、内部メモリに格納された対応する制御プログラムに基づいて実行する。

すなわちシステム制御部５は、記録モードが選択された後、ユーザインタフェース部４の記録ボタンが押下されると、この撮影映像記録処理を開始し、まず、アナログ／ディジタル変換器９及びＣＯＤＥＣ部１０をそれぞれ制御することにより、撮影映像の映像情報及びこれを符号化した符号化映像情報をＲＡＭ１２に格納させると共に、ハードディスク装置制御部１３を制御することにより、１フレーム分の符号化映像情報をＲＡＭ１２から読み出させ、これをハードディスク装置２に記録させる（ＳＰ１）。

続いてシステム制御部５は、顔認識実行部１５を制御することにより、ステップＳＰ１においてハードディスク装置制御部１３によりＲＡＭ１２から符号化映像情報が読み出されたフレームと同じフレームの映像情報をＲＡＭ１２から読み出させ、当該映像情報に基づく撮影映像に対する顔認識処理を実行させる（ＳＰ２）。

この際、顔認識実行部１５は、例えば平均顔を用いたテンプレートマッチングなどの手法により顔認識処理を実行する。ただし、ユーザが撮影前にあらかじめ重要人物が登録された重要人物リストを作成していた場合は、当該重要人物リストを使ったテンプレートマッチングにより顔認識処理を行うようにしても良い。そして顔認識実行部１５は、この顔認識処理が終了すると、当該顔認識処理の処理結果を図３について上述した顔認識管理情報に反映（顔認識管理情報を更新）する。

次いでシステム制御部５は、撮影により得られたすべてのフレームの符号化映像情報をハードディスク装置２に記録し終えたか否かを判断する（ＳＰ３）。そしてシステム制御部５は、この判断において否定結果を得ると、ステップＳＰ１に戻り、この後同様の処理を繰り返す（ＳＰ１〜ＳＰ３−ＳＰ１）。

そしてシステム制御部５は、やがて撮影により得られたすべてのフレームの符号化映像情報をハードディスク装置２に記録し終えることによりステップＳＰ３において肯定結果を得ると、この撮影映像記録処理を終了する。

なお、この撮影映像記録処理のステップＳＰ２における顔認識処理は、上述のようにフレームごとに行うようにしても、また数フレームに１回の割合で行うようにしても良い。数フレームに一回の割合で行うようにすることによって、顔認識実行部１５の処理負荷を軽減することができる。

また顔認識機能を「無効」に設定して撮影を行った場合においても、撮影後にメニュー操作などによって記録済みのシーンに対して顔認識処理を行える機能（以下、これを撮影後顔認識機能と呼ぶ）ようにするようにしても良く、このようにしても図３と同様の顔認識管理情報を作成することができる。この撮影後顔認識機能により、顔認識機能が無い他のビデオカメラで撮影したシーンに対しても、後述のような顔認識機能を用いたチャプタ重要度の設定を行うことができるため、ユーザにとって非常に便利である。

次に、上述のようにして得られた顔認識処理の処理結果（顔認識管理情報２４（図３））に基づいて１つのシーン内の各チャプタにチャプタ重要度をそれぞれ決定する方法について説明する。

なお、以下においては、１つのシーン内に少なくとも１つのチャプタが設定されているものとする。チャプタの作成には、ユーザが手動でチャプタの位置を決めて作成する方法や、シーン内の輝度変化の大きいところに自動的にチャプタを作成する方法、及び自動的に数分から数十分ごとに等間隔にチャプタを作成する方法などがあるが、本実施の形態ではチャプタがどのような方法により設定されていても構わない。

図６は、１つのシーン内の各チャプタにチャプタ重要度をそれぞれ設定するチャプタ重要度設定機能に関するシステム制御部５の処理内容を示している。システム制御部５は、ユーザインタフェース部４が操作されて第１の画面表示要求が入力されると、図示しない内部メモリに格納された対応する制御プログラムに従ってこの図６に示すチャプタ重要度設定処理を実行する。

すなわちシステム制御部５は、かかる第１の画面表示要求が与えられると、まず、ハードディスク装置２に格納された、そのとき対象としているシーン（以下、これを対象シーンと呼ぶ）のチャプタ管理情報２０（図２）及び顔認識管理情報２４（図３）を読み出し、これらチャプタ管理情報２０及び顔認識管理情報２４を用いて図７に示す重要人物決定画面４０を表示部６に表示させる（ＳＰ１０）。

この重要人物決定画面４０は、対象シーン内の重要人物をユーザが決定するための画面である。この重要人物決定画面４０には、対象シーンの撮影時に顔認識が成功したすべての人物の顔画像４１が表示される。個々の顔画像４１は、図３について上述した顔認識管理情報２４に含まれる対応するパス／ファイル名情報２６（図３）により特定される画像ファイルから読み出された画像データに基づいて表示されたものである。

そしてユーザは、この重要人物決定画面４０に表示された各人物の顔画像４１に基づいて、これらの人物の中から重要人物とすべき人物を選択することができる。重要人物として、複数の人物を選択することも可能である。また、家族などの被写体となる頻度が高い人物の顔を予め重要人物リストとしてビデオカメラ１に登録しておき、重要人物決定画面４０では登録された人物の顔のみを表示するようにしても良い。このようにすることによって、背景に写り込んだ被写体とは関係の無い人物の顔を表示しなくなるため、ユーザが重要人物の決定を行い易くなる。

そしてユーザは、重要人物として設定したい人物の顔画像４１を所定操作により選択した後に、「決定」ボタン４２を押下するようにする。この結果、このとき選択された人物が重要人物として登録される。なお、チャプタ重要度を決定する操作を中止したい場合は、「キャンセル」ボタン４３を押下すれば良い。また、かかる重要人物リストを常に使用するか否かをユーザが設定できるようにすることで、ビデオカメラ１の使い勝手を向上させることができる。

続いてシステム制御部５は、かかる重要人物決定画面４０を用いて重要人物が決定されるのを待ち受け（ＳＰ１１）、やがてユーザにより重要人物が決定されると、当該決定結果に基づいて対象シーン内の各チャプタのチャプタ重要度をそれぞれ決定する（ＳＰ１２）。

そしてシステム制御部５は、ステップＳＰ１１において決定したチャプタごとのチャプタ重要度を図２について上述したチャプタ管理情報２０に反映させ（ＳＰ１３）、この後、このチャプタ重要度設定処理を終了する。

図８は、かかるチャプタ重要度設定処理のステップＳＰ１２におけるシステム制御部５の具体的な処理内容を示している。

システム制御部５は、チャプタ重要度設定処理のステップＳＰ１２に進むと、この重要度決定処理を開始し、まず、上述の重要人物決定画面４０（図７）を用いてユーザが決定した重要人物の登場回数を対象シーンのチャプタごとにカウントする（ＳＰ１４）。

具体的にシステム制御部５は、システム内部にシーン内に存在するチャプタの数だけカウンタを内部メモリ上に用意する。そしてシステム制御部５は、重要人物決定画面４０を用いてユーザが決定した重要人物の顔ＩＤから、その重要人物が登場するすべてのフレームのフレーム位置を顔認識管理情報２４（図３）から読み出し、これらのフレームがどのチャプタに属するかを、チャプタ管理情報２０（図２）を参照してかかるフレームごとに判定する。そしてシステム制御部５は、この判定結果に基づいて、かかる重要人物が登場するフレームごとに、そのフレームが属するチャプタと対応付けられたカウンタのカウント値を１ずつカウントアップする。システム制御部５は、重要人物決定画面４０を用いてユーザが決定したすべての重要人物についてこの処理を行う。

続いてシステム制御部５は、各カウンタのカウント値を１から５の範囲に正規化し（ＳＰ１５）、かかる正規化により得られた数値を６から減算した値を、それぞれそのカウンタに対応するチャプタのチャプタ重要度として決定する（ＳＰ１６）。

以上の処理により、重要人物が最も多く登場するチャプタには最も高いチャプタ重要度である「１」が設定され、重要人物の登場が最も少ないチャプタには最も低いチャプタ重要度である「５」が設定される。そしてシステム制御部５は、この後、この重要度決定処理を終了して、チャプタ重要度設定処理に戻る。

なお、重要人物決定画面４０上でユーザが重要人物を複数人選択した場合には、チャプタ重要度の重み付けをするなどして、より重視したい人物を設定できるようにすればさらにビデオカメラ１の使い勝手が向上する。

（１−４）チャプタ重要度を使った再生方法
次に、上述のようにして設定されたチャプタごとのチャプタ重要度に基づく対象シーンの再生方法について説明する。なお、以下の説明においては、チャプタ重要度は５段階で設定され、「１」が最もチャプタ重要度が高く、「５」が最もチャプタ重要度が低いものとする。また以下においては、便宜上、チャプタ重要度が「１」を特急、チャプタ重要度が「３」を急行、チャプタ重要度が「５」を鈍行と呼んで区別する。

図９は、対象シーンにおけるチャプタ構成及び各チャプタにそれぞれ設定されたチャプタ重要度の一例を示す。この図９の場合、対象シーンは、それぞれチャプタＩＤが「００１」〜「００９」である９個のチャプタに分けられている。そしてチャプタＩＤが「００２」及び「００５」である２つのチャプタについてはチャプタ重要度が「１」にそれぞれ設定され、チャプタＩＤが「００４」及び「００９」である２つのチャプタについてはチャプタ重要度が「３」にそれぞれ設定され、残りのチャプタ（チャプタＩＤが「００１」、「００３」、「００６」〜「００８」のチャプタ）についてはチャプタ重要度がそれぞれ「５」に設定されている。

ところで本ビデオカメラ１の場合、このような状況下において、再生モードとしてメニューから「鈍行再生モード」を選択してから再生を行うと、各チャプタにそれぞれ設定されたチャプタ重要度に関わらず、すべてのチャプタがチャプタＩＤの小さいものから順番に順次再生される。つまり「鈍行再生モード」では、チャプタ重要度が「５」以下のチャプタ（チャプタ重要度が「１」〜「５」のチャプタであり、本実施の形態においてはすべてのチャプタ）が再生される。

これに対して、ユーザが再生モードとして「急行再生モード」を選択してからシーン再生を開始すると、ビデオカメラ１は、まずチャプタ重要度が「１」に設定されたチャプタＩＤが「００２」のチャプタを再生し、次にチャプタ重要度が「３」に設定されたチャプタＩＤが「００４」のチャプタを再生し、次にチャプタ重要度が「１」に設定されたチャプタＩＤが「００５」のチャプタを再生する。その後、ビデオカメラ１は、チャプタＩＤが「００９」のチャプタを再生し、当該チャプタの再生が完了するとシーン再生を終了する。つまり「急行再生モード」では、チャプタ重要度が「３」以下のチャプタ（チャプタ重要度が「１」〜「３」のチャプタ）のみが再生される。従って、この「急行再生モード」で再生中に頭出しスキップを行えば、チャプタ重要度が「３」以下の次のチャプタの先頭から再生が開始される。

一方、ユーザが再生モードとして「特急再生モード」を選択してからシーン再生を開始すると、ビデオカメラ１は、まずチャプタ重要度が「１」に設定されたチャプタＩＤが「００２」のチャプタから再生が開始し、次にチャプタＩＤが「００５」のチャプタを再生した後にシーン再生を終了する。つまり「特急再生モード」では、チャプタ重要度が「１」以下のチャプタ（チャプタ重要度が「１」のチャプタ）が再生される。

従って、本ビデオカメラ１では、チャプタ重要度が「１」に設定されたチャプタはどの再生モードが選択されても必ず再生され、その他のチャプタは、そのチャプタに設定されたチャプタ重要度と同じ又はそれよりも小さいチャプタ重要度のチャプタを再生する再生モードが選択されたときにしか再生されない。

この機能（以下、これをチャプタ選択再生機能と呼ぶ）を用いて、対象シーンの大まかな内容の確認を特急モード再生で行い、より詳細に内容を確認したい映像部分に近づいた段階で鈍行再生モードに切り替えることによって、効率良く対象シーンの内容を確認することができるため便利である。また、特急モード再生は、より短時間でシーンの内容を把握したいユーザにとって非常に使い勝手が良い。

図１０は、このようなチャプタ選択再生機能に関するシステム制御部５の具体的な処理内容を示している。システム制御部５は、内部メモリに格納された制御プログラムに基づいて、この図１０に示すチャプタ選択再生処理を実行する。

すなわちシステム制御部５は、再生モードとして「鈍行再生モード」、「急行再生モード」又は「特急再生モード」が選択されて再生動作の開始命令が入力されると、このチャプタ選択再生処理を開始し、まず、対応するハードディスク装置２又はＤＶＤ３から対象シーンのチャプタ管理情報を読み出す（ＳＰ２０）。

続いてシステム制御部５は、かかるチャプタ管理情報に含まれるチャプタＩＤ情報に基づいて、最初のチャプタ（例えばチャプタＩＤが最も小さいチャプタ）を選択（ＳＰ２１）し、そのチャプタのチャプタ重要度が、そのとき設定された再生モードに応じて予め定められた閾値以下であるか否かを判断する（ＳＰ２２）。かかる閾値の値は、再生モードとして「鈍行再生モード」が設定されているときには「５」、再生モードとして「急行再生モード」が設定されているときには「３」、再生モードとして「特急再生モード」が設定されているときには「１」である。

そしてシステム制御部５は、かかるステップＳＰ２２の判断において否定結果を得るとステップＳＰ２４に進み、これに対して肯定結果を得ると、ＣＯＤＥＣ部１０を制御することにより、そのチャプタを再生させてその再生映像を表示部に表示させる（ＳＰ２３）。

次いでシステム制御部５は、チャプタ管理情報を参照して、ステップＳＰ２１において選択したチャプタの次のチャプタが存在するか否かを判断する（ＳＰ２４）。そしてシステム制御部５は、この判断において肯定結果を得るとステップＳＰ２１に戻り、この後、ステップＳＰ２１において選択するチャプタを順次次のチャプタに切り換えながら、同様の処理を繰り返す（ＳＰ２１〜ＳＰ２４−ＳＰ２１）。

そしてシステム制御部５は、やがてすべてのチャプタについてステップＳＰ２１〜ステップＳＰ２４の処理を終えることによりステップＳＰ２４において否定結果を得ると、このチャプタ選択再生処理を終了する。

次に、シーン内のチャプタごとに設定されたチャプタ重要度をユーザが容易に確認するための手段について説明する。

図１１は、ユーザがメニュー操作によって表示部６に表示させることができるチャプタ一覧画面５０を示す。このチャプタ一覧画面５０では、対象シーン内の各チャプタにそれぞれ設定されたサムネイル画像５１と、各チャプタのシーン先頭からの経過時間及びチャプタ重要度などのそのチャプタの管理情報５２とが表示される。

実際上、システム制御部５は、ユーザインタフェース部４が操作されてかかるチャプタ一覧画面５０の表示命令が入力された場合、対応するハードディスク装置制御部１３又はＤＶＤドライブ制御部１４を制御することにより、対象シーンのチャプタ管理情報２０（図２）と、対象シーンと対応付けて格納された各チャプタの先頭フレームのサムネイル画像５１の画像情報とをハードディスク装置２又はＤＶＤ３から読み出す。そしてシステム制御部５は、かかる画像情報に基づく各チャプタの先頭フレームのサムネイル画像５１をチャプタ一覧画面５０上に表示させる一方、これらサムネイル画像５１とそれぞれ対応させて、チャプタ管理情報２０に基づく各チャプタの管理情報５２をチャプタ一覧画面５０上に表示させる。

これにより、ユーザはこのチャプタ一覧画面５０に基づいてチャプタ重要度の高いチャプタを知ることができるため、素早く重要な部分を探し出すことができる。

次に、チャプタ重要度が設定されているシーンをユーザが容易に確認するための手段について説明する。

図１２は、ユーザがメニュー操作によって表示部に表示させることができるシーン一覧画面５３を示す。このシーン一覧画面５３では、ハードディスク装置２やＤＶＤ３に記録された各シーンのサムネイル画像５４が表示される。

実際上、システム制御部５は、ユーザインタフェース部４が操作されてかかるシーン一覧画面５３の表示命令が入力された場合、ハードディスク装置制御部１３又はＤＶＤドライブ制御部１４を制御することにより、ユーザにより指定されたハードディスク装置２又はＤＶＤ３に格納されたすべてのシーンについて、当該シーンの先頭フレームのサムネイル画像５４の画像情報をハードディスク装置２又はＤＶＤ３から読み出す。そしてシステム制御部５は、かかる画像情報に基づく各シーンの先頭フレームのサムネイル画像５４をシーン一覧画面５３上に表示させる。

この際、システム制御部５は、各シーンのチャプタ管理情報２０（図２）を参照して、チャプタ重要度が設定されているシーンについては、そのシーンのサムネイル画像５４上に所定形状のアイコン５５を表示する。

これにより、例えば再生しようとするシーンにチャプタ重要度が設定されているか否かをアイコン５５の有無によってユーザが判断できるため、アイコン５５が表示されたシーンについては直ちに上述のようなチャプタ重要度を使った再生方法での再生操作を行うことによって、そのシーンの内容を効率良く確認することができる。またアイコンが表示されていないシーンについては、再生操作の前にチャプタ重要度を設定する操作を行うことによって、上述のような再生方法による再生を行うことができる。

（１−５）シーンのダビング時の処理
次に、ハードディスク装置２に記録されている符号化映像情報をＤＶＤ３にダビングする際の処理について説明する。

本ビデオカメラ１の場合、システム制御部５は、チャプタ重要度が設定されているシーンをハードディスク装置２からＤＶＤ３にダビングする際には、該当シーンの符号化映像情報及びシーン管理情報（チャプタ管理情報２０（図２）及び顔認識管理情報２４（図３））だけでなく、シーン管理情報に含まれる顔認識管理情報２４に登録された顔の顔画像の画像ファイルもＤＶＤ３にコピーする。これにより、ハードディスク装置２内の符号化映像情報を消去した後でも、ＤＶＤ３を使用してチャプタ重要度を用いた再生やチャプタ重要度の再設定をすぐに行うことができる。

（１−６）本実施の形態の効果
以上のように本実施の形態によるビデオカメラでは、撮影時に行った顔認識処理の処理結果に基づいてチャプタのチャプタ重要度を設定することができるため、ユーザが、目的とする人物（重要人物）が多く登場するチャプタを素早く見つけ出すことが可能となる。またチャプタのチャプタ優先度に応じて、対応するチャプタ重要度のチャプタを選択的に再生するため、ユーザがシーン全体の内容を短時間でかつ容易に把握し、目的とするシーンを素早く見つけ出すことができる。かくするにつき、ビデオカメラ１の使い勝手を格段的に向上させることができる。

（２）第２の実施の形態
図１において、６０は第２の実施の形態によるビデオカメラを示す。この第２の実施の形態によるビデオカメラ６０は、チャプタ重要度の設定方法が異なる点を除いて第１の実施の形態によるビデオカメラ１と同様に構成されている。

すなわち、第１の実施の形態では、撮影を行った後でユーザが重要人物決定画面４０（図７）を用いて重要人物を決定し、この決定結果に基づいて各チャプタのチャプタ重要度を設定していた。これに対して第２の実施の形態では、撮影前にユーザが決定しておいた重要人物に対してのみ顔認識処理を行い、この顔認識処理の処理結果に基づいて各チャプタのチャプタ重要度を設定する。

図１３は、このような第２の実施の形態によるチャプタ重要度の設定方法のうち、撮影前にユーザが重要人物を設定する重要人物設定処理に関するシステム制御部６１の処理内容を示している。システム制御部６１は、図示しない内部メモリに格納された制御プログラムに基づいて、この重要人物設定処理を実行する。

すなわちシステム制御部６１は、ユーザインタフェース部４が操作されて重要人物設定モードが選択されると、この重要人物設定処理を開始し、まず、図１４に示すような撮影前重要人物設定画面７０を表示部６に表示させる（ＳＰ３０）。

続いてシステム制御部６１は、かかる撮影前重要人物設定画面７０に表示された第１及び第２の重要人物決定方法選択ボタン７１，７２のいずれかが押下されるのを待ち受ける（ＳＰ３１）。ここで、第１の重要人物決定方法選択ボタン７１は、重要人物を今から撮影するモードに対応したボタンであり、第２の重要人物決定方法選択ボタン７２は、第１の実施の形態と同様に既に行われた撮影において認識された人物の中から重要人物を決定するモードに対応したボタンである。

そしてシステム制御部６１は、かかる第１及び第２の重要人物決定方法選択ボタン７１，７２のいずれかが押下されると、押下されたボタンが第１の重要人物決定方法選択ボタン７１であるか否かを判断する（ＳＰ３２）。

システム制御部６１は、この判断において肯定結果を得ると、イメージセンサ７、アナログ／ディジタル変換部７及びＣＯＤＥＣ部１０を駆動させて、図１５に示すようなそのときの撮影映像を表示部６に表示させる（ＳＰ３４）。かくして、このときユーザは、登録しようとする重要人物をビデオカメラ６０で撮影するようにする。

次いでシステム制御部６１は、かかる重要人物の撮影中に顔認識処理部１５を駆動させて、そのとき撮影されている重要人物に対する顔認識処理を実行させる（ＳＰ３５）。またはシステム制御部６１は、この顔認識処理が終了すると、その顔認識処理結果に基づく顔認識管理情報２４（図３）を顔認識実行部１５に作成させてハードディスク装置２に格納させる（ＳＰ３８）。そしてシステム制御部６１は、この後、この重要人物設定処理を終了する。

これに対してシステム制御部６１は、ステップＳＰ３２の判断において否定結果を得ると（つまり第２の重要人物決定方法選択ボタン７２が押下されたときには）、図７について上述した重要人物表示画面４０を表示部６に表示させる（ＳＰ３６）。

続いてシステム制御部６１は、この重要人物表示画面４０を用いて重要人物が選択されるのを待ち受け（ＳＰ３７）、やがて重要人物が選択されると、このとき選択された重要人物に関する情報のみが登録された図３に示す顔認識管理情報２４を顔認識処理部１５に作成させる（ＳＰ３８）。そしてシステム制御部６１は、この後、この重要人物設定処理を終了する。

そしてシステム制御部６１は、この後、撮影時には、顔認識実行部１５を制御して、上述のようにして登録された重要人物に関する顔認識処理の処理結果のみを顔認識管理情報２４（図３）に反映させる。またシステム制御部６１は、シーンの撮影が終了するごとに、図８について上述した重要度設定処理を実行することによりそのシーン内に設定された各チャプタのチャプタ重要度を決定し、決定結果に基づいてチャプタ管理情報２０（図３）を更新する。

以上のように本実施の形態によるビデオカメラ６０では、動画撮影前にユーザが決定しておいた重要人物に対してのみ顔認識処理を行い、この顔認識処理の処理結果に基づいて各チャプタのチャプタ重要度を設定するため、チャプタのチャプタ重要度の設定を容易化させることができる。またビデオカメラ６０では、上述のように重要人物を事前登録するため、顔認識を利用した自動焦点や自動露光を行う際に、たまたま一緒に映りこんだ他人の顔を認識したためにその人物に最適な焦点・露光設定を行ってしまい、撮影したかった目的の人物が上手く映らないという現象を回避することができる。

（３）他の実施の形態
なお上述の第１及び第２の実施の形態においては、本発明を図１のように構成されたビデオカメラ１，６０に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成を有するビデオカメラや、ビデオカメラ以外の例えばＤＶＤレコーダや、動画撮影機能が搭載された電子スチルカメラ又は携帯電話機などにも広く適用することができる。

また上述の第１及び第２の実施の形態においては、撮影映像を記録する記録媒体としてハードディスク装置２及びＤＶＤ３を適用した場合について述べたがが、本発明はこれに限らず、ＤＶＤ及びハードディスク装置以外の例えばＢＤ（Blu-ray Disc）、ＣＤ（Compact Disc）、ＭＤ（Mini Disc）及び又は半導体メモリなどの他の記録媒体を広く適用することができる。

さらに上述の第１及び第２の実施の形態においては、撮影により得られたシーンの映像情報を記録媒体に記録再生する記録再生部としてのハードディスク装置２及びＤＶＤドライブをビデオカメラ１，６０が内蔵する場合について述べたが、本発明はこれに限らず、これらの記録再生部としてＵＳＢ（Universal Serial Bus）やｅＳＡＴＡ（External Serial Advanced Technology Attachment）などで接続された外付タイプのドライブを適用するようにしても良い。

さらに上述の第１及び第２の実施の形態においては、ユーザにより設定された重要人物に対する顔認識処理の処理結果に基づいてチャプタごとのチャプタ重要度を設定する重要度設定部と、チャプタごとのチャプタ重要度に基づいて、対応するチャプタ重要度のチャプタを選択的に再生するようにハードディスク装置２及びＤＶＤドライブを制御する制御部と、表示部６に一覧表示された顔画像のうち、ユーザにより選択された顔画像に対応する被写体を重要人物として設定する重要人物設定部とを１つのシステム制御部５，６１により構成するようにした場合について述べたが、本発明はこれに限らず、これら重要度設定部、制御部及び重要人物設定部をそれぞれ別個に構成するようにしても良い。

本発明は、ビデオカメラのほか、ＤＶＤレコーダなどの種々の記録再生装置に広く適用することができる。

以上、本発明の好適な実施例を図面を用いて説明した。本発明によれば、ユーザ設定に応じた特定のチャプタを選択的に再生させることができるため、所望する人物が登場するチャプタをユーザが素早く見つけ出すことができる。またユーザの設定に応じた特定のチャプタを選択的に再生させることができるため、シーン全体の内容をユーザが短時間でかつ容易に把握することができる。

第１及び第２の実施の形態によるビデオカメラの構成を示すブロック図である。 チャプタ管理情報の一例を示す概念図である。 顔認識管理情報の一例を示す図概念図である。 顔認識を有効にした場合の撮影映像の一例を示す概念図である。 撮影映像記録処理の処理手順を示すフローチャートである。 チャプタ重要度設定処理の処理手順を示すフローチャートである。 重要人物決定画面の画面構成例を示す略線図である。 重要度決定処理の処理手順を示すフローチャートである。 対象シーンにおけるチャプタ構成及び各チャプタにそれぞれ設定されたチャプタ重要度の一例を示す図表である。 チャプタ選択再生処理の処理手順を示すフローチャートである。 チャプタ一覧画面の画面構成例を示す略線図である。 シーン一覧画面の画面構成例を示す略線図である。 重要人物設定処理の処理手順を示すフローチャートである。 撮影前重要人物設定画面の画面構成例を示す略線図である。 重要人物撮影画面の画面構成例を示す略線図である。

符号の説明

１，６０……ビデオカメラ、２……ハードディスク装置、３……ＤＶＤ、４……ユーザインタフェース部、５，６１……システム制御部、６……表示部、１５……顔認識実行部、２０……チャプタ管理情報、２４……顔認識管理情報、３０……撮影映像、３１……枠、４０……重要人物決定画面、４１……顔画像、５０……チャプタ一覧画面、５１，５４……サムネイル画像、５３……シーン一覧画面、５５……アイコン、７０……撮影前重要人物設定画面。

Claims (10)

1. シーンごとに１又は複数のチャプタを設定可能な記録再生装置において、
   撮影により得られた前記シーンの映像情報を記録媒体に記録する記録部と、
   前記記録部により前記記録媒体に記録された映像情報を再生する再生部と、
   前記映像情報に基づく撮影映像に対して顔認識処理を実行する顔認識実行部と、
   予めユーザにより登録された人物の顔画像を一覧表示する表示部と、
   前記表示部に一覧表示された前記顔画像の中からユーザにより選択された前記顔画像に対応する人物を重要人物として設定する重要人物設定部と、
   前記顔認識実行部の前記顔認識処理に基づいて、前記重要人物設定部により設定された重要人物が含まれるチャプタを前記記録媒体から選択的に再生するように前記再生部を制御する制御部と
   を備えることを特徴とする記録再生装置。
2. 再生モードとして複数の再生モードが設けられ、
   各前記再生モードには、それぞれ異なる閾値が設定され、
   前記制御部は、
   ユーザにより指定された前記再生モードの閾値と各前記チャプタの重要度とを比較し、前記重要度が当該再生モードの閾値と同じ又は当該閾値よりも高い前記チャプタを選択的に再生するように前記記録再生部を制御する
   ことを特徴とする請求項１に記載の記録再生装置。
3. 前記重要人物設定部により設定された重要人物に対する前記顔認識実行部の前記顔認識処理に基づいて、前記記録媒体に記録された映像情報の前記チャプタごとの重要度を設定する重要度設定部を備え、
   前記制御部は、前記重要度設定部により設定された前記チャプタごとの重要度に基づいて、対応する前記重要度のチャプタを前記記録媒体から選択的に再生するように前記再生部を制御する
   ことを特徴とする請求項１に記載の記録再生装置。
4. 前記重要度設定部は、
   前記チャプタ内における前記重要人物の登場回数に基づいて当該チャプタの重要度を設定する
   ことを特徴とする請求項３に記載の記録再生装置。
5. 前記制御部は、
   前記第１の記録媒体に前記映像情報が記録された前記シーンごとに、当該シーン内に設定された各前記チャプタの重要度を管理し、
   ユーザからの要求に応じて、当該シーンごとに、各前記チャプタの前記重要度が設定されているか否かを前記ユーザに提示する
   ことを特徴とする請求項３に記載の記録再生装置。
6. 撮影により得られたシーンの映像情報を記録媒体に対して記録再生すると共に、前記シーンごとに１又は複数のチャプタを設定可能な記録再生装置における記録再生方法において、
   前記映像情報に基づく撮影映像に対して顔認識処理を実行する第１のステップと、
   予めユーザにより登録された人物の顔画像を一覧表示する第２のステップと、
   前記第２のステップで一覧表示された前記顔画像の中からユーザにより選択された前記顔画像に対応する人物を重要人物として設定する第３のステップと、
   前記第１のステップの前記顔認識処理に基づいて、前記第３のステップで設定した重要人物が含まれるチャプタを前記記録媒体から選択的に再生する第４のステップと
   を備えることを特徴とする記録再生方法。
7. 再生モードとして複数の再生モードが設けられ、
   各前記再生モードには、それぞれ異なる閾値が設定され、
   ユーザにより指定された前記再生モードの閾値と各前記チャプタの重要度とを比較し、前記重要度が当該再生モードの閾値と同じ又は当該閾値よりも高い前記チャプタを選択的に再生する
   ことを特徴とする請求項６に記載の記録再生方法。
8. 前記第３のステップで設定した重要人物に対する前記第１のステップの前記顔認識処理に基づいて、前記記録媒体に記録された映像情報の前記チャプタごとの重要度を設定する第５のステップを備え、
   前記第４のステップにおいて、前記第５のステップで設定した前記チャプタごとの重要度に基づいて、対応する前記重要度のチャプタを前記記録媒体から選択的に再生する
   ことを特徴とする請求項６に記載の記録再生方法。
9. 前記第５のステップでは、
   前記チャプタ内における前記重要人物の登場回数に基づいて当該チャプタの重要度を設定する
   ことを特徴とする請求項８に記載の記録再生方法。
10. 前記記録媒体に前記映像情報が記録された前記シーンごとに、当該シーン内に設定された各前記チャプタの重要度をそれぞれ管理し、
    ユーザからの要求に応じて、当該シーンごとに、各前記チャプタの前記重要度が設定されているか否かを前記ユーザに提示する
    ことを特徴とする請求項８に記載の記録再生方法。

Images