JP4919993B2 - 情報記録装置 - Google Patents

Description

本発明は、画像や音声を示す情報を記録する情報記録装置に関するものである。

音声認識を用いて、画像の記録装置、または、再生装置を制御する技術として以下の発明が開示されている。

例えば、特許文献１には、「映像を中断したときに、中断した位置にビデオテ−プの頭出しを行うことが可能なビデオデッキ」を提供することを課題とし、「録画開始時にコントロ−ルトラックに記録される第１のＶＩＳＳ信号とは異なるデュ−ティ比の第２のＶＩＳＳ信号をコントロ−ルトラックに記録させ、所定の操作に応じて、第２のＶＩＳＳ信号が記録されている位置までビデオテ−プの頭出しを行うように構成され」たビデオデッキが記載されている。

また、特許文献２には、「音声指示が可能なビデオカメラ等において、その音声指示が収録されることを抑制し、再生時の聞き苦しさを軽減すること」を課題とし、「収録する音声のうち、動作コマンドを示す音声を音声認識器１１０で認識し、動作コマンドであると認識された音声に対応する音声データを削除、或いは、音量の低減処理を施すこと」撮影装置が記載されている。

また、特許文献３には、その段落番号０００８に「人手でこうしたチャプターを作成する際の問題点」として、「人間が内容に応じて適切な区切りを振るため、その精度に問題はないが、細目にわたるチャプターを作成するには、大きな労力を必要とする」と記載している（段落番号［０００８］）。そして、この問題等を解決する発明として、「入力されたマルチメディアデータに音声認識をかけて得られたテキストを、言語的な知識を用いて区分けし、そこから元のマルチメディアデータにリンクしたチャプターを自動的に作る」チャプター作成装置が記載されている。

特開2006-121155号公報 特開2003-298916号公報 特開2003-230094号公報

ビデオカメラやレコーダ等の撮像装置では、各記録の開始ごとにサムネール画像を作成しておき、再生時には、サムネール表示一覧として表示すること機能を有することが多い。そして、該一覧から一つのサムネールを選択すると、そのサムネールに対応した記録内容が再生される場合が多い。また、ユーザが任意の位置で、シーンの区切れの単位（チャプタ）を編集することで、サムネールを追加・削除する機能を有するものがある。

しかし、記録開始以外のタイミングで、記録・再生中のコンテンツに対して、シーンの区切り位置を指示するのは、ユーザには煩わしく、使い勝手の点で改善を要する点である。たとえば、ビデオカメラの撮影中に、ユーザがシーンの区切りを作成しておきたい場合に、区切りの位置ごとに、記録停止・記録開始をボタン押下によって操作するなどすると、その区切れ目で一度撮影が中断されて、後ほど鑑賞する際に、不連続なシーンとなってしまう。同じく、音声レコーダなどにおいても、会議中の議題ごとに区切れを入れたい場合などに同様の課題が生じる。

さらに、撮影したチャプタのサムネールを表示させたとしても、そのサムネールの画像を見たのみでは、ユーザが何を撮影したのか把握できない場合がある。このため、各チャプタには、その内容を識別するための情報を撮影者が付加することが望ましい。

これに対しては、例えばボタン等によって文字タイトルを入力することが考えられる。しかし、撮像装置で撮影を行う操作と並行して、ユーザがチャプタを区切りながら、さらに個々のチャプタにボタン等でタイトルを付ける作業は、ユーザにとっての負担となり得る。一方、この記録が一通り終了した後に、改めて各チャプタにタイトルを付けることも考えられるが、ユーザが何をとったか思い出すまでに時間や手間がかかる場合もある。

特許文献１の発明によると、映像に区切り位置を付けることができるが、区切り毎に何を記録したかを示す情報をユーザが付加すことについては記載されていない。

特許文献２の発明によると、動作コマンドを音声によって入力することが可能となるが、チャプタを区切ることや、区切りシーンを識別するための情報をユーザが付加することに関しては検討されていない。

特許文献３の記載によると、その題目等をもとに、音声認識によって得たテキスト情報を適切なまとまり毎に区切ることが記載されている。しかし、テキスト情報を区切るまとまりが、ユーザの意図と異なる場合や、テキスト情報の内容が各まとまりの内容を示すものとしてユーザが意図するものと異なる場合がある。また、各区切りを識別するための情報をユーザが付ける場合の使い勝手を向上させる点について、記載されていない。

本願発明は、情報の記録を所定の単位に区切りながら行う場合において、ユーザが何を記録したかを識別することを容易にする情報記録装置を提供することを目的とする。

上記課題は、特許請求の範囲に記載の発明によって解決される。例えば、本情報記録装置では、入力した音声情報を用いて、映像に区切りを入れる。

本願発明によると、情報の記録を所定の単位に区切りながら行う場合において、ユーザが何を記録したかを識別することを容易にする情報記録装置を提供することが可能となる。

以下に、本発明の実施の形態を説明する。

情報記録装置とは、例えば、ＨＤＤカムコーダ、ＢＤレコーダ、等の情報を記録する装置のことを示す。しかしこれに限定されるものではなく、例えば情報を記録する機能を有する携帯電話機、ＰＤＡ等にも適用可能である。情報の例としては、映像や音声がある。

図１に第１の実施形態のブロック構成を示した図を示す。以下、本図面に沿って実施例の説明を行う。本実施例は、ブロック図は映像音声をハードディスクドライブ（ＨＤＤ）に記録し再生するＨＤＤカムコーダの構成を示したものである。図１内の各要素は、１…レンズ、２…画像信号処理部、３…画像符号化部、４…マイク、５…アナログ／デジタル（ＡＤ）変換回路、６…音声認識回路、７…音声符号化部、８…記録インタフェース、９…記録制御回路、１０…サムネール画像作成部、１１…管理情報作成部、１２…多重化回路、１３…メディア制御部、１４…ＨＤＤ、１５…分離回路、１６…画像復号部、１７…画像出力回路、１８…液晶ディスプレイ（ＬＣＤ），１９…音声復号部、２０…デジタル／アナログ（ＤＡ）変換回路、２１…スピーカ、２２…サムネール管理回路、２３…サムネール一覧作成回路、２４…再生インタフェース、２５…再生制御回路を示す。

レンズ１から入力された映像は、図示しないＣＭＯＳやＣＣＤ等の受光素子によって映像信号に変換される。そして、映像信号は、画像信号処理部２において、走査線方向にスキャンされ、デジタルデータとして変換される。ここでは、標準画像サイズの横７２０×横４８０画素ごとのフレームが一秒間に３０枚生成されるとする。変換された映像信号は、画像符号化部３に転送される。なお、画像信号処理部２や画像符号化部３は、例えば、ＡＳＩＣ等の専用回路によって構成される。

記録インタフェース部８は、たとえば記録開始／停止を指示するためのボタンなどから構成され、ボタン押下によってトグル処理により記録の開始停止が装置全体の記録制御を行う記録制御回路９に入力されるものとする。

記録制御回路部９はたとえは、マイクロプロセッサなどからなり、図示されていないが、装置全体のブロックの制御を行うために、ＣＰＵアドレス、データバスなどで接続されており、各ブロックの制御を行うものとする。

以下、記録開始状態にボタンにより状態が変更し、記録制御回路９から各ブロックに記録開始指示が出された動作について説明する。

画像符号化部３に転送されたデジタル映像データは、たとえばＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）規格などで圧縮符号化された映像ビットストリームとして多重化ブロック１２に出力される。

一方、音声は、マイク４からアナログ信号として入力され、ＡＤ変換回路５によってデジタル信号処理される。たとえば、４８ＫＨｚの周波数でサンプリングされたステレオ音声であり、ＬチャネルとＲチャネルの１６ビット量子化されたＰＣＭ音声としてＡＤ変換回路５より出力される。

処理されたデータは、音声認識回路６に入力されるとともに音声符号化部７に転送される。音声符号化部７では、たとえば圧縮規格ＭＰＥＧ２ＬａｙｅｒＩＩ（ＩＳＯ／ＩＥＣ１３８１８―３）規格などに基づき音声ビットストリームとして出力される。音声認識回路６や音声符号化部７は、例えば、ＡＳＩＣ等の専用回路により構成される。

多重化ブロック１２に入力された映像音声ストリームは、ＭＰＥＧ２システム規格(ＩＳＯ／ＩＥＣ１３８１８−１)などに則り、トランスポートストリームとして、パケット多重化されて、パケット多重化情報とあわせて、メディア制御部１３に転送される。

このとき、パケット多重化される際に付加されるヘッダ部にはタイムスタンプが付記され、記録シーン中のどの地点のデータが格納されているかが判別できるようになっており、後述の再生時には、タイムスタンプを比較することで、正確な音声と映像の同期を取ることができ、また、映像位置と、音声位置の対応を常に確認することができる。

パケット多重化されたデータ列は、多重化ブロック１２からメディア制御部１３に転送され、ファイルとしてＨＤＤ１４に記録される。この際、記録制御ブロック９は、上記ファイルがＨＤＤ内のどのアドレス(たとえばセクタ番号)に格納されるかを管理する管理情報を生成しメディア制御部１３を介して、ＨＤＤ１４に記録する機能を有する。また、さらに、記録開始、終了ごとに、上記ファイルを独立にする、もしくは、ファイルの区切り位置のアドレスを管理情報内に記録することで、後に管理情報をＨＤＤ１４から読み出して、所望の記録開始点を特定し、その位置からパケット多重化されたストリームを読み出し再生できるようデータを生成する。また、ハードディスクであるＨＤＤ１４の他にも、ＳＤやフラッシュメモリ等、情報を記憶する装置であれば、本実施例の装置を構成可能である。

次に記録中に音声により、シーンの区切り位置を生成しサムネールを作成する手順について説明する。

前述のＡＤ変換回路５から出力されたＰＣＭ音声データは、記録時に同時に音声認識回路６に入力される。

音声認識回路６では、あらかじめ設定しておいた特徴パターンに基づき、特徴が検知できた場合に、その検知時刻の情報を出力する機能を設ける。ここでいう特徴パターンとは、例えば、シーン区切りの指示を示す音声が持つ特徴パターンのことをいう。

音声認識回路６は、昨今音声認識で用いられている手法で構成が可能である。たとえば、音声認識回路６は、入力されたＰＣＭ音声データから、所定の特徴量を取り出す。そして、音声認識回路６は、取り出した特徴量とあらかじめ用意した音声データの特徴量とのパターンマッチングを行ったり、音声レベルのピークとピーク時間を閾値と比較する。そして、比較の結果、ＰＣＭ音声データが所定条件を満たす際に、特徴検知されたとして検知時刻情報を報告するようにしても良い。たとえば図２に示すようにカメラ１００で撮影中の話者が１０１、１０２に示すように撮影中に、発話したとする。一つ目の発話は、「ＣＵＴ」、その後任意の発話「ＳＥＮＴＥＮＣＥ１」と続く。次にしばらく期間が経過した後、二つ目の発話「ＣＵＴ」、その後任意の発話「ＳＥＮＴＥＮＣＥ２」と続く。このとき、あらかじめ音声認識回路６に「ＣＵＴ」を特徴パターンとして登録していた場合、この特徴抽出時刻を音声認識回路６は後段のサムネール画像作成回路に転送する。

なお、パターンマッチングにおいては、例えば、入力されるＰＣＭ音声データの特徴量と、予め用意されている音声データとが同一または類似である場合に、対応する処理を実行する。また、例えば、予め用意されている音声データのうち、入力されたＰＣＭ音声データと最も類似しているものを、合致するデータとして選択してもよい。また、特徴量の検出を情報記録装置で行った後、その特徴量を図示しないサーバ等の外部機器に送信し、該外部機器においてパターンマッチングを行う構成としてもよい。この場合、情報記録装置は、図示しない無線または有線で通信を行うための通信インターフェースを備えるものとする。また、予め記憶されている音声データとしては、音声を構成する各音素の音響モデル、個々の意味ある単語を記憶する辞書等がある。

また、音声認識回路６では、図示しないメモリに、撮像者の声紋を予め登録しておくことも可能である。また、音声認識回路６では、その声紋が登録されたユーザの音声のみを認識することも可能である。これにより、例えば、撮像するユーザの意図に反して、撮像している対象から入力した音や、撮像者以外の人間の発声により、区切り位置が生成されたり、「ＳＥＮＴＥＮＣＥ１」等が記録される可能性を抑制することができる。また、予め用意しておく音声データとして、複数人分の音声データを図示しないメモリ等に記憶しておき、起動時に撮像者の認証を行うことによって、複数人の音声データから、撮像者として認識されたものの音声データを比較対象に設定する構成としてもよい。

次に、記録中のストリームと発話１０１、１０２と記録中ストリームとの時刻関係の関係について、図３を用いて述べる。現在のシーンの記録が時刻Ｔ０から開始され、発話１０１の「ＣＵＴ」が時刻Ｔ１に特徴抽出され、発話１０２の「ＣＵＴ」が時刻Ｔ２に特徴抽出されたとすると、メディア制御ブロック１３から記録中の記録中ストリームの各Ｔ０，Ｔ１，Ｔ２に対応する位置情報がおのおの、記録開始時刻、シーンの区切れ１、シーンの区切れ２として前述の記録制御部９に認識されており、それぞれの時刻に対応するストリームのＨＤＤ内のアドレス情報が、上述の管理情報内に記録される。

また、本実施例においては、区切れ１等の位置を、時刻によって管理しているが、決しえて時刻のみに限定されるものではない。例えば、映像を構成するフレームに割り振られた番号やアドレス等、映像データ全体における相対的な位置を示す情報を用いても、本実施例の情報記録装置を構成することが可能であることはいうまでもない。

次に、Ｔ０、Ｔ１，Ｔ２に対応するサムネールを作成する手順について述べる。Ｔ０、Ｔ１，Ｔ２では、対応する時刻の画像が画像信号処理部２からサムネール画像作成回路１０に転送され。サムネール画像作成回路１０において、サムネール画像として、表示しやすいサイズに加工される。たとえば図４のように装置の出力サイズに６枚出力する場合には、水平方向１／６以下、垂直方向１／２以下に画素サイズを縮小した１フレームを作成することで、サムネール画像の基データを作成する。

このデータをたとえば、ＪＰＥＧで圧縮をかけても良い。また、短い時間の動画サムネールとしてＭＰＥＧなどで別途圧縮をかけても良い。上記のように処理が施されたサムネールデータは、管理情報作成部１１において、上述のシーンの区切れ位置とそれに対応するストリームアドレス情報と対応付けられたサムネール管理情報として、メディア制御部１３を介してＨＤＤ１４に記録される。

さらに、音声認識回路６では、特徴検知用パターン「ＣＵＴ」に続く、発話１０１中の「ＳＥＮＴＥＮＣＥ１」、発話１０２中の「ＳＥＮＴＥＮＣＥ２」の音声情報を、あらかじめ設定した期間分音声データとして、別途記録し、対応するサムネール２，サムネール３の情報に対応付けて管理情報内に格納し、後にサムネール再生時にサムネール表示と同時に上記音声データを再生することも可能である。このために、サムネール画像生成ブロックを介してサムネール管理情報内に各サムネールに対応付けられて、特徴検知パターン直後のセンテンスも記録される。

このように、記録処理を行うことによって、発話１０１中の「ＳＥＮＴＥＮＣＥ１」等を発話１０２中の「ＳＥＮＴＥＮＣＥ２」を、音声によって各シーンの概要を示す、いわば音声タイトルとして記憶させておくことが可能となる。

上記方法により、撮影中のユーザは、シーンの区切れごとに逐次ボタンを記録開始・停止ボタンを押下する必要がなく、記録を中断する必要がない。また、煩わしいボタン操作がなくなるため、被写体の追跡、ズーム処理などに集中しつつ、意図したタイミングでのシーンの区切れを指示することが可能であり、使い勝手が向上するという効果を生み出す。

また、上述の例では、カメラ１００は、シーン区切りを示す音声情報を入力した場合に、その後所定期間に入力された音声を区切られたシーンに対応づける動作について説明した。しかし、カメラ１００は、シーン区切りを示す音声情報を入力する前の所定期間に入力されていた音声情報を、区切られたシーンに対応づける処理を行ってもよい。この場合、ユーザは、例えば、「ＳＥＮＴＥＮＣＥ１」を発話した後、「ＣＵＴ」を発話することによってカメラ１００を利用する。

なお、再生インターフェース２４とは、再生操作を行うためのユーザーインターフェースのことを示す。たとえば、再生インターフェース２４は、ユーザの操作を受け付けるボタン等の操作装置や、ユーザに装置の状況を報知するディスプレイ等の報知装置等により構成する。なお、ＬＣＤ１８を報知手段として転用してもよい。

次に、記録された映像音声をサムネール一覧画面から再生する手順について説明する。ＨＤＤ１４に記録されたデータを再生する場合、再生インタフェース２４からサムネール一覧画面表示ボタンが押下され、サムネール一覧表示モードに入る教示信号が再生制御回路２５に伝達される。例えば、図５の１２１のようにカメラの筐体に設置されたボタンであっても良いし、電源投入後に自動的にサムネール一覧画面に入るようにしても良い。

その後、サムネール一覧画面表示モードに意向するように指示された再生制御回路２５は、管理情報をメディア制御ブロック経由でＨＤＤ１４から読み出し、ファイルの構成を確認した後、サムネール管理回路２２にＨＤＤ１４からサムネール管理情報および管理情報を読み出すように指示する。サムネール管理回路２２は、メディア制御ブロックを介してＨＤＤよりサムネール管理情報を読み出し、例えば、記録順序ごとに、記録開始時点のサムネール、音声により指定されたシーン区切りに対応するサムネールデータを順次読み出し、図４のように各サムネールデータをサムネール一覧作成回路２３に送信する。サムネール一覧作成回路では、サムネールを表示するために必要な処理を施し、一覧表示を行う。例えばサムネールデータに圧縮符号化が施されている場合には、この段階で伸張される。

サムネール一覧画面には、現在の選択候補となるサムネールに対し図４の１１０に示すように、選択位置を示すグラフィックがサムネール一覧作成２３によってＯＳＤ表示される。なお、１１０の選択位置を示すグラフィックとは、例えば、カーソルや、フォーカス等を示す。上記選択位置は、図５の１２０に示すような方向キーによって、上下左右が指示された場合、再生インタフェース２４ブロックより方向教示信号が再生制御回路２５に伝達され、対応するサムネール位置を変更し、サムネール管理回路２２に伝達する。これに応じてサムネール管理回路２２は、対応するサムネール群のサムネール管理情報をＨＤＤ１４から読み直す。

選択候補が、現在表示中のページから外れた場合には、新たなページを作成するためにサムネール管理情報を読み出す。また、対応する選択候補位置を更新し、サムネール一覧作成回路２３は、選択位置を示すグラフィックを移動させる。また、同時に選択位置に対応している音声データも読み出され、音声出力可能な形態に例えば伸張処理され、ＤＡ変換回路２０に転送される。最終的に、サムネール画像一覧画面で音声もスピーカ２１から出力される。

本機能により、例えばスポーツ中の記録の場合には、非常によく似た画像が並ぶ場合があり、所望のシーンを瞬時に見つけることが難しい場合がる。このとき、音声データが同時に出力されると、各シーンごとの簡単なガイダンスの効果を生むため、シーンの選択を用意にさせるという効果を生む。特に、話者が記録時にシーン区切りのための特徴音直後に、サムネール一覧時のレイアウトを意識して撮影することが可能であり、従来の記録再生装置にあるような後からチャプタ編集を行うよりも早く、所望のシーン区切りを特定し、サムネール一覧を得る事ができる。

上記のように、サムネール一覧にて表示された各シーンの区切りごとのデータは、その選択位置で、再生開始ボタンが押下されると、それに対応するシーンが再生される。この手順を以下に示す。

再生インタフェース回路２４では、再生開始がユーザから指示された場合、再生制御回路２５に再生開始を指示する。再生制御回路では、現在のサムネールの選択位置をサムネール管理回路２２から取得し、そのサムネールに対応する位置からの再生を各ブロックに指示し、再生を開始させる。再生に際しては、ＨＤＤ１４からメディア制御ブロック１３を介して、サムネールに対応する位置からのストリームが分離回路１５に読み出される。分離回路１５では、パケット多重を解き、画像と音声の符号化ストリームを各々画像復号回路１６と音声復号回路１９に送信する。各々、圧縮された規格に準拠した伸張処理が行われる。画像復号回路１６から出力された映像信号は、画像出力処理回路１７において、ＬＣＤなどのディスプレイとして出力できるデータに信号処理され、ＬＣＤ１８などから外部に出力される。音声については、音声復号回路１９からＰＣＭ音声が出力され、ＤＡ変換回路２０によってアナログ音声に変換され、スピーカ２１を介して外部にスピーカー出力される。なお、本実施例では表示装置の例として、ＬＣＤ１８を例として説明しているが、ＬＣＤに限られるものではない。例えば、有機ＥＬやその他の表示装置を利用してもよいことはいうまでもない。

上記実施例では、ＭＰＥＧ規格に基づいた映像音声の圧縮伸張処理、多重分離化処理、ＤＶＤ規格に準拠したＨＤＤへの記録処理などを記載したが、本実施例の情報記録装置の目的は、他の圧縮技術、ＭＰＥＧ１、ＭＰＥＧ４、ＪＰＥＧ、Ｈ．２６４などを用いても同等の発明の効果を持つことは明らかである。また、記録媒体も光ディスク、不揮発性メモリデバイス、テープデバイスであっても同等の効果を得る。さらには、圧縮処理されずに、他のデータ列の時刻とシーン区切りを管理するデータ管理がなされている記録方法であれば、同じく本実施例の情報記録装置の意図する構成であることは明らかである。

上記実施例では、映像音声の記録再生装置を例示したが、例えば、ボイスレコーダであっても、同等の音声認識回路を備え、シーンの区切りを特定するデータ管理をすることで、後ほど再生する際に、効率よく所望の区切り位置から再生させることが可能である。このような場合、サムネールを用いずに、ボタン操作のみで次のチャプタにスキップすることが可能である。また、番号入力キーで、チャプタ番号をダイレクトに入力しても良い。

また、図５の１２２に示すように、音声によるチャプタ区切りが入ったサムネールを他の記録開始時のサムネールと区別するため、サムネールにアイコンをつけることが可能である。これは、サムネール一覧作成回路２３において、音声によるシーン区切りかどうかをサムネール管理情報に基づき区別することで、サムネール付加するかどうかを制御する。

このように、アイコンを付加することにより、ユーザは区切りに音声を付加したことを認識することが可能となる。

また、図６に示すように、サムネールの選択画面が、タッチパネルのような形態であった場合、例えば一回サムネールを押した状態で、選択状態とし、所望のサムネール表示と対応する音声を出力するよう、再生制御回路２５を構築すれば良い。また、選択したサムネールから再生を開始する場合には、二回サムネールをタッチした段階で対応する位置からのストリーム再生を行うように制御する。

図７は記録中のＬＣＤ画像を示したものである。図中の１３０のアイコンは、記録中に音声認識回路６において特徴抽出され、シーン区切りが作成された場合に、視聴者に明示的に知らせるためのインタフェースであり、音声認識回路６において特徴抽出されたタイミングでパルス信号を出し、そのパルス信号をうけとってから、例えば１０秒程度１３０のアイコンをＯＳＤ重畳して出力することで実現できる。これにより、ユーザが自分の意図したタイミングでシーン区切りが作成できたか確認することができる。

図８は第２の実施形態を説明するものである。

第１の実施例では、音声認識に用いる特徴については、あらかじめ設定されている記載であったが、図８のように、音声認識のためのパターン登録回路６１をＡＤ変換回路５後段におく。記録インタフェース８より、パターン登録モード設定ボタンを押下した際、所定の期間音声をパターン登録回路６１において記録し、データ化する。データ化された音声は例えば、不揮発メモリなどに記録しておくことで、電源ＯＦＦ後も保持される。その後、記録時には、前述の特徴検出のためのパターンマッチングの参照データとして、上記パターン登録で記録されたデータを用いる。用いるパターンを複数登録し、音声認識回路６では、同時に複数の特徴抽出を行うようにしても良い。

上記機能を用いることで、さらに柔軟にシーン区切りを制御することが可能となる。

次に、記録中に音声により、シーンの区切り位置を生成しサムネールを作成する手順の他の例について説明する。

たとえば図９に示すようにカメラ１００で撮影中の話者が１０１、１０２に示すように撮影中に、発話したとする。一つ目の発話は、発話１４１「ＣＵＴ」、その後任意の発話１４２「Ｔｉｔｌｅ」「ＳＥＮＴＥＮＣＥ３」と続く。次にしばらく期間が経過した後、二つ目の発話１４３「ＣＵＴ」と続く。この場合、二つの発話１４１「ＣＵＴ」と１４３「ＣＵＴ」とで区切られたチャプタに、発話１４２「ＳＥＮＴＥＮＣＥ３」の音声情報を対応させて記憶する構成とする。これにより、各区切りの任意の時点で、チャプタと音声とを対応させることが可能となる。また、この場合、区切りの最初の時点では発話１４２の「ＳＥＮＴＥＮＣＥ３」は対応づけられていないことになるが、この区切りのサムネールを選択した場合「ＳＥＮＴＥＮＣＥ３」を発生するようにしてもよい。このように、発話「Ｔｉｔｌｅ」のように、特徴パターンとして、いわば音声タイトルを付す旨の指示を示す音声が持つパターンを設定しておくことも可能である。

図１０は本実施例のカメラを示す図である。図１０のカメラ１００は、実施例１および２のカメラ１００の構成を備え、マイク４の代わりにＲチャネルマイク１５０、Ｌチャネルマイク１５１、及びＳｕｂチャネルマイク１５２を備える。Ｓｕｂチャネルマイク１５２は、主に撮像者の発声を収音する。そのため、Ｓｕｂチャネルマイク１５２は、例えば、マイクを把持した場合に、レンズ１と反対の面に設置される。

そして、Ｒチャネルマイク１５０、Ｌチャネルマイク１５１、Ｓｕｂチャネルマイク１５２から記録した音声を、それぞれＲチャネル音声、Ｌチャネル音声、Ｓチャネル（Ｓｕｂチャネル）音声とする。

図１１は、本実施例におけるカメラの動作を示すフローチャートである。

ｓ１０００において、電源が投入されると、カメラスルーモードで動作を開始し（ｓ１００１）、ユーザによる指示を待つ（ｓ１００２）。そして、カメラ１００は、ユーザの指示により、記録あるいはサムネール一覧表示を行う。

ｓ１００２において、記録指示がなされると、映像情報の記録とＬチャネル音声、Ｒチャネル音声、Ｓチャネル音声の３つのチャネルの音声の記録とを開始する（ｓ１００３）。次に、音声認識回路６は、入力した音声の音声認識を行う（ｓ１００４）。そして、カメラ１００は、実施例１、２と同様にシーン区切り等の処理を行う（ｓ１００５）。但し、ｓ１００４においては、Ｓｕｂチャネルマイク１５２から入力したＳチャネル音声から得られる情報の比重を高くして音声認識を行う。このように音声の記録を行うことにより、撮像者の音声による指示をより正確に認識することが可能となる。なお、ｓ１００４においては、例えば、音声認識にＳチャネルの音声のみを用いることとしてもよい。

次に、カメラ１００は、記録終了指示がユーザによってなされた場合には、記録処理を終了する（ｓ１００６）。

ｓ１００２において、カメラ１００は、サムネール一覧を表示するよう指示を受け付けると、サムネールの一覧表示を行う（ｓ１０１０）。

そして、カメラ１００は、ユーザの指示を待ち（ｓ１０１１）、サムネールの選択移動処理を行うか、あるいは、選択されたサムネール画像によって示されるシーンの再生を行う。

ｓ１０１１においてサムネールの選択移動指示を受け付けた場合、カメラ１００は、図４中の選択表示１１０を移動させた状態にて、ＬＣＤ１８に再描画したサムネールを表示する（ｓ１０１２）。次に、カメラ１００は、選択表示１１０が移動した結果フォーカスされているサムネール該シーンに対応づけられた音声を出力する（ｓ１０１３）。ｓ１０１３においては、カメラ１００は、Ｓチャネル音声の音量を、Ｌチャネル音声、Ｒチャネル音声の音量よりも大きくして再生する。このように、Ｓチャネル音声の音量を上げて出力することによって、カメラ１００は、ユーザにシーンの内容をより正確に認識させることができる。

なお、ｓ１０１３では、Ｓチャネル音声のゲインを上げて音声を出力してもよい。また、本ステップでは、Ｒチャネル音声、Ｌチャネル音声の音量をカットさせて音声を出力させてもよい。

また、ｓ１０１２において、１つのシーンを再生するよう指示がされた場合、カメラ１００は、指示されたシーンの再生処理を行う（ｓ１０２１）。ｓ１０２１では、Ｓチャネル音声を再生する音量は、Ｌチャネル音声およびＲチャネル音声を再生させる音量よりも小さくする。また、Ｌチャネル音声及びＲチャネル音声のゲインを上げて音声を出力してもよい。また、Ｓ１０２１では、Ｓチャネル音声をカットしてもよい。また、音声認識情報を用いて、Ｓチャネルの区切り音声部分のみを音量を下げて出力しても良い。また、区切りに対応付けられた音声のみを、逆位相成分を重ね合わせるなどして、信号除去する方法を用いても良い。

次に、カメラ１００は、再生終了指示がユーザによってなされた場合には、再生処理を終了する（ｓ１０２２）。

ユーザにとっては、サムネールを表示している状態においては、各シーンの内容を音声にて把握することが可能となる。一方、個々のシーンを再生させる場合には、「ＳＥＮＴＥＮＣＥ１」等を再生させる音量を小さくすることにより、Ｓｕｂチャネルマイク１５２に撮像者が吹き込んだ音声が、ユーザにとって騒がしいと感じられる可能性を抑制することが可能となる。特に、カメラ１００にて撮像を行う場合を考慮すると、Ｓｕｂチャネルマイク１５２は、撮像者の口元に近くなる場合もあり得るため、本実施例の処理は有効となる。

なお、本実施例の動作においては、カメラ１００は、Ｓｕｂチャネルマイク１５２から収音した音声を、撮像者の音声として処理していたが、これに限られるものではない。例えば、Ｓｕｂチャネルマイク１５２を用いずとも、カメラ１００は、サムネール一覧表示で選択表示１１０を動かした場合には、サムネールに対応づけられた音声情報の音量を上げ、再生指示がなされた場合には、音声情報の音量を下げる構成としてもよい。

また、上述の動作では、ｓ１０１３、ｓ１０２１においてはＳチャネル音声の音量の、Ｌチャネル音声等の音量に対する比率を変更させる例について説明した。しかし、カメラ１００の動作は、これに限定されるものでは無い。例えば、カメラ１００は、ｓ１０１３におけるＳチャネル音声の音量の、ｓ１０２１におけるＳチャネル音声の音量に対する比率を変更する構成としてもよい。

また、ユーザの好みに応じて、Ｓｕｂチャネルマイクの音量のみを、図示されていないボリュームコントロールボタンにより調整する構成としてもよい。また、Ｓｕｂチャネルの音量をプリセットした複数の再生モードをプリセットしておき、ボタン操作などで切り替え、ユーザの必要性に応じて、撮像者の音声レベルを制御することも可能である。再生モードとしては、例えば、上述のようにサムネールを表示するモード、１つのシーンを再生するモードがある。その他、再生モードとしては、例えば、図示しないコネクタを介して外部機器に映像情報と音声情報を出力するモード等がある。

上記のように、本実施例のカメラ１００は、シーンの区切れ目を指示するための音声のみを、再生時の重要度に応じて制御でき、ユーザの使い勝手を向上させる上で有効である。

また、本発明の構成は、上記実施例に限定されるものではなく、発明の範囲で自由に変更することも可能である。例えば、サブチャネルの代わりに複数のマイクから話者を特定するためにマイクの指向性を利用し、複数チャネルから特定方向の音声を生成した後、その音声を上記Ｓｕｂチャネルと同等の扱いとしても良い。また、各実施例の内容を組み合わせることも可能である。

実施例１のブロック構成図。 実施例１のシーン区切りの様子を解説した図 実施例１のシーン区切りとストリームの時刻対応を示した図 実施例１のサムネール一覧を示した図 実施例１のサムネール一覧とＧＵＩを示した図 実施例１のサムネール一覧とＧＵＩの別形態を示した図 実施例１のシーン区切り時のＬＣＤ画面を示した図 実施例２のブロック構成図。 シーン区切りの様子を解説した図。 実施例３の装置の構成例を示した図。 実施例３の処理の例を示したフローチャート。

符号の説明

１…レンズ
２…画像信号処理
３…画像符号化部
４…マイク
５…アナログ／デジタル（ＡＤ）変換回路
６…音声認識回路
７…音声符号化部
８…記録インタフェース
９…記録制御回路
１０…サムネール画像作成部
１１…管理情報作成部
１２…多重化回路
１３…メディア制御部
１４…ＨＤＤ
１５…分離回路
１６…画像復号部
１７…画像出力回路
１８…液晶ディスプレイ（ＬＣＤ）
１９…音声復号部
２０…デジタル／アナログ（ＤＡ）変換回路
２１…スピーカ
２２…サムネール管理回路
２３…サムネール一覧作成
２４…再生インタフェース
２５…再生制御回路

Claims (2)

1. 映像情報を記録する記録手段と、
   映像情報の再生を行う再生手段と、
   音声情報を入力する音声入力手段と、
   前記入力された音声情報を認識する音声認識手段と、
   前記入力された音声情報がシーン区切りの指示を示すと前記音声認識手段により認識された場合に、前記シーン区切りの位置を示す情報を作成し、シーン区切りの指示を示す音声情報が入力された前後の所定期間に入力された音声情報である区切り音声情報を前記シーン区切りの位置に対応づけるよう制御する制御手段と、
   前記シーンの区切りの位置に対応するサムネールを作成する作成手段と、
   前記作成された複数のサムネールを表示する表示手段と、を備え、
   前記制御手段は、前記複数のサムネールが表示されている場合には、前記区切り音声情報を第１の音量によって再生し、前記再生手段により前記映像情報を再生する場合には、前記区切り音声情報を第２の音量によって再生するように制御することを特徴とする情報記録装置。
2. 映像情報を記録する記録手段と、
   音声情報を入力する音声入力手段と、
   映像情報及び音声情報を再生する再生手段と、
   前記入力された音声情報を認識する音声認識手段と、
   前記入力された音声情報が、シーン区切りの指示を示すと前記音声認識手段により認識された場合に、前記シーン区切りの位置を示す情報を作成し、シーン区切りの指示を示す音声情報が入力された後所定期間に入力された音声情報である区切り音声情報を前記シーン区切りの位置に対応づける制御手段と、を備え、
   前記再生手段は、複数の再生モードを備え、各再生モードに応じて、該区切り音声情報の出力レベルを制御することを特徴とする情報記録装置。

Images