JP3426957B2 - 映像中への音声録音支援表示方法及び装置及びこの方法を記録した記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像に音声情報を
付加する際に、音声を入力するタイミングを指示するイ
ンタフェースに関する技術であって、音声のインサート
を簡単に行うことができ、映像制作の支援に役立つ音声
録音支援表示方法及び装置に関するものである。

【０００２】

【従来の技術】映像のデジタル処理技術の急速な発展に
伴い、安い器材で簡単に高いクオリティの映像を編集、
作成することが可能になった。

【０００３】デジタル技術による映像の利用方法の顕著
な例は、ノンリニアの映像編集装置である。時系列情報
である映像の内容を空間的に展開し、各映像区間にラン
ダムなアクセスを可能としたことで、時系列に縛られる
ことなく自由に映像を編集することができるようになっ
ている。

【０００４】しかし、一次元の時系列情報と呼ばれる音
声情報は、空間的な展開が困難であるという問題がある
ため、編集の際に問題が大きかった。

【０００５】例えば、映像編集の重要なプロセスである
ナレーションやセリフ入れ等のオペレーションは、録音
した原音声から音声区間を切り出して、映像に配置させ
る時間を適宜変更し、配置するという操作を行ってい
た。音声の時間、タイミングが映像と適合していない場
合には、何度も適合する音声を録音し直すという操作を
必要としていた。

【０００６】そこで、こうした音声の録音を行うかわり
に、しゃべらせるべきテキストを入力して、音声合成で
音声を付加する方法も提案されている。例えば、「様々
な音声表現を実現できる音声作成ツール −Ｓｐｅｅｄ
９７−」（音声言語情報処理１７−１２ １９９７／７
／１９、阿部匡伸、水野秀之、中蔦信弥）等があげられ
る。

【０００７】

【発明が解決しようとする課題】しかしながら、音声の
代わりにテキストを入力して、音声合成で音声を付加す
る上記従来の方法では、合成される音声の品質が低く、
個人性が反映されないという問題点があった。

【０００８】そのため、高いクオリティの音声を用いて
映像作品を編集し、制作するためには、やはり人間を始
めとする生の原音を録音して用いる方が、品質の面から
も、個人情報という点からも望まれていた。

【０００９】しかし、原音の録音には上述したように、
その入力に困難が伴うという問題点がある。

【００１０】そこで本発明は、上述の問題点を解決する
ため、映像編集において、録音すべき音声を、編集者が
発声者に対して、いつ、どのような発声音で発声しても
らえば良いかという指示を与えやすく、発声者はその指
示を理解して発声しやすいようにする操作を簡単に行う
ことができるインタフェースを提供することを課題とす
る。

【００１１】

【課題を解決するための手段】本発明は、以下に列記し
た発明により、上述の課題を解決する。

【００１２】（１）の発明は、映像に音声情報を挿入す
る際に、音声を発する際の編集者から発声者への要求条
件を表示する映像中への音声録音支援表示方法におい
て、音声入力を行いたい映像区間を限定して映像区間を
切り出し、該切り出された映像区間に対して挿入したい
音声に対応するテキスト情報を付加してテキスト付き映
像区間を生成し、該テキスト付き映像区間のテキスト情
報から音声を合成して合成音声を生成し、該合成音声に
対して加工を加えて加工合成音声を生成し、該同期を取
られた映像区間、加工合成音声、テキスト情報の３種類
乃至は一部の種類を抽出して同期して再生し、発声者に
対して、発声すべき音声と発声への要求条件を指示し、
該発声者が発声した内容を録音して、録音音声を取得す
ることを特徴とする映像中への音声録音支援表示方法で
ある。

【００１３】（２）の発明は、（１）の発明において、
前記録音音声を取得した後、該録音音声と、前記加工合
成音声の一致具合を比較し、該比較した結果で、該録音
音声と前記映像区間とから、音声付き映像区間を生成す
ることを特徴とする映像中への音声録音支援表示方法で
ある。

【００１４】（３）の発明は、映像に音声情報を挿入す
る際に、音声を発する際の編集者から発声者への要求条
件を表示する映像中への音声録音支援表示装置におい
て、音声入力を行いたい映像区間を限定して切り出す映
像区間切り出し部と、該切り出された映像区間に対し
て、録音したい音声のテキスト情報を映像に付加してテ
キスト付き映像区間を生成するテキスト付加部と、該テ
キスト付き映像区間のテキスト情報から、合成音声を生
成する音声合成部と、該合成音声に対して加工を行い加
工合成音声を生成する合成音声加工部と、該同期を取ら
れた映像区間、加工合成音声、テキスト情報の３種類乃
至は一部の種類を抽出して同期して再生し、発声者に対
して発声すべき音声と発声への要求条件を指示させるテ
キスト同期再生部と、発声者によって発声された音声を
録音する音声録音部と、を有することを特徴とする映像
中への音声録音支援表示装置である。（４）の発明は、（３）の発明において、前記録音され
た音声と前記加工合成音声の一致具合を比較する比較部
と、該比較した結果で、該録音音声を前記映像区間に付
加する映像音声付加部と、を有することを特徴とする映
像中への音声録音支援表示装置である。

【００１５】（５）の発明は、映像に音声情報を挿入す
る際に、音声を発する際の編集者から発声者への要求条
件を表示する場合における、音声入力を行いたい映像区
間を限定して切り出す手順と、該切り出された映像区間
に対して挿入したい音声に対応するテキスト情報を付加
してテキスト付き映像区間を生成する手順と、該テキス
ト付き映像区間のテキスト情報から音声を合成して合成
音声を生成する手順と、該合成音声に対して加工を加え
て加工合成音声を生成する手順と、該同期を取られた映
像区間、加工合成音声、テキスト情報の３種類乃至は一
部の種類を抽出して同期して再生する手順と、発声者に
対して、発声すべき音声と発声への要求条件を指示する
手順と、該発声者が発声した内容を録音して、録音音声
を取得する手順と、をコンピュータに実行させるための
プログラムを、該コンピュータが読み取り可能な記録媒
体に記録したことを特徴とする映像中への音声録音支援
表示方法を記録した記録媒体である。

【００１６】（６）の発明は、（５）の発明における、
前記録音音声を取得する手順の後に、該録音音声と、前
記加工合成音声の一致具合を比較する手順と、該比較し
た結果で、該録音音声と前記映像区間とから、音声付き
映像区間を生成する手順と、を加え、これらの手順をコ
ンピュータに実行させるためのプログラムを、該コンピ
ュータが読み取り可能な記録媒体に記録したことを特徴
とする映像中への音声録音支援表示方法を記録した記録
媒体である。

【００１７】本発明では、編集者は、発声者が発声すべ
き音声をテキストで入力し、合成音声とそれに対する操
作を行うことで、テキスト情報をいつ、どのように発声
すれば良いかをあらかじめ容易に表現することができる
ようになる。一方で、こうしたテキスト情報と合成音声
情報による手本を参考に、発声者は、いつどのようなタ
イミングでどんな雰囲気で発声すれば良いか直感的に発
声情報を理解することが可能となる。さらに、合成音声
と発声者による音声とを比較する機能を有することによ
り、編集者が考える理想的な音声に近づいた音声を発声
者は、発声しやすく、編集者は発声された音声の中から
選択、利用しやすくすることができるようになり、音声
を映像に付加することができるようになる。

【００１８】

【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。

【００１９】図１に、本発明の一実施形態例による映像
中への音声録音支援方法の処理フローを示す。

【００２０】まず、編集する際の素材となる入力映像デ
ータ０が与えられる。そこから、音声を付加したい映像
区間１を映像区間切り出し手段１０を用いて切り出す。
切り出された映像区間１に対して、編集者は、テキスト
付加手段１１によって付加したい音声情報に対応するテ
キスト情報２を付加する。この際のテキスト情報２は極
力表音記号で表される方が望ましい。

【００２１】こうして得られたテキスト付き映像区間３
に対して、そのテキスト部分を音声合成手段１２によっ
て、合成音声４を生成する。生成された音声合成４は、
合成音声加工手段１３によって、さらに細かく加工さ
れ、加工合成音声５を得ることができる。合成音声加工
手段１３は、人の手が加わっても良いし、全自動で行っ
ても良い。

【００２２】生成された加工合成音声５から、テキスト
及び音声指示手段１４によって、音声を挿入する挿入音
声６を得る。この挿入音声６を発声録音手段１５によっ
て音声を録音し、録音音声７を得る。

【００２３】録音音声７と加工合成音声５の一致具合
を、比較手段１６によって比較し、録音音声７を利用す
ると決定した場合には、録音音声７を採用して映像区間
と組み合わせて音声付き映像区間８を生成することがで
きる。

【００２４】図２のブロック図により、本発明の一実施
形態例による映像中への音声録音支援装置の構成例を示
す。

【００２５】映像及び対象映像に処理を加えた結果を保
存する記録メディア１００を備えており、入力された映
像２０がまず記録メディア１００に格納される。入力さ
れる映像２０はディジタル化されていれば良く、映像デ
ータなら何でも構わない。例えば、非圧縮の映像データ
でも良いし、ＪＰＥＧ等によって圧縮されていても構わ
ないし、ＭＰＥＧ符号化されていても構わない。ファイ
ル形式も、ＡＶＩ、ＱｕｉｃｋＴｉｍｅなどさまざまな
もので構わない。この入力映像及び各種処理結果を記録
する記録メディア１００は、磁気、光等を利用して、テ
ープ、ＣＤＲ、ＤＶＤ、メモリ（Ｍｅｍｏｒｙ）等で構
わないが、十分に高速で読み書きが可能なメディアであ
ることが望ましい。

【００２６】入力映像２０から、編集者３０は、編集者
指示部５０を介して、映像区間切り出し部４０に対して
指示を与えて、任意の映像区間２１を切り出す。この際
に映像区間切り出し部４０は、まったく手動で切り出し
ても良いし、自動的に切り出しても良い。これには、特
開平５−３７８５３号公報「動画像のカット自動分割方
法」等の従来技術が利用可能である。

【００２７】編集者３０は、同様に編集者指示部５０を
介して映像に付加したい音声情報のテキスト内容を記し
たテキスト情報３１を付加する。このテキスト情報３１
は、表音記号であることが望ましいが、表意記号などで
も、一意に発音が決定されるものであれば構わない。ど
のように発音するのかが、一意に決定できる記号であれ
ば必ずしも文字である必要はない。テキスト情報付加部
４１にて、テキスト情報３１を映像区間２１に付加す
る。

【００２８】テキスト情報３１は、映像に付加するだけ
でなく、音声合成部５１にて音声合成を行い、合成音声
３２を生成する。その音声の長さ、声の高さ、イントネ
ーション、音色等は任意のもので構わない。合成音声３
２は、一般には、機械的であり、イントネーション等が
理想的な状態ではない場合があるので、合成音声加工部
５２にて、合成音声３２のイントネーションや、発声の
タイミング等の情報を指定し、加工する。なお、合成音
声３２は、映像区間２１に付加することが前提となって
いるので、テキスト情報付き映像区間２２を参考に、映
像区間２１に適合するように合成音声加工部５２では、
加工を行うことができる。

【００２９】すなわち、加工合成音声３３では、映像の
時系列に合わせて、どこから合成音声を発声させるか、
どの程度で終了するかといった部分までの加工を行う。
こうして得られた加工合成音声３３は、テキスト音声映
像同期部４２によって、テキスト情報付き映像２２と、
同期が行われ、映像及び音声対応テキスト２３によっ
て、映像と合成音声とテキストとが完全に同期が取れた
状態で再生を行うことができる。ここでいうテキストと
は、合成音声の元になったテキスト情報であり、発音内
容が一意に決定されることが条件であり、映像及び音声
を再生すると明示的に、テキスト情報のどの部分が再生
されているのかがわかるようになっている。具体的にど
のように明示されるかについては後述する。

【００３０】得られた映像及び音声対応テキスト２３を
テキスト同期再生部４４にて再生すると、実際に声を入
力し、付加する音声を発声する発声者３５に対して、映
像の再生中に、いつどのようなタイミングでどのような
発音の音声を発すれば良いかを明示的に表現することが
できる。

【００３１】発声者３５は、発声録音部４５に対して、
音声を発声し、録音音声３６を得る。得られた録音音声
３６が、加工合成音声３３と一致しているかどうか音声
比較部４６にて比較し、加工合成音声３３と差が少な
く、編集に利用でき得るとなれば、録音音声３６から利
用録音音声３７が選択、抽出される。得られた利用録音
音声３７と、映像及び音声対応テキスト２３とを、映像
音声付加部４７にて組み合わせることで発声者による音
声付き映像３８が生成される。得られた音声付き映像３
８は、記録メディア１００に格納される。

【００３２】なお、各ブロックにおいて、途中で生成さ
れる、映像区間２１、テキスト情報付き映像区間２２、
テキスト情報３１、合成音声３２、加工合成音声３３、
録音音声３６、映像及び音声対応テキスト２３、利用録
音音声３７等は、適宜記録メディア１００に格納される
ものとする。図２のブロック図では、一部しか明示的に
は格納されないことになっているが、すべての情報を格
納するなどの拡張は容易に類推が可能であり、本発明の
実施形態例の範囲内である。

【００３３】以下に、図２中のいくつかのブロックにつ
いて説明を加える。

【００３４】音声合成部５１では、一意に発音が決定さ
れる表音記号から成り立つテキスト情報３１を元に、合
成音声３２を生成する。この合成音声生成ツールは従来
方法で紹介した例を含め、すでに様々なものが提案され
ている。同様に音声合成加工部５２では、合成音声３２
の開始点、イントネーション、発音の長さを任意に変更
する手段が、従来方法で紹介してＳｐｅｅｄ９７等をは
じめとしていくつも提案されている。すなわち合成音声
を生成し、かつ、加工することは既存の技術を用いるこ
とで実現することができる。

【００３５】次に、テキスト同期再生部４４では、編集
者３０は、どのタイミングで、何を発音させ、どこで終
了させたいのかという具体例が、実際に発声する発声者
３５にわかりやすくなっていることが望ましい。音声及
び映像情報はいずれも時系列情報であり、時系列を表示
したまま、表音記号からなるテキスト情報を表示するも
のが最も有効である。このテキスト同期再生部４４の２
つの具体的なイメージを図３に示す。

【００３６】図３（ａ）は、第１のイメージであって、
時系列情報を空間に展開して示している例であり、映像
の一部乃至すべての画像が表示されている。一方、音声
トラックにおいても一部乃至すべての情報が表示され、
対応するテキスト情報も表示されている。その中で、映
像が再生されると表示されるフレームと音声トラックが
時系列に沿って切り替わる間に、対応するテキスト情報
も切り替わったものが表示される。

【００３７】図３（ｂ）は、第２のイメージであり、映
像をモニターなどでの映像表現手段で表示し、音声情報
をスピーカー等の音声表現手段で再生しつつ、モニター
の一部や専用のテキスト表示部でテキスト情報を表示す
る。テキスト情報の一部は、同期する映像の推移と同期
して、再生済みの文字は色変わり等を行うことにして、
テキスト情報の変化推移を表現する。

【００３８】次に、発声録音部４５では、発声者３５の
音声の録音を行う。この録音音声３６は、モノラル録音
でも、ステレオ録音でも良いし、なんらかの符号化録音
が行われても良いし、いずれの帯域幅を利用しても構わ
ない。録音音声３６のうち、利用録音音声３７として採
用するかどうかの判定は、加工合成音声３３との比較を
行う音声比較部３６にて比較を行い、その結果から、自
動判定及び、編集者によって判断される。この音声比較
部４６では、合成音声による時系列情報と、発声された
情報とが一致しているかどうかを比較する機能を有して
いる。その方法は、例えば、合成音声のレベルと、録音
された録音音声のレベルとを比較し、それぞれの相対的
な音声レベルの変化の一致ぐあいを比較することによっ
て実現できる。

【００３９】このような音声レベルの比較方法だけでな
く、他にも、波形や周波数分布の変化を元に比較する等
の操作方法が考えられる。いくつかの比較方法を図４に
示す。これは音量比較を行ったものであり、加工音声合
成の音量変化と、録音音声との比較を行い、差分結果が
０に近い分布が続く差分が小さいところは、音量の変化
がないので、類似した音声であるとする。一方で、差分
が大きいところは、音量の変化があるので、異なるもの
であるとする。なお、あらかじめ比較の際には、音量を
正規化する処理を行っておく。さらに、音量による比較
だけでなく、周波数帯域での比較において、それぞれの
ピッチ情報を抽出して、周波数成分同士を比較すること
により、評価を行うことも可能である。

【００４０】なお、こうした音声比較部４６での比較結
果は、あくまでも参考情報として、編集者３０が最終的
に定性的な評価を加えて判断を下すようにしても良い
し、比較結果を定量的に評価して判断しても良い。

【００４１】以上、映像中への音声録音支援方法及び装
置について説明を加えてきた。上述の実施形態例に対し
て、さまざまなアレンジを加えることは容易に類推で
き、それらも本発明の範囲内である。

【００４２】なお、図１を用いて説明した処理の手順を
記載したコンピュータプログラム、あるいは図２で説明
した各ブロックの機能を実現するコンピュータプログラ
ムを記録した記録メディアと、映像等の保存メディア
と、記録メディアからプログラムを読み取り、実行する
ことが可能なコンピュータが存在すれば、本発明を実施
することが可能である。記録メディアとしては、例えば
ＲＯＭやＦＤ、メモリカード、ＭＯ、ＣＤ、ＤＶＤなど
や、それらに類するものであって、コンピュータが読み
取り可能なものであれば、何でも構わない。

【００４３】

【発明の効果】本発明によれば、映像に音声情報を付加
する場合に、編集者が実際に録音する声を発声する人へ
指示しやすく、かつ、発声者はいつ、どのタイミング
で、どの内容をどのようなイントネーションで発音すれ
ば良いのかという編集者からの指示を具体的に受け取る
ことを可能とするインタフェースを提供することができ
る。これにより、録音する音声の発声者の負担を軽減す
ることが可能となり、音声付き映像作品を簡単に制作す
ることが可能となる。よって、映像制作を支援する効果
がある。

【図面の簡単な説明】

【図１】本発明の映像中の音声録音支援方法の一実施形
態例を説明する処理フロー図である。

【図２】本発明の映像中の音声録音支援装置の一実施形
態例を説明するブロック図である。

【図３】（ａ），（ｂ）は、上記映像中の音声録音支援
装置の一実施形態例におけるテキスト同期再生部の実現
イメージを示す図である。

【図４】上記映像中の音声録音支援装置の一実施形態例
における音声比較部での音声比較方法の一例を説明する
図である。

【符号の説明】

１０…映像区間切り出し手段 １１…テキスト付加手段 １２…音声合成手段 １３…合成音声加工手段 １４…テキスト及び音声指示手段 １５…発生録音手段 １６…比較手段 ４０…映像区間切り出し部 ４１…テキスト情報付加部 ４２…テキスト音声同期部 ４４…テキスト同期再生部 ４５…音声録音部 ４６…音声比較部 ４７…映像音声付加部 ５０…編集者指示部 ５１…音声合成部 ５２…合成音声加工部 １００…記録メディア

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平11−88828（ＪＰ，Ａ) 特開 平５−37853（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/76 - 5/956

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 映像に音声情報を挿入する際に、音声を
   発する際の編集者から発声者への要求条件を表示する映
   像中への音声録音支援表示方法において、 音声入力を行いたい映像区間を限定して映像区間を切り
   出し、 該切り出された映像区間に対して挿入したい音声に対応
   するテキスト情報を付加してテキスト付き映像区間を生
   成し、 該テキスト付き映像区間のテキスト情報から音声を合成
   して合成音声を生成し、 該合成音声に対して加工を加えて加工合成音声を生成
   し、該同期を取られた映像区間、加工合成音声、テキスト情
   報の３種類乃至は一部の種類を抽出して同期して再生
   し、 発声者に対して、発声すべき音声と発声への要求条件を
   指示し、 該発声者が発声した内容を録音して、録音音声を取得す
   る、 ことを特徴とする映像中への音声録音支援表示方法。
2. 【請求項２】 請求項１に記載の映像中への音声録音支
   援表示方法において、 前記 録音音声を取得した後、 該録音音声と、前記加工合成音声の一致具合を比較し、 該比較した結果で、該録音音声と前記映像区間とから、
   音声付き映像区間を生成する、 ことを特徴とする映像中への音声録音支援表示方法。
3. 【請求項３】 映像に音声情報を挿入する際に、音声を
   発する際の編集者から発声者への要求条件を表示する映
   像中への音声録音支援表示装置において、 音声入力を行いたい映像区間を限定して切り出す映像区
   間切り出し部と、 該切り出された映像区間に対して、録音したい音声のテ
   キスト情報を映像に付加してテキスト付き映像区間を生
   成するテキスト付加部と、 該テキスト付き映像区間のテキスト情報から、合成音声
   を生成する音声合成部と、 該合成音声に対して加工を行い加工合成音声を生成する
   合成音声加工部と、 該 同期を取られた映像区間、加工合成音声、テキスト情
   報の３種類乃至は一部の種類を抽出して同期して再生
   し、発声者に対して発声すべき音声と発声への要求条件
   を指示させるテキスト同期再生部と、 発声者によって発声された音声を録音する音声録音部
   と、 を 有することを特徴とする映像中への音声録音支援表示
   装置。
4. 【請求項４】 請求項３に記載の音声録音支援表示装置
   において、 前記録音された音声と前記加工合成音声の一致具合を比
   較する比較部と、 該比較した結果で、該録音音声を前記映像区間に付加す
   る映像音声付加部と、 を有することを特徴とする映像中への音声録音支援表示
   装置。
5. 【請求項５】 映像に音声情報を挿入する際に、音声を
   発する際の編集者から発声者への要求条件を表示する場
   合における、 音声入力を行いたい映像区間を限定して切り出す手順
   と、 該切り出された映像区間に対して挿入したい音声に対応
   するテキスト情報を付加してテキスト付き映像区間を生
   成する手順と、 該テキスト付き映像区間のテキスト情報から音声を合成
   して合成音声を生成する手順と、 該合成音声に対して加工を加えて加工合成音声を生成す
   る手順と、該同期を取られた映像区間、加工合成音声、テキスト情
   報の３種類乃至は一部の種類を抽出して同期して再生す
   る手順と、 発声者に対して、発声すべき音声と発声への要求条件を
   指示する 手順と、 該発声者が発声した内容を録音して、録音音声を取得す
   る手順と、 を コンピュータに実行させるためのプログラムを、該コ
   ンピュータが読み取り可能な記録媒体に記録した、 ことを特徴とする映像中への音声録音支援表示方法を記
   録した記録媒体。
6. 【請求項６】 請求項５に記載の映像中への音声録音支
   援表示方法を記録した記録媒体における、 前記録音音声を取得する手順の後に、 該録音音声と、前記加工合成音声の一致具合を比較する
   手順と、 該比較した結果で、該録音音声と前記映像区間とから、
   音声付き映像区間を生成する手順と、を加え、 これらの手順をコンピュータに実行させるためのプログ
   ラムを、該コンピュータが読み取り可能な記録媒体に記
   録した、 ことを特徴とする映像中への音声録音支援表示方法を記
   録した記録媒体。