JP2009156888A - 音声補正装置及びそれを備えた撮像装置並びに音声補正方法 - Google Patents

Abstract

【課題】映像と対になっている音声に対して当該映像の撮影意図に沿うような補正を施すことができる音声補正装置を提供する。
【解決手段】映像と対になって記録又は再生される音声を補正する音声補正装置であって、前記映像を撮影したカメラの撮影画角内で検出された人数の情報を入力し、前記撮影画角内で検出された人数の情報に応じて前記音声に音声補正処理（例えば、音源分離処理部６２での音源分離処理、ステレオ処理部６３でのステレオ化処理、指向性処理部６４での指向性処理、音声帯域強調処理部６６での音声強調処理、モノラル／ステレオ切替部６８でのチャンネル数制御、音声圧縮処理部６９での符号ビット割り当て制御）を施す音声補正装置。
【選択図】図３

Description

本発明は、映像と対になっている音声を補正する音声補正装置及びそれを備えた撮像装置並びに音声補正方法に関する。

近年の映像情報処理技術の発展に伴い、映像情報から人間の顔や口の動き、顔の向きなどを検出する技術が開発されている。これらの検出された情報は、主にデジタルカメラ等のオートフォーカスやホワイトバランスの調整に使われることが多いが、音声の制御に使われるケースも増えてきている（例えば、特許文献１及び特許文献２）。

特許文献１において提案されている信号処理装置は、特定の被写体を検出し、特定の被写体を検出した場合のみ音声を強調する。検出対象となる特定の被写体は、予め登録しておく必要がある。

特許文献２において提案されている撮像機能付き携帯電話機は、携帯電話のカメラで通話者の唇の動きを撮影し、その動きから通話者の発話した音声を聞き取りやすいように補正する。

一方、デジタルビデオカメラ等で撮影する場合、映像に関してはそれぞれの撮りたいシーンに応じたモードが用意されており、それぞれのシーンに応じて映像が制御されているが、音声に関しては特にシーンに応じた音声制御はされていない。例えば自分の子供だけを撮りたい場合にも、周りのざわざわした音が入ってしまうことがある。そこで、特許文献３では、音声に関しても、シーンに応じた音声制御モードを用意しておき、撮影前にシーンを選択して記録する映像記録装置が提案されている。

特開２００７−１３２５５号公報 特開２００５−２４４３９４号公報 特開２０００−３５４１９０号公報

上述した従来技術にはいくつかの課題がある。特許文献１において提案されている信号処理装置や特許文献２において提案されている撮像機能付き携帯電話機のように、顔や口の映像検出情報から音声を強調する場合、ユーザの意図とは異なる音になってしまう可能性がある。例えば、運動会のように大勢の人が撮影画角内に存在する場合にも、全体の雰囲気よりも人物を主体とした音になってしまう。

また、特許文献３で提案されている映像記録装置のように、シーンに応じた音声制御モードを用意した場合においては、シーンを予め手動で設定する必要があり、設定をし忘れた場合には意図しない音声制御が施されてしまう。また同じシーンでも、ズームしたときとそうでないときで撮影者の意図(撮影者がとりたい音)が変わることがあり、単純なモード設定だけでは対応できない場合もある。

さらに、最近のデジタルビデオカメラは小型化が進み、集音用のステレオマイクや５．１ｃｈサラウンド録音対応マイクの取り付け位置やマイク間隔が限られてきているという現状もある。特にマイク間隔が狭くなると、マイク間での位相差がほとんどなくなるため、音声情報だけでは指向性を強調したり音源を分離したりすることが困難になってきている。

本発明は、上記の状況に鑑み、映像と対になっている音声に対して当該映像の撮影意図に沿うような補正を施すことができる音声補正装置及びそれを備えた撮像装置並びに映像と対になっている音声に対して当該映像の撮影意図に沿うような補正を施すことができる音声補正方法を提供することを目的とする。

上記目的を達成するために本発明に係る音声補正装置は、映像と対になって記録又は再生される音声を補正する音声補正装置であって、前記映像を撮影したカメラの撮影画角内で検出された人数の情報を入力し、前記撮影画角内で検出された人数の情報に応じて前記音声に音声補正処理を施すようにしている。

上記音声補正装置によると、映像と対になって記録又は再生される音声を補正する際に、前記映像を撮影したカメラの撮影画角内で検出された人数の情報に応じて前記音声に音声補正処理を施すので、映像と対になっている音声に対して当該映像の撮影意図に沿うような補正を施すことができる。

また、上記音声補正装置において、前記音声補正処理として、指向性制御、音源分離制御、音声強調制御、符号ビット割り当て制御、及びチャンネル数制御の少なくとも一つの制御を行うようにしてもよい。

また、上記各音声補正装置において、前記撮影画角内で検出された人数の情報に加えて、前記撮影画角内で検出された人数の情報以外の前記映像に関する情報及び／又は前記映像を撮影したカメラの制御情報を入力し、入力した情報に応じて音声補正処理を施すようにしてもよい。

これにより、例えば、集音用のステレオマイクや５．１ｃｈサラウンド録音対応マイクの取り付け位置やマイク間隔が限られていてマイク間での位相差がほとんどない場合でも、効率よく指向性を強調したり音源を分離したりすることができる。

また、上記各音声補正装置において、前記撮影画角内で検出された人数が予め設定した複数の区分のいずれに属するかを判定し、前記撮影画角内で検出された人数が属する区分に変動が生じた場合、その変動に応じて前記音声補正処理の内容を変更するようにしてもよい。前記複数の区分としては、例えば、０人、１人、２人、少人数、大人数の５つの区分が考えられる。

これにより、動画撮影中に前記撮影画角内で検出される人数が変動した場合でも、映像と対になっている音声に対して当該映像の撮影意図に沿うような補正を的確に施すことができる。さらに、音声補正処理の内容の変更繰り返しによる不自然な音の記録又は再生を防止するために、前記撮影画角内で検出された人数が属する区分の変動に応じた前記音声補正処理の内容の変更にヒステリシス特性を持たせるようにしてもよい。また、さらに、音声補正処理の内容をスムーズに変更するために、前記映像を撮影したカメラの制御情報を入力し、前記映像を撮影したカメラの制御情報を基に、前記撮影画角内で検出された人数が属する区分の変動を事前に推測し、前記撮影画角内で検出された人数が属する区分の変動前から前記音声補正処理の内容の変更を開始するようにしてもよい。

上記目的を達成するために本発明に係る撮像装置は、動画撮影機能を有する撮像装置であって、映像を撮影するカメラと、前記カメラの撮影画角内の人数を検出する映像処理手段と、前記映像処理手段から前記撮影画角内で検出された人数の情報を入力する上記いずれかの音声補正装置とを備えるようにする。

上記目的を達成するために本発明に係る音声補正方法は、映像と対になって記録又は再生される音声を補正する音声補正方法であって、前記映像を撮影したカメラの撮影画角内で検出された人数の情報を入力し、前記撮影画角内で検出された人数の情報に応じて前記音声に音声補正処理を施すようにする。

本発明によると、映像と対になって記録又は再生される音声を補正する際に、前記映像を撮影したカメラの撮影画角内で検出された人数の情報に応じて前記音声に音声補正処理を施すので、映像と対になっている音声に対して当該映像の撮影意図に沿うような補正を施すことができる。

本発明の実施形態について図面を参照して以下に説明する。

映像と対になっている音声に対して当該映像の撮影意図に沿うような補正を施すために、本発明に係る音声補正方法は、映像と対になって記録又は再生される音声を補正する際に、前記映像を撮影したカメラの撮影画角内で検出された人数の情報に応じて前記音声に音声補正処理を施す。例えば、撮影画角内で検出された人数が少ない場合は、人にフォーカスした撮影をしていると想定し、音声を強調するような制御を行う。また、例えば、撮影画角内で検出された人数が多い場合は、その場の雰囲気を重視した撮影をしていると想定し、より臨場感のある音声制御を行う。

さらに、本発明に係る音声補正方法では、撮影画角内で検出された人数の情報以外の映像情報（顔・口等の動き情報や顔・人物検出位置情報）やカメラ制御情報（焦点情報やズーム倍率情報）も音声補正処理に利用することも可能である。これらの情報を撮影画角内で検出された人数の情報と併用して利用することで、集音用のステレオマイクや５．１ｃｈサラウンド録音対応マイクの取り付け位置やマイク間隔が限られていてマイク間での位相差がほとんどない場合でも、効率よく指向性を強調したり音源を分離したりすることができる。

本発明に係る音声補正方法は、集音・記録時だけでなく、すでに記録されたデータを再生する場合にも適用できる。

以下では、本発明に係る音声補正方法を集音・記録時に適用した音声補正装置（本発明に係る音声記録装置）を搭載した撮像装置（例えば、ビデオカメラ、デジタルカメラなど）を例に挙げて説明する。なお、本発明に係る音声記録装置を搭載した撮像装置は、動画を撮影できるものであればよく、静止画を撮影できるものであっても構わない。

図１は、本発明に係る音声記録装置を搭載した撮像装置の内部構成例を示すブロック図である。

図１に示す撮像装置は、入射される光を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子（イメージセンサ）１と、被写体の光学像をイメージセンサ１に結像させるズームレンズとズームレンズの焦点距離すなわち光学ズーム倍率を変化させるモータとズームレンズの焦点を被写体に合わせるためのモータとを有するレンズ部２と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）３と、撮像装置の前方の左右方向から入力された音声を独立して電気信号に変換するステレオマイク４と、ＡＦＥ３からのデジタル信号となる画像信号に対して、階調補正等の各種画像処理を施し更にＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す画像処理部５と、ステレオマイク４からのアナログ信号である音声信号に対してデジタル信号に変換するとともに音声補正処理（ＭＰＥＧ圧縮方式などの圧縮符号化処理を含む）を施す音声処理部６と、画像処理部５からの圧縮符号化画像信号及び音声処理部６からの圧縮符号化音声信号を多重化する多重化処理部７と、多重化処理部７で多重化された圧縮符号化信号をＳＤカードなどの外部メモリ２２に記録するドライバ部８と、ドライバ部８で外部メモリ２２から読み出した圧縮符号化信号を伸長して復号する伸長処理部９と、伸長処理部９で復号されて得られた画像信号をアナログ信号に変換するビデオ出力回路部１０と、ビデオ出力回路部１０で変換された信号を出力するビデオ出力端子１１と、ビデオ出力回路部１０からの信号に基づく画像の表示を行うＬＣＤ等を有するディスプレイ部１２と、伸長処理部９からの音声信号をアナログ信号に変換する音声出力回路部１３と、音声出力回路部１３で変換された信号を出力する音声出力端子１４と、音声出力回路部１３からの音声信号に基づいて音声を再生出力するスピーカ部１５と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）１６と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１７と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１８と、ユーザからの指示が入力される操作部１９と、ＣＰＵ１７と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、メモリ１８と各ブロックとの間でデータのやりとりを行うためのバス回線２１と、を備える。なお、ＣＰＵ１７は、画像処理部５で検出した画像信号に応じて、レンズ部２内の各モータを駆動して焦点、絞りの制御を行う。

音声処理部６が本発明に係る音声記録装置に該当する。小型化及び低コスト化の観点から、本発明に係る音声記録装置は、１パッケージ化されたＬＳＩパッケージになっていることが望ましい。

次に、図１に示す撮像装置の動画撮影時の基本動作について図２のフローチャートを用いて説明する。まず、ユーザが操作部１９を操作して撮像装置を動画撮影用に設定して電源をＯＮにすると（ＳＴＥＰ１）、撮像装置の駆動モードつまりイメージセンサ１の駆動モードがプレビューモードに設定される（ＳＴＥＰ２）。続いて撮影モードの入力待ち状態となる。撮影モードが入力されない場合は通常撮影用のモードが選択されたものとする（ＳＴＥＰ３）。プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３においてデジタル信号に変換されて、画像処理部５で画像処理及び圧縮符号化処理が施された現時点の画像に対する圧縮符号化画像信号が外部メモリ２２に一時的に記録される。この圧縮符号化画像信号は、ドライバ部８を経て、伸長処理部９で伸長され、現時点で設定されているレンズ部２のズーム倍率での画角の画像がディスプレイ部１２に表示される。

続いてユーザが、撮影の対象とする被写体に対して所望の画角となるように、操作部１９を操作すると、その操作に応じた光学ズームでのズーム倍率が設定される（ＳＴＥＰ４）。その際、画像処理部５に入力された画像信号を基にＣＰＵ１７によってレンズ部２を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・焦点合わせ制御（オートフォーカス、Auto Focus；ＡＦ）が行われる（ＳＴＥＰ５）。

その後、操作部１９の録画開始ボタン（静止画撮影用のシャッターボタンと兼用でも構わない）が全押しされ、録画動作の開始が指示されると（ＳＴＥＰ６のＹ）、録画動作が開始され、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３に出力される。このとき、イメージセンサ１では、ＴＧ１６からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ３において、アナログ信号である画像信号（生データ）がデジタル信号に変換されて、画像処理部５内のフレームメモリに書き込まれる（ＳＴＥＰ７）。

画像処理部５では輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理及び圧縮符号化処理が施され、その画像処理及び圧縮符号化処理が施された圧縮符号化画像信号が多重化処理部７に与えられる。一方、音声処理部６では、ステレオマイク４に音声入力されることで得られたアナログ信号である音声信号に対してＡ／Ｄ変換処理が施されるとともに、画像処理部５からの人数情報を基に音声補正処理（圧縮符号化処理を含む）が施され、その音声補正処理が施された圧縮符号化音声信号が多重化処理部７に与えられる（ＳＴＥＰ８）。この音声補正処理については後述する。

多重化処理部７では、圧縮符号化画像信号及び圧縮符号化音声信号を多重化し（ＳＴＥＰ９）、ドライバ部８に与えて、外部メモリ２２に記録させる（ＳＴＥＰ１０）。また、このとき、外部メモリ２２に記録された圧縮データがドライバ部８によって読み出されて伸長処理部９に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部１２に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。その後、再び操作部１９の録画開始ボタンが全押しされ、録画動作の終了が指示されると（ＳＴＥＰ１１のＹ）プレビューモードに戻る（ＳＴＥＰ２）。

このような撮像動作を行うとき、ＴＧ１６によって、ＡＦＥ３、画像処理部５、音声処理部６、多重化処理部７、及び伸長処理部９に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。

また、外部メモリ２２に記録された圧縮動画データを再生することが、操作部１９を通じて指示されると、外部メモリ２２に記録された圧縮動画データは、ドライバ部８によって読み出されて伸長処理部９に与えられる。そして、伸長処理部９において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部１２に与えられて画像が再生されるとともに、音声信号が音声出力回路部１３を介してスピーカ部１５に与えられて音声が再生される。これにより、外部メモリ２２に記録された圧縮動画データに基づく画像が音声とともに再生される。

次に、音声処理部６が実施する音声補正処理の内容について説明する。図３は音声処理部６の構成例を示すブロック図であり、図４はステレオ角及び指向角についての模式図である。なお、音声処理部６が実施する音声補正処理には、音声信号の加工のみならずステレオ角や指向角の変更も含まれる。

音声処理部６は、図３に示すように、画像処理部５からの人数情報を基に、さらに必要に応じて、画像処理部５からの顔・口等の動き情報、顔・人物検出位置情報や、ＣＰＵ１７からの焦点情報、ズーム倍率情報を基に音声補正制御方法を決定し、その決定に応じて音声処理部６の各部を制御する音声補正制御方法決定部６０と、ステレオマイク４から出力された二つの音声信号（Ｒｃｈ，Ｌｃｈ）をそれぞれデジタル信号に変換するＡ／Ｄ変換部６１と、Ａ／Ｄ変換部６１から出力された二つの音声信号に音源分離処理を施す音源分離処理部６２と、Ａ／Ｄ変換部６１から出力された二つの音声信号にステレオ化処理を施すステレオ化処理部６３と、Ａ／Ｄ変換部６１から出力された二つの音声信号に指向性処理を施す指向性処理部６４と、音源分離処理部６２で音源分離処理が施された二つの音声信号のそれぞれとステレオ化処理部６３でステレオ化処理が施された二つの音声信号のそれぞれと指向性処理部６４で指向性処理が施された二つの音声信号のそれぞれとを所定の割合で加算する、二つの第１の加算器６５と、二つの第１の加算器６５から出力された音声信号のそれぞれに対して特定の帯域を強調する音声帯域強調処理部６６と、音声帯域強調処理部６６から出力された二つの音声信号（ステレオ信号）を所定の割合で加算してモノラル化する第２の加算器６７と、第２の加算器６７から出力されたモノラル信号と音声帯域強調処理部６６から出力されたステレオ信号とのいずれか一方を出力するモノラル／ステレオ切替部６８と、モノラル／ステレオ切替部６８から出力された音声信号に圧縮符号化処理を施す音声圧縮処理部６９とを備える。音声圧縮処理部６９から出力された圧縮符号化音声信号は多重化処理部７に出力される。なお、ステレオ化処理部６３において実施されるステレオ化処理の詳細及び指向性処理部６４において実施される指向性処理の詳細については後述する。

音声処理（図２のＳＴＥＰ８）を開始する際に、音声処理部６は、まず初期化動作として指向性処理部６４でステレオ角を最大値または最小値に設定する。尚、この初期化動作は行わなくても構わない。本実施形態においてステレオ角とは、図４に示す、撮像装置１００（＝図１に示す撮像装置）のステレオマイク４（図４において不図示）の３個の集音方向のうち、右方向の指向方向Ｒと左方向の指向方向Ｌとのなす角度θ１のことである。また、ステレオマイク４の正面方向については、主な集音の範囲を示す角度である指向角θ２を変化させることができる。指向角θ２は以下において正面指向性とも表すことがある。尚、図４には、左右方向の指向角θＲ、θＬも示している。ステレオ角θ１、正面指向性θ２は、音声処理部６に設けられた指向性処理部６４で変化させることができる。

一方、録画動作中（図２のＳＴＥＰ７〜ＳＴＥＰ１０）、画像処理部５は撮影画角内に人物の顔があるかどうかを検出する。

ここで、画像処理部５が実施する顔検出処理について説明する。画像処理部５は顔検出装置５０を備え、入力された画像信号から人物の顔を検出することができる。顔検出装置５０の構成及び動作について以下に説明する。

図５は、顔検出装置５０の構成例を示すブロック図である。顔検出装置５０は、ＡＦＥ３によって得られた画像データに基づいて１または複数の縮小画像を生成する縮小画像生成部５１、入力画像および縮小画像から構成される各階層画像とメモリ１８に記憶された顔検出用の重みテーブルとを用いて入力画像に顔が存在するか否かを判定する顔判定部５２、および顔判定部５２の検出結果を出力する検出結果出力部５３を備えている。検出結果出力部５３は、顔が検出された場合には検出された顔の数に関する情報（＝人数情報）を出力し、さらに必要に応じて、検出された顔の動きや検出された顔内の口の動きに関する情報（＝顔・口等の動き情報）、検出された顔の向きや検出された顔の入力画像を基準とする位置に関する情報（＝顔・人物検出位置情報）も出力する。なお、検出された顔の動きや検出された顔内の口の動きに関する情報は、例えば、画像処理部５での映像圧縮処理において行われる動き検出の結果を利用して生成することができる。また、検出された顔の向きに関する情報は、例えば、顔判定部５２での判定過程の情報を利用して生成することができる。

また、メモリ１８に記憶された重みテーブルは、大量の教師サンプル（顔および非顔のサンプル画像）から求められたものである。このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。

尚、Adaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによって、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。

図６は、縮小画像生成部５１によって得られる階層画像の一例を示している。この例では、縮小率を０．８に設定した場合に、生成される複数の階層画像を示している。図６において、１５０は入力画像を、１５１〜１５５は縮小画像を示している。入力画像１５０の他に、複数の縮小画像１５１〜１５５を生成しているのは、１種類の重みテーブルを用いて大きさが異なる顔を検出するためである。

図７は顔検出処理を説明するための図である。図７には、入力画像１５０および各縮小画像１５１〜１５５と、入力画像１５０および各縮小画像１５１〜１５５内にそれぞれ設定された判定領域１６１とを示している。この例では、判定領域１６１は縦２４画素、横２４画素の大きさに設定されている。判定領域１６１の大きさは、入力画像１５０および各縮小画像１５１〜１５５において全て同じである。また、この例では、図７に矢印で示すように、階層画像上で判定領域を左から右に移動させる、水平方向走査を、上方から下方に向かって行うことで、判定領域とマッチングする顔画像の検出を行う。ただし、走査順はこれに限られるものではない。

顔判定部５２において各階層画像毎に行なわれる顔検出処理は、画像内に設定された判定領域に対応する画像と重みテーブルとを用いて行なわれる。顔検出処理は粗い判定から順次細かい判定に移行する複数の判定ステップからなり、ある判定ステップにおいて、顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域には顔は存在しないと判定する。全ての判定ステップにおいて、顔が検出された場合にのみ、当該判定領域に顔が存在すると判定し、判定領域を走査して次の判定領域での判定に移行する。尚、このような顔検出処理については、本願出願人による特許出願である特願２００６−０５３３０４号に詳しく記載されている。

音声処理部６は、音声処理（図２のＳＴＥＰ８）において、顔検出装置５０からの人数情報を基に音声信号に対して音声補正処理を施す。

＜検出人数が１人の場合＞
例えば撮影者が自分の子供１人を動画撮影している場合、撮影画像は図８に示すようになり、顔検出装置５０によって検出される人数は１人となる。なお、図８では、実際の撮影画像には存在しない、被写体が音を発していることを意味する吹き出し８１及び顔の位置を囲む枠８２も便宜上図示している。

顔検出装置５０によって検出される人数が１人である場合は、撮影者が特定の１人の人物にフォーカスした動画撮影をしていると想定されるため、特定の１人の人物の音声を強調した音声補正処理を行う。具体的な処理としては、例えば以下のような処理が挙げられる。

音声帯域強調処理部６６で声の成分の基本周波数となる数十Ｈｚ〜数百Ｈｚの帯域のゲインを増幅させたり、声のピッチ(高調波)を解析してそのピッチ信号を増幅させたりする処理を施す。逆に、音声帯域強調処理部６６で声以外の信号ゲインを減衰させても良い。

また、本実施形態のように音声信号を圧縮して記録する場合は、音声圧縮処理部６９が、全帯域に均等に符号ビットを割り当てるのではなく、声の成分が余り含まれていない帯域Ｂ２（図９参照）に割り当てる符号ビットを減らし、その分、声の成分の基本周波数となる数十Ｈｚ〜数百Ｈｚの帯域Ｂ１（図９参照）に符号ビットを多く割り当てて音声符号化処理を行うことを望ましい。このような音声符号化処理を行うことで、撮影者がとりたい音の劣化が少ない圧縮音声信号を外部メモリ２２に記録することができる。

また、被写体が１人であるので、モノラル／ステレオ切替部６８に１ｃｈ分のモノラル信号を出力させる。このようにモノラル化することによって、符号ビットを１チャンネルに集中して割り当てることができるので、より量子化ノイズの少ない圧縮ができる。

さらに、人数情報以外の映像情報（顔・口等の動き情報や顔・人物検出位置情報）やカメラ制御情報（焦点情報やズーム倍率情報）を音声補正処理に利用することも可能である。

例えば、撮影画角内の顔の位置を利用することで、集音指向性を制御することができる。かかる制御例としては、図８では、顔の位置を枠８２で囲んでいるが、この枠８２の位置情報(撮影画角内のＸ，Ｙ座標)を利用し、この枠８２が撮影画像の中央付近にある場合は、指向性処理部６４で正面指向性θ２を他の場合に比べて狭いものにする制御が挙げられる。

また、例えば、カメラ制御情報（ズーム倍率や焦点距離）を利用することで、被写体(＝撮影者がとりたい音の音源)との距離を算出し、それに応じた音声制御を行うことができる。かかる制御例としては、被写体(＝撮影者がとりたい音の音源)との距離が長い場合は、音声帯域強調処理部６６で数十Ｈｚ〜数百Ｈｚの帯域のゲインの増幅率または声以外の信号ゲインの減衰率を他の場合に比べて大きくする制御が挙げられる。

＜検出人数が２人の場合＞
例えば撮影者が１人の子供とお父さんを動画撮影している場合や撮影者が２人の子供を動画撮影している場合、撮影画像は図１０に示すようになり、顔検出装置５０によって検出される人数は２人となる。なお、図１０では、実際の撮影画像には存在しない、被写体が音を発していることを意味する吹き出し１０１、１０２も便宜上図示している。

顔検出装置５０によって検出される人数が２人である場合は、撮影者が特定の２人の人物にフォーカスした動画撮影をしていると想定されるため、特定の２人の人物の音声を強調した音声処理を行う。具体的な処理は、顔検出装置５０によって検出される人数が１人である場合と基本的に同様である。ただし、被写体が２人となるため、モノラル／ステレオ切替部６８に１ｃｈ分のモノラル信号を出力させるよりも２ｃｈ分のステレオ信号を出力させる方がよい。

また、顔検出装置５０によって検出される人数が１人である場合と同様に、人数情報以外の映像情報（顔・口等の動き情報や顔・人物検出位置情報）やカメラ制御情報（焦点情報やズーム倍率情報）を音声補正処理に利用することも可能である。

さらに、被写体が２人の場合には画角内に撮影者がとりたい音の音源が２つ存在するため、それぞれの音源を分離して集音し、それぞれの音源をＬｃｈとＲｃｈとに分けてステレオ録音することが望ましい。この場合、撮影画角内の被写体位置を参考にすることで、より効率的な音源分離・分集が実現できる。例えば、図１０に示すような撮影画像が得られているときには、音源分離処理部６２において、撮影画像の左側で検出された人物の音声（＝吹き出し１０１に対応する音声）を左チャンネル（Ｌｃｈ）に、撮影画像の右側で検出された人物の音声（＝吹き出し１０２に対応する音声）を右チャンネル（Ｒｃｈ）にそれぞれ分離して集音することもできる。

＜検出人数が少人数（１人及び２人を除く）の場合＞
例えば撮影者が少人数での会議の様子を動画撮影している場合や撮影者が少人数の子供が遊んでいるシーンを動画撮影している場合、顔検出装置５０によって検出される人数は少人数となる。図１１は、撮影者が少人数での会議の様子を動画撮影している場合の撮影画像を示している。なお、図１１では、実際の撮影画像には存在しない、被写体が音を発していることを意味する吹き出し１１１、１１２及び顔の位置を囲む枠１１３、１１４も便宜上図示している。

ここで、「少人数」とは、１人及び２人を除いている他は特に人数に制約はないが、例えば３〜６人と設定することができる。「少人数」の人数設定は、撮影者が操作部１９を操作することにより変更することができるようにしてもよい。

顔検出装置５０によって検出される人数が少人数である場合は、撮影者が撮影画角内の人にフォーカスした動画撮影をしていると想定されるため、音声を強調した音声処理を行う。具体的な処理は、顔検出装置５０によって検出される人数が１人である場合や２人である場合と基本的に同様である。ただし、被写体が複数人であるため、顔検出装置５０によって検出される人数が２人である場合と同様に、モノラル／ステレオ切替部６８に１ｃｈ分のモノラル信号を出力させるよりも２ｃｈ分のステレオ信号を出力させる方がよい。

また、顔検出装置５０によって検出される人数が１人である場合や２人である場合と同様に、人数情報以外の映像情報（顔・口等の動き情報や顔・人物検出位置情報）やカメラ制御情報（焦点情報やズーム倍率情報）を音声補正処理に利用することも可能である。特に口の動き情報を利用することが望ましい。例えば、図１１に示すような撮影画像が得られているときには、口の動いている人(＝顔を枠１１３、１１４で囲んでいる人)が発話していると推定し、指向性処理部６４でその人に指向性をあわせて集音する。また、その人物の撮影画角内の位置を参照することで、ステレオ化処理部６３で二つの音源（＝吹き出し１１３に対応する音声と吹き出し１１４に対応する音声）を別々のチャンネルに分離して集音することもできる。

＜検出人数が大人数の場合＞
例えば撮影者が運動会やお祭りなどの催し物のシーンを撮影する場合、顔検出装置５０によって検出される人数は大人数となる。図１２は、撮影者が合唱コンクールのシーンを動画撮影している場合の撮影画像を示している。

ここで、「大人数」とは、上述した「少人数」に抵触しない限り特に人数に制約はない。例えば「少人数」の人数設定が３〜６人であれば、「大人数」の人数設定は７人以上とすればよい。

顔検出装置５０によって検出される人数が大人数である場合は、撮影者が撮影画角内の特定人物ではなく、その場の雰囲気を重視した動画撮影をしていると想定されるため、顔検出装置５０によって検出される人数が１人、２人、少人数である場合とは異なり、より広帯域で臨場感があるような音声処理を行う。具体的な処理としては、チャンネルセパレーションのようなステレオ感強調処理や、サラウンド効果処理などを行う。このような音声処理の一例として、指向性処理部６４でステレオ角θ１を広いもの（例えば９０°）とすると共に、ステレオ化処理部６３で音声信号をステレオ化させるものが挙げられる。このような音声処理の他の例として、アップミックスを行うＣＭＳＳ（Creative Multi Speaker Surround）処理部をモノラル／ステレオ切替部６８と音声圧縮処理部６９との間に設け、音声圧縮処理部６９を１ｃｈの音声信号の圧縮処理や２ｃｈの音声信号の圧縮処理に加えてマルチチャンネル（例えば５．１ｃｈ）の音声信号の圧縮処理も行えるものとした構成において、前記ＣＭＳＳ処理部が例えば２ｃｈの音声信号を５．１ｃｈの音声信号に拡張する処理が挙げられる。

また、本実施形態のように音声信号を圧縮して記録する場合は、より臨場感のある音を記録するため、音声圧縮処理部６９が広帯域に符号ビットを割り当て、外部メモリ２２に記録する圧縮音声信号の周波数帯域Ｂ３（図１３参照）を広帯域に拡張するとよい。

また、顔検出装置５０によって検出される人数が１人、２人、少人数である場合と同様に、人数情報以外の映像情報（顔・口等の動き情報や顔・人物検出位置情報）やカメラ制御情報（焦点情報やズーム倍率情報）を音声補正処理に利用することも可能である。特に顔の向きに関する情報を利用することが望ましい。例えば、合唱コンクールのシーンを動画撮影してときには、何人かの人物がグループになって同じ方向を向いて歌うことが多く、その顔の向きは同じである。このような場合、音源分離処理部６２において、顔の向きに関する情報を利用してグループ毎に音源分離を行い、ステレオ化処理部６３において、チャンネルセパレーション処理などを行う。図１２に示すような撮影画像が得られている場合は、撮影画角内の全員が左側を向いているため、左チャンネル（Ｌｃｈ）の音のゲインを右チャンネル（Ｒｃｈ）の音のゲインよりも大きくする音声補正処理を施すとよい。

＜検出人数が０人の場合＞
例えば撮影者が山や海などの風景を動画撮影している場合や撮影者が観光名所で動画撮影している場合、顔検出装置５０によって検出される人数が零になることがある。撮影画角内に人物が全く存在しない場合のみならず、撮影画角内に存在する人物が全て所定のサイズ（顔検出処理で用いられる判定領域１６１の大きさによって定まる）未満である場合も、顔検出装置５０によって検出される人数が零になる。

顔検出装置５０によって検出される人数が零である場合、撮影者が自然の風景や観光名所そのものなど、その場の雰囲気を重視して動画撮影していると想定されるため、顔検出装置５０によって検出される人数が大人数である場合と同様に、より広帯域で臨場感があるような音声処理を行う。具体的な処理は、顔検出装置５０によって検出される人数が大人数である場合と基本的に同様である。

また、カメラ制御情報（焦点情報やズーム倍率情報）を音声補正処理に利用することも可能である。カメラ制御情報から、ズームした画角、距離を推定することができるため、当該推定に応じて指向性処理部６４で音声の指向性を制御するとよい。例えば、小さな虫などに接近して動画撮影する場合、焦点距離は非常に近いと考えられる。この焦点距離の情報を利用し、焦点が非常に近い場合は正面指向性θ２を狭くし、更に集音する音のゲインを大きくして小さな音まで記録できるようにする。

＜撮影中に検出人数が変わった場合の制御＞
動画撮影している場合、撮影画角内の人物が常に一定の位置にいることは少なく、撮影対象である人物が常に動いているシーンを撮影することも少なくない。また動画撮影中にズームインやズームアウトをすることもあり、それらの状況によって撮影者の撮影意図が変わるケースも考えられる。このような場合の制御方法について、以下に２つの例を示す。

＜撮影中に検出人数が変わった場合の制御例：検出人数が１人／０人になる場合＞
例えば、走り回っている子供を撮影している場合、子供を追いかけながら撮影していると、図１５（ａ）（実際に画像処理装置５のフレームメモリに書き込まれる撮影画像は順に図１５（ｂ）、図１５（ｃ）、図１５（ｄ）、図１５（ｅ）となる。）のように子供が画角内からフレームアウトすることが予想される。この場合（撮影画像が図１５（ｃ）から図１５（ｄ）に変わる場合）、撮影画角内で検出される人数は１人から０人になる。逆にフレームアウト後に再び子供が撮影画角内に現れる場合も考えられ、この場合（撮影画像が図１５（ｄ）から図１５（ｅ）に変わる場合）は、撮影画角内で検出される人数は０人から１人に変動する。このように特定人物が頻繁に画角内を出入りする場合に、上述した音声補正処理をそのまま適用すると、音声重視(１人検出)と雰囲気重視(０人検出)の音声制御が繰り返し発生してしまい、不自然な音が記録されてしまう。

したがって、人物がフレームアウトして、顔検出装置５０によって検出される人数が１人から０人になった場合でも、その検出人数の変動に応じた音声補正処理の内容の変更（音声重視の制御から雰囲気重視の制御への変更）にヒステリシス特性を持たせ、ある一定時間内は音声重視の制御を持続させることが望ましい。この場合、フレームアウトした位置情報を利用することで、撮影画角内に人物が検出されない場合でも撮影対象である人物（＝撮影者がとりたい音の音源）の位置を推測することができ、集音の指向性を制御することができる。また、撮影対象である人物が撮影画角内からフレームアウトしても音声はフレームアウトしないため、音声処理部６が、集音した音声信号に人の声の成分が含まれているか否かを判定し、集音した音声信号に人の声の成分が含まれていると判断された場合には、引き続き音声重視の制御を行うという方法をとってもよい。

＜撮影中に検出人数が変わった場合の制御例：検出人数が大人数／少人数になる場合＞
例えば図１６のように、合唱コンクールのシーンを撮影中に、自分の子供などの特定人物にズームインして撮影を行う場合、撮影画角内で検出される人数は大人数から少人数（或いは２人、１人）になる。この場合の音声制御としては、ズームインと同時に雰囲気重視の制御から音声重視の制御へと移行していく。具体的には、撮影画角内で検出される人数は大人数である段階から、徐々に特定方向の音声のみを集音・強調させたり、集音帯域を狭くしたりする。

逆に特定人物からシーン全体へズームアウトする場合、画角内で検出される人物は少人数（或いは２人、１人）から多人数になる。この場合の音声制御としては、ズームアウトと同時に音声重視の制御から雰囲気重視の制御へと移行していく。具体的には、撮影画角内で検出される人数は少人数（或いは２人、１人）である段階から、集音する指向性を徐々に無指向にしたり、集音帯域を広くしたりする。

以上のように、音声処理部６が顔検出装置５０からの人数情報を基に音声信号に対して音声補正処理を施すことによって、映像とともに収録される音声を当該映像の撮影意図に沿うものにすることができる。

続いて、上述した実施形態において、ステレオ処理部６３で実施されるステレオ化処理の一例について説明する。ここでは、ステレオ化処理として、加算型指向性制御を利用して左右の２方向の音を強調する処理について説明する。図１７は、この場合のステレオ化処理部６３のブロック図である。ステレオ化処理部６３は、右チャンネル（Ｒｃｈ）の音声信号を遅延させる遅延回路６３１Ｒと左チャンネル（Ｌｃｈ）の音声信号を遅延させる遅延回路６３１Ｌとを備え、入力されたままの右チャンネルの音声信号と遅延回路６３１Ｌで遅延させた左チャンネルの音声信号とを合成して右チャンネルの音声信号として、入力されたままの左チャンネルの音声信号と遅延回路６３１Ｒで遅延させた右チャンネルの音声信号とを合成して左チャンネルの音声信号として出力する。

図１８に示すように、２個のマイク４Ｒ、４Ｌに対して特定の方向から音が到来した場合、音の到来が音源からそれぞれのマイク４Ｒ、４Ｌまでの行路差ｄだけずれることとなる。この場合、音源から近い方のマイク４Ｒで検出した右チャンネルの音声信号に対して、遅延回路６３１Ｒでこの行路差ｄに相当する遅延をかけ、音源から遠い方のマイク４Ｌで検出した左チャンネルの音声信号に加算すると、音源方向の音に対して同期加算することとなり、最も左右の音を強調することとなる。逆にマイク４Ｌで検出した音声信号に遅延回路６３１Ｌで同様の遅延をかけて、マイク４Ｒで検出した音声信号に加算すると、逆方向の音を強調していることとなる。

次に、上述した実施形態において、指向性処理部６４で実施される指向性制御の一例について説明する。指向性制御については様々な方法が提案されている。上記のステレオ化処理で説明した加算型、差分型といった単純な遅延と加算処理からなる方法もその一つであり、その他にマイクロホンアレーを用いたビームフォーミングや２次元ファンフィルタなどがある。ここでは、２個のマイクで検出した音声信号間の位相情報をもとに特定方向からの音を強調する方法について説明する。

図１９はこの方法に使用することができる指向性処理部６４のブロック図である。指向性処理部６４は、図１９に示すように、右チャンネルの音声信号及び左チャンネルの音声信号を独立して高速フーリエ変換（Fast Fourier Transform；ＦＦＴ）する２個のＦＦＴ部６４１Ｒ、６４１Ｌと、ＦＦＴ部６４１Ｒ、６４１ＬでＦＦＴされた右チャンネルの音声信号及び左チャンネルの音声信号の位相差を検出する位相差検出部６４２と、位相差検出部６４２で検出された位相差情報から帯域別に指向性の制御量を決定する帯域別制御量決定部６４３と、帯域別制御量決定部６４３で決定された制御量に基づいて、ＦＦＴされた右チャンネルの音声信号及び左チャンネルの音声信号を独立して帯域別にゲイン制御する２個の帯域別ゲイン制御部６４４Ｒ、６４４Ｌと、帯域別ゲイン制御部６４４Ｒ、６４４Ｌでゲイン制御された右チャンネルの音声信号及び左チャンネルの音声信号のそれぞれを逆高速フーリエ変換（Inverse Fast Fourier Transform；ＩＦＦＴ）するＩＦＦＴ部６４５Ｒ、６４５Ｌと、を備える。

ＦＦＴ部６４１Ｒ、６４１Ｌでは右チャンネルの音声信号及び左チャンネルの音声信号が入力されるとＦＦＴして周波数帯域別に位相情報を算出する。位相差検出部６４２では右チャンネルの音声信号及び左チャンネルの音声信号の位相情報から位相差を算出して、この位相差とその周波数から音の到来方向を算出する。帯域別制御量決定部６４３では、位相差検出部６４２で算出した音成分の到来方向が、目的とする方向、例えば画像中の所定の被写体の方向であるかどうかを判断する。帯域別制御量決定部６４３において目的とする方向以外から来た音成分であると判断した場合は、ＦＦＴしたスペクトラル系数を、帯域別ゲイン制御部６４４Ｒ、６４４Ｌにおいて低減させ、目的とする方向から来た音成分であると判断した場合は増大させる。その後、変化させたスペクトラル系数をＩＦＦＴ部６４５Ｒ、６４５ＬでＩＦＦＴを行って時間信号に戻して出力する。

この方法では、２個のマイクの設置間隔が半波長となる周波数を指向性制御の上限周波数とすることにより、位相差から正確な音成分の到来方向すなわち音源方向を算出することが可能であるため、指向角の微細な調整を行うことができる。

上述した図１に示す撮像装置は、本発明に係る音声補正方法を集音・記録時に適用した音声補正装置（本発明に係る音声記録装置）を搭載した撮像装置であったが、以下では本発明に係る音声補正方法を再生時に適用した音声補正装置（本発明に係る音声再生装置）を搭載した撮像装置について説明する。

図２０は、本発明に係る音声再生装置を搭載した撮像装置の内部構成例を示すブロック図である。なお、図２０において図１と実質上同一の部分には同一の符号を付している。

図２０に示す撮像装置が図１に示す撮像装置と異なる点は、画像処理装置５及び音声処理部６の代わりにそれぞれ画像処理装置５ａ及び音声処理部６ａを設け、さらに、伸長処理部９とビデオ出力回路部１０との間に画像処理部５ｂを設け、伸長処理部９と音声出力回路部１３との間に音声処理部６ｂを設けている点である。

画像処理部５ａは、画像処理装置５と異なり、顔検出装置を有していない構成である。また、音声処理部６ａは、音声処理部６と異なり、ステレオマイク４からのアナログ信号である音声信号に対してＡ／Ｄ変換及び圧縮符号化処理は行うが、圧縮符号化処理以外の音声補正処理は施さない構成である。

また、音声処理部６ａは、ＣＰＵ１７からカメラ制御情報（焦点情報やズーム倍率情報）を受け取り、そのカメラ制御情報をインデックスとして付加した圧縮符号化音声信号を多重化処理部７に出力するようにしてもよい。この場合、インデックスは、音声信号を圧縮記録する際に、その処理単位であるフレーム毎に外部メモリ２２に記録する。例えばＭＰＥＧ−ＡＡＣで４８ｋＨｚのサンプリング信号として記録する場合、処理単位である１フレームは、１０２４サンプルであり１０２４÷（４８×１０³）≒２．１３×１０^-2より約２１．３ｍｓｅｃに相当する。したがって、記録開始と同期して２１．３ｍｓｅｃ毎に映像のズーム倍率情報を記録すればよい。また、ドルビーデジタル方式では１フレームが１５３６サンプルであり、４８ｋＨｚのサンプリング信号として記録する場合は、１５３６÷（４８×１０³）＝３．２×１０^-2より３２ｍｓｅｃ毎にインデックスを外部メモリ２２に記録すればよい。

画像処理装置５ｂは、図７に示す顔検出装置５０を備える構成である。また、音声処理部６ｂは、Ａ／Ｄ変換部及び音声圧縮処理部を備えてない点と、外部からのカメラ制御情報を受け取るのではなく、必要に応じて音声信号に付加されているインデックスからカメラ制御情報を取得する点とを除き、音声処理部６と同様の構成であり、画像処理部５ｂからの人数情報を受け取り、さらに必要に応じて、画像処理部５ｂからの顔・口等の動き情報、顔・人物検出位置情報を受け取る。

音声処理部６ｂにおいて行われる音声補正制御は、基本的に音声処理部６において行われる音声補正制御と同様であるので、ここでは説明を省略する。

本発明は、音声情報と映像情報を同時に記録する情報記録装置（例えばデジタルビデオカメラなどの撮像装置）への適用が特に有効である。また、本発明は、例えば、音声情報と映像情報を同時に再生する情報再生装置（例えばＤＶＤプレーヤなど）にも適用可能である。

は、本発明に係る音声記録装置を搭載した撮像装置の内部構成例を示すブロック図である。 は、図１に示す撮像装置の動画撮影時の基本動作を説明するためのフローチャートである。 は、音声処理部の構成例を示すブロック図である。 は、ステレオ角及び指向角について説明するための模式図である。 は、顔検出装置の構成例を示すブロック図である。 は、縮小画像生成部によって得られる階層画像の一例である。 は、顔検出処理を説明するための図である。 は、画角内に１人の人物が映った画像の例である。 は、符号ビット割り当てを説明するための図である。 は、画角内に２人の人物が映った画像の例である。 は、画角内に少人数の人物が映った画像の例である。 は、画角内に大人数の人物が映った画像の例である。 は、符号ビット割り当てを説明するための図である。 は、画角内に人物が映っていない画像の例である。 は、撮影対象である人物が動き回った場合の画像の変化例である。 は、ズームインあるいはズームアウトした場合の画像の変化例である。 は、ステレオ化処理部のブロック図の一例である。 は、マイクと音源との位置関係について説明するための模式図である。 は、指向性処理部のブロック図の一例である。 は、本発明に係る音声再生装置を搭載した撮像装置の内部構成例を示すブロック図である。

符号の説明

１ 固体撮像素子（イメージセンサ）
２ レンズ部
３ ＡＦＥ
４ ステレオマイク
４Ｌ、４Ｒ マイク
５、５ａ、５ｂ 画像処理部
６、６ａ、６ｂ 音声処理部
７ 多重化処理部
８ ドライバ部
９ 伸長処理部
１０ ビデオ出力回路部
１１ ビデオ出力端子
１２ ディスプレイ部
１３ 音声出力回路部
１４ 音声出力端子
１５ スピーカ部
１６ タイミングジェネレータ（ＴＧ）
１７ ＣＰＵ
１８ メモリ
１９ 操作部
２０、２１ バス回線
２２ 外部メモリ
５０ 顔検出装置
５１ 縮小画像生成部
５２ 顔判定部
５３ 検出結果出力部
６０ 音声補正制御方法決定部
６１ Ａ／Ｄ変換部
６２ 音源分離処理部
６３ ステレオ化処理部
６４ 指向性処理部
６５ 第１の加算器
６６ 音声帯域強調処理部
６７ 第２の加算器
６８ モノラル／ステレオ切替部
６９ 音声圧縮処理部
８１ 枠
８２ 吹き出し
１０１、１０２ 吹き出し
１００ 撮像装置
１５０ 入力画像
１５１〜１５５ 縮小画像
１６１ 判定領域
６３１Ｌ、６３１Ｒ 遅延回路
６４１Ｌ、６４１Ｒ ＦＦＴ部
６４２ 位相差検出部
６４３ 帯域別制御量決定部
６４４Ｌ、６４４Ｒ 帯域別ゲイン制御部
６４５Ｌ、６４５Ｒ ＩＦＦＴ部

Claims (8)

1. 映像と対になって記録又は再生される音声を補正する音声補正装置であって、
   前記映像を撮影したカメラの撮影画角内で検出された人数の情報を入力し、前記撮影画角内で検出された人数の情報に応じて前記音声に音声補正処理を施すことを特徴とする音声補正装置。
2. 前記音声補正処理として、指向性制御、音源分離制御、音声強調制御、符号ビット割り当て制御、及びチャンネル数制御の少なくとも一つの制御を行う請求項１に記載の音声補正装置。
3. 前記撮影画角内で検出された人数の情報に加えて、前記撮影画角内で検出された人数の情報以外の前記映像に関する情報及び／又は前記映像を撮影したカメラの制御情報を入力し、入力した情報に応じて音声補正処理を施す請求項１又は請求項２に記載の音声補正装置。
4. 前記撮影画角内で検出された人数が予め設定した複数の区分のいずれに属するかを判定し、前記撮影画角内で検出された人数が属する区分に変動が生じた場合、その変動に応じて前記音声補正処理の内容を変更する請求項１〜３のいずれか１項に記載の音声補正装置。
5. 前記撮影画角内で検出された人数が属する区分の変動に応じた前記音声補正処理の内容の変更にヒステリシス特性を持たせた請求項４に記載の音声補正装置。
6. 前記映像を撮影したカメラの制御情報を入力し、前記映像を撮影したカメラの制御情報を基に、前記撮影画角内で検出された人数が属する区分の変動を事前に推測し、前記撮影画角内で検出された人数が属する区分の変動前から前記音声補正処理の内容の変更を開始する請求項４又は請求項５に記載の音声補正装置。
7. 動画撮影機能を有する撮像装置であって、
   映像を撮影するカメラと、
   前記カメラの撮影画角内の人数を検出する映像処理手段と、
   前記映像処理手段から前記撮影画角内で検出された人数の情報を入力する請求項１〜６のいずれか１項に記載の音声補正装置とを備えることを特徴とする撮像装置。
8. 映像と対になって記録又は再生される音声を補正する音声補正方法であって、
   前記映像を撮影したカメラの撮影画角内で検出された人数の情報を入力し、前記撮影画角内で検出された人数の情報に応じて前記音声に音声補正処理を施すことを特徴とする音声補正方法。

Images