JP4775264B2 - 映像音声記録装置及び方法、並びに、映像音声再生装置及び方法 - Google Patents

Description

【技術分野】
【０００１】
本発明は、被写体を撮像した映像信号と被写体から発せられた音を含む撮影者の周囲音を集音した音声信号とを記録する映像音声記録装置及び方法、並びに、記録媒体に記録した映像信号と音声信号とを再生する映像音声再生装置及び方法に係り、特に撮像した映像と共に臨場感のある音声を再生することができる映像音声記録装置及び方法、並びに、映像音声再生装置及び方法に関する。
【背景技術】
【０００２】
被写体を撮像した映像信号と被写体から発せられた音を含む撮影者の周囲音を集音した音声信号とを記録する映像音声記録再生装置（いわゆるビデオカメラ）が普及している。この種の映像音声記録再生装置は音声をステレオ録音するためのステレオマイクを備えている。近年、映像音声記録再生装置は小型化が一段と進んでおり、小型化された映像音声記録再生装置に搭載したステレオマイクでは臨場感のある音声を記録しにくいという問題がある。そこで、より臨場感のある音声を記録することができる映像音声記録再生装置が望まれている。
【０００３】
国際公開第９６／１０８８４号パンフレットには、映像音声記録再生装置本体の両側に耳構造体を配置することにより、被写体を撮像した映像信号と共に撮影者の周囲の音場をバイノーラル集音した音声を記録することができる映像音声記録再生装置が開示されている。
【０００４】
しかしながら、上記文献に開示されている、バイノーラルマイクを装置本体に取り付けた映像音声記録再生装置では、装置本体の横幅、即ち左右のマイクの間隔が人頭と同程度でなければ臨場感のある音声を記録することができない。近年製品化されている映像音声記録再生装置本体は、高密度記録技術、ディジタル信号記録技術及び映像圧縮処理技術の進歩に伴って小型化されているので、映像音声記録再生装置本体にバイノーラル集音を目的とするマイクを搭載しても期待するほどの効果が得られない。また、装置の形状が人頭とは大きく異なるので、上記文献に開示されているような効果を得ることは困難と考えられる。
【発明の開示】
［０００５］ 本発明はこのような問題点に鑑みなされたものであり、装置本体の大きさや形状に関係なく、撮像した映像と共に臨場感のある音声を再生することができる映像音声記録装置及び方法、並びに、映像音声再生装置及び方法を提供することを目的とする。
［０００６］ また、被写体をズームアップして撮影する場合に、被写体のズームアップに連動してさらに臨場感のある音声を再生することができる映像音声記録装置及び方法、並びに、映像音声再生装置及び方法を提供することを目的とする。
［０００７］ さらに、再生信号を視聴する視聴者とバイノーラル集音した撮影者とが異なる場合のように、任意の撮影者が撮影して任意の視聰者が視聰する場合でも、違和感のほとんどない臨場感のある音声を受聴することができる映像音声再生装置及び方法を提供することを目的とする。
［００１４］ 本発明は、上述した従来の技術の課題を解決するため、被写体を撮像した映像信号と、前記被写体から発せられた音を含む撮影者の周囲音を集音した音声信号とが記録された記録媒体を再生する映像音声再生装置において、前記記録媒体に記録された記録信号を再生する再生部と、前記再生部によって再生された前記記録信号から前記映像信号と前記音声信号とを分離する分離化部と、前記分離化部によって分離された前記映像信号を処理するビデオ処理部と、前記分離化部によって分離された前記音声信号を処理するオーディオ処理部と、前記記録媒体に、前記周囲音を集音するマイクとして前記撮影者の耳に装着するバイノーラルマイクを使用したことを示すバイノーラルフラグ信号が記録されているとき、前記バイノーラルフラグ信号を取得するフラグ情報取得部と、前記フラグ情報取得部が前記バイノーラルフラグ信号を取得したとき、前記オーディオ処理部によって処理された前記音声信号をスピーカによって発音した場合に発生するクロストーク信号を打ち消すよう前記音声信号を処理するクロストークキャンセラとを備え、前記クロストークキャンセラは前記音声信号に対して予め求めたフィルタ特性を畳み込むフィルタを有し、前記フィルタ特性は、測定信号を円筒型構造体の表面部に装着した一対のマイクで集音した音声信号を用いて計測した頭部伝達関数に基づいたフィルタ特性であることを特徴とする映像音声再生装置を提供する。
【００１５】
また、被写体を撮像した映像信号と、前記被写体から発せられた音を含む撮影者の周囲音を集音した音声信号とが記録された記録媒体を再生する映像音声再生方法において、前記記録媒体に記録された記録信号を再生する再生ステップと、前記再生ステップにて再生された前記記録信号から前記映像信号と前記音声信号とを分離する分離化ステップと、前記分離化ステップにて分離された前記映像信号を処理するビデオ処理ステップと、前記分離化ステップによって分離された前記音声信号を処理するオーディオ処理ステップと、前記記録媒体に、前記周囲音を集音するマイクとして前記撮影者の耳に装着するバイノーラルマイクを使用したことを示すバイノーラルフラグ信号が記録されているとき、前記バイノーラルフラグ信号を取得するフラグ情報取得ステップと、前記フラグ情報取得ステップにて前記バイノーラルフラグ信号を取得したとき、前記オーディオ処理ステップにて処理された前記音声信号をスピーカによって発音した場合に発生するクロストーク信号を打ち消すよう前記音声信号を処理するクロストークキャンセルステップとを有し、前記クロストークキャンセルステップは前記音声信号に対して予め求めたフィルタ特性を畳み込むステップであり、前記フィルタ特性は、測定信号を円筒型構造体の表面部に装着した一対のマイクで集音した音声信号を用いて計測した頭部伝達関数に基づいたフィルタ特性であることを特徴とする映像音声再生方法を提供する。
本発明は、上述した従来の技術の課題を解決するため、被写体を撮像した映像信号と、前記被写体から発せられた音を含む撮影者の周囲音を集音した音声信号とを記録し再生する映像音声記録再生装置において、前記被写体を撮像するカメラ部と、前記周囲音を集音するマイクとして、前記撮影者の耳に装着するバイノーラルマイクを使用するかバイノーラルマイク以外のマイクを使用するかを切り替える切り替え部と、前記カメラ部より出力された映像信号を処理する第１のビデオ処理部と、前記周囲音を集音するマイクより出力された音声信号を処理する第１のオーディオ処理部と、前記切り替え部によって前記周囲音を集音するマイクとして前記バイノーラルマイクに切り替えた場合に、前記周囲音を集音する際の音声モードをバイノーラルモードとして、バイノーラルモードであることを示すバイノーラルフラグ信号を生成するフラグ情報生成部と、前記切り替え部によって前記周囲音を集音するマイクとして前記バイノーラルマイクに切り替えた場合に、前記第１のビデオ処理部によって処理された映像信号と、前記第１のオーディオ処理部によって処理された音声信号であって、前記撮影者の頭部と前記バイノーラルマイクとの位置関係によるバイノーラル音響特性が与えられた周囲音を集音した前記バイノーラルマイクより出力された音声信号と、前記バイノーラルフラグ信号とを記録媒体に記録する記録部と、前記記録媒体に記録された記録信号を再生する再生部と、前記再生部によって再生された前記記録信号から前記映像信号と前記音声信号とを分離する分離化部と、前記分離化部によって分離された前記映像信号を処理する第２のビデオ処理部と、前記分離化部によって分離された前記音声信号を処理する第２のオーディオ処理部と、前記記録媒体に前記バイノーラルフラグ信号が記録されているとき、前記バイノーラルフラグ信号を取得するフラグ情報取得部と、前記フラグ情報取得部が前記バイノーラルフラグ信号を取得したとき、前記第２のオーディオ処理部によって処理された前記音声信号をスピーカによって発音した場合に発生するクロストーク信号を打ち消すよう前記音声信号を処理するクロストークキャンセラとを備え、前記クロストークキャンセラは前記音声信号に対して予め求めたフィルタ特性を畳み込むフィルタを有し、前記フィルタ特性は、測定信号を円筒型構造体の表面部に装着した一対のマイクで集音した音声信号を用いて計測した頭部伝達関数に基づいたフィルタ特性であることを特徴とする映像音声記録再生装置を提供する。
この構成において、前記映像音声記録装置に内蔵されている内蔵マイクと、外部マイク接続端子と、前記外部マイク接続端子に接続して使用する外部マイクとして、前記バイノーラルマイクかバイノーラルマイク以外のマイクかを設定する設定部と、前記外部マイク接続端子に外部マイクが接続されているか否かを検出する接続検出部と、前記オーディオ処理部に供給する音声信号として、前記内蔵マイクより出力された音声信号と前記外部マイクより出力された音声信号とを切り替えるスイッチと、前記設定部によって前記外部マイクがバイノーラルマイクに設定され、前記接続検出部によって前記外部マイク接続端子に外部マイクが接続されていることが検出されたとき、音声モードを前記バイノーラルモードとする制御部とを備え、前記制御部は、音声モードが前記バイノーラルモードのとき、前記スイッチが前記外部マイクより出力された音声信号を前記オーディオ処理部に供給するよう前記スイッチを切り替え制御し、前記フラグ情報生成部が前記バイノーラルフラグ信号を生成するよう前記フラグ情報生成部を制御することが好ましい。
また、前記カメラ部より出力された映像信号を表示する表示部を備え、音声モードが前記バイノーラルモードのとき、前記表示部に前記バイノーラルモードであることを示すバイノーラルマークを表示させる表示制御部を備えることが好ましい。
さらに、前記カメラ部は前記被写体を拡大して撮像するズーム機能を有し、前記バイノーラルマイクによって集音された音声信号を前記カメラ部における拡大率に応じて増幅する音声ズーム処理部を備えることが好ましい。
さらにまた、前記カメラ部は前記被写体を拡大して撮像するズーム機能を有し、前記バイノーラルマイクが集音する音声信号の音源を仮想的に受聴者に接近させて仮想音源を形成するための頭部伝達関数を前記仮想音源と前記受聴者との複数の距離に対応させて記憶する伝達関数メモリと、この伝達関数メモリに記憶された複数の頭部伝達関数のいずれかを前記カメラ部における拡大率に応じて選択的に取得する関数取得器と、前記バイノーラルマイクによって集音された音声信号に対して前記関数取得器にて取得された頭部伝達関数を畳み込む畳み込み演算器とを有する音声ズーム処理部を備えることが好ましい。
本発明は、上述した従来の技術の課題を解決するため、被写体を撮像した映像信号と、前記被写体から発せられた音を含む撮影者の周囲音を集音した音声信号とを記録し再生する映像音声記録再生方法において、前記被写体を撮像する撮像ステップと、前記周囲音を集音するマイクとして、前記撮影者の耳に装着するバイノーラルマイクを使用するかバイノーラルマイク以外のマイクを使用するかを切り替える切り替えステップと、前記被写体を撮像した映像信号を処理する第１のビデオ処理ステップと、前記周囲音を集音するマイクより出力された音声信号を処理する第１のオーディオ処理ステップと、前記切り替えステップにて前記周囲音を集音するマイクとして前記バイノーラルマイクに切り替えた場合に、前記周囲音を集音する際の音声モードをバイノーラルモードとして、バイノーラルモードであることを示すバイノーラルフラグ信号を生成するフラグ情報生成ステップと、前記切り替えステップにて前記周囲音を集音するマイクとして前記バイノーラルマイクに切り替えた場合に、前記第１のビデオ処理ステップにて処理された映像信号と、前記第１のオーディオ処理ステップにて処理された音声信号であって、前記撮影者の頭部と前記バイノーラルマイクとの位置関係によるバイノーラル音響特性が与えられた周囲音を集音した前記バイノーラルマイクより出力された音声信号と、前記バイノーラルフラグ信号とを記録媒体に記録する記録ステップと、前記記録媒体に記録された記録信号を再生する再生ステップと、前記再生ステップにて再生された前記記録信号から前記映像信号と前記音声信号とを分離する分離化ステップと、前記分離化ステップにて分離された前記映像信号を処理する第２のビデオ処理ステップと、前記分離化ステップによって分離された前記音声信号を処理する第２のオーディオ処理ステップと、前記記録媒体に前記バイノーラルフラグ信号が記録されているとき、前記バイノーラルフラグ信号を取得するフラグ情報取得ステップと、前記フラグ情報取得ステップにて前記バイノーラルフラグ信号を取得したとき、前記第２のオーディオ処理ステップにて処理された前記音声信号をスピーカによって発音した場合に発生するクロストーク信号を打ち消すよう前記音声信号を処理するクロストークキャンセルステップとを有し、前記クロストークキャンセルステップは前記音声信号に対して予め求めたフィルタ特性を畳み込むステップであり、前記フィルタ特性は、測定信号を円筒型構造体の表面部に装着した一対のマイクで集音した音声信号を用いて計測した頭部伝達関数に基づいたフィルタ特性であることを特徴とする映像音声記録再生方法。
【図面の簡単な説明】
［００１６］［図１］図１は、本発明の第１の実施形態に係る映像音声記録再生装置を示す外観斜視図である。
［図２］図２は、本発明の第１の実施形態に係る映像音声記録再生装置を用いて被写体を撮影している状態を示す図である。
［図３］図３は、本発明の第１の実施形態に係る映像音声記録再生装置の内部構成例
【図４】図４は、本発明の各実施形態に係る映像音声記録再生装置において音声モードの初期設定を行う表示画面を示す図である。
【図５】図５は、本発明の各実施形態に係る映像音声記録再生装置におけるバイノーラルマイクの表示例を示す図である。
【図６】図６は、本発明の各実施形態に係る映像音声記録再生装置で用いるバイノーラルマイクの変形例を示す図である。
【図７】図７は、本発明の各実施形態に係る映像音声記録再生装置で用いるバイノーラルマイクの変形例を示す図である。
【図８】図８は、本発明の各実施形態に係る映像音声記録再生装置で用いるバイノーラルマイクの変形例を示す図である。
【図９】図９は、本発明の各実施形態に係る映像音声記録再生装置におけるバイノーラルフラグ信号の記述フォーマットの一例を示す図である。
【図１０】図１０は、本発明の各実施形態に係る映像音声記録再生装置におけるバイノーラルフラグ信号の記述フォーマットの他の例を示す図である。
【図１１】図１１は、本発明の各実施形態に係る映像音声記録再生装置におけるバイノーラルフラグ信号の記述フォーマットのさらに他の例を示す図である。
【図１２】図１２は、本発明の第１の実施形態に係る映像音声記録再生装置における記録動作を説明するためのフローチャートである。
【図１３】図１３は、本発明の第１の実施形態に係る映像音声記録再生装置における再生動作を説明するためのフローチャートである。
【図１４】図１４は、本発明の各実施形態に係る映像音声記録再生装置で用いるクロストークキャンセラの構成例を示すブロック図である。
【図１５】図１５は、本発明の各実施形態に係る映像音声記録再生装置で用いるクロストークキャンセラで用いる頭部伝達関数特性を求めるための頭部伝達関数測定装置を示す図である。
【図１６】図１６は、図１５に示す頭部伝達関数測定装置で用いるマイクユニットを取り付けた円筒形構造体と比較のためのダミーヘッドマイクを示す図である。
【図１７】図１７は、図１５に示す頭部伝達関数測定装置で測定したインパルス応答波形を示す波形図である。
【図１８】図１８は、図１５に示す頭部伝達関数測定装置で測定した周波数特性を示す波形図である。
【図１９】図１９は、ダミーヘッドマイクを用いて測定したインパルス応答波形を示す波形図である。
【図２０】図２０は、ダミーヘッドマイクを用いて測定した周波数特性を示す波形図である。
【図２１】図２１は、マイクユニットを取り付けた円筒形構造体を用いて測定した頭部伝達関数に基づくフィルタ特性によるクロストークキャンセル特性を説明するための図である。
【図２２】図２２は、ダミーヘッドマイクを用いて測定した頭部伝達関数に基づくフィルタ特性によるクロストークキャンセル特性を説明するための図である。
【図２３】図２３は、マイクユニットを取り付けた円筒形構造体を用いて測定した頭部伝達関数に基づくフィルタ特性によるクロストークキャンセル特性を説明するための図である。
【図２４】図２４は、ダミーヘッドマイクを用いて測定した頭部伝達関数に基づくフィルタ特性によるクロストークキャンセル特性を説明するための図である。
【図２５】図２５は、本発明の各実施形態に係る映像音声記録再生装置で用いるクロストークキャンセラの他の構成例を示すブロック図である。
【図２６】図２６は、本発明の各実施形態に係る映像音声記録再生装置で用いるクロストークキャンセラのさらに他の構成例を示すブロック図である。
【図２７】図２７は、本発明の各実施形態に係る映像音声記録再生装置におけるヘッドフォンでの再生動作を示すフローチャートである。
【図２８】図２８は、本発明の第２の実施形態に係る映像音声記録再生装置の内部構成例を示すブロック図である。
【図２９】図２９は、本発明の第２の実施形態に係る映像音声記録再生装置における音声ズーム処理部の構成例を示すブロック図である。
【図３０】図３０は、本発明の第２の実施形態に係る映像音声記録再生装置において音声ズーム処理を行う場合の動作を説明するためのフローチャートである。
【図３１】図３１は、本発明の第２の実施形態に係る映像音声記録再生装置における音声ズーム処理部の他の構成例を示すブロック図である。
【図３２】図３２は、図３１の音声ズーム処理部の他の構成例で用いる頭部伝達関数を求めるための頭部伝達関数測定装置を示す図である。
【図３３】図３３は、図３２の頭部伝達関数測定装置で用いるダミーヘッドマイクを示す断面図である。
【図３４】図３４は、図３２の頭部伝達関数測定装置で測定して得られた頭部伝達関数の特性を示す図である。
【図３５】図３５は、図３２の頭部伝達関数測定装置で測定して得られた頭部伝達関数の特性を示す図である。
【図３６】図３６は、図３２の頭部伝達関数測定装置で測定して得られた頭部伝達関数の特性を示す図である。
【図３７】図３７は、図３２の頭部伝達関数測定装置で測定して得られた頭部伝達関数の特性を示す図である。
【図３８】図３８は、図３２の頭部伝達関数測定装置で測定して得られた頭部伝達関数の特性を示す図である。
【図３９】図３９は、図３２の頭部伝達関数測定装置で測定して得られた頭部伝達関数の特性を示す図である。
【図４０】図４０は、本発明の第２の実施形態に係る映像音声記録再生装置において図３１に示す音声ズーム処理部の他の構成例を用いて音声ズーム処理を行う場合の動作を説明するためのフローチャートである。
【図４１】図４１は、本発明の第３の実施形態に係る映像音声記録再生装置の内部構成例を示すブロック図である。
【図４２】図４２は、本発明の第３の実施形態に係る映像音声記録再生装置における音声ズーム処理部の構成例を示すブロック図である。
【図４３】図４３は、本発明の第３の実施形態に係る映像音声記録再生装置における音声ズーム処理部の他の構成例を示すブロック図である。
【図４４】図４４は、本発明の第４の実施形態に係る映像音声記録再生装置の内部構成例を示すブロック図である。
【図４５】図４５は、本発明の第４の実施形態に係る映像音声記録再生装置における音声ズーム処理部の構成例を示すブロック図である。
【図４６】図４６は、本発明の第４の実施形態に係る映像音声記録再生装置におけるマニュアル音声ズーム処理を説明するためのフローチャートである。
【図４７】図４７は、本発明の第５の実施形態に係る映像音声記録再生装置の内部構成例を示すブロック図である。
【図４８】図４８は、本発明の第５の実施形態に係る映像音声記録再生装置における音声ズーム処理部の構成例を示すブロック図である。
【図４９】図４９は、本発明の第６の実施形態に係る映像音声記録再生装置を示す外観斜視図である。
【図５０】図５０は、本発明の第６の実施形態に係る映像音声記録再生装置の内部構成例を示すブロック図である。
【図５１】図５１は、本発明の第６の実施形態に係る映像音声記録再生装置におけるコード収納部の構造例を示す平面図である。
【図５２】図５２は、本発明の第７の実施形態に係る映像音声記録再生装置を示す外観斜視図である。
【図５３】図５３は、本発明の第７の実施形態に係る映像音声記録再生装置の内部構成例を示すブロック図である。
【図５４】図５４は、本発明の第７の実施形態に係る映像音声記録再生装置における無線型バイノーラルマイクと無線送受信部の具体的構成例を示すブロック図である。
【図５５】図５５は、本発明の第７の実施形態に係る映像音声記録再生装置において無線型バイノーラルマイクが通信可能圏を越えた場合の警告を説明するための図である。
【図５６】図５６は、本発明の第７の実施形態に係る映像音声記録再生装置において無線型バイノーラルマイクが通信可能圏を越えた場合に表示部に表示させる警告マークの例を示す図である。
【図５７】図５７は、本発明の第７の実施形態に係る映像音声記録再生装置における動作を説明するためのフローチャートである。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の映像音声記録装置及び方法、並びに、映像音声再生装置及び方法の実施の形態について図面を参照しながら説明する。
【００１８】
≪第１の実施形態≫
図１は、第１の実施形態である映像音声記録再生装置１０１の外観構成例を示す斜視図である。
【００１９】
図１に示す映像音声記録再生装置１０１は、カメラ部１１、表示部１７、内蔵ステレオマイク２１ａ，２１ｂ、外部マイク接続端子３２を備えて構成されている。外部マイク接続端子３２には無指向性の左右のマイク３１ａ及び３１ｂを有するイヤホン型のバイノーラルマイク３が着脱自在に接続される。ここでは、バイノーラルマイク３を外部マイク接続端子３２に接続した状態を図示している。マイク３１ａ，３１ｂは内部に振動板を備える。映像音声記録再生装置１０１は後に詳述するように、内蔵ステレオマイク２１ａ，２１ｂを用いた撮影（音声収録）とバイノーラルマイク３を用いた撮影（音声収録）とを選択的に行うことができるようになされている。なお、撮影とは、単に被写体の映像を撮像するだけでなく、被写体の映像を撮像することと被写体から発せられた音を含む撮影者の周囲音を集音することの双方を意味する場合がある。
【００２０】
図２は、撮影者３００が映像音声記録再生装置１０１を用いて図示しない被写体を撮影している状態を示している。バイノーラルマイク３を用いて集音しながら被写体を撮影する場合には、図２に示すように、撮影者３００は左右の耳３０２に左右のマイク３１ａ，３１ｂを装着する。これにより、撮影者３００の頭部３０とマイク３１ａ，３１ｂとの位置関係により与えられるバイノーラル音響特性で被写体から発せられた音を含む撮影者３００の周囲音が集音される。撮影者３００は、表示部１７に表示される被写体のモニタ映像を目視しながら、被写体をカメラ部１１で撮影すると共に周囲音をバイノーラルマイク３で集音する。後に詳述するように、カメラ部１１で撮像した映像信号とバイノーラルマイク３で集音した音声信号がここでは図示していない記録媒体に記録される。また、後に詳述するように、記録媒体に記録された映像信号は、視聴者があたかも撮影者３００と同じ撮影環境で視聴しているような臨場感を有する音声と共に再生される。
【００２１】
図３は、映像音声記録再生装置１０１の具体的な内部構成例を示すブロック図である。
【００２２】
映像音声記録再生装置１０１は、カメラ部１１、ビデオ符号化部１２、多重化部１３、記録・再生部１４、分離化部１５、ビデオ復号化部１６、表示部１７、内蔵ステレオマイク２１（２１は２１ａ，２１ｂの総称）、オーディ符号化部２２、オーディオ復号化部２６、クロストークキャンセラ２７、外部マイク接続端子３２、フラグ情報取得部３６、映像出力端子３７ａ、音声出力端子３７ｂ、接続検出部４１、フラグ情報生成部４２、記録媒体４４、制御部４７、操作部４８、スイッチＳｗ１，Ｓｗ２，Ｓｗ３を備えて構成されている。なお、記録媒体４４としては、ディスク状記録媒体やテープカセットのような着脱自在の記録媒体でもよいし、ハードディスクのように映像音声記録再生装置１０１内に予め装着されている記録媒体であってもよい。
【００２３】
映像出力端子３７ａにはテレビジョン受像機等のモニタ５２が接続される。音声出力端子３７ｂにはアンプ５１を介してスピーカ５３，５４が接続される。スピーカ５３，５４から発音された音声は視聴者５９により受聴される。なお、図３では便宜上、撮影者３００と視聴者５９とを同時に図示しているが、通常は撮影者３００による撮影と視聴者５９による再生映像・音声の視聴は別個に行われることは言うまでもない。
【００２４】
＜記録動作＞
映像音声記録再生装置１０１における記録動作について説明する。
【００２５】
まず、撮影者３００が操作部４８により音声モードの初期設定画像（ウインドウ）を表示させる操作を行うと、制御部４７は一例として図４に示すような初期設定画像１７０を表示部１７に表示させる。外部マイク接続端子３２には、外部マイクとして、図１，図２で説明したようなバイノーラルマイク３と通常の外部マイクとのいずれも接続することができる。操作部４８による所定の操作により、撮影者３００はバイノーラルマイク３を用いて集音する場合には、図４に示すように“バイノーラル”を選択し、通常の外部マイクを用いて集音する場合には“ノーマル”を選択する。制御部４７は、外部マイク接続端子３２に接続して使用する外部マイクとして、バイノーラルマイク３かバイノーラルマイク以外のマイクかを設定する設定部となっている。外部マイク入力として“バイノーラル”が選択され、かつ、接続検出部４１が外部マイク接続端子３２に外部マイクのプラグが挿入されていることを検出した場合に、制御部４７は、映像音声記録再生装置１０１がバイノーラルマイク３を用いた撮影に対応した記録動作を行うよう回路各部を制御する。バイノーラルマイク３を用いて周囲音を集音して、集音した音声信号を記録する音声モードをバイノーラルモードと称することとする。内蔵ステレオマイク２１または通常の外部マイクを用いて周囲音を集音して、集音した音声信号を記録する音声モードをノーマルモードとする。
【００２６】
なお、バイノーラルマイク３のプラグを通常の外部マイクとは異なるバイノーラルマイク３専用の形状とし、外部マイク接続端子３２をバイノーラルマイク３専用の接続端子とすれば、前述の音声モードの初期設定を省略することができる。
【００２７】
具体的には、図３において、接続検出部４１は外部マイク接続端子３２に外部マイクが接続されていることを検出すると、検出信号を制御部４７に供給する。制御部４７は外部マイクが“バイノーラル”に設定された状態で外部マイクが接続されていることを示す検出信号が入力されたら、スイッチＳｗ１を内蔵ステレオマイク２１からの音声信号を入力する端子ａから、バイノーラルマイク３からの音声信号を入力する端子ｂへと切り替える。これにより、バイノーラルマイク３からの音声信号がオーディ符号化部２２へと供給される。スイッチＳｗ１は周囲音を集音するマイクとして、撮影者３００の耳３０２に装着するバイノーラルマイクを使用するかバイノーラルマイク以外のマイクを使用するかを切り替える切り替え部となっている。
【００２８】
また、制御部４７は、フラグ情報生成部４２がバイノーラルモードであることを示すフラグ情報（バイノーラルフラグ信号）を生成して出力するよう制御する。バイノーラルフラグ信号は多重化部１３に入力される。
【００２９】
このようにバイノーラルモードの設定がされた場合、制御部４７は表示部１７にバイノーラルモードとなっていることを示すマークを表示させることが好ましい。図５にマークの例を示す。図５（Ａ）に示すマーク１７１はバイノーラルマイク３を使用する撮影者３００を模式的に示すマークであり、図５（Ｂ）に示すマーク１７２はバイノーラル音声のスピーカ再生を模式的に示すマークである。バイノーラルモードを示すマークとしては図５（Ａ），（Ｂ）いずれのマークを用いてもよく、勿論これ以外のマークを用いてもよい。これらのマークは、前述の初期設定終了後や外部マイク接続端子３２にバイノーラルマイク３が接続された場合にカメラ部１１で撮影された映像に重畳して表示部１７に表示させればよい。このようなマーク表示により撮影者３００はバイノーラルマイク３を使用する際に、音声モードがバイノーラルモードに設定されているか否かを確認することができる。制御部４７は、音声モードがバイノーラルモードのとき、表示部１７にバイノーラルモードであることを示すバイノーラルマーク（マーク１７１，１７２）を表示させる表示制御部となっている。
【００３０】
バイノーラルマイク３の左右のマイク３１ａ，３１ｂを左右の耳３０２に装着した撮影者３００は被写体をカメラ部１１で撮像する。カメラ部１１から出力された映像信号はビデオ符号化部（ビデオ処理部）１２及びスイッチＳｗ３の端子ｇに入力される。映像音声記録再生装置１０１で撮影（記録）を行っている場合には、スイッチＳｗ３は端子ｇに切り替えられていて、カメラ部１１からの映像信号が表示部１７に供給されて被写体の画像が表示される。これと同時に、撮影者３００の頭部３０とマイク３１ａ，３１ｂとの位置関係により、マイク３１ａ，３１からは被写体を正中面方向とするバイノーラル集音した音声信号が得られる。この音声信号はスイッチＳｗ１を介してオーディ符号化部（オーディオ処理部）２２に入力される。
【００３１】
ここでは記録媒体４４がＤＶカセットの場合について説明すると、ビデオ符号化部１２は入力された映像信号をＡ／Ｄ変換すると共にＤＶ圧縮方式により符号化して符号化映像信号を生成する。オーディ符号化部２２は入力された音声信号をＡ／Ｄ変換すると共に非圧縮の音声信号のデータ位置をシャフリングにより並び替えて符号化音声信号を生成する。
【００３２】
多重化部１３は、入力された符号化映像信号と符号化音声信号とバイノーラルフラグ信号とを民生用ディジタルＶＣＲ仕様で定められる信号フォーマットに従って時分割多重して多重化信号を生成する。多重化部１３より出力された多重化信号は記録・再生部１４に入力される。記録・再生部１４は入力された多重化信号を民生用ディジタルＶＣＲ仕様で定められた記録フォーマットに従って記録媒体４４に記録する。バイノーラルフラグ信号の具体的な記録方法は後に詳述する。
【００３３】
ここで、バイノーラルマイク３の変形例について説明する。
【００３４】
＜バイノーラルマイク３の変形例＞
図６（Ａ）はマイク３１ａ，３１ｂの第１の変形例であるマイク３１ｃを示しており、図６（Ｂ）はマイク３１ａ，３１ｂの第２の変形例であるマイク３１ｄを示している。図６（Ａ）に示すマイク３１ｃは、撮影者３００の耳３０２に挿入するマイク保持部３１２と、マイク保持部３１２の上部に連結して設けられており、振動板等のマイクユニットを収納するマイク収納部３１１とを備えている。バイノーラルマイク３をマイク収納部３１１とマイク保持部３１２とに分離した構造のマイク３１ｃとすることにより、撮影者３００はバイノーラルマイク３を装着しても外部から到来する音を良好に聞くことができる。図６（Ｂ）に示すマイク３１ｄは、マイク保持部３１２の下部に連結してマイク収納部３１１を設けたものである。マイク３１ｄでもマイク３１ｃと同様の効果がある。
【００３５】
図７はマイク保持部３１２の具体的構成例を示す斜視図である。ここではマイク保持部３１２の上部にマイク収納部３１１を設けた図６（Ａ）のマイク３１ｃについて示している。図７（Ａ）に示すマイク保持部３１２は、保持部本体３１２ａに、耳３０２の内部に向かうに従って径が小さくなるテーパ状の通音孔３１３ａを形成したものである。図７（Ｂ）に示すマイク保持部３１２は、保持部本体３１２ａに円柱状の音孔３１３ｂを形成したものである。図７（Ａ）の保持部本体３１２ａは撮影者３００の耳３０２に挿入が容易であり、図７（Ｂ）の保持部本体３１２ｂは装着時の外音の減衰が小さいという特長を有する。
【００３６】
図８は、図６（Ａ）のマイク３１ｃのマイク保持部３１２の外形を異ならせた例を示している。図８において、（Ａ）は大の外形を有するマイク保持部３１２、（Ｂ）は中の外形を有するマイク保持部３１２、（Ｃ）は小の外形を有するマイク保持部３１２である。このようにマイク保持部３１２として複数の大きさのものを用意すれば撮影者３００は自分の耳３０２の大きさに合ったものを選択することができる。なお、図８（Ａ）〜（Ｃ）はマイク収納部３１１（マイクユニット）の形状及び大きさは同じであり、マイクユニットの感度及び応答周波数特性も同一である。
【００３７】
＜バイノーラルフラグ信号の記録＞
撮影者３００がバイノーラルマイク３を装着して集音したバイノーラル音声と内蔵ステレオマイク２１で集音したステレオ音声とを識別するため、バイノーラル音声集音時にはバイノーラル音声と共にバイノーラルフラグ信号を記録媒体４４に記録する。バイノーラルフラグ信号はフラグ情報生成部４２で生成される。
【００３８】
まず、記録媒体４４がＤＶカセットの場合のバイノーラルフラグ信号の具体的な記録方法について説明する。
【００３９】
図９はＤＶカセットにオーディオデータを記録する場合のデータフォーマットである。０〜８９バイトのオーディオデータを記録するに際し、第０，１バイトは同期コードを、第２〜４バイトはＩＤ（識別）コードを、第５〜９バイトはオーディオ用補助データ（ＡＵＸ）を、第１０〜８１はオーディオデータを、そして第８２〜８９は誤りデータ検出及び訂正用の内符号パリティデータを記録する。フラグ情報生成部４２は一例としてバイノーラルモードであればバイノーラルフラグ信号として１を出力し、バイノーラルモードでなければ（ノーマルモードであれば）０を出力する。多重化部１３は図９に示すデータフォーマットの信号を生成する。
【００４０】
次に、記録媒体４４が記録用のディスクの場合のバイノーラルフラグ信号の具体的な記録方法について説明する。記録用のディスクとしては、ＤＶＤ−ＲＡＭ，ＤＶＤ−ＲＷ，ＤＶＤ−Ｒのような赤色レーザ光を用いて記録再生するディスクと、Ｂｌｕ−ｒａｙ ＤｉｓｃやＨＤ−ＤＶＤのような青色レーザ光を用いて記録再生するディスクがある。ここではこれらの記録用のディスク全般に適用することができるＤＶＤビデオ規格を用いてバイノーラルフラグ信号を重畳する場合について説明する。
【００４１】
ＤＶＤビデオ規格を用いてバイノーラルフラグ信号を重畳する第１の方法としては、ＤＶＤビデオ規格におけるＤＶＤ−Ｖｉｄｅｏ ｚｏｎｅにバイノーラルフラグ信号を重畳する方法が考えられる。
【００４２】
図１０に示すように、ＤＶＤ規格のボリューム空間（Ｖｏｌｕｍｅ ｓｐａｃｅ）は、Ｖｏｌｕｍｅ ａｎｄ Ｆｉｌｅ ｓｔｒｕｃｔｕｒｅとＤＶＤ−Ｖｉｄｅｏ ｚｏｎｅとＤＶＤ ｏｔｈｅｒｓ ｚｏｎｅとからなる。ＤＶＤ−Ｖｉｄｅｏ ｚｏｎｅはＶＭＧ（Ｖｉｄｅｏ Ｍａｎａｇｅｒ）とＶＴＳ（Ｖｉｄｅｏ Ｔｉｔｌｅ Ｓｅｔ）＃１〜ＤＶＴＳ＃ｎを含む。ｎは２以上の所定の整数である。それぞれのＶＴＳは制御データ（Ｃｏｎｔｒｏｌ Ｄａｔａ）とＶＯＢＳ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｓｅｔ）とを含む。ＶＯＢＳは複数のＶＯＢ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ）を含む。ＶＯＢＳは複数のＣＥＬＬを含む。ＣＥＬＬは複数のＶＯＢＵ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｕｎｉｔ）を含む。ＶＯＢＵはナビゲーションパック（ＮＶ＿ＰＡＣＫ），オーディオパック（Ａ＿ＰＡＣＫ），ビデオパック（Ｖ＿ＰＡＣＫ）を含む。本実施形態では、ＶＯＢＵ内にバイノーラルフラグ信号を含むデータパック（Ｄ＿ＰＡＣＫ）を設ける。
【００４３】
データパック（Ｄ＿ＰＡＣＫ）は、パックヘッダ，パケットヘッダ，サブストリームＩＤ，オーディオフレーム情報，オーディオデータ情報，バイノーラルフラグ信号を含む。バイノーラルフラグを信号は複数のオーディオフレームレイヤからなる。
【００４４】
このようにＤＶＤビデオ規格に準拠した形式でバイノーラルフラグ信号を含む情報をデータパック（Ｄ＿ＰＡＣＫ）としてパック化し、ＭＰＥＧ多重化する。これにより、ＤＶＤビデオ規格との互換性を保ちながら、オーディオ信号のどのオーディオフレーム部分がバイノーラル音声信号であり、どのオーディオフレーム部分が通常のステレオ音声であるのかが分かる。従って、クロストークキャンセル処理をどのオーディオフレーム部分で施せばよいのかを簡単に判別することができる。
【００４５】
ＤＶＤビデオ規格を用いてバイノーラルフラグ信号を重畳する第２の方法としては、ＤＶＤビデオ規格におけるＤＶＤ ｏｔｈｅｒｓ ｚｏｎｅにバイノーラルフラグ信号を重畳する方法が考えられる。ＤＶＤ ｏｔｈｅｒｓ ｚｏｎｅは映像や音声の本体のデータに関連する補助データを記録する領域であり、ユーザデータ記録領域でもある。
【００４６】
図１０と図１１とを比較すれば分かるように、本実施形態ではユーザデータ記録領域であるＤＶＤ ｏｔｈｅｒｓ ｚｏｎｅのデータ構造をＤＶＤ−Ｖｉｄｅｏ ｚｏｎｅのデータ構造と類似した構造としている。図１１に示すように、ＤＶＤ ｏｔｈｅｒｓ ｚｏｎｅもＶＭＧ，ＶＴＳ，ＶＯＢＳ，ＶＯＢ，ＣＥＬＬ，ＶＯＢＵなる各情報を含んでいる。図１１に示すＤＶＤ ｏｔｈｅｒｓ ｚｏｎｅにおけるそれらの各情報を図１０のそれと区別するため、頭にＤを付した名称としている。
【００４７】
図１１に示すように、ＤＶＤ ｏｔｈｅｒｓ ｚｏｎｅはＤＶＭＧとＤＶＴＳ＃１〜ＤＶＴＳ＃ｎを含む。それぞれのＤＶＴＳはＤＶＴＳＩ（Ｖｉｄｅｏ Ｔｉｔｌｅ Ｓｅｔ Ｉｎｆｏｒｍａｔｉｏｎ）とＤＶＯＢＳとを含む。ＤＶＯＢＳは複数のＤＶＯＢを含む。ＤＶＯＢＳは複数のＤＣＥＬＬを含む。ＤＣＥＬＬは複数のＤＶＯＢＵを含む。ＤＶＯＢＵは複数のオーディオフレームレイヤを含む。オーディオフレームレイヤはオーディオ信号の符号化パラメータなどのオーディオフレームデータを記録する領域であり、このオーディオフレームレイヤの一部の領域をバイノーラルフラグ信号の記録領域とする。
【００４８】
このようにＤＶＤビデオ規格に準拠した形式でＤＶＤ ｏｔｈｅｒｓ ｚｏｎｅにバイノーラルフラグ信号を記述することにより、ＤＶＤ−Ｖｉｄｅｏ ｚｏｎｅに含まれるオーディオ信号（バイノーラル音声信号または通常のステレオ音声）とバイノーラルフラグ信号とが互いに関連付けられる。ＤＶＤビデオ規格との互換性を保ちながら、オーディオ信号のどのオーディオフレーム部分がバイノーラル音声信号であり、どのオーディオフレーム部分が通常のステレオ音声であるのかが分かる。従って、クロストークキャンセル処理をどのオーディオフレーム部分で施せばよいのかを簡単に判別することができる。
【００４９】
図１０，図１１の場合、例えばスタートボタンを操作して撮影を開始してストップボタンを操作して撮影を終了する間に集音されたオーディオ信号を１または複数のオーディオフレームレイヤとし、それぞれのオーディオフレームレイヤに対して音声モード情報を付加する。そして、音声モード情報内にバイノーラルフラグ信号を記述し、バイノーラル情報パケットとして管理する。バイノーラルフラグ信号をバイノーラル情報パケットとして管理することにより、オーディオフレーム毎に音声モード情報を容易に取得することができる。これにより、記録媒体４４を再生する際に、バイノーラル音声信号と通常のステレオ音声信号とが混在して記録されている場合であっても、音声モードに応じて後で詳述するクロストークキャンセラ２７の切り替えを適切に行うことができる。音声モード情報の記録は少なくとも撮影を開始する操作毎に行うことが必要であり、所定時間毎に記録することはより好ましい。
【００５０】
また、記録媒体４４として例えば半導体メモリを用いる場合であっても、上記と同様にバイノーラルフラグ信号の記録領域を定義し、記録される音声信号の音声モードを指定することにより、バイノーラルで記録された音声信号を識別し、クロストークキャンセラ２７の動作・不動作を適切に切り替えながら音声信号を再生させることができる。
【００５１】
さらに、ＭＰＥＧなどの符号化方式の多重化レイヤのユーザデータ内にバイノーラルフラグ信号を記述することも考えられる。一例として、映像及び音声の通信機能を有する携帯電話を用い、送信側の携帯電話からバイノーラルマイク３で集音した音声信号と共に撮影した映像信号を受信側の携帯電話に伝送する場合を想定する。このような場合にも、送信側の携帯電話から受信側の携帯電話へとバイノーラルフラグ信号を伝送することができる。音声信号に対してバイノーラルフラグ信号を付して伝送することにより、バイノーラル音声の場合に臨場感のある音声を再生することが可能となる。この場合、携帯電話で伝送する映像及び音声パケットデータの所定の箇所にバイノーラルフラグ信号を記述してパケットデータとして伝送する。例えば、ＭＰＥＧ−４で規定される伝送方式を用いる場合には、エレメンタリストリームのユーザデータ記録領域で、図９に示したようなバイノーラルフラグ信号を伝送することができる。ＭＰＥＧ−４標準で規定されるトランスポートストリームを用いる場合には、プライベートデータ領域（ｐｒｉｖａｔｅ＿ｄａｔａ＿ｔｙｐｅ）にバイノーラルフラグ信号を記述することができる。
【００５２】
また、映像データ及び音声データを添付ファイルの形式でファイル化されたデータとして伝送する場合は、そのファイルヘッダの部分にバイノーラルフラグ信号を記述するようにしてもよい。
【００５３】
映像音声記録再生装置１０１における記録動作について図１２に示すフローチャートを用いてさらに説明する。
【００５４】
まず、制御部４７は、ステップＳ１５１にて、図４で説明した初期設定が、外部マイク接続端子３２に接続する外部マイクをバイノーラルマイク３に設定されているか否かを判定する。ステップＳ１５１で初期設定がバイノーラルに設定されていると判定されれば（ＹＥＳ）、ステップＳ１５２に移る。バイノーラルに設定されていると判定されなければ（ＮＯ）、制御部４７はスイッチＳｗ１を端子ａへと切り替え、ステップＳ１５４にて、映像音声記録再生装置１０１は内蔵ステレオマイク２１からの音声信号を取得する。制御部４７は、ステップＳ１５２にて、接続検出部４１が外部マイク接続端子３２に外部マイクのプラグが挿入されていることを検出しているか否かを判定する。ステップＳ１５２で外部マイク接続端子３２に外部マイクが接続されている判定されれば（ＹＥＳ）、制御部４７は、スイッチＳｗ１を端子ｂへと切り替え、ステップＳ１５３にて、映像音声記録再生装置１０１はバイノーラルマイク３からの音声信号を取得する。ステップＳ１５２で外部マイク接続端子３２に外部マイクが接続されていると判定されなければ（ＮＯ）、制御部４７は、スイッチＳｗ１を端子ａへと切り替え、ステップＳ１５４にて、映像音声記録再生装置１０１は内蔵ステレオマイク２１からの音声信号を取得する。
【００５５】
次に、ステップＳ１５５にて、カメラ部１１からの映像信号をビデオ符号化部１２内の図示しないメモリに一時記憶し、バイノーラルマイク３または内蔵ステレオマイク２１からの音声信号をオーディオ符号化部２２内の図示しないメモリに一時記憶する。ステップＳ１５６にて、ビデオ符号化部１２は映像信号を符号化し、オーディオ符号化部２２は音声信号を符号化する。テップＳ１５７にて、符号化映像信号をビデオ符号化部１２内の図示しないバッファに一時記憶し、符号化音声信号をオーディオ符号化部２２内の図示しないバッファに一時記憶する。さらに、ステップＳ１５８にて、フラグ情報生成部４２はバイノーラルモードのとき制御部４７の指示に基づいてバイノーラルフラグ信号を生成する。
【００５６】
そして、多重化部１３は、ステップＳ１５９にて、符号化映像信号と符号化音声信号とバイノーラルフラグ信号とを多重化し、ステップＳ１６０にて、パケット化ストリーム信号を生成する。記録・再生部１４は、ステップＳ１６１にて、媒体記録４４にストリーム信号を記録する。ステップＳ１６２にて、ビデオ符号化部１２とオーディオ符号化部２２は符号化すべき映像信号と音声信号があるか判定し、符号化すべき映像信号と音声信号がまだあると判定されれば（ＹＥＳ）ステップＳ１５２に戻り、以上の動作を繰り返す。ステップＳ１６２で符号化すべき映像信号と音声信号がまだあると判定されなければ（ＮＯ）、処理を終了する。
【００５７】
＜再生動作＞
図３に戻り、映像音声記録再生装置１０１における再生動作について説明する。図３において、操作部４８の図示しない再生ボタンが操作されると、記録・再生部１４は制御部４７の制御により、記録媒体４４に記録された記録信号である多重化信号を再生する。記録・再生部１４で再生された多重化信号は分離化部１５に供給され、分離化部１５は入力された多重化信号を符号化映像信号と符号化音声信号とバイノーラルフラグ信号とに分離する。
【００５８】
符号化映像信号はビデオ復号化部（ビデオ処理部）１６に供給され、符号化音声信号はオーディオ復号化部（オーディオ処理部）２６に供給され、バイノーラルフラグ信号はフラグ情報取得部３６に供給される。ビデオ復号化部１６は入力された符号化映像信号を復号化して映像信号を得る。再生ボタンが操作に伴って、制御部４７の制御によりスイッチＳｗ３が端子ｈに切り替えられる。ビデオ復号化部１６より出力された映像信号は表示部１７で表示されると共に、映像出力端子３７ａを介してモニタ５２に供給されて表示される。オーディオ復号化部２６は入力された符号化音声信号を復号化して音声信号を得る。音声信号はクロストークキャンセラ２７とスイッチＳｗ２の端子ｃへと供給される。
【００５９】
クロストークキャンセラ２７は、バイノーラル集音された音声信号をスピーカ５３，５４で再生する際に発生する、左側のスピーカ５４から発音された信号が受聴者５９の右側の耳で受聴される第１のクロストーク成分と、右側のスピーカ５３から発音された信号が受聴者５９の左側の耳で受聴される第２のクロストーク成分とを打ち消すための信号を生成して音声信号に付加することによりクロストーク処理信号を生成する。フラグ情報取得部３６は分離化部１５で得られたバイノーラルフラグ信号を保持する。制御部４７はフラグ情報取得部３６がバイノーラルフラグ信号を保持しているか否かによってスイッチＳｗ２を切り替え制御する。即ち、フラグ情報取得部３６がバイノーラルフラグ信号を保持していれば、スイッチＳｗ２が端子ｄに接続してクロストークキャンセラ２７からのクロストーク処理信号を音声出力端子３７ｂに対して出力するよう制御し、バイノーラルフラグ信号を保持していなければ、スイッチＳｗ２が端子ｃに接続してオーディオ復号化部２６からのクロストーク処理していない音声信号を音声出力端子３７ｂに対して出力するよう制御する。
【００６０】
音声出力端子３７ｂより出力され、アンプ５１で増幅された音声信号は左右のスピーカ５３，５４から発音される。音声出力端子３７ｂより出力される音声信号がクロストークキャンセラ２７から出力されたクロストーク処理信号の場合には、視聴者５９は、モニタ５２に表示された映像を見ながら、撮影者３００が撮影を行った際の撮影者３００の周囲音を臨場感のある音声として受聴することができる。このとき、クロストークキャンセラ２７は、後に詳述する頭部伝達関数を用いてクロストーク成分を打ち消しているので、撮影者３００と視聴者５９とが異なる場合でも、任意の撮影者３００が撮影して任意の視聴者５９が視聴する場合でも、違和感のほとんどない臨場感のある音声を受聴することができる。
【００６１】
映像音声記録再生装置１０１における再生動作について図１３に示すフローチャートを用いてさらに説明する。
【００６２】
図１３において、ステップＳ１８１にて、記録・再生部１４は記録媒体４４を再生し、多重化信号に基づいたストリーム信号を得る。ステップＳ１８２にて、記録・再生部１４はストリーム信号を復号してパケット信号を生成する。ステップＳ１８３にて、分離化部１５はパケット信号をビデオ信号、オーディオ信号、バイノーラルフラグ信号に分離する。ステップＳ１８４にて、ビデオ復号化部１６はビデオ信号を復号し、オーディオ復号化部２６はオーディオ信号を復号する。ステップＳ１８５にて、ビデオ復号化部１６とオーディオ復号化部２６は復号したビデオ信号とオーディオ信号を図示しないバッファに一時記憶する。ステップＳ１８６にて、フラグ情報取得部３６はバイノーラルフラグ信号を取得する。
【００６３】
そして、制御部４７は、ステップＳ１８７にて、フラグ情報取得部３６が取得したバイノーラルフラグ信号に基づいて、再生したオーディオ信号が通常のステレオ音声信号であるかバイノーラル音声信号であるかを判定する。ステップＳ１８７でバイノーラル音声信号であると判定した場合には（ＹＥＳ）、ステップＳ１８８に移る。ステップＳ１８７でバイノーラル音声信号でないと判定した場合には（ＮＯ）、ステップＳ１９１に移り、制御部４７は、スイッチＳｗ２を端子ｃに切り替えて、ビデオ信号とオーディオ信号を同期再生するよう回路各部を制御する。
【００６４】
バイノーラル音声信号であれば、ステップＳ１８８にて、制御部４７は、スイッチＳｗ２を端子ｄに切り替えることによりクロストークキャンセラ２７によるクロストークキャンセル処理を有効な状態とする。ステップＳ１８９にて、制御部４７は、ビデオ信号とクロストークキャンセラ２７によってクロストークキャンセル処理したオーディオ信号を同期再生するよう回路各部を制御する。ステップＳ１９０にて、再生すべきビデオ信号とオーディオ信号がまだあると判定されれば（ＹＥＳ）、ステップＳ１８２に戻り、以上の動作を繰り返す。ステップＳ１９０で再生すべきビデオ信号とオーディオ信号がまだあると判定されなければ（ＮＯ）、処理を終了する。
【００６５】
＜クロストークキャンセル＞
ここで、図１４を用いてクロストークキャンセラ２７の具体的構成と動作について説明する。図１４に示すように、クロストークキャンセラ２７は、フィルタ２７２ａ〜２７２ｄ、加算器２７４ａ，２７４ｂ、フィルタ２７５ａ，２７５ｂを備えて構成されている。
【００６６】
図１４において、バイノーラル音声信号のうち左チャンネルの信号Ｐ_Ｌ（ｔ）はフィルタ２７２ａ，２７２ｂに、右チャンネルの信号Ｐ_Ｒ（ｔ）はフィルタ２７２ｃ，２７２ｄに入力される。フィルタ２７２ａ〜２７２ｄは順に、後述する頭部伝達関数ｈ_ｒｓ（ｔ），ｈ_ｌｏ（ｔ），ｈ_ｒｏ（ｔ），ｈ_ｌｓ（ｔ）に基づいて作成したフィルタ特性（フィルタ係数）を記憶している。フィルタ２７２ａ，２７２ｄは頭部伝達関数ｈ_ｒｓ（ｔ），ｈ_ｌｓ（ｔ）と同等のフィルタ特性を有しており、フィルタ２７２ｂ，２７２ｃは頭部伝達関数ｈ_ｌｏ（ｔ），ｈ_ｒｏ（ｔ）を反転したのと同等のフィルタ特性を有する。便宜上、フィルタ２７２ａ〜２７２ｄのフィルタ特性をｈ_ｒｓ（ｔ），−ｈ_ｌｏ（ｔ），−ｈ_ｒｏ（ｔ），ｈ_ｌｓ（ｔ）と表記する。フィルタ２７２ａ〜２７２ｄは、入力される信号Ｐ_Ｌ（ｔ），Ｐ_Ｒ（ｔ）にそれぞれのフィルタ特性を与えて出力する。
【００６７】
加算器２７４ａはフィルタ２７２ａ，２７２ｃから出力される信号を加算し、フィルタ２７５ａは加算された信号にｄ（ｔ）なるフィルタ特性を与える。加算器２７４ｂはフィルタ２７２ｂ，２７２ｄから出力される信号を加算し、フィルタ２７５ｂは加算された信号にｄ（ｔ）なるフィルタ特性を与える。
【００６８】
ここで、フィルタ２７５ａ，２７５ｂに記憶されているフィルタ特性ｄ（ｔ）は次の（１）式である。
【００６９】
ｄ（ｔ）＝｛ｈ_ｌｓ（ｔ）×ｈ_ｒｓ（ｔ）−ｈ_ｌｏ（ｔ）×ｈ_ｒｏ（ｔ）｝^−１…（１）
フィルタ２７５ａ，２７５ｂから出力される信号は、スピーカ５３，５４から発音される際にクロストークがキャンセルされるよう、クロストークキャンセル処理が施されたクロストーク処理信号である。フィルタ２７５ａ，２７５ｂから出力されたロストーク処理信号は、アンプ５１の左チャンネルアンプ５１ａと右チャンネルアンプ５１ｂでそれぞれ増幅され、スピーカ５３，５４から発音される。
【００７０】
スピーカ５３から発音された信号（音声）は視聴者５９の左耳で受聴されると共に、発音された信号の一部は破線にて示す第１のクロストーク信号として視聴者５９の右耳で受聴される。クロストークキャンセラ２７は視聴者５９の右耳で受聴される第１のクロストーク信号を打ち消すための第１のクロストーク打消し信号を生成してスピーカ５４から発音させる。第１のクロストーク打消し信号により第１のクロストーク信号は打ち消される（減衰される）。同様に、スピーカ５４から発音された信号（音声）は視聴者５９の右耳で受聴されると共に、発音された信号の一部は破線にて示す第２のクロストーク信号として視聴者５９の左耳で受聴される。クロストークキャンセラ２７は視聴者５９の左耳で受聴される第２のクロストーク信号を打ち消すための第２のクロストーク打消し信号を生成してスピーカ５３から発音させる。第２のクロストーク打消し信号により第２のクロストーク信号は打ち消される（減衰される）。結果として、視聴者５９は左耳でクロストークがキャンセルされた音声信号Ｐ_ｌ（ｔ）を受聴し、右耳でクロストークがキャンセルされた音声信号Ｐ_ｒ（ｔ）を受聴する。
【００７１】
＜頭部伝達関数の測定＞
図１５を用いて、フィルタ２７２ａ〜２７２ｄ，２７５ａ，２７５ｂに格納する頭部伝達関数特性を求めるための頭部伝達関数測定装置６について説明する。図１５に示すように、頭部伝達関数測定装置６は、パーソナルコンピュータ６１、増幅器６２、スピーカ６３、マイクユニット６５ａ，６５ｂ、円筒形構造体６５ｅ、増幅器６６ａ，６６ｂを備えて構成されている。
【００７２】
頭部伝達関数の測定方法について説明する。
【００７３】
まず、パーソナルコンピュータ６１により例えばインパルス音よりなる測定信号を生成する。測定信号は増幅器６２で増幅される。左側のスピーカ６３から発音された測定信号は左右のマイクユニット６５ａ，６５ｂで受音される。受音して得られた左右の信号は増幅器６６ａ，６６ｂで増幅されてパーソナルコンピュータ６１に入力される。この入力信号はスピーカ６３から発音された音声を円筒形構造体６５ｅに取り付けられた左右のマイクユニット６５ａ，６５ｂで受音した信号の頭部伝達関数ｈ_ｌｓ（ｔ），ｈ_ｌｏ（ｔ）である。頭部伝達関数ｈ_ｌｓ（ｔ）は左側のスピーカ６３から発音された信号が左側のマイクユニット６５ａで受聴される特性であり、頭部伝達関数ｈ_ｌｏ（ｔ）は左側のスピーカ６３から発音された信号が右側のマイクユニット６５ｂで受聴されるクロストーク成分の特性である。
【００７４】
同様に、右側のスピーカ６４から発音された測定信号は左右のマイクユニット６５ａ，６５ｂで受音される。受音して得られた左右の信号は増幅器６６ａ，６６ｂで増幅されてパーソナルコンピュータ６１に入力される。パーソナルコンピュータ６１は生成した測定信号と受音した信号とを比較することにより、スピーカ６４から発音された音声を円筒形構造体６５ｅに取り付けられた左右のマイクユニット６５ａ，６５ｂで受音した信号の頭部伝達関数ｈ_ｒｓ（ｔ），ｈ_ｒｏ（ｔ）を求める。頭部伝達関数ｈ_ｒｓ（ｔ）は右側のスピーカ６４から発音された信号が右側のマイクユニット６５ｂで受聴される特性であり、頭部伝達関数ｈ_ｒｏ（ｔ）は右側のスピーカ６４から発音された信号が左側のマイクユニット６５ａで受聴されるクロストーク成分の特性である。
【００７５】
図１６を用いて円筒形構造体６５ｅについて説明する。図１６において、（Ａ）は円筒形構造体６５ｅの上面図、（Ｂ）は円筒形構造体６５ｅの斜視図であり、（Ｃ）は比較のため示すいわゆるダミーヘッドマイクの断面図である。
【００７６】
図１６（Ａ），（Ｂ）に示すように、円筒形構造体６５ｅの表面にはマイクユニット６５ａ，６５ｂが１８０°離間した状態で装着されている。図示のように、マイクユニット６５ａ，６５ｂは耳介及び外耳道を有していない。マイクユニット６５ａ，６５ｂの図示しない振動板は円筒形構造体６５ｅの表面とほぼ一致する位置に配置されている。一方、図１６（Ｃ）に示すダミーヘッドマイク６９は、人工頭６９１の両側部に耳介形部材６９２ａ，６９２ｂと耳道６９３ａ，６９３ｂとを備え、耳道６９３ａ，６９３ｂの奥部にマイクユニット６９４ａ，６９４ｂを備えたものである。マイクユニット６９４ａ，６９４ｂは人の鼓膜の位置に相当する位置に設けられており、人が聴取する音に近似する音声信号を集音するものである。
【００７７】
図１６（Ａ），（Ｂ）に示す円筒形構造体６５ｅに取り付けられたマイクユニット６５ａ，６５ｂの受音特性は、人それぞれで大きさや形状が異なる耳介や外耳道により与えられる特性差の影響を受けることがなく、頭部伝達関数を計測することができる特性である。スピーカ６３，６４から発音された音波は円筒形構造体６５ｅにより遮蔽されるものの、円筒形構造体６５ｅに添って回折してマイクユニット６５ａ，６５ｂに到達する。マイクユニット６５ａ，６５ｂはスピーカ６３，６４から発音されて直接到達する音波と円筒形構造体６５ｅに添って回折して到達する音波とよりなる特性を計測することになる。円筒形構造体６５ｅを用いることにより、平均的な頭部遮蔽特性を有する頭部伝達関数を得ることができる。従って、頭部の大きさや形状が異なり頭部遮蔽特性が異なる種々の視聴者がバイノーラル音声信号を受聴しても、違和感のほとんどない臨場感のある音声を受聴することができる。
【００７８】
図１７（Ａ）〜（Ｄ）は、前述の音響信号伝達特性測定装置６が発生したインパルス音に、音響信号伝達特性測定装置６によって測定した円筒形構造体６５ｅの頭部伝達関数ｈ_ｌｓ（ｔ），ｈ_ｌｏ（ｔ），ｈ_ｒｓ（ｔ），ｈ_ｒｏ（ｔ）が畳み込まれたインパルス応答波形を示している。図１７（Ｄ）は前述の（１）式に示すフィルタ特性ｄ（ｔ）を示している。図１７（Ａ）〜（Ｅ）において、縦軸は所定の出力電圧で正規化した信号電圧の振幅を示し、横軸は測定された信号を４８ｋＨｚで標本化した場合のサンプルの個数で表した時間を示している。
【００７９】
図１８（Ａ）〜（Ｅ）は、図１７（Ａ）〜（Ｅ）に示す信号をフーリエ解析して得られる周波数特性を示している。図１８（Ａ）〜（Ｅ）において、１００Ｈｚ，１ｋＨｚ，１０ｋＨｚの周波数位置を破線の縦線で示しており、縦軸の応答特性における２つの破線の横線間の利得差は１０ｄＢである。
【００８０】
図１４のフィルタ２７２ａ〜２７２ｄには、以上のようにして得られた頭部伝達関数ｈ_ｒｓ（ｔ），ｈ_ｌｏ（ｔ），ｈ_ｒｏ（ｔ），ｈ_ｌｓ（ｔ）に基づいたフィルタ特性が与えられる。前述のように、フィルタ２７２ａ，２７２ｄには頭部伝達関数ｈ_ｒｓ（ｔ），ｈ_ｌｓ（ｔ）に相当するフィルタ特性が与えられ、フィルタ２７２ｂ，２７２ｃには頭部伝達関数ｈ_ｌｏ（ｔ），ｈ_ｒｏ（ｔ）を極性反転した−ｈ_ｌｏ（ｔ），−ｈ_ｒｏ（ｔ）に相当するフィルタ特性が与えられる。
【００８１】
比較のため、円筒形構造体６５ｅに取り付けたマイクユニット６５ａ，６５ｂの代わりに図１６（Ｃ）に示すダミーヘッドマイク６９を用いて測定した特性を図１９，図２０に示す。図１９は図１７と同様に測定して得られた特性である。図１７と図１９とを比較すれば分かるように、円筒形構造体６５ｅに取り付けたマイクユニット６５ａ，６５ｂを用いて測定したインパルス応答波形は、ダミーヘッドマイク６９を用いて測定したインパルス応答波形よりも、測定用入力信号であるインパルス音に近い波形である。
【００８２】
図２０はダミーヘッドマイク６９を用いて測定した周波数応答特性である。図１８と図２０とを比較すれば分かるように、円筒形構造体６５ｅに取り付けたマイクユニット６５ａ，６５ｂを用いて得た特性の方が周波数特性の乱れが小さく平坦に近い。図２０（Ａ）〜（Ｅ）に示すそれぞれの特性は、１．５〜７ｋＨｚの周波数において応答特性が増強されたり減衰されたりしている。図１８（Ａ）〜（Ｅ）に示す特性の方が応答特性の増強及び減衰の程度が小さい。これは円筒形構造体６５ｅ取り付けたマイクユニット６５ａ，６５ｂを用いた場合には耳介や外耳道により生じる特性の乱れがないためである。ダミーヘッドマイク６９では、スピーカ６３，６４より発音された音波の一部が耳介で反射して、反射した音波と直接到来する音波とが同相で合成されて増強されたり、逆相で合成されて減衰したりする。また、外耳道の共振や反共振などの影響により特定の周波数で増強されたり減衰したりする。円筒形構造体６５ｅに取り付けたマイクユニット６５ａ，６５ｂを用いることによりダミーヘッドマイク６９を用いた場合のような悪影響を抑えることができる。
【００８３】
クロストークキャンセラ２７のフィルタ２７２ａ〜２７２ｄ及びフィルタ２７５ａ，２７５ｂに、円筒形構造体６５ｅに取り付けたマイクユニット６５ａ，６５ｂを用いて測定した頭部伝達関数に基づいたフィルタ特性（第１の条件とする）と、ダミーヘッドマイク６９を用いて測定した頭部伝達関数に基づいたフィルタ特性とを与え（第２の条件とする）、複数の視聴者による両者の比較視聴テストを行った。視聴者の耳道に細い小型マイクを挿入し、その小型マイクで受音される音が視聴者により受聴される音であるとして受音特性を測定した。
【００８４】
図２１は、第１の条件で、ある視聴者により測定した特性を示している。図２１において、（Ａ）は左側の入力信号Ｐ_Ｌ（ｔ）をインパルス信号、右側の入力信号Ｐ_Ｒ（ｔ）を無信号としてスピーカ５３，５４から発音させ、視聴者の左耳に装着した小型マイクで受音されたインパルス応答信号の波形である。（Ｂ）は（Ａ）と同じ条件で発音させ、視聴者の右耳に装着した小型マイクで受音されたクロストーク成分の波形である。図２１（Ａ）では大きなレベルのインパルス応答波形が得られ、図２１（Ｂ）では小さなレベルの波形が得られている。図２１（Ｃ）は応答波形の周波数分析結果であり、Ｃａは（Ａ）の応答波形を周波数分析した応答特性であり、Ｃｂは（Ｂ）の応答波形を周波数分析した応答特性である。１００Ｈｚ〜２ｋＨｚで２０ｄＢを越えるクロストークキャンセル効果が得られている。
【００８５】
さらに、図２１において、（Ｄ）は左側の入力信号Ｐ_Ｌ（ｔ）を無信号、右側の入力信号Ｐ_Ｒ（ｔ）をインパルス信号としてスピーカ５３，５４から発音させ、視聴者の左耳に装着した小型マイクで受音されたクロストーク成分の波形である。（Ｅ）は（Ｄ）と同じ条件で発音させ、視聴者の右耳に装着した小型マイクで受音されたインパルス応答の波形である。図２１（Ｄ）では小さなレベルの波形が得られ、図２１（Ｅ）では大きなレベルのインパルス応答波形が得られている。図２１（Ｆ）は応答波形の周波数分析結果であり、Ｆｄは（Ｄ）の応答波形を周波数分析した応答特性であり、Ｆｅは（Ｅ）の応答波形を周波数分析した応答特性である。１００Ｈｚ〜２ｋＨｚで１６ｄＢ程度のクロストークキャンセル効果が得られている。
【００８６】
図２２は、第２の条件で、図２１と同じ視聴者により測定した特性を示している。測定条件は図２１と同一である。図２２（Ｃ）のクロストークキャンセル効果は約１４ｄＢであり、図２２（Ｆ）のクロストークキャンセル効果は約１１ｄＢである。第２の条件では第１の条件と比較して効果が劣っていることが分かる。
【００８７】
図２３は、図２１，図２２とは異なる視聴者とし、第１の条件にて図２１と同一の測定条件で測定した特性を示している。図２３（Ｃ）のクロストークキャンセル効果は約２２ｄＢであり、図２３（Ｆ）のクロストークキャンセル効果は約１８ｄＢである。異なる視聴者であっても良好な効果が得られている。
【００８８】
図２４は、図２３と同じ視聴者で、第２の条件にて図２２と同一の測定条件で測定した特性を示している。図２４（Ｃ）のクロストークキャンセル効果は約１４ｄＢであり、図２４（Ｆ）のクロストークキャンセル効果は約１０ｄＢである。異なる視聴者であっても、第２の条件では第１の条件と比較して効果が劣っていることが分かる。さらに異なる視聴者により同様の測定を行い、第１の条件と第２の条件それぞれで上記と同様の効果が得られることを確認した。
【００８９】
以上の測定結果より、クロストークキャンセラ２７のフィルタ２７２ａ〜２７２ｄ及びフィルタ２７５ａ，２７５ｂに与えるフィルタ特性は、ダミーヘッドマイク６９を用いて測定した頭部伝達関数に基づいたフィルタ特性よりも円筒形構造体６５ｅに取り付けたマイクユニット６５ａ，６５ｂを用いて測定した頭部伝達関数に基づいたフィルタ特性の方が、左側のスピーカから発音されて右側の耳で受聴されるクロストーク成分と右側のスピーカから発音されて左側の耳で受聴されるクロストーク成分を打ち消す効果が大きいことが確認された。
【００９０】
円筒形構造体６５ｅに取り付けたマイクユニット６５ａ，６５ｂを用いて測定した頭部伝達関数に基づいたフィルタ特性では、高音域での周波数特性の乱れが少な。即ち、円筒形構造体６５ｅを用いることにより、特定の周波数部分で周波数特性が大きく落ち込んだり上昇したりすることを少なくすることができ、音質の劣化を極力抑えることができる。これにより視聴者はほとんど違和感を覚えることなく臨場感のある音声を受聴することが可能となる。
【００９１】
クロストークキャンセラ２７のフィルタ２７２ａ〜２７２ｄ及びフィルタ２７５ａ，２７５ｂに与えるフィルタ特性を円筒形構造体６５ｅに取り付けたマイクユニット６５ａ，６５ｂを用いて測定した頭部伝達関数に基づいたフィルタ特性とした場合には、クロストークキャンセルを、バイノーラル音声信号を受聴する際の構造体である視聴者５９の外耳道入り口近傍で行うことになる。従って、耳介や外耳道の音響特性が異なる複数の視聴者５９に対してクロストーク成分の打消しが効果的になされることになる。
【００９２】
なお、円筒形構造体６５ｅは完全な円筒形に限定されるものではなく、円筒形を若干変形させた形状であってもよい。耳介や外耳道などが与えるような応答特性の変化を与える凹凸部分を有さない形状とするのが好ましく、円筒形構造体６５ｅにマイクユニット６５ａ，６５ｂを取り付けた状態で応答特性の乱れが極力少ないことが好ましい。
【００９３】
クロストークキャンセラ２７は図１４に示す構成に限定されることはなく、低域周波数帯域で生じる逆相感をさらに減少させることができる帯域分割型のクロストークキャンセラとしてもよい。帯域分割型のクロストークキャンセラは、全周波数帯域の信号として入力されるバイノーラル音声信号を低域周波数帯域の信号と中高域周波数帯域の信号とに分割し、中高域周波数帯域のバイノーラル音声信号に対してのみクロストークキャンセル処理を行うものである。
【００９４】
図２５に帯域分割型のクロストークキャンセラ２７ａを示し、その構成と動作について説明する。図１４に示したクロストークキャンセラ２７と同一の機能を有する構成部分には同一符号を付し、その説明を省略する。
【００９５】
図２５に示すように、クロストークキャンセラ２７ａは、図１４のクロストークキャンセラ２７と比較して、ローパスフィルタ（ＬＰＦ）２７１ａ，２７１ｄ、ハイパスフィルタ（ＨＰＦ）２７１ｂ，２７１ｃ、遅延器２７３ａ，２７３ｂ、ゲインコントロールアンプ（ＧＣ）２７６ａ〜２７６ｄ、加算器２７７ａ，２７７ｂが追加されている点で相違している。
【００９６】
クロストークキャンセラ２７ａに入力されたバイノーラル音声信号のうち、左チャンネルの信号Ｐ_Ｌ（ｔ）はＬＰＦ２７１ａとＨＰＦ２７１ｂに入力され、右チャンネルの信号Ｐ_Ｒ（ｔ）はＬＰＦ２７１ｄとＨＰＦ２７１ｃに入力されて、低域周波数帯と中高域周波数帯とに分割される。ＬＰＦ２７１ａ，２７１ｄとＨＰＦ２７１ｂ，２７１ｃのカットオフ周波数は１００〜２００Ｈｚ程度に設定される。
【００９７】
ＨＰＦ２７１ｂ，２７１ｃより出力された中高域周波数帯の信号は、クロストークキャンセラ２７と同様に構成されるフィルタ２７２ａ〜２７２ｄと加算器２７４ａ，２７４ｂとフィルタ２７５ａ，２７５ｂとよりなる回路部分でクロストークキャンセル処理が施される。クロストークキャンセル処理が施された中高域周波数帯の信号はゲインコントロールアンプ２７６ｂ，２７６ｃに入力され、ゲインが調整される。
【００９８】
ＬＰＦ２７１ａ，２７１ｄより出力された低域周波数帯の信号は遅延器２７３ａ，２７３ｂに入力され、中高域周波数帯の信号に対するクロストークキャンセル処理に要する時間とほぼ同じ時間だけ遅延される。遅延器２７３ａ，２７３ｂより出力された低域周波数帯の信号はゲインコントロールアンプ２７６ａ，２７６ｄに入力され、中高域周波数帯の信号とのレベル差がなくなるようゲインが調整される。
【００９９】
そして、加算器２７７ａ，２７７ｂは、ゲインコントロールアンプ２７６ａ〜２７６ｄから出力された低域周波数帯の信号と中高域周波数帯の信号とを加算する。加算器２７７ａ，２７７ｂより出力された信号は、中高域周波数帯の信号に対してのみクロストークキャンセル処理が施されたクロストーク処理信号である。加算器２７７ａ，２７７ｂから出力されたロストーク処理信号は、アンプ５１の左チャンネルアンプ５１ａと右チャンネルアンプ５１ｂでそれぞれ増幅され、スピーカ５３，５４から発音される。
【０１００】
この図２５の構成では、低域周波数帯の信号に対してはクロストークキャンセル処理が施されないため、低域周波数帯で逆相感のない信号として再生される。
【０１０１】
図１４に示すクロストークキャンセラ２７では、前述の図２１〜図２４にて説明したように、クロストークキャンセラ２７によるクロストークキャンセル効果は１００Ｈｚ以下では十分に得られていない。１００Ｈｚ以下の低域周波数帯は音源の定位に与える影響が少ない帯域である。クロストークをキャンセルしない信号は逆相の信号として違和感を有して受聴されてしまう。
【０１０２】
図２５に示すクロストークキャンセラ２７ａでは、１００〜２００Ｈｚ以下の低域周波数帯でクロストークキャンセルを行わないようにし、低域周波数帯で逆相信号が生じないようにしたクロストークキャンセラを実現している。
【０１０３】
図２６に、図２５とはフィルタの構成方法が異なる周波数帯域分割型のクロストークキャンセラ２７ｂを示し、その構成と動作について説明する。図２５に示したクロストークキャンセラ２７ａと同一の機能を有する構成部分には同一符号を付し、その説明を省略する。
【０１０４】
図２６に示すクロストークキャンセラ２７ｂは、図２５のクロストークキャンセラ２７ａと比較して、フィルタ２７２ａ〜２７２ｄ及びフィルタ２７５ａ，２７５ｂの代わりにフィルタ２７８ａ，２７８ｂ及びフィルタ２７９ａ，２７９ｂを備える点で相違しており、結線方法も異なっている。クロストークキャンセラ２７ａはフィルタ特性をフィードフォワード型のＦＩＲ（ｆｉｎｉｔｅ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ：有限インパルス応答）形で構成しているのに対し、クロストークキャンセラ２７ｂはフィルタ特性をフィードバック型のＦＩＲ形で構成している。
【０１０５】
図２６において、ＨＰＦ２７１ｂ，２７１ｃより出力された中高域周波数帯の信号は、ＦＩＲ形のフィルタ２７８ａ，２７８ｂ，２７９ａ，２７９ｂ及び加算器２７４ａ，２７４ｂによってクロストークキャンセル処理が施される。頭部伝達関数測定装置６で求められたフィルタ特性は、フィルタ２７８ａ，２７８ｂ，２７９ａ，２７９ｂ内の図示しない記憶領域に格納され、フィルタ２７８ａ，２７８ｂ，２７９ａ，２７９ｂは入力される信号にそれぞれのフィルタ特性を畳み込んで出力する。クロストークキャンセラ２７ｂによれば、低域周波数帯で逆相信号が生じないようにして違和感を軽減するという点でクロストークキャンセラ２７ａと同様の作用効果を奏する。図２６に示すクロストークキャンセラ２７ｂの方が図２５に示すクロストークキャンセラ２７ａよりも使用するフィルタの次数を少なくすることができ、構成を簡略化できる。なお、ＦＩＲ形のフィルタの代わりにＩＩＲ形（ｉｎｆｉｎｉｔｅ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ：無限インパルス応答）のフィルタを用いてもよい。
【０１０６】
図３に示す構成においては、クロストークキャンセラ２７（または２７ａ，２７ｂ）を制御部４７とは別構成としているが、制御部４７がＤＳＰ（Ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）を備えたマイクロプロセッサの場合には、クロストークキャンセラ２７，２７ａ，２７ｂの機能を制御部４７に実行させてもよい。また、クロストークキャンセラ２７，２７ａ，２７ｂはハードウェアに限定されず、ソフトウェアによって実現することができる。
【０１０７】
＜ヘッドフォン再生＞
ところで、図３に示す映像音声記録再生装置１０１においては、オーディオ復号化部２６より出力される音声信号をヘッドフォンでも受聴できるようにしている。バイノーラル音声信号をヘッドフォンで受聴する場合には、上述したクロストーク成分は生じない。クロストークキャンセラ２７にて処理したクロストーク処理信号をヘッドフォンで受聴するとバイノーラル音声信号の逆相成分が左右の耳で受聴されてしまう。逆相成分は自然界にない音響信号成分であり、受聴上好ましくないため、バイノーラル音声信号をヘッドフォンでも受聴する場合にはクロストークキャンセル処理を行わない。
【０１０８】
そこで、図３に示すように、オーディオ復号化部２６より出力された音声信号を、クロストークキャンセラ２７を介することなく音声出力端子３７ｃに出力するようにしている。音声出力端子３７ｃから出力された音声信号はヘッドフォン５５へ供給される。視聴者５９は前述のようにクロストークキャンセラ２７より出力されたクロストーク処理信号をスピーカ５３，５４によって受聴することもできるし、クロストークキャンセラ２７による処理を施していない音声信号をヘッドフォン５５によって受聴することもできる。
【０１０９】
図２７を用いてバイノーラル音声信号のヘッドフォン５５での再生手順について説明する。図１３に示すフローチャートと同一の処理には同一の符号を付し、その説明を省略することとする。
【０１１０】
図２７において、ステップＳ１８１〜Ｓ１８６までは図１３で説明した通りであり、ステップＳ１９２にて、ヘッドフォン５５での再生か否かを判定する。ヘッドフォン５５の接続端子である音声出力端子３７ｃにプラグが挿入されているかを図示していない接続検出部によって検出すればよい。ステップＳ１９２でヘッドフォン再生であると判定されれば（ＹＥＳ）、ステップＳ１９３にて、ビデオ信号に同期してクロストークキャンセル処理を行わないバイノーラル音声信号をヘッドフォン５５にて再生して、ステップＳ１９０に移る。なお、再生した音声信号がバイノーラル音声信号ではない通常のステレオ音声の場合も同様にオーディオ復号化部２６より出力された音声信号をヘッドフォン５５に供給すればよい。
【０１１１】
ステップＳ１９２でヘッドフォン再生であると判定されなければ（ＮＯ）、図１３と同様、ステップＳ１８７〜Ｓ１９０の処理を行う。ステップＳ１８９での処理は、ステップＳ１９３でのヘッドフォン５５による再生処理とは異なり、バイノーラル音声信号をスピーカ５３，５４によって再生する処理である。
【０１１２】
≪第２の実施形態≫
撮影者３００は左右の耳３０２にバイノーラルマイク３を装着して集音しながら被写体の撮影及び記録媒体４４への記録を行うことにより、視聴者５９は撮影者３００が撮影を行った際の全方向の周囲音を受聴することができる。ところが、通常の映像音声記録再生装置（ビデオカメラ）により撮影される映像はカメラ前方約６０度の範囲の映像である。ズーム撮影を行う場合にはさらに狭い視野角で撮影される。そこで、ズーム撮影を行う場合には、ズームアップされた被写体の近傍から発音される音声を増強して集音できることが望ましい。第２の実施形態は、被写体のズームアップに併せて、被写体近傍の音声を増強して集音して記録するように構成したものである。
【０１１３】
図２８に第２の実施形態である音声のズーム処理部を備えた映像音声記録再生装置１０２を示し、その構成と動作について説明する。図３に示した第１の実施形態の映像音声記録再生装置１０１と同じ機能を有する構成部分には同一符号を付し、その説明を省略する。映像音声記録再生装置１０２は映像音声記録再生装置１０１と比較して音声ズーム処理部３３を備える点が相違している。なお、図２８では、ヘッドフォン５５とヘッドフォン５５の接続端子である音声出力端子３７ｃの図示を省略している。
【０１１４】
図２８において、外部マイク接続端子３２を介して入力されるバイノーラルマイク３からの音声信号は音声ズーム処理部３３に入力される。カメラ部１１は複数のレンズ（図示せず）を備え、一または複数のレンズを移動させてレンズ間距離を可変することによって被写体をズームアップ／ダウンするズーム機能を有している。操作部４８によってズームアップ操作がなされると、制御部４７からズームアップ制御信号がカメラ部１１に入力されて被写体がズームアップされて撮像されると共に、ズームアップ制御信号が音声ズーム処理部３３に入力されて入力された音声信号に対して音声のズームアップ処理が施される。
【０１１５】
音声ズーム処理部３３は、ズームアップ制御信号に基づいて、バイノーラル音声信号のうち被写体近傍から発せられる音声信号を多く含む撮影者３００の正中面で集音される音声信号を増強してズームアップ音声信号を生成する。ズームアップ音声信号はスイッチＳｗ１を介してオーディ符号化部２２に入力される。ズームアップ撮像された被写体の映像信号はビデオ符号化部１２で符号化され、ズームアップ音声信号はオーディ符号化部２２で符号化され、第１の実施形態と同様に記録媒体４４に記録される。
【０１１６】
図２９は音声ズーム処理部３３の具体的な構成例である。図２９に示すように、音声ズーム処理部３３は、ズーム倍率検出器３３１，係数算出器３３２，加算器３３５、可変増幅器３３７、加算器３３８ａ，３３８ｂを備えて構成されている。
【０１１７】
図２９において、ズーム倍率検出器３３１は制御部４７から供給されるズームアップ制御信号を基にズーム倍率を検出する。係数算出器３３２は検出されたズーム倍率に応じて被写体近傍から発せられる音声の増強度を表す係数αを算出する。加算器３３５は外部マイク接続端子３２より入力された左右チャンネルのバイノーラル音声信号を加算する。可変増幅器３３７は加算器３３５の出力信号を係数算出器３３２からの係数αに従って増幅する。加算器３３８ａ，３３８ｂは、可変増幅器３３７の出力信号にそれぞれ左，右チャンネルのバイノーラル音声信号を加算する。バイノーラルマイク３のマイク３１ａ，３１ｂを撮影者３００の左右の耳３０２に装着した状態でマイク３１ａ，３１ｂ内の振動板はほぼ平行となる。撮影者３００の左右方向からの音声は互いに逆相の成分を含むことがあるので、加算器３３５での左右チャンネルの加算の結果、左右方向からの音声は部分的に相殺されて減衰する。従って、音声ズーム処理部３３からは、撮影者３００の正中面で集音される音声が増強されたズームアップ音声信号が出力されることになる。
【０１１８】
図３０を用いて、音声ズーム処理部３３での動作を含む映像音声記録再生装置１０２の動作についてさらに説明する。図３０において、ステップＳ２０１にて、加算器３３５はバイノーラルマイク３からの左右チャンネルのバイノーラル音声信号を加算して加算信号Ｓを得る。ステップＳ２０２にて、ズーム倍率検出器３３１は操作部４８の操作に応じて制御部４７で得られるズーム倍率を検出する。ズーム倍率をカメラ部１１のレンズを駆動するモータへの印加電圧と駆動時間との関係から求めるようにしてもよい。ステップＳ２０３にて、係数算出器３３２はズーム倍率に応じて増強度を表す係数αを算出する。ステップＳ２０４にて、可変増幅器３３７は加算器３３５の出力信号に係数αを乗じてαＳを求める。ステップＳ２０５にて、加算器３３８ａ，３３８ｂは、左，右チャンネルのバイノーラル音声信号と可変増幅器３３７の出力信号（αＳ）とを加算する。そして、ステップＳ２０６にて、ズームアップ音声信号を記録媒体４４に記録する。ステップＳ２０７にて、制御部４７は記録が終了したか判定し、終了していなければ（ＮＯ）、ステップＳ２０１から繰り返す。ステップＳ２０７で記録が終了していれば（ＹＥＳ）、音声ズーム処理部３３での処理を終了する。
【０１１９】
図３１は、音声ズーム処理部３３の他の構成例を示す音声ズーム処理部３３ａを示している。正中面の音声信号に対して音源が受聴者に接近したような効果を与えるような頭部伝達関数を畳み込むと、カメラ部１１での被写体のズームアップに連動して音源があたかも受聴者に接近したように感じられ、さらに臨場感を有する音声信号を受聴することができる。図３１に示す音声ズーム処理部３３ａは、正中面の音声信号に音源を接近させるような効果を与える頭部伝達関数を畳み込むように構成したものである。
【０１２０】
図３１に示す音声ズーム処理部３３ａは、図２９の音声ズーム処理部３３と比較して、関数取得器３３３，伝達関数メモリ３３４，畳み込み演算器３３６が追加されている点で相違している。
【０１２１】
図３１において、伝達関数メモリ３３４には音源を仮想的に近接して定位させた仮想音源を形成するための頭部伝達関数を記憶しておく。その頭部伝達関数は仮想音源から発せられる音の受聴特性を得るための関数であり、受聴特性は仮想音源と受聴者との距離によって決まる。
【０１２２】
関数取得器３３３は、係数算出器３３２で算出される係数αに従って想定される音源の定位位置に対応する頭部伝達関数を伝達関数メモリ３３４から取得する。なお、図２９における係数αと図３１及び他の図における係数αとは必ずしも同じものではないが、便宜上同一の符号を付す。畳み込み演算器３３６は、加算器３３５で生成されたバイノーラル音声の加算信号に関数取得器３３３で取得された頭部伝達関数を畳み込む。可変増幅器３３７は、頭部伝達関数が畳み込まれた加算信号を係数算出器３３２で得られた係数αに従って増幅する。加算器３３８ａ，３３８ｂは、左，右チャンネルのバイノーラル音声信号と可変増幅器３３７の出力信号とを加算する。ここでは、可変増幅器３３７を備える構成としたが、音源を仮想的に近接して定位さるのみでも十分に効果的であり、可変増幅器３３７を省略することも可能である。また、関数取得器３３３が頭部伝達関数を選択するための係数αと、可変増幅器３３７における増幅の程度を決める係数αとを別の係数としてもよい。
【０１２３】
図３２を用いて、仮想音源を形成するための頭部伝達関数の測定方法について説明する。
【０１２４】
図３２に示す頭部伝達関数測定装置６ａは、パーソナルコンピュータ６１、増幅器６２、スピーカ６３、増幅器６６ａ，６６ｂ、ダミーヘッドマイク６８を備えて構成されている。ダミーヘッドマイク６８は、人工頭６８１にマイクユニット６８４ａ，６８４ｂを装着している。頭部伝達関数測定装置６ａは、図１５に示した頭部伝達関数測定装置６と比較して、円筒形構造体６５ｅに装着したマイクユニット６５ａ，６５ｂの代わりにダミーヘッドマイク６８を用いている点、及び、スピーカを左右のスピーカ６３，６４の一方のみとして（ここではスピーカ６３を使用）ダミーヘッドマイク６８の正中面に配置している点で相違している。
【０１２５】
図３３にダミーヘッドマイク６８の断面図を示す。ダミーヘッドマイク６８は、耳介形部材６８２ａ，６８２ｂを備える人工頭６８１の耳道６８３ａ，６８３ｂの入口近傍にマイクユニット６８４ａ，６８４ｂを配置したものである。図１６（Ｃ）に示したダミーヘッドマイク６９は、耳道６９３ａ，６９３ｂの奥部の人の鼓膜の位置に相当する位置にマイクユニット６９４ａ，６９４ｂを配置したものであり、ダミーヘッドマイク６８では耳道６８３ａ，６８３ｂの入口近傍にマイクユニット６８４ａ，６８４ｂを配置している点でダミーヘッドマイク６９と相違している。なお、通常、ダミーヘッドマイクとは、図１６（Ｃ）に示すように耳道６９３ａ，６９３ｂの奥部の人の鼓膜の位置に相当する位置にマイクユニット６９４ａ，６９４ｂを配置するものをいうが、耳介形部材６８２ａ，６８２ｂを備える人工頭６８１の耳道６８３ａ，６８３ｂの入口近傍にマイクユニット６８４ａ，６８４ｂを配置した図３３のものも便宜上ダミーヘッドマイクと称している。
【０１２６】
ダミーヘッドマイク６８を用いることにより、スピーカ６３からの音声を耳道６８３ａ，６８３ｂによる影響が除かれたバイノーラル音声として集音することができる。
【０１２７】
図３２に戻り、パーソナルコンピュータ６１により例えばインパルス音よりなる測定信号を生成する。測定信号は増幅器６２で増幅される。スピーカ６３から発音された測定信号はダミーヘッドマイク６８の左右のマイクユニット６８４ａ，６８４ｂで受音される。受音して得られた左右の信号は増幅器６６ａ，６６ｂで増幅されてパーソナルコンピュータ６１に入力される。パーソナルコンピュータ６１は生成した測定信号と受音した信号とを比較することにより、ダミーヘッドマイク６８の頭部伝達関数ｈ_ｌ（ｔ），ｈ_ｒ（ｔ）を求める。頭部伝達関数ｈ_ｌ（ｔ）は左側のマイクユニット６８４ａでの受音信号により求めた頭部伝達関数、頭部伝達関数ｈ_ｒ（ｔ）は右側のマイクユニット６８４ｂでの受音信号により求めた頭部伝達関数である。スピーカ６３とダミーヘッドマイク６８との距離Ｄを、例えば０．５ｍ，１ｍ，２ｍなどのように設定し、それぞれの距離Ｄにおける頭部伝達関数を順次求める。
【０１２８】
図３４〜図３９に、図３２に示した頭部伝達関数測定装置６ａで測定して得られた頭部伝達関数の特性を示す。
【０１２９】
図３４（Ａ）に示すインパルス応答波形は、スピーカ６３とダミーヘッドマイク６８との距離Ｄが５０ｃｍの場合に左側のマイクユニット６８４ａで受音された波形である。縦軸は正規化された振幅（電圧）である。横軸は時間であり、標本化周波数が４８ｋＨｚである信号の標本点の数で示してある。図３４（Ｂ）は図３４（Ａ）に示すインパルス応答波形をパーソナルコンピュータ６１でフーリエ解析して得られた周波数応答特性である。横軸が周波数（Ｈｚ）であり、縦軸は応答特性である。
【０１３０】
図３５（Ａ）は距離Ｄが５０ｃｍの場合に右側のマイクユニット６８４ｂで受音されたインパルス応答波形である。図３５（Ｂ）は図３５（Ａ）に示すインパルス応答波形をフーリエ解析して得られた周波数応答特性である。測定条件は図３４と同じである。
【０１３１】
以下、同様にして、図３６（Ａ）は距離Ｄが１ｍの場合に左側のマイクユニット６８４ａで受音されたインパルス応答波形、図３６（Ｂ）はその周波数応答特性である。
【０１３２】
図３７（Ａ）は距離Ｄが１ｍの場合に右側のマイクユニット６８４ｂで受音されたインパルス応答波形、図３７（Ｂ）はその周波数応答特性である。
【０１３３】
図３８（Ａ）は距離Ｄが２ｍの場合に左側のマイクユニット６８４ａで受音されたインパルス応答波形、図３８（Ｂ）はその周波数応答特性である。
【０１３４】
図３９（Ａ）は距離Ｄが２ｍの場合に右側のマイクユニット６８４ｂで受音されたインパルス応答波形、図３９（Ｂ）はその周波数応答特性である。
【０１３５】
それらの特性を比較すると、図３４〜図３９の（Ａ）に示すインパルス応答波形は距離Ｄの値を０．５ｍ，１ｍ，２ｍと増加させると波形の振幅は減少する。図３４〜図３９の（Ｂ）に示す周波数応答特性は、距離Ｄが０．５ｍの場合は破線の楕円で囲んだ１ｋＨｚ〜４ｋＨｚの周波数部分で約４００Ｈｚの間隔の規則的な凹凸特性（ピークディップ）が生じており、距離Ｄが１ｍの場合ではやや不規則な凹凸特性となり、距離Ｄが２ｍの場合では周波数間隔が異なる複数の凹凸特性が組み合わされた特性となっている。また、距離Ｄが同一の場合は左右でほぼ同一の特性が得られている。
【０１３６】
パーソナルコンピュータ６１は、生成したインパルス音の測定信号と増幅器６６ａ，６６ｂから入力されるインパルス応答信号の波形とを比較して、距離Ｄごとの頭部伝達特性を求める。距離Ｄごとに求めた頭部伝達特性が音源を仮想的に距離Ｄの位置に定位させて、その仮想的な音源からの音声信号を受聴者に受聴させるための特性である。なお、本実施形態では距離Ｄを０．５ｍ，１ｍ，２ｍとしたが、さらに多くの距離においてそれぞれの特性を求めてもよく、距離Ｄの間隔を０．５ｍよりも狭くしてもよい。
【０１３７】
以上のようにして得られた頭部伝達特性は図３１の伝達関数メモリ３３４に記憶される。ズーム倍率検出器３３１で検出されたズーム倍率に対して、記憶された伝達関数のいずれを用いるかは、一例として、カメラ部１１における図示しない自動焦点測定機能により計測される被写体までの距離をズーム倍率で除して得られる係数αを用いる。例えば被写体までの距離が１０ｍでズーム倍率が５の場合、係数αは２となる。被写体までの距離が１０ｍでズーム倍率が１０の場合、係数αは１となり、ズーム倍率が２０の場合には係数αは０．５となる。
【０１３８】
図４０を用いて、音声ズーム処理部３３ａでの動作を含む映像音声記録再生装置１０２の動作についてさらに説明する。図４０において、ステップＳ２１１にて、加算器３３５はバイノーラルマイク３からの左右チャンネルのバイノーラル音声信号を加算して加算信号Ｓを得る。ステップＳ２１２にて、ズーム倍率検出器３３１は操作部４８の操作に応じて制御部４７で得られるズーム倍率を検出する。ステップＳ２１３にて、係数算出器３３２はズーム倍率に応じて伝達関数メモリ３３４に記憶された複数の伝達関数の内のいずれを選択するかを決めたり、可変増幅器３３７での増強度を表す係数αを算出したりする。なお、係数αとしては被写体までの距離をズーム倍率で除して得られる数をそのまま用いてもよいし、被写体までの距離をズーム倍率で除して得られる数に基づいて生成した値であってもよい。
【０１３９】
ステップＳ２１４にて、関数取得器３３３は係数αに応じて伝達関数メモリ３３４より伝達関数を取得し、畳み込み演算器３３６は加算器３３５から出力された加算信号に伝達関数を畳み込む。ステップＳ２１５にて、可変増幅器３３７は畳み込み演算器３３６の出力信号に係数αを乗じて増強する。ステップＳ２１６にて、加算器３３８ａ，３３８ｂは、左，右チャンネルのバイノーラル音声信号と可変増幅器３３７の出力信号とを加算する。そして、ステップＳ２１６にて、ズームアップ音声信号を記録媒体４４に記録する。ステップＳ２１８にて、制御部４７は記録が終了したか判定し、終了していなければ（ＮＯ）、ステップＳ２１１から繰り返す。ステップＳ２１８で記録が終了していれば（ＹＥＳ）、音声ズーム処理部３３ａでの処理を終了する。
【０１４０】
≪第３の実施形態≫
第２の実施形態は音声のズームアップ処理を記録側で行うものであるが、第３の実施形態は音声のズームアップ処理を再生側で行うものである。図４１に示す第３の実施形態の映像音声記録再生装置１０３において、図３に示した第１の実施形態の映像音声記録再生装置１０１と同じ機能を有する構成部分には同一符号を付し、その説明を省略する。映像音声記録再生装置１０３は映像音声記録再生装置１０１と比較して、音声ズーム処理部３３ｂを分離化部１５の後段に設けており、ズーム倍率検出器３３１を多重化部１３の前段に設けている点が相違している。なお、図４１では、ヘッドフォン５５とヘッドフォン５５の接続端子である音声出力端子３７ｃの図示を省略している。
【０１４１】
映像音声記録再生装置１０３の動作について説明する。操作部４８が操作され、制御部４７で生成されるカメラ部１１のレンズ駆動用信号はカメラ部１１とズーム倍率検出器３３１に供給される。ズーム倍率検出器３３１は、レンズ駆動用信号のズーム方向，ズーム速度，レンズ駆動時間を解析してズーム倍率を検出する。検出されたズーム倍率を示すズーム倍率情報は多重化部１３に供給される。多重化部１３は符号化映像信号と符号化音声信号とバイノーラルフラグ信号に併せてズーム倍率情報も多重化する。記録・再生部１４はズーム倍率情報も含む多重化信号を記録媒体４４に記録する。
【０１４２】
記録・再生部１４は記録媒体４４に記録された多重化信号を再生し、分離化部１５は符号化映像信号と符号化音声信号とバイノーラルフラグ信号に併せてズーム倍率情報も分離する。ズーム倍率情報は音声ズーム処理部３３ｂに入力される。
【０１４３】
図４２は音声ズーム処理部３３ｂの具体的な構成例である。図４２に示すように、音声ズーム処理部３３ｂは図２９の音声ズーム処理部３３と比較して、ズーム倍率検出器３３１が省かれている点と加算器３３８ａ，３３８ｂに入力される信号がクロストークキャンセラ２７の出力信号である点で相違している。
【０１４４】
図４２において、係数算出器３３２は分離化部１５で分離されて入力されたズーム倍率情報を用いて可変増幅器３３７で入力信号を増幅する際に用いる係数αを算出する。加算器３３５はオーディオ復号化部２６から入力されるバイノーラル音声信号を加算する。可変増幅器３３７は加算器３３５からの出力信号を係数算出器３３２から入力された係数αに応じて増幅する。加算器３３８ａ，３３８ｂはクロストークキャンセラ２７からの出力信号と可変増幅器３３７からの増幅信号とを加算する。
【０１４５】
ところで、カメラ部１１におけるズーム処理を例えばＤＳＰを用いてソフトウェアによって演算処理して実行させる場合がある。音声ズーム処理を再生時に行う場合にはズーム処理に必要なＤＳＰの信号処理時間を確保する必要がない。そのため、記録時にＤＳＰによって撮影した映像信号の最適化処理や映像信号の符号化、または記録制御などの信号処理を十分に行うことができる。音声ズーム処理を再生時に行うことにより、ＤＳＰでの演算工数がズーム処理のための演算処理に割り当てられて、記録を行うための演算時間が不足するという不具合が発生するおそれを回避することができる。
【０１４６】
図４３は、図４２の音声ズーム処理部３３ｂに対して、図３１と同様、正中面の音声信号に近接効果を与える頭部伝達関数を畳み込むように構成した音声ズーム処理部３３ｃを示している。音声ズーム処理部３３ｃは音声ズーム処理部３３ｂと比較して、関数取得器３３３、伝達関数メモリ３３４、畳み込み演算器３３６が追加されている点で相違している。関数取得器３３３、伝達関数メモリ３３４、畳み込み演算器３３６の動作は図３１と同様であり、説明を省略する。
【０１４７】
≪第４の実施形態≫
図４４に示す第４の実施形態の映像音声記録再生装置１０４は、音声のズームアップ処理を記録媒体４４の再生時に外部操作により手動で行うよう構成したものである。即ち、ズーム倍率情報が記録媒体４４に記録されていない場合に、視聴者５９がモニタ５２で再生した映像信号を見ながら音声のズームアップ処理を行うものである。視聴者５９による手動で行う音声のズームアップ処理をマニュアル音声ズーム処理と称することとする。
【０１４８】
図４４に示す映像音声記録再生装置１０４は、映像音声記録再生装置１０３と比較して、ズーム倍率検出器３３１が省略され、音声ズーム処理部３３ｂの代わりに音声ズーム処理部３３ｄを備えている点で相違している。
【０１４９】
視聴者５９が操作部４８を操作してマニュアル音声ズームを行うよう指示すると、制御部４７はズームアップ制御信号を音声ズーム処理部３３ｄに入力される。音声ズーム処理部３３ｄはズームアップ制御信号に従ってオーディオ復号化部２６で復号されたバイノーラル音声信号に対してズームアップ処理を施す。
【０１５０】
図４５は音声ズーム処理部３３ｄの具体的な構成例である。図４５に示すように、音声ズーム処理部３３ｄは、図４２のズーム処理部３３ｂと比較して、制御部４７からのズームアップ制御信号が入力されるズーム倍率検出器３３１ａが設けられ、係数算出器３３２には分離化部１５からのズーム倍率情報ではなくズーム倍率検出器３３１ａで生成したズーム倍率情報を入力している点で相違している。その他の部分はズーム処理部３３ｂと同様の動作であり、説明を省略する。
【０１５１】
図４６を用いて第４の実施形態におけるマニュアル音声ズーム処理についてさらに説明する。図４６において、ステップＳ２２１にて、加算器３３５は再生して得られたバイノーラル音声信号の左右の信号を加算して加算信号Ｓを得る。ステップＳ２２２にて、制御部４７は操作部４８によって音声ズーム倍率が可変されたか否かを判定する。ステップＳ２２２で音声ズーム倍率が可変された場合は（ＹＥＳ）、ステップＳ２２３に移り、可変されなかった場合は（ＮＯ）、ステップＳ２２６に移る。
【０１５２】
音声ズーム倍率が可変された場合にはステップＳ２２３にて、ズーム倍率検出器３３１ａはズームアップ制御信号に基づいてズーム倍率を算出する。ステップＳ２２４にて、係数算出器３３２はズーム倍率検出器３３１ａから入力されたズーム倍率に基づいて係数αを算出する。係数αは、音源を視聴者の前方に定位させるための頭部伝達関数の特性を含んでいてもよい。ステップＳ２２５にて、係数αの値を新たに算出された値に更新する。
【０１５３】
そして、ステップＳ２２６にて、可変増幅器３３７は加算信号Ｓに係数αを乗算してαＳを生成する。なお、ステップＳ２２３〜Ｓ２２５を経ていない場合は、係数αは音声ズーム倍率が可変する前の値である。ステップＳ２２７にて、加算器３３８ａ，３３８ｂはクロストークキャンセラ２７によってクロストークキャンセル処理が施されたバイノーラル音声信号に信号αＳを加算する。ステップＳ２２８にて、スイッチＳｗ２及び音声出力端子３７ｂを介してステップＳ２２７で得られた音声信号を出力する。ステップＳ２２９にて、制御部４７は再生が終了したか否かを判定し、終了していなければ（ＮＯ）、ステップＳ２２１に戻り、終了していれば（ＹＥＳ）、処理を終了する。
【０１５４】
≪第５の実施形態≫
図４７に示す第５の実施形態の映像音声記録再生装置１０５は、ズームアップ音声信号をヘッドフォン５５で受聴するのに好適な構成を示している。図４７に示す映像音声記録再生装置１０５は、図４１の映像音声記録再生装置１０３と比較して、音声ズーム処理部３３ｂの代わりに音声ズーム処理部３３ｅを備えており、音声ズーム処理部３３ｅから出力された音声信号を音声出力端子３７ｃを介してヘッドフォン５５へと供給している点で相違している。ヘッドフォン５５には、クロストークキャンセラ２７によってクロストークキャンセル処理を施しておらず、音声ズーム処理部３３ｅによってズームアップ処理を施したバイノーラル音声信号を供給する。
【０１５５】
図４８は音声ズーム処理部３３ｅの具体的な構成例である。音声ズーム処理部３３ｅは図４２の音声ズーム処理部３３ｂと比較して、加算器３３８ｃ，３３８ｄが追加されている点で相違している。加算器３３８ｃ，３３８ｄは、オーディオ復号化部２６で復号して得られたバイノーラル音性信号に可変増幅器３３７から出力されたズームアップ音声信号を加算する。加算器３３８ｃ，３３８ｄによって加算されたヘッドフォン受聴用音声信号は音声出力端子３７ｃを介してヘッドフォン５５へと供給される。
【０１５６】
以上説明した第２〜第５の実施形態によるズームアップ音声信号の再生効果は以下の通りである。
【０１５７】
カメラ部１１の視野角がワイドに設定され、ズーム倍率が小さい場合には加算器３３５で加算された信号は可変増幅器３３７で増強されないため、視聴者５９は、モニタ５２に表示された映像信号と撮影者３００を囲む３６０度の音声信号をスピーカ５３，５４で再生した臨場感を有する音声信号とを視聴することになる。視野角をワイドに設定した場合でも視野角は６０度程度である。視聴者５９は、映像の視野角と音声信号を集音した際の角度範囲との違いにより、モニタ５２に表示される被写体から発する音が不足するいわゆる中抜け音声であると認識する場合がある。これに対して、前述の如く音声ズームアップ処理が施された音声信号は、撮影者３００に対して正中面からの信号成分を増強してバイノーラル音声信号に加算するため、中抜けが補償された音声信号となる。よって、視聴者５９が中抜け音声であると認識することを防止し、視聴者５９は第１実施例と比較してさらに違和感の少ない臨場感のある音声を受聴することが可能となる。
【０１５８】
≪第６の実施形態≫
図４９，図５０に示す第６の実施形態の映像音声記録再生装置１０６は、第１〜第５の実施形態のように内蔵ステレオマイク２１とバイノーラルマイク３とを別々に設けたものではなく、通常のステレオ集音用のマイクとバイノーラルマイクとを共用させた構成を示している。図４９は第６の実施形態も映像音声記録再生装置１０６の外観構成例を示す平面図であり、図５０は映像音声記録再生装置１０６の具体的な内部構成例を示すブロック図である。図４９，図５０において、図１，図３と同一の機能を有する構成部分には同一符号を付し、その説明を省略する。
【０１５９】
図４９に示すように、映像音声記録再生装置１０６は上面にマイク３１ｅ，３１ｆを載置するためのマイク載置部３５ａ，３５ｂとマイク３１ｅ，３１ｆに接続されたマイクコード３１０ｅ，３１０ｆを収納するコード収納部３４を備えている。
【０１６０】
図４９において、マイク３１ｅ，３１ｆを用いて通常のステレオ音声にて集音する場合は、撮影者３００はマイク３１ｅ，３１ｆをマイク載置部３５ａ，３５ｂに載置して集音する。バイノーラル音声の集音を行う場合は、撮影者３００はコード収納部３４からマイクコード３１０ｅ，３１０ｆを引き出してマイク３１ｅ，３１ｆを耳３０２に装着して集音する。映像音声記録再生装置１０６はマイク載置部３５ａ，３５ｂに載置されるマイク３１ｅ，３１ｆを検出する図示しない突起状検出部を有する。突起状検出部に連動して動作するスイッチ（図５０のスイッチＳｗ４に相当）のオン／オフにより、映像音声記録再生装置１０６はマイク３１ｅ，３１ｆがマイク載置部３５ａ，３５ｂに載置されているか否かを検出する。マイク載置部３５ａ，３５ｂに載置されているか否かの検出はこれに限定されることはなく、例えばマイク３１ｅ，３１ｆに内蔵されている永久磁石から発生する磁界をホール素子や磁気抵抗素子を用いて検出するようにしてもよい。
【０１６１】
具体的には、図５０において、スイッチＳｗ４は、マイク３１ｅ，３１ｆがマイク載置部３５ａ，３５ｂに載置されていなければ端子ｅに接続してオフ状態となり、マイク３１ｅ，３１ｆが載置されていれば端子ｆに接続してオン状態となる。載置検出部４１ａは、スイッチＳｗ４が端子ｅに接続しているか端子ｆに接続しているかによってマイク３１ｅ，３１ｆがマイク載置部３５ａ，３５ｂに載置されているか否かを検出する。載置検出部４１ａによる検出信号は制御部４７へ供給される。
【０１６２】
載置検出部４１ａが、マイク３１ｅ，３１ｆが載置されていることを検出した場合には、マイク３１ｅ，３１ｆは通常のステレオ集音を行い、制御部４７は、映像音声記録再生装置１０６がノーマルモードでの撮影に対応した記録動作を行うよう回路各部を制御する。この場合、マイク３１ｅ，３１ｆの役割は図３における内蔵ステレオマイク２１と等価であり、フラグ情報生成部４２はバイノーラルモードであることを示すバイノーラルフラグ信号を生成しない。一方、載置検出部４１ａが、マイク３１ｅ，３１ｆが載置されていないことを検出した場合には、撮影者３００がマイク３１ｅ，３１ｆを耳３０２に装着してバイノーラル集音するバイノーラルモードであるとみなし、制御部４７は、映像音声記録再生装置１０６がバイノーラルモードでの撮影に対応した記録動作を行うよう回路各部を制御する。この場合、フラグ情報生成部４２は制御部４７による制御に基づいてバイノーラルフラグ信号を生成する。
【０１６３】
第６の実施形態では、マイク３１ｅ，３１ｆ、マイク載置部３５ａ，３５ｂ、載置検出部４１ａ、制御部４７が全体として、周囲音を集音するマイクとして、撮影者の耳に装着するバイノーラルマイクを使用するかバイノーラルマイク以外のマイクを使用するかを切り替える切り替え部として動作している。
【０１６４】
ここで、図５１を用いてコード収納部３４の構造の一例について説明する。図５１（Ａ）はコード収納部３４を上面側から見た内部構造であり、マイクコード３１０ｅ，３１０ｆは回転軸３４３を有するリール３４１に巻き付けられている。図５１（Ｂ）はコード収納部３４を下面側から見た内部構造であり、リール３４１の内部には渦巻状のスプリング３４２が備えられている。マイク３１ｅ，３１ｆがマイク載置部３５ａ，３５ｂに載置されているか否かを検出する代わりに、またはこれに加えて、リール３４１の回転角を検出することによりバイノーラルモードであるか否かを検出してもよい。
【０１６５】
≪第７の実施形態≫
図５２に示す第７の実施形態の映像音声記録再生装置１０７は、集音して得られた音声信号を装置本体に無線伝送する無線型バイノーラルマイクを用いた構成を示している。図５２において、図１と同一の機能を有する構成部分には同一符号を付し、その説明を省略する。
【０１６６】
図５２において、映像音声記録再生装置１０７は、図１の外部マイク接続端子３２の代わりに無線送受信部３９を備え、バイノーラルマイク３の代わりに無線型バイノーラルマイク３８を用いて音声収録を行う。撮影者３００は、装置本体と無線結合される無線型バイノーラルマイク３８を頭部に装着し左右のマイク３８ａ，３８ｂを耳３０２に挿入して集音することにより、マイクコードに邪魔されることなく撮影を行うことができる。また、撮影者３００と、図示しない集音者の２人による撮影も可能となる。
【０１６７】
図５３を用いて映像音声記録再生装置１０７の内部構成について説明する。図５３において、図３と同一の機能を有する構成部分には同一符号を付し、その説明を省略する。図５３に示す映像音声記録再生装置１０７は、図３の映像音声記録再生装置１０１と比較して、外部マイク接続端子３２及び接続検出部４１の代わりに無線送受信部３９を備えている点で相違している。
【０１６８】
制御部４７は、無線型バイノーラルマイク３８が装置本体から所定の距離にあると判断し、無線送受信部３９が無線型バイノーラルマイク３８からバイノーラル音声信号を受信する場合に、スイッチＳｗ１を端子ｂに接続させて無線型バイノーラルマイク３８からバイノーラル音声信号をオーディオ符号化部２２に供給させる。この場合、制御部４７は、フラグ情報生成部４２がバイノーラルフラグ信号を生成するよう制御する。また、制御部４７は、無線型バイノーラルマイク３８が装置本体から所定の距離を越えると判断した場合には、スイッチＳｗ１を端子ａに接続させ、内蔵ステレオマイク２１からのステレオ音声信号をオーディオ符号化部２２に供給させる。この場合、フラグ情報生成部４２はバイノーラルフラグ信号を生成しない。
【０１６９】
図５４に無線型バイノーラルマイク３８及び無線送受信部３９の内部構成例を示し、それらの動作について説明する。
【０１７０】
図５４に示すように、無線型バイノーラルマイク３８のマイク３８ａは、マイクユニット３８１、マイクアンプ３８２、送受信ユニット３８３、アンテナ３８４、警告信号発信部３８５を備えて構成されている。図示を省略しているが、マイク３８ｂは、警告信号発信部３８５を備えていない点以外はマイク３８ａと同様の構成である。無線送受信部３９は、送受信ユニット３９１、マイク判定部３９２、距離測定部３９３、通信可能圏内判定部３９４、警告信号発信部３９５、アンテナ３９６を備えて構成されている。
【０１７１】
マイク３８ａ（３８ｂ）のマイクユニット３８１はバイノーラル音声信号を生成する。マイクアンプ３８２はマイクユニット３８１からのバイノーラル音声信号を増幅する。送受信ユニット３８３はマイクアンプ３８２からの増幅されたバイノーラル音声信号を所定の変調方式により変調してアンテナ３８４を介して送信する。警告信号発信部３８５は後述する無線送受信部３９の警告信号発信部３９５で生成され、送受信ユニット３９１及び送受信ユニット３８３を介して伝送された警告信号を基に警告信号を発生する。
【０１７２】
無線送受信部３９のアンテナ３９６は左右のマイク３８ａ，３８ｂから送信される変調信号を受信する。送受信ユニット３９１は受信した変調信号を復調してバイノーラル音声信号を生成すると共に、変調信号の受信電力の強度を測定する。距離測定部３９３は測定された受信電力の強度を基に無線送受信部３９から無線型バイノーラルマイク３８までの距離を推定する。通信可能圏内判定部３９４は推定された距離が通信可能な所定の距離以内であるか否かを判定する。通信可能圏内判定部３９４の判定結果は制御部４７に供給される。制御部４７は、推定された距離が通信可能な所定の距離以内であればスイッチＳｗ１を端子ｂに接続させ、フラグ情報生成部４２がバイノーラルフラグ信号を生成するよう制御する。制御部４７は、推定された距離が通信可能な所定の距離を超える場合にはスイッチＳｗ１を端子ａに接続させる。
【０１７３】
警告信号発信部３９５は、通信可能圏内判定部３９４で推定された距離が通信可能な所定の距離を超えると判定した場合に警告信号を生成する。警告信号は制御部４７に供給される。制御部４７は警告マークを生成して表示部１７に供給して、表示部１７に所定の警告マークを表示させる。マイク判定部３９２は警告信号発信部３９５で警告信号を生成していない場合は正常にバイノーラル音声信号が得られていると判定し、送受信ユニット３９１にて復調して得られたバイノーラル音声信号を、スイッチＳｗ１を介してオーディオ符号化部２２に供給する。
【０１７４】
図５５に、無線型バイノーラルマイク３８及び映像音声記録再生装置１０７でなされる警告表示の例を示す。マイク３８ａには発光ダイオード（ＬＥＤ）３８６を先端部に装着した棒状部材が設けられている。ＬＥＤ３８６には警告信号発信部３８５で生成された警告信号が供給され、警告信号に基づいてＬＥＤ３８６が点滅（または点灯）する。ＬＥＤ３８６が点滅に加えて、またはＬＥＤ３８６が点滅の代わりに警告音を発生させてもよい。この場合には、警告音がマイクユニット３８１で受聴されないよう（受聴されにくいよう）、警告音のレベルを小さくしたり、警告音の周波数を例えば数十Ｈｚ以下の低周波数としたりすることが好ましい。
【０１７５】
警告信号発信部３９５は、無線型バイノーラルマイク３８が破線の円で示す通信可能圏を越えたと判定した場合に警告信号を生成する。図５５に示すように、無線型バイノーラルマイク３８が通信可能圏を越えていれば、表示部１７に所定の警告マークが表示される。
【０１７６】
図５６は表示部１７に表示される警告マークの例を示している。図５６（Ａ）に示す警告マーク１７１ａは、図５（Ａ）に示したバイノーラルマーク１７１上に×印を重ねて表示したものである。図５６（Ｂ）に示す警告マーク１７２ａは、図５（Ｂ）に示すマーク１７２をグレー表示したものである。警告マークとしては図５６（Ａ），（Ｂ）いずれのマークを用いてもよく、勿論これ以外のマークを用いてもよい。警告表示を行ったにもかかわらず無線送受信部３９での受信電力が受信限界以下となると想定される場合には、制御部４７は無線型バイノーラルマイク３８から内蔵ステレオマイク２１へと切り替える。
【０１７７】
図５７を用いて映像音声記録再生装置１０７の動作についてさらに説明する。図５７において、ステップＳ２５１にて、制御部４７はバイノーラルモードであるか否かを判定する。ステップＳ２５１でバイノーラルモードであると判定されなければ（ＮＯ）、ステップＳ２５３にて、記録・再生部１４は内蔵ステレオマイク２１で集音して通常のステレオ音声信号を記録媒体４４に記録する。ステップＳ２５１でバイノーラルモードであると判定されれば（ＹＥＳ）、ステップＳ２５２にて無線送受信部３９は無線型バイノーラルマイク３８からの送信信号を受信する。ステップＳ２５４にて、距離測定部３９３は受信電力の強度（受信強度）に基づいて無線送受信部３９から無線型バイノーラルマイク３８までの距離を検出する。ステップＳ２５５にて、通信可能圏内判定部３９４は検出した距離が所定の距離以内であるか否かを判定する。
【０１７８】
ステップＳ２５５で所定の距離以内であると判定されなければ（ＮＯ）、ステップＳ２５７にて、制御部４７は、警告表示時間ｔが０（非提示）であるか否か判定し、警告表示時間ｔが０であればステップＳ３００にて警告信号を発生するよう警告信号発信部３９５を制御する。警告信号の発生後、ステップＳ２５４に戻り同じ処理を繰り返す。ステップＳ２５７にて、警告表示時間ｔが０でなければ（ＮＯ）、ステップＳ２５８にて、制御部４７は、警告表示時間ｔが予め定めた最大時間ｔｍａｘを越えたか否か判定し、最大時間ｔｍａｘを越えていなければ（ＮＯ）、ステップＳ３００に移り、同様にテップＳ２５４に戻る。最大時間ｔｍａｘを越えていれば（ＹＥＳ）、ステップＳ２５９にて、制御部４７は、無線型バイノーラルマイク３８から内蔵ステレオマイク２１へと切り替えるようスイッチＳｗ１を制御し、警告信号の発生を停止するよう警告信号発信部３９５を制御する。そして、ステップＳ２５３に移る。
【０１７９】
ステップＳ２５５で所定の距離以内であると判定されれば（ＹＥＳ）、ステップＳ２５６にて、制御部４７は、警告信号発信部３９５が警告信号を発生中であれば、警告信号の発生を停止するよう警告信号発信部３９５を制御する。そして、ステップＳ３０１にて、記録・再生部１４は無線型バイノーラルマイク３８で集音してバイノーラル音声信号を記録媒体４４に記録する。ステップＳ３０２にて、制御部４７は、記録終了の操作がなされたか否か判定し、記録終了の操作がなされていなければ（ＮＯ）、ステップＳ２５１に戻り、記録終了の操作がなされていれば（ＹＥＳ）、処理を終了する。
【産業上の利用可能性】
【０１８０】
本発明は、民生用のビデオカメラのみならず、業務用のビデオカメラにおいても、撮像した映像と共に臨場感のある音声を再生することが必要な映像音声記録再生装置に適用できる。また、動画撮影機能を有するデジタルカメラや携帯電話にも適用できる。さらには、本発明は映像信号と音声信号との双方を記録再生する映像音声記録再生装置に用いて好適であるが、音声信号のみを記録再生する音声記録再生装置に用いても十分に効果的である。

Claims (8)

1. 被写体を撮像した映像信号と、前記被写体から発せられた音を含む撮影者の周囲音を集音した音声信号とが記録された記録媒体を再生する映像音声再生装置において、
   前記記録媒体に記録された記録信号を再生する再生部と、
   前記再生部によって再生された前記記録信号から前記映像信号と前記音声信号とを分離する分離化部と、
   前記分離化部によって分離された前記映像信号を処理するビデオ処理部と、
   前記分離化部によって分離された前記音声信号を処理するオーディオ処理部と、
   前記記録媒体に、前記周囲音を集音するマイクとして前記撮影者の耳に装着するバイノーラルマイクを使用したことを示すバイノーラルフラグ信号が記録されているとき、前記バイノーラルフラグ信号を取得するフラグ情報取得部と、
   前記フラグ情報取得部が前記バイノーラルフラグ信号を取得したとき、前記オーディオ処理部によって処理された前記音声信号をスピーカによって発音した場合に発生するクロストーク信号を打ち消すよう前記音声信号を処理するクロストークキャンセラとを備え、
   前記クロストークキャンセラは前記音声信号に対して予め求めたフィルタ特性を畳み込むフィルタを有し、前記フィルタ特性は、測定信号を円筒型構造体の表面部に装着した一対のマイクで集音した音声信号を用いて計測した頭部伝達関数に基づいたフィルタ特性であることを特徴とする映像音声再生装置。
2. 被写体を撮像した映像信号と、前記被写体から発せられた音を含む撮影者の周囲音を集音した音声信号とが記録された記録媒体を再生する映像音声再生方法において、
   前記記録媒体に記録された記録信号を再生する再生ステップと、
   前記再生ステップにて再生された前記記録信号から前記映像信号と前記音声信号とを分離する分離化ステップと、
   前記分離化ステップにて分離された前記映像信号を処理するビデオ処理ステップと、
   前記分離化ステップによって分離された前記音声信号を処理するオーディオ処理ステップと、
   前記記録媒体に、前記周囲音を集音するマイクとして前記撮影者の耳に装着するバイノーラルマイクを使用したことを示すバイノーラルフラグ信号が記録されているとき、前記バイノーラルフラグ信号を取得するフラグ情報取得ステップと、
   前記フラグ情報取得ステップにて前記バイノーラルフラグ信号を取得したとき、前記オーディオ処理ステップにて処理された前記音声信号をスピーカによって発音した場合に発生するクロストーク信号を打ち消すよう前記音声信号を処理するクロストークキャンセルステップとを有し、
   前記クロストークキャンセルステップは前記音声信号に対して予め求めたフィルタ特性を畳み込むステップであり、前記フィルタ特性は、測定信号を円筒型構造体の表面部に装着した一対のマイクで集音した音声信号を用いて計測した頭部伝達関数に基づいたフィルタ特性であることを特徴とする映像音声再生方法。
3. 被写体を撮像した映像信号と、前記被写体から発せられた音を含む撮影者の周囲音を集音した音声信号とを記録し再生する映像音声記録再生装置において、
   前記被写体を撮像するカメラ部と、
   前記周囲音を集音するマイクとして、前記撮影者の耳に装着するバイノーラルマイクを使用するかバイノーラルマイク以外のマイクを使用するかを切り替える切り替え部と、
   前記カメラ部より出力された映像信号を処理する第１のビデオ処理部と、
   前記周囲音を集音するマイクより出力された音声信号を処理する第１のオーディオ処理部と、
   前記切り替え部によって前記周囲音を集音するマイクとして前記バイノーラルマイクに切り替えた場合に、前記周囲音を集音する際の音声モードをバイノーラルモードとして、バイノーラルモードであることを示すバイノーラルフラグ信号を生成するフラグ情報生成部と、
   前記切り替え部によって前記周囲音を集音するマイクとして前記バイノーラルマイクに切り替えた場合に、前記第１のビデオ処理部によって処理された映像信号と、前記第１のオーディオ処理部によって処理された音声信号であって、前記撮影者の頭部と前記バイノーラルマイクとの位置関係によるバイノーラル音響特性が与えられた周囲音を集音した前記バイノーラルマイクより出力された音声信号と、前記バイノーラルフラグ信号とを記録媒体に記録する記録部と、
   前記記録媒体に記録された記録信号を再生する再生部と、
   前記再生部によって再生された前記記録信号から前記映像信号と前記音声信号とを分離する分離化部と、
   前記分離化部によって分離された前記映像信号を処理する第２のビデオ処理部と、
   前記分離化部によって分離された前記音声信号を処理する第２のオーディオ処理部と、
   前記記録媒体に前記バイノーラルフラグ信号が記録されているとき、前記バイノーラルフラグ信号を取得するフラグ情報取得部と、
   前記フラグ情報取得部が前記バイノーラルフラグ信号を取得したとき、前記第２のオーディオ処理部によって処理された前記音声信号をスピーカによって発音した場合に発生するクロストーク信号を打ち消すよう前記音声信号を処理するクロストークキャンセラとを備え、
   前記クロストークキャンセラは前記音声信号に対して予め求めたフィルタ特性を畳み込むフィルタを有し、前記フィルタ特性は、測定信号を円筒型構造体の表面部に装着した一対のマイクで集音した音声信号を用いて計測した頭部伝達関数に基づいたフィルタ特性であることを特徴とする映像音声記録再生装置。
4. 前記映像音声記録再生装置に内蔵されている内蔵マイクと、
   外部マイク接続端子と、
   前記外部マイク接続端子に接続して使用する外部マイクとして、前記バイノーラルマイクかバイノーラルマイク以外のマイクかを設定する設定部と、
   前記外部マイク接続端子に外部マイクが接続されているか否かを検出する接続検出部と、
   前記オーディオ処理部に供給する音声信号として、前記内蔵マイクより出力された音声信号と前記外部マイクより出力された音声信号とを切り替えるスイッチと、
   前記設定部によって前記外部マイクがバイノーラルマイクに設定され、前記接続検出部によって前記外部マイク接続端子に外部マイクが接続されていることが検出されたとき、音声モードを前記バイノーラルモードとする制御部とを備え、
   前記制御部は、音声モードが前記バイノーラルモードのとき、前記スイッチが前記外部マイクより出力された音声信号を前記オーディオ処理部に供給するよう前記スイッチを切り替え制御し、前記フラグ情報生成部が前記バイノーラルフラグ信号を生成するよう前記フラグ情報生成部を制御することを特徴とする請求項３に記載の映像音声記録再生装置。
5. 前記カメラ部より出力された映像信号を表示する表示部を備え、
   音声モードが前記バイノーラルモードのとき、前記表示部に前記バイノーラルモードであることを示すバイノーラルマークを表示させる表示制御部を備えたことを特徴とする請求項３または４に記載の映像音声記録装置。
6. 前記カメラ部は前記被写体を拡大して撮像するズーム機能を有し、
   前記バイノーラルマイクによって集音された音声信号を前記カメラ部における拡大率に応じて増幅する音声ズーム処理部を備えたことを特徴とする請求項３ないし５のいずれか１項に記載の映像音声記録装置。
7. 前記カメラ部は前記被写体を拡大して撮像するズーム機能を有し、
   前記バイノーラルマイクが集音する音声信号の音源を仮想的に受聴者に接近させて仮想音源を形成するための頭部伝達関数を前記仮想音源と前記受聴者との複数の距離に対応させて記憶する伝達関数メモリと、この伝達関数メモリに記憶された複数の頭部伝達関数のいずれかを前記カメラ部における拡大率に応じて選択的に取得する関数取得器と、前記バイノーラルマイクによって集音された音声信号に対して前記関数取得器にて取得された頭部伝達関数を畳み込む畳み込み演算器とを有する音声ズーム処理部を備えたことを特徴とする請求項３ないし６のいずれか１項に記載の映像音声記録装置。
8. 被写体を撮像した映像信号と、前記被写体から発せられた音を含む撮影者の周囲音を集音した音声信号とを記録し再生する映像音声記録再生方法において、
   前記被写体を撮像する撮像ステップと、
   前記周囲音を集音するマイクとして、前記撮影者の耳に装着するバイノーラルマイクを使用するかバイノーラルマイク以外のマイクを使用するかを切り替える切り替えステップと、
   前記被写体を撮像した映像信号を処理する第１のビデオ処理ステップと、
   前記周囲音を集音するマイクより出力された音声信号を処理する第１のオーディオ処理ステップと、
   前記切り替えステップにて前記周囲音を集音するマイクとして前記バイノーラルマイクに切り替えた場合に、前記周囲音を集音する際の音声モードをバイノーラルモードとして、バイノーラルモードであることを示すバイノーラルフラグ信号を生成するフラグ情報生成ステップと、
   前記切り替えステップにて前記周囲音を集音するマイクとして前記バイノーラルマイクに切り替えた場合に、前記第１のビデオ処理ステップにて処理された映像信号と、前記第１のオーディオ処理ステップにて処理された音声信号であって、前記撮影者の頭部と前記バイノーラルマイクとの位置関係によるバイノーラル音響特性が与えられた周囲音を集音した前記バイノーラルマイクより出力された音声信号と、前記バイノーラルフラグ信号とを記録媒体に記録する記録ステップと、
   前記記録媒体に記録された記録信号を再生する再生ステップと、
   前記再生ステップにて再生された前記記録信号から前記映像信号と前記音声信号とを分離する分離化ステップと、
   前記分離化ステップにて分離された前記映像信号を処理する第２のビデオ処理ステップと、
   前記分離化ステップによって分離された前記音声信号を処理する第２のオーディオ処理ステップと、
   前記記録媒体に前記バイノーラルフラグ信号が記録されているとき、前記バイノーラルフラグ信号を取得するフラグ情報取得ステップと、
   前記フラグ情報取得ステップにて前記バイノーラルフラグ信号を取得したとき、前記第２のオーディオ処理ステップにて処理された前記音声信号をスピーカによって発音した場合に発生するクロストーク信号を打ち消すよう前記音声信号を処理するクロストークキャンセルステップとを有し、
   前記クロストークキャンセルステップは前記音声信号に対して予め求めたフィルタ特性を畳み込むステップであり、前記フィルタ特性は、測定信号を円筒型構造体の表面部に装着した一対のマイクで集音した音声信号を用いて計測した頭部伝達関数に基づいたフィルタ特性であることを特徴とする映像音声記録再生方法。

Images