JP2018170678A - ライブ映像処理システム、ライブ映像処理方法及びプログラム - Google Patents

Abstract

【課題】楽器などを演奏したライブ映像のカメラ切換えが、演奏中の音楽に合わせて自動的に適切に行えるようにする。【解決手段】入力したオーディオ信号から楽曲の拍を検出すると共に、楽器又は奏者ごとのオーディオ信号の特徴量を検出し、検出した特徴量と最大特徴量との相関が最も強い楽器又は奏者を判断する。そして、判断した相関が最も強い楽器又は奏者の映像を、拍に対応した区間ごとに選択するようにした。【選択図】図１

Description

本発明は、例えばコンサート、討論会、演劇などのライブ映像の収録に適用して好適なライブ映像処理システム、ライブ映像処理方法及びプログラムに関する。

従来、コンサートなどのライブ映像を収録する際には、複数台のカメラを配置して、様々なアングルから撮影を行うことが一般的に行われている。例えば、ステージ上で４人の演奏者が演奏中のライブ映像を収録する場合に、それぞれの演奏者を撮影する４台のカメラを用意し、４台のカメラの映像を切換える操作を、切換作業者が行うことで、ライブ映像を完成させている。

このような切換作業者によるカメラ映像の切換え操作は、演奏される曲や楽器に合わせて随時適切なカメラに切換える必要があり、演奏に同期して適切なカメラに切換えるためには、ある程度熟練した者による操作が必要であった。また、収録の開始から終了まで長時間の操作が必要であり、カメラ切換え操作を行う切換作業者の負担が大きいという問題があった。

このため、切換作業者による操作を不要として、自動的にカメラ映像を切換えることができる映像切換装置の開発が望まれている。
例えば特許文献１には、音楽データの再生に同期して表示映像を切換えるスライドショーを行う場合に、音楽データのリズムを解析して、解析したリズムに合わせて映像の切換えタイミングを設定する技術が記載されている。

特開２００７−２５２４２号公報

特許文献１に記載された技術を適用することで、音楽データのリズムを解析して、スライドショーの再生を行う場合、その映像切換えのタイミングを音楽データのリズムに合わせることができる。しかしながら、この映像切換えを行う場合には、複数用意された映像の内で、どの映像に切換えるのが適切であるかを自動的に判断するのは、容易なことではない。

例えば、ステージ上で４人の演奏者が異なる楽器（４種類の楽器）を演奏中のときの映像切換え方法としては、その４種類の楽器の音を個別のマイクロフォンで収録して、それぞれの時点で、音が一番大きな楽器の映像に切換えることが考えられる。しかしながら、楽器には、ドラムや鍵盤楽器などの比較的大きな音を発するものと、弦楽器などの比較的小さな音を発するものとがあり、一律で音の強弱で映像を選んでしまうと、大きな音を発する楽器の映像が選択されることが多くなるため、実際のライブ映像として好ましくないものになってしまう。

本発明は、楽器などを演奏したライブ映像のカメラ切換えを、演奏中の音楽に合わせて自動的にかつ適切に行うことができる映像処理システム、映像処理方法及びプログラムを提供することを目的とする。

本発明の映像処理システムは、楽器又は奏者ごとに用意された複数のカメラが撮影した複数の映像信号を切り換える映像切換部と、入力したオーディオ信号から楽曲の拍を検出する拍検出部と、入力したオーディオ信号から、楽器又は奏者ごとの特徴量を検出する特徴量検出部と、特徴量検出部が検出した楽器又は奏者ごとの最大特徴量を記録しながら、拍検出部が検出した拍に基づいて設定した区間ごとに、特徴量検出部が検出した特徴量と最大特徴量との相関が最も強い楽器又は奏者を判断する特徴量比較部と、特徴量比較部が判断した相関が最も強い楽器又は奏者の映像信号を、設定した区間ごとに映像切換部で選択するカメラ選択部と、を備える。

また、本発明の映像処理方法は、入力したオーディオ信号から楽曲の拍を検出する拍検出処理と、入力したオーディオ信号から、楽器又は奏者ごとの特徴量を検出する特徴量検出処理と、特徴量検出処理により検出した楽器又は奏者ごとの最大特徴量を記録しながら、拍検出処理で検出した拍に基づいて設定した区間ごとに、特徴量検出処理により検出した特徴量と最大特徴量との相関が最も強い楽器又は奏者を判断する特徴量比較処理と、楽器又は奏者ごとに用意された複数のカメラが撮影した複数の映像信号から、特徴量比較処理により判断した相関が最も強い楽器又は奏者の映像信号を、設定した区間ごとに選択するカメラ選択処理と、を含む。

また、本発明のプログラムは、上記の映像処理方法の各処理を手順としてコンピュータに実行させるものである。

本発明によれば、楽曲の拍に基づいた区間ごとに、特徴量の相関が高い楽器又は奏者を撮影した映像に切換えられるため、楽曲の演奏中に、それぞれの時点で注目したい楽器又は奏者の映像に自動的に切換わるようになり、適切なライブ映像の収録ができるようになる。

本発明の一実施の形態例によるシステム全体の構成例を示す図である。 本発明の一実施の形態例による映像処理システムを構成する制御装置と映像切換装置と映像処理装置の構成例を示すブロック図である。 本発明の一実施の形態例による特徴量の検出例を示す周波数特性図である。 本発明の一実施の形態例による処理の流れを示すフローチャートである。 本発明の一実施の形態例によるカメラ選択とエフェクト状態の例を示す説明図である。

以下、本発明の一実施の形態の例（以下、「本例」と称する）を、図１〜図５を参照して説明する。

［１．システム全体の構成例］
図１は、本例の撮影システム全体の概要を示す。
この例では、ステージ５の上に、ベース１、ドラム２、キーボード３、及びピアノ４が配置され、それぞれ別の奏者が各楽器１〜４を演奏する。そして、各楽器１〜４の演奏音を集音するマイクロフォンＭ１〜Ｍ４が、各楽器１〜４ごとに配置されている。また、ステージ５の近傍（又はステージ５の上）に、各楽器１〜４とそれぞれの奏者を撮影するカメラＣ１〜Ｃ４が配置されている。
それぞれのカメラＣ１〜Ｃ４は、演奏状態を撮影するビデオカメラであり、固定された位置に設置されたカメラである。
なお、マイクロフォンＭ１〜Ｍ４やカメラＣ１〜Ｃ４の配置状態は一例であり、これらのマイクロフォンＭ１〜Ｍ４やカメラＣ１〜Ｃ４以外に、ステージ５の上や近傍にマイクロフォンやカメラを配置してもよい。例えば、ステージ５全体を撮影するカメラや、ステージ５全体を集音するマイクロフォンを配置してもよい。

４つのマイクロフォンＭ１〜Ｍ４から得られるオーディオ信号は、オーディオミキサ６に供給され、予め設定された混合状態又は演奏に合わせて随時調整した混合状態で、混合されたオーディオ信号となる。オーディオミキサ６で混合されたオーディオ信号は、例えば出力端子６ａを介してスピーカ（不図示）に供給され出力される。また、オーディオミキサ６で混合されたオーディオ信号は、後述する記録装置８及び配信装置９にも供給される。
さらに、オーディオミキサ６に得られる４つのマイクロフォンＭ１〜Ｍ４から得られるオーディオ信号は、混合せずに映像処理システム１０の制御装置２０に供給される。

映像処理システム１０は、制御装置２０と映像切換装置３０と映像処理装置４０とで構成される。
制御装置２０は、コンピュータで構成され、４つのマイクロフォンＭ１〜Ｍ４から得られたオーディオ信号を解析した結果に基づいて、カメラＣ１〜Ｃ４の撮影映像の選択やエフェクトを制御する。制御装置２０が行う制御の詳細は後述する。

映像切換装置３０には、カメラＣ１〜Ｃ４で撮影された４つの映像信号が供給され、供給される４つの映像信号の切換処理を行い、処理された１つの映像信号を出力する。また、映像処理装置４０は、映像切換装置３０の切換処理で処理された映像信号に対して、ズーム処理や色の変換などのエフェクト処理を行い、処理された映像信号を出力する。

映像処理システム１０の映像処理装置４０が出力する映像信号は、プロジェクタ装置７、記録装置８、及び配信装置９に供給される。プロジェクタ装置７は、供給される映像信号による映像を投影する。記録装置８は、供給される映像信号を記録する。配信装置９は、供給される映像信号を外部に配信する。なお、記録装置８における記録と配信装置９における配信時には、オーディオミキサ６から出力されるオーディオ信号についても記録又は配信を行う。なお、ライブ映像収録の目的や形態により、プロジェクタ装置７、記録装置８、及び配信装置９は必ずしも全てが必要ではなく、いずれか１つあるいは２つの組み合わせによる構成も考えられる。

［２．映像処理システムの構成例］
図２は、映像処理システム１０の機能的な構成を示すブロック図である。
制御装置２０は、４つのマイクロフォンＭ１〜Ｍ４から得られたオーディオ信号を解析して、その解析結果に基づいて映像切換装置３０を制御する処理を行う。この制御装置２０は、先に説明したようにコンピュータで構成され、解析処理などを実行するプログラムを、コンピュータが備える演算処理機能により実行させることで実現される。なお、制御装置２０をコンピュータで構成するのは一例であり、専用のハードウェアで構成してもよい。

制御装置２０は、図２に示すように、オーディオ入力部２１を備え、このオーディオ入力部２１に各楽器１〜４の演奏音を集音した４チャンネルのオーディオ信号が供給される。オーディオ入力部２１は、例えばアナログオーディオ信号をデジタルオーディオ信号に変換するアナログデジタル（ＡＤ）変換器の役割を持っている。
そして、オーディオ入力部２１は、変換されたデジタルオーディオ信号を混合して、拍検出部２２に供給する。拍検出部２２は、オーディオ信号の周期的なレベルの変化から楽曲全体の拍を検出し、検出した拍のタイミングのデータを、特徴量比較部２５に供給する。

また、オーディオ入力部２１に得られる各チャンネルのデジタルオーディオ信号は、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）部２３に供給される。高速フーリエ変換部２３は、供給される各チャンネルのオーディオ信号を個別に高速フーリエ変換して解析することで、低域（２００Ｈｚ帯）、中域（１２００Ｈｚ帯）、及び高域（８０００Ｈｚ帯）の３つの帯域の強度（レベル）又は振幅を検出する。

図３は、あるタイミングのオーディオ信号について、高速フーリエ変換部２３で解析した結果の例を示す。図３Ａは、マイクロフォンＭ１が集音したベース１の演奏音の周波数解析特性ｆ_Ａを示す。図３Ｂは、マイクロフォンＭ２が集音したドラム２の演奏音の周波数解析特性ｆ_Ｂを示す。図３Ｃは、マイクロフォンＭ３が集音したキーボード３の演奏音の周波数解析特性ｆ_Ｃを示す。図３Ｄは、マイクロフォンＭ４が集音したピアノ４の演奏音の周波数解析特性ｆ_Ｄを示す。図３Ａ〜Ｄにおいて、縦軸は強度（レベル）を示し、横軸は周波数を示す。
これら図３Ａ〜Ｄにおいて、周波数帯ｆ１、ｆ２、ｆ３は、それぞれ低域（２００Ｈｚ帯）、中域（１２００Ｈｚ帯）、及び高域（８０００Ｈｚ帯）を示す。
このようにして、高速フーリエ変換部２３は、各チャンネルのオーディオ信号ごとに、帯域ごとの強度のデータを得、得られた強度のデータを特徴量検出部２４に供給する。

特徴量検出部２４は、各チャンネルのオーディオ信号の強度のデータから、低域の周波数帯ｆ１、中域の周波数帯ｆ２、及び高域の周波数帯ｆ３の強度を示す特徴量を取得する。ここでの周波数の強度を示す特徴量としては、例えば周波数帯ごとの強度を並べたベクトル値を使用する。特徴量検出部２４で得られた各チャンネルの３つの帯域ｆ１，ｆ２，ｆ３の特徴量のデータは、特徴量比較部２５に供給される。
特徴量比較部２５は、供給される各チャンネルの３つの帯域ｆ１，ｆ２，ｆ３の特徴量のうちの最大値のデータを最大特徴量記録部２８に供給し、これを記録する。この最大特徴量記録部２８での特徴量の最大値の記録は、例えば楽曲の開始とともに半拍ごとに行われ、楽曲の終了とともにリセットされる。

そして、特徴量比較部２５は、最大特徴量記録部２８に記録された各チャンネルの最大値の特徴量と、特徴量検出部２４から供給されるリアルタイムの特徴量との相関を検出し、４つのチャンネルの相関値を比較して、相関値が高い順に順位を判断する。この相関値が高い順位の判断は、拍検出部２２が検出した演奏中の楽曲の拍に基づいた区間ごとに行われる。例えば、特徴量比較部２５は、拍検出部２２が検出した拍に基づいて、楽曲の半拍ごとの区間を設定し、その半拍の区間ごとに、相関値が高い順位を判断する。ここでは、例えば半拍の区間内の、特定の１つのタイミングでのオーディオ信号から特徴量を検出して、相関を判断する。あるいは、半拍の区間内のオーディオ信号から連続的に特徴量を検出して、その連続した特徴量から相関を判断するようにしてもよい。
特徴量比較部２５が判断した相関値の高い順位のデータは、カメラ選択部２６に供給される。また、特徴量比較部２５で検出した相関値のデータは、エフェクト選択部２７に供給される。

カメラ選択部２６は、相関値の順位のデータが供給される毎に、４台のカメラＣ１〜Ｃ４の映像を選択する処理を行う。例えば、ある半拍の区間では、ドラム２の演奏音を集音したマイクロフォンＭ２から得た特徴量の相関値が１位であるとき、その半拍の区間は、ドラム２を撮影したカメラＣ２の映像を選択する。
但し、カメラ選択部２６は、４台のカメラＣ１〜Ｃ４での選択状態を監視して、特定のカメラの映像が選択され続けることを避けるために、特徴量の相関値が１位であっても、相関値が２位以下のカメラの映像を選ぶ場合もある。
カメラ選択部２６で得たカメラ選択データは、映像切換装置３０の映像切換部３１に供給される。

エフェクト選択部２７は、カメラ選択部２６で選択したカメラのデータと、そのカメラが撮影した映像に対応した楽器のオーディオ信号の特徴量の相関値とを取得する。そして、取得した相関値に応じて、映像に施すエフェクトを選択し、得られたエフェクト選択データを出力する。例えば、映像の中心部分をズームアップするようなエフェクト処理や、映像の色を通常とは異なる色にするエフェクト処理など、様々なエフェクト処理を選択する。エフェクト選択部２７が映像に施すエフェクトを選択する上で、オーディオ信号の特徴量の相関値を利用するのは一例であり、オーディオ信号から得た特徴値や、映像信号を画像解析した結果の値などを利用してもよい。あるいは、これらのオーディオ信号や映像信号から得た種々の値を組み合わせて、エフェクト選択部２７が映像に施すエフェクトを選択するようにしてもよい。さらにまた、映像に施すエフェクトを、エフェクト選択部２７がランダムに選択するようにしてもよい。
エフェクト選択部２７で得たエフェクト選択データは、映像処理装置４０の映像処理部４１に供給される。

映像切換装置３０は、４台のカメラＣ１〜Ｃ４が撮影した映像信号が供給される映像切換部３１を備える。映像切換部３１は、４台のカメラＣ１〜Ｃ４が撮影した映像信号から、カメラ選択部２６で指示された映像信号に切換え、切換えられた映像信号を映像処理装置４０に供給する。
また、映像処理装置４０は、映像切換装置３０の映像切換部３１で切換えられた映像信号に対してエフェクト処理を施す映像処理部４１を備える。映像処理部４１は、エフェクト選択部２７から指示されたエフェクト処理を、供給される映像信号に対して施し、エフェクト処理が施された映像信号を出力する。なお、エフェクト処理なしの指示がある場合には、映像処理部４１は映像切換部３１から供給される映像信号をそのまま出力する。
映像処理部４１が出力する映像信号は、プロジェクタ装置７、記録装置８、及び配信装置９に供給される。

［３．映像選択処理の流れ］
図４は、映像処理システム１０の制御装置２０による制御で、映像選択処理及びエフェクト選択処理が行われる流れを示すフローチャートである。
まず、拍検出部２２が拍検出処理を行い、この拍検出部２２での一定の拍（ここでは半拍）の区間の検出ごとに、特徴量比較部２５は、特徴量検出部２４における特徴量検出処理で検出された各帯域ｆ１，ｆ２，ｆ３（図３）の強度を示す特徴量を取得する（ステップＳ１１）。ここで、最大特徴量記録部２８は、各楽器のオーディオ信号の最大特徴量を記録する（ステップＳ１２）。この最大特徴量記録部２８に記録される最大特徴量は、楽曲の演奏開始から演奏が進むごとに、最大値が随時更新されて記録される。

そして、特徴量比較部２５は、最大特徴量記録部２８に記録された最大特徴量と、特徴量検出部２４で検出された現在の特徴量とから、各楽器のオーディオ信号ごとの相関値を計算する（ステップＳ１３）。ここでの相関値は、例えば現在の特徴量が最大特徴量に近い値であるとき高い相関値となり、現在の特徴量が最大特徴量から離れた小さな値であるとき低い相関値となる。
その後、特徴量比較部２５は、４種類の楽器１〜４に対応した４チャンネルのオーディオ信号の内で、相関が高いものから順位を判断する特徴量比較処理を行う（ステップＳ１４）。この相関が高い順位の判断は、拍検出部２２が検出した拍に基づいて、楽曲の半拍の区間ごとに行われる。

次に、カメラ選択部２６は、ステップＳ１４で順位が１位になった楽器のカメラ映像を選ぶことが適切か否かを判断する（ステップＳ１５）。ここでは、例えば特定のカメラの映像が選択され続ける状態がある程度継続した場合に、該当するカメラ映像の選択が適切でないと判断される。また、カメラの切換えが頻繁に行われた場合であっても、特定のカメラの映像が選ばれることが比較的多い状態になる場合にも、該当するカメラ映像の選択が適切でないと判断される。

ステップＳ１５において、順位が１位になった楽器のカメラ映像を選ぶことが適切であると判断されたとき（ステップＳ１５のＹＥＳ）、カメラ選択部２６は、映像切換部３１に対して、順位が１位になった楽器を撮影したカメラの映像を選択する指示を行う（ステップＳ１６）。また、ステップＳ１５で、順位が１位になった楽器のカメラ映像を選ぶことが適切でないとカメラ選択部２６が判断したときは（ステップＳ１５のＮＯ）、カメラ選択部２６は、映像切換部３１に対して、順位が２位以下のカメラの映像の内で、適切なカメラの映像を選択する指示を行う（ステップＳ１７）。このステップＳ１７では、例えば相関の高さの順位が２位のカメラの映像を選択するようにする。あるいは、相関値とは無関係に、過去の一定期間内で最も選択される頻度が少ないカメラの映像を選ぶようにしてもよい。

そして、ステップＳ１６又はステップＳ１７で映像の選択指示を行った後、エフェクト選択部２７は、映像処理部４１に対してエフェクト処理についての指示を行い、映像のエフェクト状態を設定する（ステップＳ１８）。このエフェクト処理については、相関値により選択されたエフェクト状態を設定する場合と、相関値とは無関係にランダムにエフェクト状態を設定する場合とがある。

［４．実際の映像切換例］
図５は、映像切換え処理を実行した一例を示す。
図５において、半拍を検出するタイミングｂ１，ｂ２，ｂ３，ｂ４，・・・ごとに、カメラＣ１〜Ｃ４の映像の選択状態と、エフェクトの設定状態を示す。
例えば、タイミングｂ１からタイミングｂ５までの区間（２拍の区間）で、カメラＣ３の映像を選択し、エフェクトの設定なしとする。そして、タイミングｂ５からタイミングｂ７までの区間（１拍の区間）で、カメラＣ２の映像を選択し、エフェクト状態として、そのカメラＣ２が撮影した映像の中心をズームアップする処理を行う。このズームアップ処理は、いわゆるデジタルズーム処理により行われる。また、タイミングｂ７からタイミングｂ８までの区間（半拍の区間）で、カメラＣ１の映像を選択し、エフェクトの設定なしとする。さらに、タイミングｂ８からタイミングｂ１０までの区間（１拍の区間）で、カメラＣ２の映像を選択し、カラーをセピア色に変更するエフェクト処理を設定する。

このようにオーディオ信号の特徴量の最大値との相関に基づいて、カメラが撮影した映像を一定の拍ごとに切換えるようにしたことで、複数台のカメラＣ１〜Ｃ４が撮影した映像が、自動的に演奏に合わせて切換わるようになる。この場合、演奏音の拍を検出して、その拍に基づいて設定した区間（ここでは半拍の区間）ごとに判断して切換えるようしたことで、楽曲の演奏に同期した切換えが行われ、違和感のない自然な映像切換えが実行される。

また、選択される映像は、その映像で表示される楽器の音が相対的に高い状態であり、複数の演奏者の中で注目すべき演奏者の映像が選択されることになり、適切な映像切換えが行われる。すなわち、複数の楽器が演奏時に発する演奏音の大きさは、楽器ごとに異なり、例えば図３の例では、ドラムの演奏音の周波数解析特性ｆ_Ｂ（図３Ｂ）は比較的強い傾向があり、音の強さだけで切換えの判断を行うようにすると、ドラムの映像だけが選択され続けることになってしまう。ここで本例では、特徴量の最大値との相関で判断するようにしたことで、それぞれの楽器の演奏音が盛り上がった特徴量が高い状態か否かの判断ができ、適切な映像選択ができるようになる。
例えば、図３Ａ〜Ｄに示す演奏音が得られたとき、特徴量の絶対的なレベルではドラムの演奏音が高いが、ピアノなどの他の楽器の演奏音を最も相関が高いと判断して、その楽器の映像を選ぶような処理が可能になる。したがって、実際の楽器の演奏状態に合わせた適切な映像切換えが実現できるようになる。なお、特徴量としては、例えば周波数帯ごとの強度を並べたベクトル値が適用可能である。

［５．変形例］
なお、上述した実施の形態例では、音響解析のみに基づき、映像切換を実行する例を説明した。これに対して、本発明の音響解析とリアルタイムの画像解析を組み合わせ、切換の精度を更に高めてもよい。具体的には、特定の演奏者の演奏音の盛り上がりに加えて、例えば指の動きが加速する、感情が高ぶり演奏者の表情が大きく変化する或いはボディジェスチャが顕著になる、などの特徴量変化を、画像解析により検出し、音響解析と組み合わせ、映像切換処理を実行するようにしてもよい。画像解析処理については、既存の技術を活用することができる。
また、上述した指の動きの加速、演奏者の表情の大きな変化などの画像解析からの特徴量変化の検出で、エフェクト処理の実行を制御するようにしてもよい。

また、上述した実施の形態例では、映像処理システム１０として、オーディオ信号に基づいて映像の切換制御を行う制御装置２０と、その制御装置２０からの指示で映像切換処理を行う映像切換装置３０とエフェクト処理を行う映像処理装置４０とを個別の装置とした。これに対して、１つの装置が、制御装置２０としての機能と、映像切換装置３０と映像処理装置４０としての機能を備えるようにしてもよい。あるいは、これら３つの装置２０，３０，４０のいずれか２つを１つの装置で構成してもよい。このように１つの装置で映像処理システム１０を構成する際にも、コンピュータ装置（及びその周辺機器）で構成する場合と、専用のハードウェアで構成する場合のいずれでもよい。

また、上述した実施の形態例では、マイクロフォンを各楽器１〜４ごとに配置して、それぞれの楽器の演奏音が個別のチャンネルのオーディオ信号として得られるようした。これに対して、オーディオ信号のチャンネル数は、楽器の数よりも少ない数とし、得られたオーディオ信号を解析して、各楽器の演奏音の強度（特徴量）を判断するようにしてもよい。

また、上述した実施の形態例では、楽器の演奏音を解析して映像の切換え処理を行うようにしたが、楽器の演奏音以外の音を解析して、映像の切換え処理を行うようにしてもよい。例えば、マイクロフォンが集音する少なくとも１種類の音については、演奏者の歌声とし、その歌声の特徴量の相関値を得るようにして、楽器の演奏音の特徴量の相関値との比較で、映像の切換え処理を行うようにしてもよい。

また、上述した実施の形態例では、映像切換部３１で映像を切り換えた後、エフェクト処理部４１でエフェクト処理を施すようにしたが、映像切換処理のみを行うようして、エフェクト処理については実行しないようにしてもよい。あるいは、映像切換処理のみを映像処理システム１０が自動的に行うようにして、エフェクト処理部４１でエフェクト処理については、作業者が手動による操作で随時エフェクト処理を施すようにしてもよい。エフェクト処理の例として、映像のズームアップや色の変更以外の処理を施すようにしてもよい。

さらに、映像切換部３１での映像切換処理としては、図５で説明したように半拍ごとの区間でいずれか１つの映像を選ぶようにしたが、例えば、映像切換部３１が、各楽器の演奏音の特徴量の相関値に基づいて、複数の映像を合成するようにしてもよい。例えば、ある区間で、演奏音の特徴量の相関値がほぼ同じ程度に高い２つの楽器が存在するとき、１画面内を２分割して、相関値が高い２つの楽器の奏者を撮影した映像を各分割画面に配置するようにしてもよい。

また、用意するカメラの少なくとも１台については、ステージ全体を撮影するようにして、随時、そのステージ全体の映像に切り換えるようにしてもよい。この場合には、例えば多数（ここでは３人又は４人）の楽器の演奏音の特徴量の相関値が閾値以上に高い状態を検出したとき、ほぼ全員の奏者の演奏が盛り上がった状態であるとして、ステージ全体を撮影するカメラの映像を、適宜挿入するようにしてもよい。

さらに、上述した実施の形態例では、拍検出部２２での検出に基づいて半拍ごとに映像を切り換えるようにしたが、この半拍ごとの区間の設定については一例であり、１拍や複数の拍ごとに映像を切り換える区間を設定してもよい。
また、映像を切り換える区間の設定そのものをランダムに行い、あるタイミングでは半拍ごとに切換えるようにし、別のタイミングでは１拍や複数拍ごとに切換えるようにしてもよい。この場合、例えば特徴量の相関値が比較的高い状態（つまり演奏音が比較的大きい区間）では、切換える区間を短くし、特徴量の相関値が比較的低い状態（つまり演奏音が比較的小さい区間）では、切換える区間を長くするように、可変設定してもよい。

また、上述した実施の形態例では、各楽器の演奏音の特徴量の最大値を、楽曲の開始から逐次更新させるようしたが、例えば楽器ごとに予め想定される最大値を予め最大特徴量記録部２８にセットするようにしてもよい。
さらに、各チャンネルの音の特徴量は、高速フーリエ変換処理で周波数解析した結果から得るようにしたが、高速フーリエ変換以外フィルタ処理で、帯域ごとの特徴量を得るようにしてもよい。帯域として、低域、中域、及び高域の３つの帯域を選び、その３つの帯域での特徴量から選択するようにした点についても一例であり、その他の帯域数で特徴量を検出するようにしてもよい。

また、図５の例では、特定の楽器の演奏音の相関が高い状態が続いたとき、連続して同じ映像を選ぶようにしたが、例えば半拍や１拍などの予め決めた期間ごとに、必ず別の映像に切り換えるようにしてもよい。

さらに、図１の例では、コンサートのライブ映像を撮影（収録）する場合としたが、本発明は、その他の各種ライブ映像（討論会、演劇など）のライブ映像を撮影（収録）する場合にも適用可能である。

１…ベース、２…ドラム、３…キーボード、４…ピアノ、５…ステージ、６…オーディオミキサ、７…プロジェクタ装置、８…記録装置、９…配信装置、１０…映像処理システム、２０…制御装置、２１…オーディオ入力部、２２…拍検出部、２３…高速フーリエ変換部（ＦＦＴ部）、２４…特徴量検出部、２５…特徴量比較部、２６…カメラ選択部、２７…エフェクト選択部、２８…最大特徴量記録部、３０…映像切換装置、３１…映像切換部、４０…映像処理部、４１…映像処理部、Ｃ１〜Ｃ４…カメラ、Ｍ１〜Ｍ４…マイクロフォン

Claims (8)

1. 楽器又は奏者ごとに用意された複数のカメラが撮影した複数の映像信号が入力され、複数の映像信号を切り換える映像切換部と、
   入力したオーディオ信号から楽曲の拍を検出する拍検出部と、
   前記オーディオ信号から、楽器又は奏者ごとの特徴量を検出する特徴量検出部と、
   前記特徴量検出部が検出した楽器又は奏者ごとの最大特徴量を記録しながら、前記拍検出部が検出した拍に基づいて設定した区間ごとに、前記特徴量検出部が検出した特徴量と前記最大特徴量との相関が最も強い楽器又は奏者を判断する特徴量比較部と、
   前記特徴量比較部が判断した相関が最も強い楽器又は奏者の映像信号を、前記設定した区間ごとに前記映像切換部で選択するカメラ選択部と、を備えた
   ライブ映像処理システム。
2. 前記オーディオ信号は、楽器又は奏者ごとに用意された複数チャンネルの信号であり、
   前記特徴量検出部は、複数チャンネルのオーディオ信号のそれぞれから、特定の周波数帯域の強度を検出するようにした
   請求項１に記載のライブ映像処理システム。
3. 前記カメラ選択部は、相関が最も強い楽器又は奏者の映像信号を、直近に選択した頻度が一定以上であるとき、前記特徴量比較部が判断した相関が２番目以降の楽器又は奏者の映像信号を選択するようにした
   請求項１又は２に記載のライブ映像処理システム。
4. さらに、映像信号に対して施すエフェクト処理を選択するエフェクト選択部と、
   前記エフェクト選択部により選択されたエフェクト処理を、前記カメラ選択部で選択された映像信号に対して施す映像処理部とを備える
   請求項１〜３のいずれか１項に記載のライブ映像処理システム。
5. 入力したオーディオ信号から楽曲の拍を検出する拍検出処理と、
   前記オーディオ信号から、楽器又は奏者ごとの特徴量を検出する特徴量検出処理と、
   前記特徴量検出処理により検出した楽器又は奏者ごとの最大特徴量を記録しながら、前記拍検出処理で検出した拍に基づいて設定した区間ごとに、前記特徴量検出処理により検出した特徴量と前記最大特徴量との相関が最も強い楽器又は奏者を判断する特徴量比較処理と、
   楽器又は奏者ごとに用意された複数のカメラが撮影した複数の映像信号から、前記特徴量比較処理により判断した相関が最も強い楽器又は奏者の映像信号を、前記設定した区間ごとに選択するカメラ選択処理と、を含む
   ライブ映像処理方法。
6. さらに、映像信号に対して施すエフェクト処理を選択するエフェクト選択処理と、
   前記エフェクト選択処理により選択されたエフェクト処理を、前記カメラ選択処理で選択された映像信号に対して施す映像処理と、を含む
   請求項５に記載のライブ映像処理方法。
7. 入力したオーディオ信号から楽曲の拍を検出する拍検出手順と、
   前記オーディオ信号から、楽器又は奏者ごとの特徴量を検出する特徴量検出手順と、
   前記特徴量検出手順により検出した楽器又は奏者ごとの最大特徴量を記録しながら、前記拍検出手順で検出した拍に基づいて設定した区間ごとに、前記特徴量検出手順により検出した特徴量と前記最大特徴量との相関が最も強い楽器又は奏者を判断する特徴量比較手順と、
   楽器又は奏者ごとに用意された複数のカメラが撮影した複数の映像信号から、前記特徴量比較手順により判断した相関が最も強い楽器又は奏者の映像信号を、前記設定した区間ごとに選択するカメラ選択手順と、
   をコンピュータに実行させるプログラム。
8. さらに、映像信号に対して施すエフェクト処理を選択するエフェクト選択手順と、
   前記エフェクト選択手順により選択されたエフェクト処理を、前記カメラ選択手順で選択された映像信号に対して施す映像処理手順とをコンピュータに実行させる
   請求項７に記載のプログラム。

Images