JP5803956B2 - カラオケシステム及びカラオケ装置 - Google Patents

Description

本発明は、楽曲再生に同期して撮影した複数の演奏中画像を１つの共演画像に合成して再生するカラオケシステム、及びこれに用いるカラオケ装置に関する。

通常の楽曲は複数の演奏パート（歌唱パート）を同期して併奏する形態であり、近年のカラオケシステムでは特定のパートの歌唱や楽器演奏の練習を目的として、指定された１つの演奏パートを除く他の演奏パートだけで併奏するマイナスワン演奏が普及している。

特許文献１には、そのマイナスワン演奏中の演奏者の様子をカラオケ装置側のカメラ等で撮影し、それら演奏中の映像や画像（以下、画像）をインターネットなどの通信ネットワークを介してサーバに記録、蓄積し、同一の楽曲に対応する演奏中画像を抽出してコラボレーション（協同）させるよう合成する技術が開示されている。これにより、異なる演奏パートの演奏者が擬似的に共演しているように見える共演画像を合成できる。

特開２０１２−７３４２８号公報

従来では、共演画像の合成が複数の画像になる場合、抽出した演奏中画像をそれぞれの記録順で時系列的に並べた配置で共演画像を合成していた。しかしながら、実際のライブ演奏などで楽曲を共演する場合には、各パートそれぞれに対応する楽器の演奏者の立ち位置が慣習的に決まっている場合が多い。このように、演奏する楽曲のジャンルや編成形態などに応じて各パートの特有の配置規則性が慣習的にありながら、上記のように各パートの演奏中画像を記録順で並べた共演画像を見た場合には違和感を感じていた。

本発明の目的は、共演画像中における楽器演奏上の自然な配置を実現できるカラオケシステム及びカラオケ装置を提供することにある。

上記目的を達成するために、本願発明は、所定の楽曲に対してマイナスワン演奏の対象とするマイナスワン演奏パートのパート種別を、別途撮影した楽器の外観画像から画像認識により自動的に指定するパート種別画像指定手段と、前記マイナスワン演奏パートの演奏者の前記楽曲の演奏中画像を撮影するパート画像撮影手段と、を有するカラオケ装置と、前記カラオケ装置の前記パート画像撮影手段で撮影した前記演奏中画像を、前記所定の楽曲の曲識別情報及び前記マイナスワン演奏パートのパート種別情報に対応付けて記録するパート画像記録手段を有するサーバと、で構成されるカラオケシステムであって、前記カラオケ装置及び前記サーバのいずれか一方において、楽曲とマイナスワン演奏パートを指定してマイナスワン演奏する際に、指定した楽曲の曲識別情報に対応し、且つ、指定した前記マイナスワン演奏パート以外のパートのパート種別情報に対応してすでに記録されている演奏中画像を前記パート画像記録手段から抽出し、それら抽出した前記演奏中画像を所定の配置規則に従って碁盤目状に配置した共演画像を合成する共演画像合成手段を備え、前記カラオケ装置は、前記共演画像合成手段で合成した前記共演画像を表示する共演画像表示手段を備えており、前記共演画像合成手段は、前記抽出した演奏中画像を、演奏中画像の数と種別に応じて各演奏パート間の組み合わせに対応させた配置パターンを記憶したテーブルを参照して、それらの数と前記パート種別情報に応じて当該共演画像の表示領域中における位置と大きさを変更するよう配置して合成することを特徴とする。

上記目的を達成するために、本願発明は、所定の楽曲に対してマイナスワン演奏の対象とするマイナスワン演奏パートのパート種別を、別途撮影した楽器の外観画像から画像認識により自動的に指定するパート種別画像指定手段と、前記マイナスワン演奏パートの演奏者の前記楽曲の演奏中画像を撮影するパート画像撮影手段と、外部のサーバに対して、前記パート画像撮影手段で撮影した前記演奏中画像を、前記所定の楽曲の曲識別情報及び前記マイナスワン演奏パートのパート種別情報に対応付けて記録させるよう送信する演奏中画像送信手段とを有するカラオケ装置であって、マイナスワン演奏する楽曲とマイナスワン演奏パートを指定した際に、前記サーバにおいて、指定された楽曲の曲識別情報に対応し、且つ、指定された前記マイナスワン演奏パート以外のパートのパート種別情報に対応してすでに記録されている演奏中画像を抽出し、それら抽出した前記演奏中画像を、演奏中画像の数と種別に応じて各演奏パート間の組み合わせに対応させた配置パターンを記憶したテーブルを参照して、それらの数と前記パート種別情報に応じて当該共演画像の表示領域中における位置と大きさを変更しつつ碁盤目状に配置するよう合成された、共演画像を当該サーバから受信して表示する共演画像表示手段を備えていることを特徴とする。

本発明によれば、共演画像中における楽器演奏上の自然な配置を実現できる。

カラオケ装置の主要構成を示す説明図である。 制御装置の制御系の主要構成を示す機能ブロック図である。 カラオケシステムにおける特徴的処理の具体的な工程を示す図である。 楽器画像認識処理に用いる楽器画像テーブルを示す図である。 楽器画像認識処理の具体的な制御手順を示すフローチャートである。 コラボ画像が合成される際の各演奏パートの配置規則の基本形を示す図である。 マイナスワン演奏する際のカラオケ装置のＣＰＵとサーバのＣＰＵによりそれぞれ実行される処理内容を示すフローチャートである。 フローにおいて送受、記録される各情報のデータ形式とそれらの関係を示す図である。 演奏パートの種別と数に応じてそれらのコラボ画像における位置と大きさを適宜変更する場合の配置パターンの例を示す図である。

以下、本発明の一実施の形態について図面を参照しつつ説明する。なお、本実施形態では、利用者がカラオケ装置の演奏と共に主として自らエレキギターを演奏する場合を説明する。

＜主要構成＞
図１は、本実施形態に係わるカラオケ装置を備えたカラオケシステムの主要構成を示す説明図である。図１に示すように、カラオケ装置１０には、歌詞テロップや後述する共演画像、もしくは各種の操作画面などをＣＲＴに表示するモニタテレビ（以下、モニタと略称する）１３と、小型のモニタ１４と、エレキギター４、エレキベース、電子ドラムもしくはキーボードなどを含む各種電子楽器（エレキギターのみ図示）を接続するための楽器接続ボード８と、複数の楽器演奏パートにより構成されるカラオケ用の楽曲（以下、適宜「曲」と略称する）の選曲、及び曲の再生の予約などの選曲制御、選曲された曲の送信要求などを含むリクエスト信号のサーバ５８への送信、及びリクエスト信号により示される曲に対応する楽曲データなどを含む応答信号の受信などの通信制御、後述するマイナスワン演奏する対象の種類の楽器（この例のエレキギター４）を指定する等の制御装置２０と、が備えられている。

さらに、カラオケ装置１０には、この例では、楽器接続ボード８から入力される楽器の演奏信号、マイクロフォン１７，１８から入力される音声信号及び曲の再生信号のミキシングを行うミキシング回路９を備え、音声と曲との音量バランス、エコー調整、デレィ調整、ミキシング信号の増幅、再生される曲の音程制御、高音、低音の制御などを行うアンプ１６と、このアンプ１６から出力される増幅信号を音として再生するフロアータイプの１組のスピーカ１１，１１と、天井吊下げ用の１組のスピーカ１２，１２と、制御装置２０を遠隔操作するリモコン３０と、歌唱者または後述するマイナスワン演奏の演奏者を撮影するカメラ２５（パート画像撮影手段に相当）と、が備えられている。

楽器接続ボード８は、図示を省略するが、上記エレキギター４や図示しない電子ドラム、キーボード、エレキベース等の出力端子（フォンプラグ）を接続するそれぞれの入力端子（フォンジャック）と、各入力端子に入力される演奏信号をそれぞれ出力する出力端子と、が設けられている。そして、楽器接続ボード８は、各楽器の出力端子を入力端子に接続することによって各楽器が接続されたことを自動検出するとともに、接続された楽器の１つの演奏信号を選択し、その選択された演奏信号を制御装置２０の入力端子４４（後述の図２参照）へ出力可能である。例えばエレキギター４から出力される演奏信号は、エレキギター４のフォンプラグを接続するフォンジャック４ａ（後述の図２参照）を介して楽器接続ボード８へ入力され、楽器接続ボード８の出力端子から出力される演奏信号は、制御装置２０の入力端子４４へ入力される。

＜制御系＞
上記制御装置２０の制御系の構成について図２を参照して説明する。図２は、制御装置２０の制御系の主要構成を示す機能ブロック図である。制御装置２０は、装置筺体にＬＡＮ回線１５を接続する通信端子４０と、楽器接続ボード８の出力端子と接続される入力端子４４と、アンプ１６の音声入力端子と接続される音声出力端子４１と、モニタ１３の映像入力端子と接続される映像出力端子４２と、モニタ１４の映像入力端子と接続される映像出力端子４３とを備えている。この制御装置２０には、制御プログラムにしたがって各種制御を実行するＣＰＵ４５が設けられている。ＣＰＵ４５には、リモコン３０から送信されるデータ、選曲された曲の曲識別情報である曲名データ、予約された曲の曲名データなどを一時保存するためのＲＡＭ４６と、ＣＰＵ４５により実行されるプログラム及び必要なデータテーブルなどが記憶されたＲＯＭ４７とが接続されている。

また、ＣＰＵ４５には、モニタ１３，１４に歌詞テロップや各種メッセージ映像を表示するための文字映像データが記憶されたビデオＲＡＭ４８と、外部のサーバ５８から送信される楽曲データや共演画像の動画データ（詳細は後述）、歌詞データ、及び映像データなどの各種データを通信端子４０及び通信ネットワーク１５を介して受信するためのＬＡＮボード５０と、このＬＡＮボード５０により受信される楽曲データ及び共演画像の動画データ等を一時保存するためのＲＡＭ４９とが接続されている。

さらに、ＣＰＵ４５には、ＲＡＭ４９から読み出された曲データに含まれるＭＩＤＩデータを入力するとともに、その入力されたＭＩＤＩデータにより指定される音源から音源信号を出力するＭＩＤＩ音源ボード５１が接続されている。また、ＣＰＵ４５には、上記出力された音源信号を入力してアンプ１６により増幅可能な信号に変換する音声制御回路５２と、別途一般的な背景映像を示す背景映像データを読み出すＣＤ−ＲＯＭプレーヤ５３とが接続されている。

また、ＣＰＵ４５には、サーバ５８から受信した上記共演画像とカメラ２５で撮影したマイナスワン演奏の演奏中画像とをはめこみ表示したりする映像制御を行う映像制御回路５４が接続されている。

さらに、ＣＰＵ４５には、制御装置２０の受光部３８により受光されたリモコン３０からの光信号をデジタル信号に変換する変換回路５５と、制御装置２０の筺体に設けられた各種ボタン、キー３９（テンキー、選曲ボタン等）を押したときに点灯するＬＥＤ３７へ表示信号を出力する表示回路５６と、上記各種ボタン、キー３９を押したときに発生するスイッチング信号を入力する入力回路５７と、カメラ２５からの撮影信号を入力する入力回路５９とが接続されている。なお、上記カラオケ装置１０とサーバ５８とを合わせた全体が、各請求項記載のカラオケシステム（カラオケシステム１）に相当する。

＜本実施形態の特徴＞
以上説明したように本実施形態のカラオケシステム１は、通信ネットワーク１５を介して相互に情報を送受可能に接続されているカラオケ装置１０とサーバ５８とを有している。また、通常の楽曲は複数の演奏パートを同期して併奏する形態であり、本発明のカラオケシステム１では利用者から指定された１つの演奏パートを除く他の演奏パートだけで併奏するマイナスワン演奏を行う。そして、別途指定された所定の楽曲に対し、カラオケ装置１０のリモコン３０の手動操作によりマイナスワン演奏の対象となるマイナスワン演奏パートのパート種別が指定され、カメラ２５により当該マイナスワン演奏パートの演奏者の演奏中画像を撮影する。演奏が終了した際には撮影した演奏中画像の動画データを外部のサーバ５８に送信し、指定された楽曲の曲名とマイナスワン演奏パートのパート種別情報に対応付けられて、上記演奏中画像の動画データをサーバ５８が備えるＨＤＤなどの大容量記憶装置５８ａ（パート画像記録手段に相当）に記録される。

このように各パート種別に対応した演奏中画像をサーバ５８に記録、蓄積することにより、次回以降にあらためて曲名とマイナスワン演奏パートを指定してマイナスワン演奏する際に、共演画像（以下、コラボレーション画像、適宜コラボ画像と略称する）を合成できる。具体的には、指定した楽曲の曲名に対応し、且つ、指定したマイナスワン演奏パート以外のパートのパート種別情報に対応してすでに記録されている演奏中画像の動画データをサーバ５８の大容量記憶装置５８ａから抽出し、それら抽出した演奏中画像の動画データを組み合わせてコラボ画像を合成できる。この合成処理自体は、カラオケ装置１０とサーバ５８のいずれか一方で行えばよいが、この例ではサーバ５８で行うとする。そしてこのコラボ画像をカラオケ装置１０側のモニタ１３、１４で表示することで、当該マイナスワン演奏の演奏者は、他のパートの演奏者と共演（以下、コラボレーション演奏、適宜コラボ演奏と略称する）しているような視覚的効果が得られる。

比較例として、上記抽出した演奏中画像をそれぞれの記録順で時系列的に並べた配置でコラボ画像を合成する手法が取られていた。しかしながら、実際のライブ演奏などで楽曲をコラボ演奏する場合には、各パートそれぞれに対応する演奏者の立ち位置が慣習的に決まっている場合が多い。

例えば、バンド形式でロック音楽を実際にコラボ演奏する場合には、観客から見て、ヴォーカルがステージの中央に位置し、ベースがその左側に、ギターがその右側に、ドラムがヴォーカルの後ろ側にそれぞれ位置することが一般的である。この慣習的な各パートの配置の根拠としては、例えば最初にこのようなパート編成の配置で有名になったバンド（ビートルズなど）に倣って定着したという歴史説や、リズムを刻む役割のドラムとベースのアイコンタクトの取りやすさ、右耳でギターの高音を、左耳でベースの低音を聞き分けた方が聞き取りやすいといった機能面に由来する説など、諸説あるが、バンド形式での楽器演奏分野（特にロック音楽）において、その演奏状態を撮影した画像に映し出された各種楽器の位置は、お互いの左右、及び上下関係が定まった状態として、観客には見えている。

このように、演奏する楽曲のジャンルや演奏パートの編成形態などに応じて各パートの特有の配置規則性が慣習的にありながら、上記のように各パートの演奏中画像を記録順で並べたコラボ画像を見た場合には違和感を感じていた。

これに対し本実施形態のカラオケシステム１では、サーバ５８の大容量記憶装置５８ａから抽出した演奏中画像を、上述したような楽曲のジャンルや編成形態などに応じた慣習的な配置規則に従って碁盤目状に配置したコラボ画像を合成する。

＜具体的な処理内容＞
図３に、本実施形態のカラオケシステム１における上記特徴的処理の具体的な工程を示す。まず図３（ａ）に示すように、利用者がマイナスワン演奏の対象となる演奏パートの楽器をカメラ２５に撮影させることで当該演奏パートを指定する。この際には、モニタ１３、１４などにマイナスワン演奏の対象となる楽器を撮影させるよう利用者に促す表示とともにカメラ２５のリアルタイムな撮影画像を表示し、利用者はモニタ１３、１４中のカメラ映像の撮影枠中に楽器（この例のエレキギター４）を位置させて撮影させる。これによりカメラ２５を介して楽器の外観画像信号が入力された制御装置２０は、画像認識処理（後述の図４、図５参照）によって楽器の種別を認識し、対応する演奏パート（楽器名）をマイナスワン演奏パートの種別として設定する。またこのとき、図示しない別途の操作画面で曲名も指定する。このようにして行われる予約操作により、カラオケ装置１０は曲名とマイナスワン演奏の対象の演奏パートの情報を含むリクエスト信号をサーバ５８へ送信する（後述の図７、図８中のＡ参照）。

リクエスト信号を受信したサーバ５８は、指定された曲名に対応して、指定された演奏パート以外のパートの演奏中画像を大容量記憶装置５８ａから抽出し、それらを用いてコラボ画像を合成する。この合成はサーバ５８で予め行っていてもよい。このコラボ画像の動画データを、指定された曲名に対応する曲データ（ＭＩＤＩデータ）と共にカラオケ装置１０に応答信号として返信する（後述の図７、図８中のＢ参照）。

サーバ５８から応答信号を受信したカラオケ装置１０は、図３（ｂ）に示すようにサーバ５８から受信したコラボ画像の動画データとともに曲データを再生する。図示するコラボ画像の例では、すでに記録済みであったヴォーカルの演奏中画像のみが合成され、マイナスワン演奏の対象のギターに対応する配置場所（右上）がブランク（空き）となっている。

そして演奏中では、図３（ｃ）に示すように、カメラ２５で撮影したこの例のギター４の演奏者の演奏中画像が上記ブランクの配置場所にはめこまれて表示される。この間には、カメラ２５で撮影した演奏中画像が録画されており、当該楽曲の演奏が終了した際にはこの録画された演奏中画像の動画データがサーバ５８に送信され大容量記憶装置５８ａに記録される（後述の図７、図８中のＤ参照）。これにより、次回以降に同じ楽曲がヴォーカル及びギター以外のマイナスワン演奏で予約された場合には、ヴォーカルとギターのコラボ画像が合成、表示される。

ここで、上記図３（ａ）で演奏パートを設定する際に行われる画像認識処理について図４、図５を参照して説明する。制御装置２０は、図４に示す楽器画像テーブルをＲＯＭ４７やＣＤ−ＲＯＭ５３などに記憶させて備えている。この楽器画像テーブルには、マイナスワン演奏の対象となり得る各種別の楽器の外観画像が各楽器の名称に対応付けられて記憶されている。各外観画像は、対応する楽器で一般的に流通している典型的なモデルの外観画像であったり、または当該楽器の外観的特徴を顕著に示すいくつかのモデルの外観画像を記憶している（図中ではそれぞれ１つずつ示している）。本実施形態の例では、カメラ２５で撮影した楽器の外観画像が、上記楽器画像テーブル中のいずれの外観画像に最も近いかを比較して楽器の種別を特定する画像認識処理をカラオケ装置１０側で行う。

図５は、その楽器画像認識処理の具体的な制御手順を示すフローチャートである。この図５において、まずステップＳ１１０では、カラオケ装置のＣＰＵ４５は、モニタ１３、１４に楽器撮影用ラインを表示する。

次にステップＳ１２０へ移り、カラオケ装置のＣＰＵ４５は、カメラ２５で楽器撮影用ライン内の映像を撮影する。

次にステップＳ１３０へ移り、カラオケ装置のＣＰＵ４５は、モニタ１３、１４に楽器撮影用ライン映像とカメラ画像を重畳表示する。これにより、利用者は固定されているカメラ２５の撮影範囲内に楽器を位置させることができる。

次にステップＳ１４０へ移り、カメラ２５が撮影している楽器の外観画像が、楽器画像テーブル中のいずれかの外観画像と十分な確信度で一致しているか否かを判定する。このような２つの画像間の一致の判定は、公知の画像認識の手法により行う。楽器画像テーブル中の外観画像のうちでカメラ画像と十分な確信度で一致するものがある場合、判定が満たされ、ステップＳ１５０へ移る。

ステップＳ１５０では、カラオケ装置のＣＰＵ４５は、カメラ画像と一致した楽器画像テーブル中の楽器外観画像に対応する楽器名がマイナスワン演奏パートの演奏パートであると特定して楽器画像の画像認識を完了し、このフローを終了する。

一方、上記ステップＳ１４０の判定において、楽器画像テーブル中の外観画像のいずれもカメラ画像と十分な確信度で一致するものがない場合、判定は満たされず、ステップＳ１２０に戻って同様の手順を繰り返す。

このような楽器画像認識処理により、カラオケ装置１０はマイナスワン演奏パートのパート種別を楽器の外観画像から自動的に指定する。なお、ヴォーカルまたはコーラスをマイナスワン演奏パートとして指定してもよく、この場合には別途リモコン３０などの手動操作により指定する。

また、サーバ５８でコラボ画像が合成される際の各演奏パートの配置は、例えば図６に示すような配置規則の基本形に従うものとする。図示する例では、コラボ画像全体が２行×３列の碁盤目状に区画されており、１行１列目にベース、１行２列目にヴォーカル、１行３列目にギター、２行１列目にキーボード、２行２列目にドラム、２行３列目にコーラスがそれぞれ割り当てられている。このような配置関係とすることで、ヴォーカルの位置を基準として、ベースがその左側、ギターがその右側、ドラムがその後側にそれぞれ擬似的に配置されてあたかも実際のライブ演奏のステージと視覚的に近い配置関係となる。

本実施形態の例では、コラボ画像の表示領域中における各演奏パートの演奏中画像の位置をそれぞれ上記基本形における規定位置そのままに固定し、それぞれ同じ大きさで表示する。まだサーバ５８に演奏中画像が記録されていない演奏パートについては、対応する位置に図示するようなパート名を表示してもよいし、対応する楽器の画像を表示してもよいし、ブランクとしてもよい。上述したように、サーバ５８側では、今回マイナスワン演奏の対象となる演奏パートの位置をブランクとし、それ以外で大容量記憶装置５８ａから抽出できた演奏パートの演奏中画像を組み合わせてコラボ画像を合成する（予め合成していてもよい）。そしてカラオケ装置１０側で、カメラ２５で撮影したマイナスワン演奏の演奏中画像をコラボ画像中の対応位置にはめこんで再生する。一方の画像に他方の画像をはめ込む、画面のはめ込みは、具体的には、映像のオーバレイや、スーパーインポーズ等の技術を用いればよく、周知であるので詳細には述べない。

なお、図６に示した各演奏パートの配置の基本形は、予約された楽曲がバンド形式で演奏されるロック音楽に対応したものの一例であるが、他の音楽ジャンルやパート編成に応じてそれぞれの慣習的な配置規則に従った基本形を用意してもよい。

＜システムの制御手順＞
上記のようにして利用者がカラオケ楽曲を再生しつつエレキギター４を演奏するときに、カラオケ装置１０のＣＰＵ４５とサーバ５８のＣＰＵ（特に図示せず）によりそれぞれ実行される処理内容を、図７のフローチャートにより説明する。

図７において、このフローは、例えば上記利用者が、カラオケ装置１０の制御装置２０の電源ボタンを押して制御装置２０の電源を立ち上げると、開始される。制御装置２０の電源の立ち上がりに連動して、アンプ１６、楽器接続ボード８及びモニタ１３，１４の電源が立ち上がる。なお、前述したように、この例では、利用者が楽器接続ボード８にエレキギター４を接続して演奏する場合を例にとって説明する。また、サーバ５８は常時電源が入っている状態とする。また、図中では図示の煩雑を避けるために、楽曲データに関係する内容は省略し、各用語は略記されている。

図７において、まず、ステップＳＫ１０において、ＣＰＵ４５は、利用者自身がマイナスワン演奏したい楽曲の予約操作を受け付ける。具体的には、利用者がマイナスワン演奏したい楽曲の曲名または選曲番号をリモコン３０により入力する操作を受け付ける。

次にステップＳＫ１３へ移り、カラオケ装置のＣＰＵ４５は、利用者にマイナスワン演奏する楽器の外観をカメラ２５に撮影させるよう促す表示をモニタ１３、１４に出力し、カメラ２５を介して楽器の外観画像の撮影を受け付ける。

次にステップＳＫ１７へ移り、カラオケ装置のＣＰＵ４５は、上記図５で説明した楽器画像認識処理によってカメラ２５で撮影させた楽器の種別をマイナスワン演奏パートとして特定する。

次にステップＳＫ２０へ移り、カラオケ装置のＣＰＵ４５は、上記ステップＳＫ１０で受け付けた予約楽曲と、上記ステップＳＫ１７で特定したマイナスワン演奏パートの情報を含むコラボ画像のリクエスト信号（後述の図８のＡ参照）をサーバ５８へ送信する。

次にステップＳＳ１０へ移り、上記リクエスト信号を受信したサーバ５８のＣＰＵは、当該リクエスト信号のマイナスワン指定に対応する動画データ、つまり指定した楽曲に対応しかつ指定したマイナスワン演奏パートの演奏中画像が抜けているコラボ画像を大容量記憶装置５８ａから取得する。そして、取得したコラボ画像の動画データと別途取得した楽曲データを応答信号（後述の図８のＢ参照）として要求元（リクエスト信号の発信元）のカラオケ装置１０に返信する。

次にステップＳＫ３０へ移り、カラオケ装置のＣＰＵ４５は、サーバ５８からの応答信号であるコラボ画像の動画データ及び楽曲データをダウンロードする。

次にステップＳＫ４０へ移り、カラオケ装置のＣＰＵ４５は、上記ステップＳＫ１０でマイナスワン演奏が指定されているか否かを判定する。特にマイナスワン演奏が指定されていない場合もしくはヴォーカルがマイナスワン演奏パートとして指定されている場合には、判定は満たされず、ステップＳＫ５０へ移る。

ステップＳＫ５０では、カラオケ装置のＣＰＵ４５は、通常のカラオケ演奏と同様にメインヴォーカルをマイナスワン指定するよう設定する。そしてステップＳＫ７０へ移る。

一方、上記ステップＳＫ４０の判定において、マイナスワン演奏パートが指定されていた場合、判定が満たされ、ステップＳＫ６０へ移る。

ステップＳＫ６０では、カラオケ装置のＣＰＵ４５は、ＯＦＦ操作により指定された楽器又はコーラスをマイナスワン指定するよう設定する。そしてステップＳＫ７０へ移る。

ステップＳＫ７０では、カラオケ装置のＣＰＵ４５は、上記ステップＳＫ３０でダウンロードしたコラボ画像の動画データと楽曲データとを同期再生するとともに、コラボ画像中でマイナスワン設定した歌唱／楽器に該当する配置場所にカメラ映像をはめこみ表示する。また、カメラ映像も録画する。

次にステップＳＫ８０へ移り、カラオケ装置のＣＰＵ４５は、録画データ（後述の図８のＤ参照）をサーバ５８へ送信する。具体的に送信する録画データの主な内容としては、今回カメラ２５で録画した演奏中画像の動画データと、今回マイナスワン演奏した演奏パートである楽器情報（パート種別情報に相当）と、使用したコラボ画像の動画データの識別情報（動画ＩＤ）である。

次にステップＳＳ２０へ移り、上記データを受信したサーバ５８のＣＰＵは、今回のコラボ画像中に元から合成されていた演奏パートの楽器、及び今回のマイナスワン演奏された演奏パートの楽器から、コラボ画像中の各演奏パートの配置場所を再決定する。この配置場所の再決定は、上記図６に示した基本形の配置規則に従って行う。

次にステップＳＳ３０へ移り、元のコラボ画像の動画データ、今回録画した演奏中画像の録画データ、及び上記ステップＳＳ２０で再決定した配置場所の情報から、コラボ画像を再合成する。そして、このコラボ画像を楽曲の曲名や演奏パートと対応付けて大容量記憶装置５８ａに記録する。そしてこのフローを終了する。

以上において、ステップＳＫ１７の手順が各請求項記載のパート種別画像指定手段に相当し、ステップＳＳ３０の手順が各請求項記載の共演画像合成手段に相当し、ステップＳＫ７０の手順が各請求項記載の共演画像表示手段に相当し、ステップＳＫ８０の手順が各請求項記載の演奏中画像送信手段に相当する。

上記フローにおいて送受、記録される各情報のデータ形式とそれらの関係を図８に示す。なお図示の煩雑を避けるために、楽曲データ（ＭＩＤＩデータ）の記載は省略している。図８中のＡは、カラオケ装置１０からサーバ５８へ送信されるリクエスト信号のデータ形式を示している。このリクエスト信号には、利用者の識別情報であるユーザＩＤと、予約された楽曲の曲名（または曲識別情報）と、マイナスワン演奏の対象である演奏パートの楽器情報とが含まれている。これにより、サーバ５８は予約された楽曲とマイナスワン演奏パートを確認できる。

図８中のＢは、カラオケ装置１０がサーバ５８からダウンロードする応答信号のデータ形式を示している。この応答信号には、ユーザＩＤと、予約された楽曲の曲名と、取得したコラボ画像の動画ＩＤ及び動画データと、当該コラボ画像で合成されている演奏中画像の楽器情報とが含まれている。これにより、カラオケ装置１０はコラボ画像の再生とカメラ２５で撮影したマイナスワン演奏の演奏中画像を適切にはめこみ表示できる。

図８のＣは、サーバ５８の大容量記憶装置５８ａに記録されている各種動画データのデータ形式を示している。記録されている動画データは大別して２種類あり、一方はすでに合成されているコラボ画像の動画データであり、他方はそれまでに受信した個々の演奏中画像の動画データである。

一方のコラボ画像は、対応する楽曲の曲名と、当該コラボ画像の動画ＩＤ及び動画データと、当該コラボ画像で合成されている演奏中画像の楽器情報とが含まれている。上記Ｂの応答信号は、このコラボ画像の動画データのうち、今回予約された楽曲とマイナスワン演奏パートに対応して取得されたものである。なお、この動画データに含まれる演奏中画像の楽器情報については、その代わりにマイナスワン演奏可能な演奏パートの楽器情報に置き換えてもよい。

他方の演奏中画像は、対応する楽曲の曲名と、他の利用者がマイナスワン演奏で録画した演奏中画像の動画データと、その際の演奏パートの楽器情報とを含んでいる。このように演奏中画像を個別に記録しておくことで、同一の楽曲に対し多様な組み合わせでコラボ画像を合成できる。

図８のＤは、コラボ演奏（マイナスワン演奏）の後に、カラオケ装置１０からサーバ５８へ送信される録画データのデータ形式を示している。この録画データには、少なくとも、コラボ演奏された楽曲の曲名と、使用したコラボ画像の動画ＩＤと、マイナスワン演奏時にカメラ２５で撮影した動画データと、そのときの演奏パートの楽器情報とが含まれている。録画データに含まれたユーザＩＤは、撮影した動画データの投稿者の特定（例えば、合成後の画像に楽器演奏者としてメンバー表示する場合など）には用いられるが、演奏パートの楽器情報（楽器の種類）に応じて決定されるコラボ画像の合成自体には不要である。

この録画データを受信したサーバ５８は、それに含まれている動画ＩＤに基づいて元のコラボ画像の動画データを大容量記憶装置５８ａから取得し、当該コラボ画像で合成されている演奏中画像の楽器情報を特定できる。また、同じ楽曲に対応して大容量記憶装置５８ａに記録されている演奏中画像も取得できる。そしてサーバ５８は、特定した楽器情報と、取得した演奏中画像と、録画データに含まれている曲名、今回の録画データ、マイナスワン演奏の楽器情報とに基づいて、同じ楽曲に対応し上記図６の配置規則の基本形に従い新たなコラボ画像を再合成できる。このコラボ画像に別途の動画ＩＤを付与して新たな動画データとし、大容量記憶装置５８ａに記録する。

以上説明したように、本実施形態では、ステップＳＳ３０の手順で、大容量記憶装置５８ａから抽出した演奏中画像を、予約された楽曲のジャンルや編成形態などに応じた慣習的な配置規則に従って碁盤目状に配置したコラボ画像を合成する。このように合成され、モニター１３、または１４に表示されたコラボ画像は、マイナスワン演奏の演奏者のみならず同席している他のユーザにとっても見た目に違和感を感じることがなくなる。この結果、コラボ画像中における楽器演奏上の自然な配置を実現できる。

なお、カラオケ装置１０の処理能力が高い場合には、カラオケ装置１０側でコラボ画像の合成処理を行ってもよい。この場合には、サーバ５８から個別の演奏中画像をダウンロードし、マイナスワン演奏前もしくは演奏中でリアルタイムにコラボ画像を合成、表示してもよい。または、サーバ５８からコラボ画像をダウンロードして、マイナスワン演奏後にコラボ画像と録画データに基づいて新たなコラボ画像を再合成してもよい。

また、上記実施形態ではカラオケ装置１０でマイナスワン演奏する演奏パートが１つだけ（ギターだけ）の場合を示したが、複数の演奏パートを同時にコラボ演奏（マイナスワン演奏）してもよい。この場合には、コラボ画像には複数の演奏パートにそれぞれ対応する位置がブランクとなり、それぞれに複数のカメラ２５で撮影した演奏中画像をはめこみ表示する。

また、本実施形態では、ステップＳＫ１７の手順で、別途撮影した楽器の外観画像から楽器画像認識処理（上記図５参照）により自動的にマイナスワン演奏パートのパート種別を指定する。これにより、利用者（マイナスワン演奏者自身又は同席の他のユーザ）による手動操作や演奏を何ら必要とせず容易にマイナスワン演奏パートのパート種別を指定できる。なお、本実施形態では上述した楽器画像認識処理をカラオケ装置１０側で行ったが、サーバ５８側で楽器画像認識処理を行ってもよい。この場合、上記ステップＳＫ２０の手順でカラオケ装置１０からサーバ５８に送信するリクエスト信号（図８中のＡ）には、楽器情報のデータの代わりにカメラ２５で撮影した楽器の外観画像のデータが含まれることになる。

また、マイナスワン演奏中において、マイナスワン演奏パートの演奏者の演奏中画像を撮影しつつ、同時にその撮影した演奏中画像をリアルタイムに反映させてコラボ画像を合成、表示することは、カラオケ装置１０又は通信ネットワーク１５に大きな処理負担が強いられる。これに対し、本実施形態では特に、ステップＳＫ７０の手順で今回のマイナスワン演奏中において撮影された演奏中画像を既存のコラボ画像にはめこみ表示し、その終了後にステップＳＳ３０の手順で同じ楽曲の次回以降のマイナスワン演奏時に反映させるようコラボ画像を再合成することで、カラオケ装置１０及び通信ネットワーク１５の処理負担を大きく軽減できる。これにより、簡易な構成のカラオケ装置１０及び通信ネットワーク１５を用いてコラボ画像の合成、表示を実現できる。

また、本実施形態では特に、ステップＳＳ３０の手順において、抽出した演奏中画像を、当該コラボ画像の表示領域中におけるそれぞれの規定位置に配置して合成する。これにより、抽出した演奏中画像の各パートの配置関係を明確に視認できる。また、抽出した演奏中画像を所定の配置規則に従ったそれぞれの規定位置に単純に並べるだけでコラボ画像を合成できるため、ステップＳＳ３０の手順でのサーバ５８の処理負担を軽減できる。なお、サーバ５８の大容量記憶装置５８ａにまだ記録されておらず抽出できなかったパートの演奏中画像については、その規定位置に当該パート種別の名称や対応する楽器等の画像を配置すればよい。

なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。以下、そのような変形例を説明する。

＜演奏パートの数と種別に応じて位置と大きさを変更する場合＞
上記実施形態ではコラボ画像中における各演奏中画像の配置と大きさを固定していたが、本発明はこれに限られない。例えば、図９に示すように、合成する演奏中画像の演奏パート種別と数に応じてそれらの位置と大きさを適宜変更してもよい。

図示する例としては、１つの演奏パートのみ（ヴォーカルのみ）を表示する場合、図９（ａ）に示すようにその１つの演奏パートの演奏中画像だけで全表示領域と同等の大きさに拡大して表示する。これに対し、２つの演奏パート（ドラムを追加）で表示する場合、図９（ｂ）に示すように２つの演奏パートの演奏中画像で全表示領域を左右２分割する大きさに拡大して表示する。このとき２つの演奏パートが図示する例のヴォーカルとドラムの場合には、ヴォーカルが左でドラムが右に配置される。また、特に図示しないが、左右逆の配置でもよいし、ヴォーカルが上でドラムが下の上下２分割で配置してもよい。

ここで重要なのは、慣習的にドラムは必ずヴォーカルの前に位置することはなく、そのような違和感を感じる配置、つまりドラムが上でボーカルが下の上下２分割の配置は行わない。また、特に図示しないが、ヴォーカル以外の２つの演奏パート、例えばベースとドラムだけを表示する場合には、慣習的にベースがドラムの右および下に位置することがない。このため、ベースが左でドラムが右の左右２分割、またはベースが上でドラムが下の上下２分割のいずれかの配置となる。

もし、ヴォーカルとドラムとベースの３つの演奏パートを表示する場合には、図９（ｃ）に示すように、ヴォーカルの左にベースが位置し、ヴォーカルの下にドラムが位置する。この配置では表示領域を上下左右の４分割となるため、上記図６の基本形と比較して各演奏パートの演奏中画像をより大きく表示できる。このように、複数の演奏パートを表示する場合、どのような組み合わせの２つの演奏パート間においてもそれらの間の配置関係性だけは維持しつつ表示領域を最大限に生かせる配置、大きさで表示する。

ヴォーカルとドラムとベースとギターの４つの演奏パートを表示する場合には、図９（ｄ）に示すように、ヴォーカルの下にベースが位置し、ヴォーカルの右にギターが位置し、ヴォーカルの右下にドラムが位置する。これは、ヴォーカル、ドラム、ベース、及びギターの組み合わせの４ピースコラボの場合の基本形の配置となる。ギターがヴォーカルの横に位置しているのは、ベースと比較して目立つ演奏パートであることを考慮した結果である。

以上のようにステップＳＳ３０の手順で、抽出した演奏中画像を、それらの数とパート種別情報に応じて当該コラボ画像の表示領域中における位置と大きさを変更するよう配置して合成する。この合成時には、抽出した演奏中画像の数と種別に応じて各演奏パート間の配置関係性を考慮するようそれぞれの大きさや配置のパターンをその時点で決定してもよいし、あらかじめテーブルなどに全ての演奏パートの組み合わせに対応する配置パターンを記憶しておき、それに従って決定してもよい。

これにより、個々の演奏パート間の配置関係性だけは維持しつつ、抽出できたパートの演奏中画像だけでコラボ画像の表示領域全体を最大限に活用したコラボ画像の合成が可能となり、各演奏パートの視認性が向上する。

また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用してもよい。

その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。

１ カラオケシステム
４ エレキギター
１０ カラオケ装置
１３、１４ モニタ
２５ カメラ（パート画像撮影手段）
５８ サーバ
５８ａ 大容量記憶装置（パート画像記録手段）

Claims (4)

1. 所定の楽曲に対してマイナスワン演奏の対象とするマイナスワン演奏パートのパート種別を、別途撮影した楽器の外観画像から画像認識により自動的に指定するパート種別画像指定手段と、
   前記マイナスワン演奏パートの演奏者の前記楽曲の演奏中画像を撮影するパート画像撮影手段と、
   を有するカラオケ装置と、
   前記カラオケ装置の前記パート画像撮影手段で撮影した前記演奏中画像を、前記所定の楽曲の曲識別情報及び前記マイナスワン演奏パートのパート種別情報に対応付けて記録するパート画像記録手段
   を有するサーバと、
   で構成されるカラオケシステムであって、
   前記カラオケ装置及び前記サーバのいずれか一方において、
   楽曲とマイナスワン演奏パートを指定してマイナスワン演奏する際に、指定した楽曲の曲識別情報に対応し、且つ、指定した前記マイナスワン演奏パート以外のパートのパート種別情報に対応してすでに記録されている演奏中画像を前記パート画像記録手段から抽出し、それら抽出した前記演奏中画像を所定の配置規則に従って碁盤目状に配置した共演画像を合成する共演画像合成手段を備え、
   前記カラオケ装置は、
   前記共演画像合成手段で合成した前記共演画像を表示する共演画像表示手段を備えており、
   前記共演画像合成手段は、
   前記抽出した演奏中画像を、演奏中画像の数と種別に応じて各演奏パート間の組み合わせに対応させた配置パターンを記憶したテーブルを参照して、それらの数と前記パート種別情報に応じて当該共演画像の表示領域中における位置と大きさを変更するよう配置して合成する
   ことを特徴とするカラオケシステム。
2. 前記共演画像合成手段は、今回のマイナスワン演奏中において撮影された演奏中画像を、同じ楽曲の次回以降のマイナスワン演奏時に反映させて合成することを特徴とする請求項１記載のカラオケシステム。
3. 前記共演画像合成手段は、前記抽出した演奏中画像を、当該共演画像の表示領域中におけるそれぞれの規定位置に配置して合成することを特徴とする請求項１又は２記載のカラオケシステム。
4. 所定の楽曲に対してマイナスワン演奏の対象とするマイナスワン演奏パートのパート種別を、別途撮影した楽器の外観画像から画像認識により自動的に指定するパート種別画像指定手段と、
   前記マイナスワン演奏パートの演奏者の演奏中画像を撮影するパート画像撮影手段と、
   外部のサーバに対して、前記パート画像撮影手段で撮影した前記演奏中画像を、前記所定の楽曲の曲識別情報及び前記マイナスワン演奏パートのパート種別情報に対応付けて記録させるよう送信する演奏中画像送信手段と
   を有するカラオケ装置であって、
   マイナスワン演奏する楽曲とマイナスワン演奏パートを指定した際に、前記サーバにおいて、指定された楽曲の曲識別情報に対応し、且つ、指定された前記マイナスワン演奏パート以外のパートのパート種別情報に対応してすでに記録されている演奏中画像を抽出し、それら抽出した前記演奏中画像を、演奏中画像の数と種別に応じて各演奏パート間の組み合わせに対応させた配置パターンを記憶したテーブルを参照して、それらの数と前記パート種別情報に応じて当該共演画像の表示領域中における位置と大きさを変更しつつ碁盤目状に配置するよう合成された、共演画像を当該サーバから受信して表示する共演画像表示手段を備えていることを特徴とするカラオケ装置。
   

Images