JP2015070324A

JP2015070324A - マルチメディア装置およびプログラム

Info

Publication number: JP2015070324A
Application number: JP2013200409A
Authority: JP
Inventors: 山田　誠; Makoto Yamada; 誠山田; 堀内　俊治; Toshiharu Horiuchi; 俊治堀内
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2013-09-26
Filing date: 2013-09-26
Publication date: 2015-04-13
Anticipated expiration: 2033-09-26
Also published as: JP6186627B2

Abstract

【課題】予め設置されているラウドスピーカの数および位置を変更することなく、ユーザがビデオコンテンツを視聴する位置に応じて、ビデオとオーディオとの定位を合致させる。【解決手段】本発明のマルチメディア装置は、ディスプレイおよび複数のラウドスピーカを有するマルチメディア装置であって、ユーザがマルチメディアデータを視聴する視聴位置および前記各ラウドスピーカの設置位置を取得する位置情報取得部１と、前記各ラウドスピーカから出力される音声が、前記視聴位置で前記ディスプレイに表示される画像に適応する音声となるように、入力信号を補正する仮想音源生成部３と、を備える。【選択図】図３

Description

本発明は、ディスプレイに表示される画像と複数のラウドスピーカから出力される音声とを定位させる技術に関する。

近年、記録装置の大容量化が進み、パーソナルコンピュータ、携帯電話器、スマートフォンなどに代表される情報機器では、多数のビデオコンテンツやオーディオコンテンツを保存し、再生することができるようになっている。さらに、インターネットを介して、多数のビデオコンテンツやオーディオコンテンツを再生することもできるようになっている。ここで、ビデオコンテンツを再生する際、一般に、そのビデオは情報機器に設けられたディスプレイで再生され、また、そのオーディオは情報機器に内蔵された１つ以上のラウドスピーカから再生される。

しかしながら、情報機器に内蔵された１つ以上のラウドスピーカの位置は、当然ながら、予め固定されている。一方、ビデオコンテンツの再生において、一般に、そのビデオ映像は横長のディスプレイで再生されることが想定されている。このため、複数のラウドスピーカを有する情報機器において、ディスプレイを横長に配置した場合を想定して複数のラウドスピーカが設置されていれば、ビデオ再生におけるオーディオのステレオ再生に適するが、そうでない場合には、ビデオとオーディオとの定位が合致せず、非常に不自然となる。

例えば、スマートフォンのように、平面図に表すと略長方形となる筐体を有する情報機器の場合、２つのラウドスピーカが、上記略長方形のうちの一つの短辺側に並設されていることが多い。このようなスマートフォンでビデオコンテンツを再生する場合、ユーザは、ディスプレイを横長にしてビデオコンテンツを視聴することとなる。このとき、略長方形の一つの短辺側に並設された２つのラウドスピーカから音声が出力されるので、ユーザにとっては、左右どちらかの一方向だけから音声が聴こえることとなる。このような状況では、ビデオとオーディオとの定位が合致せず、ユーザに対して、違和感を与えてしまう。特に、オーディオでステレオ再生をする場合は、著しく音響効果が損なわれる。

特許文献１では、３つのラウドスピーカをディスプレイの上部中央、左下、右下に設け、情報機器の向きを検出し、ステレオ再生に適した２つのラウドスピーカを選択することにより、上記の問題点の解決を図っている。また、特許文献２では、３つのラウドスピーカをディスプレイの３隅に設け、情報機器の向きを検出し、ステレオ再生に適した２つのラウドスピーカを選択することにより、上記の問題点の解決を図っている。さらに、特許文献３では、２つのラウドスピーカをディスプレイの対角線上に設け、情報機器の向きを検出し、左チャネルと右チャネルを切り替えることにより、上記の問題点の解決を図っている。

特開２００６−１７４２７７号公報特開２００９−２３２４２４号公報特開２００３−０７８６０１号公報

しかしながら、特許文献１および特許文献２に記載されている技術では、３つのラウドスピーカが必要であり、機器点数が増えてしまう。その結果、情報機器の小型化が容易ではなくなり、コストも上昇してしまう恐れがある。また、特許文献３の方法では、２つのラウドスピーカが対角線上に配置されており、ビデオとオーディオが対角線上に定位するため、情報機器が大きい場合、非常に不自然となる。このため、少ない部品点数では、高い満足度を得ることができなかった。さらに、従来の技術では、ディスプレイを縦にするか横にするかという点のみが考慮されており、ユーザがビデオコンテンツを視聴する位置を考慮したものではない。このため、従来の技術では、ユーザの位置に応じたオーディオの最適化を図ることができなかった。

本発明は、このような事情に鑑みてなされたものであり、予め設置されているラウドスピーカの数および位置を変更することなく、ユーザがビデオコンテンツを視聴する位置に応じて、ビデオとオーディオとの定位を合致させることができるマルチメディア装置およびプログラムを提供することを目的とする。

（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明のマルチメディア装置は、ディスプレイおよび複数のラウドスピーカを有するマルチメディア装置であって、ユーザがマルチメディアデータを視聴する視聴位置および前記各ラウドスピーカの設置位置を取得する位置情報取得部と、前記各ラウドスピーカから出力される音声が、前記視聴位置で前記ディスプレイに表示される画像に適応する音声となるように、入力信号を補正する仮想音源生成部と、を備えることを特徴とする。

このように、各ラウドスピーカから出力される音声が、ユーザの視聴位置でディスプレイに表示される画像に適応する音声となるように、入力信号を補正するので、ユーザがビデオコンテンツを視聴する位置に応じて、仮想的に各ラウドスピーカの設置位置が移動して仮想音源が生成され、ビデオとオーディオとの定位を合致させることが可能となる。

（２）また、本発明のマルチメディア装置において、前記仮想音源生成部は、前記視聴位置と前記各ラウドスピーカの設置位置との間の音声伝達特性を示す第１の頭部伝達関数、および前記視聴位置と前記ディスプレイに表示される画像に適応する音声を前記視聴位置に出力する仮想ラウドスピーカの設置位置との間の音声伝達特性を示す第２の頭部伝達関数に基づいて作成された少なくとも一つのフィルタを備え、前記フィルタを用いて入力信号を補正することを特徴とする。

このように、第１および第２の頭部伝達関数に基づいて作成されたフィルタを用いて入力信号を補正するので、仮想音源として各ラウドスピーカの設置位置とは異なる空間内の位置に仮想ラウドスピーカを生成し、この仮想音源からユーザの視聴位置でディスプレイに表示される画像に適応する音声を提供することが可能となる。これにより、ユーザがビデオコンテンツを視聴する位置に応じて、ビデオとオーディオとの定位を合致させることが可能となる。

（３）また、本発明のマルチメディア装置において、前記仮想音源生成部は、複数の第１の頭部伝達関数および複数の第２の頭部伝達関数を備え、前記位置情報取得部が取得したユーザの視聴位置および前記各ラウドスピーカの設置位置に応じて、前記フィルタを作成し、作成した前記フィルタを用いて入力信号を補正することを特徴とする。

このように、複数の第１の頭部伝達関数および複数の第２の頭部伝達関数を備え、位置情報取得部が取得したユーザの視聴位置および各ラウドスピーカの設置位置に応じて、フィルタを作成ので、ユーザの視聴位置や現時点での各ラウドスピーカの設置位置に応じて、リアルタイムでビデオとオーディオとの定位を合致させることが可能となる。例えば、ユーザが情報機器を９０度回転させてビデオコンテンツを視聴しようとした時は、それに追従して仮想音源の位置を設定し直すことが可能となる。

（４）また、本発明のマルチメディア装置において、前記仮想音源生成部は、複数の視聴位置または複数の前記各ラウドスピーカの設置位置に応じて予め作成された複数のフィルタを備え、前記位置情報取得部が取得した視聴位置および前記各ラウドスピーカの設置位置に応じて、いずれかのフィルタを選択し、選択した前記フィルタを用いて入力信号を補正することを特徴とする。

このように、複数の視聴位置または複数の前記各ラウドスピーカの設置位置に応じて予め作成された複数のフィルタを備え、位置情報取得部が取得した視聴位置および前記各ラウドスピーカの設置位置に応じて、いずれかのフィルタを選択するので、処理速度が速く、早期にビデオとオーディオとの定位を合致させることが可能となる。例えば、ユーザの選択操作を契機として、いずれかのフィルタを選択することによって、ユーザの選択に応じて仮想音源の位置を設定することが可能となる。

（５）また、本発明のプログラムは、ディスプレイおよび複数のラウドスピーカを有するマルチメディア装置の動作を制御するプログラムであって、ユーザがマルチメディアデータを視聴する視聴位置および前記各ラウドスピーカの設置位置を取得する処理と、前記視聴位置と前記各ラウドスピーカの設置位置との間の音声伝達特性を示す第１の頭部伝達関数、および前記視聴位置と前記ディスプレイに表示される画像に適応する音声を前記視聴位置に出力する仮想ラウドスピーカの設置位置との間の音声伝達特性を示す第２の頭部伝達関数に基づいて作成された少なくとも一つのフィルタを用いて、前記各ラウドスピーカから出力される音声が、前記視聴位置で前記ディスプレイに表示される画像に適応する音声となるように、入力信号を補正する処理と、の一連の処理をコンピュータに実行させることを特徴とする。

このように、各ラウドスピーカから出力される音声が、ユーザの視聴位置でディスプレイに表示される画像に適応する音声となるように、入力信号を補正するので、ユーザがビデオコンテンツを視聴する位置に応じて、仮想的に各ラウドスピーカの設置位置が移動して仮想音源が生成され、ビデオとオーディオとの定位を合致させることが可能となる。また、第１および第２の頭部伝達関数に基づいて作成されたフィルタを用いて入力信号を補正するので、仮想音源として各ラウドスピーカの設置位置とは異なる空間内の位置に仮想ラウドスピーカを生成し、この仮想音源からユーザの視聴位置でディスプレイに表示される画像に適応する音声を提供することが可能となる。これにより、ユーザがビデオコンテンツを視聴する位置に応じて、ビデオとオーディオとの定位を合致させることが可能となる。

本発明によれば、各ラウドスピーカから出力される音声が、ユーザの視聴位置でディスプレイに表示される画像に適応する音声となるように、入力信号を補正するので、ユーザがビデオコンテンツを視聴する位置に応じて、仮想的に各ラウドスピーカの設置位置が移動して仮想音源が生成され、ビデオとオーディオとの定位を合致させることが可能となる。

本実施形態に係るマルチメディア装置の概念を示す図である。２種類の頭部伝達関数の概要を示す図である。本実施形態に係るマルチメディア装置の概略構成を示すブロック図である。各ラウドスピーカの設置位置を所望の位置に仮想的に移動させる動作を示すフローチャートである。

以下、図面を参照し、本発明を実施するための形態について説明し、本発明の理解に供する。なお、以下の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格ものではない。

本実施形態に係るマルチメディア装置は、ディスプレイと２つ以上のラウドスピーカを有し、ビデオとオーディオの定位を合致させるため、ディスプレイと２つ以上のラウドスピーカの位置関係、ジャイロセンサの情報、およびビデオコンテンツの情報に基づいて、仮想音源再生技術を用い、ビデオとオーディオの定位を合致させる。

図１は、本実施形態に係るマルチメディア装置の概念を示す図である。また、図２は、２種類の頭部伝達関数の概要を示す図である。すなわち、本実施形態では、ビデオとオーディオの定位を合致させるため、頭部伝達関数を利用して、２つ以上のラウドスピーカの位置を仮想的に移動させ、ラウドスピーカの設置位置とは異なる位置で仮想ラウドスピーカから音声を出力する。

まず、ラウドスピーカが２つである場合について説明する。図１および図２において、ラウドスピーカ１からユーザの左耳までおよび右耳までの音響経路の伝達特性を表す頭部伝達関数を、それぞれＨ_1L（ｆ）およびＨ_1R（ｆ）とする。また、ラウドスピーカ２からユーザの左耳までおよび右耳までの頭部伝達関数を、それぞれＨ_2L（ｆ）およびＨ_2R（ｆ）とする。ここで、ｆは周波数のインデックスで、ｔは時間のインデックスである。

一方、２つ以上のラウドスピーカの設置位置を仮想的に所望の位置に移動させるため、移動先である位置からユーザの左耳までおよび右耳までの音響経路の伝達特性を表す頭部伝達関数を、それぞれＶ_1L（ｆ）およびＶ_1R（ｆ）とする。このとき、式（１）に示すように、ユーザの左耳および右耳における音響信号が等しければ、所望の位置に仮想音源を生成することができる。ここで、Ｗ_1L（ｆ）およびＷ_2L（ｆ）は、所望の位置に仮想音源を生成するための、左チャネルの音源信号ｓ_L（ｆ，ｔ）と畳み込みを行う仮想音源再生伝達関数である。なお、周波数のインデックスｆは省略している。

ここで、式（１）のＨに関する２×２行列をＡ、Ｗに関する２次元ベクトルをｘ、Ｖに関する２次元ベクトルをｂとすれば、式（１）は、式（２）のように表すことができる。

さらに、ｘは、式（３）のように求められる。

求められたｘ、すなわちＷ_1L（ｆ）およびＷ_2L（ｆ）は、まず、左チャネルの音源信号ｓ_L（ｆ，ｔ）と畳み込み、左チャネルの音源信号ｓ_L（ｆ，ｔ）に対するラウドスピーカ１および２から再生すべき音響信号成分を得る。さらに、右チャネルの音源信号ｓ_R（ｆ，ｔ）は、同様に、Ｗ_1R（ｆ）およびＷ_2R（ｆ）を求め、右チャネルの音源信号ｓ_R（ｆ，ｔ）に対するラウドスピーカ１および２から再生すべき音響信号成分を得る。最後に、ラウドスピーカ１および２のそれぞれの音響信号成分を加算し、ラウドスピーカ１および２から再生することで、２つのラウドスピーカの位置を仮想的に、所望の位置に移動させることが可能となる。

なお、ラウドスピーカが３つ以上の場合、式（１）は、式（４）のように示すことができる。

ここで、Ｎはラウドスピーカの数である。ここで、式（４）のＨに関する２×Ｎ行列をＡ、Ｗに関するＮ次元ベクトルをｘ、Ｖに関する２次元ベクトルをｂとすれば、式（２）より、式（３）は、式（５）のように示すことができる。

ここで、添字の＋は、Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅの擬似逆行列である。

また、頭部伝達関数は、複数の位置で測定され、あらかじめ保存されているものとする。情報機器に内蔵されたディスプレイと２つ以上のラウドスピーカの位置情報は、既知であり、あらかじめ保存されているものとする。情報機器に内蔵されたディスプレイの回転方向情報は、情報機器からあらかじめ定義されたアプリケーションプログラミングインターフェースを経て、取得することができる。

図３は、本実施形態に係るマルチメディア装置の概略構成を示すブロック図である。図３において、入力信号は、ステレオ、あるいはモノラルの音声信号である。位置情報取得部１は、実在するラウドスピーカの設置位置と、仮想的に鳴動する仮想ラウドスピーカのユーザとの相対位置を、仮想音源生成部３に提供する。これらの位置情報は、ユーザの視聴姿勢を既定した上で、固定であっても良い。仮想的に鳴動するラウドスピーカの位置は、ユーザにより自由に変更しても良い。また、カメラ９から取得される映像、ジャイロセンサ１１を用いて取得した情報に基づいて自動的に計測しても良い。

仮想音源生成部３は、位置情報取得部１から提供されるラウドスピーカの位置情報に基づき、これらのラウドスピーカの位置情報と、予め測定された頭部伝達関数と、実在するスピーカの特性により、ラウドスピーカの位置を仮想的に所望の位置に移動させるためのフィルタを決定する。具体的には、予め作成された複数のフィルタから構成されるフィルタ集合５からいずれかのフィルタを選択し、入力信号との畳み込み演算処理を行ない、実在するラウドスピーカから出力すべき信号（音響信号）を生成する。

ラウドスピーカの位置を仮想的に所望の位置に移動させるためのフィルタは、ラウドスピーカの設置位置と、予め測定された頭部伝達関数と、実在するスピーカの特性に基づいて、ラウドスピーカの位置情報の変更にあわせて、都度導出しても良い。

図４は、各ラウドスピーカの設置位置を所望の位置に仮想的に移動させる動作を示すフローチャートである。まず、ディスプレイと２つ（以上）のラウドスピーカの位置情報の読み込みを行なう（ステップＳ１）。次に、ディスプレイの回転方向情報を取り込む（ステップＳ２）。例えば、ユーザが、それまで縦長で使用していたディスプレイを、ビデオコンテンツを視聴するために、横長となるように回転させたような場合が、これに該当する。次に、２つ（以上）のラウドスピーカの位置を、所望の位置に仮想的に移動させて（ステップＳ３）、ステップＳ２に遷移する。

このように、本実施形態によれば、各ラウドスピーカから出力される音声が、ユーザの視聴位置でディスプレイに表示される画像に適応する音声となる。これにより、ユーザがビデオコンテンツを視聴する位置に応じて、仮想的に各ラウドスピーカの設置位置が移動して仮想音源が生成され、ビデオとオーディオとの定位を合致させることが可能となる。

１位置情報取得部
３仮想音源生成部
５フィルタ集合
９カメラ
１１ジャイロセンサ

Claims

ディスプレイおよび複数のラウドスピーカを有するマルチメディア装置であって、
ユーザがマルチメディアデータを視聴する視聴位置および前記各ラウドスピーカの設置位置を取得する位置情報取得部と、
前記各ラウドスピーカから出力される音声が、前記視聴位置で前記ディスプレイに表示される画像に適応する音声となるように、入力信号を補正する仮想音源生成部と、を備えることを特徴とするマルチメディア装置。
前記仮想音源生成部は、前記視聴位置と前記各ラウドスピーカの設置位置との間の音声伝達特性を示す第１の頭部伝達関数、および前記視聴位置と前記ディスプレイに表示される画像に適応する音声を前記視聴位置に出力する仮想ラウドスピーカの設置位置との間の音声伝達特性を示す第２の頭部伝達関数に基づいて作成された少なくとも一つのフィルタを備え、前記フィルタを用いて入力信号を補正することを特徴とする請求項１記載のマルチメディア装置。
前記仮想音源生成部は、複数の第１の頭部伝達関数および複数の第２の頭部伝達関数を備え、前記位置情報取得部が取得したユーザの視聴位置および前記各ラウドスピーカの設置位置に応じて、前記フィルタを作成し、作成した前記フィルタを用いて入力信号を補正することを特徴とする請求項２記載のマルチメディア装置。
前記仮想音源生成部は、複数の視聴位置または複数の前記各ラウドスピーカの設置位置に応じて予め作成された複数のフィルタを備え、前記位置情報取得部が取得した視聴位置および前記各ラウドスピーカの設置位置に応じて、いずれかのフィルタを選択し、選択した前記フィルタを用いて入力信号を補正することを特徴とする請求項２記載のマルチメディア装置。
ディスプレイおよび複数のラウドスピーカを有するマルチメディア装置の動作を制御するプログラムであって、
ユーザがマルチメディアデータを視聴する視聴位置および前記各ラウドスピーカの設置位置を取得する処理と、
前記視聴位置と前記各ラウドスピーカの設置位置との間の音声伝達特性を示す第１の頭部伝達関数、および前記視聴位置と前記ディスプレイに表示される画像に適応する音声を前記視聴位置に出力する仮想ラウドスピーカの設置位置との間の音声伝達特性を示す第２の頭部伝達関数に基づいて作成された少なくとも一つのフィルタを用いて、前記各ラウドスピーカから出力される音声が、前記視聴位置で前記ディスプレイに表示される画像に適応する音声となるように、入力信号を補正する処理と、の一連の処理をコンピュータに実行させることを特徴とするプログラム。