JP2003032776A

JP2003032776A - 再生システム

Info

Publication number: JP2003032776A
Application number: JP2001216695A
Authority: JP
Inventors: Kazutada Abe; 一任阿部; Kenichi Terai; 賢一寺井
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2001-07-17
Filing date: 2001-07-17
Publication date: 2003-01-31

Abstract

(57)【要約】【課題】受聴者の位置にかからわず常に最適な処理を
再生装置から出力された音声信号に対して行うことを可
能とする再生システムを提供する。【解決手段】再生システム１００は、受聴者１０１の
少なくとも一部を含む映像を取り込む映像取り込み手段
１０２と、音声を再生することにより音声信号を出力す
る再生装置１０７と、映像取り込み手段１０２から出力
された映像信号に基づいて、受聴者１０１の位置を検出
する検出手段１０６と、検出手段１０６によって検出さ
れた受聴者１０１の位置に応じた処理を再生装置１０７
から出力された音声信号に対して行う音声制御装置１０
８とを備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＡＶ（オーディ
オ、ビジュアル）機器などにおいて、受聴者にとって好
ましい音響再生を行うことを目的とした音声再生装置に
関する。

【０００２】

【従来の技術】音の伝播は、音源と受聴者の位置関係
や、音源と受聴者の間の環境によって異なる。そこで、
音の伝播の違いを検知して、受聴者はその音源の位置
や、環境の印象を知覚することができる。例えば、音源
位置が受聴者の正面に固定してある場合、左右の耳に到
達する音は、受聴者が顔を右に向ければ左の音が、左に
向ければ右の音が相対的に大きくなる。このような、受
聴者の位置の変化と両耳で受聴する音の変化との関係
で、受聴者はより鮮明に音源の存在を知覚することがで
きる。

【０００３】これを利用し、受聴者の位置の変化を検知
して、所定の音声処理を行って受聴者に呈示することに
より、より臨場感あふれる音声の再生が可能となる。そ
の例として、特開平７−８２２２３５号公報に記載の映
像信号及び音響信号の再生装置などがある。これは、映
像信号再生手段上の仮想音源と受聴者の頭部との相対的
移動を検出する検出手段を備え、ヘッドホン再生におい
て受聴者の移動に対応した音像制御を実現することが可
能である。

【０００４】ヘッドホンによる音像制御と同様、スピー
カを用いた音像制御も提案されている。スピーカを用い
て音像制御を行う方式は、トランスオーラル（ｔｒａｎ
ｓａｕｒａｌ）方式と呼ばれる。トランスオーラル方式
は、原音場においての受聴者の両耳に達する音響信号と
等価な信号を、再生音場内のスピーカにより受聴者の両
耳に生成する方式である。つまり、原音場での右耳（右
チャンネル入力）の信号は再生音場での右耳にのみ、左
チャンネルの信号は左耳にのみ正確に到達することを理
想とする。しかしスピーカを用いることによって、片側
の信号が逆の耳に到達してしまうという現象（クロスト
ーク）が生じてしまう。これにより音像制御が行えなく
なってしまう。よって、トランスオーラル方式ではクロ
ストークを抑圧するため、ＤＳＰ（ＤｉｇｉｔａｌＳ
ｉｇｎａｌＰｒｏｃｅｓｓｏｒ）によるディジタルフ
ィルタを用いて実現している。

【０００５】

【発明が解決しようとする課題】しかしながら、クロス
トーク抑圧は受聴者の位置が移動した場合正しく行われ
ず、音像制御の効果が劣化するという問題点がある。そ
こで、受聴者の位置を検知し、その変化に対して所定の
処理を行うことができれば、クロストークの抑圧が実現
され、想定した音像制御が実現される。また、同時に受
聴者の移動を検知し、例えば受聴者の移動に対応するよ
う仮想音源を移動させるのは臨場感ある音声再生を行う
ためには効果的である。

【０００６】また、スピーカ再生においては、音が伝達
する範囲にいる人全てが受聴者となり得るなど、受聴者
が限定されない場合が多い。受聴者の位置の検出は受聴
者に検出装置をつけることなくできる方が、より簡便で
受聴者にとって好ましいといえる。

【０００７】本発明は、上記問題点に鑑みてなされたも
のであり、受聴者の位置にかからわず常に最適な処理を
再生装置から出力された音声信号に対して行うことを可
能とする再生システムを提供することを目的とする。

【０００８】

【課題を解決するための手段】本発明の再生システム
は、受聴者の少なくとも一部を含む映像を取り込む映像
取り込み手段と、音声を再生することにより音声信号を
出力する再生装置と、前記映像取り込み手段から出力さ
れた映像信号に基づいて、受聴者の位置を検出する検出
手段と、前記検出手段によって検出された前記受聴者の
位置に応じた処理を前記再生装置から出力された前記音
声信号に対して行う音声制御装置とを備えており、これ
により、上記目的が達成される。

【０００９】前記再生装置は、２チャネル以上の音声信
号を出力してもよい。

【００１０】前記検出手段は、前記受聴者の頭部の位置
を検出してもよい。

【００１１】前記音声制御装置は、前記検出手段によっ
て検出された前記受聴者の位置に応じた音像制御処理を
前記再生装置から出力された前記音声信号に対して行っ
てもよい。

【００１２】前記音声制御装置は、前記検出手段によっ
て検出された前記受聴者の位置に応じた指向性制御処理
を前記再生装置から出力された前記音声信号に対して行
ってもよい。

【００１３】前記検出手段は、前記受聴者の人数をさら
に検出してもよい。

【００１４】前記再生システムは、携帯端末において使
用されてもよい。

【００１５】

【発明の実施の形態】以下、図面を参照しながら本発明
の実施の形態を説明する。

【００１６】（実施の形態１）図１は、本発明の実施の
形態１の再生システム１００の構成の一例を示す。

【００１７】再生システム１００は、映像を取り込む映
像取り込み手段１０２と、音声を再生することにより音
声信号を出力する再生装置１０７と、再生装置１０７か
ら出力される音声信号に対して処理を行う音声制御装置
１０８とを含む。音声制御装置１０８から出力される音
声信号は、スピーカ１０３、１０４に出力される。

【００１８】なお、再生装置１０７は、音声信号を出力
することに加えて、映像を再生することにより映像信号
を出力してもよい。再生装置１０７から出力される映像
信号は、ディスプレイ１０５に出力される。

【００１９】再生装置１０７としては、例えば、ＣＤ、
ＭＤ、半導体プレーヤなどのオーディオ機器、ＤＶＤ、
ＢＳディジタルテレビの受信装置などのＡＶ機器、パー
ソナルコンピュータなどのマルチメディア機器が好適に
使用され得る。

【００２０】映像取り込み手段１０２は、映像取り込み
手段１０２によって取り込まれる映像が受聴者１０１の
少なくとも一部（例えば、受聴者の頭部）を含むように
方向づけられている。映像取り込み手段１０２は、取り
込まれた映像に対応する映像信号を出力する。

【００２１】映像取り込み手段１０２としては、例え
ば、カメラが好適に使用され得る。カメラは、例えば、
ディスプレイ１０５の上に設置される。受聴者の位置を
検出する精度を向上させるために、映像取り込み手段１
０２として複数のカメラが使用されてもよい。

【００２２】再生システム１００は、映像取り込み手段
１０２から出力された映像信号に基づいて、受聴者の位
置を検出する検出手段１０６をさらに含む。音声制御装
置１０８は、検出手段１０６によって検出された受聴者
の位置に応じた処理（例えば、音像制御処理または指向
性制御処理）を再生装置１０７から出力された音声信号
に対して行う。なお、検出手段１０６は、受聴者の位置
として、例えば、受聴者の頭部の位置を検出してもよ
い。

【００２３】図２Ａは、再生システム１００の検出手段
１０６および音声制御装置１０８の構成の一例を示す。

【００２４】検出手段１０６は、映像取り込み手段１０
２から出力された映像信号に対して所定の信号処理（例
えば、輪郭の強調処理や色の強調処理）を行う映像信号
処理部２０２と、映像信号処理部２０２からの出力に基
づいて受聴者の位置を示す情報（例えば、受聴者の頭部
の位置を示す情報）を抽出する位置情報抽出部２０３と
を含む。受聴者の位置を示す情報は、音声制御装置１０
８に入力される。

【００２５】音声制御装置１０８は、メモリ（例えば、
ＲＯＭ）に格納された複数のフィルタ係数のうち、入力
された受聴者の位置を示す情報に対応するフィルタ係数
を選択する係数選択部２０５と、係数選択部２０５によ
って選択されたフィルタ係数を用いて再生装置１０７か
ら出力された音声信号に対して音像制御処理を行う音像
制御部２０６とを含む。

【００２６】音像制御処理の例としては、遅延制御、音
圧レベル制御、クロストークキャンセル、仮想音源から
の頭部伝達関数の畳み込み演算などの処理が挙げられ
る。音像制御部２０６から出力された信号は増幅装置２
０８を介してスピーカ１０３、１０４に出力される。

【００２７】図２Ａに示される例では、再生装置１０７
から出力される音声信号は、２チャンネルの信号であ
る。しかし、音声信号のチャンネル数は２に限定されな
い。再生装置１０７から出力される音声信号は、２チャ
ンネル以上の信号であり得る。例えば、再生装置１０７
は、ＤＶＤやＢＳディジタルテレビ放送などで取り扱わ
れている５．１チャンネルのマルチチャンネルの音声信
号を音像制御部２０６に出力するようにしてもよい。

【００２８】また、図２Ａに示される例では、２チャン
ネルのスピーカ１０３、１０４が使用されている。しか
し、スピーカのチャンネル数は２に限定されない。音像
制御の精度を向上させるため、あるいは、２人以上の受
聴者や、受聴者近傍の多点を制御するために、２チャン
ネル以上のスピーカを使用することも可能である。

【００２９】図２Ｂは、再生システム１００が実装され
た携帯電話１２０の構成の一例を示す。図２Ｂにおい
て、図１および図２Ａに示される構成要素と同一の構成
要素には同一の参照番号を付し、その説明を省略する。

【００３０】図２Ｂに示される例では、携帯電話１２０
は、図１および図２Ａに示される再生装置１０７に代え
て、音声信号を生成する音声生成部１１０を含む。音声
信号としては、ｍｉｄｉやｍｌｄ形式などで記録された
着信音や音楽、通話相手の音声などが考えられる。音声
信号生成部１１０は、左チャンネルの信号を音像制御部
２０６の入力端子Ｌｉｎに入力し、右チャンネルの信号
を音像制御部２０６の入力端子Ｒｉｎに入力する。

【００３１】なお、再生システム１００は、任意のタイ
プの携帯端末において使用され得る。

【００３２】図３は、検出手段１０６による受聴者の位
置の検出の具体例を示す。図３に示される例では、映像
取り込み手段１０２は、ＸＹ平面の原点に配置されてい
るものとする。

【００３３】映像取り込み手段１０２の視野（図３にお
いてハッチングの部分）の範囲内に、受聴者３０３、３
０４が存在すると仮定する。受聴者３０３、３０４の位
置は、視野角度と距離とによって表現される。ここで、
視野角度とは、映像取り込み手段の視野の基準線３０１
から反時計周りの角度をいい、距離とは、映像取り込み
手段１０２と受聴者３０３（または受聴者３０４）との
間の距離をいう。

【００３４】図３において、参照番号３０２は、映像取
り込み手段１０２によって取り込まれた映像を模式的に
示す。取り込み映像３０２は、受聴者３０３の映像３０
５と、受聴者３０４の映像３０６とを含む。取り込み映
像３０２の横幅はａであり、映像３０５は、取り込み映
像３０２の右端からｂの位置にあるものとする（ａ、ｂ
の単位は例えばピクセルである）。

【００３５】映像取り込み手段１０２の視野角度をＡと
し、受聴者３０３の視野角度をＢとすると、（数１）が
成立する。

【００３６】

【数１】ｂ／ａ＝Ｂ／Ａ従って、受聴者３０３の視野角度Ｂは、（数２）によっ
て求められる。

【００３７】

【数２】Ｂ＝（ｂ／ａ）＊Ａ映像取り込み手段１０２と受聴者３０３との距離は、例
えば、取り込み映像３０２中の受聴者３０３の顔の大き
さを検出することにより、求めることができる。映像取
り込み手段１０２と受聴者との距離と取り込み映像３０
２中の受聴者の顔の大きさとの関係は、あらかじめ測定
され、メモリ（図示せず）に格納される。取り込み映像
３０２においては、受聴者３０３の顔の大きさの方が受
聴者３０４の顔の大きさより大きい。これは、映像取り
込み手段１０２と受聴者３０３との距離の方が映像取り
込み手段１０２と受聴者３０４との距離より近いからで
ある。

【００３８】なお、人間の顔の大きさは個人により異な
るが、この距離の検出にあたっては人間の顔の大きさは
同一であると仮定しても差し支えない。また、受聴者の
顔の大きさがあらかじめわかっている場合には、映像取
り込み手段と受聴者との距離をより正確に求めることが
可能である。

【００３９】さらに、２つの映像取り込み手段を異なる
位置に設置することが可能な場合には、２つの映像取り
込み手段から出力される映像信号の差分を利用して基準
点と受聴者との距離を求めることも可能である。

【００４０】このようにして、受聴者３０３の位置を示
す情報として、受聴者３０３の視野角度と、映像取り込
み手段１０２と受聴者３０３との距離とが検出され得
る。同様にして、受聴者３０４の位置を示す情報とし
て、受聴者３０４の視野角度と、映像取り込み手段１０
２と受聴者３０４との距離とが検出され得る。

【００４１】受聴者の顔の大きさを検出する方法として
は、さまざまな方法が使用され得る。例えば、輪郭検出
を利用して受聴者の大まかな位置および形を検出し、次
に肌色検出を利用して受聴者の顔の大きさを検出する方
法が使用され得る。あるいは、肌色検出の代わりに、ま
たは、肌色検出に加えて、目、髪の毛、口などの顔の特
徴を利用して受聴者の顔の大きさを検出してもよい。

【００４２】図４を参照して、ディジタルフィルタ処理
を用いて輪郭検出を行う一例を説明する。図４におい
て、四角いますめは１画素を示し、黒色の画素（図４に
おいてハッチングの部分）は値１を有しており、白色の
画素は値０を有しているとする。

【００４３】図４（ａ）は、映像取り込み手段１０２に
よって取り込まれた映像の一例を示す。このような映像
の輪郭は、例えば、係数[１−１]を有するＦＩＲディジ
タルフィルタを用いて映像の縦方向および横方向にフィ
ルタ処理を行うことにより検出され得る。このＦＩＲデ
ィジタルフィルタは、フィルタ処理されるデータの変化
を検出し、０以外の値を出力するという性質を有してい
るからである。

【００４４】図４（ｂ）は、そのＦＩＲディジタルフィ
ルタを用いて図４（ａ）に示される映像をフィルタ処理
した結果を示す。このように、輪郭検出を利用して、受
聴者の大まかな位置および形を検出することができる。

【００４５】なお、受聴者の目を検出することが可能で
ある場合には、受聴者の顔の向きを検出することも可能
である。

【００４６】図５は、図２Ａに示される音像制御部２０
６の構成の一例を示す。音像制御部２０６は、２つの入
力端子Ｌｉｎ、Ｒｉｎと、２つの出力端子Ｌｏｕｔ、Ｒ
ｏｕｔとを有している。

【００４７】入力端子Ｌｉｎには、再生装置１０７（図
２Ａ）から左チャンネルの音声信号が入力される。入力
端子Ｒｉｎには、再生装置１０７（図２Ａ）から右チャ
ンネルの音声信号が入力される。出力端子Ｌｏｕｔから
出力される信号は、増幅装置２０８を介してスピーカ１
０４に供給される。出力端子Ｒｏｕｔから出力される信
号は、増幅装置２０８を介してスピーカ１０３に供給さ
れる。

【００４８】音像制御部２０６は、フィルタ５０１〜５
０４と、加算器５０５、５０６とを含む。フィルタ５０
１、５０２の入力は入力端子Ｌｉｎに接続されている。
フィルタ５０３、５０４の入力は入力端子Ｒｉｎに接続
されている。加算器５０５は、フィルタ５０１の出力と
フィルタ５０３の出力とを加算し、その加算結果を出力
端子Ｌｏｕｔに出力する。加算器５０６は、フィルタ５
０２の出力とフィルタ５０４の出力とを加算し、その加
算結果を出力端子Ｒｏｕｔに出力する。

【００４９】ここで、フィルタ５０１、５０２、５０
３、５０４のフィルタ係数が、それぞれ、Ｘｌｌ、Ｘｌ
ｒ、Ｘｒｌ、Ｘｒｒであるとする。

【００５０】図６は、図２Ａに示される係数選択部２０
５内のメモリ（例えば、ＲＯＭ）に格納されるテーブル
６００の一例を示す。テーブル６００は、映像取り込み
手段１０２の視野範囲内に存在する受聴者が１人である
場合に使用される。図６において、Ｃ₁₁、Ｃ₁₂、・・
・、Ｃ_(n+1)4のそれぞれは、数値の配列（例えば、
[０．１，０．２，０．３，−０．３，０．０１]）を示
す。配列内の数値の個数は制御性能に依存する。

【００５１】テーブル６００は、視聴者の位置を示す情
報（視野角度、距離）ごとに定義されたフィルタ係数の
組（Ｘｌｌ、Ｘｌｒ、Ｘｒｌ、Ｘｒｒ）を含む。

【００５２】係数選択部２０５は、位置情報抽出部２０
３から出力された受聴者の位置を示す情報（視野角度、
距離）に対応するフィルタ係数の組（Ｘｌｌ、Ｘｌｒ、
Ｘｒｌ、Ｘｒｒ）を選択し、選択されたフィルタ係数の
組（Ｘｌｌ、Ｘｌｒ、Ｘｒｌ、Ｘｒｒ）を音像制御部２
０６に出力する。その結果、選択されたフィルタ係数の
組（Ｘｌｌ、Ｘｌｒ、Ｘｒｌ、Ｘｒｒ）が、音像制御部
２０６に含まれるフィルタの組（フィルタ５０１、フィ
ルタ５０２、フィルタ５０３、フィルタ５０４）にそれ
ぞれ設定される。

【００５３】例えば、受聴者が（視野角度、距離）＝
（０°、０．５ｍ）の位置に存在する場合には、係数選
択部２０５は、（０°、０．５ｍ）に対応するフィルタ
係数の組（Ｘｌｌ、Ｘｌｒ、Ｘｒｌ、Ｘｒｒ）＝
（Ｃ₁₁、Ｃ₁₂、Ｃ₁₃、Ｃ₁₄）を選択する。選択されたフ
ィルタ係数の組（Ｘｌｌ、Ｘｌｒ、Ｘｒｌ、Ｘｒｒ）＝
（Ｃ₁₁、Ｃ₁₂、Ｃ₁₃、Ｃ₁₄）が、音像制御部２０６に含
まれるフィルタの組（フィルタ５０１、フィルタ５０
２、フィルタ５０３、フィルタ５０４）にそれぞれ設定
される。

【００５４】このように、再生システム１００に対する
受聴者の相対的な位置に応じて、音像制御部２０６のフ
ィルタ係数を更新することにより、受聴者の位置にかか
わらず常に最適な音像制御（例えば、音像を定位させる
音像定位の制御）を行うことが可能になる。音像制御部
２０６のフィルタ係数の更新は、受聴者の位置の変化に
追従してリアルタイムに行うことが好ましい。

【００５５】通常、音像制御部２０６のフィルタ係数
は、受聴者が再生システム１００の正面に位置している
ことを想定して１とおりに設計される。これに対し、本
発明では、音像制御部２０６のフィルタ係数は、受聴者
が再生システム１００に対して複数の位置に存在するこ
とを想定して複数とおりに設計される。これにより、再
生システム１００に対する受聴者の相対的な位置が変化
する場合でも、受聴者の位置に応じて音像制御部２０６
のフィルタ係数を更新することにより、常に最適な音像
制御を行うことが可能になる。

【００５６】図７は、図２Ａに示される係数選択部２０
５内のメモリ（例えば、ＲＯＭ）に格納されるテーブル
７００の一例を示す。テーブル７００は、映像取り込み
手段１０２の視野範囲内に存在する受聴者が２人である
場合に使用される。図７において、Ｃ₁₁’、Ｃ₁₂’、・
・・、Ｃ₃₄’のそれぞれは、数値の配列（例えば、
[０．１，０．２，０．３，−０．３，０．０１]）を示
す。配列内の数値の個数は制御性能に依存する。

【００５７】テーブル７００は、第１の受聴者の位置を
示す情報（視野角度、距離）および第２の受聴者の位置
を示す情報（視野角度、距離）の組ごとに定義されたフ
ィルタ係数の組（Ｘｌｌ、Ｘｌｒ、Ｘｒｌ、Ｘｒｒ）を
含む。

【００５８】２つのスピーカを用いて音声を再生する場
合には、２つの制御点における音を制御することが可能
である。映像取り込み手段１０２の視野範囲内に１人の
受聴者のみが存在する場合には、その２つの制御点を受
聴者の両耳の近傍に配置することが好ましい。映像取り
込み手段１０２の視野範囲内に２人の受聴者が存在する
場合には、その２つの制御点を各受聴者の頭部の中心位
置に配置することが好ましい。受聴者が２人の場合に
は、受聴者が１人の場合に比べて、音像制御の性能は劣
るものの、ある程度の音像制御を実現することが可能で
ある。このように、映像取り込み手段１０２の視野範囲
内に存在する受聴者の人数に応じて、制御点の配置を変
更することにより、受聴者の人数に適合した適切な音像
制御を実現することが可能になる。

【００５９】なお、受聴者の位置を示す情報として、
（視野角度、距離）または（ｘ、ｙ）座標以外のものを
使用してもよい。

【００６０】また、受聴者の顔の向きを検出可能である
場合には、図６および図７に示されるテーブルに顔の向
きを示すパラメータを追加して、受聴者の位置を示す情
報および受聴者の顔の向きを示す情報の組ごとにフィル
タ係数の組（Ｘｌｌ、Ｘｌｒ、Ｘｒｌ、Ｘｒｒ）を定義
しておくことが好ましい。これにより、受聴者の位置お
よび受聴者の顔の向きにかかわらず常に最適な音像制御
（例えば、音像を定位させる音像定位の制御）を行うこ
とが可能になる。

【００６１】（実施の形態２）図８は、本発明の実施の
形態２の再生システム２００の構成の一例を示す。図８
において、図２Ａに示される構成要素と同一の構成要素
には同一の参照番号を付し、その説明を省略する。

【００６２】再生システム２００は、車に搭載されるカ
ーステレオシステムである。再生装置２００は、スピー
カ８０１〜８０４を含む。スピーカ８０１は左フロント
ドアに設置される。スピーカ８０２は右フロントドアに
設置される。スピーカ８０３は左リアダッシュボードに
設置される。スピーカ８０４は右リアダッシュボードに
設置される。

【００６３】映像取り込み手段１０２（例えば、カメ
ラ）は、例えば、ルームミラーまたはフロントダッシュ
ボードに設置される。

【００６４】音声制御装置８０８は、メモリ（例えば、
ＲＯＭ）に格納された複数のフィルタ係数のうち、受聴
者の位置を示す情報に対応するフィルタ係数を選択する
係数選択部８０５と、係数選択部８０５によって選択さ
れたフィルタ係数を用いて再生装置１０７から出力され
た音声信号に対して音像制御処理を行う音像制御部８０
６とを含む。

【００６５】図９は、図８に示される音像制御部８０６
の構成の一例を示す。音像制御部８０６は、２つの入力
端子Ｌｉｎ、Ｒｉｎと、４つの出力端子ＦＬｏｕｔ、Ｆ
Ｒｏｕｔ、ＲＬｏｕｔ、ＲＲｏｕｔとを有している。

【００６６】入力端子Ｌｉｎには、再生装置１０７（図
８）から左チャンネルの音声信号が入力される。入力端
子Ｒｉｎには、再生装置１０７（図８）から右チャンネ
ルの音声信号が入力される。出力端子ＦＬｏｕｔから出
力される信号は、増幅装置２０８を介してスピーカ８０
１に供給される。出力端子ＦＲｏｕｔから出力される信
号は、増幅装置２０８を介してスピーカ８０２に供給さ
れる。出力端子ＲＬｏｕｔから出力される信号は、増幅
装置２０８を介してスピーカ８０３に供給される。出力
端子ＲＲｏｕｔから出力される信号は、増幅装置２０８
を介してスピーカ８０４に供給される。

【００６７】音像制御部８０６は、フィルタ９１１〜９
１４、９２１〜９２４、９３１〜９３４、９４１〜９４
４と、加算器９５１〜９５４、９６１〜９６４、９７１
〜９７４とを含む。

【００６８】ここで、フィルタ９１１〜９１４のフィル
タ係数がそれぞれＸ１１〜Ｘ１４であり、フィルタ９２
１〜９２４のフィルタ係数がそれぞれＸ２１〜Ｘ２４で
あり、フィルタ９３１〜９３４のフィルタ係数がそれぞ
れＸ３１〜Ｘ３４であり、フィルタ９４１〜９４４のフ
ィルタ係数がそれぞれＸ４１〜Ｘ４４であるとする。

【００６９】図１０は、図８に示される係数選択部８０
５内のメモリ（例えば、ＲＯＭ）に格納されるテーブル
１０００の一例を示す。図１０において、Ｃ₁₁₁、
Ｃ₁₁₂、・・・、Ｃ₄₄₄のそれぞれは、数値の配列（例え
ば、[０．１，０．２，０．３，−０．３，０．０１]）
を示す。配列内の数値の個数は制御性能に依存する。

【００７０】テーブル１０００は、乗車パターンごとに
定義されたフィルタ係数の組（Ｘｌ１〜Ｘ１４、Ｘ２１
〜Ｘ２４、Ｘ３１〜Ｘ３４、Ｘ４１〜Ｘ４４）を含む。

【００７１】係数選択部８０５は、位置情報抽出部２０
３から出力された受聴者の位置を示す情報（乗車パター
ン）に対応するフィルタ係数の組（Ｘｌ１〜Ｘ１４、Ｘ
２１〜Ｘ２４、Ｘ３１〜Ｘ３４、Ｘ４１〜Ｘ４４）を選
択し、選択されたフィルタ係数の組（Ｘｌ１〜Ｘ１４、
Ｘ２１〜Ｘ２４、Ｘ３１〜Ｘ３４、Ｘ４１〜Ｘ４４）を
音像制御部８０６に出力する。その結果、選択されたフ
ィルタ係数の組（Ｘｌ１〜Ｘ１４、Ｘ２１〜Ｘ２４、Ｘ
３１〜Ｘ３４、Ｘ４１〜Ｘ４４）が、音像制御部８０６
に含まれるフィルタの組（フィルタ９１１〜９１４、フ
ィルタ９２１〜９２４、フィルタ９３１〜９３４、フィ
ルタ９４１〜９４４）にそれぞれ設定される。

【００７２】図１０において、例えば、乗車パターン
（ａ）は、運転席に１人乗車を示し、乗車パターン
（ｂ）は、運転席および助手席に２人乗車を示し、乗車
パターン（ｃ）は、運転席、助手席およびリアシートに
４人乗車を示す。

【００７３】このような乗車パターンは、実施の形態１
で説明したように受聴者の人数および位置を検出するこ
とによって判別され得る。ただし、車の座席の位置は固
定されているため、受聴者の位置も限定される。従っ
て、実施の形態１に比べて、受聴者の位置を示す情報の
検出を簡略化してもよい。

【００７４】さらに、映像取り込み手段１０２および検
出手段１０６に代えて、人が座席に座ったことを検知す
るセンサ（例えば、圧力センサ）を座席に取り付けるこ
とにより、乗車パターンを判別するようにしてもよい。

【００７５】４つのスピーカを用いて音声を再生する場
合には、４つの制御点における音を制御することが可能
である。

【００７６】図１１は、乗車パターンと４つの制御点の
配置との関係を示す。図１１において、ｘは制御点を示
す。

【００７７】図１１（ａ）に示されるように乗車パター
ンが運転席に１人乗車を示す場合には、４つの制御点を
運転席の受聴者の両耳の近傍に配置することが好まし
い。図１１（ｂ）に示されるように乗車パターンが運転
席および助手席に２人乗車を示す場合には、４つの制御
点のうちの２つの制御点を運転席の受聴者の両耳の近傍
に配置し、残りの２つの制御点を助手席の受聴者の両耳
の近傍に配置することが好ましい。図１１（ｃ）に示さ
れるように乗車パターンが運転席、助手席およびリアシ
ートに４人乗車を示す場合には、４つの制御点のそれぞ
れを各受聴者の頭部の中心位置に配置することが好まし
い。

【００７８】乗車パターンが４人乗車の場合には、乗車
パターンが１人乗車または２人乗車の場合に比べて、音
像制御の性能は劣るものの、ある程度の音像制御を実現
することが可能である。このように、映像取り込み手段
１０２の視野範囲内に存在する受聴者の人数に応じて、
制御点の配置を変更することにより、受聴者の人数に適
合した適切な音像制御を実現することが可能になる。

【００７９】なお、受聴者の年齢を検出可能な場合に
は、受聴者の年齢に応じた音像制御を行うようにしても
よい。例えば、受聴者が高齢者である場合には、音圧が
通常より高くなるように音声信号を処理することが好ま
しい。

【００８０】また、個人識別が可能な場合には、個人の
好みに応じた音像制御を行うようにしてもよい。

【００８１】図８に示される例では、再生装置１０７か
ら出力される音声信号は、２チャンネルの信号である。
しかし、音声信号のチャンネル数は２に限定されない。
再生装置１０７から出力される音声信号は、２チャンネ
ル以上の信号であり得る。例えば、再生装置１０７は、
ＤＶＤやＢＳディジタルテレビ放送などで取り扱われて
いる５．１チャンネルのマルチチャンネルの音声信号を
音像制御部８０６に出力するようにしてもよい。

【００８２】また、図８に示される例では、４チャンネ
ルのスピーカ８０１〜８０４が使用されている。しか
し、スピーカのチャンネル数は４に限定されない。音像
制御の精度を向上させるため、あるいは、２人以上の受
聴者や、受聴者近傍の多点を制御するために、４チャン
ネル以上のスピーカを使用することも可能である。

【００８３】上述したように、実施の形態１および実施
の形態２では、音声制御装置が音像制御処理を行う例を
主として説明した。アプリケーションによっては、音声
制御装置が音像制御処理以外の処理を行うことも可能で
ある。また、映像取り込み手段によって取り込まれる映
像に応じて音像制御処理とその他の処理とを切り替える
ことも可能である。音像制御処理以外の処理としては、
例えば、指向性制御処理が挙げられる。指向性制御処理
とは、例えば、取り込み映像に基づいて目標とする受聴
者を検出し、その目標とする受聴者の方向のみに音が伝
わるように制御する処理をいう。

【００８４】マルチチャネルスピーカを用いた超指向性
スピーカの技術を用いることにより、音の鋭いビームを
実現することができる。これを受聴者の方向に向けるこ
とにより、受聴者のみに音を伝播させることが可能であ
る。また、音像制御処理と指向性制御処理とを切り替え
るようにしてもよい。

【００８５】なお、再生システム１００または再生シス
テム２００に含まれる各手段および各装置は、ハードウ
ェアで実現されてもよいし、ソフトウェアで実現されて
もよいし、ハードウェアとソフトウェアとの組み合わせ
によって実現されてもよい。

【００８６】

【発明の効果】本発明によれば、受聴者の位置にかから
わず常に最適な処理を再生装置から出力された音声信号
に対して行うことを可能とする再生システムを提供する
ことが可能になる。これにより、受聴者にとってより好
ましい、より臨場感ある音声再生を実現することが可能
になる。

【図面の簡単な説明】

【図１】本発明の実施の形態１の再生システム１００の
構成の一例を示す図

【図２Ａ】再生システム１００の検出手段１０６および
音声制御装置１０８の構成の一例を示す図

【図２Ｂ】再生システム１００が実装された携帯電話１
２０の構成の一例を示す図

【図３】検出手段１０６による受聴者の位置の検出の具
体例を示す図

【図４】ディジタルフィルタ処理を用いて輪郭検出を行
う一例を説明するための図

【図５】図２Ａに示される音像制御部２０６の構成の一
例を示す図

【図６】図２Ａに示される係数選択部２０５内のメモリ
に格納されるテーブル６００の一例を示す図

【図７】図２Ａに示される係数選択部２０５内のメモリ
に格納されるテーブル７００の一例を示す図

【図８】本発明の実施の形態２の再生システム２００の
構成の一例を示す図

【図９】図８に示される音像制御部８０６の構成の一例
を示す図

【図１０】図８に示される係数選択部８０５内のメモリ
（例えば、ＲＯＭ）に格納されるテーブル１０００の一
例を示す。

【図１１】乗車パターンと４つの制御点の配置との関係
を示す図

【符号の説明】

１００再生システム１０１受聴者１０２映像取り込み手段１０３、１０４スピーカ１０５ディスプレイ１０６検出手段１０７再生装置１０８音声制御装置

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C054 AA01 AA05 CA04 CC02 CD03 CE01 CH01 DA08 EA01 FA00 FC03 FC12 FC13 FF03 HA17 5D020 BB03

Claims

【特許請求の範囲】

【請求項１】受聴者の少なくとも一部を含む映像を取
り込む映像取り込み手段と、音声を再生することにより音声信号を出力する再生装置
と、前記映像取り込み手段から出力された映像信号に基づい
て、受聴者の位置を検出する検出手段と、前記検出手段によって検出された前記受聴者の位置に応
じた処理を前記再生装置から出力された前記音声信号に
対して行う音声制御装置とを備えた、再生システム。
【請求項２】前記再生装置は、２チャネル以上の音声
信号を出力する、請求項１に記載の再生システム。
【請求項３】前記検出手段は、前記受聴者の頭部の位
置を検出する、請求項１に記載の再生システム。
【請求項４】前記音声制御装置は、前記検出手段によ
って検出された前記受聴者の位置に応じた音像制御処理
を前記再生装置から出力された前記音声信号に対して行
う、請求項１に記載の再生システム。
【請求項５】前記音声制御装置は、前記検出手段によ
って検出された前記受聴者の位置に応じた指向性制御処
理を前記再生装置から出力された前記音声信号に対して
行う、請求項１に記載の再生システム。
【請求項６】前記検出手段は、前記受聴者の人数をさ
らに検出する、請求項１に記載の再生システム。
【請求項７】前記再生システムは、携帯端末において
使用される、請求項１に記載の再生システム。