JP5140684B2

JP5140684B2 - 高齢又は聴覚障害聴取者のための非スピーチオーディオに対するスピーチオーディオの改善された比率

Info

Publication number: JP5140684B2
Application number: JP2009549608A
Authority: JP
Inventors: ミュッシュ、ハンネス
Original assignee: ドルビーラボラトリーズライセンシングコーポレイション
Priority date: 2007-02-12
Filing date: 2008-02-12
Publication date: 2013-02-06
Anticipated expiration: 2028-02-12
Also published as: US20100106507A1; WO2008100503A2; EP2118892B1; US8494840B2; JP2010518455A; CN101606195B; CN101606195A; EP2118892A2; DE602008001787D1; WO2008100503A3; ATE474312T1

Description

本発明は、音声信号処理およびスピーチ強調に関する。本発明の一態様によれば、高齢者、聴覚障害者あるいは他の聴取者に役立つように、非スピーチオーディオに対するスピーチ成分の比率を増加させた高品質オーディオプログラムを生成することで、オーディオプログラムに含まれるスピーチ成分の低い品質のコピーを、スピーチ成分と非スピーチオーディオの混合物からなる高品質オーディオプログラムに組み合わせるものである。本発明の態様は、別のオーディオおよび正常なアプリケーションに適用可能であるが、特にテレビおよびホームシアターサウンドに役立つ。本発明は、上記の方法を行なうための装置や方法、およびコンピュータに上記の方法を行なわせるためにコンピュータ判読可能な媒体上に記憶されたソフトウェアに関する。

映画やテレビでは、対話や物語は、別のもの、例えば音楽、調子のよい短歌、効果音および雰囲気音等の非スピーチのサウンドと一緒にしばしば提示される。多くの場合には、スピーチ音と非スピーチ音は別々に記録され、音響技師の管理の下で混ぜられる。スピーチ音と非スピーチ音が混ぜられる場合、非スピーチ音は部分的にスピーチ音をマスクし、その結果として、一部分の聞き取れないスピーチ音を生ずる。その結果、聴取者は、残った部分情報に基づいたスピーチを理解しなければならない。健全な聴覚を有する若い聴取者は、少量のマスキングを容易に許容できる。しかし、マスキングが増加すると、スピーチの理解が次第により困難になり、ついには不鮮明になる（非特許文献１参照）。音響技師はこの関係に直観的に気づいており、大多数の視聴者に通常適切な了解度を提供する相対レベルでスピーチ音と背景音を混ぜる。

背景音がすべての視聴者の了解度を妨害しているが、背景音の有害作用は高齢者や聴覚障害を持った人にとってより大きい（非特許文献２参照）。音響技師は典型的には正常聴力を持っており、少なくとも聴衆の一部より若いが、その音響技師は、彼自身の内部標準に基づいた非スピーチオーディオに対するスピーチ音の比率を選択する。時々、それは対話か物語を理解しようとする聴衆のかなりの部分に負担を掛けている。

先行技術中で既知の１つの解は、視聴者に２つの別個のオーディオ流を提供するために、著作物チェーン（production chain）のある部分でスピーチオーディオと非スピーチオーディオが別々に存在するという事実を活用することである。１つの流れは主としてスピーチを伝える主コンテンツオーディオであり、他方の流れはスピーチを除く残りのオーディオプログラムを伝える従コンテンツオーディオである。使用者に、混合処理に対する管理権を与えることである。あいにく、完全な混合オーディオプログラムを送信するという現在の習慣に基礎を置かないので、この方式は非実用的である。もっと正確に言えば、この方式は、メインオーディオプログラムを今日使用されていない２つのオーディオ流に取り替えるものである。このアプローチのさらなる不都合は、各々が放送品質を有する２つの独立したオーディオ流が使用者に送信されるために、それが現在の放送業務のバンド幅の約２倍を必要とすることである。

成功したオーディオ・コーディング標準ＡＣ−３では、メインオーディオプログラムと他の関連するオーディオ流の同時配信が許容される。すべてのオーディオ流は放送品質を有している。関連するオーディオ流のうちの1つは聴覚障害のために意図される。非特許文献３によると、このオーディオストリームは典型的には専ら対話を入れておりメインオーディオプログラムの中央チャンネル(あるいは主オーディオが２チャンネルステレオである場合、左右の両チャネル)へ固定比率で加えられる。メインオーディオプログラムには、既にその対話のコピーを入れている。さらに、ＡＴＳＣ規格として非特許文献４参照。ＡＣ−３のさらなる詳細は、標題「参照によるとり込み」の下でＡＣ−３の引用で見出すことができる。

ANSI S3.5 1997 "Methods for Calculation of the Speech Intelligibility Index" Killion, M. 2002. "New thinking on hearing in noise: A generalized Articulation Index" in Seminars in Hearing, Volume 23, Number 1, pages 57 to 75, Thieme Medical Publishers, New York, NY "Dolby Digital Professional Encoding Guidelines," section 5.4.4, この非特許文献３は次のウェブサイトより入手可能である:http://dolby.com/assets/pdf/tech library/46 DDEncodingGuidelines.pdf, ATSC Standard: Digital Television Standard (A/53), revision D, Including Amendment No. 1, Section 6.5 Hearing Impaired (HI)

前述の議論から明らかなように、完全な混合オーディオプログラムを送信すると共に付加的なバンド幅を最小化する要請という現在の業務に基礎を置くと、スピーチオーディオと非スピーチオーディオが別々に記録されるという事実を活用して、非スピーチオーディオに対するスピーチ成分の比率を増大する方式をとることは、当面のところ需要はあるものの採択できない。したがって、本発明の目的は、スピーチオーディオと非スピーチオーディオが別々に記録されるという事実を活用して、テレビ放送での非スピーチオーディオに対するスピーチ成分の比率を任意的に増加させると共に、それに必要な付加的なバンド幅が少量ですみ、既存の放送業務の置換というよりむしろ拡張である方法を提供することである。

本発明の第１の態様によれば、スピーチ成分と非スピーチ成分を有しているオーディオプログラムのスピーチ部分を増強するためのものであって、スピーチ成分と非スピーチ成分を有するオーディオプログラムが受け取られ、分離して再生された場合に前記オーディオプログラムに聴取者が不愉快に思うと認める可聴な不自然な結果がない高品質を有するオーディオプログラムを備え、前記オーディオプログラムのスピーチ成分のコピーが受け取られ、分離して再生された場合に前記コピーに聴取者が不愉快に思うと認める可聴の不自然な結果を有する低品質を有するコピーを備え、スピーチ成分の前記低品質コピーと前記高品質オーディオプログラムは、結果として得られるオーディオプログラム中で非スピーチ成分に対するスピーチ成分の比率が増加するように組み合わせられ、スピーチ成分の低品質コピーの可聴の不自然な結果は、高品質オーディオプログラムによってマスクされる。

本発明の一態様によれば、スピーチ成分と非スピーチ成分を有するオーディオプログラムのスピーチ部分が、前記オーディオプログラムのスピーチ成分のコピーで増強されるものであって、分離して再生された場合に前記コピーに聴取者が不愉快に思うと認める可聴の不自然な結果を有するコピーを備え、スピーチ成分の低品質コピーとオーディオプログラムは、結果として得られるオーディオプログラム中で非スピーチ成分に対するスピーチ成分の比率が増加されるように組み合わせられ、スピーチ成分の低品質コピーの可聴の不自然な結果は、オーディオプログラムによってマスクされる。

上述した態様の何れかにおいて、スピーチ成分のコピーとオーディオプログラムを組み合わせる比率は、結果として得られるオーディオプログラム中のスピーチ成分が対応する前記オーディオプログラム中の前記スピーチ成分と同じ動特性を本質的に有し、得られるオーディオプログラム中の非スピーチ成分は前記オーディオプログラム中の対応する前記非スピーチ成分に関して相対的に圧縮されたダイナミックレンジを有する。

あるいは、上述した態様の何れかにおいて、スピーチ成分のコピーとオーディオプログラムを組み合わせる比率は、得られるオーディオプログラム中のスピーチ成分は前記オーディオプログラム中の対応する前記スピーチ成分に関して相対的に圧縮されたダイナミックレンジを有し、得られるオーディオプログラム中の非スピーチ成分は、前記オーディオプログラムに対応する前記非スピーチ成分と同じ動特性を本質的に有する。

発明の別の態様において、スピーチ成分と非スピーチ成分を有するオーディオプログラムのスピーチ部分の増強は、スピーチ成分と非スピーチ成分を有しているオーディオプログラムを受け取ること、オーディオプログラムのスピーチ成分のコピーを受け取ること、並びに得られるオーディオプログラム中の非スピーチ成分に対するスピーチ成分の比率が増加するようにスピーチ成分のコピーとオーディオプログラムを組み合わせることを含んでいる。また、得られるオーディオプログラム中のスピーチ成分は、オーディオプログラムに対応するスピーチ成分と同じ動特性を本質的に持ち、そして得られるオーディオプログラム中の非スピーチ成分は、オーディオプログラム中の対応する非スピーチ成分に関して圧縮されたダイナミックレンジを有する。

本発明の別の態様において、オーディオプログラムのスピーチ成分のコピーを備えた、スピーチ成分と非スピーチ成分を有しているオーディオプログラムのスピーチ部分の増強は、得られるオーディオプログラム中の非スピーチ成分に対するスピーチ成分の比率が増加するようにスピーチ成分のコピーとオーディオプログラムを組み合わせることを含んでいる。また、得られるオーディオプログラム中のスピーチ成分は、オーディオプログラムに対応するスピーチ成分と同じ動特性を本質的に持ち、そして、得られるオーディオプログラム中の非スピーチ成分にはオーディオプログラム中の対応する非スピーチ成分に関して圧縮されたダイナミックレンジを有する。

スピーチ成分と非スピーチ成分を有するオーディオプログラムのスピーチ部分を増強するための、本発明のさらに別の態様において、スピーチ成分と非スピーチ成分を有するオーディオプログラムが受け取られ、オーディオプログラムのスピーチ成分のコピーが受け取られ、そして、スピーチ成分のコピーとオーディオプログラムは、得られるオーディオプログラム中の非スピーチ成分に対するスピーチ成分の比率が増加するように組み合わせられる。得られるオーディオプログラム中のスピーチ成分にはオーディオプログラム中の対応するスピーチ成分に関して圧縮されたダイナミックレンジがあり、そして得られるオーディオプログラム中の非スピーチ成分は、オーディオプログラムに対応する非スピーチ成分と同じ動特性を本質的に持っている。

オーディオプログラムのスピーチ成分のコピーを備えた、スピーチ成分と非スピーチ成分を有しているオーディオプログラムのスピーチ部分を増強するための本発明のさらなる態様は、スピーチ成分のコピーとオーディオプログラムは、得られるオーディオプログラム中の非スピーチ成分に対するスピーチ成分の比率が増加するように組み合わせられ、得られるオーディオプログラム中のスピーチ成分にはオーディオプログラム中の対応するスピーチ成分に関して圧縮されたダイナミックレンジがあり、そして、得られるオーディオプログラム中の非スピーチ成分はオーディオプログラムに対応する非スピーチ成分と同じダイナミックレンジ特性を本質的に持っている。

本発明を実施する具体例としてテレビやホームシアター音のコンテキストを示してあるが、発明が別のオーディオや音響アプリケーションに適用されることは当業者にとって自明である。

テレビやホームシアターの視聴者がスピーチ成分だけを含んでいるメインオーディオプログラムと別のオーディオストリームの両方にアクセスすることで、非スピーチオーディオに対するスピーチの任意の比率も適切に２つの成分を測定して混ぜることにより達成することができる。例えば、専らスピーチを聞けるように、非スピーチオーディオを完全にマスクしようと望む場合、専らスピーチ音を入れているストリームが演じられる。反対の極端では、専ら非スピーチオーディオを聞けるように、スピーチを完全にマスクしようと望む場合、スピーチオーディオはメインオーディオプログラムから単に除去される。両極端の間で、非スピーチオーディオに対するスピーチの任意の中間の比率が達成される。

補助の通話路を商業ベースにのるようにするために、補助の通話路によってメインオーディオプログラムに割り付けられたバンド幅をたとえ僅かであっても超えるような増加をさせてはならない。この拘束を満たすために、データ率を徹底的に低減するように、符号器で補助的スピーチをコード化しなければならない。そのようなデータ率削減はスピーチ信号を歪めて伝えることを犠牲にして行われる。低いビットレートのコーディングによって歪曲された音声は、最初の言語および歪み成分(符号化雑音)の和であるということができる。歪みが可聴になる場合、スピーチの知覚された音質の品質を低下させる。符号化雑音は信号の音質に激しい影響を及ぼすが、そのレベルは典型的にコード化されている信号と比較してはるかに低い。

実際上、メインオーディオプログラムは「放送品質」を有する。また、それに伴なう符号化雑音はほとんど分からないほどである。言いかえれば、分離して再生された時、プログラムには聴取者が気にくわないと考える可聴の不自然な結果がない。本発明の態様によれば、他方では、分離状態で補助的スピーチを聞いた場合、そのデータ率が厳しく制限されるので、聴取者が気にくわないと考える可聴の不自然な結果を生じる。もし可聴の不自然な結果が分離状態で聞かれれば、補助的スピーチは放送分野では適切ではない。

補助的スピーチに伴なう符号化雑音がメインオーディオプログラムと混合した後に可聴かどうかは、メインオーディオプログラムが符号化雑音をマスクするかどうかに依存する。メインプログラムではスピーチオーディオに加えて優勢な非スピーチオーディオを含む場合、マスキングが生じる。対照的に、メインプログラムではスピーチオーディオが優勢で、非スピーチオーディオが弱いか不存在の場合、符号化雑音がマスクされない。メインオーディオプログラム中のスピーチの相対レベルを増加させるために補助的スピーチを使用する観点から見る時、これらの関係は有利である。補助的スピーチ(つまり優勢な非スピーチオーディオを備えた部分)を加えることから利益を得る可能性が最もありそうなプログラム部は、また符号化雑音をマスクする可能性が最もありそうである。反対に、符号化雑音(例えば背景音がない状態でのスピーチ)によって品質劣化を受けやすいプログラム部は、増強された対話を必要とする可能性が最も小さい。

これらの所見は、信号適応性の混合処理が使用される場合、可聴のひずみがない非スピーチオーディオに対するスピーチの増加した比率でオーディオプログラムを作成するために、高品質メインオーディオプログラムで可聴の歪めて伝えられる補助的スピーチを組み合わせることが可能であることを示唆する。メインオーディオプログラムにより生じた符号化雑音がマスキング閾値以下に留まるように、適応性ミキサーが相対的な混合レベルを制限することが好ましい。これは、当初は非スピーチオーディオに対してスピーチの低い比率を持っている、オーディオプログラムの部分だけに低品質の補助的スピーチを加えることにより可能である。この原理の典型的な実施例が下記に述べられる。

図１は発明の態様を具体化するエンコーダ又は符号化装置の具体例である。図２は適応性のクロスフェーダーを含む発明の態様を具体化するデコーダ又は復号化装置の具体例である。図３は図２の具体例で使用される関数α=ｆ(P)の具体例である。図４は、関数α=ｆ(P)に図３に示すような特性がある場合、図２の具体例で得られるオーディオプログラム中の非スピーチオーディオPのパワーに対する得られるオーディオプログラムの非スピーチオーディオP'のパワーのプロットである。図５は一定の非スピーチ成分のダイナミックレンジ圧縮を含む発明の態様を具体化するデコーダ又は復号化装置の具体例である。図６はコンプレッサの入力パワー対出力パワー特性のプロットである。それは図５を理解するのに役立つ。図７は、随意に、デコーディングに役立つ1つ以上のパラメーターの生成を含む発明の態様を具体化するエンコーダ又は符号化装置の具体例である。

図１と図２は本発明の態様を具体化するコード化の配置とデコードの配置を其々示している。図５は、本発明の態様を具体化するデコードの配置の代案を示している。発明の態様を具体化するエンコーダ又は符号化装置の図１の具体例を参照して説明する。テレビオーディオプログラムの２つの要素は、一方がスピーチ１００を主に含み、他方が非スピーチ１０１を主に含むもので、ミキシングコンソール又はオーディオプログラム生成プロセッサあるいは同プロセスの混合装置(「ミキサー」)１０２で混ぜられる。スピーチ信号と非スピーチ信号の両方を含んでいる、得られるオーディオプログラムは、例えばＡＣ−３やＡＡＣのような、高いビットレートおよび高品質のオーディオエンコーダあるいは符号化装置(「オーディオエンコーダ」)１１０でコード化される。ＡＡＣのさらなる詳細は、標題「参照によるとり込み」の下でＡＡＣ引用箇所に示した文献に記載されている。スピーチ１００を主に含んでいるプログラムコンポーネントは、オーディオエンコーダ１１０によって生成されたビットレートより本質的に低いビットレートでコード化されたオーディオを生成するエンコーダか符号化装置(「スピーチエンコーダ」)１２０で同時にコード化される。スピーチエンコーダ１２０によって達成されたオーディオ品質はオーディオエンコーダ１１０で達成されたオーディオ品質より本質的に悪い。スピーチエンコーダ１２０はスピーチのコード化のために最適化されてもよいが、信号の位相を維持するようにも集中すべきである。そのような基準を満たす符号器はそれ自身公知である。1例は符号励振線形予測（Code Excited Linear Prediction：CELP)符号器のクラスである。他のいわゆる「ハイブリッド符号器」と同様に、高い符号化利得を達成するためにＣＥＬＰ符号器はスピーチ生成のソースフィルターモデルを備えたスピーチ信号をモデル化し、その結果として、位相歪みを制限するだけでなく、コード化される波形を維持することを試みる。

本発明の態様の実験的な実施例では、8［ｋｂｉｔ／秒］で動作するＣＥＬＰボコーダーとして実施されたスピーチエンコーダが適切であり、非スピーチオーディオ・レベルについてスピーチの１０ｄＢの増加と等価な知覚を提供することが判明した。

２台のエンコーダのコーディング遅延が異なる場合、信号の少なくとも1つは信号間の時間的整合を維持するように時間的にシフトされるべきである（図示せず）。高品質オーディオエンコーダ１１０および低品質スピーチエンコーダ１２０の両方の出力は、マルチプレクサーか多重化装置(「マルチプレクサー」)１０４によって単一のビットストリームへ組み合わせられ、放送又は記憶装置にふさわしいビットストリーム１０３にパックされる。

ここでは発明の態様を具体化するデコーダ又は復号化装置の具体例として図２を参照すると、ビットストリーム１０３が受け取られる。例えば、ビットストリーム１０３は、放送インターフェースからか、又は記憶メディアから受け取られ、デマルチプレクサーかデマルチプレクシング装置(「デマルチプレクサー」)１０５に適用されるもので、コード化されたメインオーディオプログラム１１１およびコード化されたスピーチ信号１２１を生成するために取り出され分離される。デコードされたメインスピーチ信号１３１を生成するために、コード化されたメインオーディオプログラムは、オーディオデコーダ又は復号化装置(「オーディオデコーダ」)１３０でデコードされる。また、デコードされたスピーチ信号１４１を生成するために、コード化されたスピーチ信号は、スピーチデコーダ又は復号化装置(「スピーチデコーダ」)１４０でデコードされる。この例において、出力信号１８０を生成するために、両方の信号はクロスフェーダーあるいはクロスフェード装置(「クロスフェーダー」)１６０中で組み合わせられる。信号は、例えばデコードされたメインオーディオプログラムのパワーからデコードされたスピーチ信号のパワーを引いて、非スピーチオーディオ１５１のパワーレベルPを測定する装置(「非スピーチのレベル」)１５０に渡される。クロスフェードは重み付け係数かスケーリング係数αによって制御される。同様に、重み付け係数αは、変換１７０の中に非スピーチオーディオ１５１のパワーレベルPに由来する。言いかえれば、αはPの関数である（つまりα＝ｆ(P))。結果は信号適応性の混合器である。この変換又は機能は、典型的にαの値(それは負でないように制御される)が増加するパワーレベルPにつれて増加するような状態である。スケーリング係数αはここで最大値αmaxを超過しないように制限される。ここで、最大値αmax<1で、さらに下に説明されるように、符号化雑音がマスクされないようになることがない。さらに下に説明されるように、非スピーチオーディオのレベル１５０、変換１７０およびクロスフェーダー１６０は、信号の適応性のクロスフェーダーあるいはクロスフェード装置(「信号適応性のクロスフェーダー」)１８１を構成する。

信号適応性のクロスフェーダー１８１は、デコードされた補助的スピーチとメインオーディオプログラムをクロスフェーダー１６０に付加的に組み合わせる前に、デコードされた補助的スピーチをαで、およびデコードされたメインオーディオプログラムを（１−α)で縮小する。スケーリングの対称性は、スケーリング係数αに依存せずに、得られる信号中のスピーチ成分のレベルおよび動特性を引き起こす−即ち、当該スケーリングは、得られる信号中のスピーチ成分のレベルに影響を与えない。また、当該スケーリングは、スピーチ成分のダイナミックレンジに対してダイナミックレンジ圧縮や別の修正を加えるものではない。得られる信号中の非スピーチオーディオのレベルは、対照的に、スケーリングによって影響を受ける。特に、非スピーチオーディオのパワーレベルPの増加につれて、αの値が増加するので、スケーリングには、そのレベルのどんな変更も打ち消す傾向があり、効果的に非スピーチスピーチ信号のダイナミックレンジを圧縮する。ダイナミックレンジ圧縮の形式は変換１７０によって決定される。例えば、関数α＝f（Ｐ）が図３に示される形式をとる場合、図4に示すように、得られるオーディオプログラムの非スピーチオーディオのパワーＰ^ｒ対非スピーチオーディオのパワーＰのプロットは、圧縮特性を示す。即ち、非スピーチパワーレベルの最小値以上では、得られる非スピーチパワーは、非スピーチパワーレベルよりゆっくり上昇する。

適応性のクロスフェーダー１８１の関数は以下のように要約される。即ち、非スピーチオーディオ成分のレベルが非常に低い場合、スケーリング係数αは0あるいは非常に小さく、また、適応性のクロスフェーダーは、デコードされたメインオーディオプログラムと同一か、ほとんど同一の信号を出力する。非スピーチオーディオのレベルが増加する場合、αの値もまた増加する。これは、最終オーディオプログラム１８０に対するデコードされた補助的スピーチのより大きな貢献と、その非スピーチオーディオ成分を含むデコードされたメインオーディオプログラムのより大きな抑制に導く。増強された信号に対して補助的スピーチの貢献が増加することは、メインオーディオプログラム中のスピーチ貢献が減少することによって平衡を保たれる。その結果、増強された信号中のスピーチのレベルは適応性クロスフェード動作に影響されない。増強された信号中のスピーチのレベルは、本質的にデコードされたスピーチスピーチ信号１４１のレベルと同じである。また、非スピーチオーディオ成分のダイナミックレンジが低減される。スピーチ信号の好ましくない変調がないので、これは望ましい結果である

スピーチレベルが変わらないために、ダイナミックレンジを圧縮されたメインスピーチ信号に加えられる補助的スピーチの量は、メインスピーチ信号に適用された圧縮の量の関数である。追加の補助的スピーチでは、圧縮に起因するレベル削減を補う。これは、αがメインオーディオに適用されるダイナミックレンジ圧縮の関数である場合に、補助的スピーチ信号に倍率αを適用しメインオーディオに相補形の倍率（１−α）を適用する場合に自動的に起因する。メインオーディオに対する影響は、ＡＣ−３の中の「夜間モード」によって提供されるものと同様であり、メインオーディオレベル入力が増加すると、圧縮特性に従ってその出力音量が小さくなる。

符号化雑音が隠蔽されることを確かにするために、適応性のクロスフェーダー１６０は、棄却限界値を越えたメインオーディオプログラムの抑制を防ぐ。これはあるαの値をαmaxと同じに又はより小さく制限することで実現できる。αmaxが固定値である場合に、満足な性能は達成されるが、さらに低品質スピーチ信号１４１に関連した符号化雑音のスペクトルと、メインオーディオプログラム信号１３１によって引き起こされた予測された聴覚マスキングしきい値とを比較する音響心理学のマスキングモデルによってαmaxが導出される場合、よりよい性能が可能である。

発明の態様を具体化したデコーダ又は復号化装置の代替具体例について図５を参照すると、ビットストリーム１０３は、例えば放送インターフェースから又はメモリメディアの検索から受け取られ、あるいは、またコード化されたメインオーディオプログラム１１１およびコード化されたスピーチ信号１２１を生成するように、デマルチプレクサーあるいはデマルチプレクシング装置(「デマルチプレクサー」)１０５に適用される。デコードされたメインスピーチ信号１３１を生成するために、コード化されたメインオーディオプログラムは、オーディオデコーダ又は復号化装置(「オーディオデコーダ」)１３０でデコードされる。また、デコードされたスピーチ信号１４１を生成するために、コード化されたスピーチ信号は、スピーチデコーダ又は復号化装置(「スピーチデコーダ」)１４０でデコードされる。信号１３１および１４１は、例えばデコードされたメインオーディオプログラムのパワーからデコードされたスピーチ信号のパワーを除去して、非スピーチオーディオ１５１のパワーレベルPを測定する装置又は機能体(「非スピーチのレベル」)１５０に渡される。上記記述でのこのポイントについては、図５の具体例は図２の具体例と同じである。しかしながら、図５のデコーダ例の残りの部分は異なる。図５の例において、デコードされたスピーチ信号１４１は、ダイナミックレンジ・コンプレッサ又は圧縮装置(「ダイナミックレンジ・コンプレッサ」)３０１にさらされる。図６に示される入出力装置の具体例のコンプレッサ３０１は、未変更のスピーチ信号のハイ・レベルの部を通すが、コンプレッサ３０１に適用されるスピーチ信号のレベルが減少すると、コンプレッサ３０１はより多くの利得を適用する。圧縮に後続して、デコードされたスピーチコピーは、乗算器シンボル３０２で示された乗算器又は拡大縮小器あるいは、乗算又は拡大縮小（scaling）機能によってαでスケーリングし、プラスのシンボル３０４で示された付加的な結合器か結合機能体中のデコードされたメインオーディオプログラムを加算する。コンプレッサ３０１および乗算器３０２の順序は逆でもよい。

図５の実施例の関数は以下のように要約される。非スピーチオーディオ成分のレベルが非常に低い場合、スケーリング係数αは0あるいは非常に小さい。また、メインオーディオプログラムに加えられたスピーチの量は0又は無視できる。したがって、生成された信号は、デコードされたメインオーディオプログラムと同一か、あるいはほとんど同一である。非スピーチオーディオ成分のレベルが増加すると、αの値もまた増加する。これは、最終オーディオプログラムへの圧縮スピーチのより大きな貢献を導き、最終オーディオプログラム中で非スピーチ成分に対してスピーチの増加した比率をもたらす。スピーチレベルが低い場合に、補助的スピーチのダイナミックレンジ圧縮は、スピーチレベルの大きな増加を可能にするが、スピーチレベルが高い場合、スピーチレベルの小さな増加を引き起こすだけである。ソフトなスピーチ部分では本質的なラウドネス増加を可能にするが、他方スピーチのピーク・ラウドネスが本質的に増加しないことを保証するので、これは重要な性質である。したがって、得られるオーディオプログラム中の非スピーチ成分に対するスピーチ成分の比率は増加され、得られるオーディオプログラム中のスピーチ成分にはオーディオプログラム中の対応するスピーチ成分に関して圧縮されたダイナミックレンジを有する。そして得られるオーディオプログラム中の非スピーチ成分は、オーディオプログラムに対応する非スピーチ成分と同じダイナミックレンジ特性を本質的に持っている。

図２と図５のデコードする具体例は、それらが非スピーチに対するスピーチ成分の比率を増加させるという性質を共に担っている。従って、この性質はスピーチをより分かりやすくする。図２の例において、スピーチ成分の動特性は原則としては変更されない。しかし、非スピーチ成分の動特性は変更される(それらのダイナミックレンジが圧縮されている)。図５の例では、反対のことが生じる。スピーチ成分の動特性は変更される(それらのダイナミックレンジが圧縮されている)。しかし、非スピーチ動特性は原則としては変更されない。

図５の例において、デコードされたスピーチコピー信号は、ダイナミックレンジ圧縮にさらされ、スケーリング係数αによって拡大縮小される（どちらの順序の場合でも）。以下の説明はそれらの併用効果を了解するのに役立つ。αが大きいように(例えば、α=1とする)、高レベルの非スピーチオーディオがある場合を考える。また、コンプレッサ３０１から来るスピーチのレベルを考慮する。

(a)スピーチレベルが高い場合(スピーチピーク)、コンプレッサは利得を提供せず、変更のない信号を通す。図６の入出力機能によって示されるように、ハイ・レベルでは、応答特性は、出力が入力と等しい関係を示す破線の対角線と一致する。したがって、スピーチピークの間、コンプレッサの出力のスピーチレベルはメインオーディオ中のスピーチピークのレベルと同じである。メインオーディオにデコードされたスピーチコピー・オーディオを加える際、合計されたスピーチピークのレベルは最初のスピーチピークより６ｄＢ高い。非スピーチオーディオのレベルは変わらなかった。したがって、非スピーチオーディオに対するスピーチ成分の比率は６ｄＢ分増加する。

(b)スピーチレベルが低い場合(例えばソフトな子音)、コンプレッサはかなりの量の利得を提供する。入出力カーブは図６の破線の対角線を充分上回る。検討のために、コンプレッサが２０ｄＢの利得を適用すると考える。メインオーディオにコンプレッサの出力を加える際、スピーチがほとんどデコードされたスピーチコピー信号からのスピーチであるので、非スピーチオーディオに対するスピーチ成分の比率は約２０ｄＢ増加される。非スピーチオーディオのレベルが減少する場合、αは減少し、デコードされたスピーチコピーが次第により小さく加えられる。

コンプレッサ３０１の利得は重大ではないが、約１５〜２０ｄＢの利得が容認できると分かった。

コンプレッサ３０１の目的は、コンプレッサ３０１のない図５の実施例の動作の考慮により一層よく了解される。その場合、非スピーチオーディオに対するスピーチ成分の比率の増加は、αに正比例する。もしαが1を超過しないように制限されていれば、非スピーチに対するスピーチの改善の最高値は６ｄＢになり、合理的な改善といえるが望まれているものより小さい。αが1を超過することを許容される場合、非スピーチ改善に対するスピーチの改善はまたより大きくなる。しかし、スピーチレベルが非スピーチオーディオのレベルより高いとすると、全体レベルもまた増加して、潜在的に、過負荷か過度のラウドネスのような問題を引き起こす。

過負荷か過度のラウドネスのような問題は、メインオーディオに圧縮スピーチを加えると共に、コンプレッサ３０１を含めることによって克服される。再びα＝１と仮定する。瞬間のスピーチレベルが高い場合、コンプレッサは何の効果もなく(０ｄＢの利得)、合計された信号のスピーチレベルは比較的少量の増加（６ｄＢ)となる。これは、コンプレッサ３０１がない場合と同一である。しかし、瞬間のスピーチレベルが低い場合、(大体ピークレベルより３０ｄＢ低い場合)、コンプレッサは高い利得を適用する(大体１５ｄＢ)。メインオーディオに加えられた時、得られたオーディオ中の瞬間のスピーチレベルは圧縮された補助のオーディオによって実際に支配される、つまり、瞬間のスピーチレベルは約１５ｄＢ分押し上げられる。これをスピーチピークの６ｄＢの上昇と比較する。したがって、例えば非スピーチオーディオ成分のパワーレベル（Ｐ)が定数である時のように、αが定数の場合さえ、スピーチの谷において最大で、スピーチピークで最も小さいような、時間依存性のスピーチ対非スピーチ改善がある。

非スピーチオーディオおよびαのレベルが減少するとき、合計されたオーディオ中のスピーチピークはほとんど変わらない。これは、デコードされたスピーチコピー信号のレベルがメインオーディオ中のスピーチのレベルより本質的に低く(α＜１によって課された減衰による)、2つ合わせても得られるスピーチ信号のレベルに著しく影響を与えないからである。低レベルのスピーチ部分では状況が異なる。それらはαによりコンプレッサと減衰から利得を受け取る。結果として、補助的スピーチのレベルがメインオーディオ中のスピーチのレベルに匹敵し、あるいは、コンプレッサの設定に依存して、さらに大きくなる。ともに加えられた時、それらは、合計された信号中のスピーチ成分のレベルに影響を与え、増加させる。

その結果は、スピーチピークのレベルがスピーチの谷のスピーチレベルより「安定している」、つまり変化が６ｄＢよりも小さい。非スピーチに対するスピーチ成分の比率が、増加が最も必要とされる場所で最も増加し、またスピーチピークレベルの変更は比較的少ない。

音響心理学のモデルが計算上高価であるので、コストの見地からデコードする側よりむしろ符号化側でαの最大許容値を導き、その値を送信し又はその値が容易に単数又は複数のパラメーターとして計算される成分を送信することが望ましい。例えば、その値はデコード側に対して一組のαmax値として送信される。そのような配置の一例は図7に示される。配置の重要な要素は、拘束を満たすαの最大値を導く機能又は装置(αmax＝ｆ(オーディオプログラム、符号化雑音、スピーチ強調))２０３である。この拘束は、デコーダの得られるスピーチ出力のスピーチ信号成分によってもたらされる予測聴覚マスキングしきい値が、デコーダの得られるスピーチ出力中の補助的スピーチ成分の符号化雑音に、与えられた安全域マージンを加えた数値を超えることである。この目的のために、機能又は装置２０３は入力としてメインオーディオプログラム２０５、および補助的スピーチ１００のコーディングに関する符号化雑音２０２を受け取る。符号化雑音の数値的表現はいくつかの方法で得られる。例えば、コード化されたスピーチ１２１は再びデコードされ、入力スピーチ１００(図示せず)から除去される。ＣＥＬＰ符号器のような混成の符号器を含む多くの符号器が、「合成による解析」（analysis-by-synthesis）の原理により作動する。合成による解析の原理により作動する符号器は、その通常動作として符号化雑音の大きさを得るために最初のスピーチからデコードされたスピーチを除去するステップを実行する。そのような符号器が使用される場合、符号化雑音２０２の表示は追加計算の必要なしで直接に得られる。

また、機能又は装置２０３は、デコーダによって遂行されるプロセスについての知識を有し、その動作は、αmaxが使用されるデコーダ形態に依存する。適切なデコーダ形態は、例えば、図２の具体例や図５の具体例の形式である。

機能又は装置２０３によって生成されたαmax値のストリームが、図２に示されるようなデコーダによって使用されるように意図される場合、機能又は装置２０３は以下の動作を行なう：
ａ）メインオーディオプログラム２０５は1―αiにより測定する。ここで、αiは好望の結果αmaxの一次的推測である。
ｂ）測定されたメインオーディオプログラムによってもたらされる聴覚マスキングしきい値は、聴覚マスキングモデルで予測される。聴取者マスキングモデルは、技術における通常の熟練を有する者に周知である。
ｃ）補助的スピーチに関係する符号化雑音２０２はαによって測定される。
ｄ）測定された符号化雑音は、予測された聴覚マスキングしきい値と比較される。予測された聴覚マスキングしきい値が所望の安全マージンを越えて測定された符号化雑音を超過する場合、αiの値が増加される、そしてステップ（ａ）から（ｄ）までが繰り返される。反対に、αiの一次的推測が、測定された符号化雑音に安全マージンを加算した値より小さな予測された聴覚マスキングしきい値に帰着した場合、αiの値が減少される。αmaxの所望値が見つかるまで、反復を継続する。

機能又は装置２０３によって生成されたαmax値のストリームが、図５に示すようなデコーダによって使用されるように意図される場合、機能又は装置２０３は以下の動作を行なう：
ａ）補助的スピーチに関係する符号化雑音２０２は、図５のコンプレッサ３０１及び倍率αiに適用される利得と等しい利得に基づき測定される。ここで、αiは所望の結果αmaxの一次的推測である。
ｂ）メインオーディオプログラムによってもたらされる聴覚マスキングしきい値は聴覚マスキングモデルで予測される。オーディオエンコーダ１１０が聴覚マスキングモデルを組込む場合、そのモデルの予測値が用いられ、その結果、計算コストの著しい節約となる。
ｃ）測定された符号化雑音は、予測された聴覚マスキングしきい値と比較される。予測された聴覚マスキングしきい値が所望の安全マージンを越えて測定された符号化雑音より大きい場合、αiの値が増加され、そしてステップ（ａ）から（ｃ）が繰り返される。反対に、αiの最初の推測が安全域に測定された符号化雑音を加算したものより予測された聴覚マスキングしきい値が小さい場合、αiの値は低減される。αmaxの所望値が見つかるまで、反復を継続する。

αmaxの値は、予測されたマスキング閾値、および符号化雑音２０２の変化を十分に反映するほど高いレートで更新されるべきである。最後に、コード化された補助的スピーチ１２１、コード化されたメインオーディオプログラム１１１およびαmax値204のストリームは、マルチプレクサーか多重化機能(「マルチプレクサー」)１０４によって単一のビットストリームへ組み合わせられ、放送又は記憶装置にふさわしい単一のデータ・ビットストリーム１０３にパックされる。当業者は、様々な実施態様中の多重化、分離、およびビットストリームのパッキングおよび解凍（unpacking）が発明にとって重大ではないと理解する。

本発明の態様は上記の実施例の変更と拡張を含んでいる。例えば、スピーチ信号およびメイン信号は各々対応する周波数サブバンドへ分割され、上記処理がそのようなサブバンドの1つ以上に適用される。デコーダやデコーディングプロセスでのように、得られるサブバンド信号は出力信号を生成するために再結合される。

本発明の態様は、また使用者が会話強調の程度を制御することを可能にしてもよい。これは、修正済のスケーリング係数α'(つまりα'=β*α)を得るために付加的な使用者制御可能なスケール係数βを備えたスケーリング係数αにより測定することにより達成されてもよい、ここで0<β<1である。βが0に選択されている場合、未変更のメインオーディオプログラムが常に聞かれる。βが1に選択されている場合、会話強調の最高値が適用される。αmaxによって符号化雑音がマスクされることを確実にすると共に、また使用者が強調の最大の程度に関する会話強調の程度をただ減少できるだけなので、調節によっては符号化歪を可聴にする危険性を生じない。

上述の実施例中で記述されているように、会話強調はデコードされたスピーチ信号上で行なわれる。これは発明の固有の制限ではない。いくつかの状況で、例えば、オーディオ符号器およびスピーチ符号器が同じコード化原理を使用する場合、少なくとも動作のいくらかはコード化されたドメインで行われる、つまり完全か部分的なデコーディングの前に行われる。

参照によるとり込み
以下の特許、特許出願および出版物は、参照によってそれら各々の全体について組み入れられる。

ＡＣ−３
ATSC Standard A52/A: Digital Audio Compression Standard (ACS, E-AC-3), Revision B, Advanced Television Systems Committee, 14 June 2005. A/52Bドキュメントは、http://www.atsc.org/standards.htmlのワールド・ワイド・ウェブで利用可能である。 "Design and Implementation of AC-3 Coders," by Steve Vernon, IEEE Trans. Consumer Electronics, Vol. 41, No.3, August 1995. "The AC-3 Multichannel Coder" by Mark Davis, Audio Engineering Society Preprint 3774, 95th AES Convention, October 1993. "High Quality, Low-Rate Audio Transform Coding for Transmission and Multimedia Applications," by Bosi et al, Audio Engineering Society Preprint 3365, 93rd AES Convention, October, 1992. United States Patent No. 5,583,962; United States Patent No. 5,632,005; United States Patent No. 5,633,981; United States Patent No. 5,727,119; United States Patent No. 6,021,386.

ＡＡＣ
ISO/IEC JTC1/SC29, "Information technology - very low bitrate audio-visual coding," ISO/IEC IS-14496 (Part 3, Audio), 1996 ISO/IEC 13818-7. "MPEG-2 advanced audio coding, AAC". International Standard, 1997; M. Bosi, K. Brandenburg, S. Quackenbush, L. Fielder, K. Akagiri, H. Fuchs, M. Dietz, J. Herre, G. Davidson, and Y. Oikawa: "ISO/IEC MPEG-2 Advanced Audio Coding". Proc. of the 101st AES-Convention, 1996; M. Bosi, K. Brandenburg, S. Quackenbush, L. Fielder, K. Akagiri, H. Fuchs, M. Dietz, J. Herre, G. Davidson, Y. Oikawa: "ISO/IEC MPEG-2 Advanced Audio Coding", Journal of the AES, Vol. 45, No.10, October 1997, pp. 789-814; Karlheinz Brandenburg: "MP3 and AAC explained". Proc. of the AES 17th International Conference on High Quality Audio Coding, Florence, Italy, 1999; G.A. Soulodre et al.: "Subjective Evaluation of State-of-the-Art Two-Channel Audio Codecs" J. Audio Eng. Soc, Vol. 46, No. 3, pp 164-177, March 1998.

実施
この発明は、ハードウェアかソフトウェア、あるいは、例えばプログラマブル・ロジック・アレイのような両方の組合せ中で実行されてもよい。別段の定めがない限り、発明の一部としてのアルゴリズムには、どんな特別のコンピュータや別の装置とも本質的に関係がない。特に、様々なはん用工作機械は、ここでの教示に従って書かれたプログラムと共に使用されてもよく、また、必要な方法ステップを行なうためにもっと専門化した装置(例えば集積回路)を構成するほうが好都合であり得る。したがって、本発明は、1台以上のプログラム可能な計算機装置が実行する1つ以上のコンピュータ・プログラムで実施される。各々の計算機装置は、少なくとも1個のプロセッサ、揮発性と不揮発性のメモリ及び／又は記憶装置を含む少なくとも1個のデータ記憶システム、少なくとも１つの入力装置又は入力ポート、少なくとも１つの出力装置又は出力ポートで構成される。ここに記述された機能を行ないかつ出力情報を生成するために、プログラム・コードが入力データに対して適用される。出力情報は既知の手法で1台以上の出力装置に適用される。

そのようなプログラムは各々計算機装置と通信するために任意の希望のコンピュータ言語で実施される。コンピュータ言語には、機械語、アセンブリ言語、高度処理言語、高度論理言語、又はオブジェクト指向プログラミング言語が含まれる。何れの場合も、言語はコンパイルされたかインタープリターされた言語である。

好ましくは、計算機装置がここに記述された処置を行なうために記憶媒体か装置を読みこむ場合に、コンピュータを構成し動かすために、そのようなコンピュータ・プログラムが各々汎用又は特別目的プログラム可能なコンピュータによって判読可能な記憶媒体か装置(例えばソリッド・ステート・メモリか媒体、あるいは磁気的媒体又は光学的媒体)の上に、記憶され又はダウンロードされる。本発明のあるシステムは、コンピュータ・プログラムで構成されて、コンピュータ可読記憶媒体として実施されることも考えられる。ここで、記憶媒体は、ここに記述された機能を行なうために予め定められたやり方で計算機装置を作動させるように、構成されている。

発明の多くの実施例が記述された。しかしながら、様々な変更が発明の趣旨および適用範囲から外れずになされてもよいことが理解される。例えば、ここに記述されたステップのうちのいくつかは独立した順番であるため、記述されたものと異なる順序で行なうことができる。

Claims

スピーチ成分（１００）と非スピーチ成分（１０１）を有しているオーディオプログラムのスピーチ部分（１００）を増強する方法であって、
高品質でエンコードされた前記オーディオプログラム（１１１）をデコードすることによりメインスピーチ信号を含むオーディオプログラム（１３１）を生成すること、
聴取者によって不愉快に思われる可聴ノイズを有するような低品質でエンコードされた前記スピーチ成分（１２１）のコピーをデコードすることにより補助スピーチ信号（１４１）を生成すること、
前記補助スピーチ信号（１４１）と、前記メインスピーチ信号を含むオーディオプログラム（１３１）とを所定の比率で組み合わせることを備え、
前記所定の比率は、結果として得られるオーディオプログラム中の前記非スピーチ成分に対する前記スピーチ成分の比率が増加すると共に、前記補助スピーチ信号（１３１）の可聴ノイズが、前記メインスピーチ信号を含むオーディオプログラム（１４１）によってマスクされるような比率であることを特徴とする方法。
前記補助スピーチ信号と、前記メインスピーチ信号を含むオーディオプログラムとを組み合わせる前記比率が；結果として得られるオーディオプログラム中のスピーチ成分が、前記メインスピーチ信号を含むオーディオプログラムに対応する前記スピーチ成分と同じ動特性を本質的に持ち、
前記得られるオーディオプログラム中の非スピーチ成分には前記メインスピーチ信号を含むオーディオプログラム中の対応する前記非スピーチ成分に関して圧縮されたダイナミックレンジを有する；ことを特徴とする請求項１に記載の方法。
前記得られるオーディオプログラム中のスピーチ成分のレベルが、本質的に前記メインスピーチ信号を含むオーディオプログラム中の対応するスピーチ成分のレベルと同じであることを特徴とする請求項１又は２に記載の方法。
前記得られるオーディオプログラム中の非スピーチ成分のレベルが、前記メインスピーチ信号を含むオーディオプログラムで増加する非スピーチ成分のレベルよりゆっくり増加することを特徴とする請求項３に記載の方法。
前記組み合わせる工程は、前記補助スピーチ信号と、前記メインスピーチ信号を含むオーディオプログラムとに夫々適用される相補形スケール係数に基づくことを特徴とする請求項１に記載の方法。
前記組み合わせる工程は、前記補助スピーチ信号と、前記メインスピーチ信号を含むオーディオプログラムとの付加的な組合せであり、
補助スピーチ信号は、スケール係数αで測定され、前記メインスピーチ信号を含むオーディオプログラムは、相補形スケール係数(1−α)で測定され、ここでαは０から１の範囲にあることを特徴とする請求項１に記載の方法。
αが前記メインスピーチ信号を含むオーディオプログラムの非スピーチ成分のレベルの作用であることを特徴とする請求項６に記載の方法。
αが固定極大値αmaxを有することを特徴とする請求項６又は７に記載の方法。
αが動的な極大値αmaxを有することを特徴とする請求項６又は７に記載の方法。
値αmaxがメインオーディオプログラムによってもたらされた聴覚マスキングの予測に基づくことを特徴とする請求項９に記載の方法。
さらに、αmaxを受け取ることを含む、請求項９又は請求項１０に記載の方法。
前記補助スピーチ信号と、前記メインスピーチ信号を含むオーディオプログラムとを組み合わせる割合が；前記得られるオーディオプログラム中のスピーチ成分は、前記メインスピーチ信号を含むオーディオプログラム中の対応するスピーチ成分に対して相対的に圧縮されたダイナミックレンジを有し；
前記得られるオーディオプログラム中の非スピーチ成分は、前記メインスピーチ信号を含むオーディオプログラムに対応する非スピーチ成分と同じ動特性を本質的に有する；ことを特徴とする請求項１に記載の方法。
スピーチ成分と非スピーチ成分を有しているオーディオプログラムのスピーチ部分の増強で使用されるオーディオ情報の組み立て方法であって、
前記スピーチ成分と前記非スピーチ成分を有している前記オーディオプログラムを得る工程と、
前記オーディオプログラムがデコードされて単独で再生された場合、前記オーディオプログラムに聴取者が不愉快であると感じる可聴ノイズがないような高品質で前記オーディオプログラムをエンコードする工程と、
前記エンコードされたオーディオプログラムの聴覚マスキングしきい値を予測する工程と、
前記オーディオプログラムのスピーチ成分のコピーを得る工程と、
前記スピーチ成分のコピーが単独で再生された場合、前記コピーに聴取者が不愉快と感じる可聴ノイズがあるような低品質で前記スピーチ成分のコピーをエンコードする工程と、
前記エンコードされた前記スピーチ成分のコピーの符号化雑音の測定値を導出する工程と、
エンコードされた前記オーディオプログラム、予測された聴覚マスキングしきい値、前記オーディオプログラムのスピーチ成分のエンコードされた前記スピーチ成分のコピー、及び前記符号化雑音の測定値を送信又は記憶する工程とを有することを特徴とする方法。
前記送信又は記憶をする工程の前に、前記オーディオプログラム、前記予測された聴覚マスキングしきい値、前記オーディオプログラムのスピーチ成分の前記コピー、及び前記符号化雑音の測定値を多重化することをさらに含む請求項１３に記載の方法。
請求項１〜１４の何れか１項に記載の方法を行なうのに適応した装置。
コンピュータに請求項１〜１４の何れか１項に記載の方法を行なわせるためにコンピュータの判読可能な媒体上に記憶されたコンピュータプログラム。