JP5928606B2

JP5928606B2 - 搭乗者の聴覚視覚入力の乗り物ベースの決定

Info

Publication number: JP5928606B2
Application number: JP2014547665A
Authority: JP
Inventors: ワン、ペン; ジャン、イミン
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2011-12-26
Filing date: 2011-12-26
Publication date: 2016-06-01
Anticipated expiration: 2031-12-26
Also published as: EP2798635A1; BR112014015844A2; EP2798635A4; CN104011735A; WO2013097075A1; BR112014015844A8; CN104011735B; KR20140104461A; US20140214424A1; KR101749143B1; JP2015507219A

Description

音声コントロール・システムは、しばしば、オフライン・トレーニングおよびオンライン認識を伴う統計学ベースのアルゴリズムに従う。産学両方において、話者認識（たとえば、誰が話しているのか）および発話認識（たとえば、何が話されているのか）は、２つの活発なトピックになっている。音声認識は、通常、話者認識および発話認識の組み合わせとして理解されている。音声認識は、何が話されているのかの決定に話者の音声の学習済みの態様を使用できる。たとえば、いくつかの音声認識システムは、ランダムな話者の発話をあまり正確に認識できないが、その音声認識システムがトレーニング済みの個人の音声に対しては高い正確度を達成できる。

ここ数十年、アカデミアでは視聴覚発話認識が研究されてきた。一般的な視聴覚発話認識は、顔検出、追跡；顔特徴の場所；視覚的発話のための顔特徴表現；発話の聴覚と視覚の表現の融合からなる。

車載インフォテインメント（ＩＶＩ）システムのための既存の発話コントロール・システム（たとえば、オンスター（ＯｎＳｔａｒ）、シンク（ＳＹＮＣ）、ニュアンス（Ｎｕａｎｃｅ））は、通常、発話認識のための音響信号処理テクニックを頼る。車載インフォテインメントのための既存の発話コントロール・システムは、音声認識のための視覚信号処理テクニックを導入していない。

この中で述べられている資料は、例のために図解されたものであって、添付図面内への限定のためではない。図解の簡単明瞭のために図面内に図解された要素は、必ずしも縮尺どおりではない。たとえば、いくつかの要素の寸法は、明瞭のため、ほかの要素に対して誇張されていることがある。さらに、適切と考えられるところでは、いくつかの図の間において対応する要素または類似の要素を示すべく参照ラベルが反復されている。図面は以下のとおりであり、すべて、この開示の少なくともいくつかの実装に従って準備された。

一例の車載インフォテインメント（ＩＶＩ）システムの図解的な説明図である。一例の音声認識プロセスを図解したフローチャートである。動作中の一例の車載インフォテインメント（ＩＶＩ）の図解的な説明図である。口唇追跡の間におけるいくつかの画像処理例を図解した説明図である。一例のシステムの図解的な説明図である。一例のシステムの図解的な説明図である。

以下、添付図面を参照して１つまたは複数の実施態様または実装を説明する。特定の構成およびアレンジメントが論じられているが、図解説明の目的のためにのみこれが行われていることを理解する必要がある。関連分野の当業者は、この記述の精神ならびに範囲から逸脱することなく、そのほかの構成およびアレンジメントが採用され得ることを認識することになるであろう。関連分野の当業者には、この中に述べられているテクニックおよび／またはアレンジメントもまた、ほかの多様な、この中に述べられている以外のシステムおよび応用に採用され得ることが明らかであろう。

以下の説明は、たとえばシステムオンチップ（ＳＯＣ）アーキテクチャ等のアーキテクチャ内において明らかにできる多様な実装を示しているが、この中に述べられているテクニックおよび／またはアレンジメントの実装は、特定のアーキテクチャおよび／またはコンピューティング・システムに限定されることはなく、類似する目的のために任意のアーキテクチャおよび／またはコンピューティング・システムによって実装され得る。例を挙げれば、この中に述べられているテクニックおよび／またはアレンジメントを、たとえば複数の集積回路（ＩＣ）チップおよび／またはパッケージを採用している多様なアーキテクチャ、および／または多様なコンピューティング・デバイス、および／またはセットトップ・ボックス、スマートフォン等の消費者エレクトロニクス（ＣＥ）デバイスにより実装することができる。さらに、以下の記述においては、論理実装、システム構成要素のタイプおよび相互関係、論理的分割／統合の選択肢等の多くの特定の詳細が示されているが、請求されている発明の要旨は、その種の特定の詳細を伴うことなく実施できる。そのほかの場合において、たとえば、コントロール構造および完全なソフトウエア・インストラクション・シーケンス等のある種の資料については、この中に開示されている資料を不明瞭化させないためにも詳細に示されていない。

この中に開示されている資料は、ハードウエア、ファームウエア、ソフトウエア、またはこれらの任意の組み合わせにおいて実装することができる。この中に開示されている資料は、１つまたは複数のプロセッサによって読み出しおよび実行がなされ得るマシン可読媒体上にストアされたインストラクションとしても実装できる。マシン可読媒体は、マシン（たとえば、コンピューティング・デバイス）によって読み出し可能な形式での情報のストアまたは送信のための任意の媒体および／またはメカニズムを含むことができる。たとえば、マシン可読媒体は、読み出し専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、磁気ディスク・ストレージ媒体、光学ストレージ媒体、フラッシュ・メモリ・デバイス、電気的、光学的、音響的、またはそのほかの伝播信号の形式（たとえば、搬送波、赤外線信号、デジタル信号等）、およびそのほかを含むことができる。

この明細書内において『１つの実装』、『（単に）実装』、『一例の実装』等々と言うときは、そこに述べられている実装が特定の特徴、構造、または特性を含むことができるが、すべての実装が必ずしも特定の特徴、構造、または特性を含まないことがある。さらにまた、その種の言いまわしが同一の実装を参照している必要はない。さらに、特定の特徴、構造、または特性が実装に関連して述べられるとき、この中で明示的に述べられているか否かによらず、ほかの実装に関連してその種の特徴、構造、または特性がもたらされることは当業者の知識内であることに従う。

以下においては、乗り物の１人または複数人の搭乗者から聴覚データおよび視覚データを受け取る動作を含むシステム、装置、物品、および方法を述べる。乗り物の１人または複数人の搭乗者のうちの誰と受け取った聴覚データとを関連付けするべきかに関係する決定は、受け取った視覚データに少なくとも部分的に基づいて行うことができる。いくつかの例においては、車載インフォテインメント（ＩＶＩ）システム内のインテリジェント音声コントロールのために口唇検出および追跡を実装できる。

いくつかのＩＶＩシステムは、少数のあらかじめ定義済みの語彙に基づいて発話ベースの認識コントロールを遂行できる。車載発話認識システムは、しばしば難題を抱えている。たとえば車載発話認識システムは、５から２０デシベルの範囲内の信号対ノイズ比を伴うノイズの多い環境をしばしば有する。それに加えて車載発話認識システムは、しばしば話者から３０から１００センチメートルに搭載された低価格のマイクロフォンも有する。

より自然なユーザ・インターフェースは、より自然かつ／またはより堅牢な言語処理テクノロジを利用することになるであろう。たとえば、いくつかの例の実装においては、ＩＶＩシステムが話者の視覚データを抽出してノイズに対して堅牢な音声認識システムを強化することができる。たとえば、複数人のユーザが音声命令（ＶｏｉｃｅＣｏｍｍａｎｄ）を発するときは、いずれの話者が発話しているかをＩＶＩシステムが見分けてユーザ固有の発話認識機械を適応させることが有用となり得る。同様に、運転者が音声命令を発しているときは、ラジオの音量を自動的に下げて背景ノイズをより小さくすることが有用となり得る。

より詳細を以下に述べるとおり、いくつかの例の実装は、話者認識（たとえば、話者の変化の検出）のため、および適応型ユーザ固有音声認識のために口唇検出および追跡を使用することができる。その種の視聴覚音声認識システムにおいては、口唇読み取りが口唇輪郭検出および／または追跡の正確度を頼ることができる。同様に、正確な口唇検出もまた、顔検出の堅牢性を頼ることができる。

この中で使用されるとき、用語『話者認識』は、誰が話をしているかを認識することとし得る。この中で使用されるとき、用語『発話認識』は、何が話されているかを認識することとし得る。この中で使用されるとき、用語『音声認識』は、誰が話をしているかを認識することに少なくとも部分的に基づいて何が話されているかを認識すること、または言い換えると、話者認識と発話認識の組み合わせとすることができる。視聴覚音声コントロールは、概して演算負荷が高いが、発話認識単独より高い認識正確度を提供できることがある。

図１は、この開示の少なくともいくつかの実装に従ってアレンジされた一例の車載インフォテインメント（ＩＶＩ）システム１００の図解的な説明図である。図解されている実装においては、ＩＶＩシステム１００が、撮像デバイス１０４およびマイクロフォン・デバイス１０６を含むことができる。ＩＶＩシステム１００は、乗り物１０８と動作的に関連付けすることができる。たとえば、ＩＶＩシステム１００を乗り物１０８内に配置することができる。いくつかの例においては、ＩＶＩシステム１００が、明瞭のため図１には示されていない追加のアイテムを含むことができる。たとえばＩＶＩシステム１００は、プロセッサ、無線周波数タイプ（ＲＦ）のトランシーバ、および／またはアンテナを含むことができる。さらにＩＶＩシステム１００は、明瞭のため図１には示されていないスピーカ、ディスプレイ、加速度計、メモリ、ルータ、ネットワーク・インターフェース論理等々といった追加のアイテムを含むことができる。

この中で使用されるとき、用語『車載インフォテインメント』は、乗り物内に配置されるシステムであって、エンターテインメントおよび／または情報サービスを遂行するべく構成されたシステムを指すことができる。いくつかの例においては車載インフォテインメントが、ターン・バイ・ターン方式ナビゲーション、ハンズフリー電話、乗り物診断、救急サービス、９１１（警察消防）補助、音楽サーチ、可聴テキスト・メッセージ、商業施設サーチ、関心ポイントのウェブ・サーチ、音声入力テキスト・メッセージ、ワイヤレス充電、遠隔監視等、および／またはこれらの組み合わせを指すことができる。上記の応用の中でも、ここで論じている音声認識テクニックを利用できるいくぶんより特定的なユーザ・インターフェース特徴の例は、スマートフォン・アプリケーションの音声コントロール、音声アクティベートされたナビゲーションシステム、音声コントロールおよびタッチスクリーン・アクセスの組み合わせ、音声命令、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）ベースの音声通信アプリケーション、音声ベースのフェースブック（Ｆａｃｅｂｏｏｋ）（登録商標）アプリケーション、運転中の音声ベースのテキスト・メッセージング、インタラクティブ音声応答等、および／またはこれらの組み合わせを含むことができる。

撮像デバイス１０４は、乗り物１０８の１人または複数人の搭乗者１１０から視覚データを取り込むべく構成できる。たとえば撮像デバイス１０４は、運転者１１２、助手席搭乗者１１４、１人または複数人の後部座席搭乗者１１６等、および／またはこれらの組み合わせから視覚データを取り込むべく構成できる。

いくつかの例においては、誰が話をしているかを突き止めるために、赤‐緑‐青（ＲＧＢ）深度カメラおよび／またはマイクロフォン・アレイを用いることなくカメラ・センサまたはその類（たとえば、相補型金属酸化膜半導体タイプの画像センサ（ＣＭＯＳ）または電荷結合デバイス・タイプの画像センサ（ＣＣＤ））を介して第１のユーザの視覚データを取り込むことができる。ほかの例においては、カメラ・センサに追加して、またはそれに代えて、ＲＧＢ深度カメラおよび／またはマイクロフォン・アレイを使用することができる。

しばしば乗り物が制約付きの環境を有することから、通常、搭乗者の活動および挙動は制限される。特に、搭乗者は、通常、着座しており、搭乗者が命令（Ｃｏｍｍａｎｄ）を発するときには一般にダッシュボードに面している。したがって撮像デバイス１０４は、リヤビュー・ミラー位置にマウントされるカメラ・センサを含むことができる。その種の例においては、リヤビュー・ミラーにマウントされたカメラ・センサが、乗り物内のすべての搭乗者の眺めを取り込めることがある。

マイクロフォン・デバイス１０６は、１人または複数人の搭乗者１１０から聴覚データを取り込むべく構成できる。いくつかの例においては、第１のユーザの視覚データを、誰が話をしているかを突き止めるために、赤‐緑‐青（ＲＧＢ）深度カメラおよび／またはマイクロフォン・アレイを用いることなく取り込むことができる。ほかの例においては、カメラ・センサに追加して、またはそれに代えて、ＲＧＢ深度カメラおよび／またはマイクロフォン・アレイを使用することができる。

より詳細を以下において説明するとおり、図２および／または３に関連して以下に説明する多様な機能のいくつかまたはすべての遂行にＩＶＩシステム１００を使用できる。たとえばＩＶＩシステム１００は、乗り物１０８の１人または複数人の搭乗者１１０の聴覚データをマイクロフォン・デバイス１０６から、および／またはその視覚データを撮像デバイス１０４から受け取ることができる。受け取った視覚データに少なくとも部分的に基づいて、受け取った聴覚データに関連付けされるのは乗り物１０８の１人または複数人の搭乗者１１０のうちの誰であるかに関係する決定を行うことができる。

動作においては、ＩＶＩシステム１００が、ユーザの口頭入力に対するスマートかつコンテキスト・アウェアな応答を利用できる。聴覚および視覚のデータ入力は、マイクロフォン・デバイス１０６および撮像デバイス１０４によってそれぞれ取り込むことができる。聴覚と視覚のデータを組み合わせることによって、ＩＶＩシステム１００は、乗り物等に伴う制約付きの環境またはそのほかの制約付きの環境内において１人の搭乗者とほかの搭乗者を見分ける能力を持つことができる。したがって、ＩＶＩシステム１００は、視覚情報処理テクニックをてこ入れすることによって、車載インフォテインメント・システム内におけるスマートかつ堅牢な音声コントロールを遂行する能力を持つことができる。

図２は、この開示の少なくともいくつかの実装に従ってアレンジされた音声認識プロセス２００の例を図解したフローチャートである。図解されている実装においては、プロセス２００が、ブロック２０２、２０４、および／または２０６のうちの１つまたは複数によって図解されるとおり、１つまたは複数の動作、機能、または作用を含むことができる。非限定的な例として、プロセス３００を、図１の例の車載インフォテインメント（ＩＶＩ）システム１００を参照して説明する。

プロセス２００は、聴覚データを受け取ることができるブロック２０２の『聴覚データを受け取る』において開始できる。たとえば、受け取られた聴覚データは、乗り物の１人または複数人の搭乗者からの発話入力を含むことができる。

プロセスは、動作２０２から、視覚データを受け取ることができる動作２０４の『視覚データを受け取る』へ続くことができる。たとえば、受け取られた視覚データは、乗り物の１人または複数人の搭乗者のビデオを含むことができる。

プロセスは、動作２０４から、乗り物の１人または複数人の搭乗者のうちの誰と受け取った聴覚データとを関連付けするべきかを決定できる動作２０６の『乗り物の１人または複数人の搭乗者のうちの誰と受け取った聴覚データとを関連付けするべきかを決定する』へ続くことができる。たとえば、乗り物の１人または複数人の搭乗者のうちの誰と受け取った聴覚データとを関連付けするべきかは、受け取った視覚データに少なくとも部分的に基づいて決定できる。

動作においては、プロセス２００が、ユーザの口頭入力に対するスマートかつコンテキスト・アウェアな応答を利用できる。聴覚と視覚のデータを組み合わせることによって、プロセス２００は、乗り物等に伴う制約付きの環境またはそのほかの制約付きの環境内において１人の搭乗者とほかの搭乗者を見分ける能力を持つことができる。したがって、プロセス２００は、視覚情報処理テクニックをてこ入れすることによって、車載インフォテインメント・システム内におけるスマートかつ堅牢な音声コントロールを遂行する能力を持つことができる。

プロセス２００に関係のあるいくつかの追加の、および／または代替の詳細は、以下において図３に関係してより詳細を論ずる実装の１つまたは複数の例に図解することができる。

図３は、この開示の少なくともいくつかの実装に従ってアレンジされた一例の車載インフォテインメント（ＩＶＩ）１００および音声認識プロセス３００の動作の図解的な説明図である。図解されている実装においては、プロセス３００が、作用３１０、３１１、３１２、３１４、３１６、３１８、３２０、３２２、３２４、３２６、および／または３２８のうちの１つまたは複数によって図解されるとおり、１つまたは複数の動作、機能、または作用を含むことができる。非限定的な例として、プロセス２００を、図１の例の車載インフォテインメント（ＩＶＩ）システム１００を参照して説明する。

図解されている実装においては、ＩＶＩシステム１００が、発話認識モジュール３０２、顔検出モジュール３０４、口唇追跡モジュール３０６、コントロール・システム３０８、およびこれらの類、および／またはこれらの組み合わせを含むことができる。図解されているとおり、発話認識モジュール３０２、顔検出モジュール３０４、および口唇追跡モジュール３０６は、互いに通信することおよび／またはコントロール・システム３０８と通信することができる。ＩＶＩシステム１００は、図３に示されているとおり、それぞれが特定のモジュールに関連付けされた１つの特定セットのブロックまたは作用を含むことができるが、これらのブロックまたは作用は、この中に図解されている特定のモジュールとは異なるモジュールと関連付けすることができる。

プロセス３００は、聴覚と視覚の処理テクニックを組み合わせて乗り物内のノイズおよび／または話者適応問題に対処することができる強化された音声コントロール方法を提供できる。乗り物内ノイズは、エンジン、道路、車載エンターテインメントのサウンド等から到来する。運転者または搭乗者がどのような命令を発したかを認識する音響信号処理テクニックのほかに、プロセス３００は、顔検出および口唇追跡等の視覚情報処理テクニックも採用できる。その種の視覚情報処理テクニックは、多様なノイズ環境の下における命令認識の堅牢性を向上させる。

プロセス３００は、聴覚データを受け取ることができるブロック３１０の『聴覚データを受け取る』において開始できる。たとえば、発話認識モジュール３０２を介して聴覚データを受け取ることができる。聴覚データは、乗り物の１人または複数人の搭乗者からの発話入力を含むことができる。

プロセスは、動作３１０から、発話認識を遂行できる動作３１１の『発話認識を遂行する』へ続くことができる。たとえば、発話認識モジュール３０２を介して発話認識を遂行できる。いくつかの例においては、その種の発話認識を、受け取った聴覚データに少なくとも部分的に基づいて遂行できる。

理解すべき重要なことは、聴覚データ・ストリームがめったに清澄でないことである。たとえば聴覚データ・ストリームは、発話データ（たとえば、何が話されたか）だけでなく、背景ノイズも含むことがある。このノイズは、認識プロセスと干渉する可能性があり、発話認識モジュール３０２は、可聴音の発話がある環境を取り扱うことが（および、それに適応させることさえ）できる。

発話認識モジュール３０２は、生聴覚入力を取り込み、それをアプリケーションが理解できる認識済みテキストに翻訳するというむしろ複雑なタスクを取り扱わなければならない。いくつかの実装においては発話認識モジュール３０２が、１つまたは複数の言語文法モデルおよび／または音響モデルを利用して乗り物の搭乗者に入力された聴覚データから認識されたテキストを返すことができる。たとえば、発話認識モジュール３０２は、発話された聴覚データ入力からテキストへ変換するのに、１つまたは複数の言語文法モデルを利用できる。その種の言語文法モデルは、有効な文法についてわかる単語および語句を考慮に入れるべくあらゆる種類のデータ、統計、および／またはソフトウエア・アルゴリズムを採用することができる。同様に、環境の知識もまた、音響モデルの形式で発話認識モジュール３０２に提供される。

何が話されたかについて最もありがちな整合を発話認識モジュール３０２が識別すると、発話認識モジュール３０２は、何が認識されたかを初期テキスト文字列として返すことができる。発話された聴覚データが適切なフォーマットの初期テキスト文字列になれば、発話認識モジュール３０２が出力テキスト文字列のための最良整合をサーチできる。発話認識モジュール３０２は、出力テキスト文字列のための整合を探すことを非常に懸命に試み、非常に寛大となることもあり得る（たとえば、通常、比較的貧弱なクオリティの初期テキスト文字列に基づいて最良推測を提供することがある）。

以下においてより詳細を論ずるとおり、乗り物１人または複数人の搭乗者のうちの誰と受け取った聴覚データとを関連付けするべきかを決定することは、いくつかの動作を含むことができる。図解されている例においては、その種の動作が口唇追跡と併せて顔検出を含むことができる。

プロセスは、動作３１１から、視覚データを受け取ることができる動作３１２の『視覚データを受け取る』へ続くことができる。たとえば、顔検出モジュール３０４を介して視覚データを受け取ることができる。受け取られた視覚データは、乗り物の１人または複数人の搭乗者のビデオを含むことができる。

プロセスは、動作３１２から、搭乗者の顔を検出できる動作３１４の『顔検出を遂行する』へ続くことができる。たとえば、乗り物の１人または複数人の搭乗者の顔を、顔検出モジュール３０４を介し、視覚データに少なくとも部分的に基づいて検出することができる。いくつかの例においては、その種の顔検出を、乗り物の１人または複数人の搭乗者の間を区別するべく構成できる。

いくつかの例においては、顔の検出が、少なくとも部分的にビオラ‐ジョーンズ‐タイプのフレームワークに基づく検出を含むことができる（たとえば、ポール・ビオラ、マイケル・ジョーンズ（ＰａｕｌＶｉｏｌａ，ＭｉｃｈａｅｌＪｏｎｅｓ）著『ＲａｐｉｄＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎｕｓｉｎｇａＢｏｏｓｔｅｄＣａｓｃａｄｅｏｆＳｉｍｐｌｅＦｅａｔｕｒｅｓ』ＣＶＰＲ２００１および／またはＹａｎｇｚｈｏｕＤｕ，ＱｉａｎｇＬｉにより『ＴＥＣＨＮＩＱＵＥＳＦＯＲＦＡＣＥＤＥＴＥＣＴＩＯＮＡＮＤＴＲＡＣＫＩＮＧ』と題されて２０１０年１２月１０日に出願されたＰＣＴ／ＣＮ２０１０／０００９９７参照）。この種の顔検出テクニックは、相対的な蓄積が顔検出、ランドマーク検出、顔アライメント、笑顔／瞬き／性別／年齢検出、顔認識、２つ又は３つ以上の顔の検出、および／またはこれらの類を含むことを可能にできる。

ビオラ‐ジョーンズ‐タイプのフレームワークは、リアルタイム・オブジェクト検出への１つのアプローチである。トレーニングは比較的遅いかもしれないが、検出は比較的高速となり得る。その種のビオラ‐ジョーンズ‐タイプのフレームワークは、高速特徴評価のために積分画像を、特徴選択のためにブースティングを、非顔ウィンドウの高速排除のための注目カスケードを利用できる。

たとえば、顔検出は、画像にわたってウィンドウをスライドさせ、それぞれの場所において顔モデルを評価することを含むことができる。通常、画像内に顔があることはまれであるが、スライディング・ウィンドウ検出器は、顔検出タスクの間に数万の場所／縮尺の組み合わせを評価できる。計算効率のために、非顔ウィンドウに費やすことができる時間を可能な限り短くすることができる。メガピクセル画像は、約１０６ピクセルおよびそれに相当する数の候補の顔の場所を有する。各画像内において偽陽性を有することを回避するために、偽陽性レートを１０から６より小さくすることができる。

プロセスは、動作３１４から、口唇追跡を遂行できる動作３１６の『口唇追跡を遂行する』へ続くことができる。たとえば、口唇追跡モジュール３０６を介して乗り物の１人または複数人の搭乗者の口唇追跡を遂行できる。いくつかの例においては、口唇追跡を、受け取った視覚データおよび遂行済みの顔検出に少なくとも部分的に基づいて遂行できる。

口唇追跡の１つの実装例に関係する追加の詳細については、以下において図４を参照してより詳細を論ずる。

プロセスは、動作３１６から、乗り物の１人または複数人の搭乗者の中に話をしている者はいるか否か決定できる動作３１８の『話をしているか否かを決定する』へ続くことができる。たとえば、口唇追跡モジュール３０６を介して乗り物の１人または複数人の搭乗者の中に話をしている者はいるか否かを決定できる。いくつかの例においては、乗り物の１人または複数人の搭乗者の中に話をしている者はいるか否かの決定が、少なくとも部分的に口唇追跡に基づくことができる。

プロセスは、動作３１８から、乗り物オーディオの出力の音量を下げることができる動作３２０の『音量を下げる』へ続くことができる。たとえば、コントロール・システム３０８を介して乗り物オーディオの出力の音量を下げることができる。いくつかの例においては、乗り物の１人または複数人の搭乗者の中に話をしている者はいるか否かの決定に少なくとも部分的に基づいて乗り物オーディオの出力の音量を下げることができる。

たとえば、運転中のエンジン・ノイズ、鑑賞中のラジオからの背景音楽による妨害、および／または複数の搭乗者の会話は、しばしば発話認識の正確度を低下させる。聴覚データ自体が音声コントロールの正確度を向上させる補助となり得ないときは、視覚データが、ＩＶＩシステム１００が乗り物の搭乗者とのインタラクションのための相補的な手がかりとなり得る。いくつかの例においては、乗り物の１人または複数人の搭乗者の中に話をしている者はいるか否かの決定に少なくとも部分的に基づいて乗り物オーディオの出力の音量を下げることができる。

プロセスは、動作３２０から、乗り物の１人または複数人の搭乗者のうちの誰が話をしているかを決定できる動作３２２の『誰が話をしているかを決定する』へ続くことができる。たとえば、口唇追跡モジュール３０６を介して乗り物の１人または複数人の搭乗者のうちの誰が話をしているかを決定できる。いくつかの例においては、乗り物の１人または複数人の搭乗者のうちの誰が話をしているかの決定が、少なくとも部分的に口唇追跡に基づくことができる。

プロセスは、動作３２２から、乗り物の１人または複数人の搭乗者を個人プロファイルと関連付けすることができる動作３２４の『話者と個人プロファイルを関連付けする』へ続くことができる。たとえば、コントロール・システム３０８を介して、乗り物の１人または複数人の搭乗者を個人プロファイルと関連付けすることができる。いくつかの例においては、顔検出に少なくとも部分的に基づいて、かつ搭乗者のうちの誰が話をしているかの決定に少なくとも部分的に基づいて乗り物の１人または複数人の搭乗者を個人プロファイルと関連付けすることができる。

この中で使用されるとき、用語『個人プロファイル』は、個人搭乗者に関係のあるコントロール情報、たとえば搭乗者識別、コントロール・システムについての個人の好み、またはこれらの類を含むことができる。たとえば、コントロール・システム３０８は、その種の個人が乗り物内にいることを示すデータの受け取り時に、またはその種の個人が発話しているか、または命令（Ｃｏｍｍａｎｄ）を引き渡したことを示すデータの受け取り時に、その種の個人プロファイルに少なくとも部分的に基づいて命令に応答するか、または設定を先取り的に調整できる。

たとえば、堅牢な顔検出モジュール３０４を用いてＩＶＩシステム１００は、発話している者のアイデンティティを自動的に見分けた後、個人化した設定のＩＶＩシステム１００を遂行することが可能である。いくつかの例においては、顔が検出され、認識されると、認識された搭乗者のアイデンティティに少なくとも部分的に基づいてコントロール設定を調整するべくコントロール・システム３０８を適応させることができる。それに加えて、またはそれに代えて、コントロール・システム３０８は、顔が検出され、認識されると、認識された搭乗者のアイデンティティに少なくとも部分的に基づいて応答を調整するべく、命令に対して応答を適応させることができる。それに加えて、動作３２２の誰が話をしているかの決定をコントロール・システム３０８に伝えることができる。その種の例においては、顔が検出され、認識され、その個人が話をしているとの決定が行われると、認識された搭乗者のアイデンティティに少なくとも部分的に基づいてコントロール・システム３０８がコントロール設定を調整するべく適応されること、および／または搭乗者の命令に対して応答を調整することができる。

プロセスは、動作３２４から、音声認識を遂行できる動作３２６の『音声認識を遂行する』へ続くことができる。たとえば、発話認識モジュール３０２を介して音声認識を遂行できる。いくつかの例においては、音声認識が、遂行された発話認識および乗り物の１人または複数人の搭乗者のうちの誰と受け取った聴覚データとが関連付けされるかの決定に少なくとも部分的に基づくことができる。

いくつかの例においては、その種の音声認識を、動作３１１の発話認識の修正として遂行できる。それに代えて、その種の音声認識を独立して、または動作３１１の発話認識の置換として遂行できる。

いくつかの例においては、顔が検出され、認識されると、認識された搭乗者のアイデンティティに少なくとも部分的に基づいて特定の話者モデルに対して発話認識モジュール３０２を適応させることができる。たとえば、発話認識モジュール３０２を適応させて多様な入力に対して調整することができる（たとえば、運転者等の特定の搭乗者および／または少数の搭乗者のために先行してオフラインでトレーニングされる特定の認識機械を使用する）。それに加えて、動作３２２の誰が話をしているかの決定を発話認識モジュール３０２に伝えることができる。その種の例においては、顔が検出され、認識され、その個人が話をしているとの決定が行われると、認識された搭乗者のアイデンティティに少なくとも部分的に基づいて特定の話者モデルに対して発話認識モジュール３０２を適応させることができる。

プロセスは、動作３２６から、ユーザ命令が決定できる動作３２８の『ユーザ命令を決定する』へ続くことができる。たとえば、コントロール・システム３０８を介してユーザ命令を決定できる。ユーザ命令のその種の決定は、遂行された発話認識および／または音声認識に少なくとも部分的に基づくことができる。

動作においては、ＩＶＩシステム１００が、ユーザの口頭入力に対するスマートかつコンテキスト・アウェアな応答を利用できる。聴覚および視覚のデータ入力は、マイクロフォンおよびカメラによってそれぞれ取り込むことができる。聴覚データ処理スレッドにおいては、発話認識モジュール３０２が、何が話されたかを単語ごとに見分けることができる。視覚データ処理スレッドにおいては（たとえば、顔検出モジュール３０４および／または口唇追跡モジュール３０６）、顔検出モジュール３０４が、カメラ画像内の顔（１つまたは複数）の位置、サイズ、および数を見分けることができる。顔が検出されると、さらに口唇エリアが突き止められ、口唇追跡モジュール３０６を介して動画内において追跡できる。顔認識および口唇追跡を用いて、コントロール・システム３０８は、車内に誰がいるか、また現在その者が話をしているか否かを見分けることが可能となり得る。聴覚と視覚のデータを組み合わせることによって、コントロール・システム３０８は、話者の変化および命令入力ステータスを監視できる。

いくつかの実装においては、視覚処理モジュール（たとえば、顔検出モジュール３０４および／または口唇追跡モジュール３０６）が、音声認識を単に補助することを超えるところまで到達できる。たとえば、堅牢な顔検出モジュール３０４を用いてＩＶＩシステム１００は、発話している者のアイデンティティを自動的に見分けた後、個人化した設定のＩＶＩシステム１００を遂行することが可能である。さらに、顔が検出され、認識されると、認識された搭乗者のアイデンティティに少なくとも部分的に基づいて特定の話者モデルに対して発話認識モジュール３０２を適応させることができる。それに加えて、安定した口唇追跡モジュール３０６を用いてＩＶＩシステム１００は、話をしている者はいるか否かについてのステータスを自動的に見分けた後、ラジオの音量を下げる等といった積極的な音響環境の設定を遂行できる。別の例においては、口唇追跡出力が肯定的であるとき、ＩＶＩシステム１００の音量をスマートな態様で下げることができる。

図２および３に図解されているとおり、プロセスの例２００および３００の実装が図解された順序における示されたすべてのブロックの扱いを含むことができるが、この開示はこれに関して限定されることはなく、多様な例においては、プロセス２００および３００の実装が、ここに示されたブロックのサブセットだけの、および／または図解とは異なる順序での扱いを含むことができる。

それに加えて、１つまたは複数のコンピュータ・プログラム・プロダクトによって提供されるインストラクションに応答して図２および３のブロックのうちの任意の１つまたは複数を扱うことができる。その種のプログラム・プロダクトは、たとえばプロセッサによって実行されたときにこの中に述べられている機能を提供するインストラクションを提供する信号担持媒体を含むことができる。コンピュータ・プログラム・プロダクトは、任意形式のコンピュータ可読媒体で提供できる。したがって、たとえば、１つまたは複数のプロセッサ・コアを含むプロセッサは、コンピュータ可読媒体によってプロセッサに伝えられたインストラクションに応答して、図５および６に示されているブロックのうちの１つまたは複数を扱うことができる。

この中に述べられている任意の実装において使用されるとき、用語『モジュール』は、この中に述べられている機能を提供するべく構成されたソフトウエア、ファームウエア、および／またはハードウエアの任意の組み合わせを言う。ソフトウエアは、ソフトウエア・パッケージ、コード、および／またはインストラクション・セットまたはインストラクションとして埋め込むことができ、用語『ハードウエア』は、この中に述べられている任意の実装において使用されるとき、たとえば、ハードワイヤード回路、プログラマブル回路、状態マシン回路、および／またはプログラマブル回路によって実行されるインストラクションをストアしているファームウエアを単独で、または任意の組み合わせで含むことができる。モジュールは、たとえば集積回路（ＩＣ）、システムオンチップ（ＳＯＣ）、およびこの類といったより大きなシステムの部分を形成する回路として集合的に、または個別に具体化される。

図４は、この開示の少なくともいくつかの実装に従ってアレンジされた、口唇追跡プロセス４００の間に処理される画像のいくつかの例を図解している。上で論じたとおり、いくつかの例の実装は、話者認識のため（たとえば、話者の変化の検出）および適応型ユーザ固有音声認識のために口唇検出および追跡を使用できる。

口唇の位置特定および追跡における難題は、いくつかの態様にある。たとえば、変形可能なオブジェクト・モデルは複雑である可能性があり、いくつかの顔のポーズおよび／または口唇の形状は、充分に知られてないかまたは研究されてなく、照明条件が頻繁な変更を受けることがあり、背景が複雑かつ／または頻繁な変更を受けることがあり、口唇の動きが頭の動きとともに頻繁に位置を変化させるか、または予測しない態様、および／またはセルフオクルージョン等のそのほかの要因で変化することがある。

図解されている実装においては、口唇追跡プロセス４００が、口唇の輪郭検出および／または追跡の正確度に頼ることができる。同様に、正確な口唇検出もまた、顔検出の堅牢性を頼ることができる。たとえば、口唇追跡プロセス４００は、動きベースの口唇追跡および最適化ベースの分割を頼ることができる。

図解されている実装においては、口唇４０２が検出できるようにビデオ・データ画像４０１を処理できる。口唇追跡プロセス４００の動きベースの口唇追跡部分は、３つの段階、すなわち特徴ポイントの初期化、オプティカルフロー追跡、および／または特徴ポイント詳細化、またはこれらの類に従うことができる。たとえば４つの特徴ポイントを階層的直接アピアランス・モデル（ＨＤＡＭ）によって初期化し、続いてピラミッド型ルーカス‐カナデ（Ｌｕｃａｓ‐Ｋａｎａｄｅ）オプティカルフロー方法によりまばらな特徴セットの追跡を補助できる。たとえば、口唇追跡プロセス４００の特徴ポイント初期化動作は、口唇位置特定４０４を含むことができる。その後、特徴ポイント詳細化４０６が、口唇位置特定４０４を修正できる。たとえば、特徴ポイント詳細化４０６の特徴ポイントの位置は、図解されているとおり、カラー・ヒストグラム比較および／または局所サーチによって詳細化できる。

口唇追跡プロセス４００は、口唇輪郭の楕円モデリング４０７を含むことができる。口唇追跡プロセス４００を通じ、口唇輪郭を楕円モデル４０８により表現できる。しばしば口唇が対称であることから、口唇輪郭は、図解されているとおり、最初に左／右の口角４１０を、続いて上下端のエッジ・ポイント４１２を識別することによって構築できる。

口唇追跡プロセス４００は、口唇４０２の口のエッジを局所的にサーチすることによる口唇輪郭構築４１４を含むことができる。たとえば、図解されているとおり、４つまたはそれより多くのポイント４１６を位置特定し、口のエッジを局所的にサーチすることによって口唇輪郭４１４を構築できる。

口唇追跡プロセス４００は、動画上の口唇４０２が動くときの口唇輪郭構築４１４の結果の追跡を含むことができる。たとえば、ビデオ・データ画像４２０は、口唇４０２が閉じられるときの口唇輪郭構築４１４の結果を追跡する口唇追跡プロセス４００を例証している。同様に、ビデオ・データ画像４２２は、口唇４０２が開かれるときの口唇輪郭構築４１４の結果を追跡する口唇追跡プロセス４００を例証している。口唇輪郭構築４１４を追跡することによって口唇追跡プロセス４００は、乗り物の搭乗者が話をしているか否かを見分けることができる。

図５は、この開示に従った例のシステム５００を図解している。多様な実装において、システム５００は、媒体システムとなり得るが、システム５００がこの状況に限定されることはない。たとえばシステム５００は、パーソナル・コンピュータ（ＰＣ）、ラップトップ・コンピュータ、ウルトラ‐ラップトップ・コンピュータ、タブレット、タッチパッド、ポータブル・コンピュータ、ハンドヘルド・コンピュータ、パームトップ・コンピュータ、携帯情報端末（ＰＤＡ）、携帯電話、組み合わせ携帯電話／ＰＤＡ、テレビジョン、スマート・デバイス（たとえば、スマートフォン、スマートタブレット、またはスマートテレビジョン）、モバイル・インターネット・デバイス（ＭＩＤ）、メッセージング・デバイス、データ通信デバイス、およびこれらの類の中に組み入れることができる。

多様な実装においてシステム５００は、ディスプレイ５２０に結合されたプラットフォーム５０２を含む。プラットフォーム５０２は、コンテント・サービス・デバイス（１つまたは複数）５３０またはコンテント配信デバイス（１つまたは複数）５４０またはそのほかの類似のコンテント提供源等のコンテント・デバイスからコンテントを受信できる。１つまたは複数のナビゲーション特徴を含むナビゲーションコントローラ５５０は、たとえばプラットフォーム５０２および／またはディスプレイ５２０とのインタラクションに使用できる。これらの構成要素のそれぞれについては、以下において詳細に説明する。

多様な実装において、プラットフォーム５０２は、チップセット５０５、プロセッサ５１０、メモリ５１２、ストレージ５１４、グラフィック・サブシステム５１５、アプリケーション５１６、および／またはラジオ５１８の任意の組み合わせを含むことができる。チップセット５０５は、プロセッサ５１０、メモリ５１２、ストレージ５１４、グラフィック・サブシステム５１５、アプリケーション５１６、および／またはラジオ５１８の間における相互接続を提供できる。たとえば、チップセット５０５は、ストレージ５１４との相互通信を提供する能力のあるストレージ・アダプタ（図示せず）を含むことができる。

プロセッサ５１０は、複合命令セット・コンピュータ（ＣＩＳＣ）または縮小命令セット・コンピュータ（ＲＩＳＣ）プロセッサ、ｘ８６命令セット互換プロセッサ、マルチコア、または任意のそのほかのマイクロプロセッサまたは中央処理ユニット（ＣＰＵ）として実装できる。多様な実装においては、プロセッサ５１０を、デュアルコア・プロセッサ（１つまたは複数）、デュアルコア・モバイル・プロセッサ（１つまたは複数）、およびこれらの類とすることができる。

メモリ５１２は、限定ではないが、ランダム・アクセス・メモリ（ＲＡＭ）、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、またはスタティックＲＡＭ（ＳＲＡＭ）等の揮発性メモリ・デバイスとして実装できる。

ストレージ５１４は、限定ではないが、磁気ディスク・ドライブ、光ディスク・ドライブ、テープ・ドライブ、内蔵ストレージ・デバイス、外付けストレージ・デバイス、フラッシュ・メモリ、バッテリ・バックアップ付きＳＤＲＡＭ（シンクロナスＤＲＡＭ）、および／またはネットワーク・アクセス可能なストレージ・デバイス等の不揮発性ストレージ・デバイスとして実装できる。多様な実装においては、ストレージ５１４が、たとえば複数のハードディスク・ドライブが含まれるとき、有用性の高いデジタル媒体のためにストレージ性能強化付きの保護を増加させるテクノロジを含むことができる。

グラフィック・サブシステム５１５は、表示のための静止画またはビデオ等の画像の処理を遂行できる。グラフィック・サブシステム５１５は、たとえば、グラフィック処理ユニット（ＧＰＵ）または視覚処理ユニット（ＶＰＵ）とすることができる。アナログまたはデジタル・インターフェースを使用して、グラフィック・サブシステム５１５とディスプレイ５２０を通信結合することができる。たとえば、このインターフェースを、ＨＤＭＩ（Ｈｉｇｈ‐ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）（登録商標）、ディスプレイポート（ＤｉｓｐｌａｙＰｏｒｔ）、無線ＨＤＭＩ（登録商標）、および／または無線ＨＤ適合テクニックのうちのいずれかとすることができる。グラフィック・サブシステム５１５は、プロセッサ５１０またはチップセット５０５内に統合することができる。いくつかの実装においては、グラフィック・サブシステム５１５を、チップセット５０５と通信結合されるスタンドアロン・カードとすることができる。

この中に述べられているグラフィックおよび／またはビデオ処理テクニックは、多様なハードウエア・アーキテクチャにおいて実装できる。たとえば、グラフィックおよび／またはビデオ機能をチップセット内に統合することができる。それに代えて、離散的グラフィックおよび／またはビデオ・プロセッサを使用することができる。さらに別の実装としては、グラフィックおよび／またはビデオ機能を、マルチコア・プロセッサを含む汎用プロセッサによって提供することができる。さらなる実施態様においては、その機能を消費者電子デバイス内において実装できる。

ラジオ５１８は、多様な適切な無線通信テクニックを使用して信号を送受信する能力を有する１つまたは複数のラジオを含むことができる。その種のテクニックは、１つまたは複数の無線ネットワークにわたる通信を伴うことがある。無線ネットワークの例は（限定ではないが）無線ローカル・エリア・ネットワーク（ＷＬＡＮ）、無線パーソナル・エリア・ネットワーク（ＷＰＡＮ）、無線メトロポリタンエリアネットワーク（ＷＭＡＮ）、セルラ・ネットワーク、および衛星ネットワークを含む。その種のネットワークにわたる通信においてラジオ５１８は、任意バージョンの１つまたは複数の適用可能な標準に従って動作できる。

多様な実装において、ディスプレイ５２０は、任意のテレビジョン・タイプのモニタまたは表示器を含むことができる。ディスプレイ５２０は、たとえば、コンピュータ・ディスプレイ・スクリーン、タッチスクリーン・ディスプレイ、ビデオ・モニタ、テレビジョン類似のデバイス、および／またはテレビジョンを含むことができる。ディスプレイ５２０は、デジタルおよび／またはアナログとすることができる。多様な実装においては、ディスプレイ５２０をホログラフィック・ディスプレイとすることができる。またディスプレイ５２０を、視覚的投影を受け取る透明な表面とすることもできる。その種の投影は、多様な形式の情報、画像、および／またはオブジェクトを伝達できる。たとえば、その種の投影は、モバイル拡張現実（ＭＡＲ）アプリケーションのための視覚的なオーバーレイとすることができる。１つまたは複数のソフトウエア・アプリケーション５１６のコントロールの下に、プラットフォーム５０２は、ディスプレイ５２０上にユーザ・インターフェース５２２を表示できる。

多様な実装においては、コンテント・サービス・デバイス（１つまたは複数）５３０が任意の国内、国際、および／または独立のサービスによってホストされること、したがって、たとえばインターネットを介してプラットフォーム５０２にアクセスすることができる。コンテント・サービス・デバイス（１つまたは複数）５３０は、プラットフォーム５０２および／またはディスプレイ５２０と結合できる。プラットフォーム５０２および／またはコンテント・サービス・デバイス（１つまたは複数）５３０は、ネットワーク５６０に結合してネットワーク５６０との間でメディア情報の通信（たとえば、送信および／または受信）を行なうことができる。コンテント配信デバイス（１つまたは複数）５４０もまた、プラットフォーム５０２および／またはディスプレイ５２０に結合できる。

多様な実装において、コンテント・サービス・デバイス（１つまたは複数）５３０は、ケーブル・テレビジョン・ボックス、パーソナル・コンピュータ、ネットワーク、電話、インターネット対応デバイスまたはデジタル情報および／またはコンテントを配信する能力を有するアプライアンス、および任意のそのほかの類似した、コンテント・プロバイダとプラットフォーム５０２および／またはディスプレイ５２０の間においてネットワーク５６０を介して、または直接、コンテントの単方向または双方向通信を行なう能力を有するデバイスを含むことができる。認識するであろうが、コンテントは、システム５００内の構成要素の任意の１つとコンテント・プロバイダとの間においてネットワーク５６０を介して単方向または双方向通信を行なうことができる。コンテントの例は、たとえばビデオ、音楽、医療およびゲーム情報、およびこれらの類を含む任意のメディア情報を含むことができる。

コンテント・サービス・デバイス（１つまたは複数）５３０は、メディア情報、デジタル情報、および／またはそのほかのコンテントを含むケーブル・テレビジョン番組等のコンテントを受け取ることができる。コンテント・プロバイダの例は、任意のケーブルまたは衛星テレビジョンまたはラジオまたはインターネット・コンテント・プロバイダを含むことができる。ここに提供した例は、いかなる形においても現在の開示に従った実装を制限することを意図しない。

多様な実装においては、プラットフォーム５０２が、１つまたは複数のナビゲーション特徴を有するナビゲーションコントローラ５５０からコントロール信号を受け取ることができる。コントローラ５５０のナビゲーション特徴は、たとえばユーザ・インターフェース５２２とのインタラクションに使用できる。実施態様においては、ナビゲーションコントローラ５５０を、ユーザが空間的（たとえば、連続かつ多次元の）データをコンピュータに入力することを可能にするコンピュータ・ハードウエア構成要素（特に、人間インターフェース・デバイス）とすることができるポインティング・デバイスとすることができる。グラフィカル・ユーザ・インターフェース（ＧＵＩ）等の多くのシステムおよびテレビジョンおよびモニタは、ユーザが身体的なジェスチャを使用してコンピュータまたはテレビジョンをコントロールすること、およびデータを提供することを可能にする。

コントローラ５５０のナビゲーション特徴の動きは、ディスプレイ（たとえば、ディスプレイ５２０）上に、ポインタ、カーソル、フォーカス・リング、またはディスプレイ上に表示されるそのほかの視覚的なインジケータの動きによって再現できる。たとえば、ソフトウエア・アプリケーション５１６のコントロールの下に、ナビゲーションコントローラ５５０上で位置特定されたナビゲーション特徴を、たとえばユーザ・インターフェース５２２上に表示される仮想ナビゲーション特徴にマップすることができる。実施態様においては、コントローラ５５０を別々の構成要素とはせずに、プラットフォーム５０２および／またはディスプレイ５２０と一体化できる。しかしながらこの開示は、この中に示したか、または述べた要素または状況に限定されない。

多様な実装においては、ドライバ（図示せず）が、たとえばイネーブルされているとき、初期ブートアップ後にユーザがボタンに触れることによりテレビジョン等のプラットフォーム５０２を即座にオン／オフすることを可能にするテクノロジを含むことができる。プログラム論理は、プラットフォームが『オフ』になっているとき、メディア・アダプタまたはそのほかのコンテント・サービス・デバイス（１つまたは複数）５３０またはコンテント配信デバイス（１つまたは複数）５４０に対してプラットフォーム５０２がコンテントのストリーミングを行なうことを可能にできる。それに加えて、チップセット５０５は、たとえば、５．１サラウンド・サウンド・オーディオおよび／またはＨＤ７．１サラウンド・サウンド・オーディオをサポートするハードウエアおよび／またはソフトウエアを含むことができる。ドライバは、統合グラフィック・プラットフォームのためのグラフィック・ドライバを含むことができる。実施態様においては、グラフィック・ドライバが、ＰＣＩ（ペリフェラル・コンポーネント・インターコネクト（ｐｅｒｉｐｈｅｒａｌｃｏｍｐｏｎｅｎｔｉｎｔｅｒｃｏｎｎｅｃｔ））エクスプレス対応のグラフィック・カードを包含できる。

多様な実装においては、システム５００内に示された構成要素のうちの任意の１つまたは複数を統合できる。たとえばプラットフォーム５０２とコンテント・サービス・デバイス（１つまたは複数）５３０を統合すること、またはプラットフォーム５０２とコンテント配信デバイス（１つまたは複数）５４０を統合すること、またはプラットフォーム５０２、コンテント・サービス・デバイス（１つまたは複数）５３０、およびコンテント配信デバイス（１つまたは複数）５４０を統合することができる。多様な実施態様においては、プラットフォーム５０２とディスプレイ５２０を一体化されたユニットとすることができる。たとえば、ディスプレイ５２０とコンテント・サービス・デバイス（１つまたは複数）５３０を一体化してもよく、またはディスプレイ５２０とコンテント配信デバイス（１つまたは複数）５４０を一体化してもよい。これらの例は、この開示を限定することを意味しない。

多様な実施態様においては、システム５００を、無線システム、有線システム、またはこれら両方の組み合わせとして実装できる。無線システムとしての実装時にはシステム５００が、１つまたは複数のアンテナ、送信機、受信機、トランシーバ、増幅器、フィルタ、コントロール論理、およびこの類といった無線共有媒体にわたる通信に適した構成要素およびインターフェースを含むことができる。無線共有媒体の例は、ＲＦスペクトル等の無線スペクトルの部分を含むことができる。有線システムとしての実装時にはシステム５００が、入力／出力（Ｉ／Ｏ）アダプタ、Ｉ／Ｏアダプタを対応する有線通信媒体に接続する物理的なコネクタ、ネットワーク・インターフェース・カード（ＮＩＣ）、ディスク・コントローラ、ビデオ・コントローラ、オーディオ・コントローラ、およびこれらの類といった有線通信媒体にわたる通信に適した構成要素およびインターフェースを含むことができる。有線通信媒体の例は、有線、ケーブル、金属リード線、プリント回路基板（ＰＣＢ）、バックプレーン、スイッチ・ファブリック、半導体材料、ツイストペア・配線、同軸ケーブル、光ファイバ、およびこれらの類を含むことができる。

プラットフォーム５０２は、情報の通信のための１つまたは複数の論理または物理チャンネルを確立できる。情報は、メディア情報およびコントロール情報を含むことができる。メディア情報は、ユーザにとって意味のあるコンテントを表す任意のデータを言うことができる。コンテントの例は、たとえば、音声対話からのデータ、ビデオ会議、ストリーミング・ビデオ、電子メール（ｅメール）メッセージ、ボイス・メール・メッセージ、英数記号、グラフィクス、画像、ビデオ、テキスト、およびこれらの類を含むことができる。音声対話からのデータは、たとえば、発話情報、無音期間、背景ノイズ、快適ノイズ、トーン、およびこれらの類とすることができる。コントロール情報は、命令、インストラクション、または自動化されたシステムにとって意味のあるコントロール・ワードを表す任意のデータを言うことができる。たとえば、コントロール情報を、システムを通るメディア情報のルーティング、またはノードに対するあらかじめ決定済みの態様によるメディア情報の処理の指示に使用できる。しかしながら、実施態様は、図５に示されているかまたは記述されている要素、または状況に限定されない。

上で述べたとおり、システム５００は、多様な物理的なスタイルまたは形状因子をもって具体化できる。図６は、システム５００を具体化できる小型形状因子のデバイス６００の実装を図解している。実施態様においては、たとえば、無線機能を有するモバイル・コンピューティング・デバイスとしてデバイス６００を実装できる。モバイル・コンピューティング・デバイスは、処理システムおよび、たとえば１つまたは複数のバッテリ等のモバイル電源または電力供給源を有する任意のデバイスを言うことができる。

上で述べたとおり、モバイル・コンピューティング・デバイスの例は、パーソナル・コンピュータ（ＰＣ）、ラップトップ・コンピュータ、ウルトラ‐ラップトップ・コンピュータ、タブレット、タッチパッド、ポータブル・コンピュータ、ハンドヘルド・コンピュータ、パームトップ・コンピュータ、携帯情報端末（ＰＤＡ）、携帯電話、組み合わせ携帯電話／ＰＤＡ、テレビジョン、スマート・デバイス（たとえば、スマートフォン、スマートタブレット、またはスマートテレビジョン）、モバイル・インターネット・デバイス（ＭＩＤ）、メッセージング・デバイス、データ通信デバイス、およびこれらの類を含むことができる。

またモバイル・コンピューティング・デバイスの例は、手首にはめるコンピュータ、指にはめるコンピュータ、指輪コンピュータ、眼鏡コンピュータ、ベルトクリップ・コンピュータ、アームバンド・コンピュータ、靴コンピュータ、衣服コンピュータ、およびそのほかのウエアラブル・コンピュータ等の人が装着するようにアレンジされたコンピュータを含むこともできる。多様な実施態様においては、たとえば、モバイル・コンピューティング・デバイスを、コンピュータ・アプリケーションをはじめ、音声通信および／またはデータ通信を実行する能力を有するスマートフォンとして実装できる。いくつかの実施態様をスマートフォンとして実装されるモバイル・コンピューティング・デバイスを例として用いて説明できるが、ほかの無線モバイル・コンピューティング・デバイスを使用しても同様にほかの実施態様が実装できることが認識されるであろう。実施態様は、この状況に限定されない。

図６に示されているとおり、デバイス６００は、ハウジング６０２、ディスプレイ６０４、入力／出力（Ｉ／Ｏ）デバイス６０６、およびアンテナ６０８を含むことができる。デバイス６００は、ナビゲーション特徴６１２を含むこともできる。ディスプレイ６０４は、モバイル・コンピューティング・デバイスに適した情報を表示するための任意の適切なディスプレイ・ユニットを含むことができる。Ｉ／Ｏデバイス６０６は、モバイル・コンピューティング・デバイスに情報を入力するための任意の適切なＩ／Ｏデバイスを含むことができる。Ｉ／Ｏデバイス６０６の例は、英数キーボード、数字キーパッド、タッチパッド、入力キー、ボタン、スイッチ、ロッカー・スイッチ、マイクロフォン、スピーカ、音声認識デバイスおよびソフトウエア、およびこれらの類を含むことができる。情報は、マイクロフォン（図示せず）によってもデバイス６００に入力することができる。その種の情報は、音声認識デバイス（図示せず）によってデジタル化することができる。実施態様は、この状況に限定されない。

ハードウエア要素、ソフトウエア要素、または両方の組み合わせを使用して多様な実施態様が実装できる。ハードウエア要素の例は、プロセッサ、マイクロプロセッサ、回路、回路要素（たとえば、トランジスタ、抵抗、キャパシタ、インダクタ、およびこれらの類）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル・ロジック・デバイス（ＰＬＤ）、デジタル信号プロセッサ（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセット、およびこれらの類を含むことができる。ソフトウエアの例は、ソフトウエア構成要素、プログラム、アプリケーション、コンピュータ・プログラム、アプリケーション・プログラム、システム・プログラム、マシン・プログラム、オペレーティング・システム・ソフトウエア、ミドルウエア、ファームウエア、ソフトウエア・モジュール、ルーチン、サブルーチン、関数、メソッド、プロシージャ、ソフトウエア・インターフェース、アプリケーション・プログラム・インターフェース（ＡＰＩ）、インストラクション・セット、コンピューティング・コード、コンピュータ・コード、コード・セグメント、コンピュータ・コード・セグメント、ワード、値、記号、またはこれらの任意の組み合わせを含むことができる。ハードウエア要素および／またはソフトウエア要素を使用して実施態様が実装されるか否かの決定は、望ましい計算レート、電力レベル、熱許容度、処理サイクル・バジェット、入力データ・レート、出力データ・レート、メモリ資源、データ・バス速度、およびそのほかの設計または性能上の制約といった多くの要因に従って変化し得る。

少なくとも１つの実施態様の１つまたは複数の態様は、プロセッサ内の多様な論理を表すマシン可読媒体上にストアされた代表的なインストラクションによって実装でき、当該インストラクションは、マシンによって読み出されたときにそのマシンに、この中に述べられているテクニックを遂行する論理を作らせる。その種の表現は『ＩＰコア』として知られるが、有体のマシン可読媒体上にストアして多様なカスタマまたは製造設備に供給し、論理またはプロセッサを実際に作成する製造マシン内にロードすることができる。

ここでは特定の特徴を示し、多様な実装を参照してそれを説明してきたが、この説明は、限定の意味で解釈されることは意図されていない。したがって、この中で述べた実装の多様な修正をはじめ、そのほかの、この開示が関係する分野の当業者に明らかとなる実装は、この開示の精神ならびに範囲内にあると見なされる。
［項目１］
乗り物の１人または複数人の搭乗者からの発話入力を含む聴覚データを受け取ることと、
前記乗り物の前記１人または複数人の搭乗者のビデオを含む視覚データを受け取ることと、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することと、
を行なうべく構成されたプロセッサを備える装置。
［項目２］
前記プロセッサは、さらに、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、
前記遂行した発話認識に少なくとも部分的に基づいてユーザ命令を決定することと、を行なうべく構成される、項目１に記載の装置。
［項目３］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づく前記乗り物の前記１人または複数人の搭乗者の顔検出であって、前記乗り物の前記１人または複数人の搭乗者の間を区別するべく構成される顔検出を遂行することと、を包含する項目１に記載の装置。
［項目４］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づく前記乗り物の前記１人または複数人の搭乗者の顔検出であって、前記乗り物の前記１人または複数人の搭乗者の間を区別するべく構成される顔検出を遂行することと、
前記顔検出に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、を包含する項目１に記載の装置。
［項目５］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の口唇追跡を遂行すること、を包含する項目１に記載の装置。
［項目６］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の口唇追跡を遂行することと、
前記口唇追跡に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の中に話をしている者はいるか否かを決定することと、
前記乗り物の前記１人または複数人の搭乗者の中に話をしている者はいるか否かの決定に少なくとも部分的に基づいて乗り物オーディオ出力の音量を下げることと、を包含する項目１に記載の装置。
［項目７］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の口唇追跡を遂行することと、
前記口唇追跡に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者のうちの誰が話をしているかを決定することと、を包含し、
前記プロセッサは、さらに、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、を行なうべく構成される、項目１に記載の装置。
［項目８］
視覚データを取り込むべく構成された撮像デバイスと、
前記撮像デバイスと通信結合されたコンピューティング・システムと、を備えるシステムであって、
前記コンピューティング・システムは、
乗り物の１人または複数人の搭乗者からの発話入力を含む聴覚データを受け取ることと、
前記乗り物の前記１人または複数人の搭乗者のビデオを含む前記視覚データを受け取ることと、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することと、を行なうべく構成されるシステム。
［項目９］
さらに前記コンピューティング・システムが、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、
前記遂行した発話認識に少なくとも部分的に基づいてユーザ命令を決定することと、を行なうべく構成される項目８に記載のシステム。
［項目１０］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づく前記乗り物の前記１人または複数人の搭乗者の顔検出であって、前記乗り物の前記１人または複数人の搭乗者の間を区別するべく構成される顔検出を遂行することと、を包含する項目８に記載のシステム。
［項目１１］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づく前記乗り物の前記１人または複数人の搭乗者の顔検出であって、前記乗り物の前記１人または複数人の搭乗者の間を区別するべく構成される顔検出を遂行することと、
前記顔検出に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、を包含する項目８に記載のシステム。
［項目１２］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の口唇追跡を遂行すること、を包含する項目８に記載のシステム。
［項目１３］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の口唇追跡を遂行することと、
前記口唇追跡に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の中に話をしている者はいるか否かを決定することと、
前記乗り物の前記１人または複数人の搭乗者の中に話をしている者はいるか否かの決定に少なくとも部分的に基づいて乗り物オーディオ出力の音量を下げることと、を包含する項目８に記載のシステム。
［項目１４］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の口唇追跡を遂行することと、
前記口唇追跡に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者のうちの誰が話をしているかを決定することと、を包含し、
前記コンピューティング・システムは、さらに、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、を行なうべく構成される項目８に記載のシステム。
［項目１５］
コンピュータにより実装される方法であって、
乗り物の１人または複数人の搭乗者からの発話入力を含む聴覚データを受け取ることと、
前記乗り物の前記１人または複数人の搭乗者のビデオを含む視覚データを受け取ることと、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することと、
を備える方法。
［項目１６］
さらに、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、を備える項目１５に記載の方法。
［項目１７］
さらに、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、
前記遂行した発話認識に少なくとも部分的に基づいてユーザ命令を決定することと、を備える項目１５に記載の方法。
［項目１８］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づく前記乗り物の前記１人または複数人の搭乗者の顔検出であって、前記乗り物の前記１人または複数人の搭乗者の間を区別するべく構成される顔検出を遂行することを包含する、項目１５に記載の方法。
［項目１９］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づく前記乗り物の前記１人または複数人の搭乗者の顔検出であって、前記乗り物の前記１人または複数人の搭乗者の間を区別するべく構成される顔検出を遂行することと、
前記顔検出に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、を包含する項目１５に記載の方法。
［項目２０］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の口唇追跡を遂行すること、を包含する項目１５に記載の方法。
［項目２１］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の口唇追跡を遂行することと、
前記口唇追跡に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の中に話をしている者はいるか否かを決定することと、
前記乗り物の前記１人または複数人の搭乗者の中に話をしている者はいるか否かの決定に少なくとも部分的に基づいて乗り物オーディオ出力の音量を下げることと、を包含する項目１５に記載の方法。
［項目２２］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の口唇追跡を遂行すること、
前記口唇追跡に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者のうちの誰が話をしているかを決定することと、を包含し、さらに前記方法が、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、を包含する項目１５に記載の方法。
［項目２３］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づく前記乗り物の前記１人または複数人の搭乗者の顔検出であって、前記乗り物の前記１人または複数人の搭乗者の間を区別するべく構成される顔検出を遂行することと、
前記顔検出に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、
前記受け取った視覚データおよび前記遂行した顔検出に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の口唇追跡を遂行すること、
前記口唇追跡に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の中に話をしている者はいるか否かを決定することと、
前記口唇追跡に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者のうちの誰が話をしているかを決定することと、を包含し、さらに前記方法が、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、
前記遂行した発話認識に少なくとも部分的に基づいてユーザ命令を決定することと、を包含する項目１５に記載の方法。
［項目２４］
インストラクションを含むプログラムであって、当該インストラクションは、コンピュータに実行されると、
乗り物の１人または複数人の搭乗者からの発話入力を含む聴覚データを受け取ることと、
前記乗り物の前記１人または複数人の搭乗者のビデオを含む視覚データを受け取ることと、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することと、を結果としてもたらすプログラム。
［項目２５］
前記インストラクションは、前記コンピュータに実行されると、さらに、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、
前記遂行した発話認識に少なくとも部分的に基づいてユーザ命令を決定することと、を結果としてもたらす項目２４に記載のプログラム。
［項目２６］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づく前記乗り物の前記１人または複数人の搭乗者の顔検出であって、前記乗り物の前記１人または複数人の搭乗者の間を区別するべく構成される顔検出を遂行することと、を包含する項目２４に記載のプログラム。
［項目２７］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づく前記乗り物の前記１人または複数人の搭乗者の顔検出であって、前記乗り物の前記１人または複数人の搭乗者の間を区別するべく構成される顔検出を遂行することと、
前記顔検出に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、を包含する項目２４に記載のプログラム。
［項目２８］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の口唇追跡を遂行すること、を包含する項目２４に記載のプログラム。
［項目２９］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の口唇追跡を遂行すること、
前記口唇追跡に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の中に話をしている者はいるか否かを決定することと、
前記乗り物の前記１人または複数人の搭乗者の中に話をしている者はいるか否かの決定に少なくとも部分的に基づいて乗り物オーディオ出力の音量を下げることと、を包含する項目２４に記載のプログラム。
［項目３０］
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の口唇追跡を遂行すること、
前記口唇追跡に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者のうちの誰が話をしているかを決定することと、を包含し、
前記インストラクションは、前記コンピュータに実行されると、さらに、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、を結果としてもたらす項目２４に記載のプログラム。

１００車載インフォテインメント（ＩＶＩ）システム、ＩＶＩシステム、１０４撮像デバイス、１０６マイクロフォン・デバイス、１０８乗り物、１１０搭乗者、１１２運転者、１１４助手席搭乗者、１１６後部座席搭乗者
２００音声認識プロセス、プロセス、３００音声認識プロセス、プロセス、３０２発話認識モジュール、３０４顔検出モジュール、３０６口唇追跡モジュール、３０８コントロール・システム
４００口唇追跡プロセス、４０１ビデオ・データ画像、４０２口唇、４０４口唇位置特定、４０６特徴ポイント詳細化、４０７楕円モデリング、４０８楕円モデル、４１０口角、４１２エッジ・ポイント、４１４口唇輪郭構築、４１６ポイント、４２０ビデオ・データ画像、４２２ビデオ・データ画像
５００システム、５０２プラットフォーム、５０５チップセット、５１０プロセッサ、５１２メモリ、５１４ストレージ、５１５グラフィック・サブシステム、５１６アプリケーション、ソフトウエア・アプリケーション、５１８ラジオ、５２０ディスプレイ、５２２ユーザ・インターフェース、５３０コンテント・サービス・デバイス、５４０コンテント配信デバイス、５５０ナビゲーションコントローラ、５６０ネットワーク
６００デバイス、６０２ハウジング、６０４ディスプレイ、６０６Ｉ／Ｏデバイス、６０８アンテナ、６１２ナビゲーション特徴

Claims

乗り物の１人または複数人の搭乗者からの発話入力を含む聴覚データを受け取ることと、
前記乗り物の前記１人または複数人の搭乗者のビデオを含む視覚データを受け取ることと、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することと、
を行なうべく構成されるプロセッサを備え、
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の口唇追跡を遂行することと、
前記口唇追跡に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の中に話をしている者がいるか否かを決定することと、
前記乗り物の前記１人または複数人の搭乗者の中に話をしている者がいる場合に、乗り物オーディオ出力の音量を下げることと
を包含し、
前記プロセッサは、
前記乗り物オーディオ出力の音量を下げた後に、前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて、音声認識を遂行すること
をさらに行なうべく構成される、装置。
前記プロセッサは、さらに、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、
前記遂行した発話認識に少なくとも部分的に基づいてユーザ命令を決定することと、を行なうべく構成される、請求項１に記載の装置。
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づく前記乗り物の前記１人または複数人の搭乗者の顔検出であって、前記乗り物の前記１人または複数人の搭乗者の間を区別するべく構成される顔検出を遂行することと、を包含する請求項１又は２に記載の装置。
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づく前記乗り物の前記１人または複数人の搭乗者の顔検出であって、前記乗り物の前記１人または複数人の搭乗者の間を区別するべく構成される顔検出を遂行することと、
前記顔検出に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、を包含する請求項１又は２に記載の装置。
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすること
を包含する請求項１から３のいずれか一項に記載の装置。
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、
前記口唇追跡に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者のうちの誰が話をしているかを決定することと、を包含し、
前記プロセッサは、さらに、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、を行なうべく構成される、請求項１に記載の装置。
視覚データを取り込むべく構成された撮像デバイスと、
前記撮像デバイスと通信結合されたコンピューティング・システムと、を備えるシステムであって、
前記コンピューティング・システムは、
乗り物の１人または複数人の搭乗者からの発話入力を含む聴覚データを受け取ることと、
前記乗り物の前記１人または複数人の搭乗者のビデオを含む前記視覚データを受け取ることと、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することと、を行なうべく構成され、
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の口唇追跡を遂行することと、
前記口唇追跡に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の中に話をしている者がいるか否かを決定することと、
前記乗り物の前記１人または複数人の搭乗者の中に話をしている者がいる場合に、乗り物オーディオ出力の音量を下げることと
を包含し、
前記コンピューティング・システムは、
前記乗り物オーディオ出力の音量を下げた後に、前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて、音声認識を遂行すること
をさらに行なうべく構成される、システム。
さらに前記コンピューティング・システムが、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、
前記遂行した発話認識に少なくとも部分的に基づいてユーザ命令を決定することと、を行なうべく構成される請求項７に記載のシステム。
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づく前記乗り物の前記１人または複数人の搭乗者の顔検出であって、前記乗り物の前記１人または複数人の搭乗者の間を区別するべく構成される顔検出を遂行することと、を包含する請求項７又は８に記載のシステム。
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づく前記乗り物の前記１人または複数人の搭乗者の顔検出であって、前記乗り物の前記１人または複数人の搭乗者の間を区別するべく構成される顔検出を遂行することと、
前記顔検出に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、を包含する請求項７又は８に記載のシステム。
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすること
を包含する請求項７から９のいずれか一項に記載のシステム。
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、
前記口唇追跡に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者のうちの誰が話をしているかを決定することと、を包含し、
前記コンピューティング・システムは、さらに、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、を行なうべく構成される請求項７に記載のシステム。
コンピュータにより実装される方法であって、
乗り物の１人または複数人の搭乗者からの発話入力を含む聴覚データを受け取ることと、
前記乗り物の前記１人または複数人の搭乗者のビデオを含む視覚データを受け取ることと、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することと、
を備え、
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の口唇追跡を遂行することと、
前記口唇追跡に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の中に話をしている者がいるか否かを決定することと、
前記乗り物の前記１人または複数人の搭乗者の中に話をしている者がいる場合に、乗り物オーディオ出力の音量を下げることと
を包含し、
前記方法は、
前記乗り物オーディオ出力の音量を下げた後に、前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて、音声認識を遂行すること
をさらに備える、方法。
さらに、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、を備える請求項１３に記載の方法。
さらに、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、
前記遂行した発話認識に少なくとも部分的に基づいてユーザ命令を決定することと、を備える請求項１３に記載の方法。
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づく前記乗り物の前記１人または複数人の搭乗者の顔検出であって、前記乗り物の前記１人または複数人の搭乗者の間を区別するべく構成される顔検出を遂行することを包含する、請求項１３から１５のいずれか一項に記載の方法。
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づく前記乗り物の前記１人または複数人の搭乗者の顔検出であって、前記乗り物の前記１人または複数人の搭乗者の間を区別するべく構成される顔検出を遂行することと、
前記顔検出に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、を包含する請求項１３から１５のいずれか一項に記載の方法。
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすること
を包含する請求項１３から１６のいずれか一項に記載の方法。
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、
前記口唇追跡に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者のうちの誰が話をしているかを決定することと
を包含し、さらに前記方法が、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、を包含する請求項１３に記載の方法。
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づく前記乗り物の前記１人または複数人の搭乗者の顔検出であって、前記乗り物の前記１人または複数人の搭乗者の間を区別するべく構成される顔検出を遂行することと、
前記顔検出に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、
前記受け取った視覚データおよび前記遂行した顔検出に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の口唇追跡を遂行することと、
前記口唇追跡に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者のうちの誰が話をしているかを決定することと、を包含し、さらに前記方法が、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、
前記遂行した発話認識に少なくとも部分的に基づいてユーザ命令を決定することと、を包含する請求項１３に記載の方法。
インストラクションを含むプログラムであって、当該インストラクションは、コンピュータに実行されると、
乗り物の１人または複数人の搭乗者からの発話入力を含む聴覚データを受け取ることと、
前記乗り物の前記１人または複数人の搭乗者のビデオを含む視覚データを受け取ることと、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することと、を結果としてもたらし、
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の口唇追跡を遂行することと、
前記口唇追跡に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者の中に話をしている者がいるか否かを決定することと、
前記乗り物の前記１人または複数人の搭乗者の中に話をしている者がいる場合に、乗り物オーディオ出力の音量を下げることと
を包含し、
前記インストラクションは、前記コンピュータに実行されると、さらに、
前記乗り物オーディオ出力の音量を下げた後に、前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて、音声認識を遂行すること
を結果としてもたらす、プログラム。
前記インストラクションは、前記コンピュータに実行されると、さらに、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、
前記遂行した発話認識に少なくとも部分的に基づいてユーザ命令を決定することと、を結果としてもたらす請求項２１に記載のプログラム。
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づく前記乗り物の前記１人または複数人の搭乗者の顔検出であって、前記乗り物の前記１人または複数人の搭乗者の間を区別するべく構成される顔検出を遂行することと、を包含する請求項２１又は２２に記載のプログラム。
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づく前記乗り物の前記１人または複数人の搭乗者の顔検出であって、前記乗り物の前記１人または複数人の搭乗者の間を区別するべく構成される顔検出を遂行することと、
前記顔検出に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、を包含する請求項２１又は２２に記載のプログラム。
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすること
を包含する請求項２１又は２２に記載のプログラム。
前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかを決定することは、さらに、
前記受け取った視覚データに少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者と個人プロファイルとを関連付けすることと、
前記口唇追跡に少なくとも部分的に基づいて前記乗り物の前記１人または複数人の搭乗者のうちの誰が話をしているかを決定することと、を包含し、
前記インストラクションは、前記コンピュータに実行されると、さらに、
前記受け取った聴覚データに少なくとも部分的に基づいて発話認識を遂行することと、
前記遂行した発話認識および前記乗り物の前記１人または複数人の搭乗者の誰と前記受け取った聴覚データとを関連付けするかの前記決定に少なくとも部分的に基づいて音声認識を遂行することと、を結果としてもたらす請求項２１に記載のプログラム。
請求項２１から２６のいずれか一項に記載のプログラムを格納するコンピュータ可読媒体。