JP6833659B2 - デジタル化された音声ストリームを分析するための低電力集積回路 - Google Patents

Description

コンピューティングデバイスは、音声命令（audio instructions）を処理し、応答を提供することによって、ユーザに対する高度化を増している。ユーザは、これらのコンピューティングデバイスを制御するために使用され得る音声命令を読み上げ得る。たとえば、ユーザは、特定の場所への道程を提供するようにとの命令といった情報を提供するために、コンピューティングデバイスに話し得る。

添付図面において、同一の参照番号は、同一のコンポーネントまたはブロックを指す。以下の詳細な説明は、図面を参照する。

図１は、音声ストリームを分析するための低電力集積回路と、集積回路によるキーワードの検出に応答してデジタル化された音声ストリームを分析するためのプロセッサと、を含む例示的なコンピューティングデバイスのブロック図である。 図２は、音声ストリームを分析し、キーワードが音声ストリーム中に検出された場合に電力を増大させるようプロセッサに信号を送信するための、例示的な低電力集積回路のブロック図である。 図３は、デジタル化された音声ストリームを分析するための例示的なコンピューティングデバイスと、デジタル化された音声ストリームから発生させたテキストストリームを分析するためにコンピューティングデバイスと通信するサーバと、のブロック図である。 図４は、音声ストリームを受信し、応答を決定するために、コンピューティングデバイスで実行される例示的な方法のフローチャートである。 図５は、デジタル化された音声ストリームを圧縮し、応答を差し出すために、コンピューティングデバイスで実行される例示的な方法のフローチャートである。

詳細な説明

音声情報処理において、ユーザは典型的に、ボタンを押すことおよび／または命令を読み上げることにより、音声を処理するためのアプリケーションをアクティブにする。音声処理アプリケーションを起動すると、ユーザは加えて、彼らがコンピューティングデバイスに実行を所望するであろう明示的な命令を読み上げる必要がある。したがって、ユーザからの話声命令を処理することは、時間を要し、反復的であり得る。加えて、ユーザからの命令を絶えず監視することは、多くの電力を消費し、バッテリーを消耗する。

これらの問題に対処するために、本明細書に開示される例示的な実施形態は、低電力集積回路を使用して音声ストリーム（audio stream）（たとえば、ユーザの話声）中のキーワードの出現を絶えず監視しながら、ユーザの話声のより徹底した分析についてはプロセッサに依拠する。たとえば、本明細書に開示されるさまざまな例は、低電力集積回路において音声ストリームを受信することと、音声ストリームをデジタル化することと、キーワードを認識するためにデジタル化された音声ストリームを分析することと、を提供する。デジタル化された音声ストリーム内にキーワードが認識されると、集積回路は、電力を増大させるようプロセッサに信号を送る。プロセッサへの電力が増大すると、デジタル化された音声ストリームが検索されて、応答が決定される。これは、ユーザが特定の音声処理アプリケーションを起動するために消費する時間の長さを減じ、ユーザの話声の反復を防止する。検索された音声ストリームから応答を決定することは、ユーザが、コンピューティングデバイスに話声分析を実行させるための追加の明示的な命令を提供することを防止する。

加えて、本明細書に開示されるさまざまな例では、プロセッサへの電力が増大すると、プロセッサは、メモリからデジタル化された音声ストリームを検索し、デジタル化された音声ストリームをテキストストリームに変換する。テキストストリームへの変換後、プロセッサは、テキストストリーム内のテキストに基づいて応答を決定する。テキストストリームから応答を決定することは、コンピューティングデバイスのユーザがコンピューティングデバイスに命令するための時間を減じる。加えてさらに、プロセッサは、音声ストリームのコンテキストに基づいて、適切な応答を決定し得る。さらに、コンピューティングデバイスは、ユーザへの応答を履行するためにどのアプリケーションが実行される必要があるかを決定する。さらにまた、デジタル化された音声ストリーム内にキーワードが認識されるとプロセッサへの電力が増大することにより、コンピューティングデバイスは、より少ない電力を消費しながら、ユーザの話声を聞く。

一実施形態において、コンピューティングデバイスはまた、サーバからまたはプロセッサから応答を受信することによって応答を決定し得る。さらなる実施形態において、メモリは、所定の時間期間にわたる記憶されたデジタル化された音声ストリームを維持する。この実施形態では、プロセッサは、時間増分（time increments）でデジタル化された音声ストリームを検索し得る。たとえば、プロセッサは、完全なデジタル化された音声ストリームを検索し得るか、または、より短い時間間隔のデジタル化された音声ストリームを検索し得る。デジタル化された音声ストリームの検索は、音声ストリームのコンテキストを分析して適切な応答を決定することをプロセッサに可能にさせる。

このように、本明細書に開示される例示的な実施形態は、コンピューティングデバイスが音声ストリームのコンテキストに基づいて適切な応答を決定するがゆえにコンピューティングデバイスへの反復する音声命令が防止されることにより、ユーザの時間を節約する。さらに、コンピューティングデバイスは、より少ない電力を消費しながら、音声ストリームを受信および処理する。

ここで図面を参照すると、図１は、音声ストリーム１０２を受信するための低電力集積回路１０４と、音声ストリームをデジタル化してメモリ１１２にデジタル化された音声ストリーム１１４を提供するためのデジタル化モジュール１０６と、を含む例示的なコンピューティングデバイス１００のブロック図である。さらに、低電力集積回路１０４は、デジタル化された音声ストリーム１１４をキーワードと比較し、キーワードの認識に基づいて、電力１２２を増大させるようプロセッサ１１８に信号１１６を送信するための、キーワード比較モジュール１０８を含む。さらにまた、プロセッサは、デジタル化された音声ストリーム１１４を分析するための分析モジュール１２０を含む。コンピューティングデバイス１００の実施形態は、コンポーネント１０４、１１２、および１１８を含むのに適した、クライアントデバイス、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップ、モバイルデバイス、または他のコンピューティングデバイスを含む。

音声ストリーム１０２が、コンピューティングデバイス１００、特に、低電力集積回路１０４によって受信される。音声ストリーム１０２は、デジタル化された音声ストリーム１１４を提供するためにデジタル化１０６される入力アナログ信号である。音声ストリーム１０２の実施形態は、ユーザからの話声または別のコンピューティングデバイスからの音声を含む。たとえば、音声ストリーム１０２を受信するいくつかのコンピューティングデバイス１００が存在し得、それらは混乱をきたし得る。したがって、コンピューティングデバイスは、音声ストリーム１０２を受信するための中央ポイントとして１つのデバイスを指定し得る。この実施形態において、低電力集積回路１０４は、１つ以上のコンピューティングデバイスの中央ユニットであり得るアドホックネットワークの一部として動作する。

たとえば、ユーザが、ニューヨークからカリフォルニア州のロサンゼルスまでの最短ルートを別の人と話し合い得る。この例において、音声ストリームは、ニューヨークからロサンゼルスまでの最短ルートの話し合いであろう。さらなる実施形態では、音声ストリーム１０２は、所定の時間期間にわたる音声を含み得る。たとえば、音声ストリーム１０２は、低電力集積回路１０４によって受信された場合に数秒または数分を含み得る。この例において、低電力集積回路１０４は、音声ストリーム１０２を他の音声ストリーム１０２から区別し得る。

低電力集積回路１０４は、音声ストリーム１０２をデジタル化するためのモジュール１０６と、デジタル化された音声ストリーム１１４をキーワードと比較するためのモジュール１０８と、を含む。低電力集積回路１０４は、他の電子コンポーネント間の相互接続を形成する材料の表面上にパターン化されたトレース素子を有する電子回路である。たとえば、低電力集積回路１０４は、プロセッサ１１８とメモリ１１２との間の接続を形成する。低電力集積回路１０４の実施形態は、音声ストリーム１０２を受信し、信号１１６を送信することができる、マイクロチップ、チップセット、電子回路、チップ、マイクロプロセッサ、半導体、マイクロコントローラ、または他の電子回路を含む。低電力集積回路１０４は、音声ストリーム１０２を絶えず監視し、デジタル化モジュール１０６を利用して音声ストリームをデジタル化し、デジタル化された音声ストリームをメモリ１１２に記憶することができる。したがって、低電力集積回路１０４のさらなる実施形態は、送信機、受信機、マイクロフォン、または、音声ストリーム１０２を受信するための他の適切なコンポーネントを含む。

音声ストリームがモジュール１０６でデジタル化されて、デジタル化された音声ストリーム１１４が提供される。デジタル化モジュール１０６は、音声ストリームを離散時間信号表現に変換する。デジタル化モジュール１０６の実施形態は、低電力集積回路１０４と共に動作する、アナログデジタルコンバータ（ＡＤＣ）、デジタル変換デバイス、命令、ファームウェア、および／またはソフトウェアを含む。たとえば、デジタル化モジュール１０６は、入力アナログ電圧をアナログ信号の大きさに比例したデジタル数に変換するための電子デバイスを含み得る。

音声ストリーム１０２がモジュール１０６でデジタル化されると、それは、モジュール１０８でキーワードと比較される。モジュール１０８で、音声ストリーム１０２が電力１２２を増大させ、デジタル化された音声ストリーム１１４を取得してモジュール１２０で分析するよう、プロセッサ１１８にシグナリング１１６するためのインジケーションとして動作する、キーワードに対して比較される。１０８の実施形態は、命令、処理、動作、論理、アルゴリズム、技法、論理関数、ファームウェア、および／またはソフトウェアを含む。キーワードが認識されると、低電力集積回路１０４は、プロセッサ１１８に電力１２２を増大させるよう信号１１６を送信する。

キーワードの実施形態は、モジュール１０８で比較するための、デジタル信号、アナログ信号、パターン、データベース、コマンド、指示、命令、または他の表現を含む。たとえば、コンピューティングデバイスのユーザが、小エビとクルマエビの違いを友人と話し合い、その後、ウェブ検索を実行して答えを特定することを所望し得る。したがって、ユーザは、キーワード比較モジュール１０８によるキーワードの認識と分析モジュール１２０による先の話し合いのその後の分析とをトリガするための、所定のキーワードを表明し得る。

キーワードは、たとえば、フレーズ、単一のキーワード、またはコンピューティングデバイスのユーザにとって私的な単一のキーワードを含み得る。先の例を踏まえると、キーワードは、「コンピュータ、何だと思いますか？」というフレーズであり得る。この例において、このフレーズは、このフレーズの前または後に音声を含み得るデジタル化された音声ストリーム１１４を取得するようプロセッサ１１８に信号１１６を送ることを、低電力集積回路１０４にさせる。したがって、プロセッサ１１８がデジタル化された音声ストリーム１１４を分析して適切な応答のために音声ストリーム１０２のコンテキストを決定するので、ユーザは、命令を繰り返す必要がない。また、さらなる例において、単一のキーワードは、「ジャジャーン（Shazam）」を含み得る。したがって、特定の例として、ユーザが「ジャジャーン」という単語を話すと、回路１０４は、キーワードを検出し、デジタル化された音声ストリーム１１４を取得してこのストリームをテキストストリームに変換するようプロセッサ１１８に命令するための信号１１６を送信し得る。テキストストリームがユーザの母親へのテキストメッセージを作成するようにとの命令であると仮定すると、適切な応答は、テキストメッセージを作成することであろう。したがって、上述したように、所定のキーワード（単数または複数）を使用して、低電力集積回路１０４は、コンピューティングデバイスのユーザが道程またはウェブ検索の実行といったさらなる応答を完了する必要がある場合を認識する。

モジュール１０８のさらなる実施形態において、キーワードがデジタル化された音声ストリーム１１４内に認識されない場合、低電力集積回路１０４は、モジュール１０６でデジタル化され、メモリ１１２に記憶された、別の音声ストリーム１０２を監視し続ける。さらなる別の実施形態において、低電力集積回路１０４は、デジタル化された音声ストリーム１１４を圧縮し、この圧縮されたデジタル化された音声ストリームは、それをモジュール１０８でキーワードと比較することによってキーワードを認識するために使用される。

メモリ１１２は、デジタル化された音声ストリーム１１４を記憶および／または維持する。メモリ１１２の実施形態は、デジタル化された音声ストリーム１１４を記憶および／または維持することができる、メモリバッファ、キャッシュ、不揮発性メモリ、揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、電気的に消去可能なプログラム可能な読み出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、ストレージドライブ、コンパクトディスク読み出し専用メモリ（ＣＤＤＲＯＭ）、または他のメモリを含み得る。

デジタル化された音声ストリーム１１４は、メモリ１１２に記憶される。実施形態は、低電力集積回路１０４が、デジタル化モジュール１０６の後に音声ストリーム１０２を圧縮して、メモリ１１２における配置の前に、圧縮されたデジタル化された音声ストリームを取得することを含み得る。図１はメモリ１１２に記憶されたデジタル化された音声ストリーム１１４を示しているが、デジタル化された音声ストリームはまた、低電力集積回路１０４上のメモリに記憶されることもできる。さらなる実施形態において、デジタル化された音声ストリーム１１４は、所定の長さの時間の音声ストリーム１０２を含む。この実施形態において、音声ストリーム１０２が、数秒または数分といった所定の時間期間にわたって受信されると、この所定の時間期間の音声ストリーム１０２は、デジタル化され、プロセッサ１１８が取得および／または検索するためにメモリ１１２に記憶される。さらにこの実施形態では、別の音声ストリーム１０２が低電力集積回路１０４によって受信され、デジタル化された場合、メモリにおける前のデジタル化された音声ストリームは、より現在に近いデジタル化された音声ストリーム１１４と置き換えられる。したがって、プロセッサ１１８は、最も現在に近い音声ストリーム１０２を取得および／または検索する。この実施形態において、メモリは、最も現在に近い音声ストリーム１０２を提供するための先入先出バッファとして動作する。

信号１１６は、デジタル化された音声ストリーム１１４内にキーワードが認識されると、低電力集積回路１０４からプロセッサ１１８に送信される。信号１１６は、電力１２２を増大させ、メモリ１１２からのデジタル化された音声ストリーム１１４を分析するよう、プロセッサ１１８に命令する。信号１１６の実施形態は、電力１２２を増大させるためのプロセッサ１１８への通信、送信、電気信号、命令、デジタル信号、アナログ信号、または他のタイプの通信を含む。信号１１６のさらなる実施形態は、デジタル化された音声ストリーム１１４内にキーワードが認識されるとプロセッサ１１８に送信される割り込みを含む。

プロセッサ１１８は、電力１２２を増大させ、デジタル化された音声ストリーム１１４を取得してモジュール１２０で分析するようにとの信号１１６を受信する。プロセッサ１１８の実施形態は、デジタル化された音声ストリーム１１４を分析１２０するのに適した中央処理ユニット（ＣＰＵ）、視覚処理ユニット（ＶＰＵ）、マイクロプロセッサ、グラフィックスプロセッシングユニット（ＧＰＵ）、または他のプログラム可能なデバイスを含み得る。

プロセッサ１１８がメモリ１１２からデジタル化された音声ストリーム１１４を取得すると、プロセッサは、モジュール１２０でデジタル化された音声ストリーム１１４を分析する。分析モジュール１２０の実施形態は、プロセッサ１１８が、フェッチ、復号、および／または実行し得る、命令、処理、動作、論理、アルゴリズム、技法、論理関数、ファームウェア、および／またはソフトウェアを含む。モジュール１２０の追加の実施形態は、デジタル化された音声ストリーム１１４をテキストストリームに変換して、音声ストリーム１０２のコンテキストに基づいて適切な応答を決定することを含む。モジュール１２０のさらなる実施形態は、後の図面において見られるように、コンピューティングデバイス１００のユーザに差し出すための応答を決定することを含む。

電力１２２は、プロセッサ１１８に電位の形態で電気エネルギーを供給する。特に、電力１２２は、低電力集積回路１０４から信号１１６が受信されると、プロセッサ１１８への電気エネルギーを増大させる。プロセッサ１１８への電力１２２を増大させることは、デジタル化された音声ストリーム１１４を取得するよう、プロセッサ１１８をウェイクまたはトリガする。電力１２２の実施形態は、プロセッサ１１８に電力１２２を与えることができる、電源、電力管理デバイス、バッテリー、エネルギーストレージ、電気機械システム、ソーラーパワー、電源プラグ、または他のデバイスを含む。さらなる実施形態において、電力１２２は、コンピューティングデバイス１００に電気エネルギーを供給する。

ここで図２を参照すると、音声ストリーム２０２を分析し、キーワードが音声ストリーム２０２中に検出された場合に電力を増大させるようプロセッサに信号２１６を送信するための、例示的な低電力集積回路２０４のブロック図である。低電力集積回路２０４は、デジタル化回路素子２０６を使用してデジタル化された音声ストリーム２１４を生成するための回路素子２１０を含み、比較回路素子２０８によってキーワードを検出し、デジタル化された音声ストリーム２１４中にキーワードを認識すると、信号２１６を送信する。

音声ストリーム２０２が、低電力集積回路２０４によって受信される。音声ストリーム２０２は、図１の音声ストリーム１０２と構造が同様であり得る。

低電力集積回路２０４は、音声ストリーム２０２をデジタル化し、デジタル化された音声ストリーム２１４をキーワードと比較するための回路素子２１０を含む。低電力集積回路２０４は、図１における上述した低電力集積回路１０４と機能および構造が同様であり得る。

回路素子２１０は、デジタル化回路素子２０６および比較回路素子２０８を含む。回路素子２１０の実施形態は、音声ストリーム２０２をデジタル化し、デジタル化された音声ストリーム２１４をキーワードと比較することができる、論理、アナログ回路素子、電子回路素子、デジタル回路素子、または他の回路素子を含む。さらなる実施形態において、回路素子は、回路素子２０６および２０８をフェッチ、復号、および／または実行するために、低電力集積回路２０４と独立しておよび／または共に利用され得る、アプリケーションおよび／またはファームウェアを含む。

音声ストリーム２０２が、回路素子２０６によって受信され、デジタル化されて、デジタル化された音声ストリーム２１４が生成される。デジタル化回路素子２０６は、音声ストリーム２０２のための変換のタイプである。さらに、デジタル化回路素子２０６は、図１に関連して説明されたデジタル化モジュール１０６と機能が同様であり得る。

低電力集積回路２０４は、音声ストリーム２０２を受信して回路素子２０６でデジタル化し、デジタル化された音声ストリーム２１４を生成する。デジタル化された音声ストリーム２１４は、図１に関連して説明されたデジタル化された音声ストリーム１１４と構造が同様であり得る。さらに、図２は、低電力集積回路２０４の外側にデジタル化された音声ストリーム２１４を示しているが、デジタル化された音声ストリーム２１４はまた、低電力集積回路２０４内に位置することもできる。低電力集積回路２０４内に位置するデジタル化された音声ストリーム２１４は、キーワードとの比較のために回路素子２０８で使用される。別の実施形態において、デジタル化された音声ストリーム２１４は、メモリにおいて記憶および／または維持される。

低電力集積回路２０４の回路素子２１０に含まれる回路素子２０８は、デジタル化された音声ストリーム２１４をキーワードと比較する。さらに、２０８は、デジタル化された音声ストリーム２１４内にキーワードを認識して、プロセッサに電力を増大させるための信号２１６を送信するために使用される。比較回路素子２０８は、図１に関連して説明されたモジュール１０８と機能が同様であり得る。

信号２１６は、比較回路素子２０８によりデジタル化された音声ストリーム２１４内にキーワードが認識されると、電力を増大させるようデバイスに命令する。信号２１６は、図１の信号１１６と構造および機能が同様であり得る。信号２１６の実施形態は、電力を増大させ、メモリからのデジタル化された音声ストリーム２１４を分析するよう、プロセッサに命令することを含む。この実施形態において、信号２１６は、デジタル化された音声ストリーム２１４を取得して分析し、回路素子２０８でのキーワード認識に基づいて応答を決定するよう、プロセッサに命令する。

図３は、デジタル化された音声ストリーム３１４を分析するための例示的なコンピューティングデバイス３００と、デジタル化された音声ストリーム３１４から発生させたテキストストリーム３２４を分析するためにコンピューティングデバイス３００と通信するサーバ３２６と、のブロック図である。コンピューティングデバイス３００は、低電力集積回路３０４、メモリ３１２、プロセッサ３１８、出力デバイス３２８、およびサーバ３２６を含む。特に、図３は、出力デバイス３２４でコンピューティングデバイスのユーザに応答を差し出すためにサーバ３２６またはプロセッサ３１８によって処理されるテキストストリーム３２４を示す。コンピューティングデバイス３００は、図１に関連して説明されたコンピューティングデバイス１００と構造および機能が同様であり得る。

音声ストリーム３０２が、コンピューティングデバイス３００、特に、低電力集積回路３０４によって受信される。音声ストリーム３０２は、図１および図２におけるそれぞれの音声ストリーム１０２および２０２と、構造が同様であり得る。

低電力集積回路３０４は、デジタル化モジュール３０６および分析モジュール３０８を含む。一実施形態において、低電力集積回路３０４は、モジュール３０６および３０８を備えるための回路素子を含む。低電力集積回路３０４は、図１および図２に関連してそれぞれ説明された低電力集積回路１０４および２０４と構造および機能が同様であり得る。

音声ストリーム３０２は、コンピューティングデバイス３００によって受信されると、デジタル化３０６されて、デジタル化された音声ストリーム３１４が生成される。デジタル化モジュール３０６は、図１および図２におけるそれぞれのデジタル化モジュール１０６およびデジタル化回路素子２０６と構造および機能が同様であり得る。さらなる実施形態において、音声ストリーム３０２がモジュール３０６でデジタル化されると、低電力集積回路３０４は、デジタル化された音声ストリーム３１４を、記憶および／または維持のためにメモリ３１２に送信する。

音声ストリーム３１４がデジタル化されると、低電力集積回路は、モジュール３０８でデジタル化された音声ストリーム３１４を分析する。一実施形態において、モジュール３０８は、キーワードをデジタル化された音声ストリーム３１４と比較する。この実施形態において、３０８は、図１における上述した比較モジュール１０８の機能を含む。

メモリ３１２は、低電力集積回路３０４からのデジタル化された音声ストリーム３１４を記憶する。一実施形態において、メモリ３１２は、所定の時間期間中に受信されたデジタル化された音声ストリーム３１４を維持する。たとえば、音声ストリーム３０２は、数秒の所定の時間にわたって監視されることができ、したがって、この数秒の音声ストリーム３０２は、モジュール３０６でデジタル化され、メモリ３１２に送られる。この例において、メモリ３１２は、信号３１６を受信すると分析のためにプロセッサ３１８によって検索および／または取得されるように、数秒のデジタル化された音声ストリーム３１４を記憶する。また、この例において、数秒の別の音声ストリーム３０２が受信され、デジタル化された場合、この別のデジタル化された音声ストリーム３１４は、前のデジタル化された音声ストリーム３１４と置き換わる。これは、最新の音声ストリーム３０２をプロセッサ３１８による取得および／または検索のために維持することをメモリ３１２に可能にさせる。メモリ３１２は、図１に関連して説明されたメモリ１１２と構造および機能が同様であり得る。

音声ストリーム３０２がデジタル化され３０６、デジタル化された音声ストリーム３１４が生成される。デジタル化された音声ストリーム３１４は、メモリ３１２に記憶および／または維持される。実施形態において、プロセッサ３１８は、信号３１６を受信すると、デジタル化された音声ストリーム３１４を取得してモジュール３２０で分析する。デジタル化された音声ストリーム３１４は、図１および図２に関連してそれぞれ説明されたデジタル化された音声ストリーム１１４および２１４と構造および機能が同様であり得る。

信号３１６は、低電力集積回路３０４からプロセッサ３１８への、電力３２２を増大させるための送信である。信号３１６の実施形態は、デジタル化された音声ストリーム３１４を取得してモジュール３２０で分析するようプロセッサ３１８に追加で命令する。信号３１６は、図１および図２に関連してそれぞれ説明された信号１１６および２１６と構造および機能が同様であり得る。

電力３２２は、プロセッサ３１８および／またはコンピューティングデバイス３００に電気エネルギーを供給する。電力３２２は、図１に関連して説明された電力１２２と構造および機能が同様であり得る。

プロセッサ３１８は、分析モジュール３２０およびテキストストリーム３２４を含む。特に、プロセッサ３１８は、電力３２２を増大させるための信号３１６を受信する。この信号３１６を受信すると、プロセッサ３１８は、デジタル化された音声ストリーム３１４を取得してモジュール３２０で分析する。さらなる実施形態において、プロセッサ３１８は、デジタル化された音声ストリーム３１４をテキストストリーム３２４に変換する。この実施形態において、テキストストリーム３２４内のテキストは、コンピューティングデバイス３００のための応答を命じる。テキストストリームは、アルファベット、数字のセット、または英数字のセットからの、シンボルまたは表現の有限のシーケンスのストリングである。たとえば、デジタル化された音声ストリーム３１４は、二進言語（binary language）におけるものであり得るので、プロセッサは、二進表現のバイトを単語に翻訳する。さらなる例において、デジタル化された音声ストリーム３１４は、単語および／または数を表す言語におけるものであり得るので、プロセッサ３１８は、この言語をプロセッサ３１８が理解するテキストに翻訳する。応答の実施形態は、ウェブ検索を実行すること、電話番号をダイヤルすること、アプリケーションを開くこと、テキストを記録すること、メディアをストリーミングすること、テキストメッセージを作成すること、道程を一覧表示すること、または道程を話すことを含む。さらなる実施形態において、プロセッサ３１８は、コンピューティングデバイス３００のユーザに差し出すための応答を決定する。プロセッサ３１８は、図１に関連して説明されたプロセッサ１１８と構造および機能が同様であり得る。

プロセッサ３１８は、モジュール３２０で記憶されたデジタル化された音声ストリーム３１４を分析する。分析モジュール３２０の実施形態は、メモリ３１４から取得されたデジタル化された音声ストリーム３１４をサーバ３２６に送信することを含む。モジュール３２０の他の実施形態は、メモリ３１２から取得されたデジタル化された音声ストリーム３１４をテキストストリーム３２４に変換することと、テキストストリーム３２４をサーバ３２６に送信することとを含む。モジュール３２０の他の実施形態は、音声ストリーム３０２のコンテキストを分析することによって適切な応答を決定するために、デジタル化された音声ストリーム３１４をテキストストリーム３２４に変換することを含む。たとえば、デジタル化された音声ストリーム３１４は、モジュール３２０でテキストストリーム３２４に変換されることができ、プロセッサ３１８は、音声ストリーム３０２のコンテキストに基づいて適切な応答を決定するためにテキストストリーム３２４内のテキストを分析するために自然言語処理を利用し得る。

テキストストリーム３２４は、コンピューティングデバイス３００のための適切な応答を決定するためのテキストを含む。一実施形態において、テキストストリーム３２４は、出力デバイス３２８でコンピューティングデバイス３００のユーザに差し出すための適切な応答を決定するためにプロセッサによって処理される。別の実施形態において、テキストストリーム３２４は、コンピューティングデバイス３００に送信される適切な応答を決定するためにサーバ３２６によって処理される。この実施形態において、応答は、サーバ３２６からコンピューティングデバイス３００に送られる。さらなる実施形態において、コンピューティングデバイス３００は、コンピューティングデバイス３００のユーザに応答を差し出す。たとえば、テキストストリーム３２４は、母親にテキストメッセージを送ることを話し合うテキストを含み得る。したがって、テキストストリーム３２４内のテキストは、コンピューティングデバイス３００のために、母親へのテキストメッセージを作成することによって応答するよう命じる。

サーバ３２６は、ネットワークにわたってサービスを提供し、テキストストリーム３２４を処理してコンピューティングデバイス３００に応答を送信するのに適した、たとえば、ウェブサーバ、ネットワークサーバ、ローカルエリアネットワーク（ＬＡＮ）サーバ、ファイルサーバ、または任意の他のコンピューティングデバイスを含み得る。

出力デバイス３２８は、コンピューティングデバイス３００のユーザにテキストストリーム３２４内のテキストから決定された応答を差し出す。出力デバイス３２８の実施形態は、コンピューティングデバイス３００のユーザに応答を差し出すための、表示デバイス、スクリーン、またはスピーカーを含む。母親へのテキストメッセージの例を踏まえると、コンピューティングデバイス３００のユーザは、母親へのテキストメッセージが作成されているのを示すディスプレイ、および／または、テキストメッセージをユーザに通信するためのスピーカーを有し得る。

ここで図４を見てみると、音声ストリームを受信し、応答を決定するためにコンピューティングデバイスで実行される例示的な方法のフローチャートである。図４は、図１におけるようなコンピューティングデバイス１００で実行されるものとして説明されるが、それはまた、当業者に理解されるように、他の適切なコンポーネントで実行されることもできる。たとえば、図４は、メモリ１１２のような機械可読記憶媒体における実行可能な命令の形態で実現され得る。

動作４０２で、低電力集積回路と共に動作するコンピューティングデバイスが、音声ストリームを受信する。一実施形態において、音声ストリームは、所定の長さの時間のものであり得る。たとえば、音声ストリームは、数秒または数ミリ秒であり得る。この実施形態において、コンピューティングデバイスは、絶えず音声を監視し得る。さらなる実施形態において、音声ストリームは、ユーザからの話声または他のコンピューティングデバイスからの音声の少なくとも１つを含む。

動作４０４で、コンピューティングデバイスと共に動作する低電力集積回路は、動作４０２で受信された音声ストリームをデジタル化して、デジタル化された音声ストリームを生成する。動作４０４の実施形態は、低電力集積回路と共に動作する、アナログデジタルコンバータ（ＡＤＣ）、デジタル変換デバイス、命令、ファームウェア、および／またはソフトウェアの使用を含む。動作４０４の実施形態は、デジタル化された音声ストリームをメモリに送信することを含む。４０４のさらなる実施形態が動作４０２で受信された音声ストリームを圧縮することを含む一方で、４０４の別の実施形態は、デジタル化された音声ストリームを圧縮することを含む。

動作４０６で、動作４０４で生成されたデジタル化された音声ストリームが、メモリに記憶される。動作４０６の実施形態は、メモリがデジタル化された音声ストリームを記憶および／または維持することを含む。動作４０６の別の実施形態において、動作４０２で所定の長さの時間中に受信された音声ストリームが動作４０４でデジタル化され、たとえば、別の音声ストリームが、動作４０２で受信され、動作４０４でデジタル化された場合、この現在のデジタル化された音声ストリームが、前のデジタル化された音声ストリームと置き換わる。この実施形態において、メモリは、現在の時間より前の所定の時間期間中に受信された記憶されたデジタル化された音声ストリームを維持する。

動作４０８で、低電力集積回路は、動作４０４で生成されたデジタル化された音声ストリームを分析する。動作４０８の実施形態が、デジタル化された音声ストリームを処理することを含む一方で、他の実施形態は、デジタル化された音声ストリームをキーワードと比較することを含む。動作４０８のこれらの実施形態において、低電力集積回路は、キーワードについてデジタル化された音声ストリームを処理する。デジタル化された音声ストリーム内にキーワードが認識されると、方法は、信号を送信するための動作４１０へと移行する。さらなる実施形態において、低電力集積回路がデジタル化された音声ストリーム内にキーワードを認識しない場合、方法は、動作４０２へと戻る。さらに、さらなる実施形態は、デジタル化された音声ストリームを、コンピューティングデバイスのユーザがコンピューティングデバイスによる応答を所望することを示すアナログまたはデジタルの表現と比較することを含む。さらなる実施形態ではまた、動作４０２、４０４、４０６、および４０８は、並行して行われる。たとえば、コンピューティングデバイスが４０８でデジタル化された音声ストリームを分析するときに、集積回路は、動作４０２で音声ストリームを受信し、動作４０４および４０６で音声ストリームをデジタル化し、記憶し続ける。

動作４１０で、低電力集積回路は、電力を増大させるようプロセッサに信号を送信する。特に、デジタル化された音声ストリーム内にキーワードが認識されると、低電力集積回路は、電力を増大させるようプロセッサに信号を送信する。動作４１０の実施形態において、プロセッサは、プロセッサおよび／またはコンピューティングデバイスに与えられる電力または電気エネルギーを増大させる。

動作４１２で、プロセッサは、メモリから動作４０６で記憶されたデジタル化された音声ストリームを取得する。動作４１２の一実施形態では、メモリがプロセッサに、デジタル化された音声ストリームを送信する一方で、動作４１２の別の実施形態では、プロセッサがメモリから、デジタル化された音声ストリームを検索する。

動作４１４で、プロセッサは、動作４１２で取得されたデジタル化された音声ストリームをテキストストリームに変換する。デジタル化された音声ストリームをテキストストリームに変換した後、プロセッサは、テキストストリーム内のテキストを分析して、適切な応答を決定する。動作４１４の実施形態は、スピーチトゥテキスト（ＳＴＴ）、ボイストゥテキスト、デジタルトゥテキスト、または他のタイプの、テキスト変換を使用することを含む。動作４１４のさらなる実施形態は、テキストストリームへの変換後に自然言語処理を使用することを含む。この実施形態では、コンピューティングデバイスは、テキストストリーム内のテキストを処理して、動作４０２で受信された音声ストリームのコンテキストに基づいて適切な応答を決定する。たとえば、４０８でデジタル化された音声ストリーム内にキーワードを検出すると、プロセッサがデジタル化された音声ストリームを動作４１２で取得して、デジタル化された音声ストリームが動作４１４でテキストストリームに変換される。さらなる例において、音声ストリームは、２つの場所の間の道程についての会話を含み得、たとえば、このデジタル化された音声ストリームが動作４１２でテキストストリームに変換されると、プロセッサは、テキストストリーム内のテキストを分析することによって適切な応答を決定し得る。

動作４１６で、プロセッサは、動作４１４で生成されたテキストストリームに基づいて応答を決定する。応答の実施形態は、ウェブ検索を実行すること、電話番号をダイヤルすること、アプリケーションを開くこと、テキストを記録すること、メディアをストリーミングすること、テキストメッセージを作成すること、道程を一覧表示すること、または道程を話すことを含む。一実施形態において、テキストストリーム内のテキストは、プロセッサのための適切な応答を命じる。さらなる実施形態において、応答は、コンピューティングデバイスのユーザに差し出される。たとえば、テキストストリームは、どのようにして中国に到達するかを尋ねる話声を含み得、したがって、中国への道程が適切な応答であろう。加えて、この例では、中国への道程を、地図表示で一覧表示すること、および／または、話すことが含まれ得る。

ここで図５を参照すると、デジタル化された音声ストリームを圧縮し、コンピューティングデバイスのユーザに応答を差し出すためにコンピューティングデバイスで実行される例示的な方法のフローチャートである。図５は、図３における上述したコンピューティングデバイス３００で実行されるものとして説明されるが、それはまた、当業者に理解されるように、他の適切なコンポーネントで実行されることもできる。たとえば、図５は、メモリ３１２のような機械可読記憶媒体における実行可能な命令の形態で実現され得る。

動作５０２で、コンピューティングデバイスは、デジタル化された音声ストリームを圧縮する。一実施形態において、動作５０２は、図４における動作４０６より前の動作４０４と共に実行される。たとえば、受信された音声ストリームがデジタル化されると、低電力集積回路がコンピューティングデバイスと共に動作して、ストリームのデータバイトサイズを減じるためにデジタル化された音声ストリームを圧縮し得る。この例において、デジタル化された音声ストリームの圧縮は、動作４０６でメモリに記憶される前に行われる。さらなる実施形態において、動作５０２は、図４における動作４１２でデジタル化された音声ストリームを受信する前に実行される。たとえば、プロセッサが、メモリからのデジタル化された音声ストリームを圧縮するための動作５０２を実行し得る一方で、別の例では、メモリが、プロセッサがデジタル化された音声ストリームを取得する前にデジタル化された音声ストリームを圧縮し得る。動作５０２のさらなる別の実施形態では、圧縮されたデジタル化された音声ストリームが、図４におけるステップ４０８でのように、キーワードを認識するために分析される。

動作５０４で、コンピューティングデバイスは、コンピューティングデバイスのユーザに応答を差し出す。動作５０４の実施形態は、図４における動作４１６中または後に行われることを含む。たとえば、プロセッサが適切な応答を決定すると、この応答は、コンピューティングデバイスのユーザに差し出され得る。さらなる実施形態において、応答は、コンピューティングデバイスと共に動作するディスプレイ画面またはスピーカーといった出力デバイス上でユーザに差し出されることができる。たとえば、ユーザが小エビとクルマエビとの違いを話し合っている場合、プロセッサは、ウェブ検索アプリケーションを起動して、たとえば、小エビとクルマエビとの違いのウェブ検索を実行し得る。実行されたウェブ検索は、コンピューティングデバイスの表示デバイス上でユーザに差し出され得る。さらなる例において、コンピューティングデバイスは、小エビとクルマエビの違いを、スピーカーを通じてユーザに聞こえるように読み上げる。これらの実施形態において、コンピューティングデバイスは、ユーザがコンピューティングデバイスに命令するよりもむしろ音声ストリームを用いて応答を決定するように動作する。

本明細書において詳細に説明された実施形態は、キーワードを検出するために音声ストリームをデジタル化し、デジタル化された音声ストリーム内のキーワードの認識に基づいて、電力を増大させ、さらにデジタル化された音声ストリームを分析して応答を決定するよう、プロセッサに信号を送信することに関する。このように、例示的な実施形態は、コンピューティングデバイスへの反復した音声命令を防止しながら、コンピューティングデバイスの電力消費を減じることによって、ユーザの時間を節約する。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
低電力集積回路とプロセッサとを含むコンピューティングデバイスによって実行される方法であって、
音声ストリームを受信することと、
前記音声ストリームをデジタル化することと、
前記デジタル化された音声ストリームをメモリに記憶することと、
前記低電力集積回路を使用してキーワードの認識のために前記デジタル化された音声ストリームを分析することと、
前記デジタル化された音声ストリーム内に前記キーワードが認識されると、前記低電力集積回路から前記プロセッサに電力を増大させるための信号を送信することと、
前記メモリから前記プロセッサに前記記憶されたデジタル化された音声ストリームを送信することと、
前記プロセッサを使用して前記デジタル化された音声ストリームをテキストストリームに変換することと、
前記テキストストリームに基づいて前記プロセッサのための応答を決定することと
を備える方法。
［Ｃ２］
前記デジタル化された音声ストリームを圧縮して、圧縮されたデジタル化された音声ストリームにすること
をさらに備え、前記分析することは、前記キーワードの認識のために前記圧縮されたデジタル化された音声ストリームを分析することを備える、Ｃ１に記載の方法。
［Ｃ３］
前記コンピューティングデバイスのユーザに前記応答を差し出すこと
をさらに備える、Ｃ１に記載の方法。
［Ｃ４］
前記応答は、ウェブ検索を実行すること、電話番号をダイヤルすること、アプリケーションを開くこと、テキストを記録すること、メディアをストリーミングすること、テキストメッセージを作成すること、道程を一覧表示すること、または道程を話すこと、の少なくとも１つを含む、Ｃ３に記載の方法。
［Ｃ５］
前記メモリは、現在の時間より前の所定の時間期間中に受信された、前記記憶されたデジタル化された音声ストリームを維持する、Ｃ１に記載の方法。
［Ｃ６］
前記プロセッサのための前記応答を決定することは、
サーバから前記サーバによる前記テキストストリームの分析に基づいた前記応答を受信することと、
前記プロセッサによって前記テキストストリームの分析に基づいて前記応答を決定することと
の１つを備える、Ｃ１に記載の方法。
［Ｃ７］
前記音声ストリームは、ユーザからの話声、別のコンピューティングデバイスからの話声、および前記別のコンピューティングデバイスからの音声、の少なくとも１つを含む、Ｃ１に記載の方法。
［Ｃ８］
コンピューティングデバイスであって、
音声ストリームを受信すると、前記音声ストリームをデジタル化してメモリに記憶し、
キーワードを認識するために前記デジタル化された音声ストリームを分析し、
前記デジタル化された音声ストリーム中に前記キーワードを認識すると、プロセッサに電力を増大させるための信号を送信する
ための低電力集積回路と、
前記低電力集積回路からの前記信号に基づいて電力を増大させ、
応答を決定するために前記デジタル化された音声ストリームを分析する
ためのプロセッサと
を備えるコンピューティングデバイス。
［Ｃ９］
前記デジタル化された音声ストリームを分析するために、前記プロセッサはさらに、
前記電力を増大させるための信号を受信することに基づいて、前記メモリから前記デジタル化された音声ストリームを検索し、
前記デジタル化された音声ストリームをテキストストリームに変換し、
前記テキストストリーム中のテキストによって命じられた前記応答を決定する
ためのものである、Ｃ８に記載のコンピューティングデバイス。
［Ｃ１０］
前記デジタル化された音声ストリームを分析するために、前記プロセッサはさらに、
前記電力を増大させるための信号を受信することに基づいて、前記メモリから前記デジタル化された音声ストリームを検索し、
前記応答を決定するために、サーバに、前記デジタル化された音声ストリームまたは前記デジタル化された音声ストリームから発生させたテキストストリームを送信し、
前記サーバから前記応答を受信する
ためのものである、Ｃ８に記載のコンピューティングデバイス。
［Ｃ１１］
前記低電力集積回路はさらに、
前記デジタル化された音声ストリームを圧縮して、圧縮されたデジタル化された音声ストリームを取得し、
前記キーワードを認識するために前記圧縮されたデジタル化された音声ストリームを分析する
ためのものである、Ｃ８に記載のコンピューティングデバイス。
［Ｃ１２］
前記コンピューティングデバイスのユーザに前記応答を差し出すための出力デバイス
をさらに備える、Ｃ８に記載のコンピューティングデバイス。
［Ｃ１３］
前記キーワードを認識するために前記デジタル化された音声ストリームを分析するために、前記低電力集積回路は、前記デジタル化された音声ストリームを前記キーワードと比較する、Ｃ８に記載のコンピューティングデバイス。
［Ｃ１４］
低電力集積回路であって、
音声ストリームを受信し、
前記音声ストリームをデジタル化し、
前記デジタル化された音声ストリームをメモリに記憶し、
前記デジタル化された音声ストリームをキーワードと比較し、
前記デジタル化された音声ストリーム中に前記キーワードが認識されると、電力を増大させ、前記メモリからの前記記憶されたデジタル化された音声ストリームを分析するよう、コンピューティングデバイスのプロセッサに命令するための信号を送信する
ための回路素子
を備える低電力集積回路。
［Ｃ１５］
前記メモリは、所定の時間期間にわたる前記記憶されたデジタル化された音声ストリームを維持する、Ｃ１４に記載の低電力集積回路。

Claims (12)

1. 低電力集積回路およびプロセッサを含むコンピューティングデバイスによって実行される方法であって、
   前記低電力集積回路によって、音声ストリームを受信することと、
   前記低電力集積回路によって、前記音声ストリームを継続的に監視することと、
   前記低電力集積回路によって、前記音声ストリームをデジタル化することと、
   前記低電力集積回路によって、前記デジタル化された音声ストリームをメモリに記憶することと、ここにおいて、前記デジタル化された音声ストリームを記憶することは前記メモリに記憶された従前のデジタル化された音声ストリームを前記デジタル化された音声ストリームに交換することを含む、と、
   前記低電力集積回路によって、キーワードの認識のために前記メモリに記憶された前記デジタル化された音声ストリームを分析することと、
   前記低電力集積回路によって前記メモリに記憶された前記デジタル化された音声ストリーム内に前記キーワードが認識されると、前記プロセッサの電力を増大させるための信号を前記低電力集積回路から前記プロセッサへ送信することと、
   前記信号に基づいて前記プロセッサが前記プロセッサに与えられる電力を増大させた後に、前記プロセッサを使用して前記メモリに記憶された前記デジタル化された音声ストリームを分析することと、
   前記プロセッサによって、前記プロセッサを使用して分析された前記メモリに記憶された前記デジタル化された音声ストリームに基づいて１つ以上の動作を実行するよう前記コンピューティングデバイスを促すことと を備える方法。
2. 前記デジタル化された音声ストリームを圧縮して、圧縮されたデジタル化された音声ストリームにすること
   をさらに備え、前記低電力集積回路によって、前記メモリに記憶された前記デジタル化された音声ストリームを分析することは、前記キーワードの認識のために前記圧縮されたデジタル化された音声ストリームを分析することを備える、請求項１に記載の方法。
3. 前記プロセッサを使用して前記メモリに記憶された前記デジタル化された音声ストリームをテキストストリームに変換すること
   をさらに備え、前記テキストストリームは、アルファベット、数字のセット、または英数字のセットから選択された、シンボルまたは表記のシーケンスから構成されるストリングを備える、請求項１に記載の方法。
4. 前記１つ以上の動作は、ウェブ検索を実行すること、電話番号をダイヤルすること、アプリケーションを開くこと、テキストを記録すること、メディアをストリーミングすること、テキストメッセージを作成すること、道程を一覧表示すること、または道程を話すこと、の少なくとも１つを含む、請求項３に記載の方法。
5. 前記１つ以上の動作のうちの動作は、
   前記テキストストリームをサーバに送信することと、
   前記サーバから前記サーバによる前記テキストストリームの分析に基づいた応答を受信することと、
   前記プロセッサによって前記応答の分析に基づいて前記動作を決定することと
   を備える、請求項３に記載の方法。
6. 前記音声ストリームは、ユーザからの話声、別のコンピューティングデバイスからの話声、および前記別のコンピューティングデバイスからの音声、の少なくとも１つを含む、請求項１に記載の方法。
7. コンピューティングデバイスであって、
   低電力集積回路と、
   前記低電力集積回路に結合されるメモリと、
   前記低電力集積回路および前記メモリに結合されるプロセッサと
   を備え、前記低電力集積回路は、
   音声ストリームを受信すると、前記音声ストリームを継続的に監視し、デジタル化し、 前記デジタル化された音声ストリームを前記メモリに記憶し、ここにおいて、前記デジタル化された音声ストリームを記憶することは、前記メモリに記憶された従前のデジタル化された音声ストリームを前記デジタル化された音声ストリームに交換することを含み、 キーワードを認識するために前記メモリに記憶された前記デジタル化された音声ストリームを分析し、
   前記メモリに記憶された前記デジタル化された音声ストリーム中に前記キーワードを認識すると、電力を増大させるための信号を前記プロセッサへ送信する
   ように構成され、
   前記プロセッサは、
   前記信号に基づいて前記プロセッサが前記プロセッサに与えられる電力を増大させた後に、前記メモリから前記メモリに記憶された前記デジタル化された音声ストリームを検索し、
   前記コンピューティングデバイスによって実行される動作を決定するために前記メモリに記憶された前記デジタル化された音声ストリームを分析する
   ように構成される、
   コンピューティングデバイス。
8. 前記メモリに記憶された前記デジタル化された音声ストリームを分析するために、前記プロセッサはさらに、
   前記メモリに記憶された前記デジタル化された音声ストリームをテキストストリームに変換し、
   前記テキストストリーム中のテキストに基づいて前記動作を決定する
   ように構成される、請求項７に記載のコンピューティングデバイス。
9. 前記メモリに記憶された前記デジタル化された音声ストリームを分析するために、前記プロセッサはさらに、
   動作を決定するために、サーバに、前記メモリに記憶された前記デジタル化された音声ストリームまたは前記メモリに記憶された前記デジタル化された音声ストリームから発生させたテキストストリームを送信し、
   前記サーバから前記コンピューティングデバイスによって実行される前記動作を示す応答を受信する
   ように構成される、請求項７に記載のコンピューティングデバイス。
10. 前記低電力集積回路はさらに、
    前記デジタル化された音声ストリームを圧縮して、圧縮されたデジタル化された音声ストリームを取得し、
    前記キーワードを認識するために前記圧縮されたデジタル化された音声ストリームを分析する
    ように構成される、請求項７に記載のコンピューティングデバイス。
11. 前記コンピューティングデバイスのユーザに応答を差し出すための出力デバイス
    をさらに備える、請求項７に記載のコンピューティングデバイス。
12. 前記キーワードを認識するために前記メモリに記憶された前記デジタル化された音声ストリームを分析するために、前記低電力集積回路は、前記メモリに記憶された前記デジタル化された音声ストリームを前記キーワードと比較する、請求項７に記載のコンピューティングデバイス。

Images