JP2007171809A - 情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】 認識語彙が提示されないと、音声認識を行うときに、何が入力できるかわからない場合がある。一方、常に認識語彙が提示されていると、音声認識を行わないユーザにとっては、冗長な画面表示になる。
【解決手段】 音声認識機能を備えた情報処理装置であって、上記目的を達成するために、本発明に係る情報処理装置は、音声処理開始指示操作を検出する検出手段と、情報の表示を制御する表示制御手段とを備え、前記表示制御手段は、前記検出手段による音声処理開始指示操作の検出に応じて、認識対象語を表示するように制御することを特徴とする。
【選択図】 図４

Description

本発明は、音声認識により認識可能な語彙を提示する情報処理装置に関する。

音声認識を用いた機器やアプリケーションでは、音声認識を使用する際にユーザが何を発話すればよいのか戸惑う場合があり、ユーザが音声認識を使いづらく感じる一因になっている。このような問題を解決するため、特許文献１、２、３にユーザに認識語彙を提示する技術が提案されている。

特許文献１に開示された音声認識装置は、ＧＵＩのウィンドウごとに異なる認識語彙をウィンドウ下部に表示し、そのウィンドウで発話できる語をユーザに通知している。また、特許文献２に開示された翻訳装置では、表示画面中の認識可能な語をアンダーラインなどで強調して表示している。また、特許文献３の音声認識装置では、画面中に含まれる単語の中に認識対象となる単語がある場合に、認識対象語を識別するため他の単語と異なる形態で表示するように画面表示を制御する。
特公平０４−０７５５４０号公報 特開２００４−２９５５７８号公報 特開２００５−２４２１８３号公報

しかしながら、上記文献では、認識語彙の表示・非表示を切り替えたり、認識語彙を表示するタイミングについては開示されていない。音声認識を用いた機器やアプリケーションの中には、音声認識を使わなくても他の操作手段によって所望の処理を実現できるように構成されたものもある。これらの機器やアプリケーションに上記文献に開示された技術を適用した場合、音声認識が有効な時は常に認識語彙が表示されることになる。これは、音声認識以外の操作手段で操作するユーザにとっては冗長な表示形態であり、好ましい表示形態ではない。

本発明は上記課題を鑑みてなされたものであり、ユーザの音声入力操作に連動して認識語彙を提示することにより、音声認識による操作が有効な場合であっても音声入力を行わない場合は認識語彙の表示を行わないようにした情報処理方法の提供を目的とする。

上記目的を達成するために、本発明に係る情報処理装置は、音声処理開始指示操作を検出する検出手段と、情報の表示を制御する表示制御手段とを備え、前記表示制御手段は、前記検出手段による音声処理開始指示操作の検出に応じて、認識対象語を表示するように制御することを特徴とする。

また上記目的を達成するために、本発明に係る情報処理装置は、音声処理開始指示操作を検出する検出手段と、情報の表示を制御する表示制御手段とを備え、前記表示制御手段は、前記検出手段による音声処理開始指示操作の検出に応じて、表示中の情報のうちの認識対象情報を識別できるように表示を制御することを特徴とする。

また上記目的を達成するために、本発明に係る情報処理方法は、音声処理開始指示操作を検出する検出工程と、情報の表示を制御する表示制御工程とを備え、前記表示制御工程は、前記検出工程による音声処理開始指示操作の検出に応じて、認識対象語を表示するように制御することを特徴とする。

また上記目的を達成するために、本発明に係る情報処理方法は、音声処理開始指示操作を検出する検出工程と、情報の表示を制御する表示制御工程とを備え、前記表示制御工程は、前記検出工程による音声処理開始指示操作の検出に応じて、表示中の情報のうちの認識対象情報を識別できるように表示を制御することを特徴とする。

本発明によれば、音声処理の開始を指示する操作に連動して認識対象語を提示するので、認識対象語を提示するための特別な操作を必要としないという効果がある。

以下、図面を参照しながら本発明の好適な実施例について詳細に説明する。

本実施例では、ユーザが所望の音楽データを選択し、それを再生するアプリケーションを例にあげて説明する。図１は本実施例に係る音楽データの再生を行うアプリケーションを備えた情報処理装置の概略構成を示すブロック図である。該情報処理装置は、操作部１０１、音楽データ記憶部１０２、音声出力部１０３、認識辞書記憶部１０４、音声認識部１０５、音声入力部１０６、表示制御部１０７、表示部１０８、制御部１０９を備えている。

操作部１０１は、ボタン、マウス等のユーザが機器を操作するための入力装置を有している。操作部１０１で行われたユーザの操作内容は、制御部１０９で検出され、検出した操作内容にしたがって制御部１０９が所定の処理を実施する。本実施例では、ユーザが発話する際に、音声処理の開始を指示するための操作として、操作部が有する入力装置を用いて所定の操作を行うものとする。操作に用いる入力装置は、専用の入力装置を用いても良いし、キーボードやマウスなど汎用的な入力装置の特定のボタンにその機能を持たせるようにしてもよい。以下の説明では、音声処理の開始の指示に用いる入力装置にボタンを用いた場合を説明する。また、このボタンをここでは「発話ボタン」と記述する。

音楽データ記憶部１０２は音楽データを記憶している。音声出力部１０３は、スピーカなどの音声出力装置を有し、ユーザが再生操作を行うと音楽データを出力する。

認識辞書記憶部１０４は、認識辞書を記憶する記憶部である。認識辞書には、音声認識部１０５が認識可能な語（認識対象語）とその読みが記述されている。本実施例では、情報処理装置を操作するためのコマンドを認識対象語とする。図２に認識辞書の一例を示す。音声入力部１０６はマイクロフォンを有し、ユーザが発話した音声を取り込んで音声認識部１０５で処理可能なデジタルデータに変換する。音声認識部１０５は、音声入力部１０６で取り込んだユーザの発話のデータに音声認識処理を施し、認識辞書に記述された単語の中からユーザの発話に最も近い単語を認識結果として出力する。

表示部１０８は、液晶ディスプレイなどの表示装置を有し、本情報処理装置がユーザに提供する情報やＧＵＩ等を表示する。表示制御部１０７は、表示部１０８に表示する表示内容を制御する。本実施例の表示制御部１０７は、発話ボタンに所定の操作が行われたことを制御部１０９が検出した場合に、認識対象語を表示するよう表示内容を制御することに特徴がある。すなわち、ユーザが発話する際に、認識対象語を表示することにより、何が発話可能かをユーザに提示する。

制御部１０９は、操作部１０１で行われた操作内容を検出し、操作内容に応じた処理を実行する。また、本情報処理装置の各モジュールと連携し、音楽データの選択、音楽データの読み込み、音楽データの再生など、音楽データ再生に関わる処理を制御する。

以上のように構成された情報処理装置の動作について以下で説明する。

本実施例における音楽データの再生を行うアプリケーションでは、アプリケーションが起動されると、表示制御部１０７は図３に示すような表示内容を生成し、表示部１０８に表示する。同図において、３０１はメインウィンドウ、
３０２はファイルメニュー、３０３は音量メニュー、３０４は音楽データの再生を開始するボタン、３０５は音楽データの再生を停止するボタンである。

３０２、３０３のメニューは、一般的なＧＵＩに用いられている階層型のメニューで、各メニューにはサブメニューが関連づけられており、メニューを選択すると関連したサブメニューが提示される。本実施例では、ファイルメニューのサブメニューに「開く」「閉じる」、音量メニューのサブメニューに「音量を上げる」「音量を下げる」がある（図示はしない）。

ユーザがこれらのＧＵＩをマウスなどの入力装置で操作する場合については説明を省略する。以下では、音声認識を用いてこのアプリケーションを操作する場合について説明する。また、ユーザは発話ボタンを押してから発話を行う場合について説明する。

図４は音声認識により本情報処理装置を操作する場合の処理の流れを示すフローチャートである。該フローチャートを実現するためのプログラムは、不図示の記憶部に記憶されており、制御部１０９の制御のもと実行される。

ユーザは音声認識を行う際に、まず発話ボタンを押下する。制御部１０９が発話ボタン押下を検出する（Ｓ１０１ ＹＥＳ）と、表示制御部１０７が認識辞書記憶部１０４に記憶された認識辞書を参照して、発話可能なコマンド、すなわち認識対象語を表示するよう表示内容を制御する。例えば、図５に示すような内容を表示部１０８に表示する。図５は、表示制御部１０７の制御により、メインウィンドウ内に新たな領域３０６が追加され、認識対象語（例えば３０７）を表示している様子を示した図である。ここではメインウィンドウ内に認識対象語を表示しているが、メインウィンドウとは別にサブウィンドウを作成し、サブウィンドウに認識対象語を表示するようにしてもよい。

図４のフローチャートに戻り、Ｓ１０２の処理に続いて、音声入力部１０６で音声入力を開始する（Ｓ１０３）。なお、Ｓ１０２とＳ１０３の処理は同時に開始しても良い。

音声入力部１０６で取り込んだ音声データは、音声認識部が発話終了を検出するまで音声認識部１０５で音声認識処理する（Ｓ１０４、Ｓ１０５ ＮＯ）。

音声認識部１０５で発話終了を検出した時点で音声入力および音声認識処理を終了し（Ｓ１０５ ＹＥＳ）、表示制御部１０７は認識対象語の表示を終了するよう表示内容を制御する（Ｓ１０６）。すなわち、この時点で表示部１０８に表示される内容は、Ｓ１０２で認識対象語を表示する前の表示内容（図３）と同一になる。

続いて、Ｓ１０７において、ユーザが途中で発話を中断したり、発話ボタンを押した後も発話しなかったなどの理由で、音声認識部１０５で音声認識結果が得られない場合（Ｓ１０７ ＮＯ）は、そのまま終了する。

音声認識部１０５で認識結果が得られた場合（Ｓ１０７ ＹＥＳ）は、認識結果を制御部１０９に出力し、制御部１０９は認識結果に基づいた処理を実行する（Ｓ１０８）。例えば、認識結果が「音量」の場合、制御部１０９は音量メニュー３０３がマウス等で選択された場合と同じ処理を実行する。実行結果を図６に示す。同図は、「音量」が選択され（３０８）、「音量」のサブメニュー３０９が表示されている様子を示している。なお、認識結果と対応する処理の関係は、本情報処理装置を制御するプログラム中にあらかじめ記述されていても良いし、制御部１０９内に対応テーブルを保持するようにしておいてもよい。図７に対応テーブルの一例を示す。先の「音量」が認識された例では、図７のテーブル７０１を参照して、「音量」に対応する「ＶｏｌｕｍｅＭｅｎｕＯｐｅｎ」という処理（７０２）にしたがって制御部１０９が処理するものとする。

以上の説明では、発話終了を音声認識部１０５で判断するように構成しているが、これに限るものではなく、ユーザが明示的に発話終了を与えられるように構成しても良い。実現方法の一例として、例えば、発話ボタンを押している間に発話するように構成することも可能である。この場合、制御部１０９が発話ボタンが押下の状態から押されていない状態に戻った（リリース）という操作を検出すると発話終了（Ｓ１０５ ＹＥＳ）と判断する。このように構成すると、ユーザが発話ボタンを押すと認識対象語が表示され、発話ボタンを押しつづけている間は認識対象語の表示が維持される。ユーザが発話ボタンをリリースすると認識対象語の表示が終了する。

また、Ｓ１０２における認識対象の提示方法は、上記の説明以外にも様々な方法で実現可能である。図８乃至図１２にその一例を示す。

図８は、発話ボタン押下時に画面に表示されている情報のうち、発話可能な情報を識別できるように表示した例である。同図では、ファイルメニュー３１０、音量メニュー３１１、再生ボタン３１２を太枠で囲むことで、これらが認識対象であることを提示した例である。逆に停止ボタン３０５は、現在発話できない、つまり認識できないことを意味している。このように画面に表示中の情報の中で、認識対象となる情報を識別できるように表示を制御することで、何が発話可能なのかを効果的にユーザに提示することができるようになる。

図９、図１０は、図８の例に加え、記号やアイコンで表示されている認識対象に対して、それを認識するための語を提示するようにした例である。再生ボタン３１２に対して、このボタンを認識するための語「再生」を付与して提示した例が図９（３１３）、記号を語「再生」で置き換えて提示した例が図１０（３１４）である。記号を記号やアイコンから連想される語はユーザによって異なったり、また記号によっては複数の呼び方があるため、どう発話して認識してよいのか迷う場合がある。例えば、３１２の再生ボタンは、ユーザによっては「プレイ」や「スタート」という語を思い浮かべる可能性がある。図９や図１０に示した提示方法により、これらのあいまい性を解消することができ、ユーザが安心して発話できるようになる。

図１１は、認識対象に対して、その認識対象を認識するために発話する読みを提示した例である。同図において、３１５は漢字表記に読みを付与した例、３１５は記号やアイコンに読みを付与した例である。このように、漢字や記号に読みを付与することで、ユーザの読み間違いを回避することができる。

図１２は、画面内に表示されていない認識対象語をユーザに提示する例である。同図では、ファイルメニューおよび音量メニューのサブメニューを認識するための語をメインウインドウ３０１に追加して表示する様子を示している。このように表示を制御することで、画面内に表示されているもの以外に認識対象語があることをユーザに報知することができる。

以上で説明した実施例の構成によれば、ユーザの発話開始操作に連動して認識対象語が提示されるため、ユーザが音声認識を行う場合は、ユーザが特に意識することなく認識対象語を提示できるという効果がある。また、ユーザが音声認識を利用しない場合は、発話開始操作を行わないため、認識対象語は表示されない。すなわち、不要な情報のための冗長な表示がなされないという効果もある。以上のような効果を備える本情報処理装置によって、音声認識を利用する場合も、利用しない場合も、ユーザにとって使いやすい音声インターフェースが実現できる。

実施例１では、発話ボタンの押下を検出すると同時に認識対象語の提示と音声入力を開始するよう構成した。しかしながら、このような構成の場合、ユーザが認識対象語を見ながら何を発話するか考えている間に周辺雑音を音声と誤って認識してしまうという問題が起こり得る。そこで、本実施例では、実施例１と同じ構成の情報処理装置において、発話開始ボタンの操作によって、認識対象語を表示する処理と音声入力を開始する処理のタイミングをずらすことができるようにする。具体的には、発話ボタン押下とリリースを検出し、発話ボタン押下検出で認識対象を提示し、その後、発話ボタンリリースを検出すると音声入力を開始するようにする。

以下、本実施例の処理について図１３のフローチャートを用いて説明する。同図において、Ｓ１０２とＳ１０３の処理の間に新たにＳ１０９の処理が加わった点が実施例１の処理（図４のフローチャート）とは異なる。それ以外の処理については、実施例１と同様の処理を行うため、適宜説明を省略する。

まず、制御部１０９が発話ボタン押下を検出する（Ｓ１０１ ＹＥＳ）と、表示制御部１０７が認識対象語を表示するよう表示内容を制御する（Ｓ１０２）。ここまでの処理は実施例１と同じである。

続くＳ１０９では、制御部１０９で発話ボタンリリースを検出するまで処理を進めない（Ｓ１０９ ＮＯ）。この間、音声入力は開始されない。制御部１０９が発話ボタンリリースを検出すると、音声入力部１０６で音声入力を開始する（Ｓ１０３）。以降の処理は、実施１と同様の処理を行うため説明を省略する。

以上で説明した実施例の構成によれば、認識対象語を表示するタイミングと音声入力を開始するタイミングをずらすことができるようになる。したがって、ユーザは認識対象語をゆっくり見てから音声入力を開始して、発話することができるようになり、さらにユーザの利便性が増す。

本実施例では、発話ボタンの半押し、発話ボタンの押下を区別して検出し、これらの操作の違いにより、認識対象語を表示する処理と音声入力を開始する処理のタイミングをずらすことができるようにする。ここで、半押しとは、一般的なオートフォーカスカメラのピント合わせ操作に用いられる、ボタンを浅く押した状態のことである。本実施例では、ユーザが発話ボタンを半押ししたら認識対象の提示を行い、その後、発話ボタンを半押し状態から押下したら音声入力を開始するようにする。また、半押し状態で発話ボタンがリリースされた場合は、認識対象の提示を終了する。

以下、本実施例の処理について図１４のフローチャートを用いて説明する。

同図において、Ｓ１０１の替わりにＳ１１０、Ｓ１０２とＳ１０３の処理の間に新たにＳ１１１〜Ｓ１１３の処理が加わった点が実施例１の処理（図４のフローチャート）とは異なる。それ以外の処理については、実施例１と同様の処理を行うため、適宜説明を省略する。

まず、制御部１０９が発話ボタン半押しを検出する（Ｓ１１０ ＹＥＳ）と、表示制御部１０７が認識対象を提示するよう表示内容を制御する（Ｓ１０２）。

続くＳ１１１では、制御部１０９で発話ボタンリリースあるいは発話ボタン押下を検出するまで処理を進めない（Ｓ１１１ ＮＯ、Ｓ１１３ ＮＯ）。この間、音声入力は開始されない。Ｓ１１１において制御部１０９が発話ボタンリリースを検出する（Ｓ１１１ ＹＥＳ）と表示制御部１０７は認識対象の提示を終了するよう表示内容を制御する（Ｓ１１２）。

ユーザが半押しの状態からさらに、発話ボタンを押し込み、制御部１０９で発話ボタン押下を検出すると（Ｓ１１３ ＹＥＳ）、音声入力部１０６で音声入力を開始する（Ｓ１０３）。以降の処理は、実施例１と同様の処理を行うため説明を省略する。

以上で説明した実施例の構成によれば、認識対象語を表示するタイミングと音声入力を開始するタイミングをずらすことができるようになる。したがって、ユーザは認識対象語をゆっくり見てから音声入力を開始して、発話することができるようになり、ユーザの利便性が増す。

本実施例では、本発明を番組検索装置に適用した例について説明する。

図１５は本発明の一実施例である番組の検索を行う情報処理装置の概略構成を示すブロック図である。該情報処理装置は、操作部４０１、番組情報記憶部４０２、言語処理部４０２、認識辞書作成部４０３、認識辞書記憶部４０４、音声認識部４０５、音声入力部４０６、表示制御部４０７、表示部４０８、制御部４０９を備えている。

操作部４０１は、実施例１の操作部１０１と同様に、ユーザがボタン、マウス等の機器を操作するための入力装置を有している。操作部４０１で行われたユーザの操作内容は、制御部４０９で検出され、検出した操作内容にしたがって制御部４０９が所定の処理を実施する。本実施例でも、実施例１と同様に、発話を行うために操作するボタンを「発話ボタン」と記述する。

番組情報記憶部４０２は、制御部４０９で受信したＥＰＧなどの番組情報データを記憶する記憶部である。番組情報データ記憶部には例えば、図８に示すように「番組名」「放送局」「放送日時」「番組情報」が各番組ごとに記憶されている。また、図１７に示すような放送局名や番組名の関連語のデータも合わせて記憶されている。これらの関連語データは、ＥＰＧデータに含まれていても良いし、ＥＰＧとは別のデータとして外部ネットワークから供給するようにしてもよい。

認識辞書記憶部４０４は、認識辞書を記憶する記憶部である。認識辞書には、音声認識部４０５が認識可能な語（認識対象語）とその読みが記述されている。認識対象語ごとに関連した付帯情報が記述されていても良い。本実施例では、情報処理装置を操作するためのコマンドおよび番組を検索するためのキーワードを認識対象語とする。図１８、図１９にそれぞれの認識辞書の一例を示す。７０１は本情報処理装置を操作するためにコマンドに関する認識辞書である。認識対象語ごとに読みに加え、その語が認識された際に実施する処理が付帯情報として記述されている。８０１は番組検索のキーワードに関する認識辞書の例である。付帯情報としてキーワードのカテゴリーが記述されている。

認識辞書作成部４０３は、番組情報データ５０１から、番組名、放送局名など番組を検索する際に必要なキーワードを抽出し、読みやキーワードのカテゴリーを付与して番組検索用の認識辞書を作成する。また、各キーワードについて、その関連語を関連語データ６０１から抽出し、認識辞書に加えても良い。例えば、番組情報データ５０１から番組名「なんでも探検隊」をキーワードとして抽出した場合、関連語データ６０１を参照して、「探検隊」を関連語として抽出し、認識辞書に加える。

音声入力部４０６はマイクロフォンを有し、ユーザが発話した音声を取り込んで音声認識部４０５で処理可能なデジタルデータに変換する。音声認識部４０５は、音声入力部４０６で取り込んだユーザの発話のデータに音声認識処理を施し、認識辞書に記述された単語の中からユーザの発話に最も近い単語を認識結果として出力する。

表示部４０８は、液晶ディスプレイなどの表示装置を有し、番組情報など本情報処理装置がユーザに提供する情報やＧＵＩ等を表示する。表示制御部４０７は、表示部４０８に表示する表示内容を制御する。本実施例の表示制御部４０７は、制御部４０９でユーザの音声入力開始操作を検出すると、ユーザが認識対象語を識別できるように表示内容を制御する。例えば、音声入力操作開始時の表示内容に認識対象となる単語やＧＵＩ部品が含まれる場合に、他の単語やＧＵＩ部品と識別できるように、該当部分のフォントや色、装飾などの表示形態を変えるよう表示内容を制御する。また、表示内容に含まれない認識対象語については、別ウィンドウを生成するなどして認識対象語を表示するように表示内容を制御する。音声認識結果が得られた場合は、制御部４０９から出力される番組情報を表示するよう制御する。音声入力中にタイムアウトやユーザの操作によって音声入力が中止された場合は、元の表示内容に戻すよう制御する。

制御部４０９は、本情報処理装置の各モジュールと連携し、番組検索全体の処理を制御する。また、制御部４０９は、外部ネットワークから配信される番組情報データを受信し、番組情報記憶部４０２に番組情報データを記憶する。また、マウスやキーボードなど入力機器の操作イベントを監視し、操作イベントに応じた処理を実行する。制御部４０９は、音声認識部４０５で認識された単語により番組情報記憶部４０２に記憶されている番組情報データを検索し、該当する番組に関する情報を出力する。また、外部から関連語辞書が提供される場合、制御部４０９はこれを受信する。

以上のように構成された情報処理装置の動作について以下で説明する。

本実施例の情報処理装置の処理の流れは実施例１で説明した情報処理装置と同じになる。したがって、図４のフローチャートにしたがって本情報処理装置の処理手順を説明する。

番組検索が開始されると、表示制御部４０７は番組情報記憶部４０２に記憶された番組情報データを基にして番組検索用の表示データを生成するよう制御し、表示部４０８に表示する。図２０にその一例を示す。同図において、９０１は表示部４０８が有する表示装置の表示画面である。９０２は番組検索開始時の画面表示の一例で、放送局「テレビ日本」の番組を放送時間順に表示している様子を示している。ユーザは表示されている番組の中から番組情報を見たい番組を選択する。表示されている番組の中に所望の番組がない場合、画面をスクロールして表示する時間帯を変えるか、表示する放送局を変えて所望の番組を探す。以上の操作を、ユーザは音声認識または操作部４０１が有する入力装置を用いて行う。

音声認識を用いる場合、ユーザは、番組を選択する時は所望の番組名を、放送局を切り替える時は所望の放送局名を、画面をスクロールする場合は「下スクロール」などのコマンドを発話する。ユーザは発話の前に操作部４０１で音声入力を開始する所定の操作を行う。本実施例では、操作部４０１が有する入力装置の特定のボタンが音声入力を行うボタンに割り当てられており、このボタンを押すと音声入力を開始する場合について説明する。ユーザが発話ボタンを押すと、制御部４０９が当該操作を検出し、音声入力部４０６での音声の取り込みを開始する（Ｓ１０１ ＹＥＳ）。

また、表示制御部４０７は表示部４０８に表示中の画面内で認識対象となる部分が認識対象ではない部分と識別できるよう表示内容を変更する（Ｓ１０２）。この時、表示制御部４０７は、認識辞書記憶部４０４に記憶されている認識辞書を参照し、認識辞書に記述されている語が表示画面内に含まれる場合、フォントや色、文字装飾などの表示形態を変更する。同様に、認識辞書に記載されているコマンドに対応するＧＵＩ部品が表画面内に含まれる場合、その表示形態を変更する。その一例を図２０の９１２に示す。９１２では、「番組名」、「放送局名」および番組表をスクロールするＧＵＩ部品を太枠で囲むことで認識対象であること示している。

音声入力部４０６で取り込まれた音声は順次デジタルデータに変換されて、音声認識部４０５で処理される（Ｓ１０３）。音声認識部４０５がユーザの発話の終了を検出した時点で音声認識処理および音声入力部４０６における音声入力の処理を終了する。音声入力を終了した時点（Ｓ１０４ ＹＥＳ）で、表示制御部４０７は認識対象語の表示を終了する。すなわち、Ｓ１０２で行った表示内容の変更を元の表示内容（図２０の９０２）に戻す（Ｓ１０５）。

ユーザが途中で発話を中断したり、音声入力操作後発話しなかったなどの理由で、音声認識部４０５で音声認識結果が得られない場合（Ｓ１０６ ＮＯ）は、番組検索を終了する。

音声認識部４０５で音声認識結果が得られた場合（Ｓ１０６ ＹＥＳ）は、認識結果に基づいた処理を制御部４０９が実施して番組検索を終了する（Ｓ１０７）。例えば、音声認識結果として番組名が認識された場合は、制御部４０９により番組情報記憶部４０２に記憶されている番組情報データを検索する。検索の結果、該当する番組が番組情報データ内にある場合、表示制御部４０７は該当する番組の情報を、該当する番組がない場合は、その旨を表示部４０８に表示するよう制御して番組検索を終了する（Ｓ１０７）。

以上で説明した本実施例の構成によれば、ユーザの音声入力開始操作に連動して表示画面内の認識対象部分が提示される。ユーザが音声認識を行う場合は、音声入力開始操作を行うため、ユーザが特に意識することなく認識対象部分を提示できるという効果がある。また、音声認識を利用しない場合には、不要な情報のための冗長な表示がなされないという効果もある。以上のような効果を備える本情報処理装置によって、音声認識を利用する場合も、利用しない場合も、ユーザにとって使いやすい音声インターフェースが実現できる。

（その他の実施例）
実施例４では、Ｓ１０２で認識対象部分を提示する際に、表示画面内にある認識対象部分の表示形態を変更する場合について説明したが、これとは逆に認識対象部分以外の表示形態を変更して認識対象部が識別できるように表示内容を制御しても良い。その一例を図２１に示す。図２１は、認識対象以外の部分の表示を暗くして、認識対象部分と識別できるようにした例である。

また、Ｓ１０２で認識対象部分を提示する際に、表示画面内に表示されていない認識対象語を表示するようにしても良い。表示制御部４０７は、認識対象部分を提示する際に、認識辞書記憶部４０４に記憶された認識辞書に記述された語のうち、画面内に表示されていない語を表示するよう表示内容を制御する。図２２にその一例を示す。図２２では、画面内に表示されていなかった認識対象語を別ウィンドウ９３２にまとめて表示している。

さらに、Ｓ１０２で認識対象部分を提示する際に、関連語データ６０１や認識辞書７０１、８０１を参照して、表示する語を省略したり、あるいは逆に省略された名称を正式名称に戻して表示するように制御してもよい。これに加えて、認識辞書７０１、８０１を参照して、認識対象部分を認識するために発話する内容や読みを追加して表示するように制御してもよい。その一例を図２３に示す。同図において、９４２は認識辞書８０１を参照して放送局名「ＶＯＷＶＯＷ」に読みを追加して表示した例である。これとは逆に９４４は関連データ６０１を参照して省略された番組名称「超うま」を正式名称「超うま グルメガイド」に置き換えて表示した例である。また、９４５は、関連データ６０１、認識辞書８０１を参照して番組名「徳田一郎のＮＥＷＳ７」を省略名称に置き換えた上、その読みを付与して表示した例である。さらに、９４６は認識対象であるＧＵＩ部品に、その部品を認識するための語が「下スクロール」であることを吹き出しで表示した例である。これにより、ユーザは当該ＧＵＩ部品を認識するための語を知ることができる。

以上のように、読みを付与したり、発話しにくい名称を置き換えたりすることで、単に認識対象部分を識別して表示する場合に比べ、使いやすいユーザインターフェースを提供できる。

なお、本発明は、前述した実施例の各機能を実現するプログラムを、システムまたは装置に直接または遠隔から供給し、そのシステムまたは装置に含まれるコンピュータがその供給されたプログラムコードを読み出して実行することによっても達成される。

従って、本発明の機能・処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、上記機能・処理を実現するためのコンピュータプログラム自体も本発明の一つである。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、記録媒体としては、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

また、プログラムは、クライアントコンピュータのブラウザを用いてインターネットのホームページからダウンロードしてもよい。すなわち、ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードしてもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードする形態も考えられる。つまり、本発明の機能・処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明の構成要件となる場合がある。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布してもよい。この場合、所定条件をクリアしたユーザにのみ、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報で暗号化されたプログラムを復号して実行し、プログラムをコンピュータにインストールしてもよい。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施例の機能が実現されてもよい。なお、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ってもよい。もちろん、この場合も、前述した実施例の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ってもよい。このようにして、前述した実施例の機能が実現されることもある。

実施例１乃至３で説明した情報処理装置の構成を示すブロック図である。 実施例１において、認識辞書の一例を説明する図である。 実施例１において、情報処理装置の画面表示を説明する図である。 実施例１で説明した情報処理装置の処理の流れを説明するフローチャートである。 実施例１において、認識対象語を表示する様子を説明する図である。 実施例１において、「音量」が認識された場合の処理を説明する図である。 実施例１において、認識結果と対応する処理を記述したテーブルの例を説明する図である。 実施例１において、表示画面内の認識対象部分を識別できるように表示した例を説明する図である。 実施例１において、アイコンや記号で表される認識対象を認識するための語を表示する第一の例を説明する図である。 実施例１において、アイコンや記号で表される認識対象を認識するための語を表示する第二の例を説明する図である。 実施例１において、認識対象の読みを表示した例を説明する図である。 実施例１において、画面内に表示されていない認識対象語を表示する例を説明する図である。 実施例２で説明した情報処理装置の処理の流れを説明するフローチャートである。 実施例３で説明した情報処理装置の処理の流れを説明するフローチャートである。 実施例４で説明した情報処理装置の構成を示すブロック図である。 実施例４で説明した情報処理装置が用いる番組情報データの一例を説明する図である。 実施例４で説明した情報処理装置が用いる関連語データの一例を説明する図である。 実施例４で説明した情報処理装置が用いる第一の認識辞書の一例を説明する図である。 実施例４で説明した情報処理装置が用いる第二の認識辞書の一例を説明する図である。 実施例４において、認識対象部分を識別できるよう表示する第一の例を説明する図である。 実施例４において、認識対象部を識別できるよう表示する第二の例を説明する図である。 実施例４において、表示画面内にない認識対象語を表示する一例を説明する図である。 実施例４において、認識対象部分の表示内容を変更する様々な例を説明する図である。

符号の説明

１０１ 操作部
１０２ 音楽データ記憶部
１０３ 音声出力部
１０４ 認識辞書記憶部
１０５ 音声認識部
１０６ 音声入力部
１０７ 表示制御部
１０８ 表示部
１０９ 制御部

Claims (16)

1. 音声認識機能を備えた情報処理装置であって、
   音声処理開始指示操作を検出する検出手段と、
   情報の表示を制御する表示制御手段とを備え、
   前記表示制御手段は、前記検出手段による音声処理開始指示操作の検出に応じて、認識対象語を表示するように制御することを特徴とする情報処理装置。
2. 音声認識機能を備えた情報処理装置であって、
   音声処理開始指示操作を検出する検出手段と、
   情報の表示を制御する表示制御手段とを備え、
   前記表示制御手段は、前記検出手段による音声処理開始指示操作の検出に応じて、表示中の情報のうちの認識対象情報を識別できるように表示を制御することを特徴とする情報処理装置。
3. 前記音声処理開始指示操作は音声認識開始位置指示ボタンの押下であることを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記検出手段による前記音声処理開始指示操作の検出に応じて、音声情報を取得する取得手段と、
   前記取得手段で取得した音声情報を音声認識する音声認識手段とを更に備えたことを特徴とする請求項１又は２に記載の情報処理装置。
5. 前記検出手段は、前記音声認識開始位置指示ボタンの押下を検出し、
   前記表示制御手段は、前記音声認識開始位置指示ボタンの押下の検出に応じて、認識対象語を表示するように制御し、
   前記音声認識開始位置指示ボタンのリリースに応じて、音声情報を取得する取得手段と、
   前記取得手段で取得した音声情報を音声認識する音声認識手段を更に備えたことを特徴とする請求項１に記載の情報処理装置。
6. 前記検出手段は、前記音声認識開始位置指示ボタンの押下を検出し、
   前記表示制御手段は、前記音声認識開始位置指示ボタンの押下の検出に応じて、表示中の情報のうちの認識対象情報を識別できるように表示を制御し、
   前記音声認識開始位置指示ボタンのリリースに応じて、音声情報を取得する取得手段と、
   前記取得手段で取得した音声情報を音声認識する音声認識手段を更に備えたことを特徴とする請求項１に記載の情報処理装置。
7. 前記音声処理開始指示操作は、音声認識開始位置指示ボタンの半押しであり、
   前記表示制御手段は、前記検出手段による音声認識開始位置指示ボタンの半押しの検出に応じて、認識対象語を表示するように制御することを特徴とする情報処理装置。
8. 前記音声処理開始指示操作は、音声認識開始位置指示ボタンの半押しであり、
   前記表示制御手段は、前記検出手段による音声認識開始位置指示ボタンの半押しの検出に応じて、表示中の情報のうちの認識対象情報を識別できるように表示を制御することを特徴とする情報処理装置。
9. 前記音声認識開始位置指示ボタンの全押しを検出した場合に、音声情報を取得する取得手段を更に備えたことを特徴とする請求項７又は８に記載の情報処理装置。
10. 前記表示制御手段は、表示中の情報以外に認識対象語がある場合に、それらの認識対象語を表示中の情報に加えて表示するよう制御することを特徴とする請求項２記載の情報処理装置。
11. 前記表示制御手段は、表示中の情報のうち、認識対象となる部分がＧＵＩ部品である場合に、該ＧＵＩ部品を認識するための名称を該ＧＵＩ部品と関連付けて表示するよう制御することを特徴とする請求項２記載の情報処理装置。
12. 表示中の情報に関連した語を記憶する関連語記憶手段を更に備え、
    前記表示制御手段は、表示中の情報の中で、音声認識の対象となる情報の関連語が記憶されている場合、当該情報を関連語に置き換えるか又は当該情報に加えて関連語を併せて表示するように制御することを特徴とする請求項１記載の情報処理装置。
13. 前記表示制御手段は、認識対象語についてその語を認識するための読み情報を併せて表示することを特徴とする請求項１記載の情報処理装置。
14. 音声認識機能を備えた情報処理装置における情報処理方法であって、
    音声処理開始指示操作を検出する検出工程と、
    情報の表示を制御する表示制御工程とを備え、
    前記表示制御工程は、前記検出工程による音声処理開始指示操作の検出に応じて、認識対象語を表示するように制御することを特徴とする情報処理方法。
15. 音声認識機能を備えた情報処理装置における情報処理方法であって、
    音声処理開始指示操作を検出する検出工程と、
    情報の表示を制御する表示制御工程とを備え、
    前記表示制御工程は、前記検出工程による音声処理開始指示操作の検出に応じて、表示中の情報のうちの認識対象情報を識別できるように表示を制御することを特徴とする情報処理方法。
16. 請求項１４又は１５に記載の情報処理方法をコンピュータに実行させるための制御プログラム。

Images