JPH10222337A - コンピュータシステム - Google Patents

Abstract

(57)【要約】 【課題】 ＧＵＩ環境を持ち、音声によるデータ入力・
操作指示を行うコンピュータシステムにおいて、音声に
よるウインドウ及びアプリケーションの確実・容易な選
択・操作になり、操作効率も高める。 【解決手段】 マイク１からの音声を音声認識部３でキ
ーワードとして認識し、このキーワードを変換部５でシ
ステムソフトウエア８の制御コマンドに変換する音声認
識インタフェース２とし、音声によるウインドウ切換
え、アクティブなウインドウを他のウインドウから区別
した表示、アクティブなアプリケーションを区別したタ
スクリスト表示、音声によるアプリケーションへの入力
と、マウス等の他の入力デバイスによる他のアプリケー
ションへの入力とするタスク切換、単語辞書４に登録さ
れるキーワード又は現在有効なキーワードリストの画面
表示を行う。キーワードの入力を簡易にする手段も含
む。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、ＧＵＩ環境を持
ち、音声によるデータ入力や操作指示を受け付けるマン
・マシン・インタフェースを備えたコンピュータシステ
ムに関する。

【０００２】

【従来の技術】コンピュータシステムと利用者が対話を
行うためのマン・マシン・インタフェースは、キーボー
ドやポインティングデバイス（マウスなど）の入力デバ
イスにより人からコンピュータシステムへのデータの入
力や指示を行い、ディスプレイ等の出力デバイスにより
コンピュータシステムから人への各種データ表示や返答
を行うようにしている。

【０００３】これら、マン・マシン・インタフェース・
デバイスによる他に、最近では音声により入出力を行う
ものがあり、コンピュータシステムには音声出力デバイ
スとして音声合成装置と音声発生装置を設け、音声入力
デバイスとして音声認識装置と解読装置を設ける。

【０００４】

【発明が解決しようとする課題】音声によってコンピュ
ータシステムにデータの入力や指示を行う場合、あらか
じめ決められたキーワード（言葉又は単語）を利用者が
発声し、この音声をコンピュータシステムが音声認識
し、その解読をする。

【０００５】ここで、コンピュータシステムがＸ−Ｗｉ
ｎｄｏｗ ｓｙｓｔｅｍやＭＳ−Ｗｉｎｄｏｗｓ等のグ
ラフィカル・ユーザ・インタフェース（ＧＵＩ）環境を
持つ場合、同一画面上で複数のアプリケーション（ウイ
ンドウ）を扱うことができるが、実際にアクティブなの
はそのうちの１アプリケーション（ウインドウ）であ
る。

【０００６】この種のコンピュータシステムに対して、
利用者があるアプリケーションに対して音声によって操
作を行う場合、当該アプリケーション（ウインドウ）が
アクティブな状態であればよいが、他のアプリケーショ
ン（ウインドウ）がアクティブになっていると利用者が
操作使用とするアプリケーションに対して操作すること
ができない。

【０００７】このような場合、従来ではマウス等のポイ
ンティングデバイスによって操作したいウインドウをア
クティブにし、この後に音声による操作指示を行うよう
にしており、マウス等の操作が介在するため操作効率を
悪くするものであった。

【０００８】また、操作しようとするアプリケーション
を間違えると、関係のないアプリケーションに対して誤
操作してしまう恐れがある。

【０００９】また、ＧＵＩ環境を持つコンピュータシス
テムでは、多数のウインドウを開いて操作を行うが、多
数のウインドウが重なり合うため、利用者はアクティブ
なウインドウ及び登録アプリケーションの種別、アプリ
ケーションのタスクリストやキーワードリスト構造など
が分からなくなる場合がある。この場合もマウス等によ
って最上部のウインドウを移動消去し、下層部のウイン
ドウを上層部に移動させながら操作対象ウインドウを探
すという煩わしさがある。

【００１０】また、アプリケーション切換や制御内容の
切換、また画面操作など、各種の操作指示にはそれに応
じたキーワードを発声し、その音声認識と解読を必要と
するが、キーワードを忘れた場合や曖昧な記憶には音声
による操作指示ができなくなる。

【００１１】本発明の目的は、ＧＵＩ環境を持ち、音声
によるデータ入力・操作指示を行うマン・マシン・イン
タフェースを備えたコンピュータシステムにおいて、音
声によるウインドウ及びアプリケーションの確実・容易
な選択・操作になり、操作効率も高めるコンピュータシ
ステムを提供することにある。

【００１２】本発明の他の目的は、利用者が記憶するキ
ーワードが曖昧な場合や忘れた場合にも正しいキーワー
ドの引き出しを容易にするコンピュータシステムを提供
することにある。

【００１３】

【課題を解決するための手段】本発明は、前記課題の解
決を図るため、ＧＵＩ環境を持ち、音声による操作指示
の音声認識によってキーワードを得、このキーワードを
解読してシステムソフトウエアの制御コマンドに変換す
る音声認識インタフェースを備えたコンピュータシステ
ムにおいて、前記システムソフトウエアは特定の音声を
解読した制御コマンドを前記音声認識インタフェースか
ら受けたときに該制御コマンドに対応するウインドウを
アクティブな状態にするウインドウ切換手段を備えたこ
とを特徴とする。

【００１４】この構成により、音声による特定のキーワ
ードによってウインドウ切換えを行うことにより、マウ
ス等によるウインドウ切換操作を不要にする。ウインド
ウの切換には、優先順位をつけたウインドウを順次アク
ティブにする方式、ウインドウの切換開始と終了で異な
る音声とすることで切換開始音声でシステム側が一定時
間毎に自動的に切換える制御を開始し、切換終了音声で
切換えを停止する方式、さらには両方式を組み合わせた
方式を含む。また、各ウィンドウに優先順位を持たせた
「しおり」を付け、この「しおり」を音声で指定するこ
とにより任意のウィンドウをアクティブにするウィンド
ウ切換方式も含む。さらに、複数のアプリケーションの
ウインドウ情報を管理し、音声により各アプリケーショ
ンを指定するとその最新のアクティブウインドウに切換
え、さらに同じ音声で当該アプリケーションのうちの新
しいウインドゥ順に切換えるウインドウ切換方式も含
む。

【００１５】また、前記システムソフトウエアは、音声
認識インタフェースからの制御コマンドによりアクティ
ブにしたウインドウを他のウインドウとは異なるウイン
ドウの表示かつ各ウインドウのタスクリスト表示を行う
手段を備えたことを特徴とする。

【００１６】この構成により、音声入力により、アクテ
ィブなウインドウを他のウインドウから区別した表示を
行うこと及びアクティブなアプリケーションを区別した
タスクリスト表示を行い、利用者がアクティブなウイン
ドウ及びアプリケーションを認識するのを容易にする。

【００１７】また、前記音声認識インタフェースからの
制御コマンドにより複数のアプリケーションのうち１つ
は音声認識インタフェースを入力デバイスとし、他の１
つは該音声認識インタフェース以外のデバイスを入力デ
バイスとするタスク切換手段を備えたことを特徴とす
る。

【００１８】この構成により、タスク切換により、音声
によるアプリケーションへの入力と、マウス等の他の入
力デバイスによる他のアプリケーションへの入力とし、
複数のウインドウを操作対象とすることができるように
する。

【００１９】また、前記音声認識インタフェースは、音
声認識のための単語辞書にはアプリケーション別の単語
及び共通の単語を用意し、特定のキーワードが与えられ
たときに、前記単語辞書に登録されているキーワードリ
ストを一覧表として画面表示、又は現在有効なキーワー
ドリストを画面表示する制御コマンドを前記システムソ
フトウエアに与える手段を備えたことを特徴とする。

【００２０】この構成により、利用者がキーワード一覧
等の特定のキーワードを発声したときに単語辞書に登録
されるキーワード又は現在有効なキーワードリストを画
面表示し、この画面表示されるキーワードリストから利
用者が必要とするキーワードを知ることができるように
する。キーワードの画面表示にはアプリケーション別の
表示、階層構造の表示をすること、さらにはキーワード
の略号を含めることで該略号の音声によるキーワード入
力を可能にすること、及びマクロ機能を使ったキーワー
ド表示も含む。

【００２１】また、前記音声認識インタフェースは、前
記キーワードを制御コマンドに変換するテーブルを有
し、このテーブルは１つの制御コマンドに複数のキーワ
ードを対応付け、何れか１つのキーワードの参照で制御
コマンドを得るテーブルデータ構成を特徴とする。

【００２２】この構成により、利用者がキーワードを正
確に覚えていない場合にも、それに近い又は関連するキ
ーワードを発声したときにその音声認識とキーワード対
制御コマンドの変換で利用者が意図する制御コマンドが
得られるようにする。

【００２３】また、前記音声認識インタフェースは、キ
ーワードの分かっている部分の語尾を延ばした発声入力
から長音以降を補完して得られるキーワード候補をリス
ト表示する手段を備えたことを特徴とする。

【００２４】この構成により、利用者がキーワードの分
かっている部分の語尾を延ばして発声することにより、
候補となるキーワードを画面表示し、この画面表示から
正しいキーワードを知って、新たに正しいキーワードに
よる操作指示ができるようにする。

【００２５】また、前記音声認識インタフェースは、キ
ーワードの語尾を延ばした長音を伴った音声、又はキー
ワードに長音を付加した音声を認識したときに、該長音
の長さに応じて該キーワードに応じた制御コマンドを繰
り返し発生する手段を備えたことを特徴とする。

【００２６】この構成により、連続的な同じ制御コマン
ドを繰り返し発声するのに代えて、長音を伴う１つのキ
ーワードを発声することにより、同じ制御を繰り返し行
うのに１回のキーワード発声で済むようにする。

【００２７】また、前記音声認識インタフェースは、利
用者が音声入力するときのみ音声認識を実行させる音声
操作ボタンと、実際の入力音声が認識に適当なレベル以
上にあるときのみ音声認識を実行させる入力レベルチェ
ック部と、音声認識結果の信頼度をチェックして正確に
認識した音声のみを取り出す認識結果信頼度チェック部
とを備えたことを特徴とする。

【００２８】この構成により、ノイズの侵入やレベル不
足の音声による誤認識を防止し、また認識結果の信頼度
チェックもして誤認識を防止する。

【００２９】また、本発明は、前記システムソフトウェ
アは、ポインティングデバイスが指定する位置のウィン
ドウを利用者が注目する度合いの高いウィンドウとし、
当該ウィンドウのフレームレートを高める手段を備えた
ことを特徴とする。

【００３０】この構成により、アクティブウィンドウを
操作することなく、利用者の興味度の高いウィンドウを
容易に指定できるようにする。

【００３１】

【発明の実施の形態】

（第１の実施形態）図１は、本発明の一実施形態を示す
音声認識インタフェース部のブロック図である。マイク
ロフォン１は、利用者がコンピュータシステムに操作指
示を与えるための音声入力手段にされる。

【００３２】音声認識インタフェース部２は、音声認識
部３と、音声認識用単語辞書４と、キーワード制御コマ
ンド変換部５と、キーワード対制御コマンドテーブル６
とを有する。

【００３３】音声認識部３は、マイクロフォン１からの
音声信号を音声認識用単語辞書４と照合し、認識が一致
したキーワードを結果として出力する。例えば、利用者
が「開く」と発声した場合、「開く」という文字列をキ
ーワードとして得る。

【００３４】音声認識用単語辞書４は、図示のように、
システムのソフトウエア上で実行されるアプリケーショ
ン毎及び各アプリケーションの共通単語が用意され、そ
の中で現在アクティブ状態のアプリケーションの単語と
共通単語を有効としている。

【００３５】キーワード制御コマンド変換部５は、音声
認識部３からのキーワードをキーワード対制御コマンド
テーブル６を参照し、該当する制御コマンドを得る。

【００３６】テーブル６は、各キーワードに１対１に対
応づけた制御コマンドが記述され、例えば、キーワード
「開く」に対応する制御コマンドがキーボードやマウス
等の操作に置き換えられて記述されている。

【００３７】コンピュータ本体７のシステムソフトウエ
ア８は、ＭＳ−ＷｉｎｄｏｗやＸ−Ｗｉｎｄｏｗ ｓｙ
ｓｔｅｍ等のＧＵＩ環境を持つソフトウエア構成にさ
れ、キーボード等からの操作指示に応動する機能の他
に、キーワード制御コマンド変換部５からの制御コマン
ドに応動する機能を持つ。

【００３８】表示部９は、システムソフトウエア８から
の表示制御に応じたグラフィックディスプレイ機能を持
ち、表示画面９Ａには同一画面上で複数のアプリケーシ
ョン（ウインドウ）表示を行うための表示制御機能を持
つ。

【００３９】ここで、本実施形態では、システムソフト
ウエア８による表示制御手段には、表示画面９Ａに表示
されるすべてのウインドウに仮想的なウインドウ優先順
位を付けており、現在アクティブになっているウインド
ウを最も優先順位の高いものとしておく。

【００４０】また、アクティブウインドウの裏に位置す
るウインドウを２番目の優先順位とし、その裏のウイン
ドウを３番目のウインドウとするウインドウ位置に応じ
た優先順位を設定しておく。

【００４１】そして、システムソフトウエア８は、ある
特定のキーワード（例えば「ウインドウ」）を設定して
おき、その特定のキーワードをキーワード制御コマンド
５から受け付けたとき、現在アクティブになっているア
プリケーション（ウインドウ）の裏に位置するウインド
ウ、つまりウインドウ優先順位が２番目のものをアクテ
ィブウインドウにするウインドウ切換機能を持つ。

【００４２】このウインドウ切換機能によるウインドウ
切換時には、それまでアクティブであったウインドウは
ウインドウ優先順位を最下位にする。

【００４３】したがって、本実施形態によれば、目的と
するアプリケーションが非アクティブな状態のとき、利
用者は音声によってウインドウ切換のキーワードを発声
することにより、音声認識部３による音声認識とキーワ
ード制御コマンド変換部５による制御コマンドへの変換
がなされ、これによりシステムソフトウエア８による画
面９Ａ上のウインドウ切換がなされ、この切換えはウイ
ンドウ切換のキーワードが発声される毎に優先順位の高
いウインドウに切換えられ、希望するウインドウをアク
ティブな状態にすることができる。

【００４４】これにより、利用者は、操作したいウイン
ドウをアクティブな状態にするためには、マウス等のポ
インティングデバイスを操作する事なく、特定のキーワ
ードを発声するのみで済み、これに続けてアクティブな
状態のウインドウに対する操作指示を音声で行うことが
でき、操作効率を高めることができると共に、誤操作も
防ぐことができる。

【００４５】なお、データの入力はキーボード等から行
う方式、又は音声認識インタフェース部２によるデータ
の認識と解読で行う方式のいずれでも良い。

【００４６】また、ウインドウの切換えは、特定のキー
ワード（制御コマンド）を受け付ける毎に優先順位の高
い順に切換える場合を示したが、このウインドウ切換方
法はシステムソフトウエア側のソフトウエアの変更で適
宜変更できる。

【００４７】例えば、ウインドウ切換え開始のキーワー
ドを受け付けたときに、ある時間間隔（例えば、１秒
毎）でアクティブウインドウを自動的に切換え、ウイン
ドウ切換え停止のキーワードを受け付けたときにウイン
ドウの切換えを停止する方式、さらには本方式と実施形
態の方式を組み合わせた方式とすることができる。さら
にまた、ウインドウ切換えの指令とウインドウ番号の組
を音声で発声し、システム側で当該ウインドウ番号を持
つウインドウをアクティブウインドウとする方式でも良
い。

【００４８】また、グラフィックディスプレイに表示さ
れる各ウィンドウに優先順位を持たせた「しおり」を付
け、この「しおり」を音声で指定することにより任意の
ウィンドウをアクティブにするウィンドウ切換方式とす
ることができる。

【００４９】例えば、「しおり」の設定や解除は、ある
特定のキーワード、例えば「しおり１の設定」や「しお
り１の解除」を利用者が発生することで現在アクティブ
になっているウィンドウに「しおり１」の設定や解除を
する。そして、アクティブにするウィンドウの指定は、
「しおり１」などを発声することにより当該ウィンドウ
をアクティブにする。

【００５０】この場合、設定・解除される「しおり」
は、アイコン化されて表示され、どの「しおり」を設定
・解除するかが一目でわかるようにするのが好ましい。
また、「しおり」の使用には音声で行うが、設定や解除
はキーボードなど他の入力手段で置換することもでき
る。

【００５１】以上の「しおり」によるウィンドウの切換
えは、エディタなどのキーワードによる切換に比べて、
ウィンドウ単位の「しおり」により切換えになって利用
者の意図通りのウィンドウを１回の発声でアクティブに
できる。

【００５２】また、システムソフトウェア８にウインド
ウ管理部を設け、この管理部に表示中のウインドウ名称
とアクティブウインドウ名称及びアクティブウインドウ
履歴からなるウインドウ情報を管理し、各アプリケーシ
ョンの最新のアクティブウインドウに切換ることもでき
る。

【００５３】例えば、複数のアプリケーションＡ〜Ｄが
起動され、各アプリケーションの中でも子ウインドウＡ
１，Ａ２が表示されている状態で、音声により「アプリ
Ｂ」と発声すると、管理部がアプリケーションＢの最新
のアクティブウインドウをサーチして、例えばアプリケ
ーションＢ１をアクティブにする。

【００５４】さらには、音声により「アプリＢ」を続け
て発声すると、次のアプリＢ２をアクティブにする。

【００５５】（第２の実施形態）前記の実施形態におい
て、音声によりウインドウの切換えを行い、当該アプリ
ケーションの操作を行うが、多数のウインドウが重なり
合う場合、利用者はどのアプリケーションがアクティブ
であるかの判断に迷うことが生じる。また、各ウインド
ウ中にどのような子ウインドウがあるかを利用者が分か
らなくなる場合がある。

【００５６】そこで、本実施形態では、図２に示すよう
に、複数のアプリケーションを起動中に、例えば「タス
クリスト」の発声によって、このキーワードに応じた制
御コマンドからシステムソフトウエア８は現在起動中の
アプリケーションリスト（各ウインドウ名）を図３のよ
うにタスクリストとして表示する構成とする。

【００５７】この際、現在アクティブなアプリケーショ
ン（例えばアプリケーションＡ）は、アクティブである
ことが容易に分かるよう、編み掛け表示や特別な色・枠
表示を行う。また、各ウインドウ内にさらに子ウインド
ウがあった場合、例えばアプリケーションＤではその子
ウインドウも階層構造で同時に表示する。また、タスク
リストの表示状態でアクティブウインドウを切換え可能
にする。

【００５８】本実施形態によれば、利用者は現在アクテ
ィブなウインドウを覚えておく必要がなく、アクティブ
ウインドウの確認には「タスクリスト」等の特定のキー
ワードの発声によって複数のウインドウ名を一目で判断
でき、容易に認識できる。

【００５９】（第３の実施形態）図４は本発明の他の実
施形態を示す。同図が図１と異なる部分は、タスク切換
部１０を備えた点にある。

【００６０】タスク切換部１０は、システムソフトウエ
ア８に対して入力デバイスの切換制御を行う。

【００６１】通常時は、１つのウインドウ（例えばアプ
リケーションＡ）が操作対象となるが、この状態で音声
により「タスク切換Ｂ」をインタフェース２に与える
と、この制御コマンドがタスク切換部１０に与えられ
る。

【００６２】このとき、タスク切換部１０は、アプリケ
ーションＢを音声入力対象とし、アプリケーションＡを
キーボード又はマウスからの入力のみが可能とするよう
入力デバイスの切換を行う。

【００６３】この入力デバイスの切換状態は、利用者に
分かるようウインドウ表示画面のうち、アプリケーショ
ンＡとアプリケーションＢは他のアプリケーションと異
なり、かつアプリケーションＡ，Ｂ間でも異なる表示、
例えば色別表示を行う。

【００６４】上記の入力デバイス切換状態からの復帰
は、音声により「タスク切換Ｂ」を与えることでインタ
フェース２によるタスク切換部１０への復帰コマンドで
なされる。

【００６５】本実施形態によれば、複数のウインドウを
操作対象とすることができる。

【００６６】（第４の実施形態）図５は本発明の他の実
施形態を示す。本実施形態では、キーワード制御コンマ
ド変換部５に特定のキーワードが与えられたときに、単
語辞書４に登録されているキーワードリストを一覧表と
して表示制御できるようにした点にある。

【００６７】例えば、図５の構成において、マイクロフ
ォン１を通して、利用者が「キーワード一覧」の音声を
発声したとき、音声認識部３ではその音声認識結果をキ
ーワード制御コンマド変換部５に与える。該変換部５
は、このキーワードには単語辞書４に登録されているキ
ーワード群を読み出し、それをキーワード一覧表データ
とすると共にキーワード一覧の制御コマンドをシステム
ソフトウエア８に与え、システムソフトウエア８による
表示制御によりキーワードリストを画面９Ａ上に表示さ
せる。

【００６８】図６はキーワードリストの画面表示例を示
し、全アプリケーションのキーワード表示と共通単語リ
スト表示なされ、また現在有効なキーワードが分かるよ
う編み掛け表示を行う。

【００６９】また、各アプリケーション内に個別のアプ
リケーションがある場合は、例えばアプリケーションＡ
のように個別アプリケーション別に単語リストを階層構
造表示する。

【００７０】なお、キーワードリストの表示を現在有効
なアプリケーションのキーワード表示とすることでも良
い。

【００７１】本実施形態によれば、現在有効なキーワー
ド又は全部のキーワードがリスト形式で表示されるた
め、利用者はキーワードを覚えておくことなくキーワー
ドリストの呼び出しのためのキーワードを覚えておくこ
とで済む。

【００７２】また、階層構造型のキーワードリスト表示
になるため、アプリケーション単位のキーワードの認識
が容易になる。また、アプリケーション間のキーワード
の関連付けが容易になる。

【００７３】（第５の実施形態）本実施形態は、前記の
実施形態と同様に、キーワード制御コンマド変換部５に
特定のキーワードが与えられたときに、現在有効となっ
ているキーワード群を一覧表として表示制御する場合で
ある。

【００７４】例えば、マイクロフォン１を通して、利用
者が「キーワード一覧」の音声を発声したとき、単語辞
書４から現在有効となっているキーワード群を読み出
し、それを画面９Ａ上に表示させる。このとき、キーワ
ード群には各々に対応した略号（番号又は記号）が同時
に表示される。

【００７５】この後の操作指示は、表示されるキーワー
ド群から前述の実施形態と同様にキーワードの音声入力
による方法、又はキーワード群の一覧表示に付加する略
号（番号又は記号）の音声入力によってなされる。

【００７６】図７は、ある監視制御ソフトウエアを用い
て「福岡」の監視状況を取り出す場合の操作例を示す。

【００７７】まず、利用者は、「キーワード一覧」を発
声したときにキーワード制御コマンド変換部５が現在有
効なキーワード群を単語辞書４から読み込み、この制御
コマンドとキーワード群によってシステムソフトウエア
８によりメニュー画面Ａ１として表示する。

【００７８】次に、表示されるメニュー画面Ａ１から、
利用者は、ファイルのキーワードを知るために「ファイ
ル」を発声する。これにより、ファイルについて有効な
キーワード群が単語辞書４から読み出され、ファイル画
面Ａ２として表示される。次に、ファイル画面Ａ２か
ら”実行”を選択するには、その「実行」の音声で可能
であるが、図示ではその略号としての「１」音声による
実行画面Ａ３のキーワード群表示を得る。同様に、実行
画面Ａ３から監視制御の略号「２」の音声により監視制
御画面Ａ４を得、このうち「福岡」を指定する略号
「４」の音声により「福岡」の監視状況を得ることがで
きる。

【００７９】ここで、各画面Ａ１〜Ａ４に表示されるキ
ーワード「マクロ」は、音声での発声語と発声順をマク
ロ化する機能を持たせ、頻度の高いオペレーションには
少ないワードの発声で実行できるようにするものであ
る。

【００８０】図８は、マクロを使った監視状況を得る場
合を示し、メニュー画面Ａ１のマクロの略号「１１」の
音声入力により、マクロ画面Ａ５を得る。このマクロ画
面Ａ５には、地名「福岡」と監視制御の区別「監視」を
一度に表示し、このうち略号「３」の音声により「福
岡」の監視状況表示を得る。

【００８１】以上のことより、本実施形態によれば、キ
ーワードリストを用意することなく、また利用者がキー
ワードを覚えておくことなく、キーワード一覧表を呼び
出すための１つのキーワードを覚えておくことで必要な
キーワードを画面表示から容易に知ることができる。

【００８２】また、本実施形態によれば、キーワードそ
のもの以外に、キーワードの略号を受け付けることによ
り、利用者の発声語数の削減と煩わしさの軽減、これら
に伴うシステムの音声認識率の向上を図ることができ
る。

【００８３】また、本実施形態によれば、音声での発声
語と発声順をマクロ化することにより、オペレーション
の簡略化、高速化、利用者本意の操作指示を実現でき
る。

【００８４】（第６の実施形態）図９は、本発明の他の
実施形態を示し、キーワード対制御コマンドテーブルの
テーブルデータを示す。

【００８５】前述までの実施形態では、特定のキーワー
ドになる音声に応動したウインドウ切換えや操作指示と
なるため、このキーワードを利用者が覚えておく必要が
ある。このため、利用者の記憶が曖昧で正しいキーワー
ドを正確に覚えていないとき、ウインドウ切換えや操作
指示ができない。

【００８６】この課題には、キーワードリストを用意す
ることが考えられるが、アプリケーションをＧＵＩ環境
上で動的に切換えるには各アプリケーション毎のキーワ
ードリストを用意するのは煩わしく、しかも実用的でな
い。また、アプリケーションに変更が生じた場合にはそ
の都度リストを書き替える必要がある。

【００８７】そこで、本実施形態では、キーワードリス
トを用意する事なく、利用者の曖昧な記憶にも利用者が
意図する制御コマンドが得られるように、図示のような
キーワード対制御コマンドテーブル６を用意する。

【００８８】図９の例では、ファイルオープンのための
制御コマンド記述に対して、複数（図示では３つ）のキ
ーワード「開く」と「開け」及び「オープン」を用意す
る場合を示す。

【００８９】したがって、利用者がファイルオープンを
音声で行うには、正しいキーワード「開く」ではなく、
「開け」や「オープン」を連想してそれを発声した場
合、キーワード制御コマンドテーブル６を参照した変換
部５によって正しい制御コマンドへの変換がなされ、目
的とする制御がなされる。同様に、ウインドウ切換も複
数のキーワードを用意しておくことでなされる。

【００９０】本実施形態によれば、利用者が正しいキー
ワードを覚えておく必要がなく、またキーワードリスト
を用意する事なく、操作に関連して連想できる近い言葉
を発声することで所期のキーワードによる操作指示を得
ることができる。

【００９１】なお、テーブル６への複数のキーワードの
追加や変更などの編集には、キーボードからの入力でも
可能であるが、音声による編集でも良い。

【００９２】この音声による編集は、例えば、システム
ソフトウエア８への制御コマンドとして「テーブル６の
編集」を音声で与えることで該テーブルを編集可能な状
態にし、次にキーワード編集のキーワード（例えば、
「登録」の音声）を発声し、正しいキーワードの発声に
よりテーブル６から該キーワードを持つ部分を検索し、
次いで別名のキーワードの発声により該別名のキーワー
ドをテーブルに登録することで実現される。

【００９３】（第７の実施形態）これまでの実施形態で
は、少なくとも１つのキーワードを正確に覚えておく必
要があるが、利用者の記憶が曖昧なため、正しいキーワ
ードを忘れてしまい、キーワードの途中まで分かってい
る場合がある。

【００９４】そこで、本実施形態では、キーワードの途
中まで分かっている部分から目的とするキーワードを得
るシステムを提供する。

【００９５】本実施形態では、利用者が途中まで分かっ
ている部分のキーワードの音声入力を行い、この音声入
力に分かっている部分の語尾を延ばして発声することに
より、長音以降を補完して得られる正しいキーワード候
補のリストを表示する構成とする。

【００９６】例えば、ファイルの内容を表示するための
キーワードを「表示」とした場合、テーブル６に登録さ
れているキーワード「表示［ひょうじ］」に対して、
［ひょう］まで分かっていれば”ひょうー”と語尾を延
ばした発声を行う。

【００９７】この語尾が長音のキーワードを受け取った
キーワード制御コマンド変換部５は、テーブル６内のキ
ーワードを検索し、その認識キーワード「ひょう」で始
まる正しいキーワード候補のリスト（例えば、表示、標
準、評価、…）の画面表示コマンドをシステムソフトウ
エア８に与え、その画面表示を得る。

【００９８】この画面表示から、利用者が正しいキーワ
ード「表示」を改めて発声することにより、正しいキー
ワード「表示」による操作指示を得る。

【００９９】本実施形態によれば、利用者が正確なキー
ワードの語尾を忘れている場合にもその初めの部分を覚
えていれば、システムが表示したキーワードリストの中
から正しいキーワードを見つけだし、正しいキーワード
の音声入力ができる。

【０１００】（第８の実施形態）これまでの実施形態か
ら、正しいキーワードの音声入力を知って音声入力を行
うにおいて、キーワードとして画面の「拡大」、「縮
小」、上下左右への「移動」のような連続的な操作指示
を行う場合、利用者は期待する画面状態になるよう、キ
ーワードを繰り返し発声する（例えば、「拡大」、「拡
大」、「拡大」）という煩わしさがある。

【０１０１】そこで、本実施形態では、連続した同じ操
作指示のキーワード入力を簡易にするシステムを提供す
る。

【０１０２】本実施形態では、キーワードの語尾を延ば
した長音を伴った発声をしたときに、この長音の長さに
応じて連続的な同じ制御コマンドを繰り返し得ることに
より、同じキーワードの繰り返し発声を不要にする。

【０１０３】例えば、画面の拡大を行うキーワード「拡
大」の発声に、長音を伴った”かくだーい”と発声す
る。この発声に対して、音声認識部３は、音声”かく
だ”の部分から、単語辞書４の参照で拡大動作であるこ
とを認識し、キーワードとして「かくだい」とこれが連
続することの符号をキーワード制御コマンド変換部５に
与え、該変換部５によって画面拡大の制御コマンドの発
生を繰り返す。

【０１０４】そして、音声認識部３がキーワード「拡
大」の語尾になる「い」を認識したときに繰り返し制御
の停止を意味する符号を変換部５に与え、これにより変
換部５が「拡大」の制御コマンドの発生を停止し、シス
テムソフトウエア８が画面の拡大表示制御を停止する。

【０１０５】画面の縮小や上下左右への移動についても
同様になされ、さらにプルダウンメニュー内におけるメ
ニュー選択などにも利用することができる。すなわち、
プルダウンメニュー内の項目を選択するとき、カーソル
の上下移動のそれぞれのキーワード”うえ”、”した”
に長音を伴って発生することにより、長音が続く限りカ
ーソルを上下方向に移動させ、発声が終了したときにカ
ーソル移動が停止し、停止位置の項目選択を可能にす
る。

【０１０６】本実施形態によれば、利用者は、同じキー
ワードによる連続した操作指示を行うには、キーワード
として長音を伴った発声を行うことにより、長音が続く
間だけ画面の拡大等の連続制御がなされ、希望する画面
状態になったときに発声を終了することにより連続制御
が停止され、利用者が期待する画面状態を得ることがで
きる。これにより、利用者はキーワードの発声回数を１
回で済み連続した操作指示が容易になる。

【０１０７】なお、実施形態において、長音を伴ったキ
ーワードに代えて、語尾に長音を付加したキーワード
（例えば「かくだいー」）を発声し、この長音が続く限
り当該キーワードの操作指示を繰り返す構成にして同等
の作用効果を奏する。

【０１０８】（第９の実施形態）図１や図４、５のシス
テム構成において、一般に音声認識は１００％の認識率
が達成されないため、システムの誤操作の一因となる場
合が予想される。

【０１０９】そこで、本実施形態では、音声認識に誤り
が発声したときにも誤操作を確実に防止するシステムを
提供する。

【０１１０】図１０は、本実施形態の音声認識インタフ
ェースを示す。音声操作ボタン１１は、ソフトウェアボ
タンにされ、このオン操作で音声入力の許可信号を音声
入力インタフェース１２に与える。このボタン１１を設
けることにより、ボタン１１のオフ時には音声入力を遮
断し、周囲の騒音等によるノイズが音声認識部３に侵入
するのを無くしてノイズによる誤操作を防止する。

【０１１１】入力レベルチェック部１３は、インタフェ
ース１２を通した音声信号のレベルをチェックし、入力
レベルが通常より低い音声信号を遮断することにより、
低いレベルの音声認識による誤り発声を防止する。

【０１１２】また、入力レベルチェック部１３は、音声
信号を遮断したときに、応答機能部１４に遮断したこと
の信号を渡す。

【０１１３】認識結果信頼度チェック部１５は、音声認
識部３による認識結果の信頼度をチェックし、信頼度が
低いときには認識結果を変換部５に渡すのをやめる。こ
れにより、音声認識をその信頼度チェックにより誤った
音声による操作を防止する。

【０１１４】また、チェック部１５は、信頼度が低いと
きに応答機能部１４に操作を中止したことの信号を渡
す。

【０１１５】応答機能部１４は、チェック部１３又は１
５からの音声認識異常の信号を受け取ったときに、利用
者への再発声を要求する。また、この要求に対する再発
声にも異常の信号を受けたときに音声操作ボタン１１を
強制オフすると共に、利用者ひ他の入力インタフェース
（マウスやキーボードなど）による入力要求を出す。

【０１１６】したがって、本実施形態によれば、音声操
作ボタン１１により利用者が音声入力するときのみ音声
認識を実行させ、入力レベルチェック部１３により実際
の入力音声が認識に適当なレベル以上にあるときのみ音
声認識を実行させ、認識結果信頼度チェック部１５によ
り音声認識結果の信頼度をチェックして正確に認識した
音声のみに応答できるようにする。

【０１１７】また、音声入力及び認識の異常発生には、
利用者に再入力を促したり、他のインタフェースによる
入力を促すことにより、確実な音声入力と認識を得るこ
とができる。

【０１１８】（第１０の実施形態）複数のウィンドウを
同時に表示するにおいて、利用者が注目しているウィン
ドウの度合い（興味度）の高さに応じて各ウィンドウの
フレームレートを変化させ、限られたシステムリソース
の最適配分を図ることができる。

【０１１９】この興味度の高さは、ウィンドウの表示状
態から推測することができる。そのルールとしては、図
１１の（ａ）に示すように、アクティブウィンドウに近
いウィンドウほど興味度が高いとし、またウィンドウの
面積が小さいほど興味度が低いとすることができる。興
味度の度合いによりウィンドウのフレームレートを変え
ることも行われる。

【０１２０】このルールでは、ウィンドウの表示状態に
より興味度が自動的に決定され、利用者が任意に興味度
を変えるためにアクティブウィンドウを変えるなどの操
作を必要とし、操作が繁雑になる。

【０１２１】そこで、本実施形態では、利用者の興味度
の度合いを確実にかつ自動的に推測して最適配分の表示
を得るシステムを提供する。

【０１２２】本実施形態では、図１１の（ｂ）に示すよ
うに、マウス等のポインティングデバイスが位置するウ
ィンドウを利用者の興味度が高いウィンドウとシステム
ソフトウェアが認識し、またそのウィンドウのフレーム
レートを高める。このとき、アクティブウィンドウは変
更しない。

【０１２３】したがって、本実施形態では、マウス等の
ポインティングデバイスのポインタ位置を変えることに
より、自動的にウィンドウの興味度を変え、またフレー
ムレートも変えるため、アクティブウィンドウの変更操
作をすることなく、利用者が任意に特定のウィンドウの
興味度を上げることができる。このため、利用者の興味
度のあるウィンドウのフレームレートを上げる操作が単
純化され、より使い易いシステムを構築できる。

【０１２４】

【発明の効果】以上のとおり、本発明によれば、音声認
識インタフェースを利用し、音声によるウインドウ切換
えを行うようにしたため、マウス等による従来のウイン
ドウ切換操作を不要にし、音声によるウインドウ切換え
になって操作効率を高めると共に、誤操作を防止するこ
とができる。

【０１２５】また、本発明は、複数のアプリケーション
のウインドウ情報を管理し、音声により各アプリケーシ
ョンを指定したときにウインドゥ情報からアプリケーシ
ョンの最新のアクティブウインドウに切換え、同じアプ
リケーション名の音声により当該アプリケーションの新
しいウインドゥ順に切換えるようにしたため、アプリケ
ーションのウインドゥのうち良く利用するウインドゥ指
定を容易にする効果がある。

【０１２６】また、本発明は、音声入力により、アクテ
ィブなウインドウを他のウインドウから区別した表示を
行うこと及びアクティブなアプリケーションを区別した
タスクリスト表示を行うようにしたため、利用者がアク
ティブなウインドウ及びアプリケーションを認識するの
を容易にする効果がある。

【０１２７】また、本発明は、タスク切換により、音声
によるアプリケーションへの入力と、マウス等の他の入
力デバイスによる他のアプリケーションへの入力とする
ため、複数のウインドウを操作対象とすることができ
る。

【０１２８】また、本発明は、利用者がキーワード一覧
等の特定のキーワードを発声したときに単語辞書に登録
されるキーワード又は現在有効なキーワードリストを画
面表示するため、この画面表示から利用者が必要とする
キーワードを容易に知ることができ、利用者はキーワー
ド一覧等の１つのキーワードを覚えておくのみで有効な
キーワードの全てを画面表示から知ることができる。

【０１２９】また、本発明は、キーワードを制御コマン
ドに変換するテーブルには１つの制御コマンドに複数の
キーワードを対応付け、何れか１つのキーワードから制
御コマンドを得るテーブルデータ構成とするため、利用
者がキーワードを正確に覚えていない場合にも、それに
近い又は関連するキーワードの発声により利用者が意図
する制御コマンドが得られ、キーワードの正確な記憶を
不要にして使い勝手を良くする効果がある。

【０１３０】また、本発明は、利用者がキーワードの分
かっている部分の語尾を延ばして発声することにより、
候補となるキーワードを画面表示するようにしたため、
利用者はキーワード候補の画面表示から正しいキーワー
ドを知ることができ、キーワードの一部を覚えておけば
正しいキーワードを知ることができる。

【０１３１】また、本発明は、連続的な同じ制御コマン
ドを繰り返し発声するのに代えて、長音を伴う１つのキ
ーワードを発声することにより、長音が続く限り同じ制
御を繰り返し行うようにしたため、同じキーワードによ
る操作指示には当該キーワードに長音を付加した１回の
発声で済み、連続した同じ操作指示が簡単になる。

【０１３２】また、本発明は、利用者が音声入力すると
きのみ音声認識を実行させ、実際の入力音声が認識に適
当なレベル以上にあるときのみ音声認識を実行させ、音
声認識結果の信頼度をチェックして正確に認識した音声
のみに応答できるようにするため、音声認識の誤りによ
る誤操作を確実に防止できる。また、音声入力及び認識
の異常発生には、利用者に再入力を促したり、他のイン
タフェースによる入力を促すことにより、確実な音声入
力と認識を得ることができる。

【０１３３】また、本発明は、マウス等のポインティン
グデバイスが位置するウィンドウを利用者の興味度が高
いウィンドウとシステムソフトウェアが認識し、ウィン
ドウのフレームレートを高めるようにしたため、アクテ
ィブウィンドウの変更操作をすることなく、利用者が任
意に特定のウィンドウの興味度を上げることができ、利
用者の興味度のあるウィンドウのフレームレートを上げ
る操作が単純化され、より使い易いシステムを構築でき
る効果がある。

【図面の簡単な説明】

【図１】本発明の一実施形態を示すブロック図。

【図２】他の実施形態におけるウインドウイメージ。

【図３】他の実施形態におけるタスクリストウインドウ
イメージ。

【図４】他の実施形態のブロック図。

【図５】他の実施形態のブロック図。

【図６】他の実施形態におけるキーワードリストウイン
ドウイメージ。

【図７】他の実施形態における音声による操作指示手順
図。

【図８】他の実施形態における音声による操作指示手順
図。

【図９】他の実施形態におけるキーワード対制御コマン
ドテーブルのデータ構成例。

【図１０】他の実施形態における音声認識インタフェー
スの構成例。

【図１１】他の実施形態における興味度によるウィンド
ウ表示例。

【符号の説明】

１…マイクロフォン ２…音声認識インタフェース ３…音声認識部 ４…単語辞書 ５…キーワード制御コマンド変換部 ６…キーワード対制御コマンド変換テーブル ７…コンピュータ本体 ８…システムソフトウエア ９…表示部 １０…タスク切換部 １１…音声操作ボタン １２音声入力インタフェース １３…入力レベルチェック部 １４…応答機能部 １５…認識結果信頼度チェック部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 原 洋 東京都品川区大崎２丁目１番17号 株式会 社明電舎内 (72)発明者 松田 啓寿 東京都品川区大崎２丁目１番17号 株式会 社明電舎内 (72)発明者 小形 毅 東京都品川区大崎２丁目１番17号 株式会 社明電舎内 (72)発明者 望月 薫雅 東京都品川区大崎２丁目１番17号 株式会 社明電舎内 (72)発明者 池田 勇 東京都品川区大崎２丁目１番17号 株式会 社明電舎内

Claims (10)

【特許請求の範囲】
1. 【請求項１】 ＧＵＩ環境を持ち、音声による操作指示
   の音声認識によってキーワードを得、このキーワードを
   解読してシステムソフトウエアの制御コマンドに変換す
   る音声認識インタフェースを備えたコンピュータシステ
   ムにおいて、前記システムソフトウエアは特定の音声を
   解読した制御コマンドを前記音声認識インタフェースか
   ら受けたときに該制御コマンドに対応するウインドウを
   アクティブな状態にするウインドウ切換手段を備えたこ
   とを特徴とするコンピュータシステム。
2. 【請求項２】 前記システムソフトウェアは、複数のア
   プリケーションのウインドウ情報を管理し、前記音声認
   識インタフェースからの制御コマンドにより各アプリケ
   ーションを指定したときに該ウインドゥ情報から該アプ
   リケーションの最新のアクティブウインドウに切換え、
   同じアプリケーション名の音声により当該アプリケーシ
   ョンの新しいウインドゥ順に切換える手段を備えたこと
   を特徴とする請求項１記載のコンピュータシステム。
3. 【請求項３】 前記システムソフトウエアは、音声認識
   インタフェースからの制御コマンドによりアクティブに
   したウインドウを他のウインドウとは異なるウインドウ
   の表示かつ各ウインドウのタスクリスト表示を行う手段
   を備えたことを特徴とする請求項１記載のコンピュータ
   システム。
4. 【請求項４】 前記音声認識インタフェースからの制御
   コマンドにより複数のアプリケーションのうち１つは音
   声認識インタフェースを入力デバイスとし、他の１つは
   該音声認識インタフェース以外のデバイスを入力デバイ
   スとするタスク切換手段を備えたことを特徴とする請求
   項１又は３記載のコンピュータシステム。
5. 【請求項５】 前記音声認識インタフェースは、音声認
   識のための単語辞書にはアプリケーション別の単語及び
   共通の単語を用意し、特定のキーワードが与えられたと
   きに、前記単語辞書に登録されているキーワードリスト
   を一覧表として画面表示、又は現在有効なキーワードリ
   ストを画面表示する制御コマンドを前記システムソフト
   ウエアに与える手段を備えたことを特徴とする請求項１
   又は２記載のコンピュータシステム。
6. 【請求項６】 前記音声認識インタフェースは、前記キ
   ーワードを制御コマンドに変換するテーブルを有し、こ
   のテーブルは１つの制御コマンドに複数のキーワードを
   対応付け、何れか１つのキーワードの参照で制御コマン
   ドを得るテーブルデータ構成を特徴とする請求項１乃至
   ５記載のうちの何れか１つに記載のコンピュータシステ
   ム。
7. 【請求項７】 前記音声認識インタフェースは、キーワ
   ードの分かっている部分の語尾を延ばした発声入力から
   長音以降を補完して得られるキーワード候補をリスト表
   示する手段を備えたことを特徴とする請求項１乃至５記
   載のうちの何れか１つに記載のコンピュータシステム。
8. 【請求項８】 前記音声認識インタフェースは、キーワ
   ードの語尾を延ばした長音を伴った音声、又はキーワー
   ドに長音を付加した音声を認識したときに、該長音の長
   さに応じて該キーワードに応じた制御コマンドを繰り返
   し発生する手段を備えたことを特徴とする請求項１乃至
   ５記載のうちの何れか１つに記載のコンピュータシステ
   ム。
9. 【請求項９】 前記音声認識インタフェースは、利用者
   が音声入力するときのみ音声認識を実行させる音声操作
   ボタンと、実際の入力音声が認識に適当なレベル以上に
   あるときのみ音声認識を実行させる入力レベルチェック
   部と、音声認識結果の信頼度をチェックして正確に認識
   した音声のみを取り出す認識結果信頼度チェック部とを
   備えたことを特徴とする請求項１乃至８記載のうちのい
   ずれか１つに記載のコンピュータシステム。
10. 【請求項１０】 前記システムソフトウェアは、ポイン
    ティングデバイスが指定する位置のウィンドウを利用者
    が注目する度合いの高いウィンドウとし、当該ウィンド
    ウのフレームレートを高める手段を備えたことを特徴と
    する請求項１又は３記載のコンピュータシステム。