JPH1165799A

JPH1165799A - 情報オブジェクト指定装置

Info

Publication number: JPH1165799A
Application number: JP21530997A
Authority: JP
Inventors: Akihiro Kimura; 晋太木村; Yasuo Sato; 泰雄佐藤; Tomio Koide; 富夫小出
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1997-08-08
Filing date: 1997-08-08
Publication date: 1999-03-09
Also published as: US6804817B1

Abstract

(57)【要約】【課題】情報処理システム内に記憶されているオブジ
ェクトに対する、例えばユーザによる指定を可能にする
ための作業を自動化し、ユーザによるオブジェクト指定
の操作性を向上させる。【解決手段】情報処理システム内に記憶され、例えば
ディスプレイ上にその名前が文字列として表示されてい
る情報オブジェクトの文字列と、外部から入力される情
報に基づく文字列とを比較する手段１１と、手段１１が
文字列の一致を検出した時、該文字列によって表される
情報オブジェクトに対して、例えばそのオブジェクトを
起動するイベントを発生する手段１２とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は情報処理システムに
係り、更に詳しくはオブジェクト指向情報処理システム
において、例えば記憶されている情報オブジェクトを起
動するために、その情報オブジェクトを指定する情報オ
ブジェクト指定システムに関する。

【０００２】

【従来の技術】オブジェクト指向情報処理システムで
は、例えば小さな機能単位がオブジェクトとして任意の
プロセッサに配置され、そのプロセッサにメッセージが
送られることによってオブジェクトが起動され、処理が
実行される。

【０００３】図２８は、このようなオブジェクト指向情
報処理システムにおいて、例えば起動すべきオブジェク
トを指定するための情報オブジェクト指定システムの従
来例の説明図である。同図において、ランチャ２は情報
オブジェクト指定システムであり、オペレーティングシ
ステム１としてはオブジェクト指向情報処理システムの
オペレーティングシステム内で、オブジェクトの指定に
関係するものだけが示されている。

【０００４】オペレーティングシステム１は、情報オブ
ジェクトの名前と識別番号（ＩＤ）、オブジェクトの動
作、プログラムかテキストかなどを示す内容、およびオ
ブジェクトを示すアイコンなどを格納した情報オブジェ
クト記憶部３、１つ以上の情報オブジェクトを表示する
ために、オブジェクトの名前を表す文字列や、アイコン
などのグラフィックス情報を表示情報として生成する表
示情報生成部４、および表示情報生成部４によって生成
された表示情報を表示する表示部５を備えている。

【０００５】ランチャ２は、情報オブジェクト記憶部３
に記憶されている情報オブジェクトの名前とその識別番
号などを記憶する情報オブジェクト名記憶部６、ユーザ
が起動すべき情報オブジェクトを指定するための文字列
を入力する文字列入力部７、文字列入力部７から入力さ
れた文字列と、情報オブジェクト名記憶部６に記憶され
ている情報オブジェクトの名前を表す文字列とを照合す
る文字列照合部８、文字列照合部８が文字列の一致を検
出した時、その文字列を名前として持つオブジェクトに
対するイベントを情報オブジェクト記憶部３に送るイベ
ント発生部９を備えている。

【０００６】図２９は、図２８のオペレーティングシス
テム１の内部の情報オブジェクト記憶部３の記憶内容の
例である。それぞれの情報オブジェクトに対応してその
ＩＤ、名前としての文字列、動作、内容、およびアイコ
ンが記憶されている。

【０００７】図３０はオブジェクトを示すアイコンの表
示例である。これは図２９のＩＤが“１”のオブジェク
ト、すなわちその名前が“編集”という文字列である情
報オブジェクトのアイコンを示している。

【０００８】図３１は、図２８のランチャ２内の情報オ
ブジェクト名記憶部６の記憶内容の例である。同図に示
すように、情報オブジェクト名記憶部６にはオブジェク
トのＩＤ、名前としての文字列、およびその文字列の読
みが各オブジェクトに対応して格納されている。

【０００９】

【発明が解決しようとする課題】図２８で説明したラン
チャの従来例では、情報オブジェクト名記憶部６の記憶
内容は、オペレーティングシステム１の内部の情報オブ
ジェクト記憶部３の記憶内容を手作業で移すことによっ
て作成されていた。このため作業に時間がかかり、また
図３１に示したようにオブジェクトとの名前としての文
字列の読みを正しく入力する必要もあり、作業が面倒で
あるという問題点があった。

【００１０】またオペレーティングシステム１の内部の
情報オブジェクト記憶部３に記憶されているオブジェク
トのうち、どれをランチャ２側に移したかを覚えておく
必要があり、例えば移したオブジェクトをどこかに表示
することも必要であった。全てのオブジェクトの名前と
ＩＤを情報オブジェクト名記憶部６に移してしまえば、
その問題点はなくなるが、非常に量が大きくなり、文字
列照合部８による照合に時間がかかるという問題点があ
った。

【００１１】本発明は、例えばユーザが指定できる情報
オブジェクトを表示されているものに限定することによ
って、情報オブジェクト名記憶部６の記憶内容に対応す
る表示中の情報オブジェクトの名前を表す文字列と、そ
の識別番号を示す対応テーブルをランチャ側で自動的に
作成し、情報オブジェクト記憶部の格納内容を移すため
の手作業を不要とすることを目的とする。

【００１２】

【課題を解決するための手段】図１は本発明の原理構成
ブロック図である。同図は情報処理システム内に記憶さ
れている情報オブジェクトを、例えば起動するために指
定する情報オブジェクト指定システムの原理構成ブロッ
ク図である。

【００１３】図１において文字列比較手段１１は、情報
処理システム内に記憶されている情報オブジェクトの名
前を表す文字列と、外部から入力される情報、例えば入
力音声に基づく文字列との２つの文字例を比較するもの
である。イベント発生手段１２は、文字列比較手段１１
が２つの文字列の一致を検出した時、その文字列によっ
て表される名前を持つ情報オブジェクトに対して、例え
ばそのオブジェクトを起動するためのイベントを発生す
るものである。

【００１４】本発明が対象とする情報処理システムで
は、例えば図２８におけると同様に情報オブジェクトの
名前と、イベントに対応して実行される動作、および内
容を記憶している情報オブジェクト記憶部と、１つ以上
の情報オブジェクトの名前をそれぞれ表す文字列を用い
て情報オブジェクトを表示する表示部とがオペレーティ
ングシステム内に備えられ、図１の文字列比較手段１１
が、前述の情報処理システム内に記憶されている情報オ
ブジェクトの名前を表す文字列として、表示部によって
表示されている文字列を用いることと、イベント発生手
段１２が情報オブジェクト記憶部に対して前述のイベン
トを送るような動作も可能である。

【００１５】すなわち本発明においては、例えばディス
プレイ上に表示されている文字列、すなわち１つ以上の
情報オブジェクトの名前をそれぞれ表す文字列が図２８
の表示情報生成部４から抽出され、抽出された文字列と
ユーザから入力された情報に基づく文字列とが照合さ
れ、２つの文字列が一致すると判定された時に、イベン
トが、例えば情報オブジェクト記憶部３に送られ、例え
ばそのオブジェクトの起動が行われる。

【００１６】後述する本発明の各種の実施形態において
は、例えばユーザはオブジェクトを指定するために様々
な手段を用いることができる。最も簡単な手段としては
キーボードを使用することができ、この場合にはユーザ
はオブジェクトの名前を漢字を含む文字列として指定す
ることもできる。他の手段としては、手書き文字や音声
を用いることもできる。手書き文字を用いる場合には、
手書き文字認識部によって手書き文字が文字列に変換さ
れ、音声の場合には音声認識部によって入力音声が文字
列に変換され、表示情報生成部から抽出された文字列と
比較されることになる。

【００１７】以上のように本発明によれば、ユーザは表
示されている文字列によってそれぞれ表される情報オブ
ジェクトの中で、例えば起動すべき情報オブジェクトを
簡単に指定することができる。

【００１８】

【発明の実施の形態】図２は本発明の情報オブジェクト
指定システムの第１の実施形態の構成ブロック図であ
る。同図を図２８の従来例と比較すると、ランチャ２０
の内部に、図２８の情報オブジェクト名記憶部６に代わ
って、文字列抽出部２１と、対応テーブル記憶部２２が
備えられている点が基本的に異なっている。

【００１９】文字列抽出部２１は、表示部５によって現
在表示されている情報オブジェクトの名前を表す文字列
のそれぞれを表示情報生成部４から抽出し、対応テーブ
ル記憶部２２に与えるものである。対応テーブル記憶部
２２は、オブジェクトの名前を表す文字列と、そのオブ
ジェクトの識別番号（ＩＤ）との対応を記憶し、その内
容を文字列照合部８に与えるものである。

【００２０】図３は図２の対応テーブル記憶部２２の格
納内容の例である。同図において、それぞれの情報オブ
ジェクトに対して、その名前を表す文字列と、その識別
番号としてのＩＤとの対応が示されている。

【００２１】図２において文字列抽出部２１は表示情報
生成部４から、例えば「ゴミ箱」という文字列と、その
情報オブジェクトＩＤを抽出し、抽出された文字列とＩ
Ｄは対応テーブル２２に記憶される。文字列照合部８は
文字列入力部７から入力される文字列と、対応テーブル
記憶部２２に記憶されている文字列とを照合し、一致す
る文字列のＩＤを探し出し、そのＩＤをイベント発生部
９に通知し、イベント発生部９はそのＩＤを持つ情報オ
ブジェクトに対して、例えばそのオブジェクトを起動す
るためのイベントを発生する。

【００２２】図４は対応テーブル自動生成処理のフロー
チャートである。同図において処理が開始されると、ま
ずステップＳ１で表示部によって表示されているオブジ
ェクトが変化したか否かが判定され、変化した時にはス
テップＳ２で表示情報生成部４から情報オブジェクトの
文字列が獲得され、ステップＳ３でその情報オブジェク
トのＩＤが獲得される。獲得された文字列とＩＤは、ペ
アとして対応テーブル記憶部２２にステップＳ４で格納
され、ステップＳ５で次の情報オブジェクトがあるか否
かが判定され、ある場合にはステップＳ２以降の処理が
繰り返され、情報オブジェクトがない場合には最初に戻
って表示オブジェクトの変化を待つことになる。ステッ
プＳ１では表示オブジェクトが変化した時に限ってステ
ップＳ２の処理に移行し、変化していない場合には変化
するまで何の処理も実行されない。

【００２３】図５は図２の第１の実施形態におけるラン
チャ２０の全体処理フローチャートである。同図におい
て処理が開始されると、まずステップＳ１１で文字列入
力部７から得られた文字列がＸとされ、ステップＳ１２
で対応テーブルの先頭にポインタがおかれ、ステップＳ
１３で対応テーブルの格納内容の終わりまでポインタが
来たか否かが判定され、来ていない場合にはステップＳ
１４でポインタが指す位置の文字列が読み出され、それ
がＹとされる。

【００２４】ステップＳ１５でＸとＹが一致するか否か
が判定され、一致した場合にはステップＳ１６でポイン
タが指す情報オブジェクトに対してイベント発生が行わ
れ、処理が先頭に戻り、次の文字列入力を待つ状態とな
る。

【００２５】これに対してステップＳ１５でＸとＹが一
致しない場合には、ステップＳ１７でポインタが進めら
れ、ステップＳ１３の処理、すなわちポインタが対応テ
ーブルの終わりにきたか否かが判定される処理以降が繰
り返される。ステップＳ１３で対応テーブルの終わりに
きたと判定された時には処理が先頭に戻り、次の文字列
の入力を待つ状態となる。

【００２６】図６は図２の第１実施の形態におけるオペ
レーティングシステム１側での本発明に関連する処理の
全体フローチャートである。同図において処理が開始さ
れると、まずステップＳ２１でイベントが送られてきた
か否かが判定され、ない場合にはイベント待ちの状態と
なる。イベントが送られてきたと判定された場合には、
ステップＳ２２で情報オブジェクトを起動するイベント
か否かが判定され、起動するイベントである時にはステ
ップＳ２３で起動される情報オブジェクトがアプリケー
ションか否かが判定され、アプリケーションである場合
にはステップＳ２４で入力なしでそのアプリケーション
が起動され、処理は先頭に戻り、イベント待ちの状態と
なる。

【００２７】ステップＳ２３で起動される情報オブジェ
クトがアプリケーションでないと判定されると、ステッ
プＳ２５でその情報オブジェクトが文書か否かが判定さ
れる。文書である場合にはステップＳ２６でその文書に
対応するアプリケーションが検出され、ステップＳ２７
でその文書を入力としてそのアプリケーションが起動さ
れ、イベント待ちの状態に戻る。ステップＳ２５で情報
オブジェクトが文書でないと判定された場合にも、イベ
ント待ちの状態に戻る。

【００２８】ステップＳ２２で送られてきたイベントが
オブジェクトを起動するイベントでないと判定された場
合には、ステップＳ２８でその他の特定処理に対応する
イベントか否かが判定される。その他の特定処理として
は例えば後述するイベントの名前を読み上げる処理など
がある。その他の特定処理のイベントであると判定され
た時にはステップＳ２９でそのイベントの処理が行われ
た後に、その他の特定処理のイベントではないと判定さ
れた時には何らの処理を実行することなく、イベント待
ちの状態に戻る。

【００２９】図７は情報オブジェクト指定システムの第
２の実施形態の構成ブロック図である。同図を図２の第
１の実施形態と比較すると、文字列入力部７がキーボー
ド２３によって構成されている点のみが異なっている。

【００３０】図８は情報オブジェクト指定システムの第
３の実施形態の構成を示すブロック図である。同図を第
１の実施形態を示す図２と比較すると、文字列入力部７
が手書き文字認識部２４によって構成されている点だけ
が異なっている。

【００３１】図９は情報オブジェクト指定システムの第
４の実施形態の構成ブロック図である。同図を図８の第
３の実施形態と比較すると、手書き文字認識部２４に対
して、認識対象としての文字列を供給する文字列供給部
２５を備えている点が異なっている。文字列供給部２５
は、手書き文字の認識対象として、対応テーブル記憶部
２２に記憶されている情報オブジェクトの名前を表す文
字列だけを供給するものである。すなわち図３に示した
例では、４つの情報オブジェクトにそれぞれ対応する文
字列だけが、手書き文字の認識対象として文字列供給部
２５から手書き文字認識部２４に与えられる。

【００３２】手書き文字認識部２４はユーザから入力さ
れる１文字ずつを認識する。すなわちユーザが「ゴミ
箱」と入力したつもりでも、それが手書き文字認識部２
４によって「ゴ三箱」と認識された場合には、その認識
結果はそのまま文字列照合部８に与えられ、文字列照合
部８では「ゴ三箱」と「ゴミ箱」とは一致しないものと
判定する。

【００３３】これに対して手書き文字の認識対象が図３
の４つの文字列に限定されている場合には、手書き文字
認識部２４はユーザの手書き文字があまりきれいでなく
ても、「ゴミ箱」を正しく認識することができ、その結
果、文字列照合部８は正しい照合を実行することができ
る。

【００３４】図１０は情報オブジェクト指定システムの
第５の実施形態の構成ブロック図である。同図を図２の
第１の実施形態と比較すると、文字列入力部７に代わっ
て、音声認識部２６と音入力部２７が備えられている点
が異なっている。なお音入力部２７はランチャ２０の外
部にあるものとする。

【００３５】図１０の音声認識部２６は音入力部２７か
ら入力される音声を認識し、認識結果を文字列として文
字列照合部８に与えるものである。音入力部２７がラン
チャ２０の外に置かれているのは、必要に応じて音入力
部２７をランチャ２０から切り離し、情報処理システム
の他の部分が音入力部を利用可能とするためである。

【００３６】以下に説明するように、本発明の実施形態
においては音声入力が重要な手段として用いられる。そ
こでユーザインタフェースとしての音声入力について説
明する。コンピュータのユーザインタフェースは元々は
文字によるコマンドの入力という形式を持っていた。こ
のインタフェースでは、ユーザはコマンドを前もって全
て覚えておく必要があり、覚えていない場合に対しては
ヘルプ画面などが用意されていた。その次の世代のイン
タフェースとして、グラフィカルユーザインタフェース
（ＧＵＩ）が現れた。このインタフェースではＷＹＳＷ
ＹＧ（What you see is what you get. 見えているもの
ができること）という原則が導入された。すなわちアイ
コンなどの見えているものをポインティングすることに
より、例えばマウスを用いてコマンドをコンピュータに
入力することが可能となり、いわばヘルプの画面がいつ
も表示されていることになり、特に初心者にとって非常
に使いやすくなった。

【００３７】一方音声が持っている情報は文字情報であ
る。音声でポインティングの機能を実現することは困難
である。例えば「机の上」という音声でポインティング
をすることができるように思うのは錯覚である。音声は
「つくえのうえ」という文字情報を表すにすぎず、その
意味・内容を音声が持っているわけではない。音声の内
容は、人間の持つ言語理解能力によって、文字情報から
理解されるものである。これはマウスで机の上をポイン
ティングして、コンピュータに指示するのとは全く異な
っている。

【００３８】音声インタフェースをグラフィカルユーザ
インタフェース（ＧＵＩ）を持ったコンピュータに導入
するためには、ＧＵＩに使われている文字情報が不可欠
である。日本語の場合文字情報として漢字が使われてい
ることが多い。漢字はその読みを直接表しているもので
はなく、漢字を読みに変換する技術が重要になる。

【００３９】図１１は情報オブジェクト指定システムの
第６の実施形態の構成ブロック図である。同図を図１０
の第５の実施形態と比較すると、音声認識部２６に対し
て、認識対象としての文字列を供給する文字列供給部２
５が備えられている点が異なっている。この文字列供給
部２５の動作は図９の第４の実施形態におけると同様で
あり、対応テーブル記憶部２２に記憶されている情報オ
ブジェクトの名前を表す文字列を音声認識部２６に認識
対象として与えることによって、認識対象が限定される
ことになる。

【００４０】図１２は情報オブジェクト指定システムの
第７の実施形態の構成ブロック図である。同図を図１１
の第６の実施形態と比較すると、文字列供給部２５と音
声認識部２６の間に、表音文字列変換部２８が追加され
ている点が異なっている。

【００４１】表音文字列変換部２８は文字列供給部２５
から供給される文字列、すなわち対応テーブル記憶部２
２に記憶されている情報オブジェクトの名前を表す文字
列、例えば「ゴミ箱」という文字列を、その読みとして
の表音文字列「ゴミバコ」に変換し、（ゴミ箱、ゴミバ
コ）という構造の文字列とその読みのペアを音声認識部
２６に与える。音声認識部２６は音入力部２７から入力
される音声、例えば「ゴミバコ」という音声を表音文字
列と照合し、認識結果として「ゴミ箱」という文字列を
出力する。文字列照合部８は認識結果の文字列と対応テ
ーブル記憶部２２内に格納されている文字列を照合し、
一致する文字列のＩＤを探し出し、そのＩＤをイベント
発生部９に通知し、イベント発生部９はそのＩＤを持つ
情報オブジェクトに対するイベントを発生することにな
る。

【００４２】図１２において表音文字列を音声認識のた
めに利用する理由を説明する。音声認識部２６は、音入
力部２７を介して入力される音声を、１つの音毎に正確
に認識する必要がある。すなわち「ゴミバコ」と入力さ
れた音声が「ゴニバコ」と認識された場合には、どのよ
うにしてもその認識結果を文字列としての「ゴミ箱」に
結びつけることは不可能である。

【００４３】これに対して図１２では、表音文字列変換
部２８によって出力される表音文字列が現在表示されて
いる情報オブジェクトの表音文字列に限定される。現在
表示されている情報オブジェクトの文字列が図３の４つ
だけであるとすると、音声認識部２６は入力された音声
がその４つのどれに近いかを判断することになり、例え
「ゴニバコ」という音声入力に対しても、「ゴミ箱」と
いう正しい文字列を認識結果として出力することが可能
となる。

【００４４】図１３は情報オブジェクト指定システムの
第８の実施形態の構成ブロック図である。同図を図１２
の第７の実施形態と比較すると、表音文字列変換部がラ
ンチャ２０の内部に備えられておらず、情報処理システ
ムの音声合成部３０の内部の表音文字列変換部３２が共
用されている点のみが異なっている。音声合成部３０
は、本発明の情報オブジェクト指定のためだけではな
く、情報処理システムの他の多くの処理において共通し
て用いられるものであり、文字入力部３１、表音文字列
変換部３２、波形生成部３３、および音出力部３４から
構成されている。

【００４５】図１４は情報オブジェクト指定システムの
第９の実施形態の構成ブロック図である。同図を図１３
の第８の実施形態と比較すると、イベント発生部に対し
て、例えばディスプレイに表示されている情報オブジェ
クトの名前を表す文字列、またはアイコンなどを指定す
ることによって、指定された文字列、またはアイコンに
対応する情報オブジェクトの名前を音声合成部３０に出
力させることを、例えば右ボタンダブルクリックによっ
て指示するマウス３６が追加されている点と、オペレー
ティングシステム内の情報オブジェクト記憶部３から音
声合成部３０内の文字入力部３１に対して、指定された
オブジェクトの名前を出力させるための情報オブジェク
トの文字列を与える経路が設定されている点が異なって
いる。

【００４６】この第９の実施形態では、例えばユーザか
ら入力された音声入力に対する音声認識部２６による認
識結果としての文字列と、対応テーブル記憶部２２内に
記憶されている文字列とが文字列照合部８によって一致
したと判定された時点で、その文字列を名前として持つ
情報オブジェクトを起動するイベントがイベント発生部
９によって情報オブジェクト記憶部３に送られる処理以
外に、例えばディスプレイ上に表示されている文字列の
読みを出力するためだけのイベントがイベント発生部９
によって情報オブジェクト記憶部３に送られ、音声合成
部３０によってその読みが合成されて出力されることに
なる。

【００４７】その読みが出力されるべき情報オブジェク
トの名前としての文字列や、情報オブジェクトを表すア
イコンは、マウス３６によって指定される。このような
情報オブジェクトの名前を表す文字列の読みを出力する
だけのイベントは、図６のステップＳ２９におけるその
他の特定イベントの処理として実行される。

【００４８】更にこの図１４の第９の実施形態では、マ
ウス３６によって指定された情報オブジェクトの名前が
音声合成部３０の内部の音出力部３４によって出力され
た後に、音声合成部３０から音出力部を解放して、音出
力部３４を情報処理システム内の他の部分が利用可能と
することもできる。これは例えばイベント発生部９から
送られるイベントによって起動されるオブジェクトが音
を出すようなオブジェクトである場合、音出力部３４を
解放して、その音を出すために使用可能とする必要があ
ることによる。

【００４９】図１５は情報オブジェクト指定システムの
第１０の実施形態の構成ブロック図である。同図を、例
えば第８の実施形態を示す図１３と比較すると、表音文
字列変換部３２と音声認識部２６との間に表音文字列修
正部３７が挿入され、また表音文字列修正部３７に修正
を指示するためのキーボード３８が備えられている点が
異なっている。この表音文字列修正部３７は、表音文字
列変換部３２によって変換された表音文字列に誤りがあ
る場合に、ユーザがキーボード３８を用いてその表音文
字列を修正させるためのものである。

【００５０】図１６は情報オブジェクト指定システムの
第１１の実施形態の構成ブロック図である。同図を例え
ば第６の実施形態を示す図１１と比較すると、音声認識
部２６の認識結果が音声合成部３０内の文字入力部３１
に入力され、表音文字列変換部３２、波形生成部３３を
介して、音出力部３４によって認識結果として出力され
る点が異なっている。

【００５１】図１７は情報オブジェクト指定システムの
第１２の実施形態の構成ブロック図である。同図を図１
６に示す第１１の実施形態と比較すると、音声認識部２
６に対して、認識結果のキャンセルを指示する認識キャ
ンセル部４０を備えている点が異なっている。この認識
キャンセル部４０によるキャンセル処理については、次
の図１８〜図２１を用いて説明する。

【００５２】図１８、および図１９は音声認識部２６に
よる認識結果をキャンセルする場合のタイミングの説明
図である。図１８は、音出力部３４によって音声認識結
果が合成音声として出力されている間に、音入力部２７
によって音声が入力されたことが検出された場合を示
す。このような場合には、音出力部３４によって出力さ
れた認識結果が正しくないことを示す、例えばユーザか
らの新しい音声が入力されたものとして、音声の認識結
果がキャンセルされる。

【００５３】図１９は、音出力部３４から認識結果が合
成音声として出力された後に、あらかじめ定められた一
定時間以内に音声入力が検出された場合を示し、このよ
うな場合にも音声認識結果はキャンセルされる。このあ
らかじめ定められた一定時間は、図１９では認識キャン
セルガードゾーンとして示されている。

【００５４】図２０は音声認識結果をキャンセルしない
場合のタイミングを示す。同図においては、認識結果の
合成音声の出力終了時点、すなわちＴ１と、新しい音声
が入力開始された時点Ｔ２との間の時間が認識キャンセ
ルガードゾーンＴｈよりも長い場合であり、このような
場合には音声の認識結果はキャンセルされない。

【００５５】図２１は認識キャンセル部４０による処理
のフローチャートである。同図において、処理は音入力
部２７による音声入力が検出された時点で開始され、ま
ずステップＳ３１で音声の出力中か否かが判定され、出
力中でない場合にはステップＳ３２で音声入力開始時刻
がＴ２とされ、ステップＳ３３で合成音声出力終了時刻
がＴ１とされ、ステップＳ３４でＴ２とＴ１との差が認
識キャンセルガードゾーンの値Ｔｈ未満であるか否かが
判定され、Ｔｈ以上であれば前回の認識結果は有効とし
てキャンセルされず、音声認識部２６によって新しい入
力音声の認識が行われる。これに対して、ステップＳ３
１で音声出力中と判定された時、およびステップＳ３４
でＴ２とＴ１との差がＴｈ未満であると判定された時に
は、前回の認識結果はキャンセルされる。

【００５６】図２２は情報オブジェクト指定システムの
第１３の実施形態の構成ブロック図である。同図を例え
ば第７の実施形態を示す図１２と比較すると、イベント
発生部９に対して、直接にイベントの発生を指示するマ
ウス４１が接続されている点が異なっている。このマウ
ス４１は、図１４のように表示されている情報オブジェ
クトの文字列の読みを出力させるイベントをイベント発
生部９に発生させるものではなく、表示されている文字
列によってその名前が表される情報オブジェクトを起動
させるイベントを、イベント発生部９から情報オブジェ
クト記憶部３に送らせるものである。すなわち、ここで
は音声入力された文字列と対応テーブル記憶部２２内に
記憶されている文字例との一致が文字列照合部８によっ
て判定されていない場合でも、マウス４１によって文字
列、またはアイコンなどを、例えば左ボタンのダブルク
リックによって指定することにより、指定された情報オ
ブジェクトを起動することが可能になる。

【００５７】図２３は情報オブジェクト指定システムの
第１４の実施形態の構成ブロック図である。同図を図２
２の第１３の実施形態と比較すると、マウス４１の操作
を検出するマウス操作検出部４２、およびマウス操作検
出部４２がマウスによる入力操作を検出した時に、音声
認識部２６による音声認識を停止させる音声認識停止部
４３を備えている点が異なっている。

【００５８】図２３の第１４の実施形態においては、マ
ウス４１によって直接に起動されるべき情報オブジェク
トが指定され、その指定がイベント発生部９に与えられ
ている時には、例え音声入力があってもその認識結果を
無効にする処理が行われる。すなわちマウス操作検出部
４２によってマウス４１による入力操作が行われている
と判定された時には、音声認識停止部４３によって音声
認識部２６による音声認識動作が停止させられる。

【００５９】図２４は情報オブジェクト指定システムの
第１５の実施形態の構成ブロック図である。その構成は
図１０に示した第５の実施形態と同様であるが、イベン
ト発生部９によって情報オブジェクト記憶部３にイベン
トが送られた後に、音声認識部２６に対して音入力部２
７を解放する指示が与えられる点が異なっている。この
音入力部を解放する理由は、図１４において音出力部を
解放するのと同様である。

【００６０】図２５は図２４の第１５の実施形態におけ
るイベント発生部９による音入力部解放処理のフローチ
ャートである。同図において処理が開始されると、ステ
ップＳ３６において文字列照合部８からオブジェクトの
識別子ＩＤが獲得されて、それがＸとされ、ステップＳ
３７で情報オブジェクト記憶部３に格納されている情報
オブジェクトのうちで、ＸというＩＤを持つ情報オブジ
ェクトに対して、例えばそのオブジェクトを起動するイ
ベントが送られ、ステップＳ３８で音声認識部２６に対
して音入力部２７を解放するように指示が与えられて処
理を終了する。

【００６１】図２６は情報オブジェクト指定システムの
第１６の実施形態の構成ブロック図である。同図を図１
３に示す第８の実施形態と比較すると、音出力部３４と
波形生成部３３の間に音出力部解放指示部４５が挿入さ
れている点が異なっている。この第１６の実施形態で
は、音声合成部３０が起動されるオブジェクトの名前を
出力した後に、音出力部３４を解放し、情報処理システ
ム内の他の部分が音出力部３４を利用可能にするように
動作が行われる。すなわち音出力部３４は、音を出力し
た後に音出力部解放指示部４５に対して音出力終了を通
知し、音出力部解放指示部４５は波形生成部３３側に音
出力部３４の解放を指示する。

【００６２】以上の説明においては、例えば図２のオペ
レーティングシステム１の内部の情報オブジェクト記憶
部３に、それぞれの情報オブジェクトの名前としての文
字列、識別番号（ＩＤ）、動作、内容、アイコンなど全
てのデータが記憶されるものとしたが、これらの情報オ
ブジェクトに関するデータを複数の記憶部に分散させて
記憶させることも可能である。

【００６３】一般に情報オブジェクトの名前はその長さ
が一定でなく、短い名前から非常に長い名前まで扱うこ
とを可能にする必要がある。そのような場合、図２９に
おいて名前を表す文字列を格納する領域を可変長にする
と、テーブルの管理が複雑になり、処理速度が低下す
る。これに対して名前を表す文字列の格納領域を固定長
にすると、常に最大の長さの領域を用意する必要があ
り、テーブルが非常に大きくなってしまう。そこで情報
オブジェクト記憶部には情報オブジェクトの名前として
の文字列を持たずに、別の記憶部に識別番号ＩＤと名前
を表す文字列との対応を記憶しておくことも有効と考え
られる。

【００６４】更に情報オブジェクトに関するデータの一
部をプログラム内部に持つ形式も考えられる。このよう
にプログラム内部に一部のデータを持つことにより、処
理の高速化が期待できるようになるため、よく使われる
データをプログラム内部に持つことも有効である。

【００６５】最後に本発明の情報オブジェクト指定シス
テムを実現するコンピュータシステムへのプログラムの
ローディングについて図２７を用いて説明する。同図に
おいて、情報オブジェクト指定システムを含む情報処理
システム全体を実現するコンピュータ５１は本体５４と
メモリ５５とから構成されており、本体５４に対しては
可搬型記憶媒体５２からプログラムなどをロードするこ
ともまたプログラム提供者側からネットワーク５３を介
してプログラムなどをロードすることも可能である。

【００６６】本発明の特許請求の範囲の請求項２４およ
び請求項２５に記載されているプログラムや図４〜図
６，図２１および図２５のフローチャートに示されてい
るプログラムなどは、例えば図２７におけるメモリ５５
に格納され、そのプログラムが本体５４の図示しない主
記憶上に展開されて実行される。ここでメモリ５５とし
ては、例えばランダムアクセスメモリ（ＲＡＭ）、また
はハードディスクなどが用いられる。

【００６７】また対応テーブルを自動的に生成したり、
２つの文字列を比較して一致を検出した時イベントを発
生するためのプログラムなどが、可搬型記憶媒体５２に
記憶され、コンピュータ５１にそのプログラムをロード
することによって、例えば起動すべきオブジェクトを指
定することも可能である。この可搬型記憶媒体５２とし
てはメモリカード、フロッピーディスク、ＣＤ−ＲＯＭ
（コンパクトディスクリードオンリーメモリ）、光ディ
スク、光磁気ディスクなど、市販され、流通可能な任意
の記憶媒体を用いることができる。更にオブジェクトを
指定するためのプログラムなどが、プログラム提供者側
からネットワーク５３を介してコンピュータ５１側に送
られ、そのプログラムがロードされることによって、指
定されたオブジェクトに対するイベントを発生すること
も可能である。

【００６８】

【発明の効果】以上詳細に説明したように、本発明によ
れば、ディスプレイなどに表示されている情報オブジェ
クトの名前を表す文字列と情報オブジェクトの識別番号
との対応を示す対応テーブルを自動的に生成し、対応テ
ーブル記憶部内の文字列とユーザ側から入力される文字
列とを照合することにより、ユーザによって指定される
オブジェクトを起動することが可能になる。これによっ
て情報オブジェクトの指定の操作性を向上させることが
でき、オブジェクト指向情報処理システムにおける処理
の効率化に寄与するところが大きい。

【図面の簡単な説明】

【図１】本発明の原理構成ブロック図である。

【図２】本発明の情報オブジェクト指定システムの第１
の実施形態の構成ブロック図である。

【図３】対応テーブル記憶部の格納内容の例を示す図で
ある。

【図４】対応テーブル自動生成処理のフローチャートで
ある。

【図５】第１の実施形態におけるランチャの全体処理フ
ローチャートである。

【図６】オペレーティングシステム側での本発明に関連
する処理の全体フローチャートである。

【図７】情報オブジェクト指定システムの第２の実施形
態の構成ブロック図である。

【図８】情報オブジェクト指定システムの第３の実施形
態の構成ブロック図である。

【図９】情報オブジェクト指定システムの第４の実施形
態の構成ブロック図である。

【図１０】情報オブジェクト指定システムの第５の実施
形態の構成ブロック図である。

【図１１】情報オブジェクト指定システムの第６の実施
形態の構成ブロック図である。

【図１２】情報オブジェクト指定システムの第７の実施
形態の構成ブロック図である。

【図１３】情報オブジェクト指定システムの第８の実施
形態の構成ブロック図である。

【図１４】情報オブジェクト指定システムの第９の実施
形態の構成ブロック図である。

【図１５】情報オブジェクト指定システムの第１０の実
施形態の構成ブロック図である。

【図１６】情報オブジェクト指定システムの第１１の実
施形態の構成ブロック図である。

【図１７】情報オブジェクト指定システムの第１２の実
施形態の構成ブロック図である。

【図１８】音声認識部による認識結果をキャンセルする
場合のタイミング（その１）を説明する図である。

【図１９】音声認識部による認識結果をキャンセルする
場合のタイミング（その２）を説明する図である。

【図２０】音声認識結果をキャンセルしない場合のタイ
ミングを説明する図である。

【図２１】認識キャンセル部による処理のフローチャー
トである。

【図２２】情報オブジェクト指定システムの第１３の実
施形態の構成ブロック図である。

【図２３】情報オブジェクト指定システムの第１４の実
施形態の構成ブロック図である。

【図２４】情報オブジェクト指定システムの第１５の実
施形態の構成ブロック図である。

【図２５】図２４におけるイベント発生部による音入力
部解放処理のフローチャートである。

【図２６】情報オブジェクト指定システムの第１６の実
施形態の構成ブロック図である。

【図２７】情報オブジェクト指定システムを実現するコ
ンピュータシステムへのプログラムのローディングを説
明する図である。

【図２８】情報オブジェクト指定システムの従来例の構
成ブロック図である。

【図２９】図２８における情報オブジェクト記憶部の記
憶内容の例を示す図である。

【図３０】オブジェクトを示すアイコンの表示例を示す
図である。

【図３１】図２８のランチャ内の情報オブジェクト名記
憶部の記憶内容の例を示す図である。

【符合の説明】

１オペレーティングシステム２，２０ランチャ（情報オブジェクト指定システ
ム）３情報オブジェクト記憶部４表示情報生成部５表示部６情報オブジェクト名記憶部７文字列入力部８文字列照合部９イベント発生部１１文字列比較手段１２イベント発生手段２１文字列抽出部２２対応テーブル記憶部２４手書き文字認識部２５文字列供給部２６音声認識部２７音入力部２８表音文字列変換部３０音声合成部３４音出力部

Claims

【特許請求の範囲】

【請求項１】情報処理装置内に記憶されている情報オ
ブジェクトを指定するための情報オブジェクト指定装置
において、該情報処理装置内に記憶されている情報オブジェクトの
名前を表す文字列と、外部から入力される情報に基づく
文字列との２つの文字列を比較する文字列比較手段と、該文字列比較手段が該２つの文字列の一致を検出した
時、該文字列によって表される名前を持つ情報オブジェ
クトに対してイベントを発生するイベント発生手段とを
備えることを特徴とする情報オブジェクト指定装置。
【請求項２】前記情報オブジェクト指定装置が、情報
オブジェクトの名前と、前記イベントに対応して実行さ
れる動作内容を格納する情報オブジェクト記憶部と、１
つ以上の情報オブジェクトをそれぞれの名前を表す文字
列を用いて表示する表示部とを更に備え、前記文字列比較手段が、前記情報処理装置内に記憶され
ている情報オブジェクトの名前を表す文字列として、該
表示部によって表示されている文字列を用いることと、
前記イベント発生手段が該情報オブジェクト記憶部に対
してイベントを送ることを特徴とする請求項１記載の情
報オブジェクト指定装置。
【請求項３】前記情報オブジェクト記憶部が複数の記
憶部によって構成され、該複数の各記憶部に情報オブジ
ェクト記憶部が記憶すべき内容が分散されて記憶される
ことを特徴とする請求項２記載の情報オブジェクト指定
装置。
【請求項４】前記複数の記憶部の少なくとも１つの記
憶部がプログラムを記憶する記憶部であり、該プログラムを記憶する記憶部が、プログラム内に前記
情報オブジェクトが記憶すべき内容の一部を記憶するこ
とを特徴とする請求項３記載の情報オブジェクト指定装
置。
【請求項５】前記文字列比較手段が、前記表示されて
いる文字列と情報オブジェクトとの対応をテーブル形式
で記憶する対応テーブル記憶手段と、前記外部から入力される情報に基づく文字列を生成する
入力文字列生成手段と、該対応テーブル記憶手段に記憶されている文字列と、該
入力文字列生成手段によって生成された文字列とを照合
する文字列照合手段とを備えることを特徴とする請求項
２記載の情報オブジェクト指定装置。
【請求項６】前記入力文字列生成手段がキーボードに
よって構成されることを特徴とする請求項５記載の情報
オブジェクト指定装置。
【請求項７】前記入力文字列生成手段が、外部から入
力される情報としての手書き文字を認識する手書き文字
認識手段によって構成されることを特徴とする請求項５
記載の情報オブジェクト指定装置。
【請求項８】前記対応テーブル記憶手段に記憶されて
いる文字列を前記手書き文字認識手段に与える文字列供
給手段を更に備え、該手書き文字認識手段の認識対象を該対応テーブル記憶
手段に記憶されている文字列に限定することを特徴とす
る請求項７記載の情報オブジェクト指定装置。
【請求項９】前記手書き文字認識手段による認識結果
を合成音声波形に変換する音声合成手段と、該合成音声を出力する音出力手段とを更に備えることを
特徴とする請求項７、または８記載の情報オブジェクト
指定装置。
【請求項１０】前記音出力手段による合成音声の出力
中、あるいは該出力後一定時間以内に外部から音声入力
があった時、前記手書き文字認識手段の認識結果を無効
とさせる手書き文字認識結果キャンセル手段を更に備え
ることを特徴とする請求項９記載の情報オブジェクト指
定装置。
【請求項１１】前記入力文字列生成手段が外部から入
力された音声を認識する音声認識手段によって構成され
ることと、該音声認識手段に、外部から入力される情報としての入
力音声を供給する音入力手段を更に備えることを特徴と
する請求項５記載の情報オブジェクト指定装置。
【請求項１２】前記対応テーブル記憶手段に記憶され
ている文字列を前記音声認識手段に与える文字列供給手
段を更に備え、該音声認識手段の認識対象を該対応テーブル記憶手段に
記憶されている文字列に限定することを特徴とする請求
項１１記載の情報オブジェクト指定装置。
【請求項１３】前記文字列供給手段から出力される文
字列を表音文字列に変換し、該変換結果を前記音声認識
手段に与える表音文字列変換手段を更に備えることを特
徴とする請求項１２記載の情報オブジェクト指定装置。
【請求項１４】前記表音文字列変換手段が、前記情報
処理装置の音声合成部の１つの構成要素としての表音文
字列変換部によって共用されることを特徴とする請求項
１３記載の情報オブジェクト指定装置。
【請求項１５】前記イベント発生手段に、前記表示さ
れている情報オブジェクトの名前の読出し指示を与える
マウス手段を更に備え、該読出し指示に対応して、前記文字列比較手段が前記２
つの文字列の一致を検出していない状態においても、該
イベント発生手段が情報オブジェクトの名前読出しを指
示するイベントを前記情報オブジェクト記憶部に送り、前記音声合成部が、該情報オブジェクト記憶部からの出
力を受けて、情報オブジェクトの名前を音声出力するこ
とを特徴とする請求項１４記載の情報オブジェクト指定
装置。
【請求項１６】前記音声合成部が、前記情報オブジェ
クトの名前の音声出力後に、自音声合成部内の音出力部
を解放し、前記情報処理装置内の他の部分に該音出力部
を利用可能とさせることを特徴とする請求項１５記載の
情報オブジェクト指定装置。
【請求項１７】前記表音文字列変換手段の変換結果の
文字列に対して、外部からの指示に応じた修正を行う表
音文字列修正手段を更に備えることを特徴とする請求項
１３記載の情報オブジェクト指定装置。
【請求項１８】前記音声認識手段による認識結果を合
成音声波形に変換する音声合成手段と、該合成音声を出力する音出力手段とを更に備えることを
特徴とする請求項１１記載の情報オブジェクト指定装
置。
【請求項１９】前記音出力手段による合成音声の出力
中、あるいは該出力後一定時間以内に外部から音声入力
があった時、前記音声認識手段の認識結果を無効とさせ
る音声認識結果キャンセル手段を更に備えることを特徴
とする請求項１８記載の情報オブジェクト指定装置。
【請求項２０】前記イベント発生手段に対して、前記
表示されている情報オブジェクトに対するイベントの発
生指示を与えるマウス手段を更に備え、該イベント発生指示に対応して、前記文字列比較手段が
前記２つの文字列の一致を検出していない状態において
も、該イベント発生手段が該表示されている文字列を名
前として持つ情報オブジェクトに対するイベントを発生
することを特徴とする請求項１１記載の情報オブジェク
ト指定装置。
【請求項２１】前記マウス手段の動きを検出し、該マ
ウス手段による外部からの入力操作が行われている間、
前記音声認識手段の認識動作を停止させるマウス操作検
出手段を更に備えることを特徴とする請求項２０記載の
情報オブジェクト指定装置。
【請求項２２】前記音声認識手段が、前記イベント発
生手段によるイベントの発生後に前記音入力手段を解放
し、前記情報処理装置の他の部分に該音入力手段の利用
を可能とさせることを特徴とする請求項１１記載の情報
オブジェクト指定装置。
【請求項２３】前記イベント発生手段に対して、前記
表示されている情報オブジェクトに対するイベントの発
生指示を与えるマウス手段を更に備え、該イベント発生指示に対応して、前記文字列比較手段が
前記２つの文字列の一致を検出していない状態において
も、該イベント発生手段が該表示されている文字列を名
前として持つ情報オブジェクトに対するイベントを発生
することを特徴とする請求項１記載の情報オブジェクト
指定装置。
【請求項２４】情報処理装置内に記憶されている情報
オブジェクトを指定するために、該情報処理装置内に記憶されている情報オブジェクトの
名前を表す文字列と、外部から入力される情報に基づく
文字列との２つの文字列を比較させる第１の手順と、該比較において該２つの文字列の一致が検出された時、
該文字列によって表される名前を持つ情報オブジェクト
に対してイベントを発生させる第２の手順とをコンピュ
ータに実行させるプログラムを記憶したコンピュータ読
み取り可能な記憶媒体。
【請求項２５】前記２つの文字列を比較させる機能
が、前記情報処理装置内に記憶されている情報オブジェ
クトの名前を表す文字列として、表示部によって表示さ
れ、それぞれ情報オブジェクトの名前を表す１つ以上の
文字列を使用させることと、前記イベントを発生させる機能が、情報オブジェクトの
名前とイベントに対応して実行される動作内容を格納す
る情報オブジェクト記憶部に対してイベントを送り出さ
せることを特徴とする請求項２４記載のコンピュータに
実行させるプログラムを記憶したコンピュータ読み取り
可能な記憶媒体。
【請求項２６】情報処理装置内に記憶されている情報
オブジェクトを指定するために、該情報処理装置内に記憶されている情報オブジェクトの
名前を表す文字列と、外部から入力される情報に基づく
文字列との２つの文字列を比較させるステップと、該比較において該２つの文字列の一致が検出された時、
該文字列によって表される名前を持つ情報オブジェクト
に対してイベントを発生させるステップとを備えること
を特徴とする情報オブジェクト指定方法。
【請求項２７】前記２つの文字列を比較させる機能
が、前記情報処理装置内に記憶されている情報オブジェ
クトの名前を表す文字列として、表示部によって表示さ
れ、それぞれ情報オブジェクトの名前を表す１つ以上の
文字列を使用させることと、前記イベントを発生させる機能が、情報オブジェクトの
名前とイベントに対応して実行される動作内容を格納す
る情報オブジェクト記憶部に対してイベントを送り出さ
せることを特徴とする請求項２６記載の情報オブジェク
ト指定方法。