JPH1091309A - 情報入出力装置及び情報入出力方法 - Google Patents

Abstract

(57)【要約】 【課題】解釈結果の修正を利用者が音声で行うことがで
き、また、解釈結果の候補の選択を利用者が音声で行
う。 【解決手段】情報入出力装置１０１において、入力解釈
候補暫定出力部１１は入力装置１０２から得た各解釈候
補の中から利用者に候補を選択させるための暫定提示情
報を生成する。タイマ部１２は暫定提示情報の出力によ
り計時動作を開始し、所定時間経過後にタイマ信号を発
生する。解釈情報選択・確定部１３は音声認識装置１０
５から候補選択のための音声情報が入力されたとき、ま
たは、タイマ部１２からタイマ信号が発せられたとき、
各解釈候補の中から１つの候補を選択し、解釈情報とし
て情報処理装置１０３に与える。出力統合部１５は情報
処理装置１０３からの出力情報と入力解釈候補集合暫定
出力部１１からの暫定提示情報とを統合し、これを利用
者への出力情報として出力装置１０４に与える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばかな漢字変
換システム、ペン入力手書き図形認識システムのような
利用者からの入力される情報に対して変換処理、もしく
は認識処理を施して利用者の求める形式の情報を生成す
るシステムあるいは装置に適用される情報入出力装置及
び情報入出力方法に関する。

【０００２】

【従来の技術】近年、計算機技術の発展により、利用者
にとってより自然な方法で種々の情報を計算機に入力す
ることが可能になってきている。例えばかな漢字変換シ
ステムであれば、キーボードからかなキーを打鍵した
り、英字キーをローマ字で打鍵したりしてかな文字列を
打ち込み、それをかな漢字変換することで、日本語の文
字列を計算機に入力できるようにしている。このような
かな漢字変換システムの登場により、漢字コードを入力
したり、多数の漢字が並んでいる漢字タイプ形式のキー
ボードの盤面から文字を選択したりする必要があった以
前の日本語入力装置に対し、簡便かつ利用者にとってよ
り自然な方法での入力が可能となった。

【０００３】また、例えばペン入力手書き図形認識シス
テムでは、利用者がペンデバイスなどを用いてフリーハ
ンドで入力したストローク系列に対して認識処理を施
し、円や長方形といった規格化された単位図形に変換
し、例えばディスプレイ上に認識された図形を表示す
る。このようなペン入力手書き図形認識システムの登場
により、メニュー等から描きたい図形を選択したり半径
や辺の長さなどのパラメータをキーボード等から入力す
る必要があった以前の図形入力装置に対し、簡便かつ利
用者にとってより自然な形式の入力が可能となった。

【０００４】このように、より自然な入力を受け付ける
情報入出力装置においては、利用者から入力された情報
に対し変換処理、もしくは認識処理を施すことにより利
用者の求める形式の情報を生成している。

【０００５】しかしながら、例えばかな漢字変換装置を
使う際には、同音異義語の候補中から正しい候補を選択
する必要があり、また、ペン入力手書き図形認識装置を
使う際にも、入力によっては複数の図形の候補の中から
利用者自身が入力として意図した図形を指示する必要が
あったり、認識の誤りを修正する必要がある。

【０００６】すなわち、このような変換処理や認識処理
を伴う入力処理を行う装置やシステムにあっては、本質
的に利用者の入力に含まれる曖昧性や、認識装置の性能
が不十分であることに起因する認識誤りに対処する機構
が必要となる。

【０００７】従来、このような曖昧性の解消や認識誤り
の修正を行う必要がある処理については、例えばかな漢
字変換における同音異義語の処理や、文節区切り位置の
修正を、キーボードからカーソル移動キーを操作したり
正しい候補の表示をマウスでクリックして選択する等、
手を使うという意味では入力の際と同様の物理的操作を
伴う方法で行う必要があった。すなわち、例えばキーボ
ードを用いて日本語の文章を入力している場合に、マウ
スやキーボードを用いてかな漢字変換処理の結果の修正
を行う必要があり、キーボード上のホームポジションか
ら指が離れたり、利用者の心的集中を妨げるといった問
題があった。

【０００８】また、上記のような曖昧性の解消や認識誤
りの修正に利用者が何らかのフィードバックを与える必
要のある装置やシステムにおいては、従来、システムが
提示する候補の中から利用者が正しい候補を選択し、確
定するという方式を採ることが一般的であった。

【０００９】ところが、近年の技術の進歩により、かな
漢字変換やオンライン図形認識といったシステムの変換
・認識性能は向上しているため、第１候補が正解である
可能性が高くなっており、常に候補の確定を要する操作
形態がかえって使い勝手の妨げになる場合があるなどの
問題があった。更に、この候補確定の要件を利用者が設
定できなかったり、システムが自動的に設定を変更でき
ないなどの問題があった。

【００１０】

【発明が解決しようとする課題】上記したように、従来
は、曖昧性の解消や認識誤りの修正を伴う入力処理につ
いて、曖昧性の解消のための選択処理や認識誤りの修正
処理のために、利用者が入力の際と同様の物理的操作を
伴う方法で行う必要があり、操作の混乱や利用者の集中
を妨げるという問題があった。

【００１１】また、第１候補が正解であるなどの理由の
ために確定操作が必要でない場合にも、曖昧性の解消の
ための選択処理や認識誤りの修正処理のために、候補の
確定を要するという問題もあった。

【００１２】また、候補確定のために必要な要件を利用
者が設定できなかったり、あるいは、システムが自動的
に設定を変更できないなどの問題があった。本発明はこ
のような事情を考慮してなされたもので、曖昧性のある
入力を受け付け解釈する入力装置の解釈結果について、
解釈結果の修正を利用者が音声で行うことができ、ま
た、解釈結果の候補の選択を利用者が音声で行うことが
できる情報入出力装置及び情報入出力方法を提供するこ
とを目的とする。

【００１３】また、本発明は、利用者が音声で行った候
補の選択、及び解釈結果修正の結果を自動的に確定する
ことができ、また、設定された時間が過ぎても利用者が
候補選択、もしくは解釈結果の修正を行わなければ自動
的にある候補状態を確定することができる情報入出力装
置及び情報入出力方法を提供することを目的とする。

【００１４】また、本発明は、候補状態の自動確定に要
する時間を利用者が設定することができ、また、候補状
態の確定に要する時間を特定の利用者に適応させて自動
的に設定することができる情報入出力装置及び情報入出
力方法を提供することを目的とする。

【００１５】

【課題を解決するための手段】本発明は、利用者からの
入力信号を処理し、その処理結果として複数の解釈候補
を順位を付けて出力する入力手段と、この入力手段によ
って得られた上記各解釈候補の中で選択された候補を解
釈情報として処理し、その処理結果を出力情報として出
力する情報処理手段と、この情報処理手段によって得ら
れた上記出力情報を利用者に提示する出力手段と、音声
情報を認識するための音声認識手段とを備えた情報入出
力装置である。

【００１６】このような情報入出力装置において、本発
明は、上記入力手段によって得られた上記各解釈候補の
中から利用者に候補を選択させるための暫定提示情報を
生成する入力解釈候補集合暫定出力手段と、この入力解
釈候補暫定出力手段から上記暫定提示情報が出力された
ときに計時動作を開始し、所定時間経過後にタイマ信号
を発生するタイマ信号生成手段と、上記音声認識手段に
上記各解釈候補を選択するための上記音声情報が入力さ
れたとき、または、上記タイマ信号生成手段によって上
記タイマ信号が出力されたときのタイミングで、上記各
解釈候補の中から上記音声情報で指定された候補または
上記タイマ信号の発生によって所定の候補を選択し、こ
れを上記解釈情報として上記情報処理手段に与える解釈
情報選択・確定手段と、この解釈情報選択・確定手段に
よって与えられた上記解釈情報を上記情報処理手段が処
理した結果として出力される上記出力情報を利用者への
新たな出力情報として上記出力手段に与える出力制御手
段とを具備したことを特徴とする。

【００１７】また、本発明は、計時時間を任意に設定す
るためのタイマ設定入力手段と、このタイマ設定入力手
段によって設定された上記計時時間を記憶するタイマ設
定記憶手段とをさらに具備し、上記タイマ信号生成手段
は、上記暫定提示情報が出力されたときに上記タイマ設
定記憶手段に記憶された上記計時時間に基づいて上記タ
イマ信号を発生することを特徴とする。

【００１８】また、本発明は、上記暫定提示情報の出力
後、上記音声情報または上記タイマ信号によって上記解
釈情報を確定するまでに要した時間をその都度計測し、
その系列を記憶する確定時間系列記憶手段と、この確定
時間系列記憶手段に記憶された上記確定に要した時間の
集合から本装置の利用者に適切な確定時間を算出する確
定時間計算手段と、この確定時間計算手段によって算出
された上記確定時間を計時時間として記憶するタイマ設
定記憶手段とをさらに具備し、上記タイマ信号生成手段
は、上記暫定提示情報が出力されたときに上記タイマ設
定記憶手段に記憶された上記計時時間に基づいて上記タ
イマ信号を発生することを特徴とする。

【００１９】上記のような構成によれば、利用者の入力
の解釈結果（例えば変換処理もしくは認識処理の結果）
について、その修正を利用者が音声で行うことができ
る。また、これに加えて、利用者の入力の解釈結果につ
いて、解釈結果の候補の選択を利用者が音声で行うこと
ができる。

【００２０】例えば、かな漢字変換における同音意義語
の処理や文節区切り位置の修正といった曖昧性の解消や
認識誤りの修正を行う必要のあるシステムを操作する場
合においては、キーボードからカーソル移動キーを操作
したり、正しい候補の表示をマウスでクリックして選択
する等、手を使うという意味では入力の際と同様の物理
的操作を伴う方法で行う必要があった。すなわち、例え
ばキーボードを用いて日本語の文章を入力している場合
に、例えばマウスやキーボードを用いてかな漢字変換処
理の結果の修正を行う必要があり、キーボード上のホー
ムポジションから指が離れたり、利用者の心的集中を妨
げるといった問題があった。

【００２１】本発明では、解釈結果の修正を利用者が音
声で行うことができ、また、解釈結果の候補の選択を利
用者が音声で行うことができるので、利用者はキーボー
ドからローマ字で仮名文字列を入力し、かな漢字変換シ
ステムを用いて変換しながら、変換候補の選択や文節区
切りの変更を単語発声により、例えば「３番目」と発声
して同音異義語選択を行うなど、日本語文章の入力とか
な漢字変換システムの処理結果の修正という異なる作業
を、キーボードとマイクという異なるデバイスに割り当
てることで利用者の心的負担を下げ、手を日本語仮名文
字列を入力するという作業に集中させ、自然に作業でき
るようになる。

【００２２】また、本発明によれば、利用者が音声で行
った候補の選択、及び解釈結果修正の結果を自動的に確
定することができる。また、これに加えて、設定された
時間が過ぎても利用者が候補選択、もしくは解釈結果の
修正を行わなければ自動的にある候補状態を態定するこ
とができる。

【００２３】例えば、オンライン図形認識システムにお
いて、利用者が長方形を入力する意図をもって行ったペ
ン入力ストローク列に対し、システムが図形認識処理を
施した結果、長方形、正方形、楕円の順の尤度で認識結
果が得られたような場合、従来のシステムではこれらの
候補が利用者に提示され、利用者が候補の中から正解を
選択しなければ図形入力を継続できないようになってい
るか、あるいは最も尤度の高い候補を認識結果として強
制的にシステムが選択するかのどちらかであった。前者
の場合、利用者の意図した正解が最も尤度の高い候補で
あるにもかかわらず、利用者が候補の中から第１候補を
選択しなければ図形入力が継続できず、図形入力操作に
対する利用者の心的集中を妨げるという問題があった。
後者の場合には、利用者が長方形を入力する意図を持っ
ていても、システムが正方形、長方形、楕円の順の尤度
の認識結果を得てしまった場合、利用者のフィードバッ
クがかからずに誤認識という結果になってしまう問題が
あった。

【００２４】本発明では、利用者が音声で行った候補の
選択、及び解釈結果修正の結果を自動的に確定すること
ができ、また、設定された時間が過ぎても利用者が候補
選択、もしくは解釈結果の修正を行わなければ自動的に
ある候補状態を確定することができるので、例えばオン
ライン図形認識システムにおいて、利用者が長方形を入
力する意図をもって行ったペン入力ストローク列に対し
システムが図形認識処理を施した結果、長方形、正方
形、楕円の順の尤度で認識結果が得られ、システムがこ
れらの候補を順位付きで利用者に提示した場合に、利用
者がある設定された時間以内に候補選択操作を行わなけ
れば自動的に第１候補である長方形を認識候補として確
定したり、逆に、利用者が長方形を入力する意図をもっ
て行ったペン入力ストローク列に対しシステムが図形認
識処理を施した結果、正方形、長方形、楕円の順の尤度
で認識結果が得られた場合、利用者が設定された時間以
内に正しい候補である長方形を例えば「長方形」と発声
して選択すれば認識結果の修正が行えるなど、利用者の
本来の作業への集中を妨げず、なおかつ、システムの解
釈結果に利用者がフィードバックをかけることができる
ようになっている。

【００２５】また、本発明によれば、候補状態を自動的
に確定するために要する時間を利用者が設定することが
できる。上記のようにして候補状態を自動的に確定する
構成した際には、利用者にとっては候補が提示されてか
ら自動確定されるまでの時間が短すぎ、候補を選択しよ
うとしたときには自動確定されてしまったり、また、別
の利用者にとっては候補が提示されてから自動確定され
るまでの時間が長すぎ、待ちきれずに誤操作をしてしま
うなどの問題が生じる。

【００２６】本発明では、候補状態を自動的に確定する
ために要する時間を利用者が設定することができるの
で、各利用者が各々にとって快適に感じる自動確定時間
を設定することで、利用者の本来の作業に集中すること
ができる。

【００２７】また、本発明によれば、候補状態の確定に
要する時間を特定の利用者に適応させ自動的に設定する
ことができる。上記のようにして候補状態を自動的に確
定するために要する時間を利用者が設定できる構成とし
た際には、各利用者は候補状態を自動的に確定するため
に要する時間を自分で設定しなければならず、自分にと
って適切な時間を見つけだすまでは試行錯誤しながら何
度も設定しなおさなければならないといった問題が生じ
る。

【００２８】本発明では、候補状態の確定に要する時間
を特定の利用者に適応させ自動的に設定することができ
るので、特定の利用者が候補を提示されてから候補を選
択するまでの時間を計測して記憶しておき、それらの時
間の系列の平均値を算出して新たな確定に要する時間と
して設定するなどして、各利用者に応じた自動確定時間
の設定が可能となる。

【００２９】

【発明の実施の形態】本発明の情報入出力装置は、利用
者の入力の解釈結果（例えば変換処理もしくは認識処理
の結果）について、その修正を利用者が音声で行うこと
ができる機能を持ち、利用者の入力の解釈結果につい
て、解釈結果の候補の選択を利用者が音声で行うことが
できる機能を持ち、また、設定された時間が過ぎると利
用者が音声で行った候補の選択、及び解釈結果修正の結
果を自動的に確定することができる機能を持ち、設定さ
れた時間が過ぎても利用者が候補選択、もしくは解釈結
果の修正を行わなければ自動的にある候補状態を確定す
ることができる機能を持ち、更に候補状態を自動的に確
定するために要する時間を利用者が設定することができ
る機能を持ち、候補状態の確定に要する時間を特定の利
用者に適応させ自動的に設定することができる機能を持
つ。

【００３０】以下、図面を参照して本発明の一実施形態
を説明する。図１は本発明の一実施形態に係る情報入出
力装置の概略構成図である。図１に示すように、本発明
の情報入出力装置１０１には、入力装置１０２、情報処
理装置１０３、出力装置１０４がそれぞれ接続されてい
る。

【００３１】入力装置１０２は、利用者からの入力に対
して入力処理を行い、１単位の入力信号につき複数の入
力解釈候補を順位を付けて出力する。図１の例では、複
数の入力デバイス１０２ａ，１０２ｂ，１０２ｃに接続
され、これらの入力デバイス１０２ａ，１０２ｂ，１０
２ｃから非同期に与えられる利用者の入力信号を処理す
るマルチモーダル入力装置が示されている。

【００３２】情報処理装置１０３は、利用者の１単位の
入力に対応して１単位の解釈情報を入力情報として受け
取り、所定の処理を行って、その処理結果を出力情報と
して出力する。

【００３３】出力装置１０４は、他の装置から要求され
た出力情報を利用者に提示する。図１の例では、複数の
出力デバイス１０４ａ，１０４ｂ，１０４ｃに接続さ
れ、これらの出力デバイス１０４ａ，１０４ｂ，１０４
ｃに出力情報を振り分けて利用者に提示するマルチモー
ダル出力装置が示されている。

【００３４】このような構成にあっては、入力装置１０
２から出力される順位付き入力解釈候補集合を入力とし
て受け取り、その候補集合の中から利用者の意図する入
力内容として最も尤度の高い候補を選択して情報処理装
置１０３に入力として与え、また、情報処理装置１０３
からの出力情報を出力装置１０４に与えて利用者に提示
する。

【００３５】ここで、本発明の情報入出力装置１０１
は、入力解釈候補暫定出力部１１、タイマ部１２、解釈
情報選択・確定部１３、タイマ設定時間記憶部１４、出
力統合部１５、タイマ設定入力部１６、確定時間系列記
憶部１７、確定時間計算・設定部１８からなる。

【００３６】入力解釈候補暫定出力部１１は、利用者か
らの入力に対応して入力装置１０２が生成した順位付き
の入力解釈候補集合を入力として受け取ると、その入力
解釈候補集合の候補を利用者に選択させるための暫定出
力情報を出力統合部１５に出力する。また、このとき、
入力解釈候補暫定出力部１１はタイマ部１２にリセット
信号を出力してから、解釈情報選択・確定部１３に入力
解釈候補集合を出力して制御を引き渡す。

【００３７】また、入力解釈候補暫定出力部１１は、解
釈情報選択・確定部１３から候補確定が行われたことを
示す候補確定情報を伝達されると、出力統合部１５に暫
定出力取消を指示する。ただし、入力解釈候補暫定出力
部１１が受け取った入力解釈候補集合の要素の数が１つ
であった場合、すなわち、入力の解釈結果に曖昧性のな
い場合には、入力解釈候補暫定出力部１１は何もせず、
受け取った入力解釈候補集合を解釈情報選択・確定部１
３に伝達して制御を引き渡す。

【００３８】タイマ部１２は、入力解釈候補暫定出力部
１１からリセット信号が出力されると、その時点から計
時動作を開始する。そして、計時動作を開始してからタ
イマ設定時間記憶部１４に記憶されている時間が経過し
たとき、タイマ部１２は解釈情報選択・確定部１３にタ
イマ信号を出力し、計時動作を停止する。ただし、計時
動作を開始してからタイマ設定時間記憶部１４に記憶さ
れている時間が経過する前、すなわち、タイマ信号が出
力される前に、解釈情報選択・確定部１３から計時停止
信号が伝達された場合には、直ちに計時動作を停止す
る。

【００３９】解釈情報選択・確定部１３は、入力解釈候
補暫定出力部１１から入力解釈候補集合が出力される
と、各入力解釈候補に対応した語彙を生成し、その集合
を音声認識対象語彙集合として音声認識装置１０５に出
力して音声認識開始を指示すると共に、入力待ち状態に
入る。

【００４０】また、音声認識結果が音声認識装置１０５
から出力されないうちに、タイマ部１２からタイマ信号
が出力された場合には、解釈情報選択・確定部１３は力
解釈候補集合の内の第１位の入力解釈候補を入力解釈結
果として確定する。逆に、タイマ部１２からタイマ信号
が出力されないうちに、音声認識結果が音声認識装置１
０５から出力された場合には、解釈情報選択・確定部１
３は入力解釈候補集合の内の音声認識結果に対応する入
力解釈候補（つまり利用者が音声で指定した候補）を入
力解釈結果として確定すると共に、タイマ部１２に計時
停止信号を出力する。

【００４１】入力解釈結果が確定すると、解釈情報選択
・確定部１３は、入力解釈候補暫定出力部１１に候補確
定情報を出力し、また解釈候補暫定出力部１１が入力解
釈候補集合を受け取ってから解釈結果を確定するまでに
要した時間、すなわち、解釈結果確定時のタイマ部１２
のタイマの値を確定時間系列記憶部１７に出力する。

【００４２】また、解釈情報選択・確定部１３は音声認
識装置１０５に音声認識の停止を指示すると共に、確定
した入力解釈結果を情報処理装置１０３の入力として与
える。ただし、解釈情報選択・確定部１３が受け取った
入力解釈候補集合の要素の数が１つであった場合、すな
わち、入力の解釈結果に曖昧性のない場合には、解釈情
報選択・確定部１３は何もせず、受け取った入力解釈候
補集合のただ１つの要素を入力解釈結果として確定し、
情報処理装置１０３の入力として与える。

【００４３】タイマ設定時間記憶部１４は、タイマ部１
２が計時すべき時間を予め記憶しており、タイマ部１２
の要求に応じその情報を出力する。また、タイマ設定入
力部１６もしくは確定時間計算・設定部１８から新たに
記憶すべき計時時間が与えられた際には、タイマ設定時
間記憶部１４は以前の計時時間を取り消し、新たな計時
時間を記憶する。

【００４４】出力統合部１５は、情報処理装置１０３か
ら処理結果として与えられた出力情報を出力装置１０４
に出力する。そして、出力統合部１５は、入力解釈候補
暫定出力部１１から暫定出力情報と共に暫定出力の指示
が出力されると、次に暫定出力取消の指示が出力される
まで、継続的に暫定出力情報と情報処理装置１０３から
の出力情報を統合して出力装置１０４に出力する。例え
ば、出力装置１０４が出力デバイス１０４ａとしてディ
スプレイ装置に接続されていれば、情報処理装置１０３
からの出力情報に重ねる形で暫定出力情報を統合し、そ
のディスプレイ装置に表示させるよう出力装置１０４に
指示を出す。

【００４５】また、入力解釈候補暫定出力部１１から暫
定出力取消の指示が出力されると、出力統合部１５は、
暫定出力情報と情報処理装置１０３からの出力情報の統
合を取りやめ、次の暫定出力の指示が出力されるまで、
情報処理装置１０３からの出力情報のみを出力装置１０
４に出力する。

【００４６】タイマ設定入力部１６は、利用者からの入
力結果確定に要する時間の変更入力を受け付け、その情
報（利用者によって任意に設定された計時時間）をタイ
マ設定時間記憶部１４に出力する。

【００４７】確定時間系列記憶部１７は、利用者から曖
昧性のある入力がある度に、入力解釈候補暫定出力部１
１が入力解釈候補集合を受け取ってから解釈結果を確定
するまでに要した時間、すなわち、解釈結果確定時のタ
イマ部１２のタイマの値を解釈情報選択・確定部１３か
ら出力され、その情報を確定時間系列記憶部１７の中に
ある確定時間系列記憶部に追加すると共に、新たな確定
時間情報の到着を確定時間計算・設定部１８に出力す
る。

【００４８】確定時間計算・設定部１８は、新たな確定
時間情報が到着したことを知らされると、確定時間系列
記憶部１７に記憶されている確定時間情報の集合、すな
わち、ある利用者が入力解釈候補を提示されてからその
内の１つを解釈結果として確定するまでの時間につい
て、その時点までに得られている情報をもとに、例えば
平均値をとるなどの所定の処理を施すことにより、新た
にタイマ設定時間として設定すべき確定時間を生成し、
その情報をタイマ設定時間記憶部１４に出力する。

【００４９】次に、図２を参照して本装置の全体的な処
理の流れを説明する。図２は全体的な処理の流れを示す
フローチャートである。本発明は、所謂イベントドリブ
ン方式の処理であり、種々の処理要求がイベントキュー
に送り込まれる。そして、イベントキューから一つ一つ
順にイベントを取り出し、取り出したイベントに対応す
る処理を行い、処理が終了するとまた、イベントキュー
の処理を行うというメインループの処理を繰り返すこと
で処理を行う。本処理のメインループで行う処理の概要
が図２に示されている。

【００５０】すなわち、処理が開始されると（ステップ
Ｓ０）、まず、イベントキュー内に未処理のイベントが
あるかどうかの確認がなされる（ステップＳ１０）。未
処理のイベントがなければ、利用者からの終了要求があ
るかの確認がなされ（ステップＳ１２）、利用者が終了
要求を出していれば、ここでの処理は終了する（ステッ
プＳ１３）。利用者が終了要求を出していなければ、再
びステップＳ１０の処理に戻る。また、ステップＳ１０
において、１つ以上の未処理のイベントがあれば、それ
らの内の先頭のイベントが取り出され、それに対する処
理に進むことになる（ステップＳ１１）。

【００５１】取り出されたイベントに対する処理におい
ては、まず、取り出されたイベントが利用者からの入力
に端を発するユーザイベントであるかの検証がなされる
（ステップＳ１４）。ユーザイベントであれば、その内
容に応じた処理に進む。

【００５２】また、ステップＳ１４において、取り出さ
れたイベントがユーザイベントでなければ、次にシステ
ムイベントであるかどうかの検証がなされる（ステップ
Ｓ１５）。システムイベントであれば、その内容に応じ
た処理に進み、そうでなければ、そのイベントに対する
処理は行われず、次のイベントを処理するためにステッ
プＳ１０の処理に戻る。

【００５３】ここで、ステップＳ１４において、ユーザ
イベントと判断されるイベントには、（ａ）入力解釈候
補集合の到着イベント、（ｂ）入力確定時間変更要求の
到着、（ｃ）音声認識結果の到着の３種類がある。

【００５４】入力解釈候補集合の到着イベント（ａ）
は、利用者からの入力に対応して入力装置１０２が生成
するイベントである。このユーザイベントが得られた場
合は、順位付きの入力解釈候補集合情報と共に入力解釈
候補集合出力処理に進む（ステップＳ１６）。

【００５５】入力確定時間変更要求の到着イベント
（ｂ）は、利用者が入力解釈候補の確定に要する時間を
利用者自身が入力した場合に対応して発生するイベント
である。このイベントが得られた場合は、利用者が入力
した時間設定情報と共にタイマ設定時間設定処理に進む
（ステップＳ２２）。

【００５６】音声認識結果の到着イベント（ｃ）は、利
用者に提示された解釈候補集合の中から利用者が意図す
る候補に対応する語彙を発声し、その発声に対する音声
認識結果が得られたことに対応して発生するイベントで
ある。このユーザイベントが得られた場合、音声認識結
果と共に解釈情報選択・確定処理に進む（ステップＳ１
７）。

【００５７】一方、ステップＳ１５にてシステムイベン
トと判断されるイベントには、（ｄ）候補確定情報の到
着、（ｅ）タイマ信号の到着、（ｆ）入力解釈候補暫定
出力の通知、（ｇ）入力解釈候補到着の通知、（ｈ）リ
セット信号の到着、（ｉ）計時停止信号の到着、（ｊ）
出力情報の到着、（ｋ）暫定出力情報の到着、（ｌ）暫
定出力取消指示の到着の９種類がある。

【００５８】候補確定情報の到着イベント（ｄ）は、解
釈情報選択・確定処理（Ｓ１７）にて入力解釈結果が確
定した場合に発生するイベントである。このイベントが
得られた場合、入力解釈候補暫定出力処理に進む（ステ
ップＳ１６）。

【００５９】タイマ信号の到着イベント（ｅ）は、タイ
マが開始してから設定された時間が経過した場合に発生
するイベントである。このイベントが得られた場合、解
釈情報選択・確定処理に進む（ステップＳ１７）。

【００６０】入力解釈候補暫定出力の通知イベント
（ｆ）は、入力解釈候補集合の到着の伴い入力解釈候補
暫定出力処理（Ｓ１６）において入力解釈候補集合の暫
定出力が行われたことに対応して発生するイベントであ
る。このイベントが得られた場合、解釈情報選択・確定
処理に進む（ステップＳ１７）。

【００６１】入力解釈候補到着の通知イベント（ｇ）
は、入力解釈候補集合の到着に伴い入力解釈候補暫定出
力処理（Ｓ１６）において入力解釈候補集合の要素数を
数えた結果、要素数が１であり、利用者による候補の選
択・確定の必要がないことに対応して発生するイベント
である。このイベントが得られた場合、解釈情報選択・
確定処理に進む（ステップＳ１７）。

【００６２】リセット信号の到着イベント（ｈ）は、入
力解釈候補集合の到着に伴い入力解釈候補暫定出力処理
（Ｓ１６）においてタイマのリセットと計時開始を指示
するために発生するイベントである。このイベントが得
られた場合、タイマ処理に進む（ステップＳ１８）。

【００６３】計時停止信号の到着イベント（ｉ）は、解
釈情報選択・確定処理（Ｓ１７）において入力解釈結果
が確定した場合に発生するイベントである。このイベン
トが得られた場合、タイマ処理に進む（ステップＳ１
８）。

【００６４】出力情報の到着イベント（ｊ）は、情報処
理装置１０３から利用者に提示する出力情報が届いたこ
とに対応するイベントであり、このイベントが得られた
場合、出力統合処理に進む（ステップＳ１９）。

【００６５】暫定出力情報の到着イベント（ｋ）は、入
力解釈候補集合の到着に伴い入力解釈候補暫定出力処理
（Ｓ１６）において入力解釈候補集合の暫定出力指示が
行われたことに対応して発生するイベントである。この
イベントが得られた場合、出力統合処理に進む（ステッ
プＳ１９）。

【００６６】暫定出力取消指示の到着イベント（ｌ）
は、候補暫定出力処理（Ｓ１６に）おいて候補確定情報
の到着イベントが到着し処理する際に、以前に行った入
力解釈候補の暫定出力を取り消しを指示するために発生
するイベントである。このイベントが得られた場合、出
力統合処理に進む（ステップＳ１９）。

【００６７】次に、上記のような各イベント（ａ）〜
（ｌ）によって起動される各種の処理について説明す
る。ステップＳ１６の入力解釈候補暫定出力処理は、入
力解釈候補集合の到着イベント（ａ）、もしくは、候補
確定情報の到着イベント（ｄ）に対応して起動される。

【００６８】入力解釈候補集合の到着イベント（ａ）に
対応して入力解釈候補暫定出力処理（Ｓ１６）が起動さ
れた場合、まず、入力解釈候補集合の要素数が数えられ
る。要素数が０の場合、入力解釈候補暫定出力処理（Ｓ
１６）は他に何もせず終了する。要素数が１の場合、利
用者に候補選択・確定を求める必要がないため、入力解
釈候補到着の通知イベント（ｇ）を発生して入力解釈候
補暫定出力処理（Ｓ１６）は終了する。要素数が２以上
の場合、入力解釈候補集合を利用者に提示して候補選択
・確定を求める必要があるため、入力解釈候補集合を引
数として暫定出力情報の到着イベント（ｋ）を発生して
から、入力解釈候補暫定出力処理（Ｓ１６）は終了す
る。

【００６９】また、候補確定情報の到着イベント（ｄ）
に対応して入力解釈候補暫定出力処理（Ｓ１６）が起動
された場合、入力解釈結果が確定されたことから以前に
行った暫定出力を取り消す必要がある。このため、暫定
出力取消指示の到着イベント（ｌ）を発生してから、入
力解釈候補暫定出力処理（Ｓ１６）は終了する。入力解
釈候補暫定出力処理（Ｓ１６）が終了すると、メインル
ープの処理を行うためにステップＳ１０の処理に進む。

【００７０】ステップＳ１７の解釈情報選択・確定処理
は、入力解釈候補到着の通知イベント（ｇ）、入力解釈
候補暫定出力の通知イベント（ｆ）、タイマ信号の到着
イベント（ｅ）、もしくは、音声認識結果の到着イベン
ト（ｃ）に対応して起動される。

【００７１】入力解釈候補到着の通知イベント（ｇ）に
対応して解釈情報選択・確定処理（Ｓ１７）が起動され
た場合、入力解釈候補集合の要素数は１であるため、入
力解釈候補集合には曖昧性がなく、利用者に候補を提示
して選択・確定処理を行う必要がない。この場合、解釈
情報選択・確定処理（Ｓ１７）では、与えられた入力解
釈候補集合のただ１つの要素を入力解釈結果として確定
し、入力解釈結果を情報処理装置１０３に入力として与
える。そして、計時停止信号の到着イベント（ｉ）を発
生し、解釈情報選択・確定処理（Ｓ１７）は終了する。

【００７２】また、入力解釈候補暫定出力の通知イベン
ト（ｆ）に対応して、解釈情報選択・確定処理（Ｓ１
７）が起動された場合、入力解釈候補集合には入力解釈
候補が２個以上あり、それらの候補の中から利用者が意
図した入力解釈結果を確定する必要がある。この目的の
ために、この時点までに利用者に対して入力解釈候補集
合が暫定的に提示されている状態である。このとき、解
釈情報選択・確定処理（Ｓ１７）では、タイマを起動す
るためにリセット信号の到着イベント（ｈ）を発生する
と共に、利用者が音声により入力解釈候補を選択できる
ように、入力解釈候補集合中の各入力解釈候補について
対応する語彙情報を生成することで音声認識対象語彙集
合を生成して音声認識装置１０５に通知し、音声認識処
理の開始を指示する。その後、解釈情報選択・確定処理
（Ｓ１７）は終了する。

【００７３】また、タイマ信号の到着イベント（ｅ）に
対応して解釈情報選択・確定処理（Ｓ１７）が起動され
た場合、利用者が音声により入力解釈候補の選択を行わ
ないうちに、タイマが所定の時間の経過を検知したこと
になる。この場合、解釈情報選択・確定処理（Ｓ１７）
では、入力解釈候補集合の要素の内の所定の、すなわ
ち、最も尤度の高い入力解釈候補を入力解釈結果として
確定し、入力解釈結果を情報処理装置１０３に入力とし
て与える。それと共に、解釈情報選択・確定処理（Ｓ１
７）は計時停止信号の到着イベント（ｉ）、候補確定情
報の到着イベント（ｄ）を発生させると共に、音声認識
装置１０５に音声認識処理の停止を指示する。その後、
解釈情報選択・確定処理（Ｓ１７）は終了する。

【００７４】また、音声認識結果の到着イベント（ｃ）
に対応して解釈情報選択・確定処理（Ｓ１７）が起動さ
れた場合、タイマが所定の時間の経過を検知する前に、
利用者が音声により入力解釈候補を選択したことを意味
する。この場合、解釈情報選択・確定処理（Ｓ１７）で
は、音声認識結果として得られた語彙に対応する入力解
釈候補を入力解釈結果として確定し、入力解釈結果を情
報処理装置１０３に入力として与える。それと共に、解
釈情報選択・確定処理（Ｓ１７）は計時停止信号の到着
イベント（ｉ）、候補確定情報の到着イベント（ｄ）を
発生させると共に、音声認識装置１０５に音声認識処理
の停止を指示する。その後、解釈情報選択・確定処理
（Ｓ１７）は終了する。解釈情報選択・確定処理（Ｓ１
７）が終了すると、入力解釈結果が確定されたかどう
か、確定されていればそれは２個以上の要素を持つ入力
解釈候補集合に対して行われたどうかの判定が行われる
（ステップＳ２３）。

【００７５】ここで、複数の要素から入力解釈結果が確
定され場合、すなわち、タイマ信号の到着イベント
（ｅ）、もしくは、音声認識結果の到着イベント（ｃ）
に対応して解釈情報選択・確定処理（Ｓ１７）が起動さ
れ終了した場合、確定時間系列記憶処理に処理が進む
（ステップＳ２０）。それ以外の場合、メインループの
処理を行うためにステップＳ１０の処理に進む。

【００７６】ステップＳ２０の確定時間系列記憶処理
は、入力解釈結果の確定に要した時間、すなわち、その
時点でのタイマの値を取得し、それを確定時間系列記憶
というリスト状の記憶領域に追加し、確定時間計算処理
に処理を進める（ステップＳ２１）。

【００７７】ステップＳ２１の確定時間計算処理は、確
定時間系列記憶に記憶されている曖昧性が見られた各入
力において利用者、もしくはシステムが入力解釈候補を
選択し確定するまでの時間の記録をもとに、所定の計算
処理、例えば全ての記録されている時間の平均値をとる
などの処理を施し、新たな確定時間の設定を求め、タイ
マ設定時間設定処理に進む（ステップＳ２２）。

【００７８】ステップＳ２２のタイマ設定時間設定処理
は、入力確定時間変更要求の到着イベント（ｂ）に対応
して起動されるか、もしくは確定時間計算処理での入力
確定時間の新たな設定が決定された後に起動される（ス
テップＳ２２）。何れの場合においても、タイマ設定時
間設定処理（Ｓ２２）では、新たな入力解釈候補の確定
時間の値を与えられ、それを入力確定時間記憶という記
憶領域に書き込む。その後、タイマ設定時間設定処理は
終了し、メインループの処理を行うためにステップＳ１
０の処理に進む。

【００７９】ステップＳ１８のタイマ処理は、リセット
信号の到着イベント（ｈ）か、もしくは計時停止信号の
到着イベント（ｉ）の何れかに対応して起動される。リ
セット信号の到着イベント（ｈ）に対応してタイマ処理
（Ｓ１８）が起動された場合、まず、タイマの現在時間
を０にリセットし、また、確定時間記憶に記憶されてい
る値を取得し、タイマの現在時間がその値になるとタイ
マ信号の到着イベントを発生させるように設定してか
ら、タイマ部１２の計時を開始させる。その後、タイマ
処理（Ｓ１８）は終了し、メインループの処理を行うた
めにステップＳ１０の処理に進む。

【００８０】計時停止信号の到着イベント（ｉ）に対応
してタイマ処理（Ｓ１８）が起動された場合、タイマ処
理（Ｓ１８）はタイマ部１２の動作を停止させる。その
後、タイマ処理（Ｓ１８）は終了し、メインループの処
理を行うためにステップＳ１０の処理に進む。

【００８１】ステップＳ１９の出力統合処理は、出力情
報の到着イベント（ｊ）、暫定出力情報の到着イベント
（ｋ）、もしくは、暫定出力取消指示の到着イベント
（ｌ）に対応して起動される。

【００８２】暫定出力情報の到着イベント（ｋ）に対応
して出力統合処理（Ｓ１９）が起動された場合、入力解
釈候補集合を利用者に暫定的に提示して選択・確定処理
を行う必要が生じたことを意味する。この場合、出力統
合処理（Ｓ１９）では、入力解釈候補集合から利用者に
提示する暫定出力情報を生成して暫定出力記憶部に記憶
すると共に、出力情報と暫定出力情報を統合した出力情
報を生成して出力装置１０４に出力する。

【００８３】出力情報の到着イベント（ｊ）に対応して
出力統合処理（Ｓ１９）が起動された場合、接続してい
る情報処理装置１０３から出力情報が到着したことを意
味する。この場合、出力統合処理（Ｓ１９）では、新た
な出力情報を生成する必要がある。このため、出力統合
処理（Ｓ１９）は出力情報記憶部に新たな出力情報を記
憶すると共に、暫定出力記憶部に暫定出力すべき情報が
記憶されていれば、新たに得られた出力情報と暫定出力
情報を統合して新たな出力情報を生成し、出力装置１０
４に出力する。暫定出力記憶部が空であれば、新たな出
力情報をそのまま、出力情報として出力装置１０４に出
力する。

【００８４】暫定出力取消指示の到着イベント（ｌ）に
対応して出力統合処理（Ｓ１９）が起動された場合、暫
定出力情報を利用者に提示する必要がなくなったことを
意味する。この場合、出力統合処理（Ｓ１９）では、暫
定出力記憶部を空にして、出力情報記憶部に記憶されて
いる情報から新たな出力情報を生成し、出力装置１０４
に出力する。

【００８５】以上が本発明に係る情報入出力装置の構成
とその機能、及びその処理方法である。ここで、図３に
示すようなオンライン手書き図形認識システムを例にと
り、更に詳しく説明する。この例においては、図１にお
ける入力デバイス１０２ａ、出力デバイス１０４ａとし
て、例えば液晶ペンタブレッド等、利用者が画面上に手
書きのストロークをスタイラスペン等により入力し、入
力されたストロークがそのまま出力されるようなデバイ
スを想定している。また、情報処理装置１０３として
は、例えば設計図などの図面を作成するために利用者が
図形を入力するような図面作成装置を想定している。

【００８６】利用者が画面上に図４にあるようにペン等
を用いて手書き図形を入力すると、入力装置１０２はそ
のストロークに対して認識処理を行い、以下のような認
識結果候補図形とその特徴点系列、及びその認識結果の
スコアの３つ組をスコアの降順に並べたリストを出力と
して生成し、本発明に係る情報入出力装置１０１に入力
として与える。

【００８７】・［正方形，（１００，１００，２００，
２００），０．９４］ ・［長方形，（９７，１０５，２０４，１９７），０．
８８］ ・［平行四辺形，（９７，１０５，１９６，１０５，２
０４，１９７，８９，１９７），０．８２］ 情報入出力装置１０１に与えられた入力装置１０２から
の認識候補列（入力の解釈候補）は、入力解釈候補暫定
出力部１１にまず与えられる。ここでは、入力の解釈候
補が複数あるため、入力解釈候補暫定出力部１１は利用
者が候補の選択を行えるように、例えばメニュー形式
や、各候補を別々の色で元のストローク形式で重ねて表
示する形式などの暫定出力を生成し、これを出力統合部
１５に出力する。

【００８８】また、このとき入力解釈候補暫定出力部１
１はタイマ部１２にリセット信号を出力すると共に、与
えられた各認識解釈候補、及び生成した暫定出力情報な
どから、例えば［正方形，長方形，平行四辺形，上，真
ん中，下，１番目，２番目，３番目，最初，最後］とい
った利用者からの音声入力を認識するための語彙を限定
するための音声認識対象語彙表現集合を生成して音声認
識装置１０５に引き渡し、解釈情報選択・確定部１３に
制御を渡す。

【００８９】タイマ部１２は、タイマ設定時間記憶部１
４に記憶されているタイマ設定時間情報（例えば５秒間
という情報）を読み出してタイマを設定し、そのタイマ
による計時を開始する。出力統合部１５では、図３に示
したような情報処理装置１０３の出力と送付された暫定
出力とを統合し、出力装置１０４に出力する。その結
果、例えば図５のように解釈候補をそのスコアの順に列
挙したメニューが情報処理装置１０３の出力に重ねて表
示される。

【００９０】ここで、上記設定されたタイマ時間がタイ
マ部１２で計時されない前に、利用者が「上」，「真ん
中」，「平行四辺形」といったように、各解釈候補を選
択するための単語を発声すると、その利用者の発声は音
声認識装置１０５で認識処理され、その結果が解釈情報
選択・確定部１３に与えられる。

【００９１】例えば、利用者の発声した単語が「真ん
中」と認識された場合、解釈情報選択・確定部１３はそ
の音声認識情報と、入力解釈候補暫定出力部１１から渡
された入力解釈候補情報とを統合し、利用者がメニュー
の真ん中の候補である「長方形」を選択したものと同定
する。これにより、解釈情報選択・確定部１３は図形認
識結果として「長方形」を確定し、入力解釈候補暫定出
力部１１に候補確定情報、タイマ部１２に計時停止信
号、情報処理装置１０３に確定された入力に関する情報
である［長方形，（９７，１０５，２０９，１９７）］
をそれぞれ出力する。

【００９２】候補確定情報を受け取った入力解釈候補暫
定出力部１１は出力統合部１５に暫定出力取り消しを指
示し、それを受けて出力統合部１５はメニューによる候
補表示を取りやめる。また、確定した入力解釈結果とし
て［長方形，（９７，１０５，２０４，１９７）］を受
け取った情報処理装置１０３は出力を変更する。その結
果として、図７に示すように、図面作成装置には利用者
の意図した長方形が入力されることになる。

【００９３】また、入力解釈候補の暫定出力の方法とし
て、解釈候補を元の入力ストローク画面に重ね合わせ、
例えば「正方形」の候補を青色、「長方形」を赤色、
「平行四辺形」を黄色で色分けして表示したような場合
の例を図６に示す。このような場合、利用者は「正方
形」，「長方形」，「平行四辺形」といった単語の発声
以外に「青」，「赤」，「黄色」といった発声をするこ
とで候補を選択することもできる。

【００９４】既に述べたように、このような音声認識の
対象となる語彙表現の集合である音声認識対象語彙表現
集合は、入力解釈候補暫定出力部１１により生成され、
音声認識装置１０５に伝達されている。

【００９５】タイマが設定時間を計時する前に利用者が
候補を選択した場合、タイマ部１２には計時停止信号が
出力され、タイマを停止する。その後、解釈情報選択・
確定部１３はタイマ部１２からタイマの値、すなわち、
利用者が候補を提示されてから入力確定に要した時間を
読み出し、確定時間系列記憶部１７に与える。確定時間
系列記憶部１７には、与えられた最新の確定時間を追加
し、確定時間計算・設定部１８は新たな確定時間を計算
し、タイマ設定時間記憶部１４にその時間を記憶させ
る。これにより、次回から自動確定に要する時間が利用
者に合わせて変化することになる。

【００９６】次に、図５のメニューが利用者に提示され
たときに、第１位の候補である正方形が利用者の意図す
る図形であった場合を考えてみる。このような場合、利
用者は「正方形」もしくは「上」などと発声することで
「正方形」の候補を選択することもできるが、そのよう
な確定操作を行わずに放置しておくこともできる。

【００９７】利用者が確定操作を行わずに放置し、タイ
マが設定時間を計時した場合、タイマ部１２はタイマ信
号を解釈情報選択・確定部１３に出力する。解釈情報選
択・確定部１３はその情報を受け、第１位の候補を確定
し、入力解釈候補暫定出力部１１に候補確定情報、情報
処理装置１０３に確定された入力に関する情報である
［正方形，（１００，１００，２００，２００）］をそ
れぞれ出力する。

【００９８】候補確定情報を受け取った入力解釈候補暫
定出力部１１は、出力統合部１５に暫定出力取り消しを
指示し、それを受けて出力統合部１５はメニューによる
候補表示を取りやめる。また、確定した入力解釈結果と
して［正方形，（１００，１００，２００，２００）］
を受け取った情報処理装置１０３は出力を変更する。こ
れにより、図面作成装置には、利用者の意図した正方形
が入力されることになる。

【００９９】このように構成された図面作成装置では、
解釈候補の自動確定時間を利用者に応じて自動的に変化
させることができるため、例えば初心者には長い自動確
定時間が維持され、入力確認のミスを削減することがで
きる。逆に、熟練者が操作する場合には、自動的に自動
確定時間が短くなり、効率的な入力が可能となる。

【０１００】かくして、本発明の情報入出力装置及び方
法によれば、利用者の入力の解釈結果について、その修
正を利用者が音声で行うことが可能となる。さらに、本
発明によれば、利用者の入力の解釈結果について、解釈
結果の候補の選択を利用者が音声で行うことが可能とな
る。

【０１０１】さらに、本発明によれば、利用者が音声で
行った候補の選択、及び解釈結果修正の結果を自動的に
確定することが可能となる。さらに、本発明によれば、
設定された時間が過ぎても利用者が候補選択、もしくは
解釈結果の修正を行わなければ自動的にある候補状態を
確定することが可能となる。

【０１０２】さらに、本発明によれば、候補状態の自動
確定に要する時間を利用者が設定することが可能とな
る。さらに、本発明によれば、候補状態の確定に要する
時間を特定の利用者に適応させ自動的に設定することが
可能となる。

【０１０３】尚、本発明は、上述した実施形態に限定さ
れるものではない。すなわち、上述の実施形態では、利
用者の入力をその後の入力にフィードバックする方法と
しては、解釈候補の自動確定に要する時間を自動調整す
ることしか記述されていないが、例えば、音声による利
用者の解釈候補選択結果、すなわち、入力候補が第１位
で得た候補以外の解釈を正しい解釈結果として利用者が
指定した場合、その情報を入力装置１０２に返してや
り、入力装置１０２で学習処理を行うことで、入力装置
１０２の候補の出し方にバイアスをかけ、より利用者に
適応した入出力システムを構成することが可能となる。

【０１０４】また、以下では、本情報入出力装置におけ
る処理をソフトウェアを使って実現する場合の装置構成
について図８を参照しながら説明する。この場合、本情
報入出力装置のハードウェア部分は、ＣＰＵ２１、プロ
グラムや必要なデータを格納するためのＲＡＭ２２、デ
ィスクドライブ装置２４、記憶装置２５、入出力装置２
６である。

【０１０５】また、図１の入力解釈候補暫定出力部１
１、タイマ部１２、解釈情報選択・確定部１３、タイマ
設定時間記憶部１４、出力統合部１５、タイマ設定入力
部１６、確定時間系列記憶部１７、確定時間計算・設定
部１８は、それぞれの処理手順を記述したプログラムに
より構成され、それらを総合した処理手順は図２のよう
になる。

【０１０６】この処理手順を記述したプログラムは、図
８のコンピュータシステムを制御するためのプログラム
としてＲＡＭ２２に格納され、ＣＰＵ２１により実行さ
せる。ＣＰＵ２１はＲＡＭ２２に格納されたプログラム
の手順に従い、演算や、記憶装置２５あるいは入出力装
置２６の制御などを行って、所望の機能を実現してい
く。

【０１０７】プログラムをＲＡＭ２２にインストールす
るには種々の方法を用いることができる。例えば、上記
プログラム（入力解釈候補暫定出力部１１、タイマ部１
２、解釈情報選択・確定部１３、タイマ設定時間記憶部
１４、出力統合部１５、タイマ設定入力部１６、確定時
間系列記憶部１７、確定時間計算・設定部１８の処理手
順を記述したプログラムであって、コンピュータシステ
ムを制御するためのプログラム）を、コンピュータで読
み取り可能な記憶媒体（例えばフロッピーディスク、あ
るいはＣＤ−ＲＯＭ等のリムーバブル記憶媒体）に記憶
させておく。そして、図８に示すように記憶媒体に応じ
たディスクドライブ装置２４を用いて該プログラムを読
み取り、ＲＡＭ２２に格納する。あるいは、いったんデ
ィスクドライブ装置２４等にインストロールしておき、
実行時に同装置からＲＡＭ２２に格納する。

【０１０８】また、プログラムを格納した記憶媒体がＩ
Ｃカードである場合は、ＩＣカードリーダを用いて該プ
ログラムを読み取ることができる。さらには、ネットワ
ークを介して所定のインターフェイス装置からプログラ
ムを受け取ることができる。本発明は上述した実施の形
態に限定されるものではなく、その技術的範囲において
種々変形して実施することができる。

【０１０９】

【発明の効果】以上説明したように本発明によれば、曖
昧性のある入力を受け付け解釈する入力装置の解釈結果
について、解釈結果の修正を利用者が音声で行うことが
でき、また、解釈結果の候補の選択を利用者が音声で行
うことができる。

【０１１０】また、本発明によれば、利用者が音声で行
った候補の選択、及び解釈結果修正の結果を自動的に確
定することができ、また、設定された時間が過ぎても利
用者が候補選択、もしくは解釈結果の修正を行わなけれ
ば自動的にある候補状態を確定することができる。

【０１１１】また、本発明によれば、候補状態の自動確
定に要する時間を利用者が設定することができ、また、
候補状態の確定に要する時間を特定の利用者に適応させ
て自動的に設定することができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る情報入出力装置の概
略構成を示すブロック図。

【図２】全体的な処理の流れを示すフローチャート。

【図３】オンライン図形認識システムの外観構成を示す
図。

【図４】入力された手書きストロークを示す図。

【図５】解釈候補のメニュー選択画面を示す図。

【図６】解釈候補重ね合わせ表示選択画面を示す図。

【図７】入力が確定した際の画面を示す図。

【図８】本発明の情報入出力装置のハードウェア構成を
示すブロック図。

【符号の説明】

１０１…情報入出力装置 １０２ａ〜１０２ｃ…入力装置 １０３…情報処理装置 １０４ａ〜１０４ｃ…出力装置 １０５…音声認識装置 １１…入力解釈候補暫定出力部 １２…タイマ部 １３…解釈情報選択・確定部 １４…タイマ設定時間記憶部 １５…出力統合部 １６…タイマ設定入力部 １７…確定時間系列記憶部 １８…確定時間計算・設定部

Claims (9)

【特許請求の範囲】
1. 【請求項１】 利用者からの入力信号を処理し、その処
   理結果として複数の解釈候補を順位を付けて出力する入
   力手段と、 この入力手段によって得られた上記各解釈候補の中で選
   択された候補を解釈情報として処理し、その処理結果を
   出力情報として出力する情報処理手段と、 この情報処理手段によって得られた上記出力情報を利用
   者に提示する出力手段と、 音声情報を認識するための音声認識手段とを備えた情報
   入出力装置において、 上記入力手段によって得られた上記各解釈候補の中から
   利用者に候補を選択させるための暫定提示情報を生成す
   る入力解釈候補集合暫定出力手段と、 この入力解釈候補暫定出力手段から上記暫定提示情報が
   出力されたときに計時動作を開始し、所定時間経過後に
   タイマ信号を発生するタイマ信号生成手段と、 上記音声認識手段に上記各解釈候補を選択するための上
   記音声情報が入力されたとき、または、上記タイマ信号
   生成手段によって上記タイマ信号が出力されたときのタ
   イミングで、上記各解釈候補の中から上記音声情報で指
   定された候補または上記タイマ信号の発生によって所定
   の候補を選択し、これを上記解釈情報として上記情報処
   理手段に与える解釈情報選択・確定手段と、 この解釈情報選択・確定手段によって与えられた上記解
   釈情報を上記情報処理手段が処理した結果として出力さ
   れる上記出力情報を利用者への新たな出力情報として上
   記出力手段に与える出力制御手段とを具備したことを特
   徴とする情報入出力装置。
2. 【請求項２】 計時時間を任意に設定するためのタイマ
   設定入力手段と、 このタイマ設定入力手段によって設定された上記計時時
   間を記憶するタイマ設定記憶手段とをさらに具備し、 上記タイマ信号生成手段は、上記暫定提示情報が出力さ
   れたときに上記タイマ設定記憶手段に記憶された上記計
   時時間に基づいて上記タイマ信号を発生することを特徴
   とする請求項１記載の情報入出力装置。
3. 【請求項３】 上記暫定提示情報の出力後、上記音声情
   報または上記タイマ信号によって上記解釈情報を確定す
   るまでに要した時間をその都度計測し、その系列を記憶
   する確定時間系列記憶手段と、 この確定時間系列記憶手段に記憶された上記確定に要し
   た時間の集合から本装置の利用者に適切な確定時間を算
   出する確定時間計算手段と、 この確定時間計算手段によって算出された上記確定時間
   を計時時間として記憶するタイマ設定記憶手段とをさら
   に具備し、 上記タイマ信号生成手段は、上記暫定提示情報が出力さ
   れたときに上記タイマ設定記憶手段に記憶された上記計
   時時間に基づいて上記タイマ信号を発生することを特徴
   とする請求項１記載の情報入出力装置。
4. 【請求項４】 上記入力手段は、複数の入力デバイスに
   接続され、それらの入力デバイスから非同期に与えられ
   る利用者の入力信号を処理するマルチモーダル入力装置
   であることを特徴とする請求項１記載の情報入出力装
   置。
5. 【請求項５】 上記出力手段は、複数の出力デバイスに
   接続され、それらの出力デバイスに出力情報を振り分け
   て利用者に提示するマルチモーダル出力装置であること
   を特徴とする請求項１記載の情報入出力装置。
6. 【請求項６】 上記入力解釈候補集合暫定出力手段は、
   上記入力手段によって得られた各入力解釈候補及び入力
   解釈候補の暫定出力の方法から、利用者から解釈候補を
   選択するための音声情報として受け入れ可能な語彙表現
   の集合を生成する音声認識対象語彙集合生成機能と、上
   記音声認識手段が利用者からの音声入力の認識処理を行
   うための語彙表現を限定することができる音声認識対象
   語彙表現情報として上記音声認識手段に引き渡すことが
   できる音声認識対象語彙表現伝達機能を有することを特
   徴とする請求項１記載の情報入出力装置。
7. 【請求項７】 利用者からの入力信号を処理し、その処
   理結果として複数の解釈候補を順位を付けて出力する入
   力手段と、 この入力手段によって得られた上記各解釈候補の中で選
   択された候補を解釈情報として処理し、その処理結果を
   出力情報として出力する情報処理手段と、 この情報処理手段によって得られた上記出力情報を利用
   者に提示する出力手段と、 音声情報を認識するための音声認識手段とを備えた情報
   入出力装置の情報入出力方法において、 上記入力手段によって得られた上記各解釈候補の中から
   利用者に候補を選択させるための暫定提示情報を生成
   し、 この暫定提示情報が出力されたときに計時動作を開始
   し、所定時間経過後にタイマ信号を発生し、 上記音声認識手段に上記各解釈候補を選択するための上
   記音声情報が入力されたとき、または、上記タイマ信号
   が出力されたときのタイミングで、上記各解釈候補の中
   から上記音声情報で指定された候補または上記タイマ信
   号の発生によって所定の候補を選択し、これを上記解釈
   情報として上記情報処理手段に与え、 この解釈情報を上記情報処理手段が処理した結果として
   出力される上記出力情報を利用者への新たな出力情報と
   して上記出力手段に与えるようにしたことを特徴とする
   情報入出力方法。
8. 【請求項８】 計時時間を任意に設定可能とし、 その計時時間をメモリに記憶しておくことにより、 上記暫定提示情報が出力された際に、上記メモリに記憶
   された上記計時時間に基づいて上記タイマ信号を発生す
   ることを特徴とする請求項７記載の情報入出力方法。
9. 【請求項９】 上記暫定提示情報の出力後、上記音声情
   報または上記タイマ信号によって上記解釈情報を確定す
   るまでに要した時間をその都度計測し、その系列を第１
   のメモリに記憶しておき、 この第１のメモリに記憶された確定に要した時間の集合
   から本装置の利用者に適切な確定時間を算出し、 この確定時間を計時時間として第２のメモリに記憶して
   おくことにより、 上記暫定提示情報が出力された際に、上記第２のメモリ
   に記憶された上記計時時間に基づいて上記タイマ信号を
   発生することを特徴とする請求項７記載の情報入出力方
   法。