JPH09258945A

JPH09258945A - 個人情報機器

Info

Publication number: JPH09258945A
Application number: JP8067801A
Authority: JP
Inventors: Shunichi Tano; 俊一田野; Hideki Sakao; 秀樹坂尾; Yasuharu Nanba; 康晴難波; Taminori Tomita; 民則冨田; Hirokazu Aoshima; 弘和青島
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1996-03-25
Filing date: 1996-03-25
Publication date: 1997-10-03

Abstract

(57)【要約】【課題】個人情報環境では、コンピュータが必要となる
とモニタ上の狭いデスクトップに縛りつけられてしま
う。また、入出力は、キーボード、マウス、画面上の表
示に限定されている、さらに、すべての操作を、グラフ
ィカルユーザインタフェースによるダイレクトマニピュ
レーションなどで明示的に指示しなければならない、と
いう問題点があった。【解決手段】カメラ７等で認識された現実に存在するも
のである紙２等を仮想的にしか存在しないものと区別
し、かつその存在する位置に対応させて環境ビューワ
３、ペン入力コンピュータ４に表示することを特徴とす
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パーソナルコンピ
ュータをはじめとするコンピュータや携帯情報機器等の
ユーザインタフェース技術に係る。より詳細には、キー
ボード、マウス、ペン、音声、身振りなど複数のメディ
アを用いた指示に基づき、ユーザに代わってコンピュー
タやアプリケーションソフトウエア等を制御し、静止
画、動画、音声、効果音等の複数のメディアを用いて応
答するマルチモーダル個人情報機器に関する。

【０００２】

【従来の技術】現在パーソナルコンピュータをはじめと
するコンピュータがオフィス、家庭において急速に普及
している。その原動力はハードウエアの面でのコストパ
フォーマンスの飛躍的な向上、およびソフトウエア面で
のグラフィカルユーザインタフェース導入によるユーザ
フレンドリネスの改善にあると考えられる。例えば、文
献「J. A. Sohnson, et. al. : ACE: Building Interac
tive Graphical Applications, Communications of the
ACM, Vol, 36, No. 4, pp. 400-55, 1993」にはグラフ
ィカルユーザインタフェースの優位さが述べられてい
る。

【０００３】

【発明が解決しようとする課題】しかし、上記技術を基
本にしたグラフィカルユーザインタフェースベースのユ
ーザインタフェースを持つコンピュータが、オフィス、
家庭に普及するとともに、現在のコンピュータが有する
以下に示す３つの問題点（問題点（１）〜（３））が認
識されつつある。

【０００４】問題点（１）不自然な作業環境コンピュータが不必要な場合は、机上を自由に使えるも
の。しかし、一旦コンピュータが必要となると、ユーザ
は、モニタ上の狭いデスクトップに縛りつけられてしま
う。

【０００５】これはコンピュータが我々の活動世界を無
視し、我々の活動の場をコンピュータの扱い易い仮想的
なモニタ上のデスクトップに限定していることに起因し
ている。

【０００６】問題点（２）限定された入出力方法現在のコンピュータの入出力は、キーボード、マウス、
画面上の表示に限定されている。コンピュータとの円滑
なインタフェースには入出力バンドの拡大が必要であ
る。

【０００７】問題点（３）非知的なユーザインタフェー
スコンピュータに対する操作を、例えばグラフィカルユー
ザインタフェースによるダイレクトマニピュレーション
などで明示的に指示しなければならない。なにができる
かということに加えて、どのようにやるかまでユーザが
知らなければならない。また、コンピュータには多くの
データが格納されているのにもかかわらず、それがコン
ピュータに認識されない。さらに、ネットワーク上には
貴重なデータが保持されているにもかかわらず利用が困
難である。

【０００８】本発明の目的は、コンピュータ中心ではな
く、より人間中心のユーザインタフェースを有するコン
ピュータ利用環境を提供することにある。

【０００９】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明では、人間中心・実世界中心の考え方によ
り設計し、音声、手書き、ジェスチャ等のマルチモーダ
ルな形態で対話可能なコンピュータとする。

【００１０】ここで、これらの問題点を解決するために
は、各問題点を独立としてではなく、総合的にとらえる
必要がある。問題点（１）の解決のためには、新たなコ
ンピューティング環境を提示しなくてはならない。そこ
で必要となる入出力（問題点（２））は、その環境と密
接に関係している。さらに、知的な処理（問題点
（３））は、コンピューテイング環境に深く関連し、さ
らに高度な入出力は知的処理抜きには実用として供する
ことはできない。

【００１１】まず、問題点（１）はコンピュータ側だけ
の論理でユーザインタフェース環境が設計されてきたこ
とから発生している。現在、この問題点を解決する方法
は完全なバーチャルリアリティの採用か、実世界への回
帰と考えられているが、本発明では、実世界と仮想世界
の融合により解決を図る。具体的には、『実デスク＋仮
想デスク＋実ペーパ＋仮想ペーパ』の組み合わせで解決
を図る。

【００１２】すなわち、実デスクの上に実際の紙（実ペ
ーパ、図１での２）が乗っている世界がコンピュータレ
スの世界であり、これに、仮想デスクを表わすモニタ
と、仮想ペーパを表わすペン入力コンピュータを数枚乗
せた環境である。

【００１３】より具体的には以下の手段により問題点を
解決する。

【００１４】（１）デスクトップなどの業務環境を仮想
的に表示する装置である環境ビューワ、表示入力一体型
ペン入力コンピュータで実現された紙と同様なインタフ
ェースを有する仮想ペーパ、マイク、スピーカ、カメ
ラ、ペン、キーボードを構成要素とする。

【００１５】（２）環境ビューワに、以下の３種を区別
して表示するとよりよい。まず第１には、電子的なファ
イルやホルダ（フォルダ）などのような仮想的にしか存
在しないものである。第２に、ネットワークで結合され
たエアコン、ビデオ、電灯などのような現実の世界に存
在しかつ計算機から操作できるものである。最後に、机
の上に置いてある実際の紙などのように現実の世界に存
在し計算機から操作できないものである。

【００１６】（３）さらに好適には、その現実の世界に
存在しかつ計算機から操作できるもの、および現実の世
界に存在し計算機から操作できないものは、業務環境の
状況をカメラから入力しそれを解析することにより位置
を特定し、仮想ビューワ内に表示されているデスクトッ
プ等の仮想的な世界の対応する位置に重ねて表示する。

【００１７】（４）さらに好適には、環境ビューワには
環境の大まかな様子だけが表示する。この際、環境ビュ
ーワ上のデスクトップ等に表示されている文章ファイル
の詳細な内容は、仮想ペーパ上に表示する。この時、環
境ビューワには表示しなくともよい。

【００１８】（５）さらに、環境ビューワには、自分の
オフィス、他人のオフィス、図書室等の複数の環境が同
時に表示するとよりよい。

【００１９】（６）最後に、仮想ペーパを複数枚隣り合
せに置いた場合、１枚の大きなパッドとして連動して動
作可能とする。

【００２０】次に問題点（２）と問題点（３）は、以下
の手段で実現されるマルチモーダルな入出力が可能な知
的なエージェントの導入により解決する。

【００２１】（１）個人情報機器全体を管理するエージ
ェントを設ける。このエージェントは、音声、ジェスチ
ャ、ペンジェスチャ、ペンおよびキーボードのうち少な
くとも２つによる入力を同時に用いたマルチモーダル入
力で処理する。

【００２２】（２）環境ビューワに複数の環境が表示さ
れたいる場合、エージェントは、複数の環境を対象に指
示を実行するとよりよい。

【００２３】（３）また、より好適には、ユーザが入力
した音声やペン入力内容として、仮想ペーパに音声認識
結果あるいは手書き文字認識結果として一旦表示する。
その認識結果がエージェントの指示として実行可能であ
る場合、表示色を変えユーザに知らせ、その指示を実行
した場合は、仮想ペーパ上から消し、実行しない場合は
そのまま認識結果を仮想ペーパ上に残す。

【００２４】（４）また、エージェントは、音声、効果
音、環境ビューワ表示、仮想ペーパのうち少なくとも２
つの表示による出力を同時に用いたマルチモーダル出力
で応答する。

【００２５】（５）エージェントの姿を、環境ビューワ
にエージェントのシンボルとして表示する。実行可能な
指示を認識した場合、表示したシンボルの表情を変える
とともに、内容をテキストで表示しながらそれを実行す
る。

【００２６】（６）ユーザの指示内容が、状況から推察
して確実な場合、仮想ペーパで色の変わって表示されて
いるコマンドとして認識された部分をタップした場合、
エージェントに対して『ＯＫ』と言った場合、ＯＫのジ
ェスチャをした場合、エージェントに触れた場合、ユー
ザがエージェントに目を合わせてうなずいた場合、エー
ジェントがその指示を実行する。

【００２７】（７）環境ビューワの電子ファイルをダブ
ルタップする、電子ファイルを仮想ペーパに重ね合わせ
る、音声やジェスチャを使って、『これをオープン』の
ように指示する、ことにより環境ビューワに表示されて
いる電子ファイル等を仮想ペーパに簡単に表示可能とす
る。

【００２８】

【発明の実施の形態】以下、図面を用いて本発明の実施
例を説明する。図１に本発明の第一の実施例の外観を示
す。本実施例は、図１に示すように、以下の構成要件を
有する。実デスク１の上の実際の紙２、仮想デスクを表
示する環境ビューワ３と、仮想ペーパを表わすペン（手
書き）入力コンピュータ４、キーボード９、および小型
CCDカメラをペンに内蔵したスキャナ付ペン８、マイク
６、スピーカ５、机上の様子を入力するカメラ７より構
成されている。本発明では、これら構成要件をユーザの
使用しやすい環境となるよう構成する。なお、環境ビュ
ーワ３にはエージェント１０が表示される。

【００２９】環境ビューワ３には、従来とほぼ同様のグ
ラフィカルユーザインタフェースでのデスクトップが表
示される。このモニタには、ファイル、ホルダ、メール
のインボックス、インテリジェントエージェント１０な
どが表示される。机上にある実物（例えば実際の紙２）
は、カメラ７を通して実デスクを監視することにより、
この仮想デスクトップに表示される。

【００３０】ペン入力コンピュータ４は、仮想ペーパに
対応する。仮想デスクトップのファイルの表示やアプリ
ケーションの実行は、ペン入力コンピュータ４で行う。
ペン入力コンピュータ４は、仮想ペーパである。したが
って、ペンで操作されるものである。ここで、ペン入力
コンピュータ４は、「認識を伴わないインクモードを持
つ」、「２つのペン入力コンピュータを横に置くと１つ
の大きな仮想ペーパとなる」などの実ペーパの特徴を持
つ。

【００３１】小型CCDカメラをペンに内蔵したスキャナ
付ペン８を用いて、実ペーパと仮想ペーパのインタフェ
ースをとる。すなわち、実ペーパの情報はペン型のスキ
ャナで取り込まれ、ペン入力コンピュータ上の指定領域
へ認識されたデータあるいは生のスキャンデータが転送
される。

【００３２】複数のペン入力コンピュータ、環境ビュー
ワおよびスキャナ付ペン等は赤外線等の室内（あるいは
デスクトップ）ＬＡＮで結合しておく。そしてこれらを
協調的に動作させる。

【００３３】エージェントへの指示はペン、音声、ジェ
スチャ、キーボードの複数のモードを用いて行われる。
同じモードに対応する入力メディア（複数のペン入力コ
ンピュータ、モニタ、マイクなど）が複数存在する。例
えば、ペン入力はどのペン入力コンピュータでも行うこ
とができ、また、ジェスチャは、どのペン入力コンピュ
ータでも環境ビューワ上でも行うことができる。すなわ
ち、入力モードは複数の入力メデイア（装置）に分散さ
れることになる。

【００３４】出力としては、環境ビューワやペン入力コ
ンピュータに表示されるほか、音声合成など利用し音声
や効果音、グラフィカル表示などを用いてマルチモーダ
ルに出力する。

【００３５】エージェント１０が環境ビューワ上に表示
し、これを知的処理のシンボルとしてもよい。具体的に
は、システムに対する命令（ペン、音声、ジェスチャ）
は、この知的エージェントが処理するという形になる。

【００３６】エージェントは、マルチモーダルな指示か
らユーザの意図を抽出し、それをもとに問題解決し、結
果を出力するという処理を行う。

【００３７】図２に、本システムの構成図を示す。本シ
ステムは、３台のワークステーション１０１、１０２、
１０３、および４台のペンパソコン１０５、１０６、１
０７、１０８、入出力用のパソコン１０４、アプリケー
ションをバックグラウンドで実行するためのパソコン１
０９から構成される。

【００３８】ワークステーション１０１、１０２、１０
３のソフトウエア構造は、ＯＳ１１０、その上部にワー
クステーションとパソコン間の通信ソフトウエア１１１
から構成される。ワークステーション１０３は音声認
識、カメラ入力専用であり、そのために音声認識サーバ
１２０、画像入力サーバ１２１を稼働させている。ワー
クステーション１０１は、本個人情報環境全体の制御プ
ログラム１１２と、後述するマルチモーダルアナライザ
（ＭＭＡ）１１３および印刷文字認識サーバ１１４、手
書き文字認識サーバ１１５が稼働している。ワークステ
ーション１０２は、本個人情報環境全体の制御プログラ
ム１１２の他に、後述するマルチモーダル問題解決器
（ＭＭＩＰ）１１７、マルチモーダル応答生成器（ＭＭ
Ｇ）１１８、および、音声合成サーバ１１９、一般アプ
リケーションプログラム１１６が稼働している。

【００３９】また、本システムでは、ペンパソコン（ペ
ン入力コンピュータ）１０５、１０６、１０７、１０８
およびパソコン１０９はＯＳ１２７を有し、その上にワ
ークステーションとパソコン間の通信ソフトウエア１２
６、本個人情報環境全体の制御プログラム１２５および
仮想ペーパのソフトウエア１２３、ＯＳ１２７上アプリ
ケーションの外部からの制御プログラム１２４が稼働し
ている。パソコン１０４もＯＳ１２７を有し、その上に
ワークステーションとパソコン間の通信ソフトウエア１
２６、本個人情報環境全体の制御プログラム１２５、お
よび、ペン型スキャナ入力１２８、キーボード入力１２
９、環境ビューワ管理１３０のプログラムが稼働してい
る。

【００４０】本システムでは、図３に示すように、知的
エージェント３２を各ペンパソコン（ペン入力コンピュ
ータ）や環境ビューワで実行中のアプリケーション３１
とユーザを介在するシステムとしてみなす。ユーザは、
アプリケーションを知的エージェントを介さずに直接操
作することも、知的エージェントの助けを借りてアプリ
ケーションを利用することも可能である。

【００４１】次に、この個人情報機器の利用法について
説明する。ユーザは図１に示すように、以下の環境で利
用する。（a）複数のペンパソコン（ペン入力コンピュ
ータ）４、（b）環境ビューワ（仮想デスクトップ、知
的エージェント）３、（c）スキャナ付ペン８のハード
ウエアと実際の紙が混在した環境で利用する。この環境
によりユーザは、ペン、音声、ジェスチャ（ペン、タッ
チ）を同時に混在させインタフェースすることが可能で
ある。

【００４２】（１）基本操作：知的エージェント機能を
使わない場合環境ビューワ（仮想デスクトップ）５に種々の書類を表
示する。ここで、ユーザが、表示されたものから所望の
ものを選択（「オープン」）すると、選択されたものが
手許のペン入力コンピュータのうち少なくとも１台に現
われ、操作を行うことができる。

【００４３】つまり、以下にあげるようにユーザは複数
の操作の仕方から選ぶことができる。ペンによる手書
き、ペンによるタップ、ペン型スキャナ、キーボードを
用いて操作を行うことができる。この場合、ユーザにと
ってのメリットは、以下の通りである。

【００４４】（a）作業環境が机上に拡大され、机上で
紙やペンを用いて自然に作業できること（b）実ペーパと同じメタファで仮想ペーパを使うこと
ができること（c）実ペーパと仮想ペーパのインタフェースがペン型
スキャナでとれること（例えば、実ペーパ上に重要なデータがある場合、ペン
型スキャナで容易に仮想ペーパ上にもってくることが可
能）（２）応用操作：知的エージェント機能を使う場合知的エージェント機能を使う場合、以下の入力構成要件
に対応したマルチモーダル入出力が可能となる。この構
成要件とは、（a）ペン、（b）音声、（c）ジェスチャ
（ペン）、（d）キーボードなどである。知的エージェ
ントが有する情報は、（a）アプリケーションに関する
情報（記憶されているデータの意味および外部から操作
する方法）、（b）個人情報（ユーザが教えた情報）、
（c）言語情報（単語、シソーラス、意味）などであ
る。

【００４５】知的エージェントがアプリケーション（ア
ドレス帳）に関する知識を用いると、以下のような操作
が可能となる。

【００４６】例えば、手紙をペン入力コンピュータで作
成し、五百旗頭さんにそれをｆａｘする場合、姓名が難
しいので、音声とペンとジェスチャを用いて図４のよう
に指示することができる（４１）。この処理において
は、まず、マルチモーダル入力の意味解析が行なわれ
る。すなわち、ペンで指されたペン入力コンピュータの
ファイルが「この手紙」であり、音声とペン入力を合わ
せて１つの文とみなす必要がある（これが後述するマル
チモーダル意味処理（ＭＭＩＰ）の仕事である）。次
に、ｆａｘするには、五百旗頭さんのｆａｘ番号が必要
であるので、知的エージェントはアドレス帳というアプ
リケーションで五百旗頭さんのｆａｘ番号を検索する。
この時、知的エージェントは、アドレス帳というアプリ
ケーションには名前と電話番号が記憶されているという
アプリケーションに関する情報、および、その検索する
という操作がどのように外部から実行可能であることを
知らなければならない。逆に、アプリケーションが知的
エージェントによって利用されるには、このような情報
および外部から機能の呼び出し機能をエージェントに伝
える方法が必要である。

【００４７】また、上記の例では、五百旗頭さんのｆａ
ｘ番号をアドレス帳アプリケーションからもってきた
が、直接知的エージェントに教えた情報を用いることも
できる。例えば、『五百旗頭さんのｆａｘ番号はxxxで
ある。』と教えれば、アドレス帳アプリケーションがな
くてもよい。

【００４８】図５に、ペン型スキャナを用いた利用例５
１を示す。ユーザは注文書を通信販売会社にｆａｘしよ
うとしているが、そのｆａｘ番号が、新聞（実物の紙）
上にあるため、「ここに」と音声で指示しながら、同時
にペン型スキャナで入力する。この場合、ｆａｘ番号だ
けを厳密にスキャンする必要はなく、ラフにスキャンす
れば、意味（この場合、電話番号であるとの予測）か
ら、適切なものだけが切り取られて用いられる。

【００４９】この応用操作においてのユーザメリット
は、（a）マルチモーダル入力によって自然に、簡単
に、指示することができること、（b）知的エージェン
トが複雑なアプリケーションを使いこなしてくれること
（他システムの情報も自動的に参照できる）および
（c）個人的な情報（メモ）を自然言語（マルチモーダ
ル入力が可）でエージェントに教えると、それを知識と
して用いることなどである。

【００５０】以下、オフィスワークにおける利用例を図
６に示す。音声か手書きで『絵のこの部分を、部長にフ
ァックスせよ。』と指示をしながら、『この部分』を言
うと同時に、対象部分をペンで丸くで囲むという操作を
した場合（例６１）、エージェントは対象部分から絵を
切りだし、それを部長に自動的にファックスする。

【００５１】音声か手書きで『予算資料の中にあるグラ
フを、ここにコピーせよ。』と指示をしながら、『こ
こ』を言うと同時に、対象場所をペンでタップした場合
（例６２）、エージェントは予算資料か格納されている
ファイルを自動的に探し、その中からグラフを持ってき
てタップした場所にコピーする。

【００５２】音声か手書きで『私の顔写真はこれで
す。』と指示をしながら、『これ』を言うと同時に、ペ
ン入力コンピュータに表示されている写真を丸で囲んだ
あるいはあるいは、ペン型スキャナで実際の写真をスキ
ャンした場合（例６３）、エージェントはこれを知識と
して保存し後で利用する。

【００５３】この後、音声か手書きで『私の顔写真を表
示せよ。』と指示した場合（例６４）、エージェントは
前の会話で教えられた情報をもとに写真を表示する。

【００５４】また、音声か手書きで『田中さんの住所は
ここで、電話番号は、これだ。』と指示をしながら、
『ここ』『これ』を言うと同時に、ペン型スキャナで名
刺の対応する部分をスキャンした場合（例６５）、エー
ジェントはこれをマルチメデア知識として保存し後で利
用する。

【００５５】図７に、全体の処理フローを示す。知的認
識機構７１、７３、７６は２段階のフィードバックルー
プを持つ。第１のフィードバックループは知的認識機構
７１、７３、７６内部に存在する。ここでは、知的認識
機構７１、７３、７６が持つ辞書、形態素情報を用いて
認識結果の修正を行う。第２のフィードバックはマルチ
モーダル入力機構７８からの制約情報や予測情報を用い
て行われる。基本的な認識エンジン７２、７４、７５は
公開されている通常のアルゴリズムを用いて実現する。
これらのフィードバックは、ペン認識機構７５において
は行の切り出し、文字の切り出しまで、印刷文字認識機
構７３においては、意味のある領域の切り出し、行の切
り出し、文字の切り出しまで作用させる。

【００５６】一方、音声認識機構７１は、上記２つと比
べて認識率がけた違いに悪いので、異なるアプローチを
とる。すなわち、マルチモーダル入力機構７８からの制
約を認識候補の辞書や認識候補の文法という形式でまず
音声認識に知らせ、それを用いて認識するという、制約
主導型の認識を主とする。

【００５７】これらの知的認識機構は、図２において、
ワークステーション１０１、１０３上のソフトウエアモ
ジュール１１４、１１５、１２０、１２１として実装さ
れている。

【００５８】マルチモーダル入力機構７８は、「構文記
述＋制約記述（意味、時間）」の表現で知識ベース７７
に格納されているデータを用いる。すなわち、形式を重
要視した構文記述と、意味を重視した制約記述を併用
し、その処理（パージング処理）においても、構文重視
から制約重視までのレベルを設ける。つまり、構文を重
視すると効率的な処理が可能となり。制約記述を重視す
ると、非構文的でも時間をかければ解析可能となる。制
約記述を重視した場合、組み合わせ爆発的に計算量が増
加するが、従来技術である高速パージングアルゴリズム
との併用で、計算可能なレベルまで効率化する。

【００５９】マルチモーダル入力機構７８は知識ベース
７７に保持されている知識を用いて、入力として認識で
きる場合、その結果を問題解決機構７９に伝えるが、認
識できない場合、どのように認識しなおすべきかを、知
的認識機構７１、７３、７６に伝える。

【００６０】マルチモーダル入力機構７８のメインモジ
ュールは図２において、ワークステーション１０１上の
ソフトウエアモジュール１１３として実装される。

【００６１】マルチモーダル入力機構７８から問題解決
機構７９に入力された認識結果は、その意味を問題解決
機能７９が知識ベース８０を利用して解析し、その結果
をマルチモーダル生成機構８２に知らせる。また、マル
チモーダル入力機構７８からの認識結果が事実の場合は
知識ベース８０に登録される。問題解決機構７９のメイ
ンモジュールは図２において、ワークステーション１０
２上のソフトウエアモジュール１１７として実装され
る。

【００６２】問題解決機構７９からマルチモーダル生成
機構８２に入力された応答のデータに基づき、マルチモ
ーダル生成機構８２では、環境ビューワ、仮想ペーパか
らの文字／画像の出力８３、８５、環境ビューワ、仮想
ペーパ、およびエージェントからの音声での出力８４を
行う。出力メディアの選択、出力方法は、ノウハウ８１
を用いて導き出す。例えば、質問と答えの関係から発話
のストレス、スピードを適応的に設定する。

【００６３】マルチモーダル生成機構８２のメインモジ
ュールは図２において、ワークステーション１０２上の
ソフトウエアモジュール１１８として実装されている。
また、音声出力のモジュールはワークステーション１０
２上のソフトウエアモジュール１１９である。

【００６４】図７で示したシステムの処理フロー内の、
サブシステムからの入力８７とは、仮想ペーパ上で動作
中のアプリケーションからのその動作状態の報告などを
表わす。これを用いて、アプリケーションの現在の状態
を考慮に入れた問題解決を問題解決機構７９で実行す
る。

【００６５】また、サブシステムへの出力８６とは、仮
想ペーパ上で動作中のアプリケーションへの制御指示に
加え、本個人情報環境の構成要素である、環境ビュー
ワ、エージェント、仮想ビューワの制御指示も含む。す
なわち、問題解決機構では、ユーザへの応答方策に加
え、自システムおよび他アプリケーションの実行制御方
策も同時に生成する。

【００６６】

【発明の効果】以上説明したように本発明の実施例によ
れば、人間中心・実世界中心の考え方により設計され、
音声、手書き、ジェスチャ等のマルチモーダルな形態で
対話可能な、より人間中心のユーザインタフェースを有
するコンピュータ利用環境を持つ個人情報を実現するこ
とが可能となる。

【図面の簡単な説明】

【図１】本発明の第一の実施形態を示す図である。

【図２】プログラム構造と機器構成を示す図である。

【図３】エージェントの位置付けを表わす図である。

【図４】利用形態の例を説明する図である。

【図５】利用形態の例を説明する図である。

【図６】利用形態の例を説明する図である。

【図７】本発明の処理フローを説明する図である。

【符号の説明】

１…実デスク、２…実際の紙、３…仮想デスクを表示す
る環境ビューワ、４…仮想ペーパを表わすペン入力コン
ピュータ、５…スピーカ、６…マイク、７…カメラ、８
…小型CCDカメラをペンに内蔵したスキャナ付ペン、９
…キーボード、１０…エージェント

───────────────────────────────────────────────────── フロントページの続き (72)発明者冨田民則神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内 (72)発明者青島弘和神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内

Claims

【特許請求の範囲】

【請求項１】作業者の作業を支援する個人情報機器にお
いて、前記作業に必要なもののうち、現実に存在するものを認
識する認識手段と、認識された現実に存在するものを計算機により操作可能
なものと不可能なものに区別して、仮想的にのみ存在す
るもの、現実に存在し前記計算機により操作可能なも
の、および現実の世界に存在し前記計算機により操作不
可能なものをそれぞれ区別して表示する表示手段とを有
し、前記表示手段の表示は、前記現実に存在するものを存在
する位置に対応させて表示することを特徴とする個人情
報機器。