[go: up one dir, main page]

JPH06214711A - 対話システムの管理システム - Google Patents

対話システムの管理システム

Info

Publication number
JPH06214711A
JPH06214711A JP5260412A JP26041293A JPH06214711A JP H06214711 A JPH06214711 A JP H06214711A JP 5260412 A JP5260412 A JP 5260412A JP 26041293 A JP26041293 A JP 26041293A JP H06214711 A JPH06214711 A JP H06214711A
Authority
JP
Japan
Prior art keywords
function
computer
data
human
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP5260412A
Other languages
English (en)
Inventor
Favot Jean-Jacques
ファヴォ ジャン−ジャック
Perbet Jean-Noel
ペルベ ジャン−ノエル
Barbier Bruno
バルビエ ブルーノ
Lach Patrick
ラシェ パトリ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales Avionics SAS
Original Assignee
Thales Avionics SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales Avionics SAS filed Critical Thales Avionics SAS
Publication of JPH06214711A publication Critical patent/JPH06214711A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

(57)【要約】 （修正有） 【目的】 機能的かつ実体的なアーキテクチャを用いる
ことによって実時間管理を可能とし、かつマルチメディ
アシステムのより人間工学的な使用を可能とする対話シ
ステムの管理システムを提供する。 【構成】 システムへ入力されたデータは人間から機械
への対話装置（１、２、３、４）によって出力される。
少なくとも２つのファンクション（７、８、９、１０）
がデータに同時に動作する。システムに入力されたデー
タは第１のファンクション（７）によって処理され、１
つのファンクションの結果が次のファンクションの入力
データを構成する。最終のファンクション（１０）の結
果がシステムから人間への対話装置（１１）へ出力され
る。ファンクションは交換プロトコルによって互いに同
期されている。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、人間−機械対話システ
ムを管理するシステムに関する。特に本発明は、視線の
方向等のジェスチャー（身振り）認識や音声認識のごと
き人間から機械への幾つかの通信方法と、画面ディスプ
レイ、音声又は音合成のごとき少なくとも１つの機械か
ら人間への通信方法とを備えた人間−機械対話システム
に適用可能である。より一般的には本発明は、多量のデ
ータの処理を要するいかなる対話システムへも適用可能
である。
【０００２】
【従来の技術】人間−機械対話システムの効率及び人間
工学性は、幾つかの対話装置を用いることによって特に
増大させることができる。それゆえ、このようなシステ
ムはマルチメディア対話システムと呼ばれる。特にこれ
らシステムは、その内部データを１つ又は幾つかの共通
支援装置に提供する。このような支援装置は、当業者に
とって周知である。オペレータのジェスチャー又は音声
は、人間−機械インタフェースを構成するこれら装置に
よって認識される。例えば選択、確認又は命令等の認識
された情報は、通常は集中化されているシステムへ送ら
れる。通信方法、特に人間から機械への通信方法が多種
となれば、所与の動作を異なる対話モードで行うことが
可能となる。その結果、非常に多数の事象及び対話が管
理されるべきものとなる。処理システム及び複数の対話
装置を含む、オペレータと機械との間のこの種の対話シ
ステムにおいては、種々のタイプの多数のデータが格納
され、次いで処理され、多分動作を開始させるべく出力
されるであろう。特にこれらデータは、語、ジェスチャ
ー又は位置などから生じ、同様に合成語、音信号又は画
面上にディスプレイされた対象又はキャラクタの形態で
出力されるであろう。これらは、オペレータの意図を解
釈でき、オペレータが対話しているシステムに作用する
ことによってそのオペレータの要求を満足させることが
できる。
【０００３】
【発明が解決しようとする課題】一般に、上述した全て
の種類の情報及びデータは、単一の処理レベルで考慮さ
れる。そのため、処理される前のデータの格納に多大な
時間を要し、さらに、その処理に必要な時間は、これら
システムに期待される又は必要な実行速度性能を考慮す
ると、非常に長くなってしまう。このような貧弱な実時
間性能のために対話システムの発展が制限されてしま
い、特に、実行速度及び実時間について何等要求されて
ない用途に対しても使用が限られてしまう。
【０００４】さらに、この速度の欠如は、特にジェスチ
ャーが非常に速くかつそれに音声及び視線が混在する場
合、より自然な態度で実時間で従いかつ処理することが
できないことからオペレータに不自然な対話法を強制す
ることとなり、マルチメディアシステムの人間工学性に
影響を及ぼしてしまう。
【０００５】従って本発明は、上述した問題点を解決す
ることを目的としており、特に、機能的かつ実体的なア
ーキテクチャを用いることによって実時間管理を可能と
し、かつマルチメディアシステムのより人間工学的な使
用を可能とする対話システムの管理システムを提供する
ものである。
【０００６】
【課題を解決するための手段】本発明によれば、人間か
ら機械への対話装置によって出力される入力データのシ
ーケンスを処理する、人間及び機械間の対話システムの
管理システムは、シーケンス内のデータに同時に動作す
る少なくとも２つの独立ファンクションを備えている。
このシステムに入力されるデータが第１のファンクショ
ンによって処理され、１つのファンクションの結果が次
のファンクションの入力データを構成しており、最終の
ファンクションの結果が機械と人間への対話装置とへ出
力され、上述のファンクションが交換プロトコルによっ
て互いに同期されている。
【０００７】本発明の主たる効果は、システムが受け取
ったデータ及び情報を処理する時間を短縮化できるこ
と、実時間処理の能力及び容量が増大すること、エキス
パートシステムによって容易に管理できること、１つ又
は幾つかのコンピュータ上にアプリケーションソフトウ
ェアを設置できること、複数の動作のネスティングがで
きること、及び経済的であり容易に実現できることにあ
る。
【０００８】
【実施例】本発明の他の構成及び効果は、添付の図面を
参照した以下の記載により明らかとなるであろう。
【０００９】図１は、本発明による人間−機械対話シス
テム４２の管理システムのブロック図である。特に、本
発明の１つの原理は、人間−機械インタフェースの管理
を、独立しておりかつ同時に実行するであろう幾つかの
ファンクションに分解することにある。これらファンク
ションは異なる機械に位置されているかもしれない。各
ファンクションは、入力データに対して他のファンクシ
ョンとは多分別個に特別の処理を実行する。このファン
クションは、その処理結果を次のファンクションへ出力
する。特にこのファンクションは、例えばハンドシェイ
ク型又は質問−応答型交換プロトコルを介して他のファ
ンクションと同期可能である。第１のファンクション７
への入力データは、全て同一のタイプであり得る対話装
置１、２、３及び４によって出力される。これら対話装
置は、機械１２と対話しているオペレータ４１の音声、
ジェスチャー、視線又は手の位置を利用し得る。例えば
これら対話装置は、当業者に周知の音声認識システム、
デジタルグローブ又は接眼メータ（ｏｃｕｌａｒ ｍｅ
ｔｅｒ）で構成され得る。データは、例えば正規化型の
前処理を実行する第１のファンクション７によって処理
される。この第１のファンクション７から出力されるデ
ータは、このファンクションによる処理結果であり、こ
れらデータは次に処理する第２のファンクション８の入
力データとなる。同様に、第２のファンクション８から
出力されるデータは、第３のファンクション９の入力デ
ータとなる。データは、第ｎのそして最後のファンクシ
ョン１０までの一連のファンクションによってこのよう
に次々に処理される。最後のファンクション１０は、そ
の前の１つのファンクションからの出力データを処理し
かつオペレータ４１が対話している機械１２と機械１２
からオペレータ４１への対話装置１１とを制御するデー
タを出力する。例えば、これら対話装置１１は、ディス
プレイ画面又は音声合成システムから構成可能である。
特に、画面は、オペレータが作動させている機械の一部
を表す図形化した対象を表示する。種々のファンクショ
ン７、８、９及び１０が同時に実行される。これらファ
ンクションが実行する種々の処理手順は、互いに独立し
得る。管理処理を良好に行うために、これらファンクシ
ョンは同期して開始せしめられることが望ましい。同期
方法としては、質問−応答型か、ハンドシェイク型か又
は当業者に知られている他のいかなる方法であってもよ
い。
【００１０】例えば、第１のファンクション７は、正規
化動作、併合動作及びメッセージ発生動作を統合するこ
とによってデータの前処理を実行し得る。正規化動作
は、種々の対話装置から出力されるデータを用いてシス
テムを統合すべく変化させ、さらにこれらデータが全て
同じディメンジョンを有しこれによって同じ方法で処理
されたり一緒に併合され得るように適切なユニットに変
換することからなる。併合動作は、２つ又はそれ以上の
基本データを組み合わせてより高度なレベルの情報を合
成するための演算を実行することからなる。これによ
り、後続するファンクションにおいては使用できない全
ての基本情報が、失われることなく除去されるであろ
う。最終的に、後続するファンクションで使用される全
てのデータを収集する目的で単一フォーマットでメッセ
ージが発生せしめられる。また、例えば、メッセージを
簡潔化して伝送速度を速くすべく全ての冗長データを符
号変換（ｔｒａｎｓｃｏｄｅ）することもその目的であ
り得る。
【００１１】本発明による装置を得る１つの方法は、例
えば、図２に示すタイムチャートに従って同時に動作す
る３つの管理ファンクションを設けることであってもよ
い。即ち、これらは、上述した最初の前処理ファンクシ
ョンと、この第１のファンクションの出力であるメッセ
ージについての第２の理解ファンクションと、機械１２
及び例えばディスプレイ画面又は音声合成器である対話
システム４３、４４に作用する第３のファンクションと
である。
【００１２】データはこのようにして、第１の前処理フ
ァンクション、第２の理解ファンクション、及び例えば
航空機システムである機械に作用する第３の動作ファン
クションによって連続的に処理される。これらファンク
ションは同時に動作しかつ互いに同期されている。
【００１３】理解ファンクションである第２のファンク
ションは、前処理ファンクションである第１のファンク
ションから出力されるメッセージを解釈する。特に、そ
のメッセージからシステムと対話しているオペレータの
意図を引き出す。このファンクションは、特に、オペレ
ータがより自然なジェスチャーで機械と会話できるよう
にすることによって対話システムの人間工学性を向上さ
せる。さらにこのファンクションは、オペレータの意図
が対話装置によって正しく表現されており、それらがオ
ペレータ及び機械間の現在の対話に関して意味を持って
おりしかもそれらが機械の現在の状態で可能であるなら
ば、確認を行うこともできる。これらのチェックは、動
作の安全性を増大させる。
【００１４】機械への及び機械からオペレータへの対話
装置への動作ファンクションである第３のファンクショ
ンは、複数の対話装置、第１の前処理ファンクション及
び第２の理解ファンクションを介して表現されたオペレ
ータの要求のファンクションとして対話している上述の
対話装置を修飾することを特に意図している。対話シス
テムへの修飾動作は、一般に時間を著しく浪費する。必
要な時間を短縮するため、第３のファンクションの要素
は、例えば幾つかの動作、特に機械に対する動作及びオ
ペレータへのフィードバック情報を同時に処理するよう
に編成され得る。
【００１５】図２は、上述した例におけるファンクショ
ンの一時的な位置を示している。線２１、２２及び２３
は、前処理、理解及び動作ファンクションの一時的な位
置をそれぞれ表している。最初のデータの流れ２４は、
対話システムに入力されるデータシーケンス２４、２５
及び２６の一部を構成している。データの流れ２４は、
まず時刻ｔ11において時刻ｔ12まで処理されるべく前処
理ファンクションにより考慮される。時刻ｔ12におい
て、この第１の処理ファンクションの出力データ又は結
果は、第２の理解ファンクションによって考慮され時刻
ｔ13まで処理される。時刻ｔ13において、このファンク
ションの出力データ又は結果は、第３の動作ファンクシ
ョンによって時刻ｔ23まで考慮される。この第３の動作
ファンクションの結果は、第１の動作又は第１の一連の
動作２７を発生させる。これに並列に、例えばｔ12より
後でｔ13より前の時刻ｔ21からは、シーケンス２４、２
５及び２６の一部の第２のデータの流れ２５が時刻ｔ22
まで第１の前処理ファンクションにより考慮される。時
刻ｔ22からは、例えば時刻ｔ23より前の時刻まで、この
ファンクションの結果が第２の理解ファンクションによ
って考慮される。このファンクションの結果は、従っ
て、バッファメモリに格納可能である。例えば時刻ｔ23
において、この結果は第３の動作ファンクションによっ
て考慮され、その結果は第２の動作又は第２の一連の動
作２８を発生させる。一般に、第３の動作ファンクショ
ンの処理時間は他のファンクションの処理時間より長
い。この場合、図２に示されているように、第３の動作
ファンクションによって実行される複数のデータ処理ス
テップは、各処理ステップ間での中断なしに連続してい
るかもしれない。他の２つのファンクションは、互いに
同期できしかも第３のファンクションとも同期できる。
図２は、シーケンスの一部を構成していると共に、例え
ば時刻ｔ23より後の時刻ｔ31から時刻ｔ32まで第１の処
理ファンクションによって考慮される第３のデータの流
れ２６を表している。時刻ｔ32において、第１のファン
クションから出力される結果は、第２の理解ファンクシ
ョンによって考慮されるかもしれない。
【００１６】図３は、人間及び機械間の対話を管理する
本発明による方法を適用した装置の構成法の一例を示し
ている。この管理は、特に対話装置としての大きなディ
スプレイ画面を含むマルチメディア対話システムを介し
て実施される。このマルチメディア人間−機械対話シス
テムは、特に、大きな画像と知覚チャネル及び例えば音
声、ジェスチャー、聴覚及び視覚のごとき人間の神経に
優先順位を与える複数の対話装置とを使用することに基
づいている。その目的は、人間及び機械間の適切な対話
を提供することによって、特に、航空機のパイロット又
は副パイロットシステムのごとき複雑なシステムの管理
を容易にすることにある。
【００１７】図３において、人間４１は、対話システム
４２を介して機械１２と対話及び問答を行っている。対
話装置１、２、３、４、４３及び４４はこの対話を可能
としている。これらは、入力用の対話装置、即ち人間４
１から、上述したタイプのファンクションを実行するた
めの演算手段４５、４６及び４７を特に含む対話システ
ムへの対話装置である。例えば、これら対話装置は、接
眼メータ１、音声認識システム２、特に手のジェスチャ
ー認識であるジェスチャー認識システム３、及び特に手
の位置センサ４を含んでいる。これら対話装置は、全て
独立しており、オペレータである人間４１の動作に関す
るデータを周期的にかつ同期的に供給する。入力対話装
置は、さらにスティック、キーボード及びマウスを含む
かもしれない。
【００１８】接眼メータ１は、例えば右眼を照明する赤
外線ダイオードからの赤外光の角膜反射を解析するミニ
チュアカメラによってオペレータの頭に対する視線方向
を測定する。音声認識システム２は、例えば受信信号を
メッセージ及び語に分割した後にその受信信号の音声解
析を実行する、語の検出によってトリガされる連続音声
認識システムであるかもしれない。
【００１９】ジェスチャー認識システム３は、一方の手
にはめられたデジタルグローブ内の光ファイバ装置であ
るかもしれない。当業者に知られているこの装置は、手
の各指における第１及び第２関節が折り曲げられた場合
の角度を測定できる。例えば、関連装置は、前もって記
録してある姿勢の組から１つの姿勢、特に手の形状、を
識別できる。例えば、位置センサ４は、人間４１の頭及
び手の位置及び方向を明らかにする固定されたトランス
ミッタに結合した電磁センサであるかもしれない。
【００２０】対話装置は、システムから人間４１への出
力対話装置をも含んでいる。例えばこれら対話装置は、
ディスプレイ装置４３及び音声合成装置４４であるかも
しれない。ディスプレイ装置４３は、ディスプレイ画面
上にカラー画像を出力するオーバーヘッドプロジェクタ
であり得る。音声合成装置４４は、例えば警報等の音発
生装置を伴った公知の音声合成器であり得る。
【００２１】人間−機械間の対話は、例えば、上述した
タイプ、即ち最初の前処理ファンクション、第２の理解
ファンクション及び第３の動作ファンクションという同
時に動作する３つの独立したファンクションによって生
じる。例えばこれらのファンクションは、特に同時に実
行可能な異なるコンピュータ上に位置できる。この場
合、第１の前処理ファンクションは第１のコンピュータ
４５上に位置し、第２の理解ファンクションは第２のコ
ンピュータ４６上に位置し、第３の動作ファンクション
は第３のコンピュータ４７上に位置する。
【００２２】コンピュータ４５、４６及び４７は、シリ
アル型の高処理能力リンク（例えば１９２００ボーの速
度）を介して相互接続されており、これらのコンピュー
タ間の交換プロトコルは質問−応答型、即ちハンドシェ
イク型であり得る。
【００２３】第１の前処理ファンクションを実行する第
１のコンピュータ４５は、特に、人間４１換言すればオ
ペレータの動作に関するデータを回復するために入力対
話装置１、２、３及び４とやりとりする。次いでこのコ
ンピュータは、第２のコンピュータ４６へ送るメッセー
ジを形成するためにこれらデータを変換及び併合する。
例えばこのメッセージは、第２の理解ファンクションが
位置する第２のコンピュータ４６の要求で出力されるか
もしれない。第２のコンピュータ４６からのこの要求
は、第１のコンピュータ４５によるメッセージ形成の必
要条件にもなるかもしれない。第１のコンピュータ４５
は、入力対話装置の１つから出力された回復データを有
しており、第２のコンピュータ４６からその旨の要求が
あったときのみメッセージを形成する。第２のコンピュ
ータ４６は、例えば、機械１２から情報を受け取る。第
１のコンピュータ４５によって実行される独立した処理
周期は、例えば、約３０ｍｓであろう。第１のコンピュ
ータ４５は、種々の同期プロトコルを用い、例えばシリ
アル型の高処理能力リンク（例えば１９２００ボーの速
度）を介して入力対話装置１、２、３及び４とやりとり
する。これら同期プロトコルは、例えば、音声認識用の
割り込み、ジェスチャー認識及び位置検出の質問−応
答、接眼メータ１による視線方向の検出用の同期バイト
であり得る。第１のコンピュータ４５は以下の情報を包
含するメッセージを出力し得る。即ち、同期バイト、格
納されている姿勢を示す番号、オペレータ４１の人差し
指の曲がった角度、オペレータの腕の軸の回りをその手
が回動した角度、オペレータの手からディスプレイ画面
４３への距離、オペレータの手によって指示されたディ
スプレイ画面上の点の座標、オペレータの頭及び眼によ
って指示されたディスプレイ画面上の点の座標、対話装
置を表わす状況語、音声メッセージの長さ、及び音声メ
ッセージ内の種々の語という情報である。これら各情報
は１又は２バイト内に含まれ得る。
【００２４】第２の理解ファンクションを実行する第２
のコンピュータ４６は、特に、第１のコンピュータによ
って出力されるメッセージの内容を解釈する。このメッ
セージは、１つ又は幾つかの対話装置によって出力され
る情報を含んでいる。第２のコンピュータは、オペレー
タ４１によってなされた要求を評価し、例えば、引き受
けるべき動作を減少させる。このコンピュータは完全に
独立しているであろう。第２のコンピュータ４６は、質
問−応答型プロトコルを介して第１のコンピュータ４５
とやりとりし、例えばハンドシェイク型プロトコルを介
して第３のコンピュータ４７とやりとりする。第２のコ
ンピュータ４６は、また、機械１２からのメッセージの
内容を解釈できる。
【００２５】第３の動作ファンクションを実行する第３
のコンピュータ４７は、機械１２上の動作及びディスプ
レイ画面４３に表される画像の発生に主として貢献す
る。従って第３のコンピュータは、例えばシリアルリン
クを介してディスプレイ装置４３とリンクしている。第
３のコンピュータ４７は、さらに、オペレータ４１への
出力対話装置を構成しておりそれゆえ第３のコンピュー
タによって生じせしめられる動作のサブジェクトであり
得る音メッセージの発生を可能とする音声合成装置４４
にもリンクしている。第３のコンピュータは、符号化さ
れたメッセージを第２のコンピュータ４６から受け取
る。このメッセージは特に実行されるべき動作を表して
おり、従ってこのメッセージ中に包含されている情報は
次のごときものである。即ち、同期バイト、実行される
べき動作のための符号、動作が適用されるであろう対象
符号、及び特に動作を特定する種々のパラメータ等の情
報である。これら各情報は１バイト内に含まれ得る。
【００２６】第３のコンピュータ４７が実行可能な動作
は、機械１２のパラメータ、例えばディスプレイ画面４
３上に表示される図形化した対象又は付随する音メッセ
ージの発生によって表されるかもしれないパラメータ、
を変化させることを主として志向するものである。機械
１２上の動作の例は、ディスプレイ画面上において、特
にウィンドウを開くこと、ウィンドウを閉じること、ウ
ィンドウを移動すること、ウィンドウのサイズを変える
こと、仮想ポテンショメータを調整すること、又は仮想
ボタンを位置させること等によって表されるかもしれな
い。
【００２７】図４は、本発明による方法の上述した適用
例のために３つのコンピュータ４５、４６及び４７上に
位置するファンクションの同時実行を表している。図４
はさらに、これらコンピュータ間の交換モードをも表し
ている。３つの閉ループ５１、５２及び５３は、第１の
コンピュータ４５上の第１の前処理ファンクションの独
立した実行、第２のコンピュータ４６上の第２の理解フ
ァンクションの独立した実行、第３のコンピュータ４７
上の第３の動作ファンクションの独立した実行をそれぞ
れ表している。例えば、第１及び第２のコンピュータ間
の交換プロトコルが質問−応答型であるならば、第２の
コンピュータは第１のコンピュータへ質問５４を送り、
第１のコンピュータはマルチメディアメッセージ５５を
出力する。このメッセージは、種々の対話装置によって
供給された情報を通常は含んでいるのでマルチメディア
として認定される。例えば、第２及び第３のコンピュー
タ間の交換プロトコルがハンドシェイク型であるなら
ば、第２のコンピュータはこの第３のコンピュータによ
って生じせしめられる動作を内蔵している第３のコンピ
ュータへ動作メッセージ５６を送り、第３のコンピュー
タは取るべき動作を理解したことを確認するための応答
５７を第２のコンピュータへ送る。
【００２８】上述した交換プロトコルは、種々のコンピ
ュータ上に位置するファンクションの実行が互いに完全
に独立してはいないことを意味している。しかしながら
これら交換という制約以外については、これらファンク
ションは自立的かつ独立的に実行可能である。
【００２９】上述した適用例において、理解ファンクシ
ョンに貢献する第２のコンピュータ４６から入力する動
作メッセージは、例えばメモリ内のＦＩＦＯ（ファース
トインファーストアウト）型スタックを内部で累算する
かもしれない。第３のコンピュータ４７は、幾つかの動
作を同時に処理するかもしれない。この動作に割り当て
られた種々のコンピュータ資源は、実行すべき動作をス
タック内で検索し、動作が選択された場合に第２のコン
ピュータ４６へ応答を返す。
【００３０】本発明による管理方法は、幾つかの対話装
置を含んでいるシステムに特に有用であるが、その原理
は対話装置の数には無関係である。また、処理すべき入
力データが多量にある際に特に有用であり、ただ１つの
人間−機械入力対話装置を有するシステムにも適用可能
である。
【図面の簡単な説明】
【図１】本発明による人間−機械対話システムの管理方
法を説明するためのブロック図である。
【図２】本発明による方法で用いられるファンクション
の一時的な位置の一例を示す図である。
【図３】本発明による方法を用いた装置の構成法の一例
を示す図である。
【図４】本発明による方法を構成するファンクションの
同時実行を説明すると共にこれらの間の交換プロトコル
の例を示す図である。
【符号の説明】
１、２、３、４、１１ 対話装置 ７、８、９、１０ ファンクション １２ 機械 ４１ 人間
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジャン−ノエル ペルベ フランス国， 33320 エイシネ， アレ デ フォンデフロワド ９番地 (72)発明者 ブルーノ バルビエ フランス国， 33110 ル ブスカ， リ ュ エルネストロワイエ， 21番地 (72)発明者 パトリ ラシェ フランス国， 33200 ボルドー， リュ ド ラ ダウフィン 45番地

Claims (9)

    【特許請求の範囲】
  1. 【請求項１】 人間（４１）から機械（１２）への対話
    装置（１、２、３、４）によって出力される入力データ
    （２４、２５、２６）のシーケンスを処理する、人間及
    び機械間の対話システム（４２）の管理システムであっ
    て、前記シーケンス内のデータ（２４、２５、２６）に
    同時に動作する少なくとも２つの独立ファンクション
    （７、８、９、１０）を備えており、該システムに入力
    されるデータは第１のファンクション（７）によって処
    理され、１つのファンクションの結果は次のファンクシ
    ョンの入力データを構成しており、最終のファンクショ
    ン（１０）の結果が機械（１２）と人間（４１）への対
    話装置（１１）とへ出力され、前記ファンクションが交
    換プロトコルによって互いに同期されていることを特徴
    とする対話システムの管理システム。
  2. 【請求項２】 対話装置によって出力されるデータを前
    処理しメッセージを発生する第１のファンクションと、
    第２のメッセージ理解ファンクションと、第３の動作発
    生ファンクションとの３つのファンクションを含んでい
    ることを特徴とする請求項１に記載のシステム。
  3. 【請求項３】 前記交換プロトコルが、質問−応答型か
    又はハンドシェイク型であるか若しくは同期バイトを含
    んでいることを特徴とする請求項１に記載のシステム。
  4. 【請求項４】 独立した演算手段（４５、４６、４７）
    を含んでおり、各ファンクション（７、８、９、１０）
    が異なるコンピュータユニット上に位置していることを
    特徴とする請求項１に記載のシステム。
  5. 【請求項５】 機械パラメータ（１２）を表す図形化し
    た対象を画面上に表示するためのディスプレイ対話装置
    （４３）を含んでいることを特徴とする請求項４に記載
    のシステム。
  6. 【請求項６】 人間（４１）の視線の相対的な方向を測
    定する接眼メータ（１）と、音声認識装置（２）と、ジ
    ェスチャー認識装置（３）と、位置センサ（４）とを含
    んでいることを特徴とする請求項４に記載のシステム。
  7. 【請求項７】 ジェスチャー認識装置（３）及び位置セ
    ンサ（４）が人間（４１）の一方の手に装着されている
    ことを特徴とする請求項６に記載のシステム。
  8. 【請求項８】 前記前処理ファンクションが第１のコン
    ピュータ（４５）上に位置しており、前記理解ファンク
    ションが第２のコンピュータ（４６）上に位置してお
    り、前記動作発生ファンクションが第３のコンピュータ
    （４７）上に位置していることを特徴とする請求項２に
    記載のシステム。
  9. 【請求項９】 第３のコンピュータ（４７）がその結果
    を前記ディスプレイ対話装置（４３）へ送り、発生した
    動作は画面上の図形化された対象の操作であることを特
    徴とする請求項５に記載のシステム。
JP5260412A 1992-09-25 1993-09-27 対話システムの管理システム Withdrawn JPH06214711A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9211450 1992-09-25
FR9211450A FR2696258B1 (fr) 1992-09-25 1992-09-25 Dispositif de gestion d'un système d'interaction homme-machine.

Publications (1)

Publication Number Publication Date
JPH06214711A true JPH06214711A (ja) 1994-08-05

Family

ID=9433893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5260412A Withdrawn JPH06214711A (ja) 1992-09-25 1993-09-27 対話システムの管理システム

Country Status (6)

Country Link
US (1) US5668573A (ja)
EP (1) EP0589754B1 (ja)
JP (1) JPH06214711A (ja)
CA (1) CA2106907A1 (ja)
DE (1) DE69320283T2 (ja)
FR (1) FR2696258B1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0883093A (ja) * 1994-09-14 1996-03-26 Canon Inc 音声認識装置及び該装置を用いた情報処理装置
JP2000504848A (ja) * 1996-02-06 2000-04-18 ザ、リージェンツ、オブ、ザ、ユニバーシティ、オブ、カリフォルニア 非音波式音声特性記述及び認識のための方法及びその装置
JP2015525303A (ja) * 2012-05-10 2015-09-03 コーニンクレッカ フィリップス エヌ ヴェ ジェスチャ制御

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US6311228B1 (en) * 1997-08-06 2001-10-30 Microsoft Corporation Method and architecture for simplified communications with HID devices
US6750848B1 (en) * 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
US6438523B1 (en) 1998-05-20 2002-08-20 John A. Oberteuffer Processing handwritten and hand-drawn input and speech input
EP1101160B1 (en) 1998-08-05 2003-04-02 BRITISH TELECOMMUNICATIONS public limited company Multimodal user interface
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US20010008561A1 (en) * 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US7050606B2 (en) * 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
WO2001056017A1 (de) * 2000-01-27 2001-08-02 Siemens Aktiengesellschaft System und verfahren zur blickfokussierten sprachverarbeitung
EP1250702B1 (de) * 2000-01-27 2005-06-08 Siemens Aktiengesellschaft System und verfahren zur blickfokussierten sprachverarbeitung mit erzeugung eines visuellen feedbacksignals
US7644039B1 (en) * 2000-02-10 2010-01-05 Diebold, Incorporated Automated financial transaction apparatus with interface that adjusts to the user
US6330502B1 (en) 2000-05-23 2001-12-11 Caterpillar Inc. Method and system for selecting desired response of an electronic-controlled sub-system
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US8081849B2 (en) 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
WO2008028674A2 (en) 2006-09-08 2008-03-13 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
FR2938396A1 (fr) * 2008-11-07 2010-05-14 Thales Sa Procede et systeme de spatialisation du son par mouvement dynamique de la source
CN102369724B (zh) 2009-02-18 2016-05-04 谷歌公司 自动捕获信息，例如使用文档感知设备捕获信息
CN102349087B (zh) 2009-03-12 2015-05-06 谷歌公司 自动提供与捕获的信息例如实时捕获的信息关联的内容
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
CN102645968B (zh) * 2011-02-17 2016-01-13 中兴通讯股份有限公司 一种通讯终端及人机交互的方法
US9569174B2 (en) 2014-07-08 2017-02-14 Honeywell International Inc. Methods and systems for managing speech recognition in a multi-speech system environment

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4109145A (en) * 1974-05-20 1978-08-22 Honeywell Inc. Apparatus being controlled by movement of the eye
FR2462755A1 (fr) * 1979-07-27 1981-02-13 Thomson Csf Dispositif de visualisation a cristal liquide, et terminal telephonique comportant un tel dispositif
FR2466069A1 (fr) * 1979-09-18 1981-03-27 Thomson Csf Dispositif de visualisation a memoire, et terminal telephonique comprenant un tel dispositif
FR2489564A1 (fr) * 1980-09-02 1982-03-05 Thomson Csf Procede et dispositif de visualisation utilisant un effet thermo-optique avec memoire dans une couche mince de cristal liquide disquotique
US4356475A (en) * 1980-09-12 1982-10-26 Siemens Aktiengesellschaft System containing a predetermined number of monitoring devices and at least one central station
FR2496309B1 (fr) * 1980-12-15 1986-01-31 Thomson Csf Dispositif de commande d'un ecran de visualisation, et ecran de visualisation commande par ce dispositif
FR2512240A1 (fr) * 1981-08-25 1983-03-04 Thomson Csf Dispositif de visualisation a commande electrique utilisant un element non lineaire en couche epaisse et son procede de fabrication
FR2512243A1 (fr) * 1981-08-25 1983-03-04 Thomson Csf Dispositif de visualisation a effet thermo-electrique
FR2512239A1 (fr) * 1981-08-25 1983-03-04 Thomson Csf Dispositif de visualisation a commande electrique
FR2548431B1 (fr) * 1983-06-30 1985-10-25 Thomson Csf Dispositif a commande electrique de deplacement de fluide
FR2548795B1 (fr) * 1983-07-04 1986-11-21 Thomson Csf Dispositif de commutation optique a deplacement de fluide et dispositif de composition d'une ligne de points
FR2553907B1 (fr) * 1983-10-21 1985-12-13 Thomson Csf Modulateur optique
US5125077A (en) * 1983-11-02 1992-06-23 Microsoft Corporation Method of formatting data from a mouse
FR2557719B1 (fr) * 1984-01-03 1986-04-11 Thomson Csf Dispositif de visualisation a memoire utilisant un materiau ferroelectrique
FR2579775B1 (fr) * 1985-04-02 1987-05-15 Thomson Csf Procede de realisation d'elements de commande non lineaire pour ecran plat de visualisation electro-optique et ecran plat realise selon ce procede
FR2579809B1 (fr) * 1985-04-02 1987-05-15 Thomson Csf Procede de realisation de matrices decommande a diodes pour ecran plat de visualisation electro-optique et ecran plat realise par ce procede
FR2581781B1 (fr) * 1985-05-07 1987-06-12 Thomson Csf Elements de commande non lineaire pour ecran plat de visualisation electrooptique et son procede de fabrication
FR2597641B1 (fr) * 1986-04-22 1989-12-08 Thomson Csf Dispositif de modulation de la lumiere d'eclairement d'un ecran d'affichage electro-optique
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
FR2613572B1 (fr) * 1987-04-03 1993-01-22 Thomson Csf Systeme de visualisation de donnees lumineuses, a lisibilite amelioree
FR2619982B1 (fr) * 1987-08-28 1994-04-29 Thomson Csf Systeme de visualisation d'image couleur sur ecran matriciel
FR2621728B1 (fr) * 1987-10-09 1990-01-05 Thomson Csf Systeme de visualisation d'images en demi-teintes sur un ecran matriciel
JPH0823805B2 (ja) * 1988-09-20 1996-03-06 株式会社日立製作所 情報入力装置
FR2642927B1 (fr) * 1989-02-07 1993-12-24 Thomson Csf Dispositif de visualisation a haute definition, couleur
US5157384A (en) * 1989-04-28 1992-10-20 International Business Machines Corporation Advanced user interface
GB8913048D0 (en) * 1989-06-07 1990-04-25 Marconi Co Ltd Processor
FR2665267B1 (fr) * 1990-07-27 1993-07-30 Sextant Avionique Dispositif optique destine a l'introduction d'une image collimatee dans le champ visuel d'un observateur et permettant la vision nocturne et casque muni d'au moins un tel dispositif.
US5148154A (en) * 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
FR2675911B1 (fr) * 1991-04-25 1994-04-29 Sextant Avionique Melangeur optique pour visuel de casque.
US5404524A (en) * 1992-04-03 1995-04-04 International Business Machines Corporation System for identifying attached input pointing devices, loading associated software routines, and interacting with anyone input pointing device while disabling the others
US5285381A (en) * 1992-09-09 1994-02-08 Vanderbilt University Multiple control-point control system and method of use

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0883093A (ja) * 1994-09-14 1996-03-26 Canon Inc 音声認識装置及び該装置を用いた情報処理装置
JP2000504848A (ja) * 1996-02-06 2000-04-18 ザ、リージェンツ、オブ、ザ、ユニバーシティ、オブ、カリフォルニア 非音波式音声特性記述及び認識のための方法及びその装置
JP2015525303A (ja) * 2012-05-10 2015-09-03 コーニンクレッカ フィリップス エヌ ヴェ ジェスチャ制御

Also Published As

Publication number Publication date
FR2696258B1 (fr) 1994-10-28
DE69320283D1 (de) 1998-09-17
FR2696258A1 (fr) 1994-04-01
US5668573A (en) 1997-09-16
DE69320283T2 (de) 1998-12-17
EP0589754A1 (fr) 1994-03-30
CA2106907A1 (fr) 1994-03-26
EP0589754B1 (fr) 1998-08-12

Similar Documents

Publication Publication Date Title
JPH06214711A (ja) 対話システムの管理システム
US12130967B2 (en) Integration of artificial reality interaction modes
CN106997236B (zh) 基于多模态输入进行交互的方法和设备
Kaiser et al. Mutual disambiguation of 3D multimodal interaction in augmented and virtual reality
CN108983636B (zh) 人机智能共生平台系统
Krishnaswamy et al. Communicating and acting: Understanding gesture in simulation semantics
US11086406B1 (en) Three-state gesture virtual controls
CN107357434A (zh) 一种虚拟现实环境下的信息输入设备、系统及方法
CN110568929A (zh) 一种虚拟场景交互的方法、装置和电子设备
CN103336582A (zh) 一种运动信息控制人机交互方法
Corradini et al. Multimodal speech-gesture interface for handfree painting on a virtual paper using partial recurrent neural networks as gesture recognizer
CN115716278A (zh) 基于主动感知与交互操作协同的机器人目标搜索方法及机器人仿真平台
CN116974373A (zh) 人机交互方法及装置、存储介质及电子设备
CN111695408A (zh) 一种智能手势信息识别系统及方法、信息数据处理终端
CN119094562A (zh) 一种元宇宙空间高效交互协作系统及方法
CN119556791A (zh) 多模态指令交互方法、系统、计算设备及存储介质
Althoff et al. Using multimodal interaction to navigate in arbitrary virtual VRML worlds
Jiang et al. A brief analysis of gesture recognition in VR
CN111443853A (zh) 数字人的控制方法及装置
Gandage et al. Virtual Paint
KR102368929B1 (ko) 음성인식기반 단축키 xr인터렉티브 연동시스템 및 이를 이용한 연동 방법
CN111273783B (zh) 数字人的控制方法及装置
CN116069169A (zh) 一种基于智能手表输入虚拟文本的数据处理方法及系统
Gao et al. HandTalker II: A Chinese sign language recognition and synthesis system
CN109976518A (zh) 一种基于pvdf传感器阵列的人机交互方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20001128