JPH1049342A - 音声セッションのスケジューリング装置および方法 - Google Patents
音声セッションのスケジューリング装置および方法Info
- Publication number
- JPH1049342A JPH1049342A JP9107078A JP10707897A JPH1049342A JP H1049342 A JPH1049342 A JP H1049342A JP 9107078 A JP9107078 A JP 9107078A JP 10707897 A JP10707897 A JP 10707897A JP H1049342 A JPH1049342 A JP H1049342A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- program
- user
- session
- voice session
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】 プログラムの指令に基づいて音声を出力する
情報処理装置において、音声を出力する音声セッション
の実行に計算機利用者の意図を反映させることが課題で
ある。 【解決手段】 時刻T41においてプログラムの音声セ
ッション開始要求が利用者14に伝えられ、時刻T42
において利用者14の開始承認が得られると、時刻T4
3において音声セッションが開始される。そして、プロ
グラミングされた音声が出力された後、時刻T44にお
いてプログラムのセッション終了要求が利用者14に伝
えられ、時刻T45において利用者14の終了承認が得
られると、時刻T46において音声セッションが終了す
る。このように、利用者14の承認に基づいて音声セッ
ションが実行されるので、利用者14は、希望するとき
に音声セッションを開始/終了させることができる。
情報処理装置において、音声を出力する音声セッション
の実行に計算機利用者の意図を反映させることが課題で
ある。 【解決手段】 時刻T41においてプログラムの音声セ
ッション開始要求が利用者14に伝えられ、時刻T42
において利用者14の開始承認が得られると、時刻T4
3において音声セッションが開始される。そして、プロ
グラミングされた音声が出力された後、時刻T44にお
いてプログラムのセッション終了要求が利用者14に伝
えられ、時刻T45において利用者14の終了承認が得
られると、時刻T46において音声セッションが終了す
る。このように、利用者14の承認に基づいて音声セッ
ションが実行されるので、利用者14は、希望するとき
に音声セッションを開始/終了させることができる。
Description
【0001】
【発明の属する技術分野】本発明は、プログラムの指令
に基づいて音声を出力する情報処理装置に係り、プログ
ラムによる音声セッションの開始/終了のタイミング
を、計算機と計算機利用者との間で調整するスケジュー
リング装置およびその方法に関する。
に基づいて音声を出力する情報処理装置に係り、プログ
ラムによる音声セッションの開始/終了のタイミング
を、計算機と計算機利用者との間で調整するスケジュー
リング装置およびその方法に関する。
【0002】
【従来の技術】最近のパーソナルコンピュータやワーク
ステーション(以下では、一括して、計算機システムと
呼ぶ)は音声データを録音/再生する機構を備え、計算
機内のメモリに蓄積された音声データを、プログラムの
指令に基づいて音声信号として再生する機能を持つよう
になっている。この性質を利用して、計算機内部に蓄積
された音声メッセージをプログラムの指令に基づいて再
現することにより、視覚を使うことのないガイダンス機
構が実現されている。
ステーション(以下では、一括して、計算機システムと
呼ぶ)は音声データを録音/再生する機構を備え、計算
機内のメモリに蓄積された音声データを、プログラムの
指令に基づいて音声信号として再生する機能を持つよう
になっている。この性質を利用して、計算機内部に蓄積
された音声メッセージをプログラムの指令に基づいて再
現することにより、視覚を使うことのないガイダンス機
構が実現されている。
【0003】音声メッセージを用いれば、GUI(グラ
フィカル・ユーザ・インタフェース)のように目的とす
る情報を画面上で捜す作業を行わなくても、直接、情報
を計算機利用者に提示することができる。この性質を利
用して、人間と計算機との自然な対話を実現することが
できる。
フィカル・ユーザ・インタフェース)のように目的とす
る情報を画面上で捜す作業を行わなくても、直接、情報
を計算機利用者に提示することができる。この性質を利
用して、人間と計算機との自然な対話を実現することが
できる。
【0004】図21は、従来の音声入出力機構付きの計
算機システムを示している。図21のメモリ8上では、
n個のプログラムP1〜Pnがマルチプロセス環境で走
行しており、ウインドウ表示装置1は、それらのプログ
ラムのウインドウやアイコンをCRT(cathode ray tu
be)ディスプレイ4に表示する。ウインドウ上で、計算
機利用者がキーボード5やマウス等のポインティングデ
バイス6を用いて入力した指示は、標準入力装置2を介
してプログラムP1等に伝えられる。
算機システムを示している。図21のメモリ8上では、
n個のプログラムP1〜Pnがマルチプロセス環境で走
行しており、ウインドウ表示装置1は、それらのプログ
ラムのウインドウやアイコンをCRT(cathode ray tu
be)ディスプレイ4に表示する。ウインドウ上で、計算
機利用者がキーボード5やマウス等のポインティングデ
バイス6を用いて入力した指示は、標準入力装置2を介
してプログラムP1等に伝えられる。
【0005】また、メモリ8内にはm個の音声メッセー
ジM1〜Mmが記憶されており、例えばプログラムPi
(i=1,...,n)が音声メッセージMj(j=
1,...,m)の出力を音声入出力装置3に要請する
と、それが音声入出力デバイス7に送られて再生され
る。また、利用者は再生された音声に応答して、適当な
指示を音声入出力デバイス7から入力することができ、
入力された指示は音声入出力装置3を介してプログラム
Piに伝えられる。
ジM1〜Mmが記憶されており、例えばプログラムPi
(i=1,...,n)が音声メッセージMj(j=
1,...,m)の出力を音声入出力装置3に要請する
と、それが音声入出力デバイス7に送られて再生され
る。また、利用者は再生された音声に応答して、適当な
指示を音声入出力デバイス7から入力することができ、
入力された指示は音声入出力装置3を介してプログラム
Piに伝えられる。
【0006】図22は、このようなマルチプロセス環境
における音声の利用例を示している。図22において
は、電子メールプログラム11、エディタ12、および
エディタ12によりデバッグされるプログラムAとプロ
グラムBが同時に走行している。プログラムAとプログ
ラムBとには、トレース中の走行状態を音声で出力する
ために、プログラムの文番号を読み上げるステートメン
ト“speak ‘ 〜 ’”が挿入されている。
における音声の利用例を示している。図22において
は、電子メールプログラム11、エディタ12、および
エディタ12によりデバッグされるプログラムAとプロ
グラムBが同時に走行している。プログラムAとプログ
ラムBとには、トレース中の走行状態を音声で出力する
ために、プログラムの文番号を読み上げるステートメン
ト“speak ‘ 〜 ’”が挿入されている。
【0007】これらのプログラムA、Bの実行は、バッ
クグラウンド(アイコン化したウインドウの状態、ある
いはエディタのウインドウの下に隠れたウインドウの状
態)で行う。例えば図23に示すように、プログラム
A、Bの実行画面(ウインドウ)がCRTスクリーン内
でデバッグ用エディタ画面に隠されている場合、最上位
のエディタ画面では、プログラムA、Bの実行結果等が
デバッギングエディタを使って調べられる。
クグラウンド(アイコン化したウインドウの状態、ある
いはエディタのウインドウの下に隠れたウインドウの状
態)で行う。例えば図23に示すように、プログラム
A、Bの実行画面(ウインドウ)がCRTスクリーン内
でデバッグ用エディタ画面に隠されている場合、最上位
のエディタ画面では、プログラムA、Bの実行結果等が
デバッギングエディタを使って調べられる。
【0008】プログラムA、Bのトレース中に音声出力
のステートメントが実行されると、対応する音声の出力
要求が音声入出力装置3内の音声出力装置13に伝えら
れ、スピーカ等から利用者14に‘programAのトレー
ス’などのメッセージが出力される。
のステートメントが実行されると、対応する音声の出力
要求が音声入出力装置3内の音声出力装置13に伝えら
れ、スピーカ等から利用者14に‘programAのトレー
ス’などのメッセージが出力される。
【0009】
【発明が解決しようとする課題】しかしながら、上述の
ような従来の音声出力機構には、次のような問題があ
る。
ような従来の音声出力機構には、次のような問題があ
る。
【0010】マルチプロセス環境等において、走行して
いる複数個のプログラムが同時に音声メッセージを出力
しようとした場合に、出力音声が混線する可能性が考え
られる。この現象を、まず、既存のラインプリンタを用
いた印刷処理を例にとって説明する。
いる複数個のプログラムが同時に音声メッセージを出力
しようとした場合に、出力音声が混線する可能性が考え
られる。この現象を、まず、既存のラインプリンタを用
いた印刷処理を例にとって説明する。
【0011】図24は、ラインプリンタにおける印刷結
果出力時の混線例を示している。図24において、同時
走行中のプログラムA、Bには、印刷を指示するステー
トメント“print ‘ 〜 ’”が挿入されている。ここ
で、プリンタが2つのプログラムからの印刷要求を区別
せずに、要求順に印刷したとする。
果出力時の混線例を示している。図24において、同時
走行中のプログラムA、Bには、印刷を指示するステー
トメント“print ‘ 〜 ’”が挿入されている。ここ
で、プリンタが2つのプログラムからの印刷要求を区別
せずに、要求順に印刷したとする。
【0012】すると、時刻T1においてプログラムAの
文字列‘100 番実行’が印刷され、時刻T2、T3にお
いてそれぞれプログラムBの変数値‘3.1415’、‘1.41
42’が印刷され、時刻T4においてプログラムAの文字
列‘200 番実行’が印刷される。このように、プログラ
ムAとプログラムBの出力が混ざってしまう。
文字列‘100 番実行’が印刷され、時刻T2、T3にお
いてそれぞれプログラムBの変数値‘3.1415’、‘1.41
42’が印刷され、時刻T4においてプログラムAの文字
列‘200 番実行’が印刷される。このように、プログラ
ムAとプログラムBの出力が混ざってしまう。
【0013】この問題を解決する1つの方法は、プログ
ラムの印刷出力区間をセッションとして導入し、セッシ
ョンの開始から終了まで、そのプログラムがプリンタを
排他的に専有するような制御を行うことである。
ラムの印刷出力区間をセッションとして導入し、セッシ
ョンの開始から終了まで、そのプログラムがプリンタを
排他的に専有するような制御を行うことである。
【0014】図25は、このような排他専有制御による
混線問題の解決法を示している。図25では、時刻T5
から時刻T8までがプログラムAのセッションに対応
し、時刻T9から時刻T12までがプログラムBのセッ
ションに対応する。
混線問題の解決法を示している。図25では、時刻T5
から時刻T8までがプログラムAのセッションに対応
し、時刻T9から時刻T12までがプログラムBのセッ
ションに対応する。
【0015】まず、時刻T5においてプログラムAがプ
リンタの専有権を獲得し、時刻T6、T7においてそれ
ぞれ文字列‘100 番実行’、‘200 番実行’が印刷され
た後、時刻T8において専有を解除する。この間プログ
ラムBの印刷要求は実行されず、時刻T9においてプロ
グラムBがプリンタの専有権を獲得した後、時刻T1
0、T11においてそれぞれ変数値‘3.1415’、‘1.41
42’が印刷される。そして、プログラムBは、時刻T1
2において専有を解除する。
リンタの専有権を獲得し、時刻T6、T7においてそれ
ぞれ文字列‘100 番実行’、‘200 番実行’が印刷され
た後、時刻T8において専有を解除する。この間プログ
ラムBの印刷要求は実行されず、時刻T9においてプロ
グラムBがプリンタの専有権を獲得した後、時刻T1
0、T11においてそれぞれ変数値‘3.1415’、‘1.41
42’が印刷される。そして、プログラムBは、時刻T1
2において専有を解除する。
【0016】このような排他専有制御を行えば、各プロ
グラム毎に印刷結果が得られる。以上のような混線は、
図22の音声出力要求に対しても、同様に起こり得る問
題である。
グラム毎に印刷結果が得られる。以上のような混線は、
図22の音声出力要求に対しても、同様に起こり得る問
題である。
【0017】何等かのセッションスケジューリングを導
入しなければ、マルチプロセス環境等で同時走行してい
る各プログラムは、利用者の意図とは独立に実行順序を
獲得する。その結果、利用者の意図しない時点でプログ
ラムが音声データを出力することがある。
入しなければ、マルチプロセス環境等で同時走行してい
る各プログラムは、利用者の意図とは独立に実行順序を
獲得する。その結果、利用者の意図しない時点でプログ
ラムが音声データを出力することがある。
【0018】図26は、図22のマルチプロセス環境に
おけるセッションスケジューリングの必要性を示してい
る。図26において、利用者14は、最初に電子メール
を読み、次にプログラムAのデバッグを行ってから、プ
ログラムBのデバッグを行うという意図を持っていると
する。
おけるセッションスケジューリングの必要性を示してい
る。図26において、利用者14は、最初に電子メール
を読み、次にプログラムAのデバッグを行ってから、プ
ログラムBのデバッグを行うという意図を持っていると
する。
【0019】しかしながら、電子メールプログラム1
1、エディタ12、プログラムA、プログラムBが独立
に実行され、音声出力のためのセッション制御が行われ
ない場合、図26に示すように、時刻T11においてデ
ィスプレイに表示された電子メールを利用者14が読ん
でいる最中に、時刻T12においてプログラムAが起動
され、‘programAのトレース’という音声データが出力
されることがある。
1、エディタ12、プログラムA、プログラムBが独立
に実行され、音声出力のためのセッション制御が行われ
ない場合、図26に示すように、時刻T11においてデ
ィスプレイに表示された電子メールを利用者14が読ん
でいる最中に、時刻T12においてプログラムAが起動
され、‘programAのトレース’という音声データが出力
されることがある。
【0020】ここでは、さらに時刻T13においてエデ
ィタ12が起動され、時刻T14においてプログラムA
の‘100 番通過’という音声データが出力され、時刻T
15においてプログラムBが起動され、‘programBのト
レース’という音声データが出力される。その後、時刻
T16においてプログラムAの‘200 番通過’という音
声データが出力され、時刻T17、T18においてそれ
ぞれプログラムBの‘100 番通過’、‘200 番通過’と
いう音声データが出力される。
ィタ12が起動され、時刻T14においてプログラムA
の‘100 番通過’という音声データが出力され、時刻T
15においてプログラムBが起動され、‘programBのト
レース’という音声データが出力される。その後、時刻
T16においてプログラムAの‘200 番通過’という音
声データが出力され、時刻T17、T18においてそれ
ぞれプログラムBの‘100 番通過’、‘200 番通過’と
いう音声データが出力される。
【0021】このように、図26の音声データ出力処理
には、基本的に次の2つの問題がある。 音声を使用しない作業中に、突然、音声出力が始ま
る。このため、利用者14は出力された音声で意表を突
かれ、そのメッセージの内容を理解できないこともあり
得る。 複数のプログラムからの音声出力が時間的に混合し、
利用者14は、どのプログラムからのメッセージなのか
判別し難い。
には、基本的に次の2つの問題がある。 音声を使用しない作業中に、突然、音声出力が始ま
る。このため、利用者14は出力された音声で意表を突
かれ、そのメッセージの内容を理解できないこともあり
得る。 複数のプログラムからの音声出力が時間的に混合し、
利用者14は、どのプログラムからのメッセージなのか
判別し難い。
【0022】このうち、の問題を解決する方法とし
て、上述の印刷制御と同様に、1つのプログラムの音声
対話区間を音声セッションとして導入し、セッションの
開始から終了までの間、そのプログラムに音声出力装置
13を専有させることが考えられる。
て、上述の印刷制御と同様に、1つのプログラムの音声
対話区間を音声セッションとして導入し、セッションの
開始から終了までの間、そのプログラムに音声出力装置
13を専有させることが考えられる。
【0023】図27は、このような排他専有制御による
音声出力順序の混乱回避法を示している。図27におい
ては、時刻T21において表示された電子メールを利用
者14が読んでいる最中に、時刻T22においてプログ
ラムAが起動されても、音声セッションが開始されてい
ないので、音声データは出力されない。このため、利用
者14は、落ち着いて電子メールを読むことができる。
音声出力順序の混乱回避法を示している。図27におい
ては、時刻T21において表示された電子メールを利用
者14が読んでいる最中に、時刻T22においてプログ
ラムAが起動されても、音声セッションが開始されてい
ないので、音声データは出力されない。このため、利用
者14は、落ち着いて電子メールを読むことができる。
【0024】その後、時刻T23においてエディタ12
が起動されると、時刻T24においてプログラムAの音
声セッションが開始され、時刻T25、T27、T28
においてそれぞれ‘programAのトレース’、‘100 番通
過’、‘200 番通過’という音声データが順に出力され
る。
が起動されると、時刻T24においてプログラムAの音
声セッションが開始され、時刻T25、T27、T28
においてそれぞれ‘programAのトレース’、‘100 番通
過’、‘200 番通過’という音声データが順に出力され
る。
【0025】この間、時刻T26においてプログラムB
が起動されても、その音声セッションは開始されず、プ
ログラムBの音声データは出力されない。したがって、
プログラムAとプログラムBの出力音声が混合すること
はない。
が起動されても、その音声セッションは開始されず、プ
ログラムBの音声データは出力されない。したがって、
プログラムAとプログラムBの出力音声が混合すること
はない。
【0026】時刻T29においてプログラムAの音声セ
ッションが終了すると、時刻T30においてプログラム
Bの音声セッションが開始される。そして、時刻T3
1、T32、T33においてそれぞれ‘programBのトレ
ース’、‘100 番通過’、‘200 番通過’という音声デ
ータが出力され、時刻T34においてプログラムBの音
声セッションが終了する。
ッションが終了すると、時刻T30においてプログラム
Bの音声セッションが開始される。そして、時刻T3
1、T32、T33においてそれぞれ‘programBのトレ
ース’、‘100 番通過’、‘200 番通過’という音声デ
ータが出力され、時刻T34においてプログラムBの音
声セッションが終了する。
【0027】このような排他専有制御を行えば、複数の
プログラムからの音声出力が時間的に混合することはな
くなり、上述のの問題は解決される。しかしながら、
の問題は依然として解決されない。以上説明した従来
の音声出力機構の問題点をまとめると、以下のようにな
る。
プログラムからの音声出力が時間的に混合することはな
くなり、上述のの問題は解決される。しかしながら、
の問題は依然として解決されない。以上説明した従来
の音声出力機構の問題点をまとめると、以下のようにな
る。
【0028】複数個のプログラムが同時に音声出力装置
を使用する場合に、無秩序に音声出力装置の使用を許可
すれば、音声出力が相互に混合されて計算機利用者に提
供されてしまう。この問題点の1つの解決法は、プログ
ラムが音声出力装置を使用する場合に、その使用区間を
音声出力セッションとして管理し、音声出力セッション
の開始から終了までの間、プログラムに音声出力装置を
独占的に使用させることである。
を使用する場合に、無秩序に音声出力装置の使用を許可
すれば、音声出力が相互に混合されて計算機利用者に提
供されてしまう。この問題点の1つの解決法は、プログ
ラムが音声出力装置を使用する場合に、その使用区間を
音声出力セッションとして管理し、音声出力セッション
の開始から終了までの間、プログラムに音声出力装置を
独占的に使用させることである。
【0029】しかし、この解決法では、音声出力を行う
プログラムと音声出力を行わないプログラムとが同時に
走行する場合、利用者が音声出力を伴わないプログラム
を使って作業している間に、もう一方のプログラムの音
声出力セッションが開始されることを回避できないとい
う問題が残される。
プログラムと音声出力を行わないプログラムとが同時に
走行する場合、利用者が音声出力を伴わないプログラム
を使って作業している間に、もう一方のプログラムの音
声出力セッションが開始されることを回避できないとい
う問題が残される。
【0030】画面表示等と異なり、出力された音声は書
き留めておくことができないので、無秩序に音声出力機
構を使用すれば、利用者が出力された音声メッセージを
理解する効率は低下する。また、音声は直接利用者に情
報を提示するので、利用者が意図しない時点で突然始ま
る音声出力は、その時点で利用者が行っていた作業を中
断させ、作業効率を低下させる結果を招く。このため、
何等かの方法で利用者自身が音声出力を制御できる機構
が望まれる。
き留めておくことができないので、無秩序に音声出力機
構を使用すれば、利用者が出力された音声メッセージを
理解する効率は低下する。また、音声は直接利用者に情
報を提示するので、利用者が意図しない時点で突然始ま
る音声出力は、その時点で利用者が行っていた作業を中
断させ、作業効率を低下させる結果を招く。このため、
何等かの方法で利用者自身が音声出力を制御できる機構
が望まれる。
【0031】本発明は、プログラムの指令に基づいて音
声を出力する情報処理装置において、音声出力機能を使
用するプログラムの実行順序を整列させ、音声セッショ
ンの実行に計算機利用者の意図を反映させることのでき
るスケジューリング装置およびその方法を提供すること
を目的とする。
声を出力する情報処理装置において、音声出力機能を使
用するプログラムの実行順序を整列させ、音声セッショ
ンの実行に計算機利用者の意図を反映させることのでき
るスケジューリング装置およびその方法を提供すること
を目的とする。
【0032】
【課題を解決するための手段】図1は、本発明のスケジ
ューリング装置の原理図である。図1のスケジューリン
グ装置は、プログラムの指令に基づいて音声を出力する
情報処理装置に設けられ、スケジューラー手段21と音
声出力手段22を備える。
ューリング装置の原理図である。図1のスケジューリン
グ装置は、プログラムの指令に基づいて音声を出力する
情報処理装置に設けられ、スケジューラー手段21と音
声出力手段22を備える。
【0033】スケジューラー手段21は、プログラムか
ら音声セッションの開始要求を受け取り、利用者にその
音声セッションの開始の承認を求めて、その利用者から
の承認が得られたときに、上記プログラムに音声セッシ
ョンの開始許可を与える。
ら音声セッションの開始要求を受け取り、利用者にその
音声セッションの開始の承認を求めて、その利用者から
の承認が得られたときに、上記プログラムに音声セッシ
ョンの開始許可を与える。
【0034】音声出力手段22は、スケジューラー手段
21の指示に基づいて、上記音声セッションの開始の承
認を求める音声を出力する。スケジューラー手段21が
プログラムからの音声セッションの開始要求を音声出力
手段22に伝えると、音声出力手段22は、例えば“音
声出力を始めてもいいですか”というような音声メッセ
ージを出力する。そして、利用者が音声セッションの開
始を承認する応答を行えば、スケジューラー手段21が
それを認識し、開始許可をプログラムに出力する。これ
により、プログラムは利用者の同意を得て、音声セッシ
ョンを開始することができる。
21の指示に基づいて、上記音声セッションの開始の承
認を求める音声を出力する。スケジューラー手段21が
プログラムからの音声セッションの開始要求を音声出力
手段22に伝えると、音声出力手段22は、例えば“音
声出力を始めてもいいですか”というような音声メッセ
ージを出力する。そして、利用者が音声セッションの開
始を承認する応答を行えば、スケジューラー手段21が
それを認識し、開始許可をプログラムに出力する。これ
により、プログラムは利用者の同意を得て、音声セッシ
ョンを開始することができる。
【0035】このように、利用者の同意がなければ音声
セッションは開始されないので、利用者が予期しないタ
イミングで、突然、音声セッションが始まることはなく
なる。したがって、利用者は、音声セッションで出力さ
れたメッセージの内容を聞き取りやすくなる。
セッションは開始されないので、利用者が予期しないタ
イミングで、突然、音声セッションが始まることはなく
なる。したがって、利用者は、音声セッションで出力さ
れたメッセージの内容を聞き取りやすくなる。
【0036】また、スケジューラー手段21は、上記プ
ログラムからさらに上記音声セッションの終了要求を受
け取り、上記利用者にその音声セッションの終了の承認
を求めて、その利用者からの承認が得られたときに、上
記プログラムに音声セッションの終了許可を与え、音声
出力手段22は、スケジューラー手段21の指示に基づ
いて、上記音声セッションの終了の承認を求める音声を
出力する。
ログラムからさらに上記音声セッションの終了要求を受
け取り、上記利用者にその音声セッションの終了の承認
を求めて、その利用者からの承認が得られたときに、上
記プログラムに音声セッションの終了許可を与え、音声
出力手段22は、スケジューラー手段21の指示に基づ
いて、上記音声セッションの終了の承認を求める音声を
出力する。
【0037】この場合、スケジューラー手段21がプロ
グラムからの音声セッションの終了要求を音声出力手段
22に伝えると、音声出力手段22は、例えば“音声出
力を終わってもいいですか”というような音声メッセー
ジを出力する。そして、利用者が音声セッションの終了
を承認する応答を行えば、スケジューラー手段21がそ
れを認識し、終了許可をプログラムに出力する。これに
より、プログラムは利用者の同意を得て、音声セッショ
ンを終了することができる。
グラムからの音声セッションの終了要求を音声出力手段
22に伝えると、音声出力手段22は、例えば“音声出
力を終わってもいいですか”というような音声メッセー
ジを出力する。そして、利用者が音声セッションの終了
を承認する応答を行えば、スケジューラー手段21がそ
れを認識し、終了許可をプログラムに出力する。これに
より、プログラムは利用者の同意を得て、音声セッショ
ンを終了することができる。
【0038】このように、利用者の同意がなければ音声
セッションは終了しないので、利用者が予期しないタイ
ミングで、突然、音声セッションが終わることはない。
したがって、利用者は、音声セッションの画面でやり残
したことがないかどうかを、ゆっくりチェックすること
ができる。
セッションは終了しないので、利用者が予期しないタイ
ミングで、突然、音声セッションが終わることはない。
したがって、利用者は、音声セッションの画面でやり残
したことがないかどうかを、ゆっくりチェックすること
ができる。
【0039】図1のスケジューリング装置によれば、ス
ケジューラー手段21がプログラムと利用者との間に立
って、音声セッションの開始と終了のタイミングを調停
するので、音声セッションの実行に利用者の意図を反映
させることが可能になる。
ケジューラー手段21がプログラムと利用者との間に立
って、音声セッションの開始と終了のタイミングを調停
するので、音声セッションの実行に利用者の意図を反映
させることが可能になる。
【0040】また、並列的に走行する複数のプログラム
から複数の開始要求が送られたとき、スケジューラー手
段21は、それらの開始要求を要素とする待ち行列を生
成し、要素間の優先順位計算を行って、最も優先順位の
高い要素を取り出し、その要素に対応する音声セッショ
ンの調停を行うことができる。
から複数の開始要求が送られたとき、スケジューラー手
段21は、それらの開始要求を要素とする待ち行列を生
成し、要素間の優先順位計算を行って、最も優先順位の
高い要素を取り出し、その要素に対応する音声セッショ
ンの調停を行うことができる。
【0041】適当な優先順位の計算方法をあらかじめ決
めておけば、音声出力手段22を用いた音声出力セッシ
ョンの開始要求が重なった場合でも、優先順位の高いも
のから順に実行される。
めておけば、音声出力手段22を用いた音声出力セッシ
ョンの開始要求が重なった場合でも、優先順位の高いも
のから順に実行される。
【0042】また、待ち行列から1つの要素を取り出し
た後、その音声セッションが終了するまで新たな要素の
取り出しを禁止しておけば、複数の音声セッションが互
いに混ざり合うことはなくなる。こうして、複数の音声
セッションが時間的に整列され、順番に実行されるの
で、利用者は、出力された音声とプログラムとの対応関
係を把握しやすくなる。
た後、その音声セッションが終了するまで新たな要素の
取り出しを禁止しておけば、複数の音声セッションが互
いに混ざり合うことはなくなる。こうして、複数の音声
セッションが時間的に整列され、順番に実行されるの
で、利用者は、出力された音声とプログラムとの対応関
係を把握しやすくなる。
【0043】例えば、図1のスケジューラー手段21
は、実施形態の図6におけるCPU(中央処理装置)4
1とメモリ42に対応し、音声出力手段22は、音声入
出力装置32と音声出力デバイス48に対応する。
は、実施形態の図6におけるCPU(中央処理装置)4
1とメモリ42に対応し、音声出力手段22は、音声入
出力装置32と音声出力デバイス48に対応する。
【0044】
【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態を詳細に説明する。本発明では、プログ
ラムと計算機利用者との間に立って、音声セッションの
開始と終了とを調停し、利用者との対話に基づいて音声
セッションのスケジューリングを行う音声セッションス
ケジューラーを計算機上に設ける。
明の実施の形態を詳細に説明する。本発明では、プログ
ラムと計算機利用者との間に立って、音声セッションの
開始と終了とを調停し、利用者との対話に基づいて音声
セッションのスケジューリングを行う音声セッションス
ケジューラーを計算機上に設ける。
【0045】図2は、実施形態における音声セッション
スケジューラーを示している。この音声セッションスケ
ジューラー31は、同時走行中のn個のプログラムP1
〜Pnから音声セッションの開始/終了要求を受け付
け、それを音声で計算機利用者14に伝えて、音声セッ
ションを開始するタイミング、または終了するタイミン
グの折衝を行う。そして、音声入力により利用者14か
らの承認が得られると、音声入出力装置32を制御して
音声セッションを開始または終了する。
スケジューラーを示している。この音声セッションスケ
ジューラー31は、同時走行中のn個のプログラムP1
〜Pnから音声セッションの開始/終了要求を受け付
け、それを音声で計算機利用者14に伝えて、音声セッ
ションを開始するタイミング、または終了するタイミン
グの折衝を行う。そして、音声入力により利用者14か
らの承認が得られると、音声入出力装置32を制御して
音声セッションを開始または終了する。
【0046】このような音声セッションスケジューラー
31を導入すれば、実際に音声セッションが開始される
前に、その開始許可を求める問い合せが利用者14に提
示されるので、利用者14は自分の都合の良いときに音
声セッションを開始させることができる。また、承認が
ない限り音声セッションは終了しないので、利用者14
はやり残しの作業がないかどうか確認してから、音声セ
ッションを終了させることができる。
31を導入すれば、実際に音声セッションが開始される
前に、その開始許可を求める問い合せが利用者14に提
示されるので、利用者14は自分の都合の良いときに音
声セッションを開始させることができる。また、承認が
ない限り音声セッションは終了しないので、利用者14
はやり残しの作業がないかどうか確認してから、音声セ
ッションを終了させることができる。
【0047】また、プログラムP1〜Pnから同時に音
声セッションの開始要求があった場合には、音声セッシ
ョンスケジューラー31はそれらの間の実行順序を調整
する。そして、調整結果にしたがって音声入出力装置3
2を制御し、音声セッションを順番に開始させる。こう
して、複数のプログラムが並列的に走行する環境におい
て、音声入出力装置32を使用するプログラムを決定す
るための優先度制御が自動的に行われる。
声セッションの開始要求があった場合には、音声セッシ
ョンスケジューラー31はそれらの間の実行順序を調整
する。そして、調整結果にしたがって音声入出力装置3
2を制御し、音声セッションを順番に開始させる。こう
して、複数のプログラムが並列的に走行する環境におい
て、音声入出力装置32を使用するプログラムを決定す
るための優先度制御が自動的に行われる。
【0048】次に、図3から図5までを参照しながら、
音声セッションスケジューラー31の機能についてさら
に説明する。図3は、音声セッションスケジューラー3
1によるセッションスケジューリングの方法を示してい
る。図3の時間軸上で、時刻T41においてプログラム
のセッション開始要求が利用者14に伝えられ、時刻T
42において利用者14の開始承認が得られると、時刻
T43において音声セッションが開始される。そして、
プログラミングされた音声が出力される。
音声セッションスケジューラー31の機能についてさら
に説明する。図3は、音声セッションスケジューラー3
1によるセッションスケジューリングの方法を示してい
る。図3の時間軸上で、時刻T41においてプログラム
のセッション開始要求が利用者14に伝えられ、時刻T
42において利用者14の開始承認が得られると、時刻
T43において音声セッションが開始される。そして、
プログラミングされた音声が出力される。
【0049】その後、時刻T44においてプログラムの
セッション終了要求が利用者14に伝えられ、時刻T4
5において利用者14の終了承認が得られると、時刻T
46において音声セッションが終了する。利用者14か
らの開始承認や終了承認は、音声で計算機に入力しても
よく、キー入力等の他の方法で入力してもよい。
セッション終了要求が利用者14に伝えられ、時刻T4
5において利用者14の終了承認が得られると、時刻T
46において音声セッションが終了する。利用者14か
らの開始承認や終了承認は、音声で計算機に入力しても
よく、キー入力等の他の方法で入力してもよい。
【0050】ところで、音声セッションスケジューラー
31によるセッション開始時刻の割り当て方法には、開
始要求の到着順に割り当てる方法と、開始要求に優先順
位を与えて、高い優先順位のものから順に割り当てる方
法とがある。
31によるセッション開始時刻の割り当て方法には、開
始要求の到着順に割り当てる方法と、開始要求に優先順
位を与えて、高い優先順位のものから順に割り当てる方
法とがある。
【0051】図4は、セッション開始時刻の到着順割り
当て制御を示している。図4において、同時走行中のプ
ログラムP1、P2、Pnのうち、プログラムP2から
最初にセッション開始要求が出力され、次にプログラム
P1からセッション開始要求が出力されたとする。この
とき、音声セッションスケジューラー31は、開始要求
が到着した順に音声セッションの開始時刻を割り当て
る。
当て制御を示している。図4において、同時走行中のプ
ログラムP1、P2、Pnのうち、プログラムP2から
最初にセッション開始要求が出力され、次にプログラム
P1からセッション開始要求が出力されたとする。この
とき、音声セッションスケジューラー31は、開始要求
が到着した順に音声セッションの開始時刻を割り当て
る。
【0052】その結果、時刻T51において、まずプロ
グラムP2の音声セッションが開始され、利用者14に
音声メッセージが提供される。そして、時刻T52にお
いてその音声セッションが終了した後に、時刻T53に
おいてプログラムP1の音声セッションが開始され、時
刻T54においてそれが終了する。
グラムP2の音声セッションが開始され、利用者14に
音声メッセージが提供される。そして、時刻T52にお
いてその音声セッションが終了した後に、時刻T53に
おいてプログラムP1の音声セッションが開始され、時
刻T54においてそれが終了する。
【0053】また、図5は、セッション開始時刻の優先
順位付き割り当て制御を示している。図5において、プ
ログラムP1、P2、Pnの順にセッション開始要求が
出力されたとき、音声セッションスケジューラー31
は、あらかじめ決められた方法にしたがってそれらの優
先順位を決定する。その結果、プログラムP1、Pnの
開始要求の優先順位が“高”に設定され、プログラムP
2の優先順位が“低”に設定される。
順位付き割り当て制御を示している。図5において、プ
ログラムP1、P2、Pnの順にセッション開始要求が
出力されたとき、音声セッションスケジューラー31
は、あらかじめ決められた方法にしたがってそれらの優
先順位を決定する。その結果、プログラムP1、Pnの
開始要求の優先順位が“高”に設定され、プログラムP
2の優先順位が“低”に設定される。
【0054】音声セッションスケジューラー31は、高
い優先順位を持つプログラムP1、Pnの開始要求のう
ち、先に到着したプログラムP1の開始要求の方により
早い開始時刻を割り当て、優先順位の低いプログラムP
2の開始要求には最も遅い開始時刻を割り当てる。
い優先順位を持つプログラムP1、Pnの開始要求のう
ち、先に到着したプログラムP1の開始要求の方により
早い開始時刻を割り当て、優先順位の低いプログラムP
2の開始要求には最も遅い開始時刻を割り当てる。
【0055】その結果、時刻T61において、まずプロ
グラムP1の音声セッションが開始され、時刻T63に
おいてそれが終了する。その間、時刻T62において到
着したプログラムP2の開始要求に対応する音声セッシ
ョンは、プログラムP1、Pnの音声セッションが終了
するまで、その開始を待たされることになる。
グラムP1の音声セッションが開始され、時刻T63に
おいてそれが終了する。その間、時刻T62において到
着したプログラムP2の開始要求に対応する音声セッシ
ョンは、プログラムP1、Pnの音声セッションが終了
するまで、その開始を待たされることになる。
【0056】そして、時刻T64において到着したプロ
グラムPnの開始要求に対応する音声セッションが時刻
T65において開始され、時刻T66において終了す
る。その後、優先順位の低いプログラムP2の音声セッ
ションが時刻T67において開始され、時刻T68にお
いて終了する。
グラムPnの開始要求に対応する音声セッションが時刻
T65において開始され、時刻T66において終了す
る。その後、優先順位の低いプログラムP2の音声セッ
ションが時刻T67において開始され、時刻T68にお
いて終了する。
【0057】図4の到着順割り当て制御によれば、簡単
な制御で機械的にセッションスケジューリングを行うこ
とができる。これに対して、図5の優先順位付き割り当
て制御によれば、到着順割り当て制御より処理は複雑に
なるが、緊急性の高いプログラムほど早く音声セッショ
ンを開始させることが可能になる。
な制御で機械的にセッションスケジューリングを行うこ
とができる。これに対して、図5の優先順位付き割り当
て制御によれば、到着順割り当て制御より処理は複雑に
なるが、緊急性の高いプログラムほど早く音声セッショ
ンを開始させることが可能になる。
【0058】次に、GUI環境における音声セッション
スケジューラー31の実施形態について説明する。ま
ず、図6および図7を参照しながら、音声セッションス
ケジューラー31を搭載したスケジューリング装置のハ
ードウェア構成およびソフトウェア構成を説明する。
スケジューラー31の実施形態について説明する。ま
ず、図6および図7を参照しながら、音声セッションス
ケジューラー31を搭載したスケジューリング装置のハ
ードウェア構成およびソフトウェア構成を説明する。
【0059】図6は、スケジューリング装置を実現する
計算機システムのハードウェア構成を示している。図6
のスケジューリング装置は、CPU41、メモリ42、
入力装置43、入力デバイス44、表示装置45、ディ
スプレイ46、音声入出力装置32、音声入力デバイス
47、音声出力デバイス48、媒体駆動装置50−1、
および外部記憶装置50−2を備える。
計算機システムのハードウェア構成を示している。図6
のスケジューリング装置は、CPU41、メモリ42、
入力装置43、入力デバイス44、表示装置45、ディ
スプレイ46、音声入出力装置32、音声入力デバイス
47、音声出力デバイス48、媒体駆動装置50−1、
および外部記憶装置50−2を備える。
【0060】このうち、CPU41、メモリ42、入力
装置43、表示装置45、音声入出力装置32、媒体駆
動装置50−1、および外部記憶装置50−2は、バス
49により互いに結合されている。
装置43、表示装置45、音声入出力装置32、媒体駆
動装置50−1、および外部記憶装置50−2は、バス
49により互いに結合されている。
【0061】入力装置43は図21の標準入力装置2に
対応し、それに接続される入力デバイス44はキーボー
ド5、ポインティングデバイス6等に対応する。また、
表示装置45はウインドウ表示装置1に対応し、それに
接続されるディスプレイ46はCRTディスプレイ4等
に対応する。
対応し、それに接続される入力デバイス44はキーボー
ド5、ポインティングデバイス6等に対応する。また、
表示装置45はウインドウ表示装置1に対応し、それに
接続されるディスプレイ46はCRTディスプレイ4等
に対応する。
【0062】また、音声入出力装置32は音声入出力装
置3に対応し、それに接続される音声入力デバイス47
と音声出力デバイス48は音声入出力デバイス7に対応
する。音声入力デバイス47としては、例えばマイク等
が用いられ、音声出力デバイス48としては、例えばス
ピーカ等が用いられる。
置3に対応し、それに接続される音声入力デバイス47
と音声出力デバイス48は音声入出力デバイス7に対応
する。音声入力デバイス47としては、例えばマイク等
が用いられ、音声出力デバイス48としては、例えばス
ピーカ等が用いられる。
【0063】CPU41は、メモリ42に格納されたプ
ログラムを実行して、音声セッションスケジューラー3
1の機能を実現する。メモリ42としては、例えばRO
M(read only memory)、RAM(random access memo
ry)等が用いられる。
ログラムを実行して、音声セッションスケジューラー3
1の機能を実現する。メモリ42としては、例えばRO
M(read only memory)、RAM(random access memo
ry)等が用いられる。
【0064】媒体駆動装置50−1は、可搬記録媒体5
0−3を駆動し、その記憶内容にアクセスする。可搬記
録媒体50−3としては、メモリカード、フロッピーデ
ィスク、CD−ROM(compact disk read only memor
y )、光ディスク、光磁気ディスク(magneto-optical
disk)等、任意のコンピュータ読み取り可能な記録媒体
を使用することができる。この可搬記録媒体50−3に
は、データのほかに、音声セッションスケジューラー3
1の機能を実現するためのプログラムが格納される。
0−3を駆動し、その記憶内容にアクセスする。可搬記
録媒体50−3としては、メモリカード、フロッピーデ
ィスク、CD−ROM(compact disk read only memor
y )、光ディスク、光磁気ディスク(magneto-optical
disk)等、任意のコンピュータ読み取り可能な記録媒体
を使用することができる。この可搬記録媒体50−3に
は、データのほかに、音声セッションスケジューラー3
1の機能を実現するためのプログラムが格納される。
【0065】外部記憶装置50−2は、例えば、磁気デ
ィスク装置、光ディスク装置、光磁気ディスク装置等で
あり、データのほかに、音声セッションスケジューラー
31の機能を実現するためのプログラムを保存すること
ができる。
ィスク装置、光ディスク装置、光磁気ディスク装置等で
あり、データのほかに、音声セッションスケジューラー
31の機能を実現するためのプログラムを保存すること
ができる。
【0066】図7は、スケジューリング装置のソフトウ
ェア構成を示している。図7において、音声出力を行う
プログラム内には、開始申請部51と終了申請部52が
設けられ、音声セッションスケジューラー31のプログ
ラム内には、状態表示部53、受け付け部54、調停部
55、および終了部56が設けられる。
ェア構成を示している。図7において、音声出力を行う
プログラム内には、開始申請部51と終了申請部52が
設けられ、音声セッションスケジューラー31のプログ
ラム内には、状態表示部53、受け付け部54、調停部
55、および終了部56が設けられる。
【0067】開始申請部51は、音声セッションの開始
を音声セッションスケジューラー31に申請し、開始許
可を待つ。受け付け部54は、複数のプログラムからの
音声セッション開始申請を受け付け、それらの開始申請
のうちの1つを選択して取り出す。このとき、状態表示
部53は、受け付け部54からの指示にしたがって、1
つの音声セッション開始申請を処理中であることをフラ
グを用いて表示する。
を音声セッションスケジューラー31に申請し、開始許
可を待つ。受け付け部54は、複数のプログラムからの
音声セッション開始申請を受け付け、それらの開始申請
のうちの1つを選択して取り出す。このとき、状態表示
部53は、受け付け部54からの指示にしたがって、1
つの音声セッション開始申請を処理中であることをフラ
グを用いて表示する。
【0068】図8は、状態表示部53のプログラム構成
例を示している。状態表示部53のフラグ(flag)は、
音声セッションスケジューラー31の初期状態において
「取り出し可」(flag=0)に設定され、受け付け部54
が1つの音声セッション開始申請を受け付けると「取り
出し不可」(flag=1)に設定される。
例を示している。状態表示部53のフラグ(flag)は、
音声セッションスケジューラー31の初期状態において
「取り出し可」(flag=0)に設定され、受け付け部54
が1つの音声セッション開始申請を受け付けると「取り
出し不可」(flag=1)に設定される。
【0069】受け付け部54は、複数のプログラムの音
声セッション開始申請を格納し、開始時刻の優先順位付
き割り当て制御を行うために、図9に示すような待ち行
列を生成する。図9において、待ち行列62内の各待ち
要素は、各プログラムの音声セッション開始申請に対応
する。また、フラグ(flag)61は上述の状態表示部5
3のフラグに対応し、待ち行列62からの待ち要素取り
出しの可否を制御する。
声セッション開始申請を格納し、開始時刻の優先順位付
き割り当て制御を行うために、図9に示すような待ち行
列を生成する。図9において、待ち行列62内の各待ち
要素は、各プログラムの音声セッション開始申請に対応
する。また、フラグ(flag)61は上述の状態表示部5
3のフラグに対応し、待ち行列62からの待ち要素取り
出しの可否を制御する。
【0070】受け付け部54は、待ち行列62に並んで
いる要素に対して優先順位を計算し、最高の優先度を持
つ要素を最適要素として選択する。そして、選択した要
素64の取り出し後、待ち行列の並びを詰め、新規要素
63が到着すれば、それを最後尾に挿入する。
いる要素に対して優先順位を計算し、最高の優先度を持
つ要素を最適要素として選択する。そして、選択した要
素64の取り出し後、待ち行列の並びを詰め、新規要素
63が到着すれば、それを最後尾に挿入する。
【0071】調停部55は、受け付け部54が選択した
音声セッション開始申請を利用者14に通知し、利用者
14からの承認を待ち、承認を得た時点でその音声セッ
ション開始申請を申請したプログラムに開始許可を与え
る。また、調停部55は、必要に応じてオペレーティン
グシステム57内のウインドウマネージャ58に、表示
中のウインドウの再描画を指示する。
音声セッション開始申請を利用者14に通知し、利用者
14からの承認を待ち、承認を得た時点でその音声セッ
ション開始申請を申請したプログラムに開始許可を与え
る。また、調停部55は、必要に応じてオペレーティン
グシステム57内のウインドウマネージャ58に、表示
中のウインドウの再描画を指示する。
【0072】一方、開始許可に基づいて音声セッション
を開始したプログラム内の終了申請部52は、そのセッ
ション終了時に音声セッションの終了を音声セッション
スケジューラー31に申請し、終了許可を待つ。終了部
56は、この申請を受け付けて、音声セッションの終了
を利用者14に通知する。そして、利用者14からの承
認を待ち、承認を得た時点でその音声セッションの終了
許可を終了申請部52に与える。
を開始したプログラム内の終了申請部52は、そのセッ
ション終了時に音声セッションの終了を音声セッション
スケジューラー31に申請し、終了許可を待つ。終了部
56は、この申請を受け付けて、音声セッションの終了
を利用者14に通知する。そして、利用者14からの承
認を待ち、承認を得た時点でその音声セッションの終了
許可を終了申請部52に与える。
【0073】こうして1つの開始申請に対応する音声セ
ッションが終了すると、終了部56が状態表示部53の
フラグを再び「取り出し可」(flag=0)に書き換える。
これにより、受け付け部54は次に優先度の高い開始申
請を取り出して、その音声セッションに関する折衝を調
停部55に依頼する。
ッションが終了すると、終了部56が状態表示部53の
フラグを再び「取り出し可」(flag=0)に書き換える。
これにより、受け付け部54は次に優先度の高い開始申
請を取り出して、その音声セッションに関する折衝を調
停部55に依頼する。
【0074】上述の受け付け部54による優先度制御に
おいて、同じ優先順位毎に個別に待ち行列を作成し、優
先順位が高い待ち行列に入っている要求から順に処理す
る方法もある。この方法では、優先順位が低い要求は、
たとえ時間的に先行していても、より優先順位の高い要
求の処理が済むまで待たされることになる。
おいて、同じ優先順位毎に個別に待ち行列を作成し、優
先順位が高い待ち行列に入っている要求から順に処理す
る方法もある。この方法では、優先順位が低い要求は、
たとえ時間的に先行していても、より優先順位の高い要
求の処理が済むまで待たされることになる。
【0075】以下、図10から図20までを参照しなが
ら、図7の各部の詳細な機能と実施形態の適用例につい
て説明する。図10は、各プログラムが音声セッション
の開始申請に用いる開始申請部51の処理のフローチャ
ートである。図10において、開始申請部51による音
声セッション開始申請処理は、プログラム中の開始コマ
ンド“start ”により音声セッションの開始時点で呼び
出される。
ら、図7の各部の詳細な機能と実施形態の適用例につい
て説明する。図10は、各プログラムが音声セッション
の開始申請に用いる開始申請部51の処理のフローチャ
ートである。図10において、開始申請部51による音
声セッション開始申請処理は、プログラム中の開始コマ
ンド“start ”により音声セッションの開始時点で呼び
出される。
【0076】開始申請部51は、まずオペレーティング
システム57がプログラムに与える識別番号(プロセス
id)をシステムコールを用いて獲得し(ステップS
1)、それとプログラムに記述された優先度(priorit
y)とを、セッション開始要求として音声セッションス
ケジューラー31の受け付け部54に送付する(ステッ
プS2)。このproirityは、音声セッション開始の優先
度を表し、コマンド“start ”の引数として与えられ
る。
システム57がプログラムに与える識別番号(プロセス
id)をシステムコールを用いて獲得し(ステップS
1)、それとプログラムに記述された優先度(priorit
y)とを、セッション開始要求として音声セッションス
ケジューラー31の受け付け部54に送付する(ステッ
プS2)。このproirityは、音声セッション開始の優先
度を表し、コマンド“start ”の引数として与えられ
る。
【0077】そして、音声セッションスケジューラ31
からの開始許可待ちの状態となって(ステップS3)、
処理を終了する。図11は、セッション開始要求を受け
取った受け付け部54が行う待ち行列作成処理のフロー
チャートである。図11において処理が開始されると、
受け付け部54は、プログラムからの音声セッション開
始申請を受け付けて、これを待ち行列62の末尾に挿入
し(ステップS11)、処理を終了する。こうして待ち
行列62に加えられた待ち要素のデータ構造は、〈プロ
セスid,優先度(=priority)〉のようになる。
からの開始許可待ちの状態となって(ステップS3)、
処理を終了する。図11は、セッション開始要求を受け
取った受け付け部54が行う待ち行列作成処理のフロー
チャートである。図11において処理が開始されると、
受け付け部54は、プログラムからの音声セッション開
始申請を受け付けて、これを待ち行列62の末尾に挿入
し(ステップS11)、処理を終了する。こうして待ち
行列62に加えられた待ち要素のデータ構造は、〈プロ
セスid,優先度(=priority)〉のようになる。
【0078】図12は、受け付け部54による待ち行列
要素取り出し処理のフローチャートである。図12にお
いて処理が開始されると、受け付け部54は、まず状態
表示部53のフラグ61をチェックして、待ち要素の取
り出しが可能かどうかを調べる(ステップS21)。フ
ラグ61の値が1であれば、その後もフラグ61のチェ
ックを繰り返し、それが0になると、待ち要素の取り出
しを禁止するためにフラグ61の値を1に設定する(ス
テップS22)。
要素取り出し処理のフローチャートである。図12にお
いて処理が開始されると、受け付け部54は、まず状態
表示部53のフラグ61をチェックして、待ち要素の取
り出しが可能かどうかを調べる(ステップS21)。フ
ラグ61の値が1であれば、その後もフラグ61のチェ
ックを繰り返し、それが0になると、待ち要素の取り出
しを禁止するためにフラグ61の値を1に設定する(ス
テップS22)。
【0079】次に、待ち行列62内の待ち要素に対して
重み付きの順位を計算し(ステップS23)、その順位
が最も高い要素を待ち行列62から取り出して(ステッ
プS24)、処理を終了する。こうして、取り出された
要素に対応するプログラムの音声セッションを開始する
タイミングが、調停部55と利用者14の対話により決
定される。
重み付きの順位を計算し(ステップS23)、その順位
が最も高い要素を待ち行列62から取り出して(ステッ
プS24)、処理を終了する。こうして、取り出された
要素に対応するプログラムの音声セッションを開始する
タイミングが、調停部55と利用者14の対話により決
定される。
【0080】このように、待ち行列62への要素の追加
はいつでも行うことができるが、要素の取り出しはフラ
グ61が0の時に限られる。言い換えれば、フラグ61
は、音声セッションスケジューラー31またはプログラ
ムが利用者14と対話処理中か否かを示しており、対話
処理中は新たな開始要求の取り出しを禁止している。
はいつでも行うことができるが、要素の取り出しはフラ
グ61が0の時に限られる。言い換えれば、フラグ61
は、音声セッションスケジューラー31またはプログラ
ムが利用者14と対話処理中か否かを示しており、対話
処理中は新たな開始要求の取り出しを禁止している。
【0081】また、図11と図12の処理はそれぞれ別
々のプロセスにより行われ、図12の要素取り出し処理
を行うプロセスは、例えばタイマ割り込み等を使って定
期的に起動される。
々のプロセスにより行われ、図12の要素取り出し処理
を行うプロセスは、例えばタイマ割り込み等を使って定
期的に起動される。
【0082】図13は、図12のステップS23、S2
4で行われる待ち要素選択処理のフローチャートであ
る。図13において処理が開始されると、調停部55
は、まず待ち行列62の末尾からk番目にある待ち要素
〈プロセスid,優先度〉に対して、k+(優先度)の
値を計算し、その要素の優先判定値として記録する(ス
テップS31)。
4で行われる待ち要素選択処理のフローチャートであ
る。図13において処理が開始されると、調停部55
は、まず待ち行列62の末尾からk番目にある待ち要素
〈プロセスid,優先度〉に対して、k+(優先度)の
値を計算し、その要素の優先判定値として記録する(ス
テップS31)。
【0083】次に、優先判定値が最大の待ち要素を待ち
行列62から取り出し、取り出した後にできた空きを詰
める(ステップS32)。そして、取り出した優先判定
値最大の待ち要素のプロセスidを調停部55に出力し
て(ステップS33)、処理を終了する。
行列62から取り出し、取り出した後にできた空きを詰
める(ステップS32)。そして、取り出した優先判定
値最大の待ち要素のプロセスidを調停部55に出力し
て(ステップS33)、処理を終了する。
【0084】このような優先判定値を用いて待ち要素の
選択を行えば、優先度が大きいものほど取り出し順位が
大きく繰り上がり、同じ優先度の複数の要素について
は、待ち行列62の先頭近くにあるものから順に取り出
される。
選択を行えば、優先度が大きいものほど取り出し順位が
大きく繰り上がり、同じ優先度の複数の要素について
は、待ち行列62の先頭近くにあるものから順に取り出
される。
【0085】例えば、優先度低=0、優先度中=1、優
先度高=10とすると、優先度低の要素は、多くの場
合、優先度中および優先度高の要素がなくなるまで待た
されることになる。また、優先度高の要素は、待ち行列
62内で先行する優先度中の要素が10個程度以下な
ら、それらより優先的に取り出される。
先度高=10とすると、優先度低の要素は、多くの場
合、優先度中および優先度高の要素がなくなるまで待た
されることになる。また、優先度高の要素は、待ち行列
62内で先行する優先度中の要素が10個程度以下な
ら、それらより優先的に取り出される。
【0086】また、優先度毎に個別に待ち行列を作成す
る方法を採用した場合には、優先度が高い待ち行列から
順に選択され、各待ち行列の先頭から順に要素が取り出
される。したがって、優先度のより低い待ち行列の要素
は、優先度のより高い待ち行列の要素より後に取り出さ
れることになる。
る方法を採用した場合には、優先度が高い待ち行列から
順に選択され、各待ち行列の先頭から順に要素が取り出
される。したがって、優先度のより低い待ち行列の要素
は、優先度のより高い待ち行列の要素より後に取り出さ
れることになる。
【0087】図13に示した優先判定値の計算方法は一
例に過ぎず、同じ優先度の複数の待ち要素間の相対順位
を変えない限り、優先度の高い待ち要素の取り出し順位
を適当に繰り上げるような任意の優先判定値を用いるこ
とができる。例えば、k×(優先度)のような乗算結果
を優先判定値としてもよい。図14は、受け付け部54
から送られたプロセスidに対応するセッション開始要
求を処理する調停部55の折衝処理のフローチャートで
ある。図14において処理が開始されると、調停部55
は、まずメモリ42内に蓄積された音声メッセージを検
索し(ステップS41)、セッション開始要求に対応す
るメッセージを音声信号として利用者14に出力する
(ステップS42)。
例に過ぎず、同じ優先度の複数の待ち要素間の相対順位
を変えない限り、優先度の高い待ち要素の取り出し順位
を適当に繰り上げるような任意の優先判定値を用いるこ
とができる。例えば、k×(優先度)のような乗算結果
を優先判定値としてもよい。図14は、受け付け部54
から送られたプロセスidに対応するセッション開始要
求を処理する調停部55の折衝処理のフローチャートで
ある。図14において処理が開始されると、調停部55
は、まずメモリ42内に蓄積された音声メッセージを検
索し(ステップS41)、セッション開始要求に対応す
るメッセージを音声信号として利用者14に出力する
(ステップS42)。
【0088】このとき、“音声出力を始めてもいいです
か”等の音声メッセージが、音声入出力装置32、音声
出力デバイス48を介して、利用者14に伝えられる。
次に、音声入力デバイス47、音声入出力装置32を介
して入力する音声信号を監視し(ステップS43)、音
声信号の入力があれば、その中に単語が存在するかどう
かを判定する(ステップS44)。
か”等の音声メッセージが、音声入出力装置32、音声
出力デバイス48を介して、利用者14に伝えられる。
次に、音声入力デバイス47、音声入出力装置32を介
して入力する音声信号を監視し(ステップS43)、音
声信号の入力があれば、その中に単語が存在するかどう
かを判定する(ステップS44)。
【0089】ここでは、入力音声のエネルギーが閾値E
を越える時間区間の長さをTとし、Tが閾値T0 以上の
場合に単語が存在するとみなす。閾値Eよりエネルギー
の低い音声はバックグランドとして無視され、閾値Eよ
りエネルギーが高くても、閾値T0 以上続かないような
音声もまた、ノイズとして無視される。ここで、入力音
声のエネルギーの代わりに、振幅を用いて判定してもよ
い。
を越える時間区間の長さをTとし、Tが閾値T0 以上の
場合に単語が存在するとみなす。閾値Eよりエネルギー
の低い音声はバックグランドとして無視され、閾値Eよ
りエネルギーが高くても、閾値T0 以上続かないような
音声もまた、ノイズとして無視される。ここで、入力音
声のエネルギーの代わりに、振幅を用いて判定してもよ
い。
【0090】入力音声に単語が存在しなければ、ステッ
プS43に戻って再び音声信号を監視し、単語が存在す
れば、それを利用者14からの音声セッション開始承認
とみなして、ステップS45以降の音声セッション開始
処理を行う。
プS43に戻って再び音声信号を監視し、単語が存在す
れば、それを利用者14からの音声セッション開始承認
とみなして、ステップS45以降の音声セッション開始
処理を行う。
【0091】したがって、利用者14は、適当な長さの
任意の音声を入力して、音声セッション開始の承認を与
えることができる。また、他の作業に集中するために、
音声セッションを開始させたくないときは、単に沈黙し
ていればよい。調停部55は、単語の存在する音声が入
力されるまで、ステップS43で待機状態となる。
任意の音声を入力して、音声セッション開始の承認を与
えることができる。また、他の作業に集中するために、
音声セッションを開始させたくないときは、単に沈黙し
ていればよい。調停部55は、単語の存在する音声が入
力されるまで、ステップS43で待機状態となる。
【0092】音声セッション開始処理においては、まず
音声セッション開始要求として送付されたプロセスid
に対応するプロセスPi(プログラムPiのプロセス)
に対して、音声セッション開始許可を発行する(ステッ
プS45)。
音声セッション開始要求として送付されたプロセスid
に対応するプロセスPi(プログラムPiのプロセス)
に対して、音声セッション開始許可を発行する(ステッ
プS45)。
【0093】そして、GUI環境の場合には、さらにウ
インドウマネージャ58に対して、プロセスPiの画面
表示領域に対応するウインドウを選択状態にし、ウイン
ドウを再描画することを依頼して(ステップS46)、
処理を終了する。
インドウマネージャ58に対して、プロセスPiの画面
表示領域に対応するウインドウを選択状態にし、ウイン
ドウを再描画することを依頼して(ステップS46)、
処理を終了する。
【0094】この依頼の結果、プロセスPiのウインド
ウが他のウインドウに隠れて表示されていた場合には、
そのウインドウが描き直されて、隠れていた部分が表示
される。
ウが他のウインドウに隠れて表示されていた場合には、
そのウインドウが描き直されて、隠れていた部分が表示
される。
【0095】例えば、図15に示すCRT画面の場合、
プログラムPiのウインドウ73は、プログラムP1の
ウインドウ71とプログラムPnのウインドウ72に一
部隠れているが、再描画によりウインドウ71、72の
上に上書きされる。この画面では、他のプログラムのウ
インドウはアイコン化され、アイコン74、75として
表示されている。
プログラムPiのウインドウ73は、プログラムP1の
ウインドウ71とプログラムPnのウインドウ72に一
部隠れているが、再描画によりウインドウ71、72の
上に上書きされる。この画面では、他のプログラムのウ
インドウはアイコン化され、アイコン74、75として
表示されている。
【0096】こうして、開始許可が発行され、ウインド
ウが再描画されると、プロセスPiは音声入出力装置3
2を使用して利用者14との対話を行う。利用者14が
音声セッションの開始に同意した後に対話が始まるた
め、利用者14は出力される音声メッセージを容易に聞
き取ることができる。
ウが再描画されると、プロセスPiは音声入出力装置3
2を使用して利用者14との対話を行う。利用者14が
音声セッションの開始に同意した後に対話が始まるた
め、利用者14は出力される音声メッセージを容易に聞
き取ることができる。
【0097】また、図16に示すようにCRT画面の面
積が大きく、画面の周辺領域に表示されているウインド
ウ76またはウインドウ77のプログラムが音声出力を
行う場合でも、利用者14は音声入力により対話開始を
指示できる。このため、ウインドウ76、77にカーソ
ルを移動させてクリックするなどの煩雑な操作なしで、
音声出力を開始させることができる。
積が大きく、画面の周辺領域に表示されているウインド
ウ76またはウインドウ77のプログラムが音声出力を
行う場合でも、利用者14は音声入力により対話開始を
指示できる。このため、ウインドウ76、77にカーソ
ルを移動させてクリックするなどの煩雑な操作なしで、
音声出力を開始させることができる。
【0098】さらに、GUI環境の場合には、画面上で
のウインドウの表示位置に関するヒントを利用者14に
提示するために、音声を出力するウインドウの表示位置
を疑似的な音源位置とするようなステレオ音源を使用す
る。
のウインドウの表示位置に関するヒントを利用者14に
提示するために、音声を出力するウインドウの表示位置
を疑似的な音源位置とするようなステレオ音源を使用す
る。
【0099】図17は、このようなステレオ音源による
ウインドウ表示位置の提示方法の例を示している。図1
7において、ディスプレイ46の画面の左右には、それ
ぞれ多段のスピーカ列左81、スピーカ列右82が配置
されている。今、画面に表示されているウインドウ8
5、86、87のうち、ウインドウ87のプログラムが
音声セッション開始を要求しているとする。
ウインドウ表示位置の提示方法の例を示している。図1
7において、ディスプレイ46の画面の左右には、それ
ぞれ多段のスピーカ列左81、スピーカ列右82が配置
されている。今、画面に表示されているウインドウ8
5、86、87のうち、ウインドウ87のプログラムが
音声セッション開始を要求しているとする。
【0100】このとき、図14のステップS42におい
て提示される音声メッセージは、利用者14にとって、
ウインドウ87の表示位置から出力されたように聞こえ
ることが望ましい。このような音像が得られれば、利用
者14は音声の聞こえた方を見るだけでウインドウ87
の表示位置を確認することができ、音声セッションが開
始された後、直ちにデスク88上のマウス89を用いて
必要な入力を行うことができる。
て提示される音声メッセージは、利用者14にとって、
ウインドウ87の表示位置から出力されたように聞こえ
ることが望ましい。このような音像が得られれば、利用
者14は音声の聞こえた方を見るだけでウインドウ87
の表示位置を確認することができ、音声セッションが開
始された後、直ちにデスク88上のマウス89を用いて
必要な入力を行うことができる。
【0101】そこで、音声セッションスケジューラー3
1は、まずウインドウ87と同じ高さに対応するスピー
カ段数を指定して、その段の左右のスピーカを選択し、
垂直方向(y方向)のパン(pan )焦点位置83をウイ
ンドウ87の高さに合わせる。ここで、パン焦点位置と
は、スピーカ列左81とスピーカ列右82から出力され
た音声を利用者14が聞いたときに、得られる音像の焦
点位置を意味する。
1は、まずウインドウ87と同じ高さに対応するスピー
カ段数を指定して、その段の左右のスピーカを選択し、
垂直方向(y方向)のパン(pan )焦点位置83をウイ
ンドウ87の高さに合わせる。ここで、パン焦点位置と
は、スピーカ列左81とスピーカ列右82から出力され
た音声を利用者14が聞いたときに、得られる音像の焦
点位置を意味する。
【0102】次に、選択した左右のスピーカの音量等を
調整して、水平方向(x方向)のパン焦点位置84をウ
インドウ87の位置に合わせる。このようにして、ステ
レオフォニック音響を生成することにより、音像の焦点
位置をウインドウ87の中心位置に合わせることができ
る。音声セッションが開始された後も、音声入出力装置
32により同様の制御が行われる。
調整して、水平方向(x方向)のパン焦点位置84をウ
インドウ87の位置に合わせる。このようにして、ステ
レオフォニック音響を生成することにより、音像の焦点
位置をウインドウ87の中心位置に合わせることができ
る。音声セッションが開始された後も、音声入出力装置
32により同様の制御が行われる。
【0103】図18は、音声セッションの終了申請を行
う終了申請部52の処理のフローチャートである。図1
8において、終了申請部52による音声セッション終了
申請処理は、プログラム中の終了コマンド“end ”によ
り音声セッションの終了時点で呼び出される。
う終了申請部52の処理のフローチャートである。図1
8において、終了申請部52による音声セッション終了
申請処理は、プログラム中の終了コマンド“end ”によ
り音声セッションの終了時点で呼び出される。
【0104】終了申請部52は、まずプログラムのプロ
セスidをシステムコールを用いて獲得し(ステップS
51)、それをセッション終了要求として音声セッショ
ンスケジューラー31の終了部56に送付する(ステッ
プS52)。そして、音声セッションスケジューラ31
からの終了許可待ちの状態となって(ステップS5
3)、処理を終了する。
セスidをシステムコールを用いて獲得し(ステップS
51)、それをセッション終了要求として音声セッショ
ンスケジューラー31の終了部56に送付する(ステッ
プS52)。そして、音声セッションスケジューラ31
からの終了許可待ちの状態となって(ステップS5
3)、処理を終了する。
【0105】図19は、終了申請部52からセッション
終了要求を受け取った終了部56の処理のフローチャー
トである。図19のステップS61〜S65の処理は、
図14のステップS41〜S45の調停部55の処理と
同様である。図19において処理が開始されると、終了
部56は、まずメモリ42内に蓄積された音声メッセー
ジを検索し(ステップS61)、セッション終了要求に
対応するメッセージを音声信号として利用者14に出力
する(ステップS62)。
終了要求を受け取った終了部56の処理のフローチャー
トである。図19のステップS61〜S65の処理は、
図14のステップS41〜S45の調停部55の処理と
同様である。図19において処理が開始されると、終了
部56は、まずメモリ42内に蓄積された音声メッセー
ジを検索し(ステップS61)、セッション終了要求に
対応するメッセージを音声信号として利用者14に出力
する(ステップS62)。
【0106】このとき、“音声出力を終わってもいいで
すか”等の音声メッセージが、音声入出力装置32、音
声出力デバイス48を介して、利用者14に伝えられ
る。次に、音声入力デバイス47、音声入出力装置32
を介して入力する音声信号を監視し(ステップS6
3)、音声信号の入力があれば、図14のステップS4
4と同様にして、その中に単語が存在するかどうかを判
定する(ステップS64)。
すか”等の音声メッセージが、音声入出力装置32、音
声出力デバイス48を介して、利用者14に伝えられ
る。次に、音声入力デバイス47、音声入出力装置32
を介して入力する音声信号を監視し(ステップS6
3)、音声信号の入力があれば、図14のステップS4
4と同様にして、その中に単語が存在するかどうかを判
定する(ステップS64)。
【0107】入力音声に単語が存在しなければ、ステッ
プS63に戻って再び音声信号を監視し、単語が存在す
れば、それを利用者14からの音声セッション終了承認
とみなして、ステップS65以降の音声セッション終了
処理を行う。したがって、利用者14は、適当な長さの
任意の音声を入力して音声セッション終了の承認を与え
ることができ、それを終了させたくないときは、単に沈
黙していればよい。
プS63に戻って再び音声信号を監視し、単語が存在す
れば、それを利用者14からの音声セッション終了承認
とみなして、ステップS65以降の音声セッション終了
処理を行う。したがって、利用者14は、適当な長さの
任意の音声を入力して音声セッション終了の承認を与え
ることができ、それを終了させたくないときは、単に沈
黙していればよい。
【0108】音声セッション終了処理においては、まず
音声セッション終了要求として送付されたプロセスid
に対応するプロセスPiに対して、音声セッション終了
許可を発行する(ステップS65)。そして、状態表示
部53のフラグ61を0に設定して、待ち行列62から
の次の要素の取り出しを許可し(ステップS66)、処
理を終了する。
音声セッション終了要求として送付されたプロセスid
に対応するプロセスPiに対して、音声セッション終了
許可を発行する(ステップS65)。そして、状態表示
部53のフラグ61を0に設定して、待ち行列62から
の次の要素の取り出しを許可し(ステップS66)、処
理を終了する。
【0109】このように、利用者14に承認を求めて、
音声セッションの終了処理を遅延させることにより、利
用者14は、その音声セッションで作成された画面表示
をチェックする時間を得る。ここで、何かやり残した作
業があれば、それを完了した後に終了承認を与えること
ができる。
音声セッションの終了処理を遅延させることにより、利
用者14は、その音声セッションで作成された画面表示
をチェックする時間を得る。ここで、何かやり残した作
業があれば、それを完了した後に終了承認を与えること
ができる。
【0110】ところで、上述したウインドウ表示位置を
音源位置とするステレオ音源は、一度に全体を目視でき
ないほど巨大な表示画面を持つGUI環境においても、
大きな効果を発揮する。
音源位置とするステレオ音源は、一度に全体を目視でき
ないほど巨大な表示画面を持つGUI環境においても、
大きな効果を発揮する。
【0111】図20は、このような巨大な表示画面を持
つGUI環境の例を示している。図20において、多数
のワークステーション92がネットワーク93により互
いに結合され、1つのワークステーション・クラスタ9
1を構成している。また、ディスプレイ・クラスタ94
は、ワークステーション・クラスタ91に属するワーク
ステーション92の画面全体から構成される。利用者1
4は、監視用ディスプレイ95を用いてディスプレイ・
クラスタ94の各画面を監視する。
つGUI環境の例を示している。図20において、多数
のワークステーション92がネットワーク93により互
いに結合され、1つのワークステーション・クラスタ9
1を構成している。また、ディスプレイ・クラスタ94
は、ワークステーション・クラスタ91に属するワーク
ステーション92の画面全体から構成される。利用者1
4は、監視用ディスプレイ95を用いてディスプレイ・
クラスタ94の各画面を監視する。
【0112】このディスプレイ・クラスタ94の左右に
スピーカ列左96、スピーカ列右97を配置することに
より、図17と同様にして、特定のワークステーション
92の画面に焦点を合わせたステレオフォニック音響を
生成することができる。したがって、利用者14は、音
声セッションの開始を申請したワークステーション92
の画面を効率良く発見できる。
スピーカ列左96、スピーカ列右97を配置することに
より、図17と同様にして、特定のワークステーション
92の画面に焦点を合わせたステレオフォニック音響を
生成することができる。したがって、利用者14は、音
声セッションの開始を申請したワークステーション92
の画面を効率良く発見できる。
【0113】また、本実施形態において、調停部55あ
るいは終了部56が利用者14からの応答を認識する方
法としては、図14あるいは図19に示した入力音声の
エネルギーを使う方法以外に、次のようなものが考えら
れる。
るいは終了部56が利用者14からの応答を認識する方
法としては、図14あるいは図19に示した入力音声の
エネルギーを使う方法以外に、次のようなものが考えら
れる。
【0114】第1の方法は、公知の技術である音声認識
技術を使って、標準音声パターンとの照合を行う方法で
ある。第2の方法は、キーボード上の特定のキーを応答
キーとして予約しておき、利用者14によるキーボード
入力を監視することによって、その応答を判断する方法
である。その他、任意の方法で入力された応答を認識し
て、利用者14による承認の有無を判定することができ
る。
技術を使って、標準音声パターンとの照合を行う方法で
ある。第2の方法は、キーボード上の特定のキーを応答
キーとして予約しておき、利用者14によるキーボード
入力を監視することによって、その応答を判断する方法
である。その他、任意の方法で入力された応答を認識し
て、利用者14による承認の有無を判定することができ
る。
【0115】以上説明した実施形態によれば、待ち行列
62の要素を1度に1つずつ処理することにより、複数
の音声セッションが時間的に整列されるので、利用者に
対して無秩序に音声対話が開始されることがなく、作業
能率の低下が回避される。
62の要素を1度に1つずつ処理することにより、複数
の音声セッションが時間的に整列されるので、利用者に
対して無秩序に音声対話が開始されることがなく、作業
能率の低下が回避される。
【0116】また、音声セッションの開始時点と終了時
点とを利用者が指定できるので、プログラム編集を典型
とする、音声対話を使用しない作業に利用者が集中して
いる時に、音声対話セッションが開始されることがな
く、それによる作業能率低下も回避される。また、利用
者が同意しなければセッションが開始/終了されないの
で、作業中の画面を整理する時間的余裕が利用者に与え
られる。
点とを利用者が指定できるので、プログラム編集を典型
とする、音声対話を使用しない作業に利用者が集中して
いる時に、音声対話セッションが開始されることがな
く、それによる作業能率低下も回避される。また、利用
者が同意しなければセッションが開始/終了されないの
で、作業中の画面を整理する時間的余裕が利用者に与え
られる。
【0117】また、音声セッション開始要求を、画面表
示の変化でなく、音声により提示するので、隠れ表示位
置にあるウインドウからの開始要求も、直接利用者に提
示される。
示の変化でなく、音声により提示するので、隠れ表示位
置にあるウインドウからの開始要求も、直接利用者に提
示される。
【0118】さらに利用者からの応答を、画面上の位置
指定でなく音声等で行うことにより、隠れ位置にあるウ
インドウを捜す作業を省くことができる。したがって、
隠れ位置にあるウインドウを探すために画面表示を書き
換える必要もなく、作業中の画面表示が壊されて能率が
低下することも防止される。
指定でなく音声等で行うことにより、隠れ位置にあるウ
インドウを捜す作業を省くことができる。したがって、
隠れ位置にあるウインドウを探すために画面表示を書き
換える必要もなく、作業中の画面表示が壊されて能率が
低下することも防止される。
【0119】
【発明の効果】本発明によれば、プログラムの指令に基
づいて音声を出力する情報処理装置において、複数のプ
ログラムによる音声出力の実行順序が整列され、音声セ
ッションが各プログラム毎に分離される。したがって、
複数のプログラムからの音声が混合することはなく、計
算機利用者にとって、出力音声とプログラムの対応関係
が明確になる。
づいて音声を出力する情報処理装置において、複数のプ
ログラムによる音声出力の実行順序が整列され、音声セ
ッションが各プログラム毎に分離される。したがって、
複数のプログラムからの音声が混合することはなく、計
算機利用者にとって、出力音声とプログラムの対応関係
が明確になる。
【0120】また、各音声セッションの開始前に利用者
に対して開始承認を求めるので、利用者が同意を与えた
時に音声セッションを開始させることができる。したが
って、利用者が予期しないときに、突然、音声セッショ
ンが始まるようなことはなくなり、利用者が音声メッセ
ージを聞き取りやすくなる。
に対して開始承認を求めるので、利用者が同意を与えた
時に音声セッションを開始させることができる。したが
って、利用者が予期しないときに、突然、音声セッショ
ンが始まるようなことはなくなり、利用者が音声メッセ
ージを聞き取りやすくなる。
【0121】さらに、各音声セッションの終了前に利用
者に対して終了承認を求めるので、利用者が同意を与え
た時に音声セッションを終了させることができる。した
がって、利用者が画面の整理をしたり、作業の完了をチ
ェックしたりする時間的余裕が生まれる。
者に対して終了承認を求めるので、利用者が同意を与え
た時に音声セッションを終了させることができる。した
がって、利用者が画面の整理をしたり、作業の完了をチ
ェックしたりする時間的余裕が生まれる。
【図1】本発明の原理図である。
【図2】音声セッションスケジューラーを示す図であ
る。
る。
【図3】セッションスケジューリングの方法を示す図で
ある。
ある。
【図4】セッション開始時刻の到着順割り当て制御を示
す図である。
す図である。
【図5】セッション開始時刻の優先順位付き割り当て制
御を示す図である。
御を示す図である。
【図6】実施形態におけるスケジューリング装置の構成
図である。
図である。
【図7】実施形態におけるソフトウェア構成を示す図で
ある。
ある。
【図8】状態表示部の構成例を示す図である。
【図9】待ち行列の構造を示す図である。
【図10】開始申請部の処理のフローチャートである。
【図11】待ち行列作成処理のフローチャートである。
【図12】待ち行列要素取り出し処理のフローチャート
である。
である。
【図13】待ち要素選択処理のフローチャートである。
【図14】調停部の処理のフローチャートである。
【図15】隠れウインドウを示す図である。
【図16】画面の周辺部に表示されたウインドウを示す
図である。
図である。
【図17】ステレオ音源によるウインドウ表示位置の提
示方法を示す図である。
示方法を示す図である。
【図18】終了申請部の処理のフローチャートである。
【図19】終了部の処理のフローチャートである。
【図20】巨大な表示画面を持つGUI環境を示す図で
ある。
ある。
【図21】音声入出力付きの計算機システムを示す図で
ある。
ある。
【図22】マルチプロセス環境における音声の利用例を
示す図である。
示す図である。
【図23】音声トレースを使ったプログラムのデバッグ
画面を示す図である。
画面を示す図である。
【図24】印刷結果の混線を示す図である。
【図25】排他専有制御による混線問題の解決法を示す
図である。
図である。
【図26】セッションスケジューリングの必要性を示す
図である。
図である。
【図27】音声出力順序の混乱回避法を示す図である。
1 ウインドウ表示装置 2 標準入力装置 3、32 音声入出力装置 4 CRTディスプレイ 5 キーボード 6 ポインティングデバイス 7 音声入出力デバイス 8、42 メモリ 11 電子メールプログラム 12 エディタ 13 音声出力装置 14 計算機利用者 21 スケジューラー手段 22 音声出力手段 31 音声セッションスケジューラー 41 CPU 43 入力装置 44 入力デバイス 45 表示装置 46 ディスプレイ 47 音声入力デバイス 48 音声出力デバイス 49 バス 51 開始申請部 52 終了申請部 53 状態表示部 54 受け付け部 55 調停部 56 修了部 57 オペレーテイングシステム 58 ウインドウマネージャ 61 フラグ 62 待ち行列 63、64 待ち要素 71、72、73、76、77、85、86、87 ウ
インドウ 74、75 アイコン 81、96 スピーカ列左 82、97 スピーカ列右 83、84 パン焦点位置 88 デスク 89 マウス 91 ワークステーション・クラスタ 92 ワークステーション 93 ネットワーク 94 ディスプレイ・クラスタ 95 監視用ディスプレイ
インドウ 74、75 アイコン 81、96 スピーカ列左 82、97 スピーカ列右 83、84 パン焦点位置 88 デスク 89 マウス 91 ワークステーション・クラスタ 92 ワークステーション 93 ネットワーク 94 ディスプレイ・クラスタ 95 監視用ディスプレイ
Claims (23)
- 【請求項1】 プログラムの指令に基づいて音声を出力
する情報処理装置において、 前記プログラムから音声セッションの開始要求を受け取
り、利用者に該音声セッションの開始の承認を求めて、
該利用者からの承認が得られたときに、該プログラムに
該音声セッションの開始許可を与えるスケジューラー手
段と、 前記スケジューラー手段の指示に基づいて、前記音声セ
ッションの開始の承認を求める音声を出力する音声出力
手段とを備えることを特徴とするスケジューリング装
置。 - 【請求項2】 前記プログラムのプロセス識別子を含む
前記開始要求を前記スケジューラー手段に送り、該スケ
ジューラー手段からの前記開始許可を待つ開始申請手段
をさらに備えることを特徴とする請求項1記載のスケジ
ューリング装置。 - 【請求項3】 前記スケジューラー手段は、 複数のプログラムからの複数の開始要求を要素とする待
ち行列を生成し、優先順位計算を行って、最も優先順位
の高い要素を取り出す受け付け手段と、 取り出された要素に対応する前記プログラムの音声セッ
ションの開始の承認を、前記利用者に求める調停手段と
を備えることを特徴とする請求項1記載のスケジューリ
ング装置。 - 【請求項4】 前記調停手段は、前記開始要求に基づい
て前記音声セッションの開始の承認を求める音声データ
を検索し、該音声データを前記音声出力手段に出力し
て、前記利用者からの承認が得られたとき、前記プログ
ラムに前記開始許可を与えることを特徴とする請求項3
記載のスケジューリング装置。 - 【請求項5】 前記プログラムに対応するウインドウを
画面表示するウインドウ表示手段をさらに備え、前記調
停手段は、該ウインドウを他のウインドウに隠れない表
示位置に再描画するように、前記ウインドウ表示手段に
依頼することを特徴とする請求項4記載のスケジューリ
ング装置。 - 【請求項6】 前記スケジューラー手段は、前記受け付
け手段が前記待ち行列から要素を取り出したとき、それ
以上の要素取り出しを禁止することを表示する状態表示
手段をさらに備えることを特徴とする請求項3記載のス
ケジューリング装置。 - 【請求項7】 前記スケジューラー手段は、前記プログ
ラムから前記音声セッションの終了要求を受け取り、該
終了要求に基づいて前記音声セッションの終了の承認を
求める音声データを検索し、該音声データを前記音声出
力手段に出力して、前記利用者からの承認が得られたと
き、前記プログラムに前記終了許可を与える終了手段を
さらに備えることを特徴とする請求項6記載のスケジュ
ーリング装置。 - 【請求項8】 前記状態表示手段は、前記終了手段が前
記終了許可を出したとき、前記待ち行列からの要素取り
出しを許可することを表示することを特徴とする請求項
7記載のスケジューリング装置。 - 【請求項9】 前記音声出力手段は、前記プログラムに
対応するウインドウの表示位置を疑似的な音源位置とす
るステレオフォニック音響を生成することを特徴とする
請求項1記載のスケジューリング装置。 - 【請求項10】 前記スケジューラー手段は、前記利用
者からの入力音声に単語が存在するかどうかを判定し、
該単語が存在するとき、該利用者からの承認が得られた
と判断することを特徴とする請求項1記載のスケジュー
リング装置。 - 【請求項11】 前記スケジューラー手段は、前記利用
者からの入力音声を認識して、該利用者からの承認が得
られたかどうかを判断する音声認識手段を備えることを
特徴とする請求項1記載のスケジューリング装置。 - 【請求項12】 前記スケジューラー手段は、前記利用
者によるキーボードからの入力信号を監視し、特定のキ
ーによる入力を検出したとき、該利用者からの承認が得
られたと判断することを特徴とする請求項1記載のスケ
ジューリング装置。 - 【請求項13】 前記スケジューラー手段は、前記プロ
グラムからさらに前記音声セッションの終了要求を受け
取り、前記利用者に該音声セッションの終了の承認を求
めて、該利用者からの承認が得られたときに、該プログ
ラムに該音声セッションの終了許可を与え、前記音声出
力手段は、前記スケジューラー手段の指示に基づいて、
前記音声セッションの終了の承認を求める音声を出力す
ることを特徴とする請求項1記載のスケジューリング装
置。 - 【請求項14】 前記プログラムのプロセス識別子を含
む前記終了要求を前記スケジューラー手段に送り、該ス
ケジューラー手段からの前記終了許可を待つ終了申請手
段をさらに備えることを特徴とする請求項13記載のス
ケジューリング装置。 - 【請求項15】 前記スケジューラー手段は、前記利用
者からの入力音声に単語が存在するかどうかを判定し、
該単語が存在するとき、該利用者からの終了の承認が得
られたと判断することを特徴とする請求項13記載のス
ケジューリング装置。 - 【請求項16】 前記スケジューラー手段は、前記利用
者からの入力音声を認識して、該利用者からの終了の承
認が得られたかどうかを判断する音声認識手段を備える
ことを特徴とする請求項13記載のスケジューリング装
置。 - 【請求項17】 前記スケジューラー手段は、前記利用
者によるキーボードからの入力信号を監視し、特定のキ
ーによる入力を検出したとき、該利用者からの終了の承
認が得られたと判断することを特徴とする請求項13記
載のスケジューリング装置。 - 【請求項18】 複数のプログラムが並列に走行する環
境で、音声を出力する音声セッションを制御する情報処
理装置において、 プログラムの音声セッションの開始要求を生成し、該音
声セッションの開始許可を待つ開始申請手段と、 前記開始要求を受け取り、該音声セッションの開始のタ
イミングを利用者と調整して、前記開始申請手段に前記
開始許可を与える調停手段と、 前記プログラムの音声セッションの終了要求を生成し、
該音声セッションの終了許可を待つ終了申請手段と、 前記終了要求を受け取り、該音声セッションの終了のタ
イミングを前記利用者と調整して、前記終了申請手段に
前記終了許可を与える終了手段とを備えることを特徴と
するスケジューリング装置。 - 【請求項19】 プログラムの指令に基づいて音声を出
力する情報処理装置において、 前記プログラムの音声セッションに関するタイミング
を、利用者からの承認に基づいて決定するスケジューラ
ー手段を備えることを特徴とするスケジューリング装
置。 - 【請求項20】 走行中のプログラムの指令に基づいて
音声を出力するためのプログラムを記録した記録媒体で
あって、 前記走行中のプログラムから音声セッションの開始要求
を受け取り、利用者に該音声セッションの開始の承認を
求める音声を出力する機能と、 前記利用者からの承認が得られたときに、前記走行中の
プログラムに前記音声セッションの開始許可を与える機
能とをコンピュータに実現させるためのプログラムを記
録したコンピュータ読み取り可能な記録媒体。 - 【請求項21】 前記走行中のプログラムから前記音声
セッションの終了要求を受け取り、前記利用者に該音声
セッションの終了の承認を求める音声を出力する機能
と、該利用者からの承認が得られたときに、該走行中の
プログラムに該音声セッションの終了許可を与える機能
とを前記コンピュータに実現させるためのプログラムを
さらに記録した請求項20記載のコンピュータ読み取り
可能な記録媒体。 - 【請求項22】 プログラムの指令に基づいて音声を出
力する情報処理方法において、 前記プログラムから音声セッションの開始要求を受け取
り、利用者に該音声セッションの開始の承認を求める音
声を出力し、 前記利用者からの承認が得られたときに、前記プログラ
ムに前記音声セッションの開始許可を与えることを特徴
とするスケジューリング方法。 - 【請求項23】 さらに、前記プログラムから前記音声
セッションの終了要求を受け取り、前記利用者に該音声
セッションの終了の承認を求める音声を出力し、該利用
者からの承認が得られたときに、該プログラムに該音声
セッションの終了許可を与えることを特徴とする請求項
22記載のスケジューリング方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9107078A JPH1049342A (ja) | 1996-04-25 | 1997-04-24 | 音声セッションのスケジューリング装置および方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8-105734 | 1996-04-25 | ||
JP10573496 | 1996-04-25 | ||
JP9107078A JPH1049342A (ja) | 1996-04-25 | 1997-04-24 | 音声セッションのスケジューリング装置および方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH1049342A true JPH1049342A (ja) | 1998-02-20 |
Family
ID=26445974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9107078A Pending JPH1049342A (ja) | 1996-04-25 | 1997-04-24 | 音声セッションのスケジューリング装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH1049342A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112486048A (zh) * | 2019-09-11 | 2021-03-12 | 西安雷迪信息技术有限公司 | 一种应用于轨道交通的多路语音方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6045300A (ja) * | 1983-08-22 | 1985-03-11 | 株式会社オ−ゼン | 音声発生装置 |
JPH02272626A (ja) * | 1989-04-13 | 1990-11-07 | Nec Corp | 聴覚情報出力管理方式 |
JPH04237288A (ja) * | 1991-01-21 | 1992-08-25 | Nippon Telegr & Teleph Corp <Ntt> | 複数画像ウインドウ表示用音信号出力方法 |
JPH05204355A (ja) * | 1992-01-27 | 1993-08-13 | Matsushita Electric Ind Co Ltd | ウィンドウ表示制御装置 |
JPH06113038A (ja) * | 1992-09-30 | 1994-04-22 | Ricoh Co Ltd | ファクシミリ装置 |
JPH06152638A (ja) * | 1992-11-13 | 1994-05-31 | Hitachi Ltd | クライアント・サーバシステムおよびメール着信・再生制御方法 |
JPH0781181A (ja) * | 1993-09-17 | 1995-03-28 | Canon Inc | Icカードで使用状況等がチェックできる画像形成装置システム |
JPH07140998A (ja) * | 1992-12-28 | 1995-06-02 | Toshiba Corp | 音声認識インターフェース |
JPH07299202A (ja) * | 1994-05-09 | 1995-11-14 | Ace Denken:Kk | ゲーム装置 |
JPH08263260A (ja) * | 1995-03-20 | 1996-10-11 | Hitachi Ltd | テキスト読み上げ方法 |
JPH0981366A (ja) * | 1995-09-14 | 1997-03-28 | Toshiba Corp | 合成音声出力装置 |
-
1997
- 1997-04-24 JP JP9107078A patent/JPH1049342A/ja active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6045300A (ja) * | 1983-08-22 | 1985-03-11 | 株式会社オ−ゼン | 音声発生装置 |
JPH02272626A (ja) * | 1989-04-13 | 1990-11-07 | Nec Corp | 聴覚情報出力管理方式 |
JPH04237288A (ja) * | 1991-01-21 | 1992-08-25 | Nippon Telegr & Teleph Corp <Ntt> | 複数画像ウインドウ表示用音信号出力方法 |
JPH05204355A (ja) * | 1992-01-27 | 1993-08-13 | Matsushita Electric Ind Co Ltd | ウィンドウ表示制御装置 |
JPH06113038A (ja) * | 1992-09-30 | 1994-04-22 | Ricoh Co Ltd | ファクシミリ装置 |
JPH06152638A (ja) * | 1992-11-13 | 1994-05-31 | Hitachi Ltd | クライアント・サーバシステムおよびメール着信・再生制御方法 |
JPH07140998A (ja) * | 1992-12-28 | 1995-06-02 | Toshiba Corp | 音声認識インターフェース |
JPH0781181A (ja) * | 1993-09-17 | 1995-03-28 | Canon Inc | Icカードで使用状況等がチェックできる画像形成装置システム |
JPH07299202A (ja) * | 1994-05-09 | 1995-11-14 | Ace Denken:Kk | ゲーム装置 |
JPH08263260A (ja) * | 1995-03-20 | 1996-10-11 | Hitachi Ltd | テキスト読み上げ方法 |
JPH0981366A (ja) * | 1995-09-14 | 1997-03-28 | Toshiba Corp | 合成音声出力装置 |
Non-Patent Citations (1)
Title |
---|
HITACHI GROUPMAIL ユーザーズガイド, vol. 第4版, CSNA199800824001, 1 January 1996 (1996-01-01), JP, pages 27, ISSN: 0000796082 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112486048A (zh) * | 2019-09-11 | 2021-03-12 | 西安雷迪信息技术有限公司 | 一种应用于轨道交通的多路语音方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6192339B1 (en) | Mechanism for managing multiple speech applications | |
US6384829B1 (en) | Streamlined architecture for embodied conversational characters with reduced message traffic | |
JP6848147B2 (ja) | 音声インタラクション実現方法、装置、コンピュータデバイス及びプログラム | |
US8630858B2 (en) | Methods and apparatus for initiating actions using a voice-controlled interface | |
US6606599B2 (en) | Method for integrating computing processes with an interface controlled by voice actuated grammars | |
US6208972B1 (en) | Method for integrating computer processes with an interface controlled by voice actuated grammars | |
US11721273B2 (en) | Information display method, terminal device, and storage medium | |
CN108200134A (zh) | 请求消息管理方法及装置、存储介质 | |
JP3265131B2 (ja) | イベント生成分配方式 | |
EP3915105A1 (en) | Initializing non-assistant background actions, via an automated assistant, while accessing a non-assistant application | |
JP7170739B2 (ja) | リモートに生成された自動化アシスタントコンテンツのレンダリングにおけるクライアントデバイスレイテンシの軽減 | |
JP7110496B2 (ja) | ワイヤレススピーカーにおいて、再生を検出するため、かつ/または不整合な再生に適応するための構造化オーディオ出力の使用 | |
US10770094B2 (en) | Routing audio streams based on semantically generated result sets | |
US5483618A (en) | Method and system for distinguishing between plural audio responses in a multimedia multitasking environment | |
US7430511B1 (en) | Speech enabled computing system | |
US11544473B2 (en) | System and method for sentiment analysis of chat ghost typing | |
JPH1049342A (ja) | 音声セッションのスケジューリング装置および方法 | |
JPH0465711A (ja) | 表示装置の表示制御方式 | |
JP7310706B2 (ja) | エージェント制御装置、エージェント制御方法、及びエージェント制御プログラム | |
JP7310705B2 (ja) | エージェント制御装置、エージェント制御方法、及びエージェント制御プログラム | |
CN111580766B (zh) | 一种信息显示方法、装置和信息显示系统 | |
CN113767379B (zh) | 使用内容代理和/或存储的内容参数来渲染内容 | |
JP5184071B2 (ja) | 書き起こしテキスト作成支援装置、書き起こしテキスト作成支援プログラム、及び書き起こしテキスト作成支援方法 | |
JP2023097551A (ja) | 情報処理装置、情報処理方法、プログラム | |
CN114187042A (zh) | 基于机器人的服务方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060209 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061212 |