JPH0573531A - 文章入力編集システム - Google Patents

Abstract

(57)【要約】 【目的】本発明は、基本的に音声で文章を入力し、手や
指の動作で平仮名や片仮名、漢字等の表現形式指定する
ことによって効率的な文章入力ができ、かつ操作者の眼
に装着する表示装置によって目の前に表示される画面に
対して手や指を指し示す等の行為により文章編集を可能
とすることを主な特徴とする。 【構成】マイクロホン１１を介して入力される音声で基
本的な文章を入力し、手指動作感知装置１２を介して入
力される手や指の動作で平仮名や片仮名、漢字等の表現
形式を指定することによって文章入力を行い、操作者の
眼に装着されるヘッドアップディスプレイ装置１３によ
って目の前に表示される画面に対して手や指を指し示す
等の行為により文章編集を行うことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、文章入力及び編集を
行う、小型で可搬性に優れた文章入力編集システムに関
する。

【０００２】

【従来の技術】オフィスオートメーション（ＯＡ）分野
でのローエンドマシンとしてワードプロセッサ、あるい
はパーソナルコンピュータが普及してきた。文書入力、
編集を行うこのＯＡ機器では、入力、編集のマンマシン
インタフェースとしてキーボードを用いるのが普通であ
る。キーボードは慣れると早く入力ができ、使い易いも
のではあるが、コンピュータに馴染みのない人間にとっ
ては使い難く、また、拒否感を与えたりして子供から老
人まで誰でも扱えるものではなかった。また、操作上、
キーボードはある程度の面積を要し、どこにでも移動さ
せることができるといった携帯性に弱みを持っていた。

【０００３】

【発明が解決しようとする課題】キーボードを使わずに
文章を入力する方法として、音声入力認識方式が研究さ
れ、一部で実用化されているが、文章の入力としては同
じ発音でも、表現形式には平仮名、片仮名、漢字、英数
文字等があり、通常の音声だけではどのように表現する
かが確定しないという問題があった。また、音声入力認
識による文章入力においても、表示には机上のディスプ
レイ装置を用いており、やはりどこへでも移動できると
いった携帯性に弱点を持っていたものである。

【０００４】本発明は上記事情に鑑みてなされたもので
あり、基本的に音声で文章を入力し、手や指の動作で平
仮名や片仮名、漢字等の表現形式を指定することによっ
て効率的な文章入力ができ、かつ、操作者の眼に装着す
るディスプレイ装置によって目の前に表示される画面に
対して手や指を指し示す等の行為により文章編集を可能
とする、キーボードを必要とせず、かつ小型で携帯性に
優れた文章入力編集システムを提供することを目的とす
る。

【０００５】

【課題を解決するための手段】本発明の文章入力編集シ
ステムは、操作者の音声を電気信号に変換するマイクロ
ホンと、操作者の指や手の動きを感知し電気信号に変換
するセンサと、操作者の眼前に装着され、目の前に画像
を作り出すヘッドアップディスプレイと、上記センサに
よって感知され生成される電気信号を入力モード指定や
編集指示として認識し、マイクロホンを介して得られる
音声信号を文章情報として認識し、更に認識した文章を
判定した入力モードもしくは編集モードに従いヘッドア
ップディスプレイに表示するそれぞれのプログラムが記
憶されるメモリと、これを読み出し実行するマイクロプ
ロセッサとを具備し、音声と手や指の動作によって文章
入力もしくは編集操作を行うことを特徴とする。

【０００６】

【作用】上述した構成にて、マイクロホンを介して入力
される音声で基本的な文章を入力し、センサを介して入
力される手や指の動作で平仮名や片仮名、漢字等の表現
形式指定することによって完全な文章入力を行う。ま
た、操作者の眼に装着されるヘッドアップディスプレイ
装置によって目の前に表示される画面に対して手や指を
指し示す等の行為により文章編集を可能とする。上述し
た入力、編集は、マイクロホン、センサ、ヘッドアップ
ディスプレイ等ハードウェアアと協動して、メモリにあ
らかじめ記憶された、認識プログラムをマイクロプロセ
ッサが読み出し実行することによりなされる。このこと
により、キーボードを必要とせず、かつ小型で携帯性に
優れた文章入力編集システムを提供することができる。

【０００７】

【実施例】図１は本発明の実施例を示すブロック図であ
る。図において、１１はマイクロホンであり、操作者に
より発生される音声を電気信号に変換する。１２は手指
動作感知装置である。手指動作感知装置１２は、操作者
の指や手の動作を感知するセンサが備わっており、指や
手の動作を電気信号に変換する。１３はヘッドアップデ
ィスプレイ装置である。ヘッドアップディスプレイ装置
１３は眼前に装着することによって目の前に画像を作り
出す。１４は制御装置であり、メモリ、マイクロプロセ
ッサ等からなり、メモリに記憶されたプログラムをマイ
クロプロセッサが読み出し、実行することによりシステ
ム全体の制御を司る。メモリに記憶されるプログラムと
しては、手指動作感知装置１２によって感知され生成さ
れる電気信号を入力モード指定や編集指示として認識す
るプログラムＡと、マイクロホン１１を介して得られる
音声信号を文章情報として認識するプログラムＢと、プ
ログラムＢにより認識した文章をプログラムＡで判定し
た入力モードもしくは編集モードに従いヘッドアップデ
ィスプレイに１３に表示するプログラム等がある。

【０００８】図２、図３はそれぞれ本発明実施例の動作
を説明するために引用したフローチャートであり、図２
は、音声と手や指の動作によって入力モードを指定しな
がら文章を入力する際の処理フロー、図３は手指の動作
により文章を編集するときの操作フローを示す。

【０００９】図において、２０１は、手、指の動作を認
識するステップであり、手指動作感知装置１２から出力
された信号を制御装置１４により、入力モードの指定や
編集の指定として認識する。２０２はステップ２０１で
認識して内容により、次に実行する処理を分岐させるス
テップであり、入力モードの指定と認識したならば次の
ステップ２０３の処理に進み、そうでなければ図３に示
すステップ３００の処理に進むものとする。２０３は、
入力音声を認識するステップであり、マイクロホン１１
からの音声信号を制御装置１４により文章として認識す
る。２０４は認識文章をヘッドアップディスプレイ装置
１３に表示するステップであり、ステップ２０３にて認
識した文章をステップ２０１にて判定した入力モードで
ヘッドアップディスプレイ装置１３上に表示する。

【００１０】３０１は図２のステップ２０１で認識した
内容により、次に実行する処理を分岐させるステップで
あり、文章のブロックの指示と認識したならば次のステ
ップ３０２の処理に進む。３０２は、手、指の動作を認
識するステップであり、手指動作感知装置１２から出力
された信号を制御装置１４により入力モードの指定や編
集指定として認識する。３０３はステップ３０２で認識
した内容により、次に実行する処理を分岐させるステッ
プであり、文章のブロックに対する編集操作の指示と認
識したならば次のステップ３０４の処理に進む。３０４
は入力文章に対し編集操作を実行し、ヘッドアップディ
スプレイ装置１３に表示するステップであり、ステップ
２０１で認識した文章のブロックに対しステップ３０２
で認識した編集操作を加えヘッドアップディスプレイ装
置１３上に表示する。以下、本発明実施例の動作につい
て詳細に説明する。

【００１１】基本的に文章の入力は音声によって行う。
音声だけで入力できない、平仮名、片仮名、漢字等シフ
ト入力モードについては操作者の手や指の動作によって
指定する。この手や指の動作による指定の方法として
は、親指を曲げると平仮名入力モード、人差し指を曲げ
ると片仮名入力モードといった方法や、ヘッドアップデ
ィスプレイ装置１３によって目の前に作り出された画像
の中に、入力モード選択のためのスイッチを表示させ、
希望のモードのスイッチを指でタッチするといった方法
が考えられる。

【００１２】一旦、このようにして入力された文章は、
更に、操作者の指や手の動作によってコピー、カット、
ムーブ等編集される。この手や指による指定の実現方法
は幾つもあるが、一例をあげれば、ヘッドアップディス
プレイ装置１３で操作者の目の前に作り出された画像の
中に表示された文章について、コピー等の編集したいブ
ロックを指でなぞって囲むことで指定し、これにより新
たに表示されるそのブロックに対して可能な操作一覧と
その選択スイッチについて希望の選択スイツチを指でタ
ッチしてやることでその操作が実行されるといった方法
にて実現させることができる。

【００１３】具体的に図１乃至図３を用いて詳細に説明
を行う。まず、手や指の動作は手指動作感知装置１２に
よって電気信号に変換され、制御装置１４によりステッ
プ２０１の処理を実行することで入力モードのの指定や
編集操作の指定として認識される。ここで入力モードの
指定であると認識されたら、マイクロホン１１を介して
得られる音声信号は制御装置１４によってステップ２０
３の処理を実行することにより文章として認識され、こ
こで認識された文章をステップ２０１で認識した入力モ
ードに従う文章をステップ２０４の処理を実行すること
によりヘッドアップディスプレイ１３上に表示する。

【００１４】一方、ステップ２０１の手指動作認識処理
で文章ブロックの指示であると認識されたならば（ステ
ップ３０１）再度手や指の動作の認識（ステップ３０
２）を行い、ステップ３０３の処理にて文章ブロックに
対する操作の指示であると認識されたならばステップ２
０１で認識された文章ブロックにステップ３０２で認識
された編集操作を実行し、ステップ３０４の処理を実行
することによりヘッドアップディスプレイ装置１３に所
望の表示を行う。

【００１５】

【発明の効果】以上説明のように本発明によれば以下に
列挙する効果が得られる。 （１）容易に持ち運べる。

【００１６】操作者に対し、入力装置、表示装置とも装
着するため、操作者の移動に伴いどこにでも移動させる
ことができる。従って場所を選ぶことなく、歩きながら
でも文章の入力、編集が可能である。 （２）容易に操作できる。

【００１７】基本的に音声で入力し、編集は画面上のグ
ラフィックなインタフェースを用いて行うた操作が容易
となる。従ってコンピュータに馴染みの薄い人にでも簡
単に操作できる。 （３）効率的に入力できる。

【００１８】音声だけでは判定できない、平仮名、片仮
名、漢字等、入力シフトモードの指定は音声と独立した
手や指の動作によって指定できるので効率的な入力が可
能となる。

【図面の簡単な説明】

【図１】本発明の実施例を示すブロック図。

【図２】本発明実施例の動作を説明するための、音声と
手や指の動作によって入力モードを指定しながら文章を
入力する際の処理手順を示すフローチャート。

【図３】本発明実施例の動作を説明するための、手指の
動作により文章を編集するときの処理手順を示すフロー
チャート。

【符号の説明】

１１…マイクロホン、１２…手指動作感知装置、１３…
ヘッドアップディスプレイ装置、１４…制御装置。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 操作者の音声を電気信号に変換するマイ
   クロホンと、操作者の指や手の動きを感知し電気信号に
   変換するセンサと、操作者の眼前に装着され、目の前に
   画像を作り出すヘッドアップディスプレイ装置と、以下
   の（ａ）〜（ｃ）から成る手段がプログラム形式にてメ
   モリに記憶され、この記憶された情報に従いマイクロプ
   ロセッサが処理を実行することにより、音声と手や指の
   動きによって文書入力もしくは編集操作を行うことを特
   徴とする文章入力編集システム。 （ａ）上記センサによって感知され生成される電気信号
   を入力モード指定や編集指示として認識する手段、 （ｂ）マイクロホンを介して得られる音声信号を文章情
   報として認識する手段、 （ｃ）上記（ｂ）に示す手段により認識した文章を上記
   （ａ）に示す手段にて判定した入力モードもしくは編集
   モードに従いヘッドアップディスプレイに表示する手
   段。