JPH0816313A

JPH0816313A - 手書き入力方法及び装置

Info

Publication number: JPH0816313A
Application number: JP15221094A
Authority: JP
Inventors: Masayoshi Okamoto; 正義岡本; Kazuhiro Ieda; 一廣家田; Hiroshi Horii; 洋堀井
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1994-07-04
Filing date: 1994-07-04
Publication date: 1996-01-19
Also published as: US6088481A

Abstract

(57)【要約】【目的】ペン入力に対応できないアプリケーションプ
ログラムを、ペン入力で動作させるために、ＯＳ・ＦＥ
Ｐ等のシステムプログラムで筆記データを認識し、この
認識結果を、このアプリケーションプログラムに出力す
る。このようなシステムプログラムの改良に関する。【構成】本発明では、アプリケーションのウィンドウ
あるいは画面の任意の位置に、直接文字等を筆記しての
文字の入力や編集を行う。又、本発明では、画面の任意
の位置で入力されたペンの筆跡座標データに基づいて、
筆跡表示部(５)で筆跡を筆記した位置に表示し、認識部
(４)で文字や編集記号を認識し、筆跡消去部(６)で筆跡
を消去して、筆記される前の画面に戻し、認識結果出力
部(８)で認識結果をキーボード入力と同一形式でキーボ
ードフォーカスのあるアプリケーションプログラム(９)
に供給する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ペン入力技術（手書き
入力技術）に関する。特に、ペン入力に対応できないア
プリケーションプログラムを、ペン入力で動作させるた
めの、システムプログラムに関する。具体的には、文字
認識技術をアプリケーションプログラムでなく、システ
ムプログラムに備えたペン型コンピュータに関する。

【０００２】

【従来の技術】一般的なコンピュータで文書作成等を行
う場合は、文書作成用のソフトウェアを読み込んで動作
させる。このソフトウェアはアプリケーションプログラ
ムであり、この時の入力操作は、キーボード及びマウス
によって為される。

【０００３】近年、コンピュータの入力操作をペンで行
うコンピュータが提案されている。このコンピュータで
は、キーボード、マウスの替わりに、ペンで位置を指定
したり、ペンで筆記した文字や編集記号(校正記号、ジ
ェスチャ)を認識して文字の入力や編集行う。このよう
なペン入力コンピュータに関しては、日経BP社発行の雑
誌「日経エレクトロニクス，1991.4.15(no.525)」の115
p〜133pの「手書き入力ＯＳ誕生」に記載され良く知ら
れている。

【０００４】実際のペン入力コンピュータの動作は、以
下に示すように２つ場合に分けられる。第１の場合は、
ペン入力専用の関数やライブラリ等を用いた特定のプロ
グラムだけを動作させるものである。つまり、ペン入力
用の専用プログラムを用いる場合である。

【０００５】この例に於ては、ペン入力専用のライブラ
リ、関数等を用いて文字や編集記号を筆記できる領域を
指定する。すると、この領域に文字や編集記号を筆記で
きる。そして、この筆記された文字や編集記号が認識さ
れて、その結果に基づいて文字入力や編集の動作が行え
る。

【０００６】この具体例を図２に示す。図２(ａ)は筆記
時の状態、図２(ｂ)は筆記後に認識結果が表示された状
態を示す。図２中、ＤＳＰは表示画面を示す。ＬＷＮ
は、アプリケーションが生成したウィンドウ、ＬＭＳＧ
はアプリケーションプログラムが表示したメッセーシ、
ＬＡＲは筆記領域、ＬＨＳは筆跡、ＬＲＣはＬＨＳの認
識結果を示す。

【０００７】図２(ａ)に於て、アプリケーションプログ
ラムは筆記領域ＬＡＲの領域のサイズ(縦、横)、位置
(領域上の左上位置)をペン入力専用のライブラリ(関数)
によって宣言する。システムは、筆記領域ＬＡＲ内に筆
記された筆跡ＬＨＳの座標データを検知し、その筆跡Ｌ
ＨＳを筆記領域ＬＡＲに表示する。

【０００８】一定時間の無操作等によって筆記の終了を
判断すると、図２(ｂ)に示す様に、筆跡ＬＨＳを認識し
て、その認識結果ＬＲＣの文字コードをアプリケーショ
ンプログラムへ専用のライブラリ(関数)の結果として供
給する。この認識結果に基づいてアプリケーションプロ
グラムは、認識結果である文字ＬＲＣを表示する。

【０００９】尚、図２では、筆記領域ＬＡＲが１つであ
るが、複数個設定できるようになっている。また、ペン
を筆記領域ＬＡＲ外で操作した場合は、システムはその
座標をマウス入力と同一形式でアプリケーションプログ
ラムへ供給する。第２の場合は、キーボード・マウスを
入力手段とした既存のアプリケーションを無変更でペン
を入力手段として動作できるものである。

【００１０】つまり、ペン入力に対応できない既存のア
プリケーションをペン入力で使用するために、このペン
入力を処理するシステムプログラムを用いる。この例に
於ては、ＦＥＰ(フロント・エンド・プロセサ)又はペン
入力用ＯＳ（オペレ−ティングシステム）と称するペン
入力用のシステムプログラムが、文字や編集記号を筆記
するための特別な記入枠を表示し、この記入枠内に文字
や編集記号が筆記されると、その文字や編集記号を認識
し、その結果をキーボード入力と同一形式で、キーボー
ドフォーカスのあるウィンドウ(アプリケーションプロ
グラム)に供給することにより、アプリケーションプロ
グラムは文字や編集記号の認識結果を受け取って、その
認識結果に基づいて文字入力や編集の動作を行うように
なっている。

【００１１】尚、「キーボードフォーカス」のあるウィ
ンドウとは、マルチウインドウシステムで複数のアプリ
ケーションプログラムウィンドウを開いている場合に、
キーボードからのキー入力が為されるウィンドウであ
る。このキーボードフォーカスのあるウィンドウの設定
は、一般的には、マウスカーソルを所望のウインドウ内
に位置せしめた後、マウスをクリック操作することによ
り、このウィンドウが選択される。

【００１２】この第２の動作の一具体例を図３に示す。
図３(ａ)は筆記前の状態、図３(ｂ)は筆記後に認識結果
が表示された状態、図３(ｃ)は、アプリケーションプロ
グラムが認識結果を受け取って表示した状態を示す。図
３中、ＦＷＮ１、ＦＷＮ２は、それぞれアプリケーショ
ンプログラム１、アプリケーションプログラム２が生成
したウィンドウである。

【００１３】ＦＭＳＧ１はアプリケーションプログラム
１が表示したメッセーシ内容、ＦＣＵは文字入力用のカ
ーソルを示す。ＦＷＮＰは、ＦＥＰのウインドウであ
る。ＦＷＫ１〜ＦＷＫ４は文字を筆記するための記入枠
であり、認識結果を表示する領域を兼ねている。

【００１４】ＦＨＳ１〜ＦＨＳ３は筆跡表示である。Ｆ
ＲＣ１〜ＦＲＣ３は認識結果である。ＦＣＨ１〜ＦＣＨ
３は認識結果に基づいて入力された文字を示す。ＦＲＢ
Ｔは、認識結果をアプリケーションに供給するためのボ
タンを示す。図３(ａ)に示すように、記入枠ＦＷＫ１〜
ＦＷＫ３に文字ＦＨＳ１〜ＦＨＳ３が筆記されると、Ｆ
ＥＰはそれぞれの筆跡ＦＨＳ１〜ＦＨＳ３を表示する。

【００１５】ＦＥＰは、筆記された記入枠の変化や一定
時間の無操作を筆記の終了として判断して認識を行い、
図３(ｂ)に示すように認識結果ＦＲＣ１〜ＦＲＣ３を表
示する。ペンでボタンＦＲＢＴを指示されると、ＦＥＰ
は認識結果ＦＲＣ１〜ＦＲＣ３の文字列をキーボード入
力と同一形式でキーボードフォーカスの存在するウィン
ドウに供給する。

【００１６】ウィンドウＦＷＮ１にキーボードフォーカ
スが存在すると、ＦＥＰは認識結果ＦＲＣ１〜ＦＲＣ３
の文字列をウィンドウＦＷＮ１に供給し、アプリケーシ
ョンプログラム１はそれを受け取る。この結果、図３
(ｃ)に示すように、アプリケーションプログラム１は、
認識結果ＦＲＣ１〜ＦＲＣ３と同一の文字列ＦＣＨ１〜
ＦＣＨ３をカーソル位置ＦＣＵに表示する。ＦＥＰは、
認識結果ＦＲＣ１〜ＦＲＣ３をアプリケーションプログ
ラムに供給した後、記入枠ＦＷＫ１〜ＦＷＫ３の内部を
消去し、次の筆記に備える。

【００１７】尚、ペン入力をキーボード入力とマウス入
力に変換して、アプリケーションプログラムに供給する
ことは、特開平5-197478号公報(G06F3/03)、特開平5-12
7824号公報(G06F3/033)等にも記載され良く知られてい
る。米国Microsoft社の「Windows for Pen Computing」
等の実際のペンＯＳでは、キーボードとマウスを入力操
作機器の対象とした既存のアプリケーションプログラム
をペンで動作させるために、ペンの筆跡座標をマウスと
同一形式でアプリケーションプログラムに出力する処理
により、ペンによるキーボードと同等操作、及びペンに
よるマウスと同等操作が行われる。このペンによるキー
ボードと同等操作のための処理をキーボードエミュレー
ションと称する。また、このペンによるマウスと同等操
作のための処理をマウスエミュレーションと称する。

【００１８】このように、第２の動作例では、ペン入力
の処理をシステムプログラムに任せているので、従来か
らの既存のアプリケーションプログラムを変更無く使用
できる。しかし、図３に示したように、文字を入力した
い位置ＦＣＵとは、離れた位置の記入枠ＦＷＮＰに筆記
する操作は、違和感があり、操作が煩わしい。

【００１９】このため、前記「Windows for Pen Comput
ing」では、ウィンドウに直接筆記できる環境を実現す
るための専用のライブラリも用意している。この専用の
ライブラリを利用してアプリケーションプログラムを新
たに開発すれば、ウィンドウに直接ペン入力できる。こ
のように、キーボード入力とマウス入力とを入力対象と
し、ペン入力を入力対象としない既存のアプリケーショ
ンプログラムでは、このアプリケーションのウィンドウ
内に直接ペン入力できなかった。

【００２０】また、これを実現するには、ペン入力対応
の新たなアプリケーションプログラムを作成する必要が
あった。

【００２１】

【発明が解決しようとする課題】既存の多くのアプリケ
ーションプログラムは、入力手段としてキーボードとマ
ウスを対象としている。この既存のアプリケーションプ
ログラムをペンで動作させる場合、アプリケーションの
ウィンドウあるいは画面の任意の位置に直接文字等を筆
記できることが望ましい。

【００２２】本発明は、この様な既存のアプリケーショ
ンプログラムを無変更で、アプリケーションのウィンド
ウあるいは画面の任意の位置に直接文字等を筆記でき
て、文字の入力や編集を行わせる手書き入力技術を提供
することを目的とする。

【００２３】

【課題を解決するための手段】本発明は、手書き入力用
のウィンドウ内に筆記された筆記データを認識し、この
認識結果を手書き入力未対応アプリケーションプログラ
ムに供給するシステムプログラムによる手書き入力方法
において、前記手書き入力用のウィンドウ(Idsp,Idsp2,
Iwn,Iwn2,Iarwn1)を透過性とし、この透過性ウインドウ
を前記アプリケーションプログラム用のウィンドウ(WN,
WN2,ARwn1)に重ねて配置することを特徴とする。

【００２４】又、本発明は、手書き入力用のウィンドウ
(Iwn,Iwn2)の領域を、前記アプリケーションプログラム
用のウィンドウ(WN,WN2)の領域と一致させたことを特徴
とする。又、本発明は、手書き入力用のウィンドウ(Ids
p)の領域を、表示画面の全領域としたことを特徴とす
る。

【００２５】又、本発明は、手書き入力用のウィンドウ
(Idsp,Idsp2,Iwn,Iwn2,Iarwn1)を透明としたことを特徴
とする。又、本発明は、手書き入力用のウィンドウ内へ
の筆記開始位置を参考にして筆跡表示領域(DA)を設定す
ることを特徴とする。又、本発明は、マウスとキーボー
ドを入力手段とするアプリケーションプログラムを無変
更でペンを入力手段として動作させるペン型ウィンドウ
システムの手書き入力方法に於て、画面の任意の位置に
ペンで文字や編集記号を筆記し、該筆記した位置へ前記
筆跡表示手段によって筆跡を表示し、この筆跡座標デー
タを認識した文字や編集記号に対応するコードをキーボ
ードフォ−カスのあるアプリケーションプログラムに出
力することを特徴とする。

【００２６】本発明は、認識された文字又は編集記号に
対応するコードをキーボードフォ−カスのあるアプリケ
ーションプログラムに出力し、画面の任意の位置にペン
で文字又は編集記号を筆記でき、該筆記した位置へ筆跡
を表示することを特徴とする。また、本発明は、キーボ
ードフォーカスの所在地を固定して、表示手段の全画面
の任意の位置への筆記を可能とすることを特徴とする。

【００２７】また、本発明は、キーボードフォーカスの
あるアプリケーションウィンドウ画面上の任意の位置へ
の筆記を可能とする。また、本発明は、文字や編集記号
の筆記前のマウスカーソルの位置を記憶するマウスカー
ソル位置記憶手段を有し、文字や編集記号の筆記後に、
前記マウスカーソル位置記憶手段で記憶された位置へマ
ウスカーソルを戻すことを特徴とする。

【００２８】また、本発明は、筆跡座標データをマウス
入力と同一形式でアプリケーションプログラムに出力す
る座標データ出力手段を有し、該座標データ出力手段で
座標データを出力するマウスエミュレーションモード
と、筆跡表示手段で筆跡を表示し、認識手段で文字また
は編集記号を認識し、筆跡消去手段で筆跡を消去し、認
識結果出力手段で文字又は編集記号に対応するコードを
出力する処理を行う文字・編集記号入力モードの２つの
モードを備え、該２つのモードを切り替えるモード切り
替え手段を有し、文字・編集記号入力モードの時、文字
列や編集記号が筆記された後にマウスエミュレーション
モードにするアン・ロックモードと、文字列や編集記号
が筆記された後でも文字・編集記号入力モードを継続す
るロックモードを選択するモード選択手段を有すること
を特徴とする。また、本発明は、画面上の特定領域を文
字、編集記号の筆記の対象から除外することを特徴とす
る。

【００２９】また、本発明は、文字、編集記号入力モー
ドの時、マウスカーソル移動用の特定の編集記号を認識
した時点で、該編集記号を筆記した位置にマウスカーソ
ルを移動し、該マウスカーソルの存在するアプリケーシ
ョンウィンドウへキーボードフォーカスを移動する特定
編集記号によるマウスカーソル移動制御手段を有するこ
とを特徴とする。

【００３０】また、本発明は、数文字分の筆跡表示可能
な所定サイズの筆跡表示領域を筆記開始時に筆記開始位
置に設定し、筆跡消去手段は筆跡表示領域を消去して、
該筆跡表示領域を再描画する要求を該筆跡表示領域の存
在するウインドウに通知する機能を有することを特徴と
する。また、本発明は、筆跡表示領域の外に筆記された
時に、該筆記された位置を含むサイズに前記筆跡表示領
域を再設定する機能を有することを特徴とする。

【００３１】また、本発明は、認識手段で文字を認識し
た時点で、該文字を筆記位置に一旦表示して、該文字を
消去する認識結果表示手段を有することを特徴とする。
また、本発明は、文字や編集記号が筆記された位置から
所定の距離以上離れた位置での座標入力の検出によって
筆記操作の終了を判断する筆記位置による筆記終了判断
手段を有することを特徴とする。

【００３２】本発明の手書き入力装置は、ペンでの筆跡
座標データを入力する座標入力手段と、該座標入力手段
と一体になった表示手段と、前記筆跡座標データから筆
跡を前記表示手段の画面上の筆記位置に表示する筆跡表
示手段と、前記筆跡座標データから文字や編集記号を認
識する認識手段と、前記筆跡を消去する筆跡消去手段
と、前記認識された文字や編集記号に対応するコードを
キーボードフォ−カスのあるアプリケーションプログラ
ムに出力する認識結果出力手段とを有し、前記画面の任
意の位置にペンで文字や編集記号を筆記でき、該筆記し
た位置へ前記筆跡表示手段によって筆跡を表示すること
を特徴とする。

【００３３】

【作用】本発明では、手書き入力用のウィンドウ(Idsp,
Idsp2,Iwn,Iwn2,Iarwn1)を透過性とし、この透過性ウイ
ンドウを前記アプリケーションプログラム用のウィンド
ウ(WN,WN2,ARwn1)に重ねて配置する。又、本発明では、
手書き入力用のウィンドウ(Iwn,Iwn2)の領域を、前記ア
プリケーションプログラム用のウィンドウ(WN,WN2)の領
域と一致させる。

【００３４】又、本発明では、手書き入力用のウィンド
ウ(Idsp)の領域を、表示画面の全領域とする。又、本発
明では、手書き入力用のウィンドウ(Idsp,Idsp2,Iwn,Iw
n2,Iarwn1)を透明とする。又、本発明では、手書き入力
用のウィンドウ内への筆記開始位置を参考にして筆跡表
示領域(DA)を設定する。

【００３５】又、本発明では、認識結果をキーボード入
力と同一形式でキーボードフォーカスのあるアプリケー
ションプログラムに供給する。これによって、アプリケ
ーションプログラムは、受け取った認識結果に基づいて
文字の入力や編集の動作を行える。又、本発明では、モ
ード切り替え手段によって文字・編集記号入力モードが
選択されている時は上記の動作を行う。モード切り替え
手段によってマウスエミュレーションモードが選択され
ている時は、筆跡座標データをマウス入力と同一形式で
アプリケーションプログラムに供給する。

【００３６】又、本発明では、モード選択手段によって
アン・ロックモードが選択されている時は、文字、編集
記号入力モードの時、文字列や編集記号が筆記された後
にマウスエミュレーションモードにする。ロックモード
が選択されている時は、文字、編集記号入力モードの
時、文字列や編集記号が筆記された後も文字、編集記号
入力モードを継続する。

【００３７】又、本発明では、文字・編集記号入力モー
ドとマウスエミュレーションモードのモード切り替えや
ロック、アン・ロックモードの切り替えなどのための画
面上のメニュー領域など画面上の特定の領域を文字、編
集記号の筆記の対象から除外しておくと文字、編集記号
入力モードの時も該特定画面に対するメニュー選択など
の操作が行える。

【００３８】又、本発明では、文字・編集記号入力モー
ドの時、認識手段で特定の編集記号を認識した時、特定
編集記号によるマウスカーソル移動制御手段で、筆記さ
れた位置にマウスカーソルを移動する。又、本発明で
は、筆記開始時に、筆跡表示手段で数文字分の筆記可能
な所定サイズの筆跡表示領域が設定されると、筆跡消去
手段は筆跡表示領域を消去し、筆跡表示領域を再描画す
る要求を筆跡表示領域の存在するウィンドウに通知す
る。これによって、アプリケーションプログラムは、再
描画の要求を受け取って、筆跡表示領域である消去され
た領域を再描画し、筆記前と同じ画面に戻る。

【００３９】又、本発明では、認識手段で文字を認識し
た時、その認識された文字を認識結果表示手段で筆記位
置に一旦表示した後、その文字を消去する。又、本発明
では、文字や編集記号が筆記された位置から所定の距離
以上離れた位置に座標入力されると、筆記位置による筆
記終了判断手段で筆記操作の終了を判断し、直ちに認識
手段によって文字と編集記号の認識が行われる。

【００４０】又、本発明の手書き入力装置では、ペンで
の筆跡座標データを入力する座標入力手段と、該座標入
力手段と一体になった表示手段と、前記筆跡座標データ
から筆跡を前記表示手段の画面上の筆記位置に表示する
筆跡表示手段と、前記筆跡座標データから文字や編集記
号を認識する認識手段と、前記筆跡を消去する筆跡消去
手段と、前記認識された文字や編集記号に対応するコー
ドをキーボードフォ−カスのあるアプリケーションプロ
グラムに出力する認識結果出力手段とを有し、前記画面
の任意の位置にペンで文字や編集記号を筆記でき、該筆
記した位置へ前記筆跡表示手段によって筆跡を表示す
る。

【００４１】

【実施例】図１、図４〜図２８を参照しつつ、本発明の
１実施例を説明する。図１は、ＦＥＰによる第１実施例
の機能構成を示すブロック図である。図１に於て、表示
入力一体型タブレット１(以下タブレット)はＬＣＤ表示
部１ａ(以下表示部)とペン１ｃの座標検出部１ｂが一体
になった装置であり、１ａの座標と１ｂの座標は１対１
で対応している。

【００４２】ＦＥＰ制御部２は、タブレット１で筆記さ
れた筆跡を表示したり、認識してその結果をアプリケー
ションプログラム９に出力したり、アプリケーションプ
ログラム９の要求に従ってタブレット１の表示を制御す
るなど、ＦＥＰの制御を行う。尚、ＦＥＰ制御部２及び
アプリケーションプログラム９はソフトウェアで構成さ
れている。また、図１では、説明を簡単にするためにア
プリケーションプログラム９を１つとしたが、アプリケ
ーションプログラムを複数とし、この内の１つを選択す
ることにより、この選択されたアプリケーションプログ
ラム９との間でデータのやりとりをしてもよい。

【００４３】ＦＥＰ制御部２は、主制御部３、認識部
４、筆跡表示部５、筆跡消去部６、座標データ出力部
７、認識結果出力部８から成る。タブレット１上で筆記
されると、主制御部３は、タブレット１(座標検出部１
ｂ)から筆記座標データを受け取る。マウスエミュレー
ションモードであれば、筆跡座標データを座標データ出
力部７に渡し、座標データ出力部７は受け取った筆跡座
標データをマウス入力と同一形式で、筆記位置にあるウ
ィンドウのアプリケーションプログラムへ出力する(図
中、ＤＭ)。

【００４４】文字入力、編集モードであれば、主制御部
３は、筆跡座標データをまず、筆跡表示部５へ渡す。筆
跡表示部５は、筆跡座標データに基づいて筆記位置に筆
跡を表示する。この時、筆跡表示部３は、複数文字分の
筆跡表示可能な所定サイズの筆跡表示領域を筆記開始時
に筆記開始位置に設定し、その領域に筆跡を表示する。

【００４５】主制御部３は、一定時間の無操作を検知す
ると筆記の終了と判断して、筆跡座標を認識部４に渡
す。認識部４は筆跡座標データに基づいて文字や編集記
号を認識し、その結果を主制御部３に渡す。主制御部３
は、認識結果を受け取ると、筆跡消去部６に筆跡消去の
要求を行う。

【００４６】筆跡消去部６は筆跡消去の要求を受け取る
と、前記筆跡表示領域を消去した後、主制御部３を通し
てアプリケーションプログラム９に再描画の要求を出力
する。この再描画の要求(ＤＱ)は、ウィンドウシステム
のイベント(ＸウィンドウシステムではＥｘｐｏｓｅイ
ベントに相当)で行う。

【００４７】尚、Ｘウィンドウシステムとは、米国マサ
チューセッツ工科大学の開発したウインドウシステムで
ある。アプリケーションプログラム９は、再描画の要求
(ＤＱ)を受け取ると、消去された筆跡表示領域の画面
(アプリケーションの画面)の再描画を行い筆記前の画
面、つまり、筆跡だけが消去された画面になる。

【００４８】その後、主制御部３は、受け取った認識結
果である文字や編集記号のコードをキーボード入力と同
一形式で、キーボードフォーカスの存在するウインドウ
のアプリケーションプログラム９へ出力する。アプリケ
ーションプログラム９は、認識結果を受け取ると、その
結果に基づいて文字の入力や編集を行う。

【００４９】以下、図４〜図２８を用いて動作例を説明
する。図４〜図６は画面の任意の位置へ文字を筆記した
時の動作例を示す。図４〜図６中、ＤＳＰは画面を示
す。ＷＮはアプリケーションプログラムが表示したウィ
ンドウであり、ＷＮ２は別のアプリケーションプログラ
ムが表示したウィンドウである。

【００５０】ＴＩ、Ｔ２はウィンドウマネージャ(ウイ
ンドウの移動やサイズ変更などを行うプログラム)のタ
イトルバーであり、それぞれアプリケーションウィンド
ウＷＮ、ＷＮ２の上に付いている。このタイトルバーを
ペンタッチし、タッチしたままペンを移動すると対応す
るウィンドウＷＮやＷＮ２もペンの移動に伴って移動す
るようになっている。この操作はマウスのドラッグ操作
に相当する。

【００５１】また、キーボードフォーカスの存在してい
るウィンドウＷＮに付いているタイトルバーＴ１はウィ
ンドウマネージャによって強調表示される。図４(ａ)
は、アプリケーションプログラムが、ＭＳＧの表、文字
を表示し、ペンによるタブレット上の特定領域(表示領
域外の固定メニュー領域)へのタッチによって文字筆記
の指示を行った時の状態である。

【００５２】ＣＵはアプリケーションプログラムが表示
したカーソルである。この文字筆記の指示を行った時点
で、本ＦＥＰは画面ＤＳＰと同一サイズの筆跡座標入力
用のウィンドウＩｄｓｐ(透明)を画面と同一ＸＹ位置で
開く。この筆跡座標入力用のウィンドウＩｄｓｐは、ウ
インドウの重なり関係に於て最上位位置に開く。

【００５３】どのウインドウで座標入力されたかの判定
は、ウィンドウの重なり関係に於て、上位位置のウイン
ドウから下位方向のウインドウの順に領域判定する。こ
の判定は一般的なウィンドウシステムの処理である。Ｆ
ＥＰは、筆跡座標入力用のウィンドウＩｄｓｐを最上位
位置に置き、Ｉｄｓｐ内の座標入力を文字や編集記号の
筆記と判定する。

【００５４】図４(ａ)に示すように、筆跡座標入力用の
ウィンドウを画面と同一サイズで同一位置に開くことに
よって、画面の全ての位置への座標入力を文字やジェス
チャーの筆記と判定する。図４(ｂ)は、文字ＤＲｄｔ
「ＳＷＰ」を筆記した時の状態である。筆記が開始され
た時点で、筆跡表示領域ＤＡを生成する。

【００５５】筆跡表示領域ＤＡのサイズは、初期値とし
て数文字筆記可能な所定のサイズとし、位置は筆記の開
始点ＤＲｐの左上とする。図４〜図６中、筆跡表示領域
ＤＡを点線で示してあるが、画面上には表示せず、点線
は見えない。この筆跡表示領域ＤＡ上に筆跡ＤＲｄｔを
表示する。筆記後に一定時間無操作であれば、筆記の終
了とみなし、筆跡ＤＲｄｔの座標データに基づいて文字
や編集記号を認識し、筆跡を消去する。

【００５６】筆跡の消去は、筆跡表示領域ＤＡのクリア
とその領域の再描画で行う。筆跡表示領域をクリアする
と図５(ａ)に示す様になる。そして、アプリケーション
ウィンドウＷＮ上のＤＡの領域の再描画の要求をアプリ
ケーションウィンドウＷＮに出力する。すると、アプリ
ケーションウィンドウＷＮに係わるアプリケーションプ
ログラムが再描画の要求を受け取り、その要求に従って
画面の再描画を行う。

【００５７】その結果、図５(ｂ)に示すように、筆跡Ｄ
Ｒｄｔの表示前の状態(図４(ａ)と同一画面)になる。そ
して、筆跡ＤＲｄｔの認識結果をキーボードフォーカス
を有するウィンドウＷＮにキーボード入力と同一形式で
出力する。すると、アプリケーションプログラムは、受
け取った認識結果をカーソルＣＵの位置に表示する。

【００５８】この結果、画面は図６になる。ＣＨＳ１
は、認識結果「ＳＷＰ」を示す。図７を用いて筆跡表示
の動作について詳述する。図７(ａ)は図４(ｂ)のウィン
ドウＷＮの一部であり、筆記を開始した時点の状態を示
す。図中、Ｄｌｘは筆跡表示用ウィンドウＤＡの横の長
さ、ＤｌｙはＤＡの縦の長さを示し、それぞれ初期値と
して所定の長さである。

【００５９】ＤＡｐはＤＡの位置(左上)であり、筆記の
開始点ＤＲｐから左方向にＤｐｘ(所定の値)、上方向に
Ｄｐｙの位置(所定の値)とする。筆跡表示領域ＤＡの生
成は、具体的には、図７(ｂ)に示すように、アプリケー
ションウィンドウＷＮ上でＤＡと同一領域ＤＡｓ上へ、
その上面に重なる筆跡表示用ウィンドウＷＮｄ(ＤＡｓ
と同一サイズ)を開くことを示す。

【００６０】筆跡表示ウィンドウＤＮｄを開いた時、図
７(ｃ)に示すように、アプリケーションウィンドウＷＮ
上の領域ＤＡｓの画面を、筆跡表示用ウィンドウＷＮｄ
上の領域ＤＡｄ(ＷＮｄの全画面領域であり、ＤＡｓと
同一サイズ)に複写し、ＤＡｓの領域をクリアする。画
面上のＤＡの領域に見えるのは、ＤＡｄの内容である
が、アプリケーションウィンドウＷＮの領域ＤＡと同一
であるため、画面は見かけ上変化なく筆記前の状態(図
４(ａ))と同一である。

【００６１】この後、筆跡を筆跡表示ウィンドウＷＮｄ
へ表示する。すると図８の状態になり、画面は見かけ
上、アプリケーションウィンドウＷＮに筆記した状態
(図４(ｂ))になる。そして、筆跡消去に於ては、筆跡表
示用ウィンドウＷＮｄを削除し、アプリケーションウィ
ンドウＷＮ上の領域ＤＡｓの再描画の要求をアプリケー
ションウィンドウＷＮへ出力する。

【００６２】筆跡表示用ウィンドウＷＮｄを削除する
と、画面にはアプリケーションウィンドウＷＮ上のクリ
アされた領域ＤＡｓが見えるようになる。この状態は、
図５(ａ)に対応する。アプリケーションプログラムによ
り、領域ＤＡｓの領域が再描画されると、筆記前の状態
になる。この状態は図５(ｂ)に対応する。

【００６３】つまり、筆跡消去の処理によって、筆記前
に表示されていた内容はそのまま影響せず、筆跡だけを
消去したのと同じ状態になる。本実施例では、アプリケ
ーションウィンドウＷＮ上の領域ＤＡｓの再描画を、ア
プリケーションウィンドウに対する再描画の要求で処理
しているが、クリアされる前のＤＡの画面をＦＥＰが記
憶しておき、筆跡消去時にその画面をＤＡｓに戻すこと
によって、画面を筆記前の状態に戻すことができる。

【００６４】この方法を用いた場合は、アプリケーショ
ンウィンドウに対する再描画の要求は不要である。本実
施例のように、筆跡表示領域ＤＡのサイズを数文字分の
筆記可能サイズに限定することにより、再描画する領域
も限定されるため、再描画における画面変化や再描画時
間は、全画面あるいはウィンドウ全体の描画と比較して
少なく、これによって筆跡消去時の画面のちらつきが少
ない。

【００６５】図９は、筆跡表示領域ＤＡの外に筆記され
た時の筆跡表示を示す。図９(ａ)は、筆跡表示領域ＤＡ
の外の座標点ＤＲｐ２に筆記されはじめた時の状態であ
る。この時、ＦＥＰは、筆跡表示領域ＤＡのサイズを変
更する。座標点ＤＲｐ２を含み、その位置から複数文字
分の筆跡を表示できるように、筆跡表示領域ＤＡの横の
サイズを図９(ｂ)に示すように拡大する。

【００６６】図９(ｂ)のＤｌｘ２は、拡大後のＤＡの横
の長さである。この時、図９(ｃ)に示すように、筆跡表
示用ウィンドウも拡大し、アプリケーションウィンドウ
ＷＮ上の拡大された筆跡表示領域ＤＡｓｄの画面を、筆
跡表示用ウィンドウＷＮｄの対応する領域ＤＡｄｄに複
写し、ＤＡｓｄの領域はクリアする。この筆跡表示領域
ＤＡの拡大によって、筆跡表示領域外に筆記された時も
筆跡表示できる。

【００６７】図９(ｂ)に続いて筆記された時の状態を図
９(ｄ)に示す。その後、筆跡が認識されてアプリケーシ
ョンプログラムによって認識結果が表示された時の状態
が図９(ｅ)である。図中、ＣＨＳ２は認識結果である。
図１０は、文字入力のロックモードでの動作例を示す。
図１０(ａ)は、文字入力のロックモードが選択された時
の状態を示す。

【００６８】図中、ＭＭはマウスエミュレーションモー
ド、ＭＣは文字入力モード、ＭＬは文字入力のロックモ
ードを示すメニュー用のウィンドウであり、この領域
(ウィンドウ)をペンでタッチして各モードを選択する。
選択されたモードに対応するメニューは反転表示され、
選択されているモードが筆記者に分かるようになってい
る。

【００６９】文字入力のロックモードが選択された時
は、ＭＣとＭＬの両方が反転表示される。文字入力モー
ドあるいは文字入力のロックモードが選択されると筆跡
座標入力用ウィンドウＩｄｓｐ(透明)を生成し、Ｉｄｓ
ｐ内の入力座標を筆跡データとして検知するが、ＭＭ、
ＭＣ、ＭＬの領域は例外として、この領域上の入力座標
は筆跡データではなく、メニュー選択として処理する。

【００７０】この例外処理は、筆跡座標入力用ウィンド
ウＩｄｓｐを生成した時に、ＭＭ、ＭＣ、ＭＬのウイン
ドウをＩｄｓｐより上面に再配置することで実現してい
る。座標入力がどのウィンドウに対するものかの検知
は、最上面にあるウィンドウから順次下面に向かって領
域判定するため、ＭＭ、ＭＣ、ＭＬのウィンドウをＩｄ
ｓｐより上面に配置しておけば、例えＩｄｓｐ内であっ
ても、ＭＭ、ＭＣ、ＭＬのメニューを選択できる。

【００７１】図１０(ａ)の筆跡ＤＲｄｔを認識し、その
認識結果がアプリケーションウィンドウＷＮに表示され
た状態が図１０(ｂ)である。文字入力のロックモードで
は、筆記後に認識処理が行われた後も文字入力モードが
継続するため、図１１(ａ)に示すように継続して文字Ｄ
Ｒｄｔ’を筆記できる。

【００７２】このＤＲｄｔ’が認識されて、その結果が
表示された状態が図１１(ｂ)である。このように、文字
列を時間的に区切って連続した位置に入力する場合は、
文字入力のロックモードを選択しておけば、筆記だけの
操作で文字入力できる。図１２と図１３は、文字入力の
アン・ロックモードでの動作例である。図１２(ａ)は、
文字入力モードが選択され、筆跡ＤＲｄｔ１２を表示し
た状態である。

【００７３】筆跡ＤＲｄｔ１２を認識し、その認識結果
がアプリケーションウィンドウに表示されると、図１２
(ｂ)の状態になる。アン・ロックモードでは、この時点
でマウスエミュレーションモードになり、Ｉｄｓｐは削
除され、ＭＭが反転表示される。この状態では、ポイン
テイングなどのマウス入力の操作を行える。

【００７４】例えば、ＤＲｐｔの位置をペンでタッチす
ると、その座標をマウス入力同一形式でアプリケーショ
ンウィンドウＷＮに通知するため、その座標をアプリケ
ーションプログラムが受け取ってその位置にカーソルＣ
Ｕを移動する。すると、図１３(ａ)に示すように、カー
ソルＣＵはＰＳｃｕの位置に移る。そして、その位置に
文字入力をする場合は、図１３(ｂ)に示すように、文字
入力モードを再度選択して筆記を行う。

【００７５】カーソルを移動する場合、ロックモードの
場合では筆記後にマウスエミュレーションモードを選択
する操作が必要であるが、アン・ロックモードでは図１
２図１３に示したように筆記後直ちにポインティングに
よってカーソル移動できる。図１４と図１５は、キーボ
ードフォーカスを移動して、文字入力する場合の動作例
である。

【００７６】図１４(ａ)は、アプリケーションウィンド
ウＷＮに文字「ＳＷＰ」の入力を行った後、マウスエミ
ュレーションモードで別のアプリケーションウィンドウ
ＷＮ２のタイトルバーＴ２上の点ＤＲｔ２をペンでタッ
チした時点を示す。ＤＲｔ２がペンタッチされると、ウ
ィンドウマネジャーがＴ２に接続しているウィンドウＷ
Ｎ２へキーボードフォーカスを移動させ、ウィンドウＷ
Ｎ２を最上面に配置する。

【００７７】これによって、図１４(ｂ)に示すように、
Ｔ２のタイトルバーが強調表示され、ウインドウＷＮ２
はウインドウＷＮより手前にあるように表示される。Ｍ
ＳＧ２、ＣＵ２は、アプリケーションプログラム(ＵＮ
ＩＸのシェルプログラム)が表示したプロンプト表示と
カーソルである。ウィンドウマネージャーによって、キ
ーボードフォーカスのあるウィンドウＷＮ２内にあるカ
ーソルＣＵ２も強調表示され、逆にキーボードフォーカ
スのないウインドウＷＮ内にあるカーソルＣＵは強調表
示が解除される。

【００７８】図１４(ｂ)に於て、ＣＵ２の位置に文字入
力するには、図１５に示すように、文字入力モードを選
択する。すると、以降筆記して認識された文字はウィン
ドウＷＮ２へ入力される。図１６は、特定領域を除外し
て筆記座標入力ウィンドウを開いた場合の動作例であ
る。

【００７９】図１６は、文字入力モードが選択された時
の状態である。Ｉｄｓｐ２は筆跡座標入力用ウィンドウ
であり、ＡＲＩは筆跡座標入力の対象としない特定領域
である。特定領域ＡＲＩへのペンによる座標入力は、文
字や編集記号の筆記ではなくポインテイングなどのマウ
ス入力の対象とする。

【００８０】これによって、文字入力モードにおいて
も、ＭＭ、ＭＣ、ＭＬの領域をペンタッチしてモード選
択可能である。先の図１０図１１の例ではＭＭ、ＭＣ、
ＭＬをＩｄｓｐより上面に配置することにより、ＭＭ、
ＭＣ、ＭＬを筆記の対象から除外したが、図１６では、
ＡＲＩの領域を、ＸＹ平面上での位置により、筆記の対
象から除外した動作例を示している。

【００８１】図１６の例では、ＭＭ、ＭＣ、ＭＬをＩｄ
ｓｐ２の上面に最配置する必要はない。また、ＡＲＩ内
に配置したウィンドウ全てを筆記の対象から除外でき
る。図１７〜図１９は、ウインドウ単位に筆跡座標入力
用ウィンドウを生成する場合の動作例を示す。図１７
(ａ)は、文字入力のロックモードが選択された時の状態
である。

【００８２】Ｉｗｎは筆跡座標入力用ウィンドウ(透明)
であり、キーボードフォーカスのあるアプリケーション
ウィンドウＷＮの上にＷＮと同一サイズに開く。この筆
跡表示用ウィンドウＩｗｎ内の座標入力は、文字や編集
記号の対象とし、Ｉｗｎ以外の領域への座標入力はマウ
スエミュレーションの対象とする。ウィンドウＷＮ内に
文字を筆記すると図１７(ｂ)の状態になる。

【００８３】ＤＲｄｔは筆記された文字であり、この文
字ＤＲｄｔを認識し、その認識結果が表示されると図１
８(ａ)の状態になる。この後、ウィンドウＷＮ２へ文字
入力するためには、キーボードフォーカスをウィンドウ
ＷＮ２へ移す必要がある。この場合、ウィンドウＷＮ２
に接続するタイトルバーＴ２は筆跡表示用ウィンドウＩ
ｗｎの外にはみだしているため、マウスエミュレーショ
ンモードに一旦モード変更する必要なく、文字入力また
は、文字入力のロックモードのままで、タイトルバーＴ
２をペンタッチすることで、ウィンドウＷＮ２へキーボ
ードフォーカスを移動できる。

【００８４】例えば、Ｔ２上の座標位置ＤＲｔ２をペン
タッチすると、図１８(ｂ)の状態になる。キーボードフ
ォーカスが変化した時点、つまり、筆跡座標入力用ウィ
ンドウＩｗｎの外にペンタッチされた時点で、筆跡座標
入力用ウィンドウＩｗｎを削除し、再度キーボードフォ
ーカスのあるウィンドウ(ＷＮ２)の上に筆跡座標入力用
ウィンドウを開く。

【００８５】これによって、図１９(ａ)に示すように、
ウィンドウＷＮ２上に文字と編集記号ＤＲｄｔ２を筆記
することができる。ＤＲｄｔ２１は文字であり、ＤＲｄ
ｔ２２は改行を表す編集記号である。その後、ＤＲｄｔ
２(ＤＲｄｔ２１とＤＲｄｔ２２)を認識し、その認識結
果をウィンドウＷＮ２へ出力すると、図１９(ｂ)の状態
になる。

【００８６】ＣＨＳ２(ＣＨＳ２１とＣＨＳ２２)は、Ｄ
Ｒｄｔ２(ＤＲｄｔ２１とＤＲｄｔ２２)の認識結果であ
り、この内、ＤＲｄｔ２２は改行動作を表す。ＵＮＩＸ
システムでは「ｌｓ」はファイル名の表示コマンドであ
り、カーソル位置ＣＵ２へのファイル名の表示が行われ
る。図１７〜図１９に示したように、ウィンドウ単位で
筆跡座標入力用ウィンドウを開くことによって、キーボ
ードフォーカスの移動を、文字入力のロックモードで文
字入力モードを継続する場合においても、モード切り替
えを必要とせず容易に行える。

【００８７】但し、文字や編集記号の筆記はキーボード
フォーカスのあるウィンドウ内に限る。一方、図１０図
１１に示したように、全画面に筆跡座標入力用ウィンド
ウを開くことによって、画面の任意の位置に文字や編集
記号を筆記できる。例えば、ウィンドウをはみだして筆
記しても構わない。

【００８８】但し、文字入力のロックモードに於てキー
ボードフォーカスを変更する場合に、一旦マウスエミュ
レーションモードにしてた後再度文字入力のロックモー
ドに戻す操作が必要である。図２０は、筆跡座標入力用
ウィンドウ内への特定の編集記号の筆記による筆記位置
へのポインティング動作、つまり文字入力モードにおけ
る編集記号によるマウスエミュレーションの動作例であ
る。

【００８９】図２０(ａ)は、全画面の筆記モードでで文
字入力のロックモードが選択されている時、認識結果Ｃ
ＨＳ１が表示された後に、タイトルバーＴ２上に編集記
号ＤＧｔ２が筆記された時の状態である。この編集記号
ＤＧｔ２は文字入力モードにおけるポインティングを表
す記号であり、この記号を認識すると、この記号の中心
位置の座標にポインティングされたものとして、この座
標をマウス入力と同一形式でウィンドウＷＮ２へ出力す
る。

【００９０】すると、画面は図２０(ｂ)に示すように、
ウィンドウＷＮ２にキーボードフォーカスが移り、タイ
トルバーＴ２が強調表示される。図２１は、図２０に示
した特定の編集記号を同一ウィンドウ内に筆記した例で
ある。図２１(ａ)は、ウィンドウ単位の筆記モードで文
字入力のロックモードが選択されている時、認識結果Ｃ
ＨＳ１が表示された後に、編集記号ＤＧｄｔが筆記され
た時の状態である。

【００９１】この編集記号を認識すると、この筆跡デー
タの中心位置をマウス入力と同一形式でアプリケーショ
ンウィンドウＷＮヘ出力すると、アプリケーションプロ
グラムは、その座標位置に従ってカーソルＣＵを図２１
(ｂ)のＰＳｃｕＧの位置に移動する。これによって、こ
の後の文字の筆記に対する認識結果はカーソル位置ＰＳ
ｃｕＧに入力される。

【００９２】図２０、図２１に示したように、特定の編
集記号によって、文字入力ードのロックモードでありな
がら、モード変更することなくポインティグが行える。
図２２は、認識結果をアプリケーションプログラムへ出
力する際に、マウスカーソルを筆記前の位置に戻す動作
例を示す。図２２図２３は、まずマウスエミュレーショ
ンモードにおいてペンでＰＳｍｓへポインティングさ
れ、その位置へのマウスカーソルの移動によってカーソ
ルＣＵの位置指定が行われた後に、文字入力のロックモ
ードが選択された状態を示す。このアプリケーションウ
インドウＷＮ上には、アプリケーションプログラムによ
ってウインドウＡＲａｐが開かれている。

【００９３】図２２(ｂ)は、図２２(ａ)の状態で文字Ｄ
Ｒｄｔが筆記された状態である。これによって、マウス
カーソルＭＣＵは筆記の終了位置ＰＳｄｔｅへ移る。ア
プリケーションプログラムによっては、マウスカーソル
の位置を調べ、その位置によって動作を変えるものがあ
る。例えば、ウィンドウＡＲａｐ内にマウスカーソルが
入っている時だけ文字入力を受け付けるものがある。

【００９４】これは、マウスによるポインテイングで文
字入力の位置と文字入力領域を決め、この文字入力領域
からのマウスカーソルの脱出は、別の領域への文字入力
の指示として解釈して一旦文字入力の動作を解除する処
理をアプリケーションプログラムが行っているためであ
る。もし、アプリケーションウィンドウＷＮがこのよう
なアプリケーションプログラムによって生成されたもの
であれば、図２２(ｂ)の状態で、認識結果をアプリケー
ションウインドウＷＮへ出力すると、その認識結果はカ
ーソル位置ＣＵに表示されず、全く無視されるか別の位
置へ表示されるなどその動作は保証されない。

【００９５】キーボード、マウスを対象にしたアプリケ
ーションプログラムでは、マウスにより位置指定を行
い、キーボードで文字入力を行うため、文字キー力中に
マウスカーソルが移動することは想定されないが、ペン
での文字筆記による文字入力では、その筆記操作によっ
てマウスカーソルの移動が起こる。この問題を解決する
ため、本ＦＥＰでは、筆記前のマウスカーソルの位置を
記憶しておき、認識結果をアプリケーションウィンドウ
へ出力する直前に、マウスカーソルを筆記前の位置に戻
している。図２２(ｂ)の状態から、筆跡を消去し、マウ
スカーソルＭＣＵを筆記前の位置ＰＳｍｓに戻した状態
が図２３(ａ)である。この後、認識結果をアプリケーシ
ョンウィンドウＷＮへ出力すると図２３(ｂ)に示すよう
に認識結果が表示される。

【００９６】図２４は、ウィンドウ単位の筆記モードで
キーボードフォーカスのあるウィンドウが小さくてその
ウィンドウ内に筆記しずらい場合に対する本ＦＥＰの動
作例を示す。図２４(ａ)は、まずマウスエミュレーショ
ンモードにおいてペンでＰＳｍｓへポインティングされ
その位置へのマウスカーソルの移動によってカーソルＣ
Ｕの位置指定が行われた後に、文字入力のロックモード
が選択された状態を示す。

【００９７】通常キーボードフォーカスはウィンドウマ
ネージャが制御しているが、アプリケーションプログラ
ムによっては、アプリケーションプログラム自身でキー
ボードフォーカスを設定するものがある。例えば、アプ
リケーションプログラムがウィンドウＡＲｗｎ１〜ＡＲ
ｗｎ４を開いて、ポインティング動作に基づいてウィン
ドウＡＲｗｎ１ヘキーボードフォーカスを設定していた
場合、文字入力モードあるいは文字入力のロックモード
が選択された時点で、筆跡座標入力用ウィンドウＩａｒ
ｗｎ１はウィンドウＡＲｗｎ１と同一サイズで設定され
ることになる。

【００９８】しかし、このように筆跡座標入力用ウィン
ドウのサイズが小さい場合、筆記できる領域は限定され
筆記しずらい。本ＦＥＰでは、筆跡座標入力用ウィンド
ウのサイズが所定サイズより小さい場合、その筆記座標
入力用ウィンドウの親のウィンドウが存在すれば、親の
ウィンドウ(図中、ウィンドウＷＮ)を筆跡座標入力用ウ
ィンドウとして設定する。

【００９９】これによって、図２４(ｂ)に示すように、
筆跡座標入力用ウィンドウＩｗｎは広く、筆記しやすく
なる。図２５図２６は、認識結果をアプリケーションウ
ィンドウへ出力する際、一旦一定時間認識結果を筆記位
置に表示する動作例を示す。図２５(ａ)は、文字入力の
ロックモードが選択された後、文字ＤＧｄｔが筆記され
た状態を示す。

【０１００】この文字ＤＧｄｔを認識すると、図２５
(ｂ)に示すように認識結果Ｒｃｈｓ１を筆記位置に一定
時間表示した後、認識結果をアプリケーションウィンド
ウＷＮへ出力すると図２６の状態になる。このように、
認識結果を一旦筆記位置に表示することにより、筆記者
は認識結果を容易に確認することができる。

【０１０１】図２７，２８は、このＦＥＰによる実施例
の主な動作フローを示した図である。まず、図２７のＳ
１で座標入力があればこのデータを入力する。Ｓ２でこ
の座標入力の有無と座標値によって、以下の動作を決め
る。座標入力が文字モードのメニュー指示の場合、全画
面の筆記モードであるかウィンドウ単位の筆記モードで
あるかＳ３で判定する。全画面の筆記モードであれば、
Ｓ４で画面サイズの筆跡座標入力ウィンドウＩｄｓｐを
生成する。ウィンドウ単位の筆記モードであれば、Ｓ５
でキーボードフォーカスを有するウィンドウ上にそのウ
ィンドウと同一サイズの筆跡座標入力用ウィンドウＩｗ
ｎを生成する。

【０１０２】座標入力がマウスエミュレーションモード
の場合、Ｓ６で全画面の筆記モードであれかウィンドウ
単位の筆記モードでるかを判定する。全画面の筆記モー
ドであれば、Ｓ７で筆跡座標入力用ウィンドウＩｄｓｐ
を削除する。ウィンドウ単位の筆記モードであれば、Ｓ
８で筆跡座標入力用ウィンドウＩｗｎを削除する。次
に、図２８を基に説明する。

【０１０３】座標入力が筆跡座標入力用ウィンドウ(Ｉ
ｄｓｐ、Ｉｗｎ)上での筆記の時、筆記開始時か否かを
Ｓ９で判定する。筆記開始時にはＳ１０で筆跡座標(始
点)を基準に筆跡表示ウィンドウＷＮＤを生成して、Ｓ
１１で筆記操作終了判断のためのタイマーをリセット
し、Ｓ１２で筆跡表示ウィンドウＷＮＤ上へ筆跡を表示
する。筆記開始以外時には、Ｓ１０をスキップして、Ｓ
１１で筆記操作終了判断のためのタイマーをリセット
し、Ｓ１２で筆跡表示ウィンドウＷＮＤ上へ筆跡を表示
する。

【０１０４】座標入力が無い度にＳ１３でタイマー計測
を行う。筆跡座標入力用ウィンドウ上への筆記の度にタ
イマーをＳ１１でリセットし、座標入力が無い度にタイ
マー計測をＳ１３で行うのは、所定時間の無操作を検出
するためである。Ｓ１４でタイムオーバーを判定し、Ｓ
１５で筆記後か否かを判定する。筆跡があって所定時間
のタイムオーバーの時点、つまり、筆記後の所定時間の
無操作を検出した時点で、筆記操作の終了を判断して、
Ｓ１６以降の処理を行う。

【０１０５】筆記操作の終了を判断すると、Ｓ１６で筆
跡座標データに対して認識処理を行う。Ｓ１７で筆跡を
消去し、Ｓ１８でキーボードフォーカスのあるアプリケ
ーションウィンドウへ認識結果を出力する。その後、Ｓ
１９でロックモードか否かを判定する。文字の入力モー
ドであり、ロックモードでなければ、Ｓ２０で筆跡座標
入力用ウィンドウを消去し、Ｓ２１でマウスエミュレー
ションモードへ移る。

【０１０６】ウィンドウ単位の筆記モードであり、筆跡
座標入力用ウィンドウ以外の領域へのポインティングの
場合、つまりキーボードフォーカスの所在が変化した場
合は、Ｓ２２で筆跡座標入力用ウィンドウＩｗｎを一旦
消去し、Ｓ２３で新たにキーボードフォーカスを有する
ウィンドウ上に筆跡座標入力用のウィンドウを開く。そ
の他、マウスエミュレーションモードでの座標入力の場
合は、Ｓ２４の如く、その座標データをアプリケーショ
ンウィンドウへ出力する。

【０１０７】尚、本実施例では、画面上の図示しないウ
ィンドウ領域の指示によって、全画面の筆跡モードとウ
ィンドウ単位の筆記モードの切り替え操作を行っている
が、タブレット上の画面表示外の固定領域の指示によっ
て切り替えることも考えられる。また、あらかじめ、全
画面の筆記モードかウィンドウ単位の筆記モードかどち
らかに固定にすることも考えられる。

【０１０８】又、本実施例では、ペン入力時のキーボー
ドフォーカスのウィンドウは、固定であるが、ペン入力
時のタッチ位置のウィンドウをキーボードフォーカスの
ウィンドウとしてもよい。つまり、使用者の使い勝手か
らすると、当然、筆記される文字は、筆記される位置の
ウインドウに入力されると、考えるからである。このよ
うに、文字入力される位置のウィンドウを、キーボード
フォーカスのウィンドウとして設定することにより、操
作性が向上する。

【０１０９】又、本実施例では、手書き入力用のシステ
ムプログラムをＦＥＰとしたが、これは、ＯＳ（オペレ
−ティングシステム）でもよい。又、本実施例では、筆
跡座標入力用ウインドウの透明としたが、これは、透過
性があればよい。

【０１１０】

【発明の効果】本発明によれば、キーボード、マウスを
入力手段としたアプリケーションプログラムを無変更で
ペンを使って動作させる場合に於て、アプリケーション
のウィンドウや画面上の任意の位置に直接文字や編集記
号を筆記して文字入力や編集を行えるので、違和感なく
容易に操作できる。

【０１１１】また、本発明によれば、キーボードフォー
カスの所在地を固定して、画面の任意の位置へ筆記でき
るので、キーボードフォーカスの存在するウィンドウの
外に筆記しても、ウィンドウをまたがって筆記しても、
キーボードフォーカスが移動せず、意図した位置への文
字の入力や編集が行える。また、本発明によれば、キー
ボードフォーカスのあるアプリケーションウィンドウ画
面上の任意の位置に筆記できるため、入力や編集を行い
たいウィンドウの上に文字や編集記号を筆記するとその
ウンドウに対して文字の入力や編集が行えると共に、別
のウィンドウに対して入力や編集を行いたい場合、その
ウィンドウの位置をペンで指示すると指示した位置のウ
ィンドウにキーボードフォークカスが移るため、容易に
入力や編集の対象とするウィンドウを変更できる。

【０１１２】また、本発明によれば、文字や編集記号の
筆記によってその筆記位置にマウスカーソルが移動して
も、記憶された筆記前のマウスカーソル位置へ、文字や
編集記号の筆記後にマウスカーソルを戻す。このため、
キーボードフォーカスとマウスカーソルの組み合わせで
文字の入力や編集の位置を決定してその位置に文字編集
用のカーソルを設定するアプリケーションプログラムに
対しても、筆記によって入力や編集位置が誤って変化せ
ず、意図した位置で文字入力や編集が行える。また、本
発明によれば、文字・編集記号入力モードとマウスエミ
ュレションモードの切り替えに於て、文字・編集記号入
力モードのロック、アン・ロックをモード選択できる。
従って、ロックモードを選択した時は、文字列や編集記
号を筆記して入力、編集を行った後も文字、編集記号入
力モードが継続するため、多くの文字入力や編集を分割
して行う場合に文字、編集記号の筆記の操作だけの操作
で行える。また、アン・ロックモードを選択した時は、
文字列や編集記号を筆記して入力、編集を行った後はマ
ウスエミュレーションモードになるため、文字入力、編
集後、ポインティングによるアプリケーションのメニュ
ー選択やカーソル移動などの筆記以外の操作を行う場合
に、文字や編集記号の筆記後にモード切り替えの操作を
行うことなく、直ちにポインティング等の操作を行え
る。

【０１１３】また、本発明によれば、画面上の特定領域
を文字、編集記号の筆記の対象から除外できる。このた
め、例えば文字、編集記号入力モードとマウスエミュレ
ションモードを選択するためのメニュー表示を画面表示
して、このメニュー表示の領域を前記特定領域にしてお
くことで、文字・編集記号入力モードで、筆記領域とメ
ニュー領域が重なった場合に於てもメニュー選択の操作
が行える。

【０１１４】また、本発明によれば、文字・編集記号入
力モードの時、文字の筆記後、マウスカーソル移動用の
特定の編集記号を筆記すれば、この編集記号の筆記位置
へのマウスカーソルの移動によって、一般的にアプリケ
ーションプログラムはこのマウスカーソル位置を編集位
置とするため、文字の筆記後、別の位置への文字入力、
編集を行う場合に、文字や編集記号の筆記の操作だけで
行え、文字・編集記号入力モードからマウスエミュレシ
ョンモードへの切り替え操作、マウスエミュレションモ
ードから文字・編集記号入力モードへの切り替え操作は
不要であり、操作が簡潔である。

【０１１５】また、本発明によれば、筆跡表示領域のサ
イズを数文字分に限定するすることによって、この限定
された領域に対してだけ筆跡を消去して、画面の再描画
を行うため、再描画に掛かる処理時間が少なくて済み、
また再描画による画面の変化が少なくて済むため、再描
画による画面のちらつきが少ない。また、本発明によれ
ば、あらかじめ筆跡表示領域のサイズを数文字分に限定
しても、筆跡表示領域外に筆記された時、この筆記位置
を含むサイズに筆跡表示領域を再設定するため、筆跡が
表示されないという問題はない。

【０１１６】また、本発明によれば、アプリケーション
のウィンドウに筆記可能とする時に於て、キーボードフ
ォーカスのあるアプリケーションウィンドウの画面が、
所定サイズより小さい場合、そのウィンドウの親ウィン
ドウの任意の位置への筆記を可能としている。このた
め、入力、編集の対象であるウィンドウサイズが小さく
て、この小さいウィンドウ内に筆記しづらい場合でも、
そのウィンドウを含む親のウィンドウ(同一のアプリケ
ーションプログラムが表示したウィンドウ)内に筆記で
きるため、筆記の大きさの制限が少ない。

【０１１７】また、本発明によれば、文字を認識した時
点で、この文字を一旦筆記位置に表示するため、認識結
果の確認が容易である。また、本発明によれば、文字や
編集記号が筆記された位置から所定の距離以上離れた位
置に座標入力すると筆記操作の終了と判断されて直ちに
文字と編集記号の認識が行われるため、一定時間の無操
作による筆記の終了指示に比べて筆記後の認識結果の表
示の応答性が非常に良い。また、特定のメニューを指示
しての筆記の終了を指示する操作と比較して、操作位置
の自由度が高いため、操作が容易である。

【図面の簡単な説明】

【図１】本発明の一実施例の機能構成を示すブロック図
である。

【図２】第１の従来技術を説明するための図である。

【図３】第２の従来技術を説明するための図である。

【図４】この実施例による任意位置への筆記動作を説明
するための図である。

【図５】この実施例による任意位置への筆記動作を説明
するための図である。

【図６】この実施例による任意位置への筆記動作を説明
するための図である。

【図７】この実施例の筆跡表示と筆跡消去の動作を説明
するための図である。

【図８】この実施例の筆跡表示と筆跡消去の動作を説明
するための図である。

【図９】この実施例の筆跡表示領域の制御動作を説明す
るための図である。

【図１０】この実施例の文字入力のロックモード時の動
作を説明するための図である。

【図１１】この実施例の文字入力のロックモード時の動
作を説明するための図である。

【図１２】この実施例の文字入力のアンロックモード時
の動作を説明するための図である。

【図１３】この実施例の文字入力のアンロックモード時
の動作を説明するための図である。

【図１４】この実施例でのキーボードフォーカスの移動
を説明するための図である。

【図１５】この実施例でのキーボードフォーカスの移動
を説明するための図である。

【図１６】この実施例の特定領域を説明するための図で
ある。

【図１７】この実施例でのウィンドウ単位の筆記入力を
説明するための図である。

【図１８】この実施例でのウィンドウ単位の筆記入力を
説明するための図である。

【図１９】この実施例でのウィンドウ単位の筆記入力を
説明するための図である。

【図２０】この実施例の特定の編集記号による動作を説
明するための図である。

【図２１】この実施例の特定の編集記号による他の動作
を説明するための図である。

【図２２】この実施例でのマウスカーソルの制御を説明
するための図である。

【図２３】この実施例でのマウスカーソルの制御を説明
するための図である。

【図２４】この実施例のウィンドウ単位の筆記入力を説
明するための図である。

【図２５】この実施例の認識結果の一旦表示動作を説明
するための図である。

【図２６】この実施例の認識結果の一旦表示動作を説明
するための図である。

【図２７】この実施例の動作フローを示す図である。

【図２８】この実施例の動作フローを示す図である。

【符号の説明】１表示入力一体型タブレット１ａＬＣＤ表示部１ｂ座標検出部２ＦＥＰ制御部３主制御部４認識部５筆跡表示部６筆跡消去部７座標データ出力部８認識結果出力部９アプリケーションプログラム

Claims

【特許請求の範囲】

【請求項１】手書き入力用のウィンドウ内に筆記され
た筆記データを認識し、この認識結果を手書き入力未対
応アプリケーションプログラムに供給するシステムプロ
グラムによる手書き入力方法において、前記手書き入力用のウィンドウ(Idsp,Idsp2,Iwn,Iwn2,I
arwn1)を透過性とし、この透過性ウインドウを前記アプリケーションプログラ
ム用のウィンドウ(WN,WN2,ARwn1)に重ねて配置すること
を特徴とする手書き入力方法。
【請求項２】前記手書き入力用のウィンドウ(Iwn,Iwn
2)の領域を、前記アプリケーションプログラム用のウィ
ンドウ(WN,WN2)の領域と一致させたことを特徴とする請
求項１の手書き入力方法。
【請求項３】前記手書き入力用のウィンドウ(Idsp)の
領域を、表示画面の全領域としたことを特徴とする請求
項１の手書き入力方法。
【請求項４】前記手書き入力用のウィンドウ(Idsp,Id
sp2,Iwn,Iwn2,Iarwn1)を透明としたことを特徴とする請
求項１〜３のいずれか１項に記載の手書き入力方法。
【請求項５】前記手書き入力用のウィンドウ内への筆
記開始位置を参考にして筆跡表示領域(DA)を設定するこ
とを特徴とする請求項１〜４のいずれか１項に記載の手
書き入力方法。
【請求項６】マウスとキーボードを入力手段とするア
プリケーションプログラムを無変更でペンを入力手段と
して動作させるペン型ウィンドウシステムの手書き入力
方法に於て、画面の任意の位置にペンで文字や編集記号を筆記し、該
筆記した位置へ筆跡を表示し、この筆跡座標データを認識した文字や編集記号に対応す
るコードをキーボードフォ−カスのあるアプリケーショ
ンプログラムに出力することを特徴とする手書き入力方
法。
【請求項７】キーボードフォーカスあるアプリケーシ
ョンプログラムを固定して、全画面の任意の位置への筆
記を可能とすることを特徴とする請求項６に記載の手書
き入力方法。
【請求項８】キーボードフォーカスのあるアプリケー
ションプログラムのウィンドウ画面内の任意の位置への
筆記を可能とすることを特徴とする請求項６に記載の手
書き入力方法。
【請求項９】文字や編集記号の筆記前のマウスカーソ
ルの位置を記憶し、筆記後に、前記記憶された位置へマ
ウスカーソルを戻すことを特徴とする請求項６又は７に
記載の手書き入力方法。
【請求項１０】筆跡座標データをマウス入力と同一形
式でアプリケーションプログラムに出力するマウスエミ
ュレーションモードと、前記筆跡を認識して対応するコ
ードを出力する文字・編集記号入力モードとの２つの操
作モードを備え、文字・編集記号入力モードの時に文字列や編集記号が筆
記されると、この筆記後にマウスエミュレーションモー
ドとなるアン・ロックモードと、前記筆記後でも文字・
編集記号入力モードを継続するロックモードとを選択す
ることを特徴とする請求項６又は７に記載の手書き入力
方法。
【請求項１１】画面上の特定領域を文字、編集記号の
筆記の対象から除外することを特徴とする請求項６又は
７に記載の手書き入力方法。
【請求項１２】文字・編集記号入力モードの時、マウ
スカーソル移動用の特定の編集記号を認識すると、該編
集記号を筆記した位置にマウスカーソルを移動し、該マ
ウスカーソルの存在するアプリケーションプログラムへ
キーボードフォーカスを移動することを特徴とする請求
項６又は７に記載の手書き入力方法。
【請求項１３】数文字分の筆跡表示可能な所定サイズ
の筆跡表示領域を筆記開始時に筆記開始位置に設定し、
筆跡認識終了後、この筆跡表示領域を消去し、この筆跡
表示領域を再描画する要求を該筆跡表示領域の存在する
ウインドウのアプリケーションプログラムに通知するこ
とを特徴とする請求項６又は７に記載の手書き入力方
法。
【請求項１４】前記筆跡表示領域の外に筆記された時
に、該筆記された位置を含むサイズに前記筆跡表示領域
を再設定する機能を有することを特徴とする請求項１３
に記載の手書き入力方法。
【請求項１５】キーボードフォーカスのあるアプリケ
ーションプログラムのウィンドウ画面が所定サイズより
小さい場合、該ウィンドウの親ウィンドウの任意の位置
へ筆記を可能とすることを特徴とする請求項６に記載の
手書き入力方法。
【請求項１６】筆記された文字を認識すると、該文字
を筆記位置に一旦表示してから、該文字を消去すること
を特徴とする請求項６又は７に記載の手書き入力方法。
【請求項１７】文字や編集記号が筆記された位置から
所定の距離以上離れた位置での座標入力の検出によっ
て、筆記操作の終了を判断することを特徴とする請求項
６に記載の手書き入力方法。
【請求項１８】マウスとキーボードを入力手段とする
アプリケーションプログラムを無変更でペンを入力手段
として動作させるペン型ウィンドウシステムによる手書
き入力装置に於て、ペンでの筆跡座標データを入力する座標入力手段と、該座標入力手段と一体になった表示手段と、前記筆跡座標データから筆跡を前記表示手段の画面上の
筆記位置に表示する筆跡表示手段と、前記筆跡座標データから文字又は編集記号を認識する認
識手段と、前記筆跡を消去する筆跡消去手段と、前記認識された文字又は編集記号に対応するコードをキ
ーボードフォ−カスのあるアプリケーションプログラム
に出力する認識結果出力手段とを有し、前記画面の任意の位置にペンで文字や編集記号を筆記
し、この筆記した位置へ前記筆跡表示手段によって筆跡
を表示することを特徴とする手書き入力装置。