JP3186361B2 - データ処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、データ処理装置に係
り、詳細には、筆記具の軌跡を検出して記入情報の認識
及び編集コマンド情報を判別してデータ処理を実行する
データ処理装置に関する。

【０００２】

【従来の技術】従来、手書きにより記入された文書書類
等の紙面上の文字等の情報を認識してデータ処理を実行
するデータ処理装置としては、例えば、紙面上の文字等
の記入情報を画像として読み取るスキャナと、所定の文
字認識プログラムを利用してスキャナにより読み取られ
る文字画像を文字データとして認識処理するパーソナル
コンピュータとから構成されており、パーソナルコンピ
ュータを持つ個人でもスキャナと文字認識ソフトを用意
することにより利用可能である。

【０００３】また、高速な文字認識を必要とする場合に
は、より高速の文字認識処理を行う専用装置として構成
されるため、パーソナルコンピュータで構成するものよ
りも高価になる。

【０００４】また、筆記具の軌跡をタッチパネル等でコ
ンピュータに入力して筆記文字を入力認識させるための
装置として文字入力用のタブレットも実用化されてい
る。

【０００５】

【発明が解決しようとする課題】しかしながら、このよ
うな従来のデータ処理装置にあっては、個人で利用可能
な構成のものであってもスキャナ、文字認識ソフト及び
パーソナルコンピュータといった大掛かりなものが必要
であるとともに、頁単位でスキャナに読み取らせるよう
になっているため、文章への記入工程とは別の読取工程
が必要になり、使用環境が限られ、誰でも手軽に利用で
きないという問題点があった。

【０００６】また、文字入力タブレットを利用する場合
は、専用のタブレットに記入された文字以外は認識でき
ず、やはり使用環境が限られてしまう。

【０００７】また、文字認識した文字データを編集する
ためには、別の編集用ソフトを利用して編集処理を別途
行う必要があったため、認識した文字データを利用する
際の編集機能の点でも問題点があった。

【０００８】本発明の課題は、手軽に利用可能で、かつ
使用環境を拡大可能な記入情報を認識し、認識したデー
タの編集処理を可能にするデータ処理装置を提供するこ
とである。

【０００９】

【課題を解決するための手段】本発明は、複数の表示色
を切換えて各表示色で記入面に描画する筆記手段と、前
記記入面を逐次撮影し、各表示色で描画された軌跡に基
づいて描画データを認識する認識手段と、この認識手段
で認識された描画データを前記記入面に投影する投影手
段と、編集を示す表示色の描画データに基づく前記認識
手段による編集コマンドの認識に応じて、前記記入面に
投影される描画データの編集処理を実行する処理手段
と、を具備したことを特徴としている。

【００１０】

【作用】本発明によれば、筆記手段で記入面に描画する
と、認識手段は前記記入面を逐次撮影し、描画された軌
跡に基づいて描画データを認識する。認識された描画デ
ータは投影手段によって前記記入面に投影される。一
方、編集を示す表示色に切換えて筆記手段で記入面に描
画すると、認識手段は前記記入面を撮影し、描画された
軌跡に基づいて描画データを編集コマンドとして認識す
る。処理手段は認識されたこの編集コマンドに基づいて
前記記入面に投影される描画データの編集処理を実行す
る。

【００１１】したがって、ユーザーは、手書き文字情報
の入力及び編集処理が容易になり、マンマシンインター
フェイスを向上させることができるとともに、データ処
理装置の使用環境の自由度を大幅に拡大することができ
る。

【００１２】

【実施例】以下、図１〜図５を参照して実施例を説明す
る。

【００１３】図１〜図５は、本発明のデータ処理装置の
一実施例を示す図である。

【００１４】まず、構成を説明する。

【００１５】図１は、データ処理装置１の外観図であ
り、データ処理装置１は、前面投射型表示方式の表示部
とカメラによる撮影部とを備えている。

【００１６】すなわち、データ処理装置１は、データ処
理装置１の主要なデータ処理部を収納するケース本体２
と、プロジェクター３及びカメラ４を収納するケース５
とから構成される。

【００１７】プロジェクター３としては、例えば、レン
ズ、液晶パネル及び光源等が順次並べられており、液晶
パネルの背面から光源の光を投射して液晶パネルの表示
内容をレンズを介して記入用紙６の紙面に投射する。

【００１８】カメラ４は、例えば、ＣＣＤ（Charge Cou
pled Device ）カメラ等により構成され、記入用紙６の
紙面に対向して設置された時、筆記具７もしくは筆記具
７により紙面に記入されるデータを所定撮影範囲で走査
して撮影する。

【００１９】図２は、データ処理装置１のブロック構成
図である。この図において、データ処理装置１は、表示
部（プロジェクター）３、カメラ４、画像検出部１１、
画像認識部１２、ＲＡＭ１３、１４、メインメモリ１
５、処理装置１６、表示メモリ１７及びＩ／Ｏ１８によ
り構成され、画像検出部１１、画像認識部１２、ＲＡＭ
１３、１４、メインメモリ１５、処理装置１６、表示メ
モリ１７は、上記図１に示したケース本体２内に収納さ
れる。

【００２０】カメラ４は、その撮影した画像を逐次画像
検出部１１に出力する。

【００２１】画像検出部１１は、カメラ４により撮影さ
れる画像に基づいて筆記具７の記入座標を検出する後述
する筆記具軌跡サンプリングフローを実行し、筆記具７
の先端に表示される表示色により描画モードか編集モー
ドかを判別し、描画モードの場合は、記入される記入面
の原点座標及び紙面上で記入される際の筆記具７の先端
軌跡に基づく位置座標を逐次検出してＲＡＭ１３内に形
成されるスタックメモリＲに書込む処理を行う。

【００２２】また、画像検出部１１は、編集モードの場
合は、記入される記入面の原点座標及び紙面上で記入さ
れる際の筆記具７の先端軌跡に基づく位置座標を逐次検
出してＲＡＭ１３内に形成されるスタックメモリＳに書
込む処理を行う。

【００２３】画像認識部１２は、画像検出部１１により
判別されるモードが描画モードのとき、画像検出部１１
により検出されてＲＡＭ１３内のスタックメモリＲに書
込まれた原点座標データ及位置座標データに基づいて筆
記文字の認識処理を実行し、このスタックメモリＲに書
込まれた原点座標データ及び位置座標データをＲＡＭ１
４内に形成されるメモリＴに読み込んだ後、ＲＡＭ１４
内に形成されるブロックメモリＢに展開し、この展開し
たデータに基づいて紙面に記入された文字あるいは図形
を認識し、認識した文字データあるいは図形データをメ
インメモリ１５に格納する。

【００２４】また、画像認識部１２は、画像検出部１１
により判別されるモードが編集モードのとき、画像検出
部１１により検出されてＲＡＭ１３内のスタックメモリ
Ｓに書込まれた原点座標データ及び逐次書込まれる位置
座標データに基づいて筆記による編集コマンドの認識処
理を実行し、このスタックメモリＳに書込まれた原点座
標データ及び位置座標データをＲＡＭ１４内に形成され
るメモリＴに読み込んだ後、ＲＡＭ１４内に形成される
ブロックメモリＢに展開し、この展開したデータに基づ
いて紙面に記入された編集コマンドを認識し、認識した
編集コマンドをメインメモリ１５に格納する。

【００２５】ＲＡＭ（Random Accesss Memory ）１３
は、描画モードの場合、画像検出部１１により検出され
る記入面の原点座標及び位置座標が書込まれるスタック
メモリＲを形成するとともに、編集モードの場合、画像
検出部１１により検出される記入面の原点座標及び位置
座標が書込まれるスタックメモリＳを形成する。

【００２６】ＲＡＭ１４は、画像検出部１１により検出
されてＲＡＭ１３内のスタックメモリＳに書込まれた原
点座標データ及び位置座標データが読み出されて格納さ
れるメモリＴを形成するとともに、画像認識部１２によ
り認識される文字データ、図形データ及び編集コマンド
を展開するブロックメモリＢを形成する。

【００２７】メインメモリ１５は、処理装置１６が実行
する各種処理プログラムを格納するとともに、画像認識
部１２により認識された文字データ、図形データ及び編
集コマンドを格納するメモリエリアＭを形成する。

【００２８】処理装置１６は、画像認識部１２により認
識されてメインメモリ１４に格納された文字データ、図
形データ及び編集コマンドを順次読み出して表示メモリ
１７に書込み、表示部３に表示させる表示処理を実行す
るとともに、メインメモリ１５に書込まれた編集コマン
ドを判別し、その編集コマンドに対応する編集処理を実
行し、編集結果を表示メモリ１７に転送し、また、Ｉ／
Ｏ１８を介して外部のコンピュータに対する文字データ
の転送処理等を実行する。

【００２９】表示メモリ１７は、表示部３の表示領域に
対応するメモリエリアを形成し、処理装置１６によりメ
インメモリ１５から読み出される文字データ、図形デー
タあるいは編集コマンドが順次書込まれると、その文字
データあるいは編集コマンドを表示部３に順次転送して
表示させるとともに、処理装置１６から転送される編集
結果を表示部３に転送して表示させる。

【００３０】表示部（プロジェクター）３は、液晶表示
パネルにより構成され、表示メモリ１７に順次書込まれ
て転送される文字データ、図形データ、編集コマンド及
び編集結果を記入用紙の紙面上に投射して表示する。

【００３１】Ｉ／Ｏ１８は、処理装置１６と外部のコン
ピュータとの間のデータの授受を制御し、メインメモリ
１５に書込まれた文字コードデータを外部のコンピュー
タ等へ出力する。

【００３２】図３は、筆記具７の外観図であり、筆記具
７は、円筒形のケース本体２１の内部に電源２２を内蔵
し、このケース本体２１の先端に近い部分には、先端部
２３が記入用紙６の紙面に接触したか否かを検出する圧
力センサ２４が設けられている。また、図１において、
ケース本体２１の後端部には、先端部２３に設けられた
編集モード表示用の赤色ＬＥＤ２５及び描画モード表示
用の青色ＬＥＤ２６の表示色を切換えることによりモー
ドを切換えるモード切換スイッチ２７が設けられてい
る。

【００３３】また、各ＬＥＤ２５、２６の発光は、先端
部２３内に埋設されたグラスファイバー２８を通して先
端部２３の記入用紙の紙面に接触する発光部２９を発光
させる。

【００３４】すなわち、本実施例では、図１において、
記入用紙６の紙面上に筆記具７の先端部２３が接触する
と、圧力センサ２４がメイクして電源２２をオンし、モ
ード切換スイッチ２７の切換え位置によって選択されて
いるモードに対応する赤色ＬＥＤ２５あるいは青色ＬＥ
Ｄ２６を点灯し、発光部２９を選択されたモードの発光
色で発光させる。

【００３５】データ処理装置１は、記入用紙の紙面上を
カメラ４で撮影し、筆記具７の赤色ＬＥＤ２５あるいは
青色ＬＥＤ２６が点灯した時、その点灯色を画像検出部
１１で検出して描画モードか編集モードかを判別し、筆
記具７により紙面上で文字あるいは編集コマンドの記入
が行われると、発光部２９の光の軌跡を画像検出部１１
で検出し、描画モードの場合は、画像認識部１２で記入
された文字データあるいは図形データを認識して、プロ
ジェクター３により文字データあるいは図形データを紙
面上に投射して表示し、編集モードの場合は、画像認識
部１２で編集コマンドを認識し、処理装置１６により処
理された編集結果をプロジェクター３により紙面上に投
射して表示する。

【００３６】次に、本実施例の動作を説明する。

【００３７】上記図１において、データ処理装置１のケ
ース５の下方に置かれた記入用紙６の紙面上を筆記具７
の発光部２９を接触させると、圧力センサ２４がメイク
して電源２２をオンし、赤色ＬＥＤ２５あるいは青色Ｌ
ＥＤ２６を点灯するとともに、発光部２９を選択モード
の点灯色で発光する。

【００３８】データ処理装置１では、記入用紙６の紙面
をカメラ４で撮影し、筆記具７の画像を取込んで画像検
出部１１で筆記具軌跡サンプリングフローを実行する。

【００３９】この筆記具軌跡サンプリングフローについ
て図４に示すフローチャートに基づいて説明する。な
お、本処理は、一定のサンプリングタイミングで繰り返
し実行される。

【００４０】図４において、まず、筆記具７の赤色ＬＥ
Ｄ２５あるいは青色ＬＥＤ２６の点灯による指示信号の
検出の有無を判別し（ステップＳ１）、指示信号を検出
すると、その点灯色が“赤”か“青”かを判別する（ス
テップＳ２）。点灯色が“赤”の時は、編集モードであ
ると判断し、記入用紙６の紙面の基準位置の原点座標及
びＸ軸を検出する（ステップＳ３）。この紙面の基準位
置としては、例えば、記入用紙の左端上を原点座標とし
て検出し、記入用紙の上端をＸ軸として検出する。

【００４１】次いで、文字、図形あるいは編集コマンド
を記入のために紙面上を動かされる筆記具７の発光部２
９の光の軌跡をカメラ４で撮影し、その光の軌跡により
記入中の位置座標を検出し（ステップＳ４）、その検出
した位置座標データが前回検出した位置座標データと同
一か否かを判別する（ステップＳ５）。すなわち、筆記
具７に動きがあるか否かを判別し、今回検出した位置座
標データと前回検出した位置座標データが同一の時は、
本処理を終了し、今回検出した位置座標データと前回検
出した位置座標データが同一でない時は、今回検出した
位置座標データをＲＡＭ１３内に形成されたスタックメ
モリＳに格納して本処理を終了する（ステップＳ６）。

【００４２】一方、上記ステップＳ２で筆記具７の点灯
色が“青”の時は、描画モードであると判断し、記入用
紙６の紙面の基準位置の原点座標及びＸ軸を検出する
（ステップＳ７）。この紙面の基準位置としては、例え
ば、記入用紙の左端上を原点座標として検出し、記入用
紙の上端をＸ軸として検出する。

【００４３】次いで、文字、図形あるいは編集コマンド
を記入のために紙面上を動かされる筆記具７の発光部２
９の光の軌跡をカメラ４で撮影し、その光の軌跡により
記入中の位置座標を検出し（ステップＳ８）、その検出
した位置座標データが前回検出した位置座標データと同
一か否かを判別する（ステップＳ９）。すなわち、筆記
具７に動きがあるか否かを判別し、今回検出した位置座
標データと前回検出した位置座標データが同一の時は、
筆記具７に動きがないため本処理を終了し、今回検出し
た位置座標データと前回検出した位置座標データが同一
でない時は、筆記具７に動きがあるため今回検出した位
置座標データをＲＡＭ１３内に形成されたスタックメモ
リＲに格納して本処理を終了する（ステップＳ１０）。

【００４４】以上の筆記具軌跡サンプリングフローによ
って筆記具７の発光部２９の光の軌跡を位置座標データ
として逐次検出し、その検出した位置座標データがＲＡ
Ｍ１３内に形成されたスタックメモリＳに逐次格納され
る。

【００４５】次に、編集モードの場合に、上記筆記具軌
跡サンプリングフローに続いて画像認識部１２により実
行される編集対象の認識処理フローについて図５に示す
フローチャートに基づいて説明する。

【００４６】まず、上記筆記具軌跡サンプリングフロー
によってＲＡＭ１３内のスタックメモリＳに格納された
全位置座標データを順次読み出してＲＡＭ１４内に形成
されたメモリＴに順次格納し（ステップＳ２１）、スタ
ックメモリＳをクリアする（ステップＳ２２）。次い
で、メモリＴから位置座標データを順次読み出し（ステ
ップＳ２３）、ＲＡＭ１４内に形成されたブロックメモ
リＢに順次展開する（ステップＳ２４、Ｓ２５）。この
ブロックメモリＢに展開した位置座標データから編集範
囲が認識可能か否かを判別し、すなわち、本実施例で
は、記入用紙６の紙面上に記入された編集対象を囲む図
形が、閉じた図形であるか否かを判別するものとする
（ステップＳ２６）。閉じた図形になっていない場合
は、編集対象範囲が認識できないため、ブロックメモリ
Ｂ内の位置座標データを読み出してメインメモリ１５内
に形成されたメモリエリアＭに格納する（ステップＳ２
７）。メモリエリアＭに格納された位置座標データは、
処理装置１６が読み出して表示メモリ１７に書込み、表
示部（プロジェクター）３により記入用紙６の紙面上に
投影して表示した後、上記ステップＳ２３のメモリＴか
らの位置座標データの読み出し処理に戻る（ステップＳ
２８）。

【００４７】このステップＳ２７及びステップＳ２８の
処理によって、筆記具７によって記入される編集対象を
囲む図形が、その筆記具７の筆記動作に合わせてリアル
タイムで記入用紙６の紙面上に投影されて表示される。

【００４８】一方、上記ステップＳ２６でブロックメモ
リＢに展開した位置座標データが閉じた図形の場合は、
編集対象範囲が認識可能であるため、メインメモリ１５
内のメモリエリアＭに格納した図形データにより表示中
の閉じた図形に対応する編集対象範囲をブリンク表示し
（ステップＳ２９）、メモリエリアＭ内の図形データを
消去し（ステップＳ３０）、編集対象を囲む図形データ
の表示を停止する（ステップＳ３１）。

【００４９】以上の編集対象の認識処理により記入用紙
６に筆記具７によって記入される編集対象を囲む図形が
リアルタイムで投影されて表示されるとともに、その記
入中の図形が閉じて編集対象範囲が認識されたとき、そ
の編集対象がブリンク表示されて、編集対象を認識した
旨が明確にユーザーに通知される。

【００５０】次に、上記編集対象の認識処理に続いて編
集対象内のデータを編集処理する際の編集コマンドの認
識処理フローについて図６に示すフローチャートに基づ
いて説明する。

【００５１】まず、上記筆記具軌跡サンプリングフロー
によってＲＡＭ１３内のスタックメモリＳに格納された
全位置座標データを順次読み出してＲＡＭ１４内に形成
されたメモリＴに順次格納し（ステップＳ４１）、スタ
ックメモリＳをクリアする（ステップＳ４２）。次い
で、メモリＴから位置座標データを順次読み出し（ステ
ップＳ４３）、ＲＡＭ１４内に形成されたブロックメモ
リＢに順次展開する（ステップＳ４４、Ｓ４５）。この
ブロックメモリＢに展開した位置座標データから編集コ
マンドが認識可能か否かを判別し、すなわち、本実施例
では、記入用紙６の紙面上に記入された編集コマンド
が、予め設定された編集コマンドに対応する指示データ
であるか否かを判別するものとする（ステップＳ４
６）。編集コマンドに対応する指示データになっていな
い場合は、その記入中の編集コマンドが認識できないた
め、ブロックメモリＢ内の位置座標データを読み出して
メインメモリ１５内に形成されたメモリエリアＭに格納
する（ステップＳ２７）。メモリエリアＭに格納された
位置座標データは、処理装置１６が読み出して表示メモ
リ１７に書込み、表示部（プロジェクター）３により記
入用紙６の紙面上に投影して表示した後、上記ステップ
Ｓ４３のメモリＴからの位置座標データの読み出し処理
に戻る（ステップＳ４８）。

【００５２】このステップＳ４７及びステップＳ４８の
処理によって、筆記具７によって記入される編集コマン
ドに対応する指示データが、その筆記具７の筆記動作に
合わせてリアルタイムで記入用紙６の紙面上に投影され
て表示される。例えば、本実施例では、先に指示された
編集対象範囲を移動させる編集コマンドととして“→”
の指示データを認識するものとする。

【００５３】一方、上記ステップＳ４６でブロックメモ
リＢに展開した位置座標データが移動に対応する編集コ
マンドの指示データであると認識できた場合は、その移
動先を検出し（ステップＳ４９）、先に認識した編集対
象範囲のデータを“→”で指示された方向に移動し（ス
テップＳ５０）、メモリエリアＭに格納した編集コマン
ドを消去し（ステップＳ５１）、処理装置１６が、その
編集コマンドに基づいて移動先に編集対象範囲を“→”
で指示された方向に移動表示させて本処理を終了する
（ステップＳ５２）。

【００５４】以上の編集コマンドの認識処理により記入
用紙６に筆記具７によって記入される編集コマンドがリ
アルタイムで投影されて表示されるとともに、その記入
した編集コマンドが認識されたとき、先に認識された編
集対象範囲の編集結果が表示される。

【００５５】したがって、本実施例によれば、先端部が
発光する発光部２９を備えた筆記具７により記入用紙６
の記入面上で文字や図形を記入すると、その発光部２９
の筆記軌跡が逐次検出されて認識され、プロジェクター
３により記入面上にリアルタイムに記入データが投影表
示されるるとももに、編集対象範囲や編集コマンドも同
様に発光部２９の筆記軌跡が逐次検出されて認識され
て、投影表示される。

【００５６】その結果、ユーザーは、手書き文字情報の
入力及び編集処理が容易になり、マンマシンインターフ
ェイスを向上させることができるとともに、データ処理
装置の使用環境の自由度を大幅に拡大することができ
る。

【００５７】また、本実施例のデータ処理装置を利用す
れば、従来のキーボードからコマンドを入力する場合や
表示されたコマンドのアイコンをマウス等のポインティ
ング装置により操作する場合に比べて、より簡単に編集
コマンドの入力操作を行うことができる。

【００５８】なお、上記実施例では、編集コマンドとし
て“→”による移動指示の場合を説明したが、他の編集
コマンドととして、例えば、複写や消去等の編集コマン
ドも同様に記入用紙６の紙面上で指示することが可能で
あることは勿論である。

【００５９】

【発明の効果】本発明によれば、記入された描画データ
が逐次撮影されて認識され、これが前記記入面に投影さ
れるので、各種の描画データの入力操作が簡単に行え、
筆記手段の表示色を切換えることにより編集処理を行わ
せることもでき、データ入力及び編集に対するマンマシ
ンインターフェースを向上させることができる。

【図面の簡単な説明】

【図１】本発明のデータ処理装置の一実施例の外観構成
図。

【図２】図１のデータ処理装置のブロック構成図。

【図３】図１の筆記具の一実施例の外観構成図。

【図４】図２の画像検出部による筆記具軌跡サンプリン
グ処理のフローチャート。

【図５】図２の画像認識部による編集対象の認識処理の
フローチャート。

【図６】図２の画像認識部による編集コマンドの認識処
理のフローチャート。

【符号の説明】

１ データ処理装置 ２ ケース本体 ３ 表示部（プロジェクター） ４ カメラ ５ ケース ６ 記入用紙 ７ 筆記具 １１ 画像検出部 １２ 画像認識部 １３ ＲＡＭ １４ ＲＡＭ １５ メインメモリ １６ 処理装置 １７ 表示メモリ １８ Ｉ／Ｏ ２１ ケース本体 ２２ 電源 ２３ 先端部 ２４ 圧力センサ ２５ 赤色ＬＥＤ ２６ 青色ＬＥＤ ２７ モード切換スイッチ ２８ グラスファイバー ２９ 発光部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｇ０６Ｋ 9/20 ３４０ Ｇ０６Ｋ 9/20 ３４０Ｂ 9/62 9/62 Ｇ Ｇ０６Ｔ 11/60 Ｇ０６Ｔ 11/60 (56)参考文献 特開 平６−266498（ＪＰ，Ａ) 特開 平６−89125（ＪＰ，Ａ) 特開 平５−330289（ＪＰ，Ａ) 特開 平５−150901（ＪＰ，Ａ) 特開 平２−242320（ＪＰ，Ａ) 特開 平２−132510（ＪＰ，Ａ) 特開 昭63−303420（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 3/033 - 3/037 G06F 3/00 601 - 680 G06F 3/03 G06K 9/20 340 G06K 9/62 G06T 11/60

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】複数の表示色を切換えて各表示色で記入面
   に描画する筆記手段と、 前記記入面を逐次撮影し、各表示色で描画された軌跡に
   基づいて描画データを認識する認識手段と、 この認識手段で認識された描画データを前記記入面に投
   影する投影手段と、 編集を示す表示色の描画データに基づく前記認識手段に
   よる編集コマンドの認識に応じて、前記記入面に投影さ
   れる描画データの編集処理を実行する処理手段と、 を具備したことを特徴とするデータ処理装置。