JP2013080522A - 情報処理システム及びそのプログラム - Google Patents

Abstract

【課題】記入用紙の内容と電子ペン情報により、記入したユーザを認識し、そのユーザの記入内容をコンピュータ装置に格納するとともに、表示手段に再現する。
【解決手段】各々に位置座標を示す同一のコード化パターンが形成された記入用紙４と、位置座標を示すコード化パターンが形成された表示面に、複数の処理指示エリアが形成された操作シート５と、コード化パターンを読み取って、位置座標をペン識別情報とともに記入情報として送信する電子ペン１と、電子ペン１から送信された記入情報を受信して、当該記入情報に応じた処理を行うコンピュータ装置２とを備える。操作シート５への記入により電子ペン１から送信された記入情報を受信すると、記入用紙４への記入に関する記入情報に対応したストロークを、操作シート５への記入により電子ペン１から送信された記入情報から特定される処理指示エリアに対応する処理を実行しつつ、表示手段に表示する。
【選択図】図１

Description

本発明は、位置座標を示すコード化パターンを用いて情報を入力することができる情報処理システムに関し、特に、コード化パターンが形成された操作シートに電子ペンで触れるだけで、ユーザのストローク内容を表示するとともに、電子ペンで触れた操作シートの処理指示エリアによってストロークの表示を制御するようにした情報処理システムに関する。

近年、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのAnoto 社が開発した「アノトペン（Anoto pen ）」が知られている。アノトペンは、所定のアルゴリズムによりパターン化された位置座標を示すドットパターンが印刷された専用紙とともに使用される。アノトペンは、ペン先部に、専用紙に印刷されたドットパターンを撮像するための小型カメラと、撮像したドットパターンから専用紙における位置座標を演算するプロセッサと、演算された位置座標等を外部機器へ送信するデータ通信ユニットとを搭載している。ユーザが専用紙上にアノトペンで文字等を書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを撮像し、プロセッサによって演算された連続する位置座標から、ユーザが書き込んだ文字、画像などの記入情報が認識される。そして、この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される（例えば、特許文献１参照）。

このようなドットパターンを利用したものとして、印刷物に形成したドットパターン情報を光学的に読み取ることにより、音声情報を出力させるようにしたものや、複数の家電機器を遠隔操作できるようにしたもの（特許文献２，３参照）が提案されている。

また、ドットパターンが印刷された楽譜を電子ペンで読み取り、電子ペンから受信した電子ペンデータの符号化されたドットパターン情報を用いて、演奏データを生成するようにした演奏指示システムが提案されており（例えば、特許文献４）、文字列や図形などの教材要素が記載された媒体と、電子ペンと、情報出力装置を具備させた情報処理システムであって、先生の力量を問わない教育を可能としたものも提案されている（特許文献５）。

さらには、このようなアノト方式を始めとする既知の手書き入力デバイスを利用し、受講者の書込みが感知された時間帯だけ動画を選択的に再生することで、指導者が受講者の傍らに常駐しその思考過程を把握できるような状況を仮想的に生じさせるようにした通信教育システムも提案されている（特許文献６参照）。

特表２００３−５１１７６１号公報 特許第４２６８６４１号公報 特許第４２０３５２５号公報 特開２００７−３２８２０７号公報 特開２００９−０２０６３１号公報 特許第３８１０７４７号公報

上記したように、記入した情報を電子化する電子ペンを用いて構築した情報処理システムが種々開発されているが、手書きされたストロークを複数のユーザ分、再生表示できたり、あるいは、ユーザが手元の操作シートでストロークを再生表示できたりすれば便利である。

本発明に係るコンピュータ装置は、
手書いたユーザを区別して、手書きに基づく時間的な情報が関連付けられた位置座標を含む記入情報を記憶する記憶手段と、
前記記憶手段に記憶された記入情報を読み出して、複数のユーザ分の手書かれたストロークを並べて、前記時間的な情報に基づき、表示手段に再生表示させる処理手段と
を備えることを特徴とする。

本コンピュータ装置によれば、記憶手段に記憶された記入情報を読み出して、複数のユーザ分の手書かれたストロークを並べて、手書きに基づく時間的な情報に基づき、表示手段に再生表示させることができる。

上記コンピュータ装置において、前記処理手段は、複数のユーザ分の手書かれたストロークを同時に再生表示させるよう構成するとよい。

また、本発明に係る情報処理システムは、
位置座標を示すコード化パターンが形成された記入用紙と、
コード化パターンを読み取って位置座標を演算し、当該位置座標とコード化パターンを読み取っている時の時刻情報とを関連付けて記入情報として送信する電子ペンと、
上記コンピュータ装置とを備え、
前記コンピュータ装置は、前記電子ペンから受信した記入情報に基づき、ユーザにより手書かれたストロークを再生表示することを特徴とする。

この構成により、電子ペンで記入用紙に記入すると、電子ペンは、コード化パターンを読み取って位置座標を演算し、当該位置座標とコード化パターンを読み取っている時の時刻情報とを関連付けて記入情報として送信する。コンピュータ装置は、電子ペンから記入情報を受信して、記憶手段に、手書いたユーザを区別して記憶する。そして、コンピュータ装置は、電子ペンから受信した記入情報に基づき、ユーザにより手書かれたストロークを再生表示することができる。

上記情報処理システムにおいては、
さらに、位置座標を示すコード化パターンが形成された表示面に、ストロークの再生に関するボタンが形成された操作シートを備え、
前記コンピュータ装置の前記処理手段は、前記操作シートへの操作により前記電子ペンから送信された前記記入情報から特定されるボタンに対応して、手書かれたストロークについて、表示手段に再生に関する処理を実行するよう構成するとよい。
この構成により、ユーザは、電子ペンを用いた操作シートへの操作により、ストロークの再生に関する処理をコンピュータ装置に実行させることができる。

また、本発明に係る情報処理システムは、
位置座標を示すコード化パターンが形成された記入用紙と、
位置座標を示すコード化パターンが形成された表示面に、ストロークの再生に関するボタンが形成された操作シートと、
コード化パターンを読み取って位置座標を演算し、当該位置座標とコード化パターンを読み取っている時の時刻情報とを関連付けて記入情報として送信する電子ペンと、
前記電子ペンから記入情報を受信して手書きストロークを再生表示するコンピュータ装置とを備えた情報処理システムであって、
前記コンピュータ装置は、
前記電子ペンから記入情報を受信する受信手段と、
手書いたユーザを区別して、手書きに基づく時間的な情報が関連付けられた位置座標を含む記入情報を記憶する記憶手段と、
前記記憶手段に記憶された記入情報を読み出して、手書かれたストロークを前記時間的な情報に基づき、前記操作シートへの操作により前記電子ペンから送信された前記記入情報から特定されるボタンに対応して、表示手段に再生に関する処理を実行する処理手段とを備えることを特徴とする。

この構成によれば、電子ペンで記入用紙に記入すると、電子ペンは、コード化パターンを読み取って位置座標を演算し、当該位置座標とコード化パターンを読み取っている時の時刻情報とを関連付けて記入情報として送信する。コンピュータ装置は、電子ペンから記入情報を受信して、記憶手段に、手書いたユーザを区別して記憶する。さらに、ユーザが電子ペンを用いた操作シートへの操作により、ストロークの再生に関する処理をコンピュータ装置に実行させることができる。

本発明に係るプログラムは、上記コンピュータ装置として機能させることを特徴とする。このプログラムをコンピュータ装置にインストールすることにより、上記のコンピュータ装置を実現し、情報処理システムを構成することができる。

本発明によれば、手書きされたストロークを複数のユーザ分、再生表示でき、あるいは、ユーザが手元の操作シートでストロークを再生表示することができる。

第１実施形態における情報処理システムのシステム構成図である。 ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。 （ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報の例を示す図である。 電子ペンの構造を示す概略図である。 コンピュータ装置の機能ブロック図である。 第１実施形態で使用する記入用紙の一例を示す平面図である。 第１実施形態で使用する操作シートの一例を示す平面図である。 発表用操作シートに設定された処理指示エリアと処理機能との関連付け情報（処理指示情報）のデータ構造を示す概念図である。 解答用紙に設定された解答エリアおよび発表用操作シートに設定された処理指示エリアと、位置座標との関連付け情報（位置座標情報）のデータ構造を示す概念図である。 コンピュータ装置の表示手段における描画アプリの一例を示す説明図である。 描画アプリの実施例を発表用操作シートとともに示す説明図である。 描画アプリの実施例を発表用操作シートとともに示す説明図である。 第１実施形態の情報処理システムで実行される処理のフロー図である。 解答用紙に設定された解答エリアおよび発表用操作シートに設定された処理指示エリアと、位置座標と、使用ユーザとの関連付け情報（使用関係情報）のデータ構造を示す概念図である。 第２実施形態の情報処理システムで実行される処理のフロー図である。

以下、図面を参照して、本発明の好適な情報処理システムについて詳細に説明する。

＜第１実施形態＞
［情報処理システムのシステム構成］
図１は、本第１実施形態における情報処理システムのシステム構成図である。図１に示すように、本第１実施形態における情報処理システムは、ユーザが使用する電子ペン１（１Ａ，１Ｂ）と、電子ペン１から記入情報等を受信して処理するコンピュータ装置２と、コンピュータ装置２のディスプレイ（表示手段）に表示する画像と同様の画像をスクリーンに映し出すプロジェクタ３と、位置座標を示すドットパターンが印刷された解答用紙（記入用紙）４（４Ａ，４Ｂ）と、解答用紙４とは異なる位置座標を示すドットパターンが印刷された発表用操作シート５（５Ａ，５Ｂ）とから構成される。

［ドットパターン］
後述する解答用紙４と発表用操作シート５には、両者ともにアノト方式のドットパターン（コード化パターン）が印刷されている。図２は、ドットパターンのドットとそのドットが変換される値との関係を説明する図である。図２に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組合せにより、解答用紙４や発表用操作シート５の位置座標が決定されるよう構成されている。このドットパターンは、赤外線を吸収するカーボンを含有するインキによって印刷されている。

図３（ａ）は、ある位置のドットパターンの配列を示している。図３（ａ）に示すように、縦横約２ｍｍの範囲内に６×６個のドットが、解答用紙４や発表用操作シート５のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは、解答用紙４や発表用操作シート５における相対的な位置座標を保持している。図３（ｂ）は、図３（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図２に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１によって行われる。

［電子ペン］
次に、電子ペン１について説明する。図４は、電子ペン１の構造を示す概略図である。図４に示すように、電子ペン１は、その筐体１０１の内部に、インクカートリッジ１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１及びバッテリー１１２を備える。インクカートリッジ１０４の先端は、ペン先部１０３となっており、ユーザは、電子ペン１のペン先部１０３を解答用紙４や発表用操作シート５に当接させて、文字等のストロークを記入したり、タップ（ペン先部１０３による解答用紙４や発表用操作シート５への軽叩）したりする。ここで、電子ペン１のペン先部１０３が解答用紙４や発表用操作シート５に最初に接触することをペンダウンと呼び、接触している（当接している）状態からペン先部１０３が離れることをペンアップと呼ぶ。電子ペン１のペンダウンからペンアップまでの間に記入される軌跡が１つのストロークとなり、文字や図形等は１つ又は複数個のストロークからなる。

バッテリー１１２は電子ペン１内の各部品に電力を供給するためのものであり、例えば電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うよう構成させてもよい。リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１により解答用紙４や発表用操作シート５に文字やマークを書いたりタップしたりする際にペン先部１０３からペン部１０４を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ１０８へ伝送する。

プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データに基づいて、ＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチのオン／オフを切り替える。即ち、ユーザが電子ペン１で解答用紙４や発表用操作シート５に文字などを書くと、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されたときに、プロセッサ１０８は、ユーザが記入を開始したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を作動させる。また、ユーザが１つのストロークを記入し終えて電子ペン１を解答用紙４や発表用操作シート５から離すと、圧力センサ１０７は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。

ＬＥＤ１０５とＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、解答用紙４や発表用操作シート５上のペン先部１０３近傍に向けて赤外線を照明する。その領域は、ペン先部１０３が解答用紙４や発表用操作シート５に接触する位置とはわずかにずれている。ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。ここで、カーボンは赤外線を吸収するため、ＬＥＤ１０５によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。したがって、ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。なお、ＣＭＯＳカメラ１０６による撮影領域は、図３（ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。

プロセッサ１０８は、ユーザの記入が行われる間、ＣＭＯＳカメラ１０６によって供給される画像データのドットパターンから、ユーザが記入するストローク（筆跡）を構成する座標点の解答用紙４や発表用操作シート５上におけるＸ，Ｙ座標（単に「位置座標」、「座標データ」とも呼ぶ）を連続的に演算していく。すなわち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図３（ａ）に示されるようなドットパターンの画像データを図３（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値及びＹ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ，Ｙ座標データを演算する。そしてプロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（タイムスタンプ：記入された時刻情報）、筆圧データ及びＸ，Ｙ座標データとを関連付ける。なお、解答用紙４や発表用操作シート５における６×６のドットパターンは、解答用紙４や発表用操作シート５内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置が解答用紙４や発表用操作シート５のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。

メモリ１０９には、電子ペン１（１Ａ，１Ｂ）を識別するための「Ｐｅｎ０１，Ｐｅｎ０２」といったペンＩＤ（ペン識別情報）、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット１１１は、１回のペンダウンからペンアップまでに電子ペン１により生成されるＸ，Ｙ座標データ、時刻データとしてのタイムスタンプ、記入時の筆圧データの関連付け情報（以降、「ストローク情報」と呼ぶ）に、ペンＩＤを関連付けて記入情報としてコンピュータ装置２に送信する。通信ユニット１１１によるコンピュータ装置２への送信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線送信によって、即時的かつ逐次的に行われる。

［コンピュータ装置］
次に、コンピュータ装置２について説明する。コンピュータ装置２は、ハードウェアとして、電子ペン１とのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ、マウスやキーボード等からなるパーソナルコンピュータ等で構成される。図５は、コンピュータ装置２の機能ブロック図である。コンピュータ装置２は、機能的には、マウスやキーボードといった入力手段２１、受信手段２２、クロック２３、処理手段２４、記憶手段２５、表示手段２６及び送信手段２７を備える。そして、コンピュータ装置２は、電子ペン１から受信した記入情報に基づいて所定の処理を行う。なお、時刻情報は、電子ペン１のリアルタイムクロック１１０の代わりに、このコンピュータ装置２のクロック２３から得るようにしてもよい。

受信手段２２は、アンテナや受信回路等により構成され、電子ペン１から記入情報を受信し、処理手段２４に伝送する。送信手段２７は、処理手段２４の指示によって、表示手段２６の画像表示に用いられる画像信号をプロジェクタ３に送信するもので、プロジェクタ３へのデータ送信方式は、有線式であっても無線式であってもよい。表示手段２６は、ディスプレイ等によって構成され、処理手段２４によって指示された内容を表示する。

記憶手段２５は、ハードディスクやＲＯＭ、ＲＡＭといったメモリによって構成される。記憶手段２５は、電子ペン１によって解答用紙４に記入される際に送信され、受信手段２２によって受信される記入情報を、記入情報に含まれるペン識別情報（ペンＩＤ）により識別して記憶する。また、記憶手段２５は、解答用紙４に記入されることにより取得した記入情報をストロークとして描画するための描画アプリケーション（プログラム）と、後述する位置座標情報や処理指示情報などのアプリケーションで利用する各種定義情報を記憶している。そのアプリケーションは、電子ペン１により発表用操作シート５の処理指示エリアをタップや記入により指定することで電子ペン１から送信され、受信手段２２によって受信する記入情報に基づいて、解答用紙４への記入に関する記入情報からのストローク再生描画をコントロールすることができる。

処理手段２４は、ＣＰＵ等のプロセッサによって構成され、受信手段２２により電子ペン１から受信した記入情報に基づいて、表示手段２６に対して種々の形態で記入内容を表示させたり、記憶手段２５に記憶されたアプリケーション（プログラム）を起動させ、アプリケーションにより、発表用操作シート５の処理指示エリアに対応する処理を行ったりする。また、処理手段２４は、表示手段２６に表示させる画像と同じ画像を同期させてプロジェクタ３に投影させるための画像信号を、送信手段２７に対してプロジェクタ３へ送信させる。プロジェクタ３は、コンピュータ装置２の送信手段２７から受信した画像信号に基づいて、表示手段２６に表示された画像と同様の画像をスクリーンに投影して映し出す。

［解答用紙、発表用操作シート］
図６は、第１実施形態で使用する記入用紙（用紙）としての「解答用紙４」の一例を示す平面図である。本実施形態で使用する解答用紙４は、周囲を除く全体に解答エリア（ユーザエリア）４１０が設定されており、どの解答用紙４にも同一のドットパターン（コード化パターン）が赤外線を吸収するカーボンを含有するインキにより印刷されている。さらに解答用紙４には、それと重ねて問題や解答の記入枠、マス目などが、赤外線に吸収性を持たないインキにより印刷されている。ドットパターンと記入枠等の絵柄は用紙に対して同時に印刷してもよいし、どちらかを先に印刷してもよい。

図７は、第１実施形態で使用する操作シート（用紙）としての「発表用操作シート５」の一例を示す平面図である。本実施形態で使用する各発表用操作シート５は、同一のドットパターンが赤外線を吸収するカーボンを含有するインキにより印刷された表示面に、複数の処理指示エリア（ユーザエリア）５１１〜５２２が設定されている。処理指示エリア５１１〜５２２を示す図形等の絵柄は、赤外域に吸収性を持たないインキにより印刷されている。ドットパターンと絵柄は用紙に対して同時に印刷してもよいし、どちらかを先に印刷してもよい。

図８は発表用操作シート５に設定された処理指示エリア５１１〜５２２と対応するアプリケーション処理機能との関連付け情報（「処理指示情報」と呼ぶ）のデータ構造を示す概念図であり、記憶手段２５によって記憶されている。発表用操作シート５の処理指示エリア５１１〜５２２には、次のような機能をコンピュータ装置２に処理させるアプリケーション機能が関連付けられている。すなわち、処理指示エリア５１１は、記憶手段２５に記憶された記入情報をストロークとして再生して表示を開始させる「再生ボタン」であり、処理指示エリア５１２は、その再生表示を停止する「停止ボタン」である。処理指示エリア５１３は、再生箇所を最初のストロークまで戻す「頭だし表示ボタン」であり、処理指示エリア５１４は、再生箇所を１ストローク戻す（所定秒戻すでもよい）「１ストローク戻るボタン」であり、処理指示エリア５１５は、再生箇所を１ストローク進める（所定秒進めるでもよい）「１ストローク進むボタン」であり、処理指示エリア５１６は、再生箇所を最終ストロークまで進める「最終ストローク表示ボタン」であり、また、処理指示エリア５１７〜５２１は、５段階で再生スピードを調整する（１：遅い〜５：速い）「再生速度ボタン」であり、処理指示エリア５２２は、再生箇所を指定する「再生バー」である。初期に記入された記入情報から再生したい場合は、処理指示エリア５２２の左端をタップすればよく、終期に記入された記入情報を再生したい場合は、処理指示エリア５２２の右端をタップすればよい。すなわち、再生を開始させたい時間的な箇所を、「再生バー」の処理指示エリア５２２を電子ペン１によってタップすることで指定する。なお、電子ペン１による処理指示エリア５１１〜５２２の指定は、丸印やレ点などの記入やタップにより行えばよく、本実施形態では、タップするものとして説明する。

図９は、解答用紙４に設定された解答エリア（ユーザエリア）４１０および発表用操作シート５に設定された処理指示エリア（ユーザエリア）５１１〜５２２と位置座標との関連付け情報（「位置座標情報」と呼ぶ）のデータ構造を示す概念図であり、記憶手段２５によって記憶されている。図示のように、解答用紙４の解答エリア４１０は、角位置が（ｘ１，ｙ１）、高さがＨ１、幅がＷ１で表される。また、発表用操作シート５の処理指示エリア５１１〜５２２は、角位置が夫々（ｘ１１，ｙ１１）〜（ｘ２２，ｙ２２）、高さが夫々Ｈ１１〜Ｈ２２、幅が夫々Ｗ１１〜Ｗ２２で各々表される。このように角位置と高さ及び幅が決まることにより、この座標領域に含まれる位置座標に対応する各ユーザエリアと用紙種別が特定される。処理手段２４は、発表用操作シート５における記入情報を受信手段２２から受けると、その記入情報に含まれるＸ，Ｙ座標データに基づいて、図９に示す位置座標情報を参照して電子ペン１によって記入された処理指示エリアを特定し、図８に示す処理指示情報を参照して特定した処理指示エリアに応じた処理によって、対応する解答用紙４に関する記入情報からストロークを再生してストローク表示領域６０１に表示する。

［表示手段の表示内容］
図１０は、コンピュータ装置の表示手段２６における描画アプリ（描画アプリケーション）の一例を示す説明図である。本実施形態で表示する描画アプリ６は、アプリケーションウインドウの左下側に大きくストローク表示領域６０１を区画するとともに、右側に縦長のユーザ表示リスト６０２を区画してあり、ユーザ表示リスト６０２には、電子ペン１で解答用紙４に記入したユーザをペンＩＤにより識別してユーザ別表示ボタン６０３（６０３Ａ，６０３Ｂ，・・・）として表示する。ストローク表示領域６０１は、ユーザ別表示ボタン６０３で選択されたユーザ、または発表用操作シート５に記入した電子ペン１のユーザが、電子ペン１で解答用紙４に記入したストロークを表示する領域である。そして、ユーザ別表示ボタン６０３によりユーザを選択するか、または別のユーザが電子ペン１で発表用操作シート５にタップすることで、ストローク表示領域６０１の表示内容を切り替える。

描画アプリ６には、ストローク表示領域６０１の上方に、記憶手段２５により記憶された記入情報をストロークとして再生して表示を開始する再生ボタン６０４、その再生表示を停止する停止ボタン６０５、再生箇所を最初のストロークまで戻す頭だし表示ボタン６０６、再生箇所を１ストローク戻す１ストローク戻るボタン６０７、再生箇所を１ストローク進める１ストローク進むボタン６０８、再生箇所を最終ストロークまで進める最終ス７ローク表示ボタン６０９、５段階で再生スピードを調整する再生リストボックス６１０、ツマミを動かすことで再生箇所を指定する再生バー６１１、の各アイコンが形成されており、最上段の右側にはアプリ終了ボタン６１２のアイコンが形成されている。処理手段２４は、各アイコン６０４〜６１２のうちマウスのクリックなどで指示されたアイコンに応じて、そのアイコンに応じた処理を行う。

図１１および図１２は、描画アプリ６の実施例を発表用操作シート５とともに示す説明図である。

図１１は、電子ペン１Ａによって発表用操作シート５Ａの処理指示エリア５１１「再生ボタン」にタップされることで、コンピュータ装置２が、電子ペン１Ａ（ペンＩＤ：ｐｅｎ０１）で解答用紙４Ａに記入されたストロークの記入情報に含まれるストローク情報に基づいてストロークを再生して、ストローク表示領域６０１Ａに表示している状態である。このとき、ユーザ別表示ボタン６０３は、電子ペン１ＡのペンＩＤ「ｐｅｎ０１」が選択された状態となる。コンピュータ装置２の操作で他のユーザが選択されていた場合、発表用操作シート５Ａにタップした電子ペン１Ａのユーザのストローク表示に切り替わる。

この図１１を参照して、ユーザが操作シートを使って発表する例を説明する。まず、ユーザが電子ペン１Ａによって、発表用操作シート５Ａの処理指示エリア５１１「再生ボタン」をタップすると、処理手段２４は、ユーザが電子ペン１Ａによって記入した全てのストローク「１２月（師走、Ｄｅｃｅｍｂｅｒ）〜水仙、カトレア」を、ストロークが記入用紙４Ａに記入された順にストローク表示領域５０１Ａに再生表示することで、電子ペン１Ａ（ペンＩＤ「ｐｅｎ０１」）の記入過程を再現する。このとき、図１１のように表示された時点、すなわち、「１２月（師走、Ｄｅｃｅｍｂｅｒ）」から５行目の「タン」まで再生表示されている時点で、ユーザが電子ペン１Ａによって、発表用操作シート５Ａの処理指示エリア５１２「停止ボタン」をタップすると、処理手段２４は、再生表示を停止する。さらに、ユーザが電子ペン１Ａによって、発表用操作シート５Ａの処理指示エリア５１４「１ストローク戻るボタン」を５回タップすると、５ストローク分再生箇所を戻して「１２月（師走、Ｄｅｃｅｍｂｅｒ）」〜４行目の「天皇誕生日」までをストローク表示領域５０１Ａに表示する。

図１２は、電子ペン１Ｂによって発表用操作シート５Ｂの処理指示エリア５１１「再生ボタン」にタップされることで、コンピュータ装置２が、電子ペン１Ｂ（ペンＩＤ：ｐｅｎ０２）で解答用紙４Ｂに記入されたストロークの記入情報に含まれるストローク情報を再生して、ストローク表示領域６０１Ｂに表示している状態である。このとき、ユーザ別表示ボタン６０３は、電子ペン１ＢのペンＩＤ「ｐｅｎ０２」が選択された状態となる。コンピュータ装置２の操作で他のユーザが選択されていた場合であっても、電子ペン１Ｂにより発表用操作シート５Ｂがタップされると、ストローク表示領域６０１は、処理手段２４の処理により、電子ペン１Ｂの記入に基づくストロークの表示に切り替わる。

［処理フロー］
次に、本実施形態の情報処理システムで実行される処理フローを、図１３を参照して説明する。

まず、ユーザが電子ペン１を用いて、解答用紙４ないし発表用操作シート５上に記入ないしタップを行う。すると、電子ペン１は、圧力センサ１０７によって所定値以上の筆圧が検出されたことにより解答用紙４ないし発表用操作シート５への接触を検出し、ＬＥＤ１０５によって赤外線を照射しつつＣＭＯＳカメラ１０６によって筆跡に沿ってドットパターンを撮像し、プロセッサ１０８によって、撮像されたドットパターンの画像データから筆跡に沿った位置座標を連続的に演算し、当該位置座標、リアルタイムクロック１１０により発信された現在時刻、筆圧データ（以上、「ストローク情報」）及びペンＩＤと関連付けて、記入情報として即時且つ逐次的にコンピュータ装置２へ送信する（ステップＳ１０１）。

コンピュータ装置２では、受信手段２２が、電子ペン１から記入情報（ストローク情報及びペンＩＤ）を受信すると、その記入情報を記憶手段２５に記憶し（ステップＳ２０１）、処理手段２４が、その受信した記入情報が解答用紙４か発表用操作シート５のいずれのものであるかを、図９に示す位置座標情報を参照して判断する（ステップＳ２０２）。そして、処理手段２４は、電子ペン１からの記入情報が解答用紙４のものであると認識した場合（ステップＳ２０２：解答用紙）、受信したペンＩＤに対応するユーザが解答用紙４に記入したストロークがストローク表示領域６０１に表示されているか否か、換言すると、受信したペンＩＤに対応するユーザ別表示ボタン６０３が選択されているか否かを判定する（ステップＳ２０３）。受信したペンＩＤに対応するユーザのストロークが表示されていると認識した場合（ステップＳ２０３：Ｙｅｓ）、処理手段２４は、受信した記入情報に含まれるストローク情報に基づいて、電子ペン１で解答用紙４に記入されたストロークを描画して、ストローク表示領域６０１へ表示する処理を行う（ステップＳ２０４）。選択されていないと認識した場合（ステップＳ２０３：Ｎｏ）、処理手段２４は、処理を終了する。

一方、ステップＳ２０２で、処理手段２４が、電子ペン１からの記入情報が発表用操作シート５の処理指示エリアのものであると認識した場合（ステップＳ２０２：発表用操作シート）、受信したペンＩＤに対応するユーザのストロークが表示されているか否か、すなわち、受信した記入情報に含まれるペンＩＤと共通するペンＩＤを有して記憶手段２５に記憶されている、解答用紙４への記入による記入情報に基づくストロークが表示されているか否かを判定する（ステップＳ２０５）。表示されていないと認識した場合（ステップＳ２０５：Ｎｏ）、処理手段２４は、受信したペンＩＤの電子ペン１による解答用紙４への記入内容を表示するように、ストローク表示領域６０１を即時に切り替える処理を行い（ステップＳ２０６）、図８に示す処理指示情報を参照して、ステップＳ２０２で用紙種別と共に認識した処理指示エリアに対応する処理を、受信したペンＩＤの電子ペン１により解答用紙４に記入した内容のストローク再生について実行する（ステップＳ２０７）。また、受信したペンＩＤに対応するユーザのストロークが表示されていると認識した場合（ステップＳ２０５：Ｙｅｓ）、処理手段２４は、ステップＳ２０２で認識した処理指示エリアに対応する処理を実行する（ステップＳ２０７）。

このような情報処理システムであれば、例えば「飛」のような難しい書き順の漢字についても、発表用操作シート５Ａの処理指示エリア５１１「再生ボタン」、処理指示エリア５１２「停止ボタン」、処理指示エリア５１４「１ストローク戻るボタン」、処理指示エリア５１５「１ストローク進むボタン」などをユーザが電子ペン１Ａによってタップして、記入過程を再生表示させて再現することで、確認することもできる。

＜本第１実施形態の作用効果＞
本第１実施形態における情報処理システムにおいては、ユーザが電子ペン１により発表用操作シート５へ記入すると、コンピュータ装置２は、受信した発表用操作シート５に関する記入情報に含まれるペンＩＤに基づいて、表示手段２６にストロークを表示させるユーザを特定して、処理指示エリアに対応する機能に応じた処理を実行しつつ、そのユーザが電子ペン１で解答用紙４に記入した内容のストロークを表示手段２６に表示させる。コンピュータ装置２が、記入情報に含まれるペンＩＤに基づいて、解答用紙４や発表用操作シート５に記入したユーザを特定することができるため、解答用紙４や発表用操作シート５に形成するドットパターンをユーザごとに異ならせる必要がなく、また、先生や講師などのコンピュータ装置２の操作者が、発表するユーザをコンピュータ装置２で選択する操作を行わなくても、発表するユーザ自身が発表用操作シート５を用いて、自分の解答用紙４への記入内容のストロークを表示手段２６に再生して表示させることができる。

〔変形例〕
なお、上記第１実施形態は次のように構成してもよい。

上記第１実施形態では、ユーザごとに同一のドットパターンが形成された解答用紙４と、ユーザごとに同一のドットパターンが形成された発表用操作シート５を１枚づつ用いたが、ユーザごとに使用する電子ペン１のペンＩＤによってユーザのストローク情報を識別しているため、発表用操作シート５は、１人１枚配らずに、複数のユーザについて共通のものを使用してもよい。また、解答用紙４、発表用操作シート５それぞれは、ユニークなドットパターンが形成されていても構わない。

＜第２実施形態＞
第２実施形態の情報処理システムでは、第１実施形態において使用したのとは異なる解答用紙４と発表用操作シート５を使用する。

すなわち、第１実施形態では、ユーザごとに用いられる解答用紙４および発表用操作シート５には、各々に同一のドットパターン（コード化パターン）が形成されているが、この第２実施形態では、各ユーザに用いられる解答用紙４および発表用操作シート５には、解答用紙４ごと、発表用操作シート５ごとに異なるドットパターン（コード化パターン）を形成して、用紙１枚ごとに使用するユーザ（使用ユーザ）を区別できるようにする。

また、第２実施形態の記憶手段２５は、予め、ドットパターンにより区別される各解答用紙４に設定された各解答エリア（ユーザエリア）４１０の位置座標、および各発表用操作シート５に設定された各処理指示エリア（ユーザエリア）５１１〜５２２の位置座標と、ユーザ（使用ユーザ）による使用関係との関連付け情報（「使用関係情報」と呼ぶ）をデータとして記憶しておく。図１４は、使用関係情報のデータ構造を示す概念図である。そして、ユーザが電子ペン１で解答用紙４に記入すると、電子ペン１はストローク情報を生成して記入情報としてコンピュータ装置２へ送信し、コンピュータ装置２は、受信した記入情報を記憶手段２５に記憶する。なお、本第２実施形態の電子ペン１は、コンピュータ装置２へ送信する記入情報にペンＩＤを含めなくてもよい。

そして、処理手段２４は、記憶手段２５に記憶された使用関係情報を参照して、受信した記入情報に対応するユーザエリアと用紙種別と使用ユーザとを認識して、その用紙と対になる用紙を特定する。例えば、ユーザＡが発表用操作シート５に記入したストロークの記入情報を受信した場合、処理手段２４は、記入情報より使用ユーザが「ユーザＡ」であると認識して、使用関係情報を参照して共通する使用ユーザ「ユーザＡ」が関係付けられている解答用紙４を特定する。そして、特定した解答用紙４に関する記入情報に基づいて、その解答用紙４に記入された内容のストロークを、記憶手段２５に記憶された処理指示情報を参照して、その処理指示エリアに対応する処理を実行しながら、表示手段２６に表示させる。したがって、ユーザが解答用紙に電子ペン１でストロークを形成した後に、発表用操作シート５の処理指示エリアに触れると、コンピュータ装置２では、その処理指示エリアに対応する動作を再現して、解答用紙１に記入されたストロークを、ストローク表示領域６０１に表示することができる。

［処理フロー］
次に、本第２実施形態の情報処理システムで実行される処理フローを、図１５を参照して説明する。

まず、ユーザが電子ペン１を用いて、解答用紙４ないし発表用操作シート５上に記入ないしタップを行う。すると、電子ペン１は、圧力センサ１０７によって所定値以上の筆圧が検出されたことにより解答用紙４ないし発表用操作シート５への接触を検出し、ＬＥＤ１０５によって赤外線を照射しつつＣＭＯＳカメラ１０６によって筆跡に沿ってドットパターンを撮像し、プロセッサ１０８によって、撮像されたドットパターンの画像データから筆跡に沿った位置座標を連続的に演算し、当該位置座標、リアルタイムクロック１１０により発信された現在時刻及び筆圧データ（以上、「ストローク情報」）と関連付けて、記入情報として即時且つ逐次的にコンピュータ装置２へ送信する（ステップＳ３０１）。

コンピュータ装置２では、受信手段２２が、電子ペン１から記入情報（ストローク情報）を受信すると、その記入情報を記憶手段２５に記憶し（ステップＳ４０１）、処理手段２４が、その受信した記入情報から、どの解答用紙４かあるいは発表用操作シート５かを判断する（ステップＳ４０２）。このとき、各解答用紙４、発表用操作シート５には、異なる座標領域のユニークなドットパターンが割り当てられて印刷されているので、処理手段２４は、図１４に示す使用関係情報を参照して、受信した記入情報から、特定の解答用紙４または発表用操作シート５、ユーザエリア、およびその使用ユーザを認識することができる。そして、処理手段２４は、電子ペン１からの記入情報が解答用紙４のものであると認識した場合（ステップＳ４０２：解答用紙）、その使用ユーザによって解答用紙４に記入されたストロークがストローク表示領域６０１に表示されているか否か、換言すると、記入情報から特定された使用ユーザに対応するユーザ別表示ボタン６０３が選択されているか否かを判定する（ステップＳ４０３）。認識した使用ユーザによって解答用紙４に記入されたストロークが表示されていると認識した場合（ステップＳ４０３：Ｙｅｓ）、処理手段２４は、受信した記入情報に基づいて、電子ペン１で解答用紙４に記入されたストロークを、ストローク表示領域６０１へ描画して表示する処理を行う（ステップＳ４０４）。選択されていないと認識した場合（ステップＳ４０３：Ｎｏ）、処理手段２４は、処理を終了する。

一方、ステップＳ４０２で、処理手段２４が、電子ペン１からの記入情報が発表用操作シート５のものであると認識した場合（ステップＳ４０２：発表用操作シート）、同時に認識した使用ユーザと共通する使用ユーザが関連付けられている解答用紙４に記入されたストロークがストローク表示領域６０１に表示されているか否か、換言すると、記入情報から特定された使用ユーザに対応するユーザ別表示ボタン６０３が選択されているか否かを判定する（ステップＳ４０５）。表示されていないと認識した場合（ステップＳ４０５：Ｎｏ）、処理手段２６は、特定した解答用紙４に関する記入内容を表示するように、ストローク表示領域６０１を即時に切り替える処理を行い（ステップＳ４０６）、図８に示す処理指示情報を参照して、ステップＳ４０２で用紙種別と共に認識した処理指示エリアに対応する処理を、この使用ユーザにより解答用紙４に記入された内容のストローク再生について実行する（ステップＳ４０７）。また、特定した解答用紙４に関するストロークが表示されていると認識した場合（ステップＳ４０５：Ｙｅｓ）、処理手段２６は、処理指示エリアに対応する処理を実行する（ステップＳ４０７）。

＜本第２実施形態の作用効果＞
本第２実施形態における情報処理システムにおいては、電子ペン１のペンＩＤによらなくとも、コンピュータ装置２は、各解答用紙４及び各発表用操作シート５に固有のドットパターンによって、解答用紙４や発表用操作シート５に記入したユーザを特定することができるため、ユーザごとに記入されたストロークを識別して、表示手段２６に表示させることができる。

〔変形例〕
本第２実施形態においては、各解答用紙４（記入用紙）及び発表用操作シート５に固有のドットパターンによって、解答用紙４や発表用操作シート５に記入したユーザを特定することができ、電子ペン１は、ペンＩＤを記入情報に含めて送信しなくてよいため、メモリ１０９にペンＩＤを保有しないものであってもよい。また、電子ペン１を１人１本用いずに、複数のユーザが、同じ電子ペン１を用いてもよい。

また、上記第１，第２実施形態では、ストローク表示領域６０１にストロークを表示するユーザは、コンピュータ装置２の操作により選択されたユーザあるいは発表用操作シート５に記入したユーザの１人のものとしたが、複数のユーザのストロークを並べて同時に表示するようにしてもよい。さらに、１人分ずつのストローク表示と、所定人数分までのストローク表示とを、コンピュータ装置２の操作などにより切り替えられるようにしてもよい。

また、上記第１，第２実施形態では、コンピュータ装置２の表示手段２６にストロークを表示させたが、プロジェクタ３によりスクリーン４に表示させるようにしてもよい。

また、上記第１，第２実施形態では、解答用紙４には全体に１つの解答エリア（ユーザエリア）を設定することとしたが、設問ごとに区別できるように複数の解答エリアを設定してもよく、また、ユーザの所属や氏名を記入するためのユーザエリアを設定してもよい。

本情報処理システムは、学校の授業や企業での会議室、講演会、プレゼンテーションなどで利用することができる。なお、記入用紙と操作シートは、上記実施形態で記入用紙を解答用紙と称し、操作シートを発表用操作シートと称したように、それぞれの利用場面に応じた呼び方にするのが実際的である。

１…電子ペン
２…コンピュータ装置
２１…入力手段
２２…受信手段
２３…クロック
２４…処理手段
２５…記憶手段
２６…表示手段
２７…送信手段
２０１…表示画面
２０２…表示画面の左上端点座標
２０３…表示画面の右下端点座標
２０４…第１表示基準点の座標
２０５…第２表示基準点の座標
３…プロジェクタ
４…解答用紙（記入用紙）
４１０…解答エリア（ユーザエリア）
５…発表用操作シート（操作シート）
５１１〜５２２…処理指示エリア（ユーザエリア）
６…描画アプリ
６０１…ストローク表示領域
６０２…ユーザ表示リスト
６０３…ユーザ別表示ボタン
６０４…再生ボタン
６０５…停止ボタン
６０６…頭だし表示ボタン
６０７…１ストローク戻るボタン
６０８…１ストローク進むボタン
６０９…最終ストローク表示ボタン
６１０…再生リストボックス
６１１…再生バー
６１２…アプリ終了ボタン

Claims (6)

1. 手書いたユーザを区別して、手書きに基づく時間的な情報が関連付けられた位置座標を含む記入情報を記憶する記憶手段と、
   前記記憶手段に記憶された記入情報を読み出して、複数のユーザ分の手書かれたストロークを並べて、前記時間的な情報に基づき、表示手段に再生表示させる処理手段と
   を備えることを特徴とするコンピュータ装置。
2. 前記処理手段は、複数のユーザ分の手書かれたストロークを同時に再生表示させることを特徴とする請求項１に記載のコンピュータ装置。
3. 位置座標を示すコード化パターンが形成された記入用紙と、
   コード化パターンを読み取って位置座標を演算し、当該位置座標とコード化パターンを読み取っている時の時刻情報とを関連付けて記入情報として送信する電子ペンと、
   請求項１又は２に記載のコンピュータ装置とを備え、
   前記コンピュータ装置は、前記電子ペンから受信した記入情報に基づき、ユーザにより手書かれたストロークを再生表示することを特徴とする情報処理システム。
4. さらに、位置座標を示すコード化パターンが形成された表示面に、ストロークの再生に関するボタンが形成された操作シートを備え、
   前記コンピュータ装置の前記処理手段は、前記操作シートへの操作により前記電子ペンから送信された前記記入情報から特定されるボタンに対応して、手書かれたストロークについて、表示手段に再生に関する処理を実行することを特徴とする請求項３に記載の情報処理システム。
5. 位置座標を示すコード化パターンが形成された記入用紙と、
   位置座標を示すコード化パターンが形成された表示面に、ストロークの再生に関するボタンが形成された操作シートと、
   コード化パターンを読み取って位置座標を演算し、当該位置座標とコード化パターンを読み取っている時の時刻情報とを関連付けて記入情報として送信する電子ペンと、
   前記電子ペンから記入情報を受信して手書きストロークを再生表示するコンピュータ装置とを備えた情報処理システムであって、
   前記コンピュータ装置は、
   前記電子ペンから記入情報を受信する受信手段と、
   手書いたユーザを区別して、手書きに基づく時間的な情報が関連付けられた位置座標を含む記入情報を記憶する記憶手段と、
   前記記憶手段に記憶された記入情報を読み出して、手書かれたストロークを前記時間的な情報に基づき、前記操作シートへの操作により前記電子ペンから送信された前記記入情報から特定されるボタンに対応して、表示手段に再生に関する処理を実行する処理手段とを備えることを特徴とする情報処理システム。
6. 請求項１〜５のいずれか一項に記載のコンピュータ装置として機能させることを特徴とするプログラム。

Images