JP2023137822A - 表示装置、清書方法、プログラム、情報共有システム - Google Patents

Abstract

【課題】複数のオブジェクトの属性値を揃える表示装置を提供する。【解決手段】表示装置２は、手書きデータの入力を受け付ける入力受付部２１と、手書きデータ又は手書きデータから変換したテキストをオブジェクトとして表示する表示制御部２４と、表示制御部２４が表示する複数のオブジェクトの属性値を揃える清書部５０と、を有する。【選択図】図４

Description

本発明は、表示装置、清書方法、プログラム、及び情報共有システムに関する。

手書き認識技術を利用し、手書きデータや手書きデータを文字に変換したテキスト等のオブジェクトを、ディスプレーに表示する表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は会議室や公共施設などに配置され、ユーザーにより電子黒板などとして利用される。

手書き入力された文字列を清書する技術が知られている（例えば、特許文献１参照。）。特許文献１には、任意のタイミングで手書き文字の一括変換を実行すると共に、文字列のアウトラインを清書する技術が開示されている。

しかしながら、従来の技術では、複数のオブジェクトの属性値を揃えることが行われていないという問題がある。例えば、ユーザーが複数のテキストを入力した場合、テキストのサイズや表示方向などの属性値がテキストによって異なってしまう場合がある。

本発明は、上記課題に鑑み、複数のオブジェクトの属性値を揃える表示装置を提供することを目的とする。

本発明は、手書きデータの入力を受け付ける入力受付部と、前記手書きデータ又は前記手書きデータから変換したテキストをオブジェクトとして表示する表示制御部と、前記表示制御部が表示する前記複数のオブジェクトの属性値を揃える清書部と、を有する表示装置を提供する。

複数のオブジェクトの属性値を揃える表示装置を提供することができる。

一人以上のユーザーが入力した複数のオブジェクトの清書の一例を説明する図である。 表示装置の配置例を示す図である。 表示装置のハードウェア構成図の一例である。 表示装置が有する機能をブロック状に分けて説明する機能ブロック図の一例である。 操作ガイドと操作ガイドが表示する選択可能候補の一例を示す図である。 オブジェクトの清書アイコンを含む入力画面の一例を示す図である。 表示方向を説明する図である。 ユーザーが手書きする方向と表示方向の対応を模式的に示す図である。 ユーザーが手書きする位置と表示方向の対応を模式的に示す図である。 オブジェクトのサイズに基づくオブジェクトの清書例を示す図である。 複数のオブジェクトの１つ以上が手書きデータである場合に、オブジェクトの清書例を示す図である。 オブジェクトの向きに基づくオブジェクトの清書例を示す図である。 複数のオブジェクトのインデントを揃えたオブジェクトの清書例を示す図である。 複数のオブジェクトの書式を揃えたオブジェクトの清書例を示す図である。 オブジェクトの言語に基づくオブジェクトの清書例を示す図である。 複数のオブジェクトの言語に基づくオブジェクトの清書例を示す図である。 操作ガイドによる清書に使用する属性の選択方法を説明する図である。 表示装置がオブジェクトを清書する手順を説明する一例のフローチャート図である。 表示装置が有する機能をブロック状に分けて説明する機能ブロック図の一例である（実施例２）。 ペン情報記憶部に記憶されるペン情報の変形例を示す図である。 図２０のペン情報を用いた清書の一例を示す図である。 使用されている属性値が最も多いペンに設定された属性値によるオブジェクトの清書例を説明する図である。 文字数が最も多いテキストの属性値によるオブジェクトの清書例を説明する図である。 サイズが最も大きいテキストの属性値によるオブジェクトの清書例を説明する図である。 文字数とサイズの重みが最も大きいテキストの属性値によるオブジェクトの清書例を説明する図である。 表示装置が表示する属性値決定方法選択画面の一例を示す図である。 ユーザーが選択した属性値の決定方法に応じて表示装置がオブジェクトを清書する属性値を決定する処理を説明する一例のフローチャート図である。 情報共有システムのシステム構成例を示す図である。 情報管理サーバーの一例のハードウェア構成を示す図である。 情報管理サーバーの機能ブロック図の一例である。 一方の拠点の清書が、他方の拠点において統一して共有されるオブジェクトの清書を説明する図である。 一方の拠点の清書が、他方の拠点に応じた属性値で共有されるオブジェクトの清書を説明する図である。 ユーザーが遠隔通信時に清書に関する設定を行う清書共有設定画面の一例を示す図である。 表示装置において清書共有設定画面に対する設定が行われた場合に、表示装置が行う処理を説明する一例のシーケンス図である。

以下、本発明を実施するための形態の一例として表示装置と、表示装置が行う清書方法について図面を参照しながら説明する。

まず、図１を参照して、オブジェクトの清書の概略について説明する。図１は、一人以上のユーザーが入力した複数のオブジェクトの清書の一例を説明する図である。図１（ａ）は、複数のユーザーが入力した手書きデータを示す。ユーザーＡにより「訂正」という手書きデータ４０１が、ユーザーＢにより「確認」というテキスト４０２が入力されている。図１（ａ）では手書きデータ４０１とテキスト４０２のサイズに個人差があり、複数人で書き込んだ場合にそのままでは不揃いで見づらい。

そこで、ユーザーＡ又はＢが清書を実行する。図１（ｂ）はユーザーＡにより清書されたテキスト４０３，４０４の一例を示す。ユーザーＡが清書を実行することで、表示装置２は複数のテキスト４０３，４０４のサイズを揃えて表示する。したがって、ユーザーＡ及びＢがテキスト４０３，４０４を読みやすくする。

なお、図１では、手書きデータ４０１がテキストに変換された後、清書されているが、清書前の図１（ａ）の手書きデータ４０１はテキストでもよい。また、オブジェクトが清書前に手書きデータであった場合、清書後に手書きデータのままでもよい。この場合、文字認識が行われない。

また、オブジェクトの属性としては、サイズだけでなく、表示方向、インデント、書式（フォントや色など）、言語等がある。詳細は後述する。

＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。

ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークという。ストロークは、ディスプレーに接触することなく、ユーザーの動きを追跡することを含む。この場合、表示装置は、例えばマウスやポインティングデバイスを使用して、ユーザーのジェスチャー、ユーザーの手又は足によるボタンの押下、又は他の方法で、ストロークを開始させてもよい。更に、ユーザーは、同じ又は異なるジェスチャー、ボタンを離す、又はマウスやポインティングデバイスを使用して、ストロークを終了させてもよい。

ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレーに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。手書き入力は、タッチインターフェース、ペンやスタイラスなどの触覚オブジェクト、又はユーザーの体を使って実行されてもよい。また、手書き入力は、ジェスチャーベースの入力、手の動きの追跡入力、又はユーザーによる他のタッチフリー入力など、他のタイプの入力を介して実行されてもよい。本発明の実施形態では、手書き入力及び手書き入力データに言及するが、他の形態の手書き入力が利用されてもよい。

ストロークデータに基づいてディスプレーに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。ストロークデータが手書き認識して変換されたオブジェクトには、テキストの他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等も含まれてよい。手書きデータの文字認識結果をテキストという。

属性とは、オブジェクトを特徴付ける性質である。本実施形態では、属性は、オブジェクトの態様に関する性質でもよい。属性は、例えば、表示方向、サイズ、インデント、書式、又は、表示言語等である。属性値は、属性に設定される値である。属性値は、表示方向の場合は角度等、サイズの場合はポイント数等、インデントの場合はディスプレーの左端からの距離等、書式の場合はフォント名等、表示言語の場合は日本語などである。

インデントとは本来、字下げの意味であるが、本実施形態では、オブジェクトの先頭、中央、又は末尾を揃えることをいう。

オブジェクトの清書とは、複数のオブジェクトの属性値を揃えることである。表示装置２は、一方のオブジェクトの属性値を変えずに、他方のオブジェクトの属性値のみを変えてもよいし、両方のオブジェクトの属性値を変えてもよい。

また、揃えるとは、物事の形状や程度などを等しくすることである。ただし、形状や程度な完全に同一であることは必要なく、ユーザーがほぼ等しいと判断できる程度に類似していればよい。

＜装置の構成例＞
図２を用いて、本実施形態に係る表示装置２の全体構成を説明する。図２は、表示装置２の配置例を示した図である。図２（ａ）は、表示装置２の一例として、壁につり下げられた横長の電子黒板として使用される表示装置２を示している。

図２（ａ）に示されているように、表示装置２の上部には表示装置２の一例としてのディスプレー２２０が設置されている。ユーザーＵは、ペン２５００を用いて、ディスプレー２２０に文字等を手書きする（入力、描画ともいう）ことができる。

図２（ｂ）は壁につり下げられた縦長の電子黒板として使用される表示装置２を示している。

図２（ｃ）は机２３０に平置きされた表示装置２を示す。表示装置２は厚みが１ｃｍ程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、ユーザーは表示装置２を容易に移動できる。

なお、ペン２５００の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、ペン２５００は、筆圧検知、傾き検知、ホバー機能（ペンが触れる前にカーソルを表示）、などの機能を有していてよい。

＜装置のハードウェア構成＞
続いて、図３を用いて、表示装置２のハードウェア構成を説明する。表示装置２は図示するように情報処理装置又はコンピュータの構成を有している。図３は、表示装置２のハードウェア構成図の一例である。図３に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、及び、ＳＳＤ(Solid State Drive)２０４を備えている。

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。

ＳＳＤ２０４は、ＯＳや表示装置２用のプログラム等の各種データを記憶する。このプログラムは汎用的なＯＳ(Windows（登録商標）、Mac OS（登録商標）、Android（登録商標）、iOS（登録商標）等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。

また、表示装置２は、ディスプレーコントローラー２１３、タッチセンサーコントローラー２１５、タッチセンサー２１６、ディスプレー２２０、電源スイッチ２２７、チルトセンサー２１７、シリアルインタフェース２１８、スピーカー２１９、マイク２２１、無線通信装置２２２、赤外線Ｉ／Ｆ２２３、電源制御回路２２４、ＡＣアダプター２２５、及びバッテリー２２６を備えている。

ディスプレーコントローラー２１３は、出力画像をディスプレー２２０等へ出力するために画面表示の制御及び管理を行う。タッチセンサー２１６は、ディスプレー２２０上にペン２５００やユーザーの手等（ペンやユーザーの手は入力手段となる）が接触したことを検知する。また、タッチセンサー２１６はペンＩＤを受信する。

タッチセンサーコントローラー２１５は、タッチセンサー２１６の処理を制御する。タッチセンサー２１６は、座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法について説明する。例えば、光学式の場合、ディスプレー２２０の上側両端部に設置された２つの受発光装置が、ディスプレー２２０に平行して複数の赤外線を放射する。ディスプレー２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する。

タッチセンサー２１６は、物体によって遮断された２つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー２１５に出力し、タッチセンサーコントローラー２１５が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー２１５は通信ユニット２１５ａを有しており、ペン２５００と無線で通信することができる。例えば、Bluetooth（登録商標）などの規格で通信している場合は、市販されているペンを使用することができる。通信ユニット２１５ａに予め１つ以上のペン２５００を登録しておくと、ユーザーはペン２５００を表示装置２と通信させる接続設定を行わなくても通信できる。

電源スイッチ２２７は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。チルトセンサー２１７は、表示装置２の傾き角度を検出するセンサーである。主に、表示装置２が図２（ａ）、図２（ｂ）、又は、図２（ｃ）のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。

シリアルインタフェース２１８はＵＳＢなどの外部との通信インターフェースである。シリアルインタフェース２１８は、外部からの情報の入力などに使用される。スピーカー２１９は音声の出力に使用され、マイク２２１は音声の入力に使用される。無線通信装置２２２は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置２２２はWi－FiやBluetooth（登録商標）などで通信するが、通信規格は問われない。無線通信装置２２２はアクセスポイントを形成しており、ユーザーが入手したＳＳＩＤ（Service Set Identifier）とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。

なお、無線通信装置２２２には２つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
ａのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。ｂのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。

赤外線Ｉ／Ｆ２２３は隣に配置された表示装置２を検出する。赤外線Ｉ／Ｆ２２３は、赤外線の直進性を利用して、隣に配置された表示装置２のみを検出できる。赤外線Ｉ／Ｆ２２３は各辺に１つずつ設けられることが好ましく、表示装置２のどの方向に他の表示装置２が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置２に過去に手書きされた手書き情報（１つのディスプレー２２０の広さを１ページとして別のページの手書き情報）等を表示できる。

電源制御回路２２４は表示装置２の電源であるＡＣアダプター２２５とバッテリー２２６を制御する。ＡＣアダプター２２５は商用電源が共有する交流を直流に変換する。

ディスプレー２２０がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー２２６による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置２を使用することが可能になる。

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図３に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、タッチセンサー２１６は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネルでもよい。タッチセンサー２１６は、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネルでもよい。タッチセンサー２１６は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどでもよく、種々の検出手段を用いてもよい。タッチセンサー２１６は、ペン先のタッチの有無を検知するのに電子ペンが必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン２５００は、細長いペン型である必要はない。

＜機能について＞
次に、図４を用いて表示装置２の機能について説明する。図４は、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。表示装置２は、入力受付部２１、描画データ生成部２２、変換部２３、表示制御部２４、データ記録部２５、ネットワーク通信部２６、操作受付部２７、操作コマンド処理部２８、回転処理部２９、言語変換部３０、サイズ変更部３１、インデント処理部３２、書式変更部３３、認証部３４、ペン通信部３５、及び入力方向検出部３６を有している。表示装置２が有する各機能は、図３に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。

入力受付部２１はタッチセンサー２１６に対しペン２５００が接触した位置の座標を検出する。描画データ生成部２２はペン２５００のペン先が接触した座標を入力受付部２１から取得する。入力受付部２１は、この座標点列を補間することで接続してストロークデータを生成する。

変換部２３はユーザーが手書きした１つ以上のストロークデータ（手書きデータ）に対し、ユーザーが使用するペン２５００又はユーザーに対応付けられている表示言語に応じて文字認識処理を行い、テキスト（文字コード）に変換する。変換部２３は、ユーザーのペン操作と並行して文字（日本語だけでなく英語などの多国語）、数字、記号（％、＄、＆など）、図形（線、丸、三角など）等を認識していく。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。

表示制御部２４は手書きデータ、手書きデータから変換されたテキスト、及び、ユーザーが操作するための操作メニューなどをディスプレーに表示する。データ記録部２５は、表示装置２に手書きされた手書きデータ、変換されたテキスト、及び、ＰＣの画面、ファイル等を記憶部４０に記憶する。ネットワーク通信部２６はＬＡＮ等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。

操作コマンド処理部２８は、変換部２３が認識したテキストが操作コマンドに対応するかを検出し、表示された操作コマンドをユーザーが押下した場合、該操作コマンドを実行する。

回転処理部２９は、操作コマンド又はユーザー操作に応じて、テキストや手書きデータを回転させ、表示方向を揃える。なお、回転処理部２９は清書部５０の一機能である。

言語変換部３０は、表示されているテキストの言語を、ユーザーが使用するペン２５００又はユーザーに対応付けられている表示言語に変換する。すなわち、言語変換部３０は翻訳する。所定の言語は、例えば日本語、英語であり、ユーザーが使用するペン２５００やユーザーに応じて決定される。なお、言語変換部３０は清書部５０の一機能である。

サイズ変更部３１は、表示されているテキスト又は手書きデータのサイズを所定のサイズに揃える。サイズ変更部３１は、例えば、清書したユーザーが入力したテキストのサイズに、他のユーザーが入力したテキストのサイズを変更する。清書したユーザーが入力したテキストが複数ある場合、サイズ変更部３１は、複数のテキストのサイズの平均、又は、最大値・最小値等に揃える。サイズ変更部３１は、ユーザーが設定したサイズに揃えてもよい。なお、サイズ変更部３１は清書部５０の一機能である。

インデント処理部３２は、表示されているテキスト又は手書きデータのインデントを揃える。インデント処理部３２は、例えば、テキストや手書きデータの左端を揃えたり、右端を揃えたり、中央に揃えたりする。なお、インデント処理部３２は清書部５０の一機能である。

書式変更部３３は、表示されているテキスト又は手書きデータの書式（フォント、色、線種、線の太さ等）を揃える。なお、書式変更部３３は清書部５０の一機能である。

認証部３４は、ユーザーが入力した認証情報に基づいてユーザーを認証する。認証が成功するとユーザーＩＤが特定される。これにより、属性値決定部３７がユーザーＩＤに対応付けられた属性値をユーザー情報記憶部４４から取得できる。

ペン通信部３５は、通信ユニット２１５ａを制御してペンＩＤをペン２５００から受信する。ペン２５００は先端をディスプレーに押しつけられると少なくとも一度、ペンＩＤを送信する。表示装置２は手書きデータに用いられたペン２５００を識別できる。

入力方向検出部３６は、手書きデータに基づいて、手書きデータを入力するユーザーに正対する表示方向を検出する。あるいは、入力方向検出部３６は、予め決まった方法で手書きされた手書きデータに応じて、入力手段を用いて手書きするユーザーに正対する表示方向を検出する。

また、表示装置２は、図３に示されているＳＳＤ２０４やＲＡＭ２０３などに構築される記憶部４０を有し、記憶部４０にはペン情報記憶部４１、操作コマンド定義データ記憶部４２、入力データ記憶部４３、ユーザー情報記憶部４４、及び、いくつかの変換辞書４５が構築されている。

表１はペン情報記憶部４１に設定されているペン情報を示す。ペン情報は、ペンＩＤに対応付けられた、表示方向、サイズ、インデント、書式、及び、表示言語の各属性の属性値を有している。
・ペンＩＤは、ペン２５００の識別情報である。各ペン２５００は予めペンＩＤを保持している。
・表示方向は、基準となる表示方向を０°として、例えば、反時計回りに９０°、１８０°、２７０°と予め定められている。表示方向は、当該ペン２５００を操作するユーザーが存在する場所を示す。オブジェクトが表示方向に表示されると、当該ペン２５００を使用するユーザーに正対した状態となる。
・サイズは、清書用のテキストのポイント数として使用される場合がある。
・インデントは、当該ペンで入力されたオブジェクトが清書された場合に、先頭、中央又は末尾のどこに揃えるかを示す。
・書式は、当該ペンで入力されたテキストの書式の初期値である。書式には、フォントの他、色、線種、線の太さなどもある。
・表示言語は、変換部２３が手書きデータを文字認識する際の言語である。また、表示言語は、後述する操作ガイドに表示される文字列候補等の言語である。

表２は操作コマンド定義データ記憶部４２に記憶される操作コマンド定義データを模式的に示す。操作コマンド定義データは、文字認識で得られた認識文字列に対応付けて、ユーザーが表示装置２に指示するための操作コマンドを定義する。

例えば、手書きデータから「せいしょ」「清書」「セイショ」という認識文字列が認識された場合、対応する操作コマンドは「清書する」である。表示装置２は操作コマンドを表示し、ユーザーからの操作を受け付ける。操作コマンドが選択された場合、操作コマンド処理部２８は処理の項目に記載の清書を実行する。操作コマンド処理部２８は、処理の項目に記載されたＡ～Ｅの処理を実行する。Ａ～Ｅの処理のうち、ユーザーが予め設定している処理、又は、ユーザーが適宜選択した処理が実行される。Ａ～Ｅの処理のうち複数が連続して実行されてもよい。なお、Ａ～Ｅの処理は、複数のオブジェクトの属性値を揃えることでオブジェクトを清書することに相当する。

表３は入力データ記憶部４３の内容を模式的に示す。入力データは、ユーザーにより入力されたデータの属性である。入力データは１つのオブジェクト（１つのストロークデータ、１つのテキスト、１つの画像等）ごとに記録される。オブジェクトが複数のストロークデータを有する手書きデータの場合、ストローク間の距離や時間間隔により１つの手書きデータが判断される。表３は、３つのオブジェクトの入力データを示す。入力データが保持する属性はType属性によってやや異なるので、まず、表３（ａ）（ｂ）の入力データについて説明する。
・DataIdは入力データの識別情報である。
・Typeは入力データの種別であり、ストローク(Stroke)、テキスト(Text)、及び、イメージ(Image)がある。Type＝"Text"はテキスト（文字コード）を表す。
・PenIdはこのテキストの入力に使用されたペン２５００のペンＩＤである。
・ColorIdはテキストの色である。
・Angleはこのテキストの表示方向である。
・StartPointはテキストの外接矩形における左上頂点の座標である。
・StartTimeはユーザーがテキストを書き始めた時刻である。
・EndPointはテキストの外接矩形における右下頂点の座標である。
・EndTimeはユーザーがテキストを書き終えた時である。
・FontNameはテキストのフォント名である。
・FontSizeはテキストのサイズ（ポイント数）である。
・Textは入力されたテキストである（文字コード）。
・Languageはテキストの言語である。本実施形態では、テキストへの変換に使用された表示言語が設定される。

表３（ｃ）の入力データについて表３（ａ）（ｂ）との差分を説明する。表３（ｃ）は、Type＝"Stroke"の入力データ（手書きデータ）である。手書きデータであるため、下段の入力データは、FontName、FontSize、Text及びLanguageを有していない。
・Pointはストロークデータの座標点列である。
・Pressureは、筆圧（ペン２５００を握る強さなど）である。

表４は、ユーザー情報記憶部４４の内容を模式的に示す。ユーザー情報は、表示装置２の各ユーザーに関する情報であり、ユーザーに予め設定されている属性値を有している。ユーザー情報記憶部４４の属性値は、ユーザーがペン２５００を使用していない場合でも、属性値に基づいたオブジェクトの表示を可能にする。したがって、ユーザーがペン２５００を使用していれば、表１の属性値が使用される。
・ユーザーＩＤは、ユーザーの識別情報である。
・パスワードは、ユーザーの認証に使用される秘匿情報である。
・表示方向は、このユーザーにオブジェクトが正対する方向である。ユーザーがどこから手書きするかは決まっていないので、表示方向はユーザーが手書きしてから動的に設定される。
・サイズ、インデント、書式、及び、表示言語は、ユーザーに予め設定されている属性値である。例えば、表示言語はユーザーが主に使用する言語である。表示言語は主に母国語が使用される。表示言語は２つ以上でもよい。

ユーザーＩＤとパスワードはユーザーが表示装置２にログインする場合に使用される認証情報である。認証情報は、ＩＣカードのＰＩＮ番号、生体認証情報などでもよい。また、認証情報は筆跡でもよい。

＜操作コマンドによる清書＞
続いて、図５を参照して、手書きデータの変換時に表示される操作ガイド５００について説明する。図５は、操作ガイド５００と操作ガイド５００が表示する選択可能候補６１８の一例である。ユーザーが手書きデータ６１１を手書きし、一定時間以上ペンアップすることで、操作ガイド５００が表示される。操作ガイド５００は、操作コマンドの候補６１６、及び、文字列候補６１７を表示する。文字列候補６１７は、手書きデータの認識結果、カナ漢字変換の結果、及び、予測変換等である。

図５の手書きデータ６１１はユーザーが手書きした「せいしょ」という文字である。手書きデータ６１１を囲む手書きデータ矩形領域表示６１２が表示される。図５では四文字の入力で操作ガイド５００が表示されているが、操作ガイド５００が表示されるタイミングは、ユーザーが手書きを中断したタイミングである。したがって、手書きデータ６１１の文字数は任意である。

操作コマンドの候補６１６は認識されたテキストに応じて表示される、予め定義されている操作コマンド（ファイル操作、文字の編集などのコマンド）の候補である。図５の例では行頭文字の「■」が操作コマンドの候補であることを示している。図５では文字列候補６１７の１つである「せいしょ」「清書」が、表２のコマンド定義データと一致したため（部分一致でもよい）、操作コマンドの候補６１６が表示されている。

操作コマンドの候補６１６は、文字認識で変換されたテキストを含む操作コマンド定義データが見つかる場合に表示されるため、常に表示されるとは限らない。本実施形態では、図５のように清書に関する清書コマンドが操作コマンドの候補６１６として表示される。清書コマンドが選択されると、表示装置２は複数のオブジェクトの属性値を揃えることでオブジェクトを清書する。

操作ガイド５００はボタン６１３、６１４、６１５を有する。ボタン６１３は予測変換とカナ変換の切り替え操作を受け付ける。ボタン６１４は候補表示のページ操作をする。図５の例では候補表示ページは３ページあり、現在は１ページ目を表示している。ボタン６１５は操作ガイド５００の消去を受け付ける。ユーザーがボタン６１５を押下すると操作受付部２７が受け付けて、表示制御部２４が手書きデータ以外の表示を消去する。

＜清書アイコンによる清書＞
図６に示すように、ユーザーは操作コマンドだけでなく清書アイコンを押下することで、オブジェクトを清書することができる。図６は、オブジェクトの清書アイコンを含む入力画面の一例を示す。入力画面６００は、主に、手書き領域６０１、メニューボタン６０２、ズームパンウィンドウ表示６０３、ページ数表示６０４、ページナビ表示６０５、及び、情報表示エリア６０６を有している。

手書き領域６０１は、ユーザーがペン２５００で任意に手書きする領域である。手書きデータは自動的にテキストに変換される。ユーザーの操作で手書きデータがテキストに変換されてもよい。

メニューボタン６０２は、手書きデータの線種６０２ａ、線の色６０２ｂ、取り消し６０２ｃ、やり直し６０２ｄ、ゴースト除去６０２ｅ、清書アイコン６０２ｆ、手書き認識６０２ｇ、削除６０２ｈ等をユーザーが選択するアイコンを表示する。
・手書きデータの線種６０２ａは手書きデータの線種（太さ、実線・点線等）の変更を受け付けるアイコンである。
・線の色６０２ｂは、手書きデータの色の変更を受け付けるアイコンである。なお、電子ペーパーの場合、モノクロが主流なので色の違いは線種で表される。
・取り消し６０２ｃは、最後に入力された操作の取り消しを受け付けるアイコンである。
・やり直し６０２ｄは、取り消した操作を再度実行する操作を受け付けるアイコンである。
・ゴースト除去６０２ｅは、電子ペーパーで生じるゴースト（消去しきれないで残る灰色の表示データの跡）を削除するため、画面の全体を初期化し、ゴースト除去６０２ｅを押下する前の表示データを再表示する操作を受け付けるアイコンである。
・清書アイコン６０２ｆは、複数のオブジェクトの属性値を揃えることでオブジェクトを清書する操作を受け付けるアイコンである。
・手書き認識６０２ｇは手書きデータに対する文字認識を受け付けるアイコンである。
・削除６０２ｈは、現在表示中のページ又はその一部を削除する（ゴミ箱に移動）する操作を受け付けるアイコンである。

ズームパンウィンドウ表示６０３は、手書き領域をズーム（拡大）したり、パン（縮小）したりする操作を受け付けるアイコンである。

ページ数表示６０４は、現在の手書きデータが何ページ目かを示す。

ページナビ表示６０５は、手書き領域の右端に各ページのサムネイルを表示するためのボタンである。

情報表示エリア６０６は、今日の日付６０６ａ、時刻６０６ｂ、ＩＰアドレス６０６ｃ、ＳＳＩＤ６０６ｄ、ＰＩＮ６０６ｅなどを表示するエリアである。ＩＰアドレス６０６ｃは表示装置２に、他の表示装置、ＰＣ又はスマートフォンなどが接続するためのＩＰアドレスである。ＳＳＩＤ６０６ｄは、表示装置２が提供するアクセスポイントの識別子である。ＰＩＮ６０６ｅは他の表示装置、ＰＣ又はスマートフォンなどがアクセスポイントに接続するための暗号キー（パスワード）である。ＰＩＮ６０６ｅは、暗号キー（パスワード）とは別に表示されてもよい。暗号キーとＰＩＮが異なることでセキュリティを向上できる。

ユーザーはこのＩＰアドレス６０６ｃを他の表示装置、ＰＣ又はスマートフォンなどで動作するＷｅｂブラウザに入力する。また、ユーザーはＩＰアドレス６０６ｃを遠隔地にいるユーザーに伝え、別の表示装置２との遠隔会議や隣接する表示装置２との連結表示が可能である。

メニューボタン６０２等は、表示装置２の各辺ごとに表示可能である。図６では上辺にもメニューボタン６０２等が表示されている。各辺から手書きするユーザーは自分に近いメニューボタン６０２を押下できる。なお、メニューボタン６０２は常に表示されていなくてもよく、ユーザー操作で表示されてよい。

以下では、操作コマンドの実行による清書と、清書アイコン６０２ｆの選択による清書を区別せずに、単に「ユーザーが清書する」という場合がある。また、本実施形態では、ユーザーが図５，図６に説明した方法でオブジェクトの清書を実行する形態を説明するが、オブジェクトの清書は自動的に行われてもよい。例えば、表示装置２にオブジェクトが入力された直後、一定時間、入力がない場合、など、表示装置２が自動的に清書を実行してよい。

＜表示方向の一例＞
本実施形態では、表１に示したようにペン２５００に予め表示方向が設定されていてよいが、ペンと表示方向をユーザーが対応付ける方法について説明する。この方法は、ユーザーがペン２５００でなく指で入力した場合にも有用である。

図７は、表示方向を説明する図である。本実施形態では、ディスプレーの中央から予め定まっている辺に対する垂線方向を０°とする。そして、各辺のユーザーに正対する表示方向を反時計回りに９０°、１８０°、２７０°とする。

手書きしているユーザーが４辺のどの方向に存在するかを表示装置２が判断する方法がいくつかある。１つの方法として、ユーザーが手書きする方向により入力方向検出部３６はユーザーが４辺のどの方向に存在するかを判断できる。

図８は、ユーザーが手書きする方向と表示方向の対応を模式的に示す図である。例えば、ストロークデータの座標が、左から右、かつ、上から下に移動する場合（左から右への横書き）、この上から下方向に存在する辺が表示方向である。図８では各文字の始点と終点を黒丸で示すが、全体的に左上から右下に移動することが分かる。

同様に、ストロークデータの座標が、上から下、かつ、右から左に移動する場合（上から下への縦書き）、この上から下方向に存在する辺が表示方向である。入力方向検出部３６はこのように、手書きデータに基づいてユーザーが４辺のどの方向に存在するかを推定できる。

また、手書きデータの座標と表示方向の対応を、表示装置２のメーカーが機械学習により生成してもよい。例えば、担当者がニューラルネットワークに時系列の手書きデータを入力し、表示方向を教師データとして与えることで、入力方向検出部３６が学習モデルとして得られる。

なお、図７では、表示方向が０°、９０°、１８０°、２７０°の４つであるが、表示方向はより細かく設定されてもよい。表示方向は、例えば４５°間隔や３０°間隔で設定されてもよい。

もう１つの方法として、ユーザーによる手書き位置により入力方向検出部３６が、ユーザーが４辺のどの方向に存在するかを判断できる。

図９は、ユーザーが手書きする位置と表示方向の対応を模式的に示す図である。この方法では、予め表示装置２のディスプレーが４つの領域に分割されている。領域５０１に入力されたオブジェクトの表示方向は０°、領域５０２に入力されたオブジェクトの表示方向は９０°、領域５０３に入力されたオブジェクトの表示方向は１８０°、領域５０４に入力されたオブジェクトの表示方向は２７０°、と判断される。

図８、図９の方法で表示方向が判断された際にユーザーがペン２５００を使用していた場合、表１のようにペンと表示方向が対応付けられる。ペンと表示方向が対応付けられた後に入力されたオブジェクトの入力データには表示方向が設定される。また、図８、図９の方法で表示方向が判断された際にユーザーが指を使用していた場合、ユーザーがログインすることで表４に示すようにユーザーと表示方向が対応付けられる。また、オブジェクトの入力データには図８、図９の方法で判断された表示方向が設定される。

＜清書の例＞
以下では、図１０～図１６を参照して、複数のオブジェクトの属性値を揃えるオブジェクトの清書例を説明する。

＜サイズの変更＞
図１０は、オブジェクトのサイズに基づくオブジェクトの清書例を示す。まず、ユーザーＡの表示方向を０°、ユーザーＢの表示方向を１８０°とする。これらの表示方向は、ペンにより決定されても、ユーザーが４辺のどの方向に存在するか推測された結果でもよい。いずれの場合でも、入力データには表示方向が含まれている。

図１０（ａ）では、ユーザーＡが「訂正」というテキスト４１１を入力し、ユーザーＢが「確認」というテキスト４１２を入力した。「訂正」というテキスト４１１の表示方向は０°、「確認」というテキスト４１２の表示方向は１８０°、である。また、説明の便宜上、「訂正」というテキスト４１１のサイズを５０ポイント、「確認」というテキスト４１２のサイズを２５ポイント、とする。また、ユーザーＡのペンＩＤを１、ユーザーＢのペンＩＤを２とする。

ユーザーＡ又はＢがこれらのオブジェクトを清書すると、サイズ変更部３１が、少なくとも「訂正」というテキスト４１１又は「確認」というテキスト４１２のいずれかのサイズを変更する。

まず、ユーザーＡがオブジェクトを清書した場合、ユーザーＡが使用するペン２５００のペンＩＤ＝１が検出される。サイズ変更部３１は、ペンＩＤ＝１が設定されている入力データを入力データ記憶部４３から取得して、テキストのサイズ（５０ポイント）を取得する。サイズ変更部３１は、ペンＩＤ＝１が設定されていない入力データを入力データ記憶部４３から取得して、サイズを５０ポイントに変更する。以上により、図１０（ｂ）に示すように、「訂正」というテキスト４１１と「確認」というテキスト４１３のサイズが５０ポイントに揃う。

次に、ユーザーＢがオブジェクトを清書した場合、ユーザーＢが使用するペン２５００のペンＩＤ＝２が検出される。サイズ変更部３１は、ペンＩＤ＝２が設定されている入力データを入力データ記憶部４３から取得して、テキストのサイズ（２５ポイント）を取得する。サイズ変更部３１は、ペンＩＤ＝２が設定されていない入力データを入力データ記憶部４３から取得して、サイズを２５ポイントに変更する。以上により、図１０（ｃ）に示すように、「訂正」というテキスト４１４と「確認」というテキスト４１２のサイズが２５ポイントに揃う。

なお、オブジェクトを清書したユーザーが使用するペン２５００のペンＩＤを有する入力データのサイズに揃えるのでなく、サイズ変更部３１は、ユーザーが使用するペン２５００のペンＩＤに対応付けられたサイズに揃えてもよい。

また、サイズ変更部３１は、５０ポイント又は２５ポイントのいずれかに一致させるのでなく、５０ポイント又は２５ポイントの例えば平均にサイズ変更してもよい。この場合、全てのテキストのサイズが変更される。

ユーザーＡがペン２５００を使用していない場合、図８、図９の方法で、オブジェクトを清書するユーザーの表示方向（０°）が判断される。この場合、サイズ変更部３１は、表示方向＝０°が設定されている入力データを入力データ記憶部４３から取得して、テキストのサイズ（５０ポイント）を取得する。サイズ変更部３１は、表示方向＝０°が設定されていない入力データを入力データ記憶部４３から取得して、サイズを５０ポイントに変更する。以上により、図１０（ｂ）に示すように、「訂正」というテキスト４１１と「確認」というテキスト４１２のサイズが５０ポイントに揃う。ユーザーＢがペン２５００を使用していない場合も同様でよい。

この場合も、サイズ変更部３１は、ユーザー情報記憶部４４においてユーザーに対応付けられたサイズにテキストのサイズを揃えてもよい。

なお、図１０（ａ）では、ユーザーＡ又はＢが入力したテキストがそれぞれ１つしかないが、ユーザーＡ又はＢが入力したテキストが複数であり、テキストのサイズが異なる場合がある。この場合、サイズ変更部３１は、ユーザーＡが入力した複数のテキストのサイズの平均値、最大値、最小値、又は、中央値に、ユーザーＢが入力したテキストのサイズを変更する。サイズ変更部３１は、ユーザーＢが入力した複数のテキストについても、ユーザーＡが入力した複数のテキストのサイズの平均値、最大値、最小値、又は、中央値にサイズを変更してよい。

ここで、図１１（ａ）を参照して、清書されるオブジェクトがテキストでない場合を説明する。例えば、図１０（ａ）のテキストが手書きデータの場合である。図１１（ａ）は、複数のオブジェクトの１つ以上が手書きデータである場合に、オブジェクトの清書例を示す。ユーザーＡがオブジェクトを清書する場合を説明する。サイズ変更部３１は、ユーザーＡが入力した手書きデータ４１７のサイズを検出する。サイズ変更部３１は各ストローク間の距離などを利用して手書きデータ４１７を１文字ずつに分離し、各文字の高さＨと幅Ｗの例えば平均を算出する。サイズ変更部３１は、高さＨと幅Ｗをポイントに変換して、このサイズにユーザーＢが入力したテキストのサイズを変更する。こうすることで、サイズ変更部３１は、「確認」というテキスト４１８のサイズを、「訂正」という手書きデータ４１７のサイズと揃えることができる（図１１（ａ）の右上）。

なお、オブジェクトが清書された場合に手書きデータがあると、変換部２３が自動で文字認識を行い、テキストに変換してもよい。変換部２３が手書きデータをテキストに変換するかどうかを予めユーザーが設定しておいてもよい。ユーザーＡがオブジェクトを清書した場合、変換部２３が「訂正」という手書きデータ４１７をテキスト４１９に変換する（図１１（ａ）の右下）。テキストに変換することで文字数がわかり、変換部２３は、手書きデータ４１７の外接矩形から１文字のポイントを決定できる。これを利用して、ユーザーＡがオブジェクトを清書した場合、「訂正」という手書きデータ４１７がテキスト４１９に変換された後、サイズ変更部３１が「確認」のサイズを手書きデータ４１７から変換されたテキスト４１９と同じポイントに変更する。

なお、ユーザーＢがオブジェクトを清書した場合は、「訂正」という手書きデータ４１７の高さＨと幅Ｗ又はテキスト４１９への変換結果により、「確認」のポイント数の２５ポイントで「訂正」というテキスト４１９（手書きデータ４１７のままサイズが小さくなってもよい）が表示される。

また、図１１（ｂ）に示すように、手書きデータ４１７と、「確認」というテキスト４１８、及び、「追加」というテキスト４２０が表示されている場合、サイズ変更部３１がテキストのみを清書することもできる。ユーザーＡが清書した場合、図１１（ｂ）では、「確認」というテキスト４１８のサイズが「追加」というテキスト４２０と同じになっている。このような処理は、ユーザーがテキストのみを清書する旨を表示装置２に設定しておくことで可能になる。図１１（ｂ）ではテキストのサイズが変更されているが、表示方向、言語、インデント、書式についても同様にユーザーはテキストのみを清書できる。

＜向きの変更＞
図１２は、オブジェクトの向きに基づくオブジェクトの清書例を示す。なお、図１２の説明では主に図１０との相違を説明する。図１２（ａ）は図１０（ａ）と同様である。

ユーザーＡ又はＢがこれらのオブジェクトを清書すると、回転処理部２９が、「訂正」というテキスト４１１又は「確認」というテキスト４１２の向きを変更する（表示方向を揃える）。

まず、ユーザーＡがオブジェクトを清書した場合、ユーザーＡが使用するペン２５００のペンＩＤ＝１が検出される。回転処理部２９はペン情報記憶部４１からペンＩＤ＝１に対応付けられている表示方向＝０°を取得する。回転処理部２９は、表示方向が０°でない入力データを入力データ記憶部４３から取得して、テキストの向きを０°に変更する。例えば、表示方向が１８０°のテキストがあれば、回転処理部２９は、１８０°回転する。以上により、図１２（ｂ）に示すように、「訂正」というテキスト４１１と「確認」というテキスト４１５の表示方向が０°に揃う。

次に、ユーザーＢがオブジェクトを清書した場合、ユーザーＢが使用するペン２５００のペンＩＤ＝２が検出される。回転処理部２９は、ペン情報記憶部４１からペンＩＤ＝２に対応付けられている表示方向＝１８０°を取得する。回転処理部２９は、表示方向＝１８０°が設定されていない入力データを入力データ記憶部４３から取得して、テキストの向きを１８０°に変更する。例えば、表示方向が０°のテキストがあれば、１８０°回転する。以上により、図１２（ｃ）に示すように、「訂正」というテキスト４１６と「確認」というテキスト４１２の表示方向が１８０°に揃う。

ユーザーＡがペン２５００を使用していない場合、図８、図９の方法で、オブジェクトを清書するユーザーＡの表示方向（０°）が判断される。この場合、回転処理部２９は、表示方向＝０°が設定されていない入力データを入力データ記憶部４３から取得して、表示方向を０°に変更する。以上により、図１２（ｂ）に示すように、「訂正」というテキストと「確認」というテキストの表示方向が０°に揃う。ユーザーＢがペン２５００を使用していない場合も同様でよい。

なお、図１２（ａ）では、ユーザーＡ又はＢが入力したテキストがそれぞれ１つしかないが、ユーザーＡ又はＢが入力したテキストが複数であり、テキストの表示方向が異なる場合がある。この場合も、回転処理部２９は、ユーザーＡが使用するペン２５００のペンＩＤ＝１に対応付けられたる表示方向＝０°にテキストの表示方向を揃えればよい。簡単には、回転処理部２９は、全てのオブジェクトの表示方向を０°に揃える。

あるいは、ユーザーＡが清書を実行した場合、回転処理部２９は、ユーザーＡが入力した複数のテキストの表示方向のうち最も多い表示方向に、ユーザーＢが入力したテキストの表示方向を変更してもよい。ユーザーＢが清書を実行した場合も同様である。

また、清書されるオブジェクトが手書きデータで、手書きデータのまま清書される場合、回転処理部２９が、手書きデータを構成する各ストロークを同様に回転させればよい。ユーザーはペン２５００を使用していても指を使用していても、回転処理部２９は、テキストの場合と同様に表示方向を揃えることができる。

＜＜インデントの変更＞＞
図１３は、複数のオブジェクトのインデントを揃えたオブジェクトの清書例を示す図である。図１３ではユーザーが一人であるが、二人以上いてもよい。図１３（ａ）では、「ヨーロッパ」「アジア」「アフリカ」という３つの手書きデータ５１１～５１３が表示されている。ユーザーＡが一人で入力したものでもよいし、ユーザーＢが入力した後、図１２（ｂ）（ｃ）のように回転された状態でもよい。図１３（ａ）のオブジェクトは手書きデータでもよいし、テキストでもよい。ここではオブジェクトが手書きデータ５１１～５１３とする。また、インデントは左端を揃える処理であるとする。なお、左右の方向は、表示方向が０°のユーザーから見た方向とする。

ユーザーＡがオブジェクトを清書すると、変換部２３が手書きデータ５１１～５１３をテキスト５１４～５１６に変換する。次に、インデント処理部３２は、例えば、３つの手書きデータ５１１～５１３のうち先頭が最も左端にある手書きデータを特定する。図１３（ａ）では、手書きデータ５１１が最も左端にあるオブジェクトである。

インデント処理部３２は、手書きデータ５１１の左端と手書きデータ５１２の左端との差異Ｘ１、手書きデータ５１１の左端と手書きデータ５１３の左端との差異Ｘ２、を算出する。そして、インデント処理部３２は、テキスト５１５のＸ座標を差異Ｘ１だけ小さくし、インデント処理部３２は、テキスト５１６のＸ座標を差異Ｘ２だけ小さくする。

こうすることで、図１３（ｂ）に示すように、３つのテキスト５１４～５１６の先頭を左端に揃えることができる。

なお、図１３（ｂ）では、清書によりテキストに変換されているが、手書きデータ５１１～５１３のままでも、インデントが可能である。インデント処理部３２が手書きデータ５１１～５１３を手書きデータのままインデント処理する場合、単に、手書きデータ５１２のＸ座標を差異Ｘ１だけ小さくし、手書きデータ５１３のＸ座標を差異Ｘ２だけ小さくする。

なお、インデント処理部３２はテキスト５１４～５１６の末尾を、最も右側にあるテキストに揃えてもよいし、テキスト５１４～５１６の中央を揃えてもよい。中央に揃える場合、インデント処理部３２は、最も上のテキスト５１４の中央に他のテキスト５１５，５１６の中央を合わせる。

インデント処理部３２が左端、右端、又は、中央のいずれにテキスト５１４～５１６を揃えるかは、ユーザーが操作コマンドにより選択する。例えば「インデント」と手書きすると、操作コマンドに「インデント（左端）」「インデント（右端）」「インデント（中央）」と表示され、ユーザーが左端、右端、又は、中央のいずれにテキスト５１４～５１６を揃えるか選択できる。

また、図１３では、手書きデータ５１１のインデント位置に基づいてテキスト５１５、５１６のインデント位置が決定されている。しかし、インデント処理部３２は、単にテキスト５１４～５１６をディスプレー２２０の左端又は右端に詰めてもよい。同様に、インデント処理部３２は、ディスプレー２２０の中央にテキスト５１４～５１６の中央を合わせて表示してもよい。

なお、ユーザーＡがペン２５００を使用していない場合であっても、図１３ではペンＩＤが使用されていないので、インデント処理部３２は同様に処理できる。

＜＜書式の変更＞＞
図１４は、複数のオブジェクトの書式を揃えたオブジェクトの清書例を示す。図１４ではユーザーが一人であるが、二人以上いてもよい。図１４（ａ）では、「Europe」「Asia」「Africa」という３つの手書きデータ５１７ａ～５１９ａが表示されている。手書きデータ５１７ａ～５１９ａは、ユーザーＡが一人で入力したものでもよいし、ユーザーＢが入力した後、図１２（ｂ）（ｃ）のように回転され、図１３のようにインデントされた状態でもよい。

ユーザーＡがオブジェクトを清書すると、ユーザーＡが使用するペン２５００のペンＩＤ＝１が検出される。書式変更部３３は、ペンＩＤ＝１が設定されている入力データを入力データ記憶部４３から取得して、書式（フォント、色、線の太さ、線種）を取得する。ここではフォントを揃える場合を説明する。あるいは、書式変更部３３は、ペンＩＤ＝１に対応付けられた書式（フォント）をペン情報記憶部４１から取得する。

オブジェクトが手書きデータの場合、フォントは設定されていないので、書式変更部３３は、ペンＩＤ＝１に対応付けられたフォントをペン情報記憶部４１から取得してよい。

変換部２３は、ページ内の全ての手書きデータを入力データ記憶部４３から取得して、テキストに変換する。書式変更部３３は、変換されたテキストを、ペンＩＤ＝１が設定されているフォント、又は、ペン情報記憶部４１から取得したフォントで表示する。以上により、図１４（ｂ）に示すように、３つのテキスト５１７ｂ～５１９ｂが同じフォントで表示された。

書式変更部３３が手書きデータ５１７ａ～５１９ａを手書きデータのまま書式変更する場合、ペンＩＤ＝１が設定されている入力データの書式（フォント以外の色や線種等）、又は、ペン情報記憶部４１から取得した書式（フォント以外の色や線種等）に手書きデータ５１７ａ～５１９ａを統一する。

なお、ユーザーＡがペン２５００を使用していない場合、認証部３４が特定したユーザーＩＤに対応付けられた書式に基づいて、３つのテキスト５１７ｂ～５１９ｂが清書される。

＜＜言語の変更＞＞
図１５は、オブジェクトの言語に基づくオブジェクトの清書例を示す。図１５ではユーザーが一人であるが、二人以上いてもよい。図１５（ａ）では、「check」「済」という２つの手書きデータが表示されている。ユーザーＡが一人で入力したものでもよいし、ユーザーＢが入力した後、図１２（ｂ）（ｃ）のように回転された状態でもよい。

ユーザーＡがオブジェクトを清書した場合、ユーザーＡが使用するペン２５００のペンＩＤ＝１が検出される。言語変換部３０は、ペン情報記憶部４１からペンＩＤ＝１が設定されている表示言語（日本語）を取得する。変換部２３は、手書きデータ５２１，５２２をテキストに変換し、言語変換部３０はこのテキストを日本語に変換する。以上により、図１５（ｂ）に示すように、「確認！」「済」という日本語のテキスト５２３、５２４に言語が揃う。

なお、清書前に一切、日本語がなくてもよい。この場合、言語変換部３０は全てのテキストを日本語に変換する。

ペン情報記憶部４１に登録された表示言語でなく、入力データに登録された言語に応じて言語変換部３０が言語を変更してもよい。言語変換部３０は、ペンＩＤ＝１が登録されている入力データに登録された言語が日本語の場合、変換部２３が変換したテキストを日本語に変換する。

なお、ユーザーＡがペン２５００を使用していない場合、認証部３４が特定したユーザーＩＤに対応付けられた表示言語に基づいて、日本語のテキスト５２３、５２４に変換される。

また、図１６に示すように、複数のオブジェクトの言語に基づいてオブジェクトが清書されてもよい。図１６は、複数のオブジェクトの言語に基づくオブジェクトの清書例を示す図である。図１６（ａ）は図１５（ａ）と同じである。

ユーザーＡがオブジェクトを清書した場合、ユーザーＡが使用するペン２５００のペンＩＤ＝１が検出される。言語変換部３０は、ペンＩＤ＝１が設定されている入力データを入力データ記憶部４３から取得し、言語（Language）を取得する。変換部２３は、手書きデータ５２１，５２２をテキストに変換し、言語変換部３０はこのテキストを取得した言語（例えば日本語）に変換する。以上により、図１６（ｂ）に示すように、「済」「確認！」という日本語のテキスト５２３、５２４に言語が揃う。

ユーザーＢがオブジェクトを清書した場合、ユーザーＢが使用するペン２５００のペンＩＤ＝２が検出される。言語変換部３０は、ペンＩＤ＝２が設定されている入力データを入力データ記憶部４３から取得し、言語（Language）を取得する。変換部２３は、手書きデータ５２１，５２２をテキストに変換し、言語変換部３０はこのテキストを取得した言語（例えば英語）に変換する。以上により、図１６（ｃ）に示すように、「Done」「check！」という英語のテキスト５２５、５２６に言語が揃う。

＜属性の選択＞
図１０～図１６では、オブジェクトの清書例として、サイズ、向き、インデント、書式、言語の変更を説明したが、これらのうちどの属性について清書が行われるかは、予め設定されていてよい。しかし、清書の度にユーザーが属性を選択できてもよい。

図１７は、操作ガイド５００による清書に使用する属性の選択方法を説明する図である。ユーザーが「清書する」という操作コマンドの候補６１６を選択すると、表示制御部２４が更にサブコマンド６２０を表示する。図１７のサブコマンド６２０は、サイズ、向き、インデント、書式、及び、言語である。ユーザーは所望の属性を選択できる。

＜動作手順＞
図１８は、本実施例の表示装置２がオブジェクトを清書する手順を説明するフローチャート図である。図１８の処理は、ユーザーが清書を実行するとスタートする。なお、図１８の説明では、ペン２５００が使用されており、清書されるオブジェクトがテキストであるか、又は、手書きデータであってもテキストへの変換処理は省略した。

操作受付部２７はユーザーが選択した属性の種類を判断する（Ｓ１）。属性の種類がサイズである場合、サイズ変更部３１は、清書の実行に使用されたペン２５００のペンＩＤを検出する（Ｓ２）。ペンＩＤはペン２５００から送信される。

清書に使用される属性がサイズである場合、サイズ変更部３１が、清書の実行に使用されたペン２５００のペンＩＤが設定されている入力データのテキストのサイズを取得する（Ｓ３）。

サイズ変更部３１は、清書の実行に使用されたペン２５００と同じペンＩＤが設定されていない入力データのテキストのサイズを、ステップＳ３のサイズに変更する（Ｓ４）。

清書に使用される属性が表示方向である場合、回転処理部２９は、清書の実行に使用されたペン２５００のペンＩＤを検出する（Ｓ１２）。ペンＩＤはペン２５００から送信される。

清書に使用される属性が表示方向である場合、回転処理部２９が、清書の実行に使用されたペン２５００のペンＩＤに対応付けられている表示方向をペン情報記憶部４１から取得する（Ｓ１３）。

回転処理部２９は、ステップＳ１３で取得した表示方向でない入力データのテキストの向きを、ステップＳ１３で取得した表示方向に変更する（Ｓ１４）。

清書に使用される属性がインデントである場合、インデント処理部３２は、先頭が最も左端にあるオブジェクトを特定する（Ｓ２２）。

インデント処理部３２は、先頭が最も左端にあるオブジェクトと各オブジェクトとのＸ方向の差異を算出する（Ｓ２３）。

インデント処理部３２は、先頭が最も左端でないオブジェクトのＸ座標を、ステップＳ２３の差異だけ小さくする（Ｓ２４）。

清書に使用される属性が書式である場合、書式変更部３３は、清書の実行に使用されたペン２５００のペンＩＤを検出する（Ｓ３２）。ペンＩＤはペン２５００から送信される。

清書に使用される属性が書式である場合、書式変更部３３が、清書の実行に使用されたペン２５００のペンＩＤが設定されている入力データのテキストの書式を取得する（Ｓ３３）。

回転処理部２９は、ステップＳ３３で取得した書式で、ステップＳ３３で取得した以外の入力データの書式を変更する（Ｓ３４）。

清書に使用される属性が言語である場合、言語変換部３０は、清書の実行に使用されたペン２５００のペンＩＤを検出する（Ｓ４２）。ペンＩＤはペン２５００から送信される。

清書に使用される属性が言語である場合、言語変換部３０が、清書の実行に使用されたペン２５００のペンＩＤに対応付けられている言語をペン情報記憶部４１から取得する（Ｓ４３）。

言語変換部３０は、ステップＳ４３で取得した言語でない入力データのテキストの言語を、ステップＳ４３で取得した言語に変更する（Ｓ４４）。

なお、図１８の処理では、１回の清書操作で１つの属性のみの清書が実行されているが、１回の清書操作で複数の属性に関する清書が実行されてもよい。例えば、サイズと表示方向の清書が連続して行われてよい。例えば、図１７のサブコマンド６２０に、連続して実行される清書が選択可能であるとよい。

＜主な効果＞
以上説明したように、本実施例の表示装置２は、表示装置２が表示する複数のオブジェクトの属性値を揃えることで、オブジェクトを清書できる。したがって、各ユーザーがオブジェクトを読みやすくする。

本実施例は、実施例１で説明したオブジェクトの清書に際し、その属性値をどのように決定するか説明する。実施例１の図１０～図１６では、オブジェクトを清書するユーザーが使用するペン２５００のペンＩＤに対応付けられた属性値又はユーザーに対応付けられた属性値が使用される場合があった。本実施例では、オブジェクトの清書に使用される属性値が、ユーザーが使用したペン２５００のペンＩＤ又はユーザーに必ずしも関係しないで決定される場合の決定方法について説明する。

＜機能について＞
図１９は、本実施例において、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。なお、図１９の説明では主に図４との相違を説明する。本実施例の表示装置２は、新たに属性値決定部３７を有している。

属性値決定部３７は、清書に使用する属性値を決定する。属性値とは、例えば属性が表示方向の場合、表示方向の具体的な値である０，９０，１８０，２７０°をいう。すなわち、属性値決定部３７は、ペンＩＤやユーザー情報に対応付けられた属性値でなく、各属性ごとに清書に使用する属性値を決定する。

＜＜ペンに対応付けられているユーザー属性に基づいた属性値で清書されるオブジェクト＞＞
まず、本実施例において、ペンＩＤに対応付けられた属性値が使用される例を説明する。図２０は、本実施例のペン情報記憶部４１に記憶されるペン情報の変形例を示す。図２０のペン情報記憶部４１には、ペンＩＤにユーザー属性が対応付けられている。ユーザー属性とは、ユーザーの区別であり、図２０では説明員と顧客である。説明員が表示装置２を挟んで顧客を接客する状況が想定されている。説明員は説明員用のペン２５００を使用し、顧客は顧客用のペン２５００を使用する。また、顧客は０°の表示方向に座っており、説明員はどの表示方向に座っていてもよい。

ユーザー属性には、表示方向、サイズ、インデント、書式、言語という各属性が対応付けられている。このようなペン２５００が使用されると、表示装置２はユーザー属性に基づいた属性値でオブジェクトを清書できる。例えば、説明員又は顧客のどちらが表示方向を揃える清書を行ってもオブジェクトが顧客に正対する。サイズ、インデント、書式、言語についても同様であり、説明員又は顧客のどちらが清書を行っても、オブジェクトのサイズ、インデント、書式、言語が、顧客が違和感なく読めるように設定された属性値でオブジェクトが清書される。

図２１は、図２０のペン情報を用いた清書の一例を示す。図２１（ａ）では、顧客６６１が「訂正」というテキスト５３１を入力し、説明員６６２が「確認」というテキスト５３２を入力した。「訂正」というテキスト５３１の表示方向は０°、「確認」というテキスト５３２の表示方向は１８０°、である。また、説明の便宜上、「訂正」というテキスト５３１のサイズを５０ポイント、「確認」というテキスト５３２のサイズを２５ポイント、とする。また、顧客のペンＩＤを１、説明員のペンＩＤを２とする。

顧客６６１がオブジェクトを清書した場合、顧客６６１が使用するペン２５００のペンＩＤ＝１が検出される。属性値決定部３７は、ペンＩＤに対応付けられた属性値をペン情報記憶部４１から取得する。サイズ変更部３１は、ページ内の全ての入力データを入力データ記憶部４３から取得して、顧客に対応付けられたサイズ（５０ポイント）に変更する。顧客以外が入力したテキストのみサイズが変更されてもよい。

また、回転処理部２９は、ページ内の全ての入力データを入力データ記憶部４３から取得して、顧客に対応付けられた表示方向＝０°に変更する。サイズ、インデント、書式、言語についても同様に、清書されてよい。顧客以外が入力したテキストのみ表示方向が変更されてもよい。

以上により、図２１（ｂ）に示すように、「訂正」というテキスト５３１と「確認」というテキスト５３３のサイズが、顧客に対応付けられたサイズに揃い、表示方向が０°に揃う。

次に、説明員６６２がオブジェクトを清書した場合、説明員６６２が使用するペン２５００のペンＩＤ＝２が検出される。属性値決定部３７は、ペンＩＤに対応付けられた属性値をペン情報記憶部４１から取得する。サイズ変更部３１は、ページ内の全ての入力データを入力データ記憶部４３から取得して、説明員６６２に対応付けられたサイズ（５０ポイント）に変更する。説明員６６２が入力したテキストのみサイズが変更されてもよい。

また、回転処理部２９は、ページ内の全ての入力データを入力データ記憶部４３から取得して、説明員６６２に対応付けられた表示方向＝０°に変更する。説明員６６２が入力したテキストのみ表示方向が変更されてもよい。

以上により、図２１（ｃ）に示すように、「訂正」というテキスト５３１と「確認」というテキスト５３３のサイズが５０ポイントに揃い、表示方向が０°に揃う。なお、サイズ、インデント、書式、言語についても同様に、清書されてよい。

図２１（ｂ）と図２１（ｃ）は同じものである。このように、説明員が清書しても顧客が清書しても、顧客が違和感なく読めるように設定された属性でオブジェクトが清書される。

＜＜多く使用されている属性値に基づく清書＞＞
表示装置２は、使用されている属性値が最も多いペン２５００に設定された属性値で清書してもよい。

図２２は、使用されている属性値が最も多いペン２５００に設定された属性値によるオブジェクトの清書例を説明する図である。図２２では、ユーザーＡ、Ｂが有するペン１、２の表示方向が０°、ユーザーＣが有するペン３の表示方向が１８０°である。図２２（ａ）では、「訂正」というテキスト５３４がペン２により入力され、「追加」というテキスト５３６がペン１により入力された。「確認」というテキスト５３５がペン３により入力された。

属性値決定部３７は、表示方向が０°のペン２５００の数が最も多いので、表示方向＝０°が設定されたペン２５００の属性値（つまり表示方向＝０°）を使用すると判断する。すなわち、表示装置２は、表示方向が０°のペン２５００に設定されている属性値でオブジェクトを清書する。

より詳細には、属性値決定部３７は、ペン情報記憶部４１から入力に使用されている各ペンの表示方向を取得し、最も多い表示方向のペン２５００に対応付けられた表示方向で清書すると判断する。なお、入力に使用されている各ペンは入力データ記憶部４３の入力データに登録されている。以上により、図２２（ｂ）に示すように、「訂正」というテキスト５３４と、「追加」というテキスト５３６と、「確認」というテキスト５３５の表示方向が０°に揃う。

使用されているペン２５００の数が多いことはユーザーが多いことを意味するので、多くのユーザーが見やすくなるように表示装置２がオブジェクトを清書できる。

なお、図２２では、最も多い表示方向が特定されたが、サイズ、インデント、書式、又は、言語についても同様に、属性値決定部３７が最も多い属性値を決定し、この属性値が対応付けられたペンの属性値を決定できる。

ユーザーがペン２５００を使用せずに、属性値決定部３７は、ログインしているユーザーについて、ユーザー情報記憶部４４からユーザーの表示方向を取得し、最も多い表示方向のユーザーに対応付けられた表示方向で清書すると判断する。

＜＜文字数が多いオブジェクトに使用されている属性値に基づく清書＞＞
表示装置２は、文字数が最も多いオブジェクトに使用されている属性値で清書してもよい。

図２３は、文字数が最も多いテキストの属性値によるオブジェクトの清書例を説明する図である。図２３（ａ）では、「訂正」「本日の記録」という２つのテキスト５４１，５４２の表示方向が０°、「確認」というテキスト５４３の表示方向が１８０°である。したがって、表示方向が０°の文字数が最も多い。

より詳細には、属性値決定部３７は、入力データ記憶部４３から各入力データの表示方向と文字数を取得し、表示方向ごとに文字数を累計する。図２３（ａ）の例では、０°が７文字、１８０°が２文字である。属性値決定部３７は、この文字数が最も多い表示方向で清書すると判断する。以上により、図２３（ｂ）に示すように、「訂正」というテキスト５４１と、「本日の記録」というテキスト５４２と、「確認」というテキスト５４３の表示方向が０°に揃う。

文字数が最も多いオブジェクトは、標準的なオブジェクトなので、標準的なオブジェクトの属性値で表示装置２がオブジェクトを清書できる。

なお、図２３では、表示方向が清書されたが、属性値決定部３７は、入力データ記憶部４３から各入力データのサイズ、インデント（先頭の座標）、書式、又は、言語と文字数を取得し、サイズ、インデント、書式、又は、言語ごとに文字数を累計する。属性値決定部３７は、この文字数が最も多いサイズ、インデント、書式、又は、言語で清書すると判断する。

図２３の属性値の決定にはペンＩＤが使用されないので、ユーザーがペン２５００を使用せずに、指で入力している場合も、属性値決定部３７は同様に属性値を決定できる。

＜＜サイズが最も大きいオブジェクトに使用されている属性値に基づく清書＞＞
表示装置２は、サイズが最も大きいオブジェクトに使用されている属性値で清書してもよい。

図２４は、サイズが最も大きいテキストの属性値によるオブジェクトの清書例を説明する図である。図２４（ａ）では、「訂正」というテキスト５５１のサイズが５０ポイント、「確認」というテキスト５５２のサイズが２５ポイントである。したがって、「訂正」というテキスト５５１のサイズが最も大きい。

より詳細には、属性値決定部３７は、入力データ記憶部４３から各入力データのテキストのサイズを取得し、サイズが最も大きい入力データに登録された表示方向で清書すると判断する。サイズが最も大きい「訂正」というテキスト５５１の表示方向は０°である。以上により、図２４（ｂ）に示すように、「訂正」というテキスト５５１と、「確認」というテキスト５５３の表示方向が０°に揃う。

サイズが最も大きいオブジェクトは重要なので、重要なオブジェクトの表示に使用された属性値で表示装置２がオブジェクトを清書できる。

なお、図２４では、表示方向が清書されたが、サイズ、インデント、書式、又は、言語についても同様に、清書できる。

図２４の属性値の決定にはペンＩＤが使用されないので、ユーザーがペン２５００を使用せずに、指で入力している場合も、属性値決定部３７は同様に属性値を決定できる。

＜＜文字数とサイズが最も大きいオブジェクトに使用されている属性値に基づく清書＞＞
表示装置２は、文字数とサイズが最も大きいオブジェクトに使用されている属性値で清書してもよい。

図２５は、文字数とサイズの重みが最も大きいテキストの属性値によるオブジェクトの清書例を説明する図である。図２５（ａ）では、「確認」「訂正」というテキスト５６１，５６２が有する４文字が30cm四方で、「本日の記録」というテキスト５６３が有する５文字が15cm四方で書かれている。

例えば、テキスト一文字の重みが一辺の長さの二乗×文字数である場合、テキストの重みは以下のようになる。
テキスト５６１，５６２の重み = 3600 = 30^2*4
テキスト５６３の重み = 1125 = 15^2*5
属性値決定部３７は、入力データ記憶部４３から各入力データのテキストのサイズと文字数を取得する。属性値決定部３７は、入力データごとに上記の計算を行い、重みが最も大きい文字数とサイズを有する入力データの表示方向で清書すると判断する。上記のように、テキスト５６１，５６２の重みが最も大きいので、属性値決定部３７はテキスト５６１又は５６２の属性値（表示方向＝０°）で清書すると決定する。以上により、図２５（ｂ）に示すように、「訂正」というテキスト５６１と、「確認」というテキスト５６２と、「本日の記録」というテキスト５６４の表示方向が０°に揃う。

サイズと文字数の重みが最も大きいオブジェクトは重要なので、重要なオブジェクトの表示に使用された属性値で表示装置２がオブジェクトを清書できる。

なお、図２５では、表示方向が清書されたが、サイズ、インデント、書式、又は、言語についても同様に、清書できる。

図２５の属性値の決定にはペンＩＤが使用されないので、ユーザーがペン２５００を使用せずに、指で入力している場合も、属性値決定部３７は同様に属性値を決定できる。

＜清書に使用する属性値の選択＞
図２１～図２５で説明した属性値の決定方法のいずれにより表示装置２に清書を実行させるかをユーザーが設定できる。

図２６は、表示装置２が表示する属性値決定方法選択画面６７０である。属性値決定方法選択画面６７０は、ユーザーが操作コマンドを呼び出す認識文字列を手書きし、操作ガイド５００で操作コマンドを実行することで表示される。属性値決定方法選択画面６７０は、ラジオボタン６７６に対応付けられた属性値の決定方法を有している。
・「実行したペンに合わせる」６７１は、実施例１又は図２１にて説明した属性値の決定方法に対応する。
・「多く使用されているペンの属性値に合わせる」６７２は、図２２にて説明した属性値の決定方法に対応する。
・「多い文字数に合わせる」６７３は、図２３にて説明した属性値の決定方法に対応する。
・「サイズに合わせる」６７４は、図２４にて説明した属性値の決定方法に対応する。
・「文字とサイズに合わせる」６７５は、図２５にて説明した属性値の決定方法に対応する。

ユーザーはラジオボタン６７６を選択することにより、属性値の決定方法を選択できる。属性値の決定方法は保存され、属性値決定部３７は選択結果に応じて、図２１～図２５で説明した属性値の決定方法のいずれかで属性値を決定する。

なお、清書に使用される属性が決まっている場合、属性値が自動的に決まってもよい。例えば、清書に使用される属性が表示方向の場合、属性値は「多い文字数に合わせる」に決まっていたり、清書に使用される属性がサイズの場合、属性値は「文字とサイズに合わせる」に決まっていたりしてよい。

＜動作手順＞
図２７は、ユーザーが選択した属性値の決定方法に応じて表示装置２がオブジェクトを清書する属性値を決定する処理を説明するフローチャート図である。図２７の処理は属性値を決定する処理であるが、清書に使用する属性はすでに決まっている。例えば、図１７に示したようにユーザーが属性を選択していてもよいし、属性が初期設定されていてもよい。なお、図２７の説明では、ペン２５００が使用されており、オブジェクトがテキストであるとする。

属性値決定部３７は、ユーザーが選択した属性値の決定方法を判断する（Ｓ６１）。属性値の決定方法が「実行したペンに合わせる」である場合、属性値決定部３７は、清書の実行に使用されたペン２５００のペンＩＤを検出する（Ｓ６２）。ペンＩＤはペン２５００から送信される。

属性値決定部３７は、清書の実行に使用されたペン２５００のペンＩＤに対応付けられている属性値をペン情報記憶部４１から取得する（Ｓ６３）。

属性値決定部３７は、ステップＳ６３で取得した属性値でテキストを清書すると判断する（Ｓ６４）。

属性値の決定方法が「多く使用されている属性に合わせる」である場合、属性値決定部３７は、入力に使用されている各ペンのリストを作成し、この各ペンの属性値をペン情報記憶部４１から取得する（Ｓ６５）。入力に使用されている各ペンのリストは入力データ記憶部４３により明らかである。

属性値決定部３７は、各ペンの属性値が異なる場合、属性値ごとにペン２５００の数をカウントし、最も多い属性値を有するペン２５００に対応付けられた属性値で清書すると判断する（Ｓ６６）。属性値決定部３７は、例えば、表示方向については、表示方向が０°のペン２５００の数、表示方向が９０°のペン２５００の数、表示方向が１８０°のペン２５００の数、表示方向が２７０°のペン２５００の数、をカウントし、どの表示方向のペン２５００が最も多いか判断する。

属性値の決定方法が「多い文字数に合わせる」である場合、属性値決定部３７は、入力データ記憶部４３から各入力データの文字数と属性値を取得する（Ｓ６７）。

属性値決定部３７は、属性値ごとに文字数を累計し、文字数が最も多い属性値で清書すると判断する（Ｓ６８）。属性値決定部３７は、例えば、表示方向について、表示方向が０°の文字数が１０、表示方向が９０°の文字数が２０、表示方向が１８０°の文字数が３０、表示方向が２７０°の文字数が４０の場合、表示方向＝２７０°で清書すると判断する。

属性値の決定方法が「サイズに合わせる」である場合、属性値決定部３７は、入力データ記憶部４３から各入力データのテキストのサイズを取得する（Ｓ６９）。

属性値決定部３７は、サイズが最も大きい入力データに登録された属性値で清書すると判断する（Ｓ７０）。属性値決定部３７は、例えばDataId＝ｎの入力データのサイズが最も大きい場合、この入力データに設定されてる表示方向、サイズ、インデント、書式、又は言語の１つ以上で清書すると判断する。

属性値の決定方法が「文字とサイズに合わせる」である場合、属性値決定部３７は、入力データ記憶部４３から各入力データのテキストのサイズと文字数を取得する（Ｓ７１）。

属性値決定部３７は、重み計算を行い、重みが最も大きい文字数とサイズを有する入力データの属性値で清書すると判断する（Ｓ７２）。属性値決定部３７は、例えばDataId＝ｎの入力データのサイズと文字数の重みが最も大きい場合、この入力データに設定されてる表示方向、サイズ、インデント、書式、又は言語の１つ以上で清書すると判断する。

＜主な効果＞
本実施例によれば、実施例１の効果に加え、ペンＩＤやユーザーに対応付けられた属性値以外の属性値で表示装置２がオブジェクトを清書できる。

本実施例では、一方の拠点の表示装置２Ａと他の拠点の表示装置２Ｂとが遠隔通信している場合のオブジェクトの清書について説明する。

図２８に示すように、複数の拠点でオブジェクトが共有される場合がある。図２８は、情報共有システム４００のシステム構成例を示す。情報共有システム４００は、拠点Ａの表示装置２Ａと拠点Ｂの表示装置２Ｂを有し、更に、情報管理サーバー８を有していてもよい。表示装置２Ａと表示装置２Ｂは、インターネットなどの広域なネットワークを期して相互に通信可能に接続されている。

表示装置２Ａと表示装置２Ｂは、情報管理サーバー８が発行したＵＲＬに接続することで、同じセッション（例えば同じ会議）に接続する。情報管理サーバー８は、同じセッションに接続している複数の表示装置２の間で手書きデータなどの表示データを共有する。

なお、データの送受信は、情報管理サーバー８を介さずに、例えばＷｅｂＲＴＣ（Web Real Time Communication）等の通信方法を用いて表示装置２Ａ，２Ｂの間で行われてもよい。

遠隔通信で入力データが共有されている場合、清書を実行した拠点ごとに清書が実行され、他の拠点の表示装置２において清書内容が反映（共有）される。

＜ハードウェア構成例＞
図２９は、本実施形態に係る情報管理サーバー８の一例のハードウェア構成を示す図である。図２９に示されているように、情報管理サーバー８は、コンピュータによって構築されており、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、ＨＤ（Hard Disk）７０４、ＨＤＤ(Hard Disk Drive)コントローラ７０５、ディスプレー７０６、外部機器接続Ｉ/Ｆ(Interface)７０８、ネットワークＩ/Ｆ７０９、バスライン７１０、キーボード７１１、ポインティングデバイス７１２、光学ドライブ７１４、メディアＩ/Ｆ７１６を備えている。

これらのうち、ＣＰＵ７０１は、情報管理サーバー８全体の動作を制御する。ＲＯＭ７０２は、ＩＰＬ等のＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。ＨＤ７０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ７０５は、ＣＰＵ７０１の制御にしたがってＨＤ７０４に対する各種データの読み出し又は書き込みを制御する。ディスプレー７０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ/Ｆ７０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ/Ｆ７０９は、ネットワークを利用してデータ通信をするためのインターフェースである。バスライン７１０は、図２９に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード７１１は、文字、数値、又は各種指示などの入力に使用される複数のキーを備えた入力手段の一種である。ポインティングデバイス７１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。光学ドライブ７１４は、着脱可能な記録媒体の一例としての光記憶媒体7１３に対する各種データの読み出し又は書き込みを制御する。なお、光記憶媒体7１３は、ＣＤ，ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）等でよい。メディアＩ/Ｆ７１６は、フラッシュメモリ等の記録メディア７１５に対するデータの読み出し又は書き込み（記憶）を制御する。

＜情報管理サーバーの機能＞
図３０は、情報管理サーバー８の機能ブロック図の一例である。情報管理サーバー８は、通信部６３１、共有部６３２、及び、入力データ記憶部６３３を有している。情報管理サーバー８が有するこれらの機能は、図２９に示したＣＰＵ７０１がＨＤ７０４に保存されたプログラムを実行することで実現される機能又は手段である。

通信部６３１は、表示装置２Ａ、２Ｂ等と通信し、一方の表示装置２から送信される入力データや清書内容を、他方の表示装置２に送信する。

共有部６３２は同じセッションに接続する表示装置２を管理し、入力データや清書内容を同じセッションに接続する表示装置２の間で共有する処理を行う。

入力データ記憶部６３３は、手書きデータやテキストなどのオブジェクトに関するデータを、ディスプレー２２０における位置情報と共に記憶している。入力データ記憶部６３３の内容は表３と同様でよい。

＜遠隔通信時の清書例＞
図３１は、一方の拠点の清書の属性が、他方の拠点において統一して共有されるオブジェクトの清書を説明する図である。ユーザーＡは拠点Ａで表示装置２Ａを使用し、ユーザーＢは拠点Ｂで表示装置２Ｂを使用している。図３１（ａ）に示すように、ユーザーＡの表示方向は０°である。ユーザーＢの表示方向は１８０°である。「Ａの文字」というテキスト５７１（第一のオブジェクトの一例）はユーザーＡが入力し、「Ｂの文字」というテキスト５７２（第二のオブジェクトの一例）はユーザーＢが入力した。

ユーザーＡが清書を実行した場合、図３１（ｂ）に示すように、表示装置２Ａは、「Ｂの文字」というテキスト５７２の向きを０°に変更し、テキスト５７４を表示する。オブジェクトが共有されているので、同様に、表示装置２Ｂは、「Ｂの文字」というテキスト５７４の向きを０°に変更する。

図３１の方法では、ユーザーＢがテキスト５７１，５７４を見にくい。そこで、図３２に示すように、拠点にいるユーザーの表示方向を優先するとよい。

図３２は、一方の拠点の清書が、他方の拠点に応じた属性値で共有されるオブジェクトの清書を説明する図である。図３２（ａ）に示すように、ユーザーＡの表示方向は０°である。ユーザーＢの表示方向は１８０°である。「Ａの文字」というテキスト５８１はユーザーＡが入力し、「Ｂの文字」というテキスト５８２はユーザーＢが入力した。

ユーザーＡが清書を実行した場合、図３２（ｂ）に示すように、表示装置２Ａは、「Ｂの文字」というテキスト５８２の向きを０°に変更し、テキスト５８３を表示する。オブジェクトの清書コマンドが共有され、表示装置２Ｂは、「Ａの文字」というテキスト５８１の向きを１８０°に変更し、テキスト５８４を表示する。すなわち、表示装置２ＢはユーザーＢが清書を実行したとみなしてオブジェクトを清書する。表示装置２Ｂは、表示装置２Ａの清書内容に基づいて、表示装置２Ａと同じ清書をテキスト５８１に行う。

なお、図３１，図３２では、表示方向が揃えられているが、サイズ、インデント、諸行き、言語についても、表示装置２Ａ，２Ｂがオブジェクトを清書できる。

＜遠隔通信時の清書共有設定＞
図３１又は図３２のどちらの処理を表示装置２Ｂが実行するかは、ユーザーＡ又はＢが選択できるとよい。図３３は、ユーザーＡ又はＢが遠隔通信時に清書に関する設定を行う清書共有設定画面６５０である。

清書共有設定画面６５０は、チェックボックス６５１に対応付けて「属性を統一」と「拠点ごとに清書」というメッセージ６５２，６５３が対応付けられている。「属性を統一」が図３１の処理に対応し、「拠点ごとに清書」が図３２の処理に対応する。ユーザーＡ又はＢは、遠隔通信時に、自機である表示装置２Ａ、２Ｂが清書内容をどのように共有するかを設定できる。すなわち、図３３の清書共有設定画面６５０を使用した清書共有設定は各拠点で可能であり、清書内容をどのように共有するか各ユーザーが設定できる。各拠点の表示装置２は、清書共有設定画面６５０における選択結果に応じて清書する。

図３４は、表示装置２Ｂにおいて清書共有設定画面６５０に対する設定が行われた場合に、表示装置２Ａ、２Ｂが行う処理を説明するシーケンス図である。

S101：拠点ＡのユーザーＡが表示装置２Ａに対し、清書の実行を入力した。

S102：表示装置２Ａの操作受付部２７が清書の実行を受け付け、清書部５０（回転処理部２９、言語変換部３０、サイズ変更部３１、インデント処理部３２、又は、書式変更部３３）がオブジェクトを清書する。

S103：表示装置２Ａのネットワーク通信部２６は、入力データ及び清書内容（清書に使用した属性と属性値）を情報管理サーバー８に送信する。清書内容は、例えば表示方向を０°に変更した等の情報であるが、元々、入力データに含まれている。清書内容は、表示装置２Ｂが「拠点ごとに清書」の清書共有設定に基づいて清書するために送信される。

S104：情報管理サーバー８の通信部６３１は入力データ及び清書内容を受信し、同じセッションに接続している表示装置２Ｂに入力データ及び清書内容を送信する。

表示装置２Ｂのネットワーク通信部２６は入力データ及び清書内容を受信する。清書部５０は清書共有設定画面６５０で設定された清書共有設定を判断する。

S105：清書共有設定が「属性を統一」である場合、表示制御部２４は、入力データに基づいてオブジェクトの表示を変更する。つまり、表示装置２Ｂの画面は表示装置２Ａと同じになる。

S106：清書共有設定が「拠点ごとに清書」である場合、清書部５０は、清書内容に基づいてオブジェクトを清書する。例えば、清書内容が、ペンＩＤ＝２のオブジェクトの表示方向を０°に変更した、である場合、回転処理部２９が、ペンＩＤ＝１のオブジェクトの表示方向を１８０°に変更する。ここでは、回転処理部２９がペンＩＤと表示方向を表示装置２Ａとは逆にしたが、表示装置２Ａの清書内容に基づいて表示装置２Ｂが清書するための変換テーブル等が用意されているとよい。

また、清書共有設定が「拠点ごとに清書」である場合、表示装置２Ａと２Ｂで入力データに違いが生じる。そこで、遠隔通信の終了時に表示装置２Ａ，２Ｂが入力データの統一を行うかどうかをユーザーに問い合わせてもよい。

＜サーバーによる清書＞
図２８に示したように、各拠点の表示装置２と情報管理サーバー８が接続されている場合、情報管理サーバー８が清書等を行うことが可能になる。

この場合、表示装置２は、図４に示した、入力受付部２１、描画データ生成部２２、表示制御部２４、ネットワーク通信部２６、操作受付部２７、ペン通信部３５を有する。

一方、サーバー装置１２は、変換部２３、データ記録部２５、操作コマンド処理部２８、清書部５０（回転処理部２９，言語変換部３０、サイズ変更部３１、インデント処理部３２、書式変更部３３）、認証部３４、入力方向検出部３６、ネットワーク通信部２６を有する。

表示装置２のネットワーク通信部２６はサーバー装置１２に、ストロークデータを送信する。サーバー装置１２は、図１８，図２７のフローチャート図と同様の処理を行い、認識結果を表示装置２に送信する。

このように、情報共有システム４００によれば、情報管理サーバー８が処理を行うので、表示装置２の処理負荷を低減できる。また、入力データがサーバー装置１２に保存されているので、遠隔地にある表示装置２やＰＣが情報管理サーバー８に接続して入力データをリアルタイムに共有できる。

＜主な効果＞
本実施例によれば、実施例１，２の効果に加え、遠隔通信時にも各表示装置２がオブジェクトを清書できる。各拠点のユーザーは、清書共有設定により「属性を統一」するか「拠点ごとに清書」するか、を選択できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では、ストロークデータが主に日本語に変換されているが、ストロークデータの変換先の言語は他の言語（英語、中国語、ヒンドゥー語、スペイン語、フランス語、アラビア語、ロシア語等）でよい。

また、本実施形態では電子黒板を一例として説明したが、電子黒板は、電子ホワイトボード、電子情報ボード、などと呼ばれてよい。また、本実施形態は、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置は、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、表示装置２はペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。表示装置２は、方向と距離によりペンの位置を特定でき、ペンの軌跡をストロークデータとしてプロジェクターが描画（投影）する。

また、図４などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

本発明の実施形態は、コンピュータの能力及び機能性に大きな改善をもたらす。これらの改善により、ユーザーは、情報処理装置において情報を格納し提示する方法であるテーブルとの、より効率的で堅牢な対話を提供するコンピュータを利用することができる。更に、本発明の実施形態は、より効率的で強力かつ堅牢なユーザーインタフェースの使用を通じて、より良いユーザー体験を提供する。このようなユーザーインタフェースは、人間と機械との間のより良い相互作用を提供する。

２ 表示装置

特開２００３‐２０８４１６号公報

Claims (24)

1. 手書きデータの入力を受け付ける入力受付部と、
   前記手書きデータ又は前記手書きデータから変換したテキストをオブジェクトとして表示する表示制御部と、
   前記表示制御部が表示する複数のオブジェクトの属性値を揃える清書部と、
   を有する表示装置。
2. 前記清書部は、前記表示制御部が表示する複数のオブジェクトのうち少なくとも１つのオブジェクトの前記属性値を変更することで、前記複数のオブジェクトの属性値を揃えることを特徴とする請求項１に記載の表示装置。
3. 前記清書部は、前記表示制御部が表示する全てのオブジェクトの前記属性値を変更することで、前記複数のオブジェクトの属性値を揃えることを特徴とする請求項１に記載の表示装置。
4. 前記表示制御部が表示しているオブジェクトの清書に使用するオブジェクトの属性値を決定する属性値決定部を有することを特徴とする請求項１～３のいずれか１項に記載の表示装置。
5. 前記入力受付部は入力手段による手書きデータの入力を受け付け、
   清書の実行を受け付ける操作受付部を有し、
   前記入力手段がペンである場合、
   前記操作受付部が清書の実行を受け付けた前記ペンから前記ペンの識別情報を受信するペン通信部を有し、
   前記属性値決定部は、前記ペンの識別情報に対応付けられている前記属性値を、前記オブジェクトの清書に使用する前記属性値に決定することを特徴とする請求項４に記載の表示装置。
6. 前記入力受付部は入力手段による手書きデータの入力を受け付け、
   ユーザーを認証することで前記ユーザーの識別情報を特定する認証部を有し、
   前記入力手段が指である場合、
   前記属性値決定部は、前記ユーザーの識別情報に対応付けられている前記属性値を、前記オブジェクトの清書に使用する前記属性値に決定することを特徴とする請求項４に記載の表示装置。
7. 前記ペンの識別情報には前記ペンを使用するユーザー属性に応じた前記属性値が対応付けられていることを特徴とする請求項５に記載の表示装置。
8. 前記入力受付部は入力手段による手書きデータの入力を受け付け、
   前記入力手段がペンである場合、
   前記属性値決定部は、前記入力受付部が前記オブジェクトの入力を受け付けた前記ペンのリストを作成し、
   前記リストの各ペンに対応付けられている前記属性値のうち最も多い属性値を有するペンを特定し、該ペンに対応付けられている前記属性値を前記オブジェクトの清書に使用する前記属性値に決定することを特徴とする請求項４に記載の表示装置。
9. 前記属性値決定部は、前記入力受付部が入力を受け付けた前記オブジェクトの入力データから、前記オブジェクトの文字数を取得し、
   前記文字数が最も多い前記入力データに登録された属性値を、前記オブジェクトの清書に使用する前記属性値に決定することを特徴とする請求項４に記載の表示装置。
10. 前記属性値決定部は、前記入力受付部が入力を受け付けた前記オブジェクトの入力データから、前記オブジェクトのサイズを取得し、
    前記サイズが最も大きい前記入力データに登録された属性値を、前記オブジェクトの清書に使用する前記属性値に決定することを特徴とする請求項４に記載の表示装置。
11. 前記属性値決定部は、前記入力受付部が入力を受け付けた前記オブジェクトの入力データから、前記オブジェクトの文字数とサイズを取得し、
    前記文字数とサイズに基づく値が最も大きい前記入力データに登録された属性値を、前記オブジェクトの清書に使用する前記属性値に決定することを特徴とする請求項４に記載の表示装置。
12. ペンの識別情報に対応付けられている前記属性値、各ペンの識別情報に対応付けられている前記属性値のうち最も多い属性値、前記オブジェクトの文字数、前記オブジェクトのサイズ、又は、前記オブジェクトの文字数とサイズ、のいずれに基づいて前記属性値を決定するかの選択を受け付ける画面を表示し、
    選択結果に応じて、前記属性値決定部が、前記オブジェクトの清書に使用する前記属性値を決定することを特徴とする請求項４～１１のいずれか１項に記載の表示装置。
13. 前記属性値は前記オブジェクトをサイズであり、
    前記清書部は、前記複数のオブジェクトを同じサイズに揃えることを特徴とする請求項１～１２のいずれか１項に記載の表示装置。
14. 前記属性値は前記オブジェクトの表示方向であり、
    前記清書部は、前記複数のオブジェクトを同じ表示方向に揃えることを特徴とする請求項１～１２のいずれか１項に記載の表示装置。
15. 前記属性値は前記オブジェクトのインデントであり、
    前記清書部は、前記複数のオブジェクトのインデントを揃えることを特徴とする請求項１～１２のいずれか１項に記載の表示装置。
16. 前記属性値は前記オブジェクトの書式であり、
    前記清書部は、前記複数のオブジェクトを同じ書式に揃えることを特徴とする請求項１～１２のいずれか１項に記載の表示装置。
17. 前記属性値は前記オブジェクトの言語であり、
    前記清書部は、前記複数のオブジェクトを同じ言語に揃えることを特徴とする請求項１～１２のいずれか１項に記載の表示装置。
18. 前記入力受付部が受け付けた手書きデータをテキストに変換する変換部を有し、
    前記オブジェクトが文字認識されていない手書きデータである場合、
    前記変換部が前記手書きデータをテキストに変換してから、前記清書部が他のオブジェクトの前記属性値に前記テキストの属性値を揃えることを特徴とする請求項１～１７のいずれか１項に記載の表示装置。
19. 他の拠点の表示装置と前記オブジェクトの入力データに関する通信を行うことで第一のオブジェクトと第二のオブジェクトの表示を共有している場合、
    前記他の拠点の表示装置から、前記第一のオブジェクトが清書された前記入力データを受信するネットワーク通信部を有し、
    前記表示制御部は、前記他の拠点の表示装置と同じ前記入力データに基づいて前記第一のオブジェクトを表示することを特徴とする請求項１～１７のいずれか１項に記載の表示装置。
20. 他の拠点の表示装置と前記オブジェクトの入力データに関する通信を行うことで第一のオブジェクトと第二のオブジェクトの表示を共有している場合、
    前記他の拠点の表示装置から、前記第一のオブジェクトが清書された前記入力データ及び前記第一のオブジェクトの清書内容を受信するネットワーク通信部を有し、
    前記清書部は、前記清書内容に基づいて、前記他の拠点の表示装置と同じ清書を前記第二のオブジェクトに行うことを特徴とする請求項１９に記載の表示装置。
21. 前記表示装置は、前記他の拠点の表示装置と同じ前記入力データを表示するか、又は、前記他の拠点の表示装置と同じ清書を前記第二のオブジェクトに行うか、の設定を受け付ける画面を表示し、
    選択結果に応じた清書を行うことを特徴とする請求項２０に記載の表示装置。
22. 表示装置が行う清書方法であって、
    入力受付部が、手書きデータの入力を受け付けるステップと、
    表示制御部が、前記手書きデータ又は前記手書きデータから変換したテキストをオブジェクトとして表示するステップと、
    前記表示制御部が表示する複数のオブジェクトの属性値を清書部が揃えるステップと、を有する清書方法。
23. 表示装置を、
    手書きデータの入力を受け付ける入力受付部と、
    前記手書きデータ又は前記手書きデータから変換したテキストをオブジェクトとして表示する表示制御部と、
    前記表示制御部が表示する複数のオブジェクトの属性値を揃える清書部、
    として機能させるためのプログラム。
24. ネットワークを介して通信できる表示装置を有する情報共有システムであって、
    前記表示装置は、
    手書きデータの入力を受け付ける入力受付部と、
    前記手書きデータ又は前記手書きデータから変換したテキストをオブジェクトとして表示する表示制御部と、
    前記表示制御部が表示する複数のオブジェクトの属性値を揃える清書部と、を有し
    一方の表示装置から入力データと清書内容を受信した他方の表示装置の清書部が、前記清書内容に応じて、前記複数のオブジェクトの属性値を揃える情報共有システム。

Images