JP6141887B2 - 書き込まれた内容のための空間的に関係する注釈の表示 - Google Patents

Description

[0001]今日の技術において、コンピューティングデバイスのユーザは、一般に、ユーザの書く能力を改善し、ユーザの書き込んだことをさらに理解するために、これらのデバイスがフィードバックを与えることを当てにしている。コンピューティングデバイスは、スペルおよび文法の誤りなど、フィードバックをディスプレイ上で与え得る。

[0002]添付の図面において、同様の数字は、同様の構成要素またはブロックを指す。以下の発明を実施するための形態では以下の図面を参照する。

[0003]書込み面上の書き込まれた内容の一部分の位置に空間的に関係する位置においてレンダリングされた注釈を含むコンピューティングデバイス上の例示的なディスプレイのブロック図。 [0004]分析するために書込み面上の書き込まれた内容を表す手書きデータを受信し、ディスプレイ上で注釈をレンダリングするための例示的なコンピューティングデバイスのブロック図。 [0005]書込み面上で与えられた書き込まれた内容を表す手書きデータを受信することに基づいて注釈を表示するための、およびプロセッサに関連付けられた記憶領域内のキーワードの関連付けに基づいて注釈を判断するためのプロセッサに関連付けられた記憶領域を含む、例示的なコンピューティングデバイスのブロック図。 [0006]書込み面上で与えられた書き込まれた内容を表す手書きデータを受信し、書込み面上の書き込まれた内容の一部分の位置に空間的に関係する位置において注釈を表示するためのコンピューティングデバイスであって、超音波三角測量、無線周波数三角測量、赤外線三角測量、および赤外線ドットのうちの少なくとも１つを使用して手書きデータを受信する、コンピューティングデバイスのブロック図。 [0007]書込み面上で与えられた手書きデータを受信し、分析するためにその手書きをデジタルデータに変換し、注釈を表示するためにコンピューティングデバイス上で実行される例示的な方法のフローチャート。

[0008]コンピューティングデバイスのディスプレイ上でユーザの手書きに対応するフィードバックを与えることによって、ユーザは、教育的および報知的エクスペリエンスを有し得る。１つのソリューションは、スタイラスなど、コンピューティングデバイスに依存する筆記用具とともにディスプレイを利用してユーザにフィードバックを与えることである。コンピューティングデバイスは、ディスプレイのスクリーン上でのユーザからの書込みを受信し、スクリーン上での表示のためにこのオンスクリーン書込みをデジタル化する。しかしながら、このソリューションは、ユーザがディスプレイからオフスクリーンで手書きすることを可能にしない。

[0009]別のソリューションでは、電子筆記用具が、ユーザの手書きをオフスクリーンで記録し、それに応答して、コンピューティングデバイスが、その手書きをテキストに変換し、変換されたテキストとともに文法またはスペルの訂正を表示する。このソリューションでは、ユーザは、オフスクリーン書込み面上の書込みのその部分に関するフィードバックを閲覧することが可能でなく、さらに、ユーザが同じ誤りを犯すことが助長されることがある。さらに、これらのソリューションは、文脈上の用法において単語をさらに理解するために使用され得る明示的補助フィードバックを与えない。たとえば、フィードバックは、つづりを間違えた単語に下線を引くことを含むことがあるが、その単語の意味をユーザに知らせないことがある。これは、これらのタイプのソリューションを使用する際にユーザが得る知識のタイプを限定する。

[0010]これらの問題に対処するために、本明細書で開示する例示的な実施形態は、電子筆記用具から手書きデータを受信するためのプロセッサをもつコンピューティングデバイスを提供する。手書きデータはコンピューティングデバイスのディスプレイからオフスクリーンの書込み面上で与えられ、ユーザがディスプレイからオフスクリーンで書き込むことが可能になる。ユーザが手書きデータをオフスクリーンで与えることを可能にすることにより、コンピューティングデバイスは、書込み面上で与えられた書き込まれた内容を表す、電子筆記用具のロケーションと移動とを追跡することが可能になる。これは、さらに、電子用具がコンピューティングデバイスにワイヤレス接続されることを可能にする。

[0011]さらに、プロセッサは、書き込まれた内容（すなわち、ユーザの書込み）の一部分に対応する注釈（すなわち、フィードバック）を判断するために手書きデータを分析する。さらに、コンピューティングデバイス上のディスプレイは、書込み面上の書き込まれた内容の上記部分の位置に空間的に関係するディスプレイ上の位置において注釈をレンダリングする。書込み面上の書き込まれた内容の上記部分の位置に空間的に関係する注釈という条件で、ユーザは、書き込まれた内容の上記部分に対応するフィードバックを即時に閲覧し得る。これは、ユーザが将来の誤りを防ぐためにその手書きにおける何らかの誤りを閲覧することを可能にし、また、ユーザの手書きに有用な文脈を与える。たとえば、ユーザは、ユーザの手書き中に頭字語から単語まで含め得、したがって、コンピューティングデバイスは、ユーザがその単語に関して一層学習することまたはその頭字語の正しい用法を確認することを助けるために、その単語の完全な定義の注釈を表示し得る。さらに、コンピューティングデバイスのユーザにディスプレイ上でフィードバックをレンダリングすることによって、コンピューティングデバイスは、手書きされた内容を分析し、ユーザの手書きの文脈をどのように改善すべきかの提案を用いてフォローアップする。

[0012]別の実施形態では、コンピューティングデバイスは、書込み面のサイズを判断することと、そのサイズをコンピューティングデバイスのサイズに対応するように変換することとによって、書込み面上のある位置に対して注釈を調整し得る。これにより、そのデバイスは、ディスプレイと書込み面との間の異なるサイズにもかかわらず、書き込まれた内容の上記部分に空間的に関係するディスプレイ上の注釈をレンダリングすることが可能になる。たとえば、コンピューティングデバイス上のディスプレイはセルフォンスクリーンを含み得、したがって、これは書込み面よりもサイズがはるかに小さいことがある。

[0013]さらなる実施形態では、コンピューティングデバイスは、手書きデータなしに注釈をレンダリングする。この実施形態では、コンピューティングデバイスは、書込み面上で与えられた書き込まれた内容なしにディスプレイ上の注釈を与える。この実施形態は、ユーザの手書きに関する訂正および支援のために、ある種の忠告をユーザに与える。さらに、これは、ユーザが、ディスプレイ上の書き込まれた内容の全コピーで気を散らされるのではなくフィードバックに直接集中することをも可能にする。

[0014]しかも、さらなる実施形態では、注釈は、ウェブ検索を実行するためのトリガ、アプリケーションを開くためのトリガ、リンク、単語の定義、および単語の訂正のうちの少なくとも１つを含み得る。この実施形態では、コンピューティングデバイスのディスプレイ上でレンダリングされた注釈は、ユーザがユーザの書込みを理解し、改善することを助けるためのパーソナルアシスタントとして動作する。さらに、注釈はユーザのニーズを予期し得る。たとえば、ユーザは、単語に関して一層知ることを望み得、したがって、リンクを与えることによって、デバイスは、ユーザが自分で単語検索を実行するステップをスキップすることを可能にする。

[0015]要約すれば、本明細書で開示する例示的な実施形態は、書込み面上の書き込まれた内容の上記部分の位置に空間的に関係する位置において注釈をレンダリングすることによって、より有益な教育的および報知的エクスペリエンスをユーザに提供する。注釈は、ユーザの書込みを改善し、理解するために、ユーザに明示的方法でフィードバックを与える。さらに、例示的な実施形態は、ユーザが、ディスプレイからオフスクリーンで書込みを行うことを可能にし、ユーザが、常時ワイヤード接続の制約なしにフリーハンドでユーザの書込みを行うことを可能にする。

[0016]次に図面を参照すると、図１は、書込み面１０６上で与えられた書き込まれた内容の部分１０８ａ、１０８ｂ、および１０８ｃの位置に空間的に関係する位置において注釈１１０ａ、１１０ｂ、および１１０ｃをレンダリングするディスプレイ１０４を含む例示的なコンピューティングデバイス１０２のブロック図である。コンピューティングデバイス１０２の実施形態は、クライアントデバイス、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップ、モバイルデバイス、タブレット、または注釈１１０ａ〜１１０ｃをレンダリングするためのディスプレイ１０４を含むのに好適な他のコンピューティングデバイスを含む。

[0017]ディスプレイ１０４は、注釈１１０ａ〜１１０ｅをレンダリングするためにコンピューティングデバイス１０２に関連付けられたディスプレイである。ディスプレイ１０４は、注釈１１０ａ〜１１０ｃを含む、コンテンツをユーザに出力するための回路およびスクリーンを含む。ディスプレイ１０４の実施形態は、コンピューティングスクリーン、コンピューティングモニタ、パネル、プラズマスクリーン、液晶ディスプレイ（ＬＣＤ）、薄膜、投影、または注釈１１０ａ〜１１０ｃをレンダリングすることが可能な他のディスプレイ技術を含む。

[0018]注釈１１０ａ〜１１０ｃは、ユーザに与えられたフィードバックと見なされ、書込み面１０６上の書き込まれた内容の部分１０８ａ〜１０８ｃの位置に空間的に関係するディスプレイ１２０上の位置においてレンダリングされる。図１は、注釈１１０ａ〜１１０ｃをレンダリングするものとしてディスプレイ１０４を示しているが、ディスプレイ１０４が任意の数の注釈を出力し得るので、実施形態はこの例に限定されるべきではない。一実施形態では、注釈１１０ａ〜１１０ｃは、ウェブ検索を実行するためのトリガ１１０ｂ、アプリケーションを開くためのトリガ１１０ｃ、リンク１１０ｃ、単語の定義１１０ｂ、および単語の訂正１１０ａのうちの少なくとも１つを含み得る。さらなる実施形態では、注釈１１０ａ〜１１０ｃは、書き込まれた内容１０８ａ〜１０８ｃを表す手書きデータなしに表示される。たとえば、この実施形態では、書込み面１０６の上部の挨拶は、対応する注釈がないので、ディスプレイ１０４上で含まれない。この点について、注釈１１０ａ〜１１０ｃは手書きデータなしにレンダリングされ、したがって、コンピューティングデバイス１０２のユーザは、ユーザの書込みを改善し、理解することに集中することが可能になる。さらに、注釈１１０ａ〜１１０ｃは、それぞれ、書き込まれた内容の部分１０８ａ〜１０８ｃの各々に対応する。たとえば、ディスプレイ１０４の上部の近くの注釈１１０ａは、同じく書込み面１０６の上部の近くの書き込まれた内容の部分１０８ａの位置に対応する。

[0019]書込み面１０６は、コンピューティングデバイス１０２のディスプレイ１０４からオフスクリーンのエリアであり、そこで、コンピューティングデバイス１０２のユーザは、書き込まれた内容の部分１０８ａ〜１０８ｃを手書きし得る。書込み面１０６は、ユーザが電子筆記用具を用いて書き込まれた内容１０８ａ〜１０８ｃを記すために利用し得る面を指す。したがって、書込み面は、たとえば、ノートブック、紙、またはユーザがそれの上に物理的に書き込む別の材料であり得る。代替的に、書込み面１０６は、テーブルの表面など、ユーザが書込みをシミュレートすることを可能にするのに好適な何らかの平坦面であり得る。

[0020]書込み面１０６上の書き込まれた内容の部分１０８ａ〜１０８ｃは、書込み面１０６上で与えられたユーザの書込みと見なされる。詳細には、ユーザは、書き込まれた内容の部分１０８ａ〜１０８ｃの各々を作成するために電子筆記用具を利用し得る。さらに、書き込まれた内容の部分１０８ａ〜１０８ｃを表す手書きデータがコンピューティングデバイス１０２によって受信される。これについて後の図において詳細に説明する。書き込まれた内容の部分１０８ａ〜１０８ｃは、１０８ａなどの書き込まれた内容の単一の部分、１０８ａ〜１０８ｃの組合せを含み得、または、それは、図１に示されていない書き込まれた内容の追加の部分を含み得る。書き込まれた内容の部分１０８ａ〜１０８ｃは、書込み面２０６上の任意のエリア内に位置し得る。たとえば、書き込まれた内容の部分１０８ａは、右上コーナーまたは左下コーナーなどに位置し得る。

[0021]手書きされた内容の部分１０８ａ〜１０８ｃは、ディスプレイ１０４上の注釈１１０ａ〜１１０の各々の位置に対応し、その位置に空間的に関係する。空間的に関係するとは、ディスプレイ１０２上の注釈１１０ａ〜１１０ｃの各々の位置と、書込み面１０８上の書き込まれた内容の対応する部分１０８ａ〜１０８ｃの位置との間の表示関係を指す。詳細には、その空間関係は、書き込まれた内容の部分１０８ａ〜１０８ｃの各々の位置に関してディスプレイ１０４上の注釈１１０ａ〜１１０ｃをどのようにレンダリングすべきかを指定する。たとえば、書き込まれた内容の部分１０８ａは、ステファン（Stefan）が元気であるかを質問し、書込み面１０６の上部の近くの位置において書き込まれる。その結果、書き込まれた内容の部分１０８ａの文法を訂正する注釈１１０ａは、ディスプレイ１０４の上部の近くの位置において表示され、したがって書き込まれた内容の部分１０８ａの位置に空間的に関係する。別の例では、単語ＲＦＩＤについて説明し、この単語の定義へのリンクを含む注釈１１０ｂは、ディスプレイ１０４の中間の近くにある。したがって注釈１１０ｂは、書き込まれた内容の部分１０８ｂの位置に空間的に関係する位置において表示される。さらに、注釈１１０ｃに対応する書き込まれた内容の部分１０８ｃは、書込み面１０６の下部に向かう位置において、ユーザがオフィスを訪問する時間について説明する。注釈１１０ｃは、ディスプレイ１０４の下部に向かって注釈１１０ｃの位置を表示することによって、書き込まれた内容のこの部分１０８ｃに空間的に関係する。

[0022]図２は、プロセッサ２１６とディスプレイ２０４とを含む例示的なコンピューティングデバイス２０２のブロック図である。コンピューティングデバイス２０２は、注釈２１０を判断するためにモジュール２１８において分析するために電子筆記用具２１２から書き込まれた内容２０８を表す手書きデータ２１４を受信する。注釈２１０は、書込み面２０６上の書き込まれた内容の一部分２０８の位置に空間的に関係する位置においてディスプレイ２０４上でレンダリングされる。コンピューティングデバイス２０２は、構造および機能が図１のコンピューティングデバイス１０２と同様であり得る。

[0023]書込み面２０６は、コンピューティングデバイス２０２のディスプレイ２０４からオフスクリーンの面であり、電子筆記用具２１２が書き込まれた内容２０８を作成するために使用される。書込み面２０６は、構造および機能が図１の書込み面１０６と同様であり得る。

[0024]書き込まれた内容２０８は、電子筆記用具２１２を用いて書込み面２０６上で与えられる。書き込まれた内容２０８は、筆記用具２１２を使用してユーザによって与えられた書き込まれた内容の部分を含む。書き込まれた内容２０８は、書込み面２０６上で、ディスプレイ２０４からオフスクリーンで生成される。したがって、ユーザは、書き込まれた内容２０８を作成するために書込み面に接触するために電子筆記用具２１２を利用し得る。たとえば、図示のように、ユーザは、ステファンに宛てられたメモを作成するために電子筆記用具２１２を利用し得る。

[0025]電子筆記用具２１２は、書込み面２０６上の書き込まれた内容２０８を生成するためにユーザによって利用される電子デバイスである。さらに、電子筆記用具２１２は、ワイヤレスにまたはケーブルなどのワイヤード接続を介して、コンピューティングデバイス２０８に手書きデータ２１４を送信する。電子筆記用具２１２は、書込み面２０６上の電子筆記用具２１２の先端のロケーションと移動とを示す信号をコンピューティングデバイス２０２に送信するための回路および／または内部電子的構成要素を含み得る。たとえば、電子筆記用具２１２は、コンピューティングデバイス２０２によって検出可能な超音波信号を放出するためのスピーカーを含み得る。別の例では、電子筆記用具２１２は、コンピューティングデバイス２０２に信号を送信するための無線周波数（ＲＦ）エミッタおよび／または赤外線（ＩＲ）エミッタを含み得る。電子筆記用具２１２の実施形態は、デジタルペン、デジタルペンシル、スタイラス、電子筆記器具、または書込み面２０６上の書き込まれた内容２０８を作成することと、コンピューティングデバイス２０２に手書きデータ２１４を送信することとが可能な他の電子筆記用具２１２を含む。

[0026]手書きデータ２１４は、書込み面２０６上で与えられた書き込まれた内容２０８を表し、電子筆記用具２１２からコンピューティングデバイス２０２に送信される。詳細には、手書きデータ２１４は、電子筆記用具２１２の先端が書込み面２０６に接触しているときの座標を含み得る。書込み面２０６に接触している電子筆記用具２１２の先端のロケーションと移動とを含む、これらの座標を受信することによって、コンピューティングデバイス２０２は、モジュール２１８において分析するためにそれらの座標を書き込まれた内容２０８またはデジタルテキストに変換する。それらの座標は、コンピューティングデバイス２０２のディスプレイ２０４からオフスクリーンである、書込み面２０６上の書き込まれた内容２０８を表す。一実施形態では、電子筆記用具２１２は、手書きデータ２１４をプロセッサ２１６に送信し、これは、三角測量および／または三辺測量のうちの少なくとも１つを実行することを含む。この実施形態では、プロセッサ２１６は、電子筆記用具２１２の先端のロケーションとすでに知られている基準点との間の角度および／または距離を測定することによって、そのロケーションを判断する。別の実施形態では、電子筆記用具２１２は、超音波三角測量、無線周波数（ＲＦ）三角測量、赤外線（ＩＲ）三角測量、および赤外線（ＩＲ）ドットのうちの少なくとも１つを実行することによって、プロセッサ２１６に手書きデータ２１４を送信する。この実施形態について図４においてより詳細に説明する。

[0027]プロセッサ２１６は、ディスプレイ２０４上でレンダリングすべき注釈２１０を判断するためにモジュール２１８において分析するために電子筆記用具２１２から手書きデータ２１４を受信する。一実施形態では、プロセッサ２１６は、手書きデータ２１４の座標を受信し、モジュール２１８において分析するためにその座標をデジタルテキストに変換する。プロセッサ２１６の実施形態は、マイクロチップ、チップセット、電子回路、マイクロプロセッサ、半導体、マイクロコントローラ、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、視覚処理ユニット（ＶＰＵ）、またはモジュール２１８において分析するために手書きデータ２１４を受信することが可能な他のプログラマブルデバイスを含む。

[0028]モジュール２１８は、注釈２１０を判断するために電子筆記用具２１２から受信された手書きデータ２１４を分析する。一実施形態では、モジュール２１８は、分析するために手書きデータ２１４をデジタルデータに変換することを含む。モジュール２１８の別の実施形態では、手書きデータは、書込み面２０６上の電子筆記用具２１２のロケーションと移動との座標を含む。この実施形態では、モジュール２１８は、これらの座標をテキストに変換することを含む。モジュール２１８の実施形態は、電子筆記用具２１２によって送信された手書きデータを分析するためにプロセッサ２１６によって実行可能な命令のセットを含む。別の実施形態では、モジュール２１８は、書き込まれた内容のその部分２０８に関連する注釈２１０を判断するために手書きデータの文脈を分析する。さらなる実施形態では、モジュール２１８は、キーワードについて手書きデータを分析することによって注釈を判断する。その場合、キーワードを認識すると、プロセッサは、そのキーワードに注釈２１０を関連付ける記憶領域から注釈２１０を取得し得る。この実施形態について図３においてより詳細に説明する。

[0029]注釈２１０は、書き込まれた内容の部分２０８の位置に空間的に関係する位置においてディスプレイ２０４上でレンダリングされる。たとえば、書き込まれた内容の一部分２０８が右下コーナーに位置し得、したがって、対応する注釈２１０は、ディスプレイ２０４上の右下コーナーに向かう位置においてレンダリングされるであろう。一実施形態では、コンピューティングデバイス２０２上のディスプレイ２０４は、書き込まれた内容２０８を表す手書きデータ２１４が書込み面２０６上で与えられるとき、注釈２１０をリアルタイムでレンダリングする。この実施形態では、コンピューティングデバイス２０２は、ユーザが書き込まれた内容２０８を生成している間、即時のフィードバック（すなわち、注釈）をレンダリングする。注釈２１０は、構造および機能が図１に記載の注釈１１０ａ〜１１０ｃと同様であり得る。

[0030]コンピューティングデバイス２０２の構成要素のうちの１つとして含まれるディスプレイ２０４は、コンピューティングデバイス２０２のユーザに注釈２１０をレンダリングする。ディスプレイ２０４は、機能および構造が図１に記載のディスプレイ１０４と同様であり得る。

[0031]図３は、キーワード３２２を認識することに基づいてディスプレイ３０４上でレンダリングすべき注釈３１０を識別するために記憶領域３２０に関連付けられたプロセッサ３１６を含む例示的なコンピューティングデバイス３０２のブロック図である。さらに、プロセッサ３１６は、モジュール３１８において電子筆記用具３１２から受信された手書きデータを分析することによってキーワード３２２を認識する。さらに、電子筆記用具３１２は、ディスプレイ３０４からオフスクリーンの書込み面３０６上の書き込まれた内容３０８を表す手書きデータ３１４を送信する。コンピューティングデバイス３０２は、構造および機能が、それぞれ図１および図２中のコンピューティングデバイス１０２および２０２と同様であり得る。

[0032]書込み面３０６は、電子筆記用具３１２の先端が書込み面３０６に接触しているとき、書き込まれた内容３０８を与える。電子筆記用具３１２は、プロセッサ３１６に手書きデータ３１４を送信する。書込み面３０６および書き込まれた内容３０８は、構造および機能が、それぞれ図１および図２に記載の書込み面１０６および２０６ならびに書き込まれた内容の部分１０８ａ〜１０８ｃおよび書き込まれた内容の部分２０８と同様であり得る。電子筆記用具３１２および手書きデータ３１４は、構造および機能が、図２に記載の電子筆記用具２１２および手書きデータ２１４と同様であり得る。

[0033]プロセッサ３１６は、注釈３１０を判断するためにモジュール３１８において分析するために手書きデータ３１４を受信する。プロセッサ３１６は、構造および機能が図２に記載のプロセッサ２１６と同様であり得る。モジュール３１８は、機能が図２に記載のモジュール２１８と同様であり得る。

[0034]記憶領域３２０は、注釈３１０に関連付けられたキーワード３２２を記憶および／または維持する。より詳細には、プロセッサ３１６は、記憶領域３２０中のキーワード３２２とのテキストの関連付けに基づいて注釈３１０を判断する。プロセッサ３１６は、注釈３１０を取得するために、キーワード３２２をネットワーク上のまたはコンピューティングデバイス３０２上に常駐する記憶領域３２０と通信し得る。たとえば、キーワード「１月」は、プロセッサ３１６がその単語の文脈を分析するようにシグナリングし得る。したがって、プロセッサ３１６は、記憶領域３２０中でキーワード３２２「１月」を探すことによってカレンダーアプリケーションを開くためのトリガを含み得る注釈３１０を取得し得る。記憶領域３２０は、単一の注釈３１０に関連付けられたいくつかのキーワードを含み得る。前の例に合わせて、単語「木曜日」または「午後８時」は日付を示し、したがって、プロセッサ３１６は、カレンダーアプリケーションを開くためのトリガを含み得る注釈３１０を取得するために記憶領域３２０中でこれらの単語を探し得る。記憶領域３２０の実施形態は、ローカルストレージ、ウェブストレージ、メモリ、メモリバッファ、キャッシュ、不揮発性メモリ、揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、ストレージドライブ、コンパクトディスク読取り専用メモリ（ＣＤＲＯＭ）、またはキーワード３２２を注釈３１０に関連付けることが可能な他の物理的記憶デバイスを含む。

[0035]キーワード３２２は、プロセッサ３１６が注釈３１０を取得するために、記憶領域３２０内の注釈３１０に関連付けられる。一実施形態では、キーワード３２２は普遍的または包括的用語を含み得る。たとえば、日付、時間、および／またはスケジュールに関係するキーワードは、カレンダーアプリケーションを開くためのトリガを含むための注釈３１０との関連付けを示す。別の実施形態では、キーワード３２２は、コンピューティングデバイス３０２のユーザにとって個人化された用語であり得る。たとえば、ユーザは、人名を含むためのキーワード３２２を望み得、注釈３１０は、その友人のソーシャルネットワーキングサイトへのリンクを与えるであろう。

[0036]注釈３１０は、プロセッサ３１８によって取得され、書込み面３０６上の書き込まれた内容の部分３０８の位置に空間的に関係するディスプレイ３０４上の位置においてレンダリングされる。注釈３１０は、構造および機能が、それぞれ図１および図２に記載の注釈１１０ａ〜１１０ｃおよび２１０と同様であり得る。

[0037]ディスプレイ３０４は、コンピューティングデバイス３０２のユーザに注釈３１０をレンダリングする。ディスプレイ３０４は、それぞれ図１および図２に記載のディスプレイ１０４および２０４の構造および機能において同様であり得る。

[0038]図４は、手書きデータを受信し、超音波三角測量、無線周波数（ＲＦ）三角測量、赤外線（ＩＲ）三角測量、および赤外線（ＩＲ）ドットのうちの少なくとも１つを実行するための例示的なコンピューティングデバイス４００のブロック図である。さらに、コンピューティングデバイス４００は、注釈を判断するために手書きデータを分析し、ディスプレイ上で注釈をレンダリングする。コンピューティングデバイス４００は、プロセッサ４０２と機械可読記憶媒体４０４とを含むが、それは、当業者に好適であろう他の構成要素をも含み得る。たとえば、コンピューティングデバイス４００は、図３に記載の記憶領域３２０を含み得る。さらに、コンピューティングデバイス４００は、それぞれ図１〜図３に記載のコンピューティングデバイス１０２、２０２、および３０２の構造および機能において同様であり得る。

[0039]プロセッサ４０２は、命令４０６、４０８、４１０、４１２、４１４、４１６、４１８、４２０、および４２２をフェッチし、復号し、実行し得る。プロセッサ４０２は、機能および構造が、それぞれ図１および図２に記載のプロセッサ２１６および３１６と同様であり得る。詳細には、プロセッサ４０２は、手書きデータを受信するための命令４０６を実行し、さらに、超音波三角測量命令４０８、無線周波数（ＲＦ）三角測量命令４１０、赤外線（ＩＲ）三角測量命令４１２、および赤外線（ＩＲ）ドット命令４１４のうちの少なくとも１つを実行する。プロセッサ４０２はまた、注釈を判断するために手書きデータを分析する命令４１６、その手書きをデジタルデータに変換する命令４１８、書込み面をコンピューティングデバイスディスプレイに対応するように調整する命令４２０、およびディスプレイ上で注釈を表示する命令４２２を実行する。

[0040]機械可読記憶媒体４０４は、プロセッサ４０２がフェッチし、復号し、実行するための命令４０６、４０８、４１０、４１２、４１４、４１６、４１８、４２０、および４２２を含み得る。機械可読記憶媒体４０４は、電子、磁気、光の、メモリ、ストレージ、フラッシュドライブ、あるいは実行可能な命令を含んでいるまたは記憶する他の物理デバイスであり得る。したがって、機械可読記憶媒体４０４は、たとえば、ランダムアクセスメモリ（ＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、ストレージドライブ、メモリキャッシュ、ネットワークストレージ、コンパクトディスク読取り専用メモリ（ＣＤＲＯＭ）などを含み得る。したがって、機械可読記憶媒体４０４は、機械可読記憶媒体４０４の命令をフェッチし、復号し、および／または実行するために、独立しておよび／またはプロセッサ４０２とともに利用され得る、アプリケーションおよび／またはファームウェアを含み得る。アプリケーションおよび／またはファームウェアは、機械可読記憶媒体４０４に記憶され、および／またはコンピューティングデバイス４００の別のロケーションに記憶され得る。

[0041]命令４０６は、コンピューティングデバイス４００が電子筆記用具から手書きデータを受信することを含む。手書きデータは、書込み面に接触している間の電子筆記用具２１２の先端のロケーションと移動とを示すための座標を含む。これは、一実施形態では、手書きデータが、書込み面上で与えられた書き込まれた内容を表すことを可能にする。命令４０６は、電子筆記用具の先端の移動とロケーションとを判断するために三角測量および／または三辺測量のうちの少なくとも１つを実行することをさらに含む。別の実施形態では、命令４０６は、命令４０８〜４１４のうちの少なくとも１つを実行するための命令をさらに含む。たとえば、コンピューティングデバイスは、手書きデータを受信し、無線周波数（ＲＦ）三角測量命令４１０を実行し得る。

[0042]命令４０８は、超音波三角測量を実行することを含む。命令４０８のこの実施形態では、電子筆記用具は、超音波信号を放出するスピーカーを含む。コンピューティングデバイス４００は、放出された超音波信号を受信するための、マイクロフォンなどの受信機を含み得る。さらに、コンピューティングデバイス４００は、判断されたエリア（すなわち、書込み面）内の電子筆記用具のロケーションと移動とを判断するために、放出された超音波信号のタイミングおよび／または強度の差を判断し得る。代替として、スピーカーはコンピューティングデバイス４００上にあり、受信機は電子筆記用具上にある。

[0043]命令４１０は、無線周波数（ＲＦ）三角測量を実行することを含む。命令４１０のこの実施形態では、電子筆記用具は、コンピューティングデバイスに無線周波数（ＲＦ）信号を送信するための無線周波数（ＲＦ）エミッタを含む。コンピューティングデバイス４００は、ＲＦ信号を受信するための受信機を含み、書込み面内の電子筆記用具のロケーションと移動とを示すためにタイミング、周波数、および／または強度の差を判断し得る。代替として、エミッタはコンピューティングデバイス４００上にあり、受信機は電子筆記用具上にある。

[0044]命令４１２は、赤外線（ＩＲ）三角測量を実行することを含む。命令４１２のこの実施形態では、電子筆記用具は、赤外線（ＩＲ）信号を放出する赤外線エミッタを含み、コンピューティングデバイス４００は、赤外線（ＩＲ）信号を受信するためのＩＲ検出器を含む。さらに、この実施形態では、コンピューティングデバイス４００は、書込み面内の電子筆記用具の移動とロケーションとをさらに判断するために、ＩＲ信号のタイミング、周波数、および／または強度での差を判断し得る。代替として、エミッタはコンピューティングデバイス４００上にあり、検出器は電子筆記用具上にある。

[0045]命令４１４は、赤外線（ＩＲ）ドットを実行することを含む。命令４１４のこの実施形態では、電子筆記用具は、書込み面上でＩＲドットを検出するカメラを含む。さらにこの実施形態では、ＩＲドットはパターンを作成し得、このパターンは、電子筆記用具がコンピューティングデバイス４００に対する電子筆記用具の位置を判断するために使用される。

[0046]命令４１６は、注釈を判断するために命令４０６において受信された手書きデータを分析することを含む。一実施形態では、命令４１６は、手書きデータを分析することを含み、手書きデータをデジタルデータに変換するための命令４１８をさらに含む。この実施形態では、手書きデータは座標を含み得、したがって、これらの座標は分析のためにデジタルデータに変換される。

[0047]命令４１８は、手書きデータをデジタルデータに変換することを含む。命令４１８の一実施形態では、電子筆記用具から受信された書き込まれた内容を表す手書きデータは、テキストに変換される座標を含み、そのテキストは、注釈を判断するためにコンピューティングデバイス４００によって分析される。

[0048]命令４２０は、書込み面をコンピューティングデバイス４００に関連付けられたディスプレイに対応するように調整することを含む。さらに、命令４２０は、コンピューティングデバイス４００が書込み面のサイズをコンピューティングデバイス４００上のディスプレイのサイズに対応するように変換することを含む。この実施形態は、書込み面とコンピューティングデバイス４００のディスプレイとが異なるサイズであり、したがって、注釈が、異なるサイズにかかわらず、書き込まれた内容の部分の位置に空間的に関係する位置において表示される、状況を可能にする。一実施形態では、命令４２０は、命令４０６より前にまたはそれと同時に行われ得る。別の実施形態では、命令４２０は、命令４１６および４２０と同時に行われ得る。

[0049]命令４２２は、コンピューティングデバイス４００のディスプレイ上で命令４１６において判断された注釈を表示することを含む。詳細には、注釈は、書き込まれた内容の上記部分の位置に空間的に関係する位置において表示される。

[0050]図５は、手書きデータを受信することと、手書きデータをデジタルデータに変換することと、表示すべき注釈を判断するために手書きデータを分析することとを行うためにコンピューティングデバイス上で実行される例示的な方法のフローチャートである。図５について、図１〜図４に記載のコンピューティングデバイス１０２、２０２、３０２、および４００上で実行されるものとして説明するが、それは、当業者には明らかであるように他の好適な構成要素上でも実行され得る。たとえば、図５は、図４中の機械可読記憶媒体４０４など、機械可読記憶媒体上の実行可能な命令の形態で実装され得る。

[0051]動作５０２において、コンピューティングデバイスは、電子筆記用具から書込み面上で与えられた書き込まれた内容を表す手書きデータを受信する。動作５０２の一実施形態では、コンピューティングデバイスは、書込み面に接触しているときの電子筆記用具の移動とロケーションとを示す座標を含む手書きデータを受信する。それらの座標は、コンピューティングデバイスのディスプレイからオフスクリーンである、書込み面上の書き込まれた内容を表す。動作５０２の別の実施形態では、電子筆記用具は、書き込まれた内容を表すテキストを含む手書きデータを送信する。

[0052]動作５０４において、コンピューティングデバイスは、動作５０２において受信された手書きデータをデジタルデータに変換する。一実施形態では、手書きデータは座標を含み、したがって、コンピューティングデバイスは、それらの座標を、書き込まれた内容を表す、デジタルテキストなどのデジタルデータに変換する。別の実施形態では、コンピューティングデバイスは、書き込まれた内容を表すテキストを受信し、したがってそのテキストをデジタルデータに変換する。

[0053]動作５０６において、コンピューティングデバイスは、書込み面上で与えられた書き込まれた内容の一部分に対応する注釈を判断するために、動作５０４において生成されたデジタルデータを分析する。動作５０６の一実施形態では、コンピューティングデバイスは、キーワードを認識するためにデジタルデータを分析する。この実施形態では、コンピューティングデバイスは、記憶領域内のキーワードの関連付けに基づいて注釈を判断するためにローカル記憶領域またはネットワーク記憶領域と通信し得る。

[0054]動作５０８において、コンピューティングデバイスは、書込み面をコンピューティングデバイス上のディスプレイに対応するように調整する。詳細には、動作５０８において、コンピューティングデバイスは、コンピューティングデバイス上のディスプレイのサイズを書込み面のサイズに対応するように変換する。一実施形態では、動作５０８は、動作５０２において手書きデータを受信するより前に行われる。別の実施形態では、動作５０８は、動作５１０において注釈を表示するより前に行われる。さらなる実施形態では、動作５０８は、動作５０２、５０４、５０６、および５１０と同時に行われ得る。

[0055]動作５１０において、コンピューティングデバイスは、動作５０８において判断された注釈を表示する。さらに、動作５１０において、注釈は、書込み面上の書き込まれた内容の上記部分の位置に空間的に関係する位置においてディスプレイ上でレンダリングされる。

[0056]本明細書で詳細に説明する実施形態は、書込み面上の書き込まれた内容の上記部分の位置に空間的に関係する位置において注釈をレンダリングすることによって、より教育的および報知的エクスペリエンスをユーザに提供する。注釈は、ユーザの書込みを改善し、理解するために、ユーザに明示的方法でフィードバックを与える。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
コンピューティングデバイスのプロセッサによって実行可能な命令で符号化された非一時的機械可読記憶媒体であって、前記記憶媒体は、
電子筆記用具から書込み面上で与えられた書き込まれた内容を表す手書きデータを受信することであって、前記書込み面が前記コンピューティングデバイスのディスプレイからオフスクリーンである、受信することと、
前記書き込まれた内容の一部分に対応する注釈を判断するために前記手書きデータを分析することと、
前記コンピューティングデバイスの前記ディスプレイのある位置において前記注釈を表示することであって、前記注釈の前記位置が、前記書込み面上の前記書き込まれた内容の前記部分の位置に空間的に関係する、表示することと
を行うための命令を備える、非一時的機械可読記憶媒体。
［Ｃ２］
前記書込み面のサイズを判断することと、前記サイズを前記コンピューティングデバイス上の前記ディスプレイのサイズに対応するように変換することとによって、前記書込み面を前記コンピューティングデバイス上の前記ディスプレイに対応するように調整するための命令をさらに備える、Ｃ１に記載の前記命令を含む非一時的機械可読記憶媒体。
［Ｃ３］
分析するための前記命令が、前記手書きデータをデジタルデータに変換するための命令をさらに備える、Ｃ１に記載の非一時的機械可読記憶媒体。
［Ｃ４］
前記手書きデータを受信するための前記命令が、超音波三角測量、無線周波数（ＲＦ）三角測量、赤外線（ＩＲ）三角測量、および赤外線ドットのうちの少なくとも１つを実行するための命令をさらに備える、Ｃ１に記載の非一時的機械可読記憶媒体。
［Ｃ５］
前記注釈が、ウェブ検索を実行するためのトリガ、アプリケーションを開くためのトリガ、リンク、単語の定義、および単語の訂正のうちの少なくとも１つを含む、Ｃ１に記載の非一時的機械可読記憶媒体。
［Ｃ６］
前記コンピューティングデバイス上の前記ディスプレイが、前記手書きデータなしに前記注釈を表示する、Ｃ１に記載の非一時的機械可読記憶媒体。
［Ｃ７］
プロセッサを備えるコンピューティングデバイスであって、前記プロセッサは、
電子筆記用具から書込み面上で与えられた書き込まれた内容を表す手書きデータを受信することであって、前記書込み面が前記コンピューティングデバイスのディスプレイからオフスクリーンである、受信することと、
前記書き込まれた内容の一部分に対応する注釈を判断するために前記手書きデータを分析することと
を行うためのものである、コンピューティングデバイスと、
前記コンピューティングデバイス上のディスプレイであって、前記ディスプレイのある位置において前記注釈をレンダリングするためのものであり、前記注釈の前記位置が、前記書込み面上の書き込まれた内容の前記部分の位置に空間的に関係する、ディスプレイとを備えるコンピューティングシステム。
［Ｃ８］
前記手書きデータを送信するための前記コンピューティングデバイスに関連付けられた電子筆記用具
をさらに備える、Ｃ７に記載のコンピューティングシステム。
［Ｃ９］
前記注釈を判断するために前記手書きデータを分析するために、前記プロセッサが、前記手書きデータ内のキーワードを認識するためのものであり、
前記コンピューティングデバイスが、前記プロセッサに関連付けられた記憶領域をさらに備え、前記プロセッサが、前記記憶領域中の前記キーワードの関連付けに基づいて前記注釈を判断する、
Ｃ７に記載のコンピューティングシステム。
［Ｃ１０］
前記コンピューティングデバイスは、書き込まれた内容を表す前記手書きデータが前記書込み面上で与えられるとき、前記注釈をリアルタイムでレンダリングする、Ｃ７に記載のコンピューティングシステム。
［Ｃ１１］
前記コンピューティングデバイス上の前記ディスプレイが、前記手書きデータなしに前記注釈をレンダリングする、Ｃ７に記載のコンピューティングシステム。
［Ｃ１２］
前記電子筆記用具から前記書込み面上で与えられた書き込まれた内容を表す前記手書きデータを受信するために、三角測量および三辺測量のうちの少なくとも１つを実行するための命令をさらに備える、Ｃ７に記載のコンピューティングシステム。
［Ｃ１３］
コンピューティングデバイスによって実行される方法であって、前記方法は、
電子筆記用具から書込み面上で与えられた書き込まれた内容を表す手書きデータを受信することであって、前記書込み面が前記コンピューティングデバイスのディスプレイからオフスクリーンである、受信することと、
前記手書きデータをデジタルデータに変換することと、
前記書き込まれた内容の一部分に対応する注釈を判断するために前記デジタルデータを分析することと、
前記書込み面のサイズを判断することと、前記サイズを前記コンピューティングデバイス上の前記ディスプレイのサイズに対応するように変換することとによって、前記書込み面を前記コンピューティングデバイス上の前記ディスプレイに対応するように調整することと、
前記コンピューティングデバイスの前記ディスプレイのある位置において前記注釈を表示することであって、前記注釈の前記位置が、前記書込み面上の前記書き込まれた内容の前記部分の位置に空間的に関係する、表示することと
を備える、方法。
［Ｃ１４］
前記書込み面上で与えられた書き込まれた内容を表す前記手書きデータを受信するために、超音波三角測量、無線周波数（ＲＦ）三角測量、赤外線（ＩＲ）三角測量、および赤外線ドットのうちの少なくとも１つを実行することをさらに備える、Ｃ１３に記載の方法。
［Ｃ１５］
前記注釈が、ウェブ検索を実行するためのトリガ、アプリケーションを開くためのトリガ、リンク、単語の定義、および単語の訂正のうちの少なくとも１つを含む、Ｃ１３に記載の方法。

Claims (12)

1. コンピューティングシステムであって、
   電子筆記用具から書込み面上で与えられた書き込まれた内容を表す手書きデータを受信することであって、前記書込み面がコンピューティングデバイスのディスプレイからオフスクリーンである、受信することと、
   前記書き込まれた内容の一部分に対応する注釈を判断するために前記手書きデータを分析すること
   を行うためのプロセッサと、
   前記ディスプレイのある位置において前記注釈をレンダリングするための前記コンピューティングデバイス上のディスプレイであって、前記注釈の前記位置が、前記書込み面上の書き込まれた内容の前記部分の位置に空間的に関係する、ディスプレイと
   を備えるコンピューティングデバイスを備え、
   前記注釈は、前記書き込まれた内容を改善するために情報のフィードバックを与え、
   前記注釈は、ウェブ検索を実行するためのトリガ、前記書き込まれた内容の前記部分に対応するアプリケーションを開くためのトリガ、または単語の定義、のうちの少なくとも１つを含む、コンピューティングシステム。
2. 前記注釈を判断するために前記手書きデータを分析するために、前記プロセッサが、前記手書きデータ内のキーワードを認識するためのものであり、
   前記コンピューティングデバイスが、前記プロセッサに関連付けられた記憶領域をさらに備え、前記プロセッサが、前記記憶領域中の前記キーワードの関連付けに基づいて前記注釈を判断する、請求項１に記載のコンピューティングシステム。
3. 前記コンピューティングデバイスは、書き込まれた内容を表す前記手書きデータが前記書込み面上で与えられるとき、前記注釈をリアルタイムでレンダリングする、請求項１に記載のコンピューティングシステム。
4. 前記コンピューティングデバイスの前記ディスプレイが、注釈なしの手書きデータのためには、手書きデータをレンダリングしない、請求項１に記載のコンピューティングシステム。
5. 前記電子筆記用具から前記書込み面上で与えられた書き込まれた内容を表す前記手書きデータを受信することは、三角測量および三辺測量のうちの少なくとも１つを実行するための命令をさらに備える、請求項１に記載のコンピューティングシステム。
6. コンピューティングデバイスによって実行される方法であって、
   電子筆記用具から書込み面上で与えられた書き込まれた内容を表す手書きデータを受信することであって、前記書込み面が前記コンピューティングデバイスのディスプレイからオフスクリーンである、受信することと、
   前記手書きデータをデジタルデータに変換することと、
   前記書き込まれた内容の一部分に対応する注釈を判断するために前記デジタルデータを分析することと、
   前記書込み面のサイズを判断することと前記サイズを前記コンピューティングデバイス上の前記ディスプレイのサイズに対応するように変換することとによって、前記書込み面を前記コンピューティングデバイス上の前記ディスプレイに対応するように調整することと、
   前記コンピューティングデバイスの前記ディスプレイのある位置において前記注釈を表示することであって、前記注釈の前記位置が、前記書込み面上の前記書き込まれた内容の前記部分の位置に空間的に関係する、表示することと
   を備え、
   前記注釈は、前記書き込まれた内容を改善するために情報のフィードバックを与え、
   前記注釈は、ウェブ検索を実行するためのトリガ、前記書き込まれた内容の前記部分に対応するアプリケーションを開くためのトリガ、または単語の定義、のうちの少なくとも１つを含む、方法。
7. 前記書込み面上で与えられた書き込まれた内容を表す前記手書きデータを受信することは、超音波三角測量、無線周波数（ＲＦ）三角測量、赤外線（ＩＲ）三角測量、および赤外線ドットのうちの少なくとも１つを実行することをさらに備える、請求項６に記載の方法。
8. コンピューティングデバイスのプロセッサによって実行可能な命令を用いて符号化された、非一時的な機械可読記憶媒体であって、
   電子筆記用具から書込み面上で与えられた書き込まれた内容を表す手書きデータを受信することであって、前記書込み面が前記コンピューティングデバイスのディスプレイからオフスクリーンである、受信することと、
   前記書き込まれた内容の一部分に対応する注釈を判断するために前記手書きデータを分析することと、
   前記コンピューティングデバイスの前記ディスプレイのある位置において前記注釈を表示することであって、前記注釈の前記位置が、前記書込み面上の前記書き込まれた内容の前記部分の位置に空間的に関係する、表示することと
   を行うための命令を備え、
   前記注釈は、前記書き込まれた内容を改善するために情報のフィードバックを与え、
   前記注釈は、ウェブ検索を実行するためのトリガ、前記書き込まれた内容の前記部分に対応するアプリケーションを開くためのトリガ、または単語の定義、のうちの少なくとも１つを含む、非一時的な機械可読記憶媒体。
9. 前記書込み面のサイズを判断することと、前記サイズを前記コンピューティングデバイス上の前記ディスプレイのサイズに対応するように変換することとによって、前記書込み面を前記コンピューティングデバイス上の前記ディスプレイに対応するように調整するための命令をさらに備える、請求項８に記載の命令を含む非一時的な機械可読記憶媒体。
10. 分析するための前記命令が、前記手書きデータをデジタルデータに変換するための命令をさらに備える、請求項８に記載の非一時的な機械可読記憶媒体。
11. 前記手書きデータを受信するための前記命令が、超音波三角測量、無線周波数（ＲＦ）三角測量、赤外線（ＩＲ）三角測量、および赤外線ドットのうちの少なくとも１つ実行するための命令をさらに備える、請求項８に記載の非一時的な機械可読記憶媒体。
12. 前記コンピューティングデバイス上の前記ディスプレイが、注釈なしの手書きデータのためには、手書きデータをレンダリングしない、請求項８に記載の非一時的な機械可読記憶媒体。

Images