[go: up one dir, main page]

JP5451599B2 - マルチモーダルスマートペンのコンピューティングシステム - Google Patents

マルチモーダルスマートペンのコンピューティングシステム Download PDF

Info

Publication number
JP5451599B2
JP5451599B2 JP2010510492A JP2010510492A JP5451599B2 JP 5451599 B2 JP5451599 B2 JP 5451599B2 JP 2010510492 A JP2010510492 A JP 2010510492A JP 2010510492 A JP2010510492 A JP 2010510492A JP 5451599 B2 JP5451599 B2 JP 5451599B2
Authority
JP
Japan
Prior art keywords
data
user
smart pen
audio
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010510492A
Other languages
English (en)
Other versions
JP2010529539A (ja
Inventor
アンディ バン シャアク
マーグラフ ジム
Original Assignee
ライブスクライブ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ライブスクライブ インコーポレイテッド filed Critical ライブスクライブ インコーポレイテッド
Publication of JP2010529539A publication Critical patent/JP2010529539A/ja
Application granted granted Critical
Publication of JP5451599B2 publication Critical patent/JP5451599B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本出願は、２００７年５月２９日に出願された米国仮特許出願第60/940,665号の利益を主張するものである。
本発明は、一般的には、ペンベースのコンピューティングシステムに関し、さらに具体的には、ペンベースのマルチモーダルコンピューティングシステムに関する。
マルチモーダルシステムは、読む、書く、話す、聴くといったヒューマン入力と出力の基本的モードと係わりをもち、これらを機能強化している。広範囲にわたるマルチモーダルシステムは、ヒューマンコミュニケーション、学習、思想、問題解決、リコール(recall)、パーソナル生産性、エンターテインメント、コマースなどを機能強化している。ヒューマン入力と出力を結合し、シーケンス化し、および変換するモードは、コミュニケーション、学習、思想、問題解決、リコール、パーソナル生産性、エンターテインメント、コマース、などにおけるタスクおよびアクティビティを実質的に容易化し、向上することを可能にしている。
しかし、混成モーダリティ(mixed modalities)をサポートする既存システムは、スクリーンをベースとし、高価および大規模で、ポータビリティが制限されているのが代表的であり、非直観的(non-intuitive)であることがしばしばである。このようなシステムの例としては、パーソナルコンピュータ（ＰＣ）、パーソナルデジタルアシスタント（ＰＤＡ）、その他にスクリーンをベースとする専用デバイスがある。従来のマルチモーダルシステムは、ビジュアルフィードバック(visual feedback)のためにシングルディスプレイに制約されているのが代表的である。例えば、ＰＣベースのシステムでは、ディスプレイは大きく、大量の電力を消費しているのが通常である。セルフォンとＰＤＡシステムでは、スクリーンは比較的小さいが、得られるビジュアル情報は限られている。書き込まれた入力をマルチモーダルディスプレイに行なう方法も非常に制限されている。例えば、標準のＰＣでは、個別の書き込み入力デバイスが必要であり、タブレットＰＣではガラス片に書くことが必要で、高価であり、セルフォンとＰＤＡではまだ応答性が十分でなく、および／または書き込みスペースが限られている。さらに、スクリーンベースのデバイスと共に使用される筆記具(writing utensil)は、スクリーンベースのデバイス上でポインティングを行い、書くことだけに制限されているのが代表的である。このようなディスプレイとペーパの両方に書き込みを行なう目的が相互に矛盾しているような珍しいケースでは、デバイスがペーパ上に書くために使用されるとき、このデバイスはインテリジェンスに欠け、インクの跡をペーパ上に残すだけである。
マルチモーダルシステムは、モーダリティのサブセット（例えば、読む、書く、話す、および聴く、のすべてではなく、その一部）と共に使用されることを主目的とした汎用コンピューティングシステムまたはコミュニケーションツール上に作られているのが代表的である。ＰＣは、書き込まれた入力を主な用途として受け入れる設計になっていない。最もよくあることであるが、書き込みによる入力でなく、キーによる入力が使用されている。小型セルフォンやＰＤＡスクリーン上に書き込みを行なうことは非常に制約されており、オーディオキャプチャ(audio capture)ハードウェアおよびソフトウェアは、システムの設計にシームレスに組み込まれていないことがしばしばである。ヒューマンコミュニケーションの４つの基本モードである、読む、書く、話す、聴く、をサポートし、機能強化しているデバイスも、スタイラスがスクリーン面上を移動するとき、デジタルインクを作成するためのスクリーンを必要としているのが代表的である。これらのデバイスは事前印刷のペーパドキュメントとやりとりすることも、新規に手書きしたペーパドキュメントを作成し、それとやりとりすることも可能になっていない。
米国特許第7,175,095号明細書
従って、ヒューマンコミュニケーション、読む、書く、話すおよび聴く、といった複数の入力モードと出力モードを、直観的およびより効果的な方法で使用し、機能強化すると共に、前記モーダリティを機能強化することを明示的に目的とした設計から利点が得られるようなコンピューティングプラットフォームが要望されている。プラットフォーム側から見たとき、このプラットフォームは、１）自立型(self-contained)ディスプレイから情報を表示し、および／または他のどこかに表示された情報（ペーパ、プラスティック、アクティブディスプレイ、エレクトロニックペーパ）とやりとりすること、２）ペーパ上にインク、ホワイトボード上にインクといったように、種々のスクリーン上に書き込むことを可能にし、および／またはディスプレイ上を移動することによりアクティブディスプレイとやりとりすること、３）自立型または接続型スピーカからオーディオをプレイすること、４）自立型または接続型マイクロホンを使用してオーディオをキャプチャまたは記録すること、５）読む、書く、話す、聴く、を独立または同時並行のモーダリティとしてサポートし、機能強化すること、および６）独立または同時並行のモーダリティ間の変更をシームレスに行なうこと、を可能にしているはずである。
本発明の実施形態は、ユーザが複数の異なるモーダリティでシステムとやりとりするのを可能にするマルチモーダルスマートペンコンピューティングシステムを提供している。これらのモーダリティは、一般的に、入力（またはコマンドとキャプチャ）モーダリティおよび出力（またはフィードバックとアクセス）モーダリティに類別することができる。スマートペンコンピューティングシステムの入力モーダリティとしては、書き込まれた入力を得るためにペン形状の道具で書くこと、および／またはオーディオ入力をシステムに与えるために話すことまたは他の方法でサウンドを与えること、またはスマートペンを使用して入力をジェスチャ(gesture)すること、などがある。スマートペンコンピューティングシステムの出力モーダリティとしては、システムによっておよび／またはペーパまたはその他のディスプレイ上の外部表示情報を選択するためにスマートペンをポインティングまたはスマートペンとやりとりすることによって表示されたビジュアル情報を読むこと、および／またはシステムによってプレイされたサウンドを聴くこと、などがある。
システムは、同時に書かれたまたは話された情報の形で同時並行入力もサポートしているはずであり、そこでは、２形式の入力のタイミングによって意味のある情報がスマートペンに与えられることがある。システムは、同時に表示された情報およびオーディオ情報の形で同時並行出力をサポートしているはずであり、そこでは、２形式の出力のタイミングによって意味のある情報がユーザに与えられることがある。
スマートペン上のディスプレイの近接性(proximity)とは、ユーザがディスプレイからの読み取り状態と表面上の書き込み状態との間のビジュアル移行にシームレスに関与できるほどにスマートペンの書き込みチップに十分に近づいていて、最小限の目の動きと焦点のシフトでもって、ビジュアル焦点を小さなエリアに保つことである。これは、ユーザがスマートペン上のスクリーンを容易に見てから、表面上の書き込みで応答し、コンテキストを失うことなくユーザの目をスクリーンから表面に、そして逆に容易に移動することをサポートしている。
スピーカ、マイクロホンおよびディスプレイが物理的書き込みチップと共にペン形式ファクタ(pen form factor)で存在し、いずれの入力モードまたは出力モードでも独立にまたは同時並行にアクチベートすることが可能であって、独立または同時並行の入力モードと出力モードの間でシームレスにスイッチングできるソフトウェア、メモリおよびバッテリによって、これらが管理されていることは、完全なマルチモデルの自立型コンピューティングプラットフォームを可能にするのに必要である包括的セットのコンポーネントのサイズ、重さ、能力、ポータビリティおよび使い易さの面で新しいしきい値を表している。
本発明の実施形態によるペンベースのコンピューティングシステムを示す概略図である。 本発明の実施形態によるペンベースのコンピューティングシステムで使用されるスマートペンを示す図である。 本発明の実施形態によるペンベースのコンピューティングシステムにおいて複数のモーダリティを提供するフローチャートを示す図である。
これらの図は、単なる例示を目的とした本発明の種々の実施形態を示している。この分野の精通者ならば以下の説明から容易に認識されるように、本明細書に記載されている本発明の原理から逸脱しない限り、本明細書に例示の構造および方法の代替的実施形態が採用されることもある。
ペンベースのコンピューティングシステムの概要
本発明の実施形態は、ペンベースのコンピューティングシステムの種々の実施形態で実現されることがあり、その一例は図１に示されている。この実施形態では、ペンベースのコンピューティングシステムは書き込み面５０、スマートペン１００、ドッキングステーション１１０、クライアントシステム１２０、ネットワーク１３０、およびＷｅｂサービスシステム１４０を含んでいる。スマートペン１００は、オンボード処理能力を入力／出力機能と共に含み、ペンベースのコンピューティングシステムは、従来のコンピューティングシステムのスクリーンベースのやりとり(screen-based interactions)を、ユーザがそこに書くことができる他の表面に拡張することを可能にしている。例えば、スマートペン１００は、書き込みを電子的に表現したものをキャプチャ(capture)するためだけでなく、書き込み期間中にオーディオを記録するためにも使用されることもある。また、スマートペン１００はビジュアル情報とオーディオ情報をユーザに返すために出力する能力を備えていることもある。種々のアプリケーション用の該当ソフトウェアがスマートペン１００にあれば、ペンベースのコンピューティングシステムは、エレクトロニックペーパを含むエレクトロニックドメインとペーパドメインの両方で、ユーザがソフトウェアプログラムおよびコンピューティングサービスとやりとりするための新規プラットフォームを提供している。
ペンベースのコンピューティングシステムでは、スマートペン１００はコンピューティングシステムのための入出力能力を備え、システムのコンピューティング機能の一部または全部を実行する。従って、スマートペン１００は、複数のモーダリティ(modality)を使用してユーザがペンベースのコンピューティングシステムとやりとりするのを可能にしている。一実施形態では、スマートペン１００は、ユーザの書き込みをキャプチャする、または他方ではオーディオをジェスチャまたは記録する、といった複数のモーダリティを使用して入力をユーザから受信し、ビジュアル情報を表示し、オーディオをプレイし、または他の既存ビジュアル情報をタッピング(tapping)し、トレーシングし、または選択する、といった物理的やりとりに対しコンテキストの中で応答する、といった種々のモーダリティを使用して出力をユーザに提供している。他の実施形態では、スマートペン１００は、動き感知またはジェスチャキャプチャといった追加の入力モーダリティおよび／または振動フィードバックといった追加の出力モーダリティを備えている。
スマートペン１００の特定の実施形態のコンポーネントは図２に示され、以下の説明の中で詳しく説明されている。スマートペン１００は、好ましくは、ほぼペンまたは他の筆記具の形状に似たフォームファクタ(form factor)を有しているが、ペンの他の機能を受け入れるために一般的形状をある種の変形したものが存在することもあれば、対話式マルチモーダルの非筆記具であることもある。例えば、スマートペン１００は、追加コンポーネントを収容できるように標準的ペンよりも若干太いこともあれば、スマートペン１００は、フォームファクタ形状のペンを形成する構造上の特徴のほかに、追加の構造上の特徴（例えば、フラットディスプレイスクリーン）を備えていることもある。さらに、スマートペン１００は、ユーザが入力またはコマンドをスマートペンのコンピューティングシステムに提供するのを可能にするメカニズムを備えていることもあれば、ユーザがスマートペンのコンピューティングシステムから情報を受信し、さもなければ監視するのを可能にするメカニズムを備えていることもある。例えば、ボタン、ロッカパネル(rocker panel)、容量性センサ、ハートセンサ、圧力センサ、寿命測定センサまたはその他のセンシングデバイスを含む種々タイプのスイッチを追加することが可能になっている。
スマートペン１００は、書き込み面５０と併用して動作する設計になっているのでスマートペン１００は書き込み面５０上に行なわれた書き込みをキャプチャすることができる。一実施形態では、書き込み面５０は一枚のペーパ（またはそこに書くことができる他の適当な材料）を含み、スマートペン１００によって読み取り可能なパターンで符号化されている。このような書き込み面５０の例は、Anoto Group AB of Sweden（Waltham, MAの地方支社Anoto, Inc）提供の「ドット対応ペーパ(dot-enabled paper)」と呼ばれるもので、特許文献１に説明されている。なお、この特許文献１は引用により本明細書の一部になっている。このドット対応ペーパ(dot-enabled paper)はペーパ上に符号化されたドットのパターンを有している。このドット対応ペーパと共に働く設計になったスマートペン１００は、イメージングシステムと、符号化されたドットパターンに対するスマートペンの書き込みチップの位置を判断できるプロセッサとを含んでいる。スマートペン１００のこの位置は、事前に定義された「ドットスペース」において座標を使用すると呼ばれることもあり、これらの座標は局所的（つまり、書き込み面５０のページ内のロケーション）であるか、あるいは絶対的（つまり、書き込み面５０の複数ページにまたがるユニークなロケーション）になっている。
他の実施形態では、書き込み面５０は、スマートペン１００がジェスチャおよび他の書き込み入力をキャプチャできるように、符号化ペーパ以外のメカニズムを使用して実現されることもある。例えば、書き込み面は、スマートペン１００によって行なわれた書き込みを感知するタブレットまたは他の電子的媒体を含んでいることがある。別の実施形態では、書き込み面５０はエレクトロニックペーパ、つまり、ｅペーパを含んでいる。この感知は、全体が書き込み面５０によって行なわれることもあれば、全体がスマートペン１００によって行なわれることもあれば、スマートペン１００と関連して行なわれることもある。書き込み面５０の役割が単に受動的であっても（符号化ペーパのケースと同じように）、以上から理解されるように、スマートペン１００の設計は、ペンベースのコンピューティングシステムが設計の対象となっている書き込み面５０のタイプに左右されるのが一般的である。さらに、書き込みコンテンツは書き込み面５０上に機械的に（例えば、スマートペン１００を使用してインクをペーパ上に残しておく）表示されることも、電子的に（例えば、書き込み面５０上に表示される）表示されることも、まったく表示されないこともある（例えば、単にメモリにセーブしておく）。別の実施形態では、スマートペン１００は、スマートペン１００のチップの動きを感知するセンサを備え、書き込み面５０をまったく不要として書き込みジェスチャを感知している。上記テクノロジのいずれも、スマートペン１００に内蔵されたジェスチャキャプチャシステムで使用されることがある。
種々の実施形態において、スマートペン１００は、ペンベースのコンピューティングシステムの種々の有用アプリケーションのために、パーソナルコンピュータのような汎用コンピューティングシステム１２０と通信することができる。例えば、スマートペン１００によってキャプチャされたコンテンツはコンピューティングシステム１２０に転送され、そのシステム１２０によってさらなる使い方がされることがある。例えば、コンピューティングシステム１２０は、スマートペン１００によって取得された情報を、ユーザがストアし、アクセスし、レビューし、削除し、さもなければ管理するのを可能にする管理ソフトウェアを備えていることがある。取得したデータをスマートペン１００からコンピューティングシステム１２０にダウンロードすると、スマートペン１００のリソースが空きになるので追加データの取得が可能になる。逆に、コンテンツはコンピューティングシステム１２０からスマートペン１００に戻されるように転送されることもある。データのほかに、コンピューティングシステム１２０からスマートペン１００に与えられるコンテンツは、スマートペン１００によって実行可能なソフトウェアアプリケーションを含んでいることがある。
スマートペン１００は、いくつかの公知通信メカニズムのいずれかを通してコンピューティングシステム１２０と通信することがあり、その中には、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ、ＲＦ、赤外線、超音波音声などのワイヤード通信とワイヤレス通信が含まれている。一実施形態では、ペンベースのコンピューティングシステムはコンピューティングシステムに結合されたドッキングステーション(docking station)１１０を含んでいる。ドッキングステーション１１０はスマートペン１００を受け入れるように機械的および電気的に構成され、スマートペン１００がドッキングされたとき、ステーションステーション１１０はコンピューティングシステム１２０とスマートペン１００の間で電子的通信を可能にすることがある。ドッキングステーション１１０はスマートペン１１０におけるバッテリを再充電するように電力を供給することもある。
図２は、上述した実施形態のように、ペンベースのコンピューティングシステムで使用されるスマートペン１００の実施形態を示す図である。図２に図示の実施形態では、スマートペン１００はマーカ(marker)２０５、イメージングシステム２１０、ペンダウンセンサ(pen down sensor)２１５、１または２以上のマイクロホン２２０、スピーカ２２５、オーディオジャック２３０、ディスプレイ２３５、Ｉ／Ｏポート２４０、プロセッサ２４５、オンボードメモリ２５０、およびバッテリ２５５を備えている。なお、以上から理解されるように、スマートペン１００では上記コンポーネントのすべてが必要になるわけではなく、これは、スマートペン１００のすべての実施形態のコンポーネントを網羅的にリストしたものでもなく、上記コンポーネントの可能な限りの変形を網羅的にリストしたものでもない。例えば、スマートペン１００は、パワーボタンやオーディオ録音ボタンおよび／またはステータスインジケータライトなどの、ボタンを採用していることもある。さらに、本明細書本文および請求項の中で用いられている「スマートペン」という用語は、明示的に列挙されている特徴を除き、ペンデバイスが特定の実施形態に関して本明細書に記載の、なんらかの特定の特徴または機能を有していることを意味するものではなく、従って、スマートペンは本明細書に記載の機能およびサブシステムのすべてはなく、そのいくつかを組み合わせたものを備えていることがある。
マーカ２０５は、スマートペンがいずれかの適当な表面上に書くための従来の書き込み装置として使用されることを可能にしている。従って、マーカ２０５はいずれかの適当なマーキングメカニズムを含んでいることがあり、その中にはインクベースまたはグラフィックベースのマーキングデバイスまたは書き込みに使用できる他のデバイスが含まれている。一実施形態では、マーカ２０５は交換可能なボールポイントペン要素(ballpoint pen element)を含んでいる。マーカ２０５は、圧力感知要素(pressure sensitive element)のようなペンダウンセンサ２１５に結合されている。以上のように、ペンダウンセンサ２１５はマーカ２０５が表面に対して押されたとき出力を発生し、スマートペン１００が表面上に書くためにいつ使用されるかを知らせている。
イメージングシステム２１０は、マーカ２０５付近の表面のエリアをイメージ化するための十分な光学系(optics)とセンサを備えている。イメージングシステム２１０は、スマートペン１００を使用して行なわれた手書き(handwriting)および／またはジェスチャをキャプチャするために使用されることがある。例えば、イメージングシステム２１０は、マーカ２０５の大体の近くで書き込み面５０を照らす赤外線光源を含んでいることがあり、そこでは書き込み面５０は符号化パターンを含んでいる。符号化パターンのイメージを処理することにより、スマートペン１００は、マーカ２０５と書き込み面５０との相対位置を判断することができる。そのあと、イメージングシステム２１０のイメージングアレイ(imaging array)はマーカ２０５近くの表面をイメージ化し、その視野(field of view)内の符号化パターンの一部をキャプチャする。従って、イメージングシステム２１０は、書き込み入力の受信といったように、少なくとも１つの入力モーダリティを使用して、スマートペン１００がデータを受信することを可能にしている。書き込み面５０の一部を見るための光学系とエレクトロニクスを内蔵したイメージングシステム２１０は、ペンを使用して行なわれた書き込みジェスチャを電子的にキャプチャするためにスマートペン１００に組み込むことができるジェスチャキャプチャシステムの１つのタイプにすぎず、スマートペン１００の他の実施形態では、同一機能を達成するための他の適当な手段が使用されることもある。
一実施形態では、イメージングシステム２１０によってキャプチャされたデータはそのあとで処理され、文字認識といった１または２以上のコンテンツ認識アルゴリズムが受信データに適用されることを可能にしている。別の実施形態では、イメージングシステム２１０は、書き込み面５０上にすでに存在する書き込みコンテンツ（例えば、およびスマートペン１００を使用して書かれていないコンテンツ）をスキャンし、キャプチャするために使用することができる。
イメージングシステム２１０は、さらに、マーカ２０５が書き込面５０にいつ接触するかを判断するためにペンダウンセンサ２１５と併用されることもある。マーカ２０５が表面上を移動すると、イメージングアレイによってキャプチャされたパターンが変化するので、ユーザの書き込みは、スマートペン１００によって判断され、キャプチャされることが可能になる。この手法は、ユーザが書き込み面５０の特定のロケーションでマーカ２０５にいつタップしたか、といったように、ジェスチャをキャプチャするために使用されることもあるので、動きセンサまたはジェスチャキャプチャの別の入力モーダリティを使用したデータキャプチャが可能になる。
スマートペン１００上の別のデータキャプチャデバイスは１または２以上のマイクロホン２２０であり、スマートペン１００が別の入力モーダリティであるオーディオキャプチャを使用してデータを受信することを可能にしている。マイクロホン２２０は、オーディオを記録するために使用されることがあり、オーディオは上述した手書きキャプチャと同期がとられることがある。一実施形態では、１または２以上のマイクロホン２２０はプロセッサ２４５によって、または信号プロセッサ（図示せず）によって実行される信号処理ソフトウェアに結合され、マーカ２０５が書き込み面上を移動したとき発生するノイズまたはスマートペン１００が書き込み面にタッチダウンまたは書き込み面から離れるようにリフトしたとき発生するノイズを除去している。一実施形態では、プロセッサ２４５は、キャプチャされた書き込みデータをキャプチャされたオーディオデータと同期をとっている。例えば、ミーティングにおける会話は、スマートペン１００によって同じくキャプチャされているノートをユーザがとっている間にマイクロホンを使用して記録されることがある。記録されたオーディオとキャプチャされた手書きとの同期にとると、スマートペン１００は、以前にキャプチャされたデータのユーザリクエストに対して統合的レスポンスを与えることができる。例えば、書き込みコマンド、コマンドに対するパラメータ、スマートペン１００によるジェスチャ、話しコマンドまたは書き込みコマンドと話しコマンドの組み合わせ、といったユーザリクエストに応答して、スマートペン１００は、オーディオ出力とビジュアル出力の両方をユーザに提供する。スマートペン１００は、触覚的フィードバック(haptic feedback)をユーザに与えることもある。
スピーカ２２５、オーディオジャック２３０、およびディスプレイ２３５はスマートペン１００のユーザに出力を提供し、データが１または２以上の出力モーダリティを通してユーザに提示されることを可能にしている。オーディオジャック２３０は、スピーカ２２５による場合と異なり、ユーザが自分の周囲のオーディオ出力に惑わされることなくオーディオ出力を聴くことができるように、イヤホンに結合されていることがある。イヤホンは、ユーザが空間的特性(spatial characteristics)で機能強化されたステレオまたは完全三次元オーディオを聴くことを可能にすることもある。従って、スピーカ２２５とオーディオジャック２３０は、スピーカ２２５またはオーディオジャック２３０によってプレイされたオーディオを聴くことにより、ユーザは、第１のタイプの出力モーダリティを使用してスマートペンからデータを受信することを可能にしている。
ディスプレイ２３５は、有機発光ダイオード（ＯＬＥＤ）ディスプレイのように、ビジュアルフィードバックを提供するためのいずれかの適当なディスプレイシステムを備えていることがあり、情報をビジュアルに表示することによって、スマートペン１００が第２の出力モーダリティを使用して出力を提供することを可能にしている。使用中には、スマートペン１００は、オーディオまたはビジュアルフィードバックを伝えるためにこれらの出力コンポーネントのいずれかを使用することがあり、データが複数の出力モーダリティを使用して提供されるのを可能にしている。例えば、スピーカ２２５とオーディオジャック２３０は、スマートペン１００上で稼動しているアプリケーションに従ってオーディオフィードバック（例えば、プロンプト、コマンド、およびシステムステータス）を伝えることがあり、ディスプレイ２３５は、ワードフレーズ(word phrase)、スタティックまたはダイナミックイメージ、またはプロンプトを、上記のようなアプリケーションの指示に従って表示することがある。さらに、スピーカ２２５とオーディオジャック２３０は、マイクロホンを使用して記録されているオーディオデータをプレイバックするために使用されることもある。
入出力（Ｉ／Ｏ）ポート２４０は上述したようにスマートペン１００とコンピューティングシステム１２０の間の通信を可能にしている。一実施形態では、Ｉ／Ｏポート２４０はドッキングステーション１１０上の電気的接点に対応する電気的接点を備え、スマートペン１００がドッキングステーション１１０に置かれたときデータ転送の電気的接続が行なわれる。別の実施形態では、Ｉ／Ｏポート２４０はデータケーブル（例：ミニＵＳＢまたはマクロＵＳＢ）を受け入れるためのジャックを備えているだけである。代替的に、Ｉ／Ｏポート２４０は、スマートペン１００内のワイヤレス通信回路によって置き換えられて、コンピューティングシステム１２０とのワイヤレス通信を可能にしていることがある（Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ、赤外線または超音波により）。
プロセッサ２４５、オンボードメモリ２５０およびバッテリ２５５（または他の適当なパワーソース（電源））は、スマートペン１００上で少なくとも部分的にコンピューティング機能が実行されるのを可能にしている。プロセッサ２４５は上述した入力デバイスと出力デバイスおよびその他のコンポーネントに結合され、スマートペン１００上で実行されるアプリケーションがこれらのコンポーネントを使用するのを可能にしている。一実施形態では、プロセッサ２４５はＡＲＭＰ９プロセッサを備え、オンボードメモリ２５０は少量のランダムアクセスメモリ（ＲＡＭ）および大量のフラッシュメモリまたは他の持続性メモリを備えている。その結果として、実行可能アプリケーションはスマートペン１００にストアして実行させることができ、記録されたオーディオおよび手書きは、無限にストアしておくことも、スマートペン１００からコンピューティングシステム１２０にオフロードされるまでストアしておくこともできる。例えば、スマートペン１００は、文字認識や音声認識のような、１または２以上のコンテンツ認識アルゴリズムをローカルにストアしておくことがあり、スマートペン１００がスマートペン１００によって受信された１または２以上の入力モーダリティから入力をローカルに特定するのを可能にしている。
実施形態では、スマートペン１００は、手書きキャプチャやオーディオキャプチャ、ジェスチャキャプチャといった１または２以上の入力モーダリティ、またはオーディオプレイバックやビジュアルデータのディスプレイといった出力モーダリティをサポートするオペレーティングシステムまたは他のソフトウェアも含んでいる。オペレーティングシステムまたは他のソフトウェアは、入力モーダリティと出力モーダリティの組み合わせをサポートすることがあり、その組み合わせ、順序付け(sequencing)、および入力モーダリティ（例えば、書かれたおよび／または話されたデータを入力としてキャプチャする）と出力モーダリティ（例えば、オーディオまたはビジュアルデータを出力としてユーザに提示する）の間の変換(transition)を管理している。例えば、入力モーダリティと出力モーダリティの間のこの変換は、スマートペン１００によってプレイされたオーディオを聴いている間に、ユーザがペーパまたは別の表面上に同時に書くことを可能することもあれば、ユーザがスマートペン１００で書いている間にも、スマートペン１００が話されたオーディオをユーザからキャプチャすることもある。
実施形態では、オペレーティングシステムとアプリケーションは、独立のおよび／または同時並行の入力モーダリティと出力モーダリティのシーケンスおよびこれらのモーダリティ間のシームレスな変換をサポートし、言語学習(language learning)が得られるようにしている。例えば、モーダリティの独立性、同時実行性および順序付けをサポートするオペレーティングシステム上で実行される言語学習（ＬＬ）アプリケーションは、今日は中国語を書き、読み、話し、および聴くレッスンであるとアナウンスするレッスンを開始することがある。そのあと、スマートペン１００は、標準中国語(Mandarin)文字の作成をアニメ化し、その文字の字画(stroke)を正しい順序でディスプレイ２３５上に描き、その間にその文字の発音をスピーカ２２５から同時にアナウンスすることがある。この場合、オペレーティングシステムは同時ディスプレイとオーディオの同期化配信を可能にすることになる。そのあと、ＬＬアプリケーションは、各字画をアニメ化してディスプレイ２２５から表示したあと、文字の各字画を描くことをユーザにプロンプトで指示するので、スマートペン１００上に表示された情報のビジュアル出力のモーダリティ間の変換が、ユーザによる字画データの入力と共に、同期化された方法で順序付けされる。ユーザが文字作成に慣れてきて、表示される字画よりも先に進んでより早く読むこと、おそらくは書くことを始めると、ＯＳは字画のリアルタイムなキャプチャと解釈を可能にし、正しい表示とオーディオのいずれかで応答して、ユーザがマルチモーダルダイアローグ（会話）に参加できるようにする。ユーザが書くことに慣れたことを示し、スマートペン１００がユーザによってリードされ始めて、字画でリードするのではなく、レスポンスの中で字画を表示すると、スマートペン１００は口頭でユーザに敬意を表し、ユーザが字画を書いている間またはその後で、文字のサウンドを話すように要求することがある。ユーザが文字のサウンドを話すと、スマートペン１００はそのサウンドを記録し、それを例と比較することができる。スマートペン１００は、そのあと、例の発音とユーザの発音をプレイバックしてユーザにプロンプトで指示し、発音の正しさに関して注釈および／またはビジュアルガイダンスを与えることがある。そのあと、スマートペン１００は、ユーザが聴くこと、書くこと、および話すことをプロンプトで指示し、一連のワードを１ワードごとに発音し、ユーザがワードを書き、話すのを待ち、その間に入力されたサウンドと書き込みを例と比較し、ユーザが必要に応じて書くことまたは話すことを繰り返すように再指示することがある。
この例を延長したものにおいて、スマートペン１００は、事前印刷の言語学習(Language Learning)テキストまたはワークブックとやりとりするようにプロンプトでユーザに指示することがある。スマートペン１００は、複数のディスプレイの間でユーザの注目がテキストからワークブックに、つまり、ユーザのノートブックに移動し、その間にスマートペン１００が独立にまたは同時並行に話すこと、および表示することに関係するダイアログ(dialogue)を続け、ユーザが独立にまたは同時並行に情報を話し、書き、および見ることを指示することがある。入力モーダリティと出力モーダリティおよび順序付けは他にも、種々の組み合わせが可能である。
実施形態において、プロセッサ２４５およびオンボードメモリ２５０は、メニュー構造およびファイルシステムまたはアプリケーションメニューを通るナビゲーションをサポートして、可能にする１または２以上の実行可能アプリケーションを含み、アプリケーションの立ち上げ(launch)またはアプリケーションの機能の立ち上げを可能にしている。例えば、メニューアイテム間のナビゲーションはユーザとスマートペン１００間のダイアログを含んでおり、そのダイアログは、ユーザによる話された(spoken)および／または書かれた(written)コマンドおよび／またはジェスチャおよび／またはスマートペンのコンピューティングシステムからのビジュアルフィードバックを伴っている。従って、スマートペン１００は、メニュー構造をナビゲートするための入力を種々のモーダリティから受信することがある。
例えば、書き込みジェスチャ、話されるキーワードまたは物理的動きは、そのあとに続く入力が１または２以上のアプリケーションコマンドと関係があることを示していることがある。空間的および／時間的コンポーネントをもつ入力は後続のデータを示すために使用されることもある。空間的コンポーネントをもつ入力の例としては、サイドバイサイドの２ドットがある。時間的コンポーネントをもつ入力の例としては、一方が他方のすぐ後に書かれた２ドットがある。例えば、ユーザは、表面に対して急速に連続して２回スマートペン１００をたたいたあと、「解決」、「送信」、「変換」、「ｅメール」、「音声メール」といったワードやフレーズまたは別の事前定義ワードやフレーズを書いて、書かれたワードまたはフレーズに関連するコマンドを立ち上げ(launch)たり、事前定義ワードまたはフレーズに関連するコマンドと関係付けられた追加のパラメータを受信したりすることがある。これらの急速立ち上げ(quick-launch)コマンドは異なるフォーマットで提供できるので、メニューのナビゲーションまたはアプリケーションの立ち上げが単純化されている。「急速立ち上げ」コマンド（１つまたは複数）は好ましくは、従来の書き込みおよび／または話し中の期間に容易に区別可能になっている。
代替例として、スマートペン１００は、小型ジョイスティック、スライドコントロール、ロッカパネル(rocker panel)、容量性（または他の非機械的）表面などの物理的コントローラを含んでいるか、あるいはアプリケーションのメニューをナビゲートするための入力やスマートペン１００によって実行されるアプリケーションコマンドを受け取る別の入力メカニズムも含んでいる。
システムオペレーションの例
図３は、本発明の実施形態によるペンベースのコンピューティングシステムにおいて複数のモーダリティを提供するフローチャートを示す図である。この分野の精通者ならば認識されるように、他の実施形態においては、図３に示すステップは異なる順序で実行することが可能である。さらに、他の実施形態では、本明細書に記述されているステップとは別のステップおよび／または追加のステップを含むことが可能である。
最初に、スマートペン１００は、ユーザのやりとりに関連するモーダリティを特定（３１０）する。実施形態では、ユーザは。スマートペン１００で書き込む、スマートペン１００を移動する、またはスマートペン１００に話しかける、といった方法でスマートペン１００とやりとりする。次に、スマートペン１００はユーザのやりとりの１つまたは２つ以上に関連するモーダリティを特定する（３１０）。例えば、ユーザがスマートペン１００で書いているとき、イメージングシステム２１０は書かれたデータをキャプチャし、このデータはそのあとプロセッサ２４５によって処理され、書かれたデータのサブセットが入力モーダリティに関連しているか、出力モーダリティに関連しているかが判断される。同様に、１または２以上のマイクロホン２２０によってキャプチャされたオーディオデータが処理されて、キャプチャされたオーディオデータのサブセットが入力モーダリティに関連しているか、出力モーダリティに関連しているかが判断される。スマートペン１００は話し始め、ユーザによる割り込みを許可して、スマートペン１００の行動を再指示し、スマートペン１００がオーディオをリプレイし、プレイバックのスピードを上げたり、スピードを下げたりするのをプロンプトで指示し、オーディオ情報の価値を強化するためにオーディオと同期された表示情報、ブックマークまたはオーディオ−タグ情報が、ユーザの入力に応答してスマートペン１００またはアクトによって他の方法で通知されている。これにより、スマートペン１００は、種々のモーダリティを通して提供される入力または出力に対するコマンドまたはリクエストを特定し、スマートペン１００とのユーザのやりとりをより直観的かつ効果的にすることができる。
ユーザのやりとりが入力モーダリティに関連すると判断したことに応答して、入力タイプが特定（３１５）される。入力タイプが特定（３１５）されると、スマートペン１００は、入力データがどのようにキャプチャされるかを判断する。書き込みデータはイメージングシステム２１０でキャプチャ（３２５）され、オンボードメモリ２５０にイメージまたはテキストデータとしてストアされる。同様に、オーディオデータは１または２以上のマイクロホン２３０を使用して記録（３２７）され、そのあとオンボードメモリ２５０にストアされる。以上のように、ユーザのやりとりと関連する入力モーダリティを特定したあと、スマートペン１００は、書かれたまたは話されたコミュニケーションのように、スマートペン１００とのやりとりから追加データをキャプチャする。
特定された入力タイプは、付加的にモーダリティを特定（３１０）するユーザのやりとりとは異なることがある。例えば、ユーザは、話されたコマンドをスマートペン１００に与えて、入力モーダリティを特定（３１０）したあと、スマートペン１００で書き込みを始め、書かれたデータをキャプチャ（３２５）させることがある。同様に、ユーザは、書き込み「レコード」のように、入力モーダリティを特定（３１０）する書き込みコマンドを与えて、後続のオーディオデータをスマートペン１００に記録（３２７）させることがある。
ユーザのやりとりが出力モーダリティに関連するとの判断に応答して、出力タイプが特定（３１７）される。出力タイプが特定（３１７）されると、スマートペン１００は情報をどうようにユーザに伝えるかを判断する。テキストデータはディスプレイ２３５またはコンピューティングシステム１２０を通して表示（３３５）される。同様に、オーディオデータは、スピーカ２２５、オーディオジャック２３０またはコンピューティングシステム１２０を使用してプレイ（３３７）される。このようにして、ユーザのやりとりと関連する出力モーダリティを特定したあと、スマートペン１００は、ビジュアルデータを表示し、またはオーディオデータをプレイする、といった方法で情報またはデータをユーザに提示する。
特定された出力タイプは、最初にモーダリティを特定（３１０）したユーザのやりとりのタイプと異なっていることがある。例えば、ユーザは話し(spoken)コマンドをスマートペン１００に与えて、スマートペン１００にビジュアルデータを表示（３３５）させる出力モーダリティを特定（３１０）することがある。同様に、ユーザは、書き込み「プレイバック」のように、スマートペン１００が以前にキャプチャしたオーディオデータをプレイしている個所で出力モーダリティを特定（３１０）する書き込みコマンドを与えることがある。
特定された出力モーダリティは、代替入力ソースとのやりとりを通してコンテキスト化されたオーディオまたはビジュアルフィードバックの形体になっていることもある。例えば、ユーザは、「スペイン語への翻訳(Translate to Spanish)」と言うことも、書くこともあり得るし、「スペイン語への翻訳」で印刷された印刷可能表面をタップすることもあり得る。その場合、ユーザはテキストに印刷された英語のワードをタップしたり、以前にペーパ上に書かれたワードをタップしたりして、スマートペン１００のスピーカからスペイン語で話されたワードを聴いたり、あるいはディスプレイ２３５上にスペイン語で表示されたワードを見ることもある。そのあと、ユーザは、「標準中国語に翻訳」と言ったり、書いたり、あるいは「標準中国語に翻訳」と書かれた（事前印刷のボタン）をタップしたり、同じワードをタップしたりして、標準中国語でそのワードを聴いたり、および／または見たりすることがある。スマートペン１００は、ストアし、そのあとでワードを使用するためにタップしたワードを、ワードに対するユーザの知識をテストすることにより、またはそのワードをリモートロギングソースに送信することにより、キャプチャすることもある。
まとめ
上述した本発明の実施形態の説明は、例示を目的に提示されたものである。この説明は網羅的でもなく、開示した正確な形態に本発明を限定するものでもない。関連分野の精通者ならば理解されるように、上述した開示事項に照らして多くの改良および変更が可能である。
上記説明の一部は、情報に対するオペレーションのアルゴリズムおよび記号的表現からとらえて本発明の実施形態を説明している。これらのアルゴリズムの説明および表現は、データ処理分野の精通者によって一般に使用され、その作業の本質をこの分野の他の精通者に効果的に伝えている。これらのオペレーションは、機能的に、計算的に、または論理的に説明されているが、コンピュータプログラムまたは同等電気回路、マイクロコードなどによって実現されるものと解されている。さらに、これらのオペレーションの配置をモジュールということが、一般性を失うことなく、時には好都合であることも実証されている。上述したオペレーションおよびその関連モジュールは、ソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組み合わせで具現化されることもある。
本明細書に説明したステップ、オペレーションまたはプロセスのいずれも、１または２以上のハードウェアまたはソフトウェアモジュールと共に、単独でまたは他のデバイスと併用して実行または実現されることがある。一実施形態では、ソフトウェアモジュールは、を収めているコンピュータ可読媒体を含むコンピュータプログラムプロダクトと共に実現されており、コンピュータプログラムコードは、上述したステップ、オペレーション、またはプロセスのいずれかまたはすべてを実行するためのコンピュータプロセッサによって実行可能になっている。
本発明の実施形態は、本明細書におけるオペレーションを実行するための装置に関係する場合もある。この装置は、必要とする目的のために特に構築されていることも、および／またはコンピュータにストアされたコンピュータプログラムによって選択的にアクチベートまたは再構築される汎用コンピューティングデバイスを含んでいることもある。このようなコンピュータプログラムは、有形的なコンピュータ可読記憶媒体にストアされていることがあり、その中には電子的命令をストアするのに適した任意タイプの有形的媒体が含まれ、コンピュータシステムバスに結合されている。さらに、本明細書においてコンピューティングシステムと呼ばれるものには、シングルプロセッサが含まれていることもあり、あるいはコンピューティング能力向上のためにマルチプロセッサ設計を採用したアーキテクチャであることもある。
本発明の実施形態は、搬送波(carrier wave)で具現化されたコンピュータデータ信号に関係していることもあり、そこではデータ信号には、本明細書に説明したコンピュータプログラムプロダクトのいずれかの実施形態またはその他の組み合わせが含まれている。コンピュータデータ信号は、有形的媒体または搬送波で提示され、変調または他の方法で搬送波に符号化されているプロダクトであり、搬送波は有形的で、なんらかの適当な伝送方法に従って伝送されている。
最後に、本明細書の中で用いられている言語は、主に読み易さと指示上の目的に選択されたものであり、これは本発明に係る主題を限定またはその範囲を限定するために選択されたものではない。従って、本発明の範囲が詳細説明によって限定されるものではなく、むしろ、請求項に基づくアプリケーションに由来する請求項によって限定されることを意図している。従って、本発明の実施形態の開示事項は、請求項に記載された本発明の範囲を例示したものであり、限定するものではない。
５０ 書き込み面
１００ スマートペン
１００ ドッキングステーション
１２０ クライアントシステム（汎用コンピューティングシステム）
１３０ ネットワーク
１４０ Ｗｅｂサービスシステム
２０５ マーカ
２１０ イメージングシステム
２１５ ペンダウンセンサ
２２０ マイクロホン
２２５ スピーカ
２３０ オーディオジャック
２３５ ディスプレイ
２４０ Ｉ／Ｏポート
２４５ プロセッサ
２５０ オンボードメモリ
２５５ バッテリ

Claims (18)

  1. 複数のモーダリティを使用してユーザとやりとりするスマートペンデバイスであって、システムは、
    プロセッサと、
    プロセッサに結合され、手書きデータをキャプチャするように構成されたジェスチャキャプチャシステムと、
    プロセッサに結合され、オーディオデータをキャプチャするように構成された１または２以上のマイクロホンと、
    プロセッサに結合され、キャプチャされた手書きデータまたはキャプチャされたオーディオデータを、プロセッサが入力を特定したことに応答してストアするように構成され、記憶された発音および記憶された言語の表記を含む言語学習アプリケーションをさらにストアしたオンボードメモリと、
    プロセッサに結合され、オンボードメモリにストアされたディスプレイデータを、プロセッサがキャプチャされた手書きデータまたはキャプチャされたオーディオデータに関連する出力を特定したことに応答して出力するように構成されたディスプレイシステムと、
    プロセッサに結合され、ストアされたオーディオデータを、プロセッサがキャプチャされた手書きデータまたはキャプチャされたオーディオデータに関連する出力を特定したことに応答してプレイするように構成されたオーディオ出力システムと、
    メモリにストアされ、プロセッサによって実行されるように構成されたコンピュータプログラムコードであって、
    キャプチャされた手書きデータまたはキャプチャされたオーディオデータに関連する入力を特定するための命令、
    前記命令はディスプレイシステムに対してはディスプレイデータとして、オーディオ出力システムに対してはオーディオデータとして出力を提供するための命令、
    ディスプレイデータの表示とオーディオデータの配信を同期するための命令、
    第１の比較として、前記キャプチャされたオーディオデータの発音と前記記憶された発音とを比較するための命令、
    前記第１の比較に基づき、前記キャプチャされたオーディオデータの発音に関して指導するための命令、
    第２の比較として、前記キャプチャされた手書きデータを前記記憶された言語の表記と比較するための命令、
    前記第２の比較に基づき、前記キャプチャされた手書きデータに関して指導するための命令、
    を含むコンピュータプログラムコードと、
    を備えたことを特徴とするスマートペンデバイス。
  2. オンボードメモリは、持続性メモリに結合されたランダムアクセスメモリを含むことを特徴とする請求項１に記載のスマートペンデバイス。
  3. 持続性メモリはフラッシュメモリは含むことを特徴とする請求項１に記載のスマートペンデバイス。
  4. コンピュータプログラムコードは、さらに、ディスプレイデータをディスプレイシステムに、およびオーディオデータをオーディオ出力システムに提供するための命令を含み、その場合に、ディプレイデータとオーディオデータは関係があることを特徴とする請求項１に記載のスマートペンデバイス。
  5. ディスプレイは有機発光ダイオード（ＯＬＥＤ）ディスプレイを含んでいることを特徴とする請求項１に記載のスマートペンデバイス。
  6. ディスプレイはコンピューティングシステムを含んでいることを特徴とする請求項１に記載のスマートペンデバイス。
  7. ペンベースコンピューティングシステムが複数のモーダリティを使用してユーザとやりとりするための方法であって、前記方法は、
    ユーザへの命令を提示するステップと、
    前記命令に対する応答としてユーザからやりとりを受信するステップと、
    コマンドを前記やりとりと関連付けるステップと、
    音声キャプチャコマンドを前記やりとりと関連付けたことに応答して、第１の発音を含むオーディオデータを記録し、前記第１の発音をスマートペンに記憶されたオーディオデータが含む第２の発音と比較し、前記第１の発音に関して前記ユーザに指導するステップと、
    テキストキャプチャコマンドを前記やりとりと関連付けたことに応答して、スマートペンの前後の手書きデータまたはテキストデータをキャプチャし、前記キャプチャした手書きデータまたはテキストデータと前記スマートペンにストアされた記憶された手書きデータまたはテキストデータとを比較し、前記キャプチャされた手書きデータまたはテキストデータに関して前記ユーザに指導するステップと、
    オーディオプレイバックコマンドを前記やりとりと関連付けたことを応答して、データをオーラルにユーザに提供するステップと、
    ビジュアルプレイバックコマンドを前記やりとりと関連付けたことに応答して、データをビジュアルにユーザに提供するステップと、
    を含むことを特徴とする方法。
  8. オーラルに提示されるデータおよびビジュアルに提示されるデータは関係があることを特徴とする請求項７に記載の方法。
  9. データをオーラルにユーザに提示することは、
    スマートペンを使用してオーディオデータをプレイすることを含むことを特徴とする請求項７に記載の方法。
  10. データをビジュアルにユーザに提示することは、
    ビジュアルにデータを出力モジュールから表示することを含むことを特徴とする請求項７に記載の方法。
  11. 前記キャプチャされたオーディオデータの発音に関して指導するステップは、前記記憶されたオーディオデータを再生して前記ユーザに提供するステップを含むことを特徴とする請求項７に記載の方法。
  12. 前記キャプチャされたオーディオデータの発音に関して指導するステップは、記憶されたビジュアルデータを提供することを含むことを特徴とする請求項７に記載の方法。
  13. 前記キャプチャされた手書きデータまたはテキストデータに関して指導するステップは、記憶されたビジュアルデータを提供することを含むことを特徴とする請求項７に記載の方法。
  14. 前記命令は単語又は文字を書く命令を含み、前記受信したやりとりは手書きデータ又はテキストデータを含むことを特徴とする請求項７に記載の方法。
  15. 前記命令は単語を話す命令を含み、前記受信したやりとりはオーディオデータを含むことを特徴とする請求項７に記載の方法。
  16. オーディオプレイバックコマンドおよびビジュアルプレイバックコマンドの両方を前記やりとりと関連付けたことに応答して、同期されたオーラルおよびビジュアルデータを前記ユーザに提供するステップをさらに含むことを特徴とする請求項７に記載の方法。
  17. 前記ディスプレイシステムに対するディスプレイデータとして出力を提供するための命令は、単語又は文字の書き順をアニメ化することを含むことを特徴とする請求項１に記載のスマートペンデバイス。
  18. 前記ユーザに命令を提示するステップの後に、単語又は文字の書き順のアニメーションを表示するステップをさらに含むことを特徴とする請求項１４に記載の方法。
JP2010510492A 2007-05-29 2008-05-29 マルチモーダルスマートペンのコンピューティングシステム Active JP5451599B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US94066507P 2007-05-29 2007-05-29
US60/940,665 2007-05-29
PCT/US2008/065144 WO2008150909A1 (en) 2007-05-29 2008-05-29 Multi-modal smartpen computing system

Publications (2)

Publication Number Publication Date
JP2010529539A JP2010529539A (ja) 2010-08-26
JP5451599B2 true JP5451599B2 (ja) 2014-03-26

Family

ID=40094105

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010510492A Active JP5451599B2 (ja) 2007-05-29 2008-05-29 マルチモーダルスマートペンのコンピューティングシステム

Country Status (8)

Country Link
US (1) US20090021494A1 (ja)
EP (1) EP2168054A4 (ja)
JP (1) JP5451599B2 (ja)
KR (1) KR20100029219A (ja)
CN (1) CN101689187A (ja)
AU (1) AU2008260115B2 (ja)
CA (1) CA2688634A1 (ja)
WO (1) WO2008150909A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200937260A (en) * 2008-02-25 2009-09-01 J Touch Corp Capacitive stylus pen
ITTV20090049A1 (it) 2009-03-19 2010-09-20 Lifeview Srl Sistema di lettura multimediale interattivo.
KR101049457B1 (ko) * 2009-06-09 2011-07-15 주식회사 네오랩컨버전스 네트워크 상의 학습 패턴 분석 서비스 제공 방법 및 이에 사용되는 서버
JP5888838B2 (ja) * 2010-04-13 2016-03-22 グリッドマーク株式会社 手書き入力ボードを用いた手書き入力システム、手書き入力ボード、スキャナーペンおよび手書き入力ボードを用いた情報処理システム
US20110291964A1 (en) * 2010-06-01 2011-12-01 Kno, Inc. Apparatus and Method for Gesture Control of a Dual Panel Electronic Device
EP2584520A4 (en) * 2010-06-17 2014-12-10 Intellectual Discovery Co Ltd METHOD FOR PROVIDING STUDENT PATTERN ANALYSIS SERVICE ON A NETWORK AND ITS SERVER
WO2012162415A2 (en) * 2011-05-23 2012-11-29 Livescribe, Inc. Content selection in a pen-based computing system
US20140225827A1 (en) * 2011-09-22 2014-08-14 Hewlett-Packard Development Company, L.P. Soft button input systems and methods
CN104205011B (zh) * 2012-03-21 2018-05-04 祥闳科技股份有限公司 视觉接口装置及数据传输系统
WO2013139001A1 (zh) 2012-03-21 2013-09-26 Tsai Hsiung-Kuang 视觉接口装置及数据传输系统
KR20130113218A (ko) * 2012-04-05 2013-10-15 강신태 전자노트 기능을 갖는 시스템 및 그 운용방법
US9792038B2 (en) 2012-08-17 2017-10-17 Microsoft Technology Licensing, Llc Feedback via an input device and scribble recognition
CN103116462B (zh) * 2013-01-28 2016-04-06 合肥华恒电子科技有限责任公司 一种带有声音反馈的手写输入装置
CN103049115B (zh) * 2013-01-28 2016-08-10 合肥华恒电子科技有限责任公司 一种记录手写笔运动姿态的手写输入装置
US20150054783A1 (en) * 2013-08-22 2015-02-26 Microchip Technology Incorporated Touch Screen Stylus with Communication Interface
KR101531169B1 (ko) * 2013-09-23 2015-06-24 삼성전자주식회사 사용자 단말에서 3차원 객체를 그리는 방법 및 이를 수행하는 사용자 단말
US10528249B2 (en) * 2014-05-23 2020-01-07 Samsung Electronics Co., Ltd. Method and device for reproducing partial handwritten content
US9652678B2 (en) 2014-05-23 2017-05-16 Samsung Electronics Co., Ltd. Method and device for reproducing content
WO2015194899A1 (ko) * 2014-06-19 2015-12-23 주식회사 네오랩컨버전스 전자펜, 전자펜 관련 어플리케이션, 전자펜 블루투스 등록 방법 및 도트 코드와 이를 인코딩 또는 디코딩하는 방법
US10007421B2 (en) * 2015-08-03 2018-06-26 Lenovo (Singapore) Pte. Ltd. Natural handwriting detection on a touch surface
KR102154020B1 (ko) * 2016-12-30 2020-09-09 주식회사 네오랩컨버전스 전자펜 관련 어플리케이션 구동 방법 및 장치
US10248226B2 (en) 2017-02-10 2019-04-02 Microsoft Technology Licensing, Llc Configuring digital pens for use across different applications
CN106952516A (zh) * 2017-05-16 2017-07-14 武汉科技大学 一种学生课堂书写时段的智能分析系统
CN110543290B (zh) * 2018-09-04 2024-03-05 谷歌有限责任公司 多模态响应
CN109263362A (zh) * 2018-10-29 2019-01-25 广东小天才科技有限公司 一种智能笔及其控制方法
CN114144747A (zh) * 2019-09-06 2022-03-04 株式会社Dot 基于输入反馈的智能笔及基于凸出型反馈的智能平板电脑
KR102156180B1 (ko) * 2019-12-13 2020-09-15 주식회사 에스제이더블유인터내셔널 전자펜을 이용한 외국어 학습 시스템 및 외국어 학습 방법
KR20220017308A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 오디오 재생 및 화면 표시 방법 및 그 장치

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5412795A (en) * 1992-02-25 1995-05-02 Micral, Inc. State machine having a variable timing mechanism for varying the duration of logical output states of the state machine based on variation in the clock frequency
US5818428A (en) * 1993-01-21 1998-10-06 Whirlpool Corporation Appliance control system with configurable interface
US5745782A (en) * 1993-09-28 1998-04-28 Regents Of The University Of Michigan Method and system for organizing and presenting audio/visual information
US5666438A (en) * 1994-07-29 1997-09-09 Apple Computer, Inc. Method and apparatus for recognizing handwriting of different users of a pen-based computer system
US5730602A (en) * 1995-04-28 1998-03-24 Penmanship, Inc. Computerized method and apparatus for teaching handwriting
GB9722766D0 (en) * 1997-10-28 1997-12-24 British Telecomm Portable computers
US6195693B1 (en) * 1997-11-18 2001-02-27 International Business Machines Corporation Method and system for network delivery of content associated with physical audio media
US6456749B1 (en) * 1998-02-27 2002-09-24 Carnegie Mellon University Handheld apparatus for recognition of writing, for remote communication, and for user defined input templates
US6330976B1 (en) * 1998-04-01 2001-12-18 Xerox Corporation Marking medium area with encoded identifier for producing action through network
US7091959B1 (en) * 1999-03-31 2006-08-15 Advanced Digital Systems, Inc. System, computer program product, computing device, and associated methods for form identification and information manipulation
US20030061188A1 (en) * 1999-12-23 2003-03-27 Linus Wiebe General information management system
US7295193B2 (en) * 1999-12-23 2007-11-13 Anoto Ab Written command
SE9904744L (sv) * 1999-12-23 2001-06-24 Anoto Ab Styrning av anordning
US6965447B2 (en) * 2000-05-08 2005-11-15 Konica Corporation Method for producing a print having a visual image and specific printed information
AU2001264961A1 (en) * 2000-05-24 2001-12-03 Immersion Corporation Haptic devices using electroactive polymers
US20020107885A1 (en) * 2001-02-01 2002-08-08 Advanced Digital Systems, Inc. System, computer program product, and method for capturing and processing form data
US20020110401A1 (en) * 2001-02-15 2002-08-15 Gershuni Daniel B. Keyboard and associated display
US7916124B1 (en) * 2001-06-20 2011-03-29 Leapfrog Enterprises, Inc. Interactive apparatus using print media
US7175095B2 (en) * 2001-09-13 2007-02-13 Anoto Ab Coding pattern
JP4050546B2 (ja) * 2002-04-15 2008-02-20 株式会社リコー 情報処理システム
JP2004045844A (ja) * 2002-07-12 2004-02-12 Dainippon Printing Co Ltd 漢字書き順学習システム、漢字書き順判定プログラム、および漢字練習用紙
JP2004145408A (ja) * 2002-10-22 2004-05-20 Hitachi Ltd デジタルペンおよびデジタルペーパを利用した計算システム
US20040229195A1 (en) * 2003-03-18 2004-11-18 Leapfrog Enterprises, Inc. Scanning apparatus
US20040240739A1 (en) * 2003-05-30 2004-12-02 Lu Chang Pen gesture-based user interface
US20050024346A1 (en) * 2003-07-30 2005-02-03 Jean-Luc Dupraz Digital pen function control
US7616333B2 (en) * 2003-08-21 2009-11-10 Microsoft Corporation Electronic ink processing and application programming interfaces
US20060127872A1 (en) * 2004-03-17 2006-06-15 James Marggraff Method and device for associating a user writing with a user-writable element
US20060125805A1 (en) * 2004-03-17 2006-06-15 James Marggraff Method and system for conducting a transaction using recognized text
US7853193B2 (en) * 2004-03-17 2010-12-14 Leapfrog Enterprises, Inc. Method and device for audibly instructing a user to interact with a function
US7453447B2 (en) * 2004-03-17 2008-11-18 Leapfrog Enterprises, Inc. Interactive apparatus with recording and playback capability usable with encoded writing medium
US20060066591A1 (en) * 2004-03-17 2006-03-30 James Marggraff Method and system for implementing a user interface for a device through recognized text and bounded areas
US20060033725A1 (en) * 2004-06-03 2006-02-16 Leapfrog Enterprises, Inc. User created interactive interface
US7831933B2 (en) * 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US20060078866A1 (en) * 2004-03-17 2006-04-13 James Marggraff System and method for identifying termination of data entry
US20060077184A1 (en) * 2004-03-17 2006-04-13 James Marggraff Methods and devices for retrieving and using information stored as a pattern on a surface
US20060067576A1 (en) * 2004-03-17 2006-03-30 James Marggraff Providing a user interface having interactive elements on a writable surface
US20060057545A1 (en) * 2004-09-14 2006-03-16 Sensory, Incorporated Pronunciation training method and apparatus
JP4546816B2 (ja) * 2004-12-15 2010-09-22 株式会社ワオ・コーポレーション 情報処理システム、サーバ装置、およびプログラム
US7639876B2 (en) * 2005-01-14 2009-12-29 Advanced Digital Systems, Inc. System and method for associating handwritten information with one or more objects
US7627703B2 (en) * 2005-06-29 2009-12-01 Microsoft Corporation Input device with audio capabilities
US20070030257A1 (en) * 2005-08-04 2007-02-08 Bhogal Kulvir S Locking digital pen
US7281664B1 (en) * 2005-10-05 2007-10-16 Leapfrog Enterprises, Inc. Method and system for hierarchical management of a plurality of regions of an encoded surface used by a pen computer
US7936339B2 (en) * 2005-11-01 2011-05-03 Leapfrog Enterprises, Inc. Method and system for invoking computer functionality by interaction with dynamically generated interface regions of a writing surface
GB2432929A (en) * 2005-11-25 2007-06-06 Hewlett Packard Development Co Paper calendar employing digital pen input provides notification of appointment conflicts
US20070280627A1 (en) * 2006-05-19 2007-12-06 James Marggraff Recording and playback of voice messages associated with note paper
US7475078B2 (en) * 2006-05-30 2009-01-06 Microsoft Corporation Two-way synchronization of media data
US8427344B2 (en) * 2006-06-02 2013-04-23 Anoto Ab System and method for recalling media
US7633493B2 (en) * 2006-06-19 2009-12-15 International Business Machines Corporation Camera-equipped writing tablet apparatus for digitizing form entries

Also Published As

Publication number Publication date
JP2010529539A (ja) 2010-08-26
EP2168054A1 (en) 2010-03-31
CN101689187A (zh) 2010-03-31
KR20100029219A (ko) 2010-03-16
CA2688634A1 (en) 2008-12-11
WO2008150909A1 (en) 2008-12-11
AU2008260115A1 (en) 2008-12-11
EP2168054A4 (en) 2012-01-25
US20090021494A1 (en) 2009-01-22
AU2008260115B2 (en) 2013-09-26

Similar Documents

Publication Publication Date Title
JP5451599B2 (ja) マルチモーダルスマートペンのコンピューティングシステム
US8446298B2 (en) Quick record function in a smart pen computing system
US8300252B2 (en) Managing objects with varying and repeated printed positioning information
US20090251338A1 (en) Ink Tags In A Smart Pen Computing System
US8944824B2 (en) Multi-modal learning system
US8265382B2 (en) Electronic annotation of documents with preexisting content
US20160124702A1 (en) Audio Bookmarking
US9058067B2 (en) Digital bookclip
US8374992B2 (en) Organization of user generated content captured by a smart pen computing system
US8446297B2 (en) Grouping variable media inputs to reflect a user session
US20090251441A1 (en) Multi-Modal Controller
US8416218B2 (en) Cyclical creation, transfer and enhancement of multi-modal information between paper and digital domains
US8002185B2 (en) Decoupled applications for printed materials

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121122

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130221

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131226

R150 Certificate of patent or registration of utility model

Ref document number: 5451599

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250