JP7627801B1 - 情報処理システム、情報処理方法、およびプログラム - Google Patents
情報処理システム、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP7627801B1 JP7627801B1 JP2024068325A JP2024068325A JP7627801B1 JP 7627801 B1 JP7627801 B1 JP 7627801B1 JP 2024068325 A JP2024068325 A JP 2024068325A JP 2024068325 A JP2024068325 A JP 2024068325A JP 7627801 B1 JP7627801 B1 JP 7627801B1
- Authority
- JP
- Japan
- Prior art keywords
- pen
- contact
- input device
- type input
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】現実に筆記媒体に筆記しているときの感覚に近づけることができるようにする。
【解決手段】操作対象面に対するペン型入力デバイスの接触状態に対応する１以上の接触パラメータを検出し、接触パラメータに基づいて、操作対象面に対するペン型入力デバイスのペン先の接触状態を判定するようにされ、接触状態がペン型入力デバイスのペン先が移動状態であると判定しているときに、移動状態に対応する触覚を再現するようにペン型入力デバイスにおける触覚再現部を駆動させ、接触状態がペン型入力デバイスのペン先が操作対象面に接触しつつ静止している状態から移動を開始した移動開始状態であることを判定したタイミングで、移動開始状態に対応する触覚を再現するように触覚再現部を駆動させるフィードバック制御部とを備えて情報処理システムを構成する。
【選択図】図３
【解決手段】操作対象面に対するペン型入力デバイスの接触状態に対応する１以上の接触パラメータを検出し、接触パラメータに基づいて、操作対象面に対するペン型入力デバイスのペン先の接触状態を判定するようにされ、接触状態がペン型入力デバイスのペン先が移動状態であると判定しているときに、移動状態に対応する触覚を再現するようにペン型入力デバイスにおける触覚再現部を駆動させ、接触状態がペン型入力デバイスのペン先が操作対象面に接触しつつ静止している状態から移動を開始した移動開始状態であることを判定したタイミングで、移動開始状態に対応する触覚を再現するように触覚再現部を駆動させるフィードバック制御部とを備えて情報処理システムを構成する。
【選択図】図３
Description
本発明は、情報処理システム、情報処理方法、およびプログラムに関する。
対話型ディスプレイシステムに対する入力にあたり、触覚アクチュエータを駆動した振動を発生させることで触覚フィードバックが可能とされたペン状のスタイラス（ペン型入力デバイス）を入力装置として用いることが知られている（例えば、特許文献１参照）。
ペン型入力デバイスにて振動が発せられることで、例えば紙等の筆記媒体にペン先を滑らせているときの触感が疑似的に得られることから、ペン型入力デバイスを用いて入力しているユーザは、筆記媒体に筆記しているときに近い感覚を得ることができる。
ペン型入力デバイスを用いた入力にあたっては、できるだけ実物の筆記媒体に筆記しているときの感覚に近いことが好ましいという側面がある。
そこで、本発明は、上記した課題を考慮して、ペン型入力デバイスを用いた入力にあたり、現実に筆記媒体に筆記しているときの感覚に近づくようにすることを目的とする。
そこで、本発明は、上記した課題を考慮して、ペン型入力デバイスを用いた入力にあたり、現実に筆記媒体に筆記しているときの感覚に近づくようにすることを目的とする。
上述した課題を解決する本発明の一態様は、操作対象面に対するペン型入力デバイスの接触状態に対応する１以上の接触パラメータを検出する接触パラメータ検出部と、前記接触パラメータに基づいて、前記操作対象面に対する前記ペン型入力デバイスのペン先の接触状態を判定するようにされ、前記接触状態が前記ペン型入力デバイスのペン先が前記操作対象面に接触しながら移動している移動状態であると判定しているときに、前記移動状態に対応する触覚を再現するように前記ペン型入力デバイスにおける触覚再現部を駆動させる第１フィードバック制御と、前記接触状態が前記ペン型入力デバイスのペン先が前記操作対象面に接触しつつ静止している状態から移動を開始した移動開始状態であることを判定したタイミングで、前記移動開始状態に対応する触覚を再現するように前記触覚再現部を駆動させる第２フィードバック制御とを実行するフィードバック制御部とを備える情報処理システムである。
本発明の一態様は、情報処理システムにおける情報処理方法であって、接触パラメータ検出部が、操作対象面に対するペン型入力デバイスの接触状態に対応する１以上の接触パラメータを検出する接触パラメータ検出ステップと、フィードバック制御部が、前記接触パラメータに基づいて、前記操作対象面に対する前記ペン型入力デバイスのペン先の接触状態を判定するようにされ、前記接触状態が前記ペン型入力デバイスのペン先が前記操作対象面に接触しながら移動している移動状態であると判定しているときに、前記移動状態に対応する触覚を再現するように前記ペン型入力デバイスにおける触覚再現部を駆動させる第１フィードバック制御と、前記接触状態が前記ペン型入力デバイスのペン先が前記操作対象面に接触しつつ静止している状態から移動を開始した移動開始状態であることを判定したタイミングで、前記移動開始状態に対応する触覚を再現するように前記触覚再現部を駆動させる第２フィードバック制御とを実行するフィードバック制御ステップとを含む情報処理方法である。
本発明の一態様は、情報処理システムにおけるコンピュータを、操作対象面に対するペン型入力デバイスの接触状態に対応する１以上の接触パラメータを検出する接触パラメータ検出部、前記接触パラメータに基づいて、前記操作対象面に対する前記ペン型入力デバイスのペン先の接触状態を判定するようにされ、前記接触状態が前記ペン型入力デバイスのペン先が前記操作対象面に接触しながら移動している移動状態であると判定しているときに、前記移動状態に対応する触覚を再現するように前記ペン型入力デバイスにおける触覚再現部を駆動させる第１フィードバック制御と、前記接触状態が前記ペン型入力デバイスのペン先が前記操作対象面に接触しつつ静止している状態から移動を開始した移動開始状態であることを判定したタイミングで、前記移動開始状態に対応する触覚を再現するように前記触覚再現部を駆動させる第２フィードバック制御とを実行するフィードバック制御部として機能させるためのプログラムである。
本発明によれば、ペン型入力デバイスを用いた入力にあたり、現実に筆記媒体に筆記しているときの感覚に近づけることができるとの効果が得られる。
図１は、本実施形態の情報処理システムの外観構成例を示している。同図に示されるように、本実施形態の情報処理システムは、情報処理装置１００とペン型入力デバイス２００とを有する。
情報処理装置１００は、ペン型入力デバイス２００による入力操作に応じて情報処理を実行可能とされる。同図の情報処理装置１００は、タブレット端末あるいはノート型パーソナルコンピュータ等とされた例を示している。
情報処理装置１００は、タッチパネル表示部３０タッチパネル表示部３０を備える。タッチパネル表示部３０は、タッチパネルと表示部とが組み合わされた部位である。タッチパネル表示部３０は、パネル面（表示面：操作対象面の一例）に画像を表示するとともに、パネル面に対してペン型入力デバイスや指等の操作体を接触させることによる操作が可能とされる。
ペン型入力デバイス２００は、ユーザが情報処理装置１００のタッチパネル表示部３０におけるタッチパネルに対して操作を行うのに用いるペン型の入力デバイスである。
ユーザは、ペン型入力デバイス２００を把持し、ペン先をタッチパネル表示部３０のパネル面に接触させるようにして移動させることで、文字、絵、図形等の手書き入力の操作を行うようにされる。
ユーザは、ペン型入力デバイス２００を把持し、ペン先をタッチパネル表示部３０のパネル面に接触させるようにして移動させることで、文字、絵、図形等の手書き入力の操作を行うようにされる。
なお、ペン型入力デバイス２００を用いた操作として、タッチパネル表示部３０に表示されているユーザインターフェース画像に対するポインティング操作なども可能とされてよい。
なお、本実施形態のタッチパネル表示部３０におけるタッチパネルによるペン型入力デバイス２００の検出方式については特に限定されるものではないが、例えば静電容量方式や電磁誘導方式等を挙げることができる。以下の説明においては、静電容量方式が用いられる場合を例に挙げる。
情報処理装置１００には、ペン型入力デバイス２００による入力操作に対応するアプリケーション（ペン操作対応アプリケーション）がインストールされている。
ペン操作対応アプリケーションは、例えばペン型入力デバイス２００のペン先をタッチパネル表示部３０に対して接触させて行う文字入力、絵描き等の手書き入力操作に応じて描画した文字や絵をタッチパネル表示部３０に表示したり、操作により描画された文字や絵をデータ化する処理などを実行可能とされてよい。
ペン操作対応アプリケーションは、例えばペン型入力デバイス２００のペン先をタッチパネル表示部３０に対して接触させて行う文字入力、絵描き等の手書き入力操作に応じて描画した文字や絵をタッチパネル表示部３０に表示したり、操作により描画された文字や絵をデータ化する処理などを実行可能とされてよい。
また、本実施形態の情報処理システムにおいて、ペン型入力デバイス２００は、筆記に応じた操作（筆記操作）が行われているときに対応して振動および音（筆記音）を発する。ペン型入力デバイス２００にて発せられる振動と筆記音により、ユーザは、例えば紙等の筆記媒体に筆記しているときに近い触覚が感じられることとなり、実物の筆記具により筆記媒体に筆記しているときに近い感覚を得ることが可能となる。
以降の説明において、ペン型入力デバイス２００により筆記操作が行われているときの振動と音の発生については、「触覚フィードバック」とも呼ぶ。
次に、本実施形態における触覚フィードバックの概要について説明する。
図２は、ユーザが現実に筆記操作を開始する際の時間経過に応じた筆記具先端の摩擦力の変化を示している。時刻ｔ０においては、ユーザが例えば用紙などの筆記媒体に筆記具（例えば鉛筆など）先端を接触させているが、まだ筆記具先端を移動させず静止させている状態にある。そして、ユーザは、時刻ｔ０から或る時間を経過した時刻ｔ１から、筆記の開始に応じて筆記媒体上で筆記具先端を移動させる操作を開始した。
ここで、筆記具先端を移動させる操作を開始するときには、筆記具先端が筆記媒体面に対して或る程度の力で押し当てられているように接触されていたことから静止摩擦力が生じる。このため、時刻ｔ１から或る時間を経過する時刻ｔ２までの期間においては、ユーザが筆記具先端を移動させるように力を加えていても、筆記具先端は筆記媒体上を移動せずに静止した状態を保ちつつ、静止摩擦力が時間経過とともに増加していく。
そして、時刻ｔ２に至って筆記具先端が移動を開始すると、これまで増加していた静止摩擦力は急峻に減少し、筆記具先端の移動に応じた或る動摩擦力が生じる状態となる。このような摩擦力の変化は、現実の筆記において強めの振動や音（筆記音）として得られる。
図２は、ユーザが現実に筆記操作を開始する際の時間経過に応じた筆記具先端の摩擦力の変化を示している。時刻ｔ０においては、ユーザが例えば用紙などの筆記媒体に筆記具（例えば鉛筆など）先端を接触させているが、まだ筆記具先端を移動させず静止させている状態にある。そして、ユーザは、時刻ｔ０から或る時間を経過した時刻ｔ１から、筆記の開始に応じて筆記媒体上で筆記具先端を移動させる操作を開始した。
ここで、筆記具先端を移動させる操作を開始するときには、筆記具先端が筆記媒体面に対して或る程度の力で押し当てられているように接触されていたことから静止摩擦力が生じる。このため、時刻ｔ１から或る時間を経過する時刻ｔ２までの期間においては、ユーザが筆記具先端を移動させるように力を加えていても、筆記具先端は筆記媒体上を移動せずに静止した状態を保ちつつ、静止摩擦力が時間経過とともに増加していく。
そして、時刻ｔ２に至って筆記具先端が移動を開始すると、これまで増加していた静止摩擦力は急峻に減少し、筆記具先端の移動に応じた或る動摩擦力が生じる状態となる。このような摩擦力の変化は、現実の筆記において強めの振動や音（筆記音）として得られる。
ペン型入力デバイス２００のペン先の移動に際しては、一定のレベルで振動や音による触覚フィードバックを与えてもよいが、ペン先の移動状況に応じて触覚フィードバックのレベルを変更可能とされてよい。一例として、ペン先の移動速度が大きくなることに応じて触覚フィードバックのレベルも大きくなるように変更されてよい。
しかしながら、ペン先の移動速度に応じた触覚フィードバックのレベル変更では、ペン先の移動開始のタイミングでの移動速度は低いため、ペン先の移動開始のタイミングでの触覚フィードバックも小さい。つまり、ペン先の移動速度に応じた触覚フィードバックのレベル変更は、図２のように筆記具先端が移動を開始するタイミングにて瞬時的に生じる大きな静摩擦力から移動速度に応じた動摩擦力の変化を触覚フィードバックとして再現できていない。
しかしながら、ペン先の移動速度に応じた触覚フィードバックのレベル変更では、ペン先の移動開始のタイミングでの移動速度は低いため、ペン先の移動開始のタイミングでの触覚フィードバックも小さい。つまり、ペン先の移動速度に応じた触覚フィードバックのレベル変更は、図２のように筆記具先端が移動を開始するタイミングにて瞬時的に生じる大きな静摩擦力から移動速度に応じた動摩擦力の変化を触覚フィードバックとして再現できていない。
そこで、本実施形態においては、以下に図３に示すようにしてペン型入力デバイス２００のペン先の移動に応じて触覚フィードバックの制御を行うようにされる。
図３において、線Ｌ１－１、Ｌ１－２は、本実施形態の触覚フィードバックに対応して出力される２つのフィードバック信号のレベルの変化を時間経過とともに示している。また、線Ｌ２は、ペン先について検出された移動速度の時間経過に応じた変化を示す。
時刻ｔ１０は、これまで静止した状態にあったペン型入力デバイス２００のペン先がユーザの筆記操作に応じて移動を開始したタイミングである。時刻ｔ１０においてペン先の移動が開始されることに応じて、線Ｌ１－１として示すようにペン先の移動速度に応じて変化するレベルの第１フィードバック信号の出力が開始される。第１フィードバック信号は、ペン先の移動が停止する時刻ｔ１１に至ってゼロレベルとなって出力が停止される。
また、時刻ｔ１０においてペン先の移動が開始されることに応じて、線Ｌ１－２として示すように瞬時的にピークを有する第２フィードバック信号も出力される。
図３において、線Ｌ１－１、Ｌ１－２は、本実施形態の触覚フィードバックに対応して出力される２つのフィードバック信号のレベルの変化を時間経過とともに示している。また、線Ｌ２は、ペン先について検出された移動速度の時間経過に応じた変化を示す。
時刻ｔ１０は、これまで静止した状態にあったペン型入力デバイス２００のペン先がユーザの筆記操作に応じて移動を開始したタイミングである。時刻ｔ１０においてペン先の移動が開始されることに応じて、線Ｌ１－１として示すようにペン先の移動速度に応じて変化するレベルの第１フィードバック信号の出力が開始される。第１フィードバック信号は、ペン先の移動が停止する時刻ｔ１１に至ってゼロレベルとなって出力が停止される。
また、時刻ｔ１０においてペン先の移動が開始されることに応じて、線Ｌ１－２として示すように瞬時的にピークを有する第２フィードバック信号も出力される。
このように、本実施形態では、ペン先が移動を開始してから停止するまでにおいて、第１フィードバック信号と第２フィードバック信号との２つのフィードバック信号による複合的な触覚フィードバックが行われる。
このような触覚フィードバックにより、ペン先の移動速度に応じた振動・筆記音の再現に加えて、ペン型入力デバイス２００のペン先の移動が開始するタイミングにて、瞬時的に大きくなる静止摩擦力に応じた振動・筆記音も再現される。この結果、ペン型入力デバイス２００を用いた入力にあたり、現実に筆記媒体に筆記しているときの感覚に近づけることが可能となる。
このような触覚フィードバックにより、ペン先の移動速度に応じた振動・筆記音の再現に加えて、ペン型入力デバイス２００のペン先の移動が開始するタイミングにて、瞬時的に大きくなる静止摩擦力に応じた振動・筆記音も再現される。この結果、ペン型入力デバイス２００を用いた入力にあたり、現実に筆記媒体に筆記しているときの感覚に近づけることが可能となる。
図４は、ユーザの筆記操作によるパネル面ＰＮ上でのペン型入力デバイス２００のペン先の移動軌跡ＭＴの一例を示している。同図の移動軌跡ＭＴは、開始点ｐ１から開始され、方向変化点ｐ２、ｐ３、ｐ４、ｐ５の順で移動方向が変化し、終点ｐ６にて終了される。
このような移動軌跡ＭＴのもとでは、方向変化点ｐ２、ｐ３、ｐ４、ｐ５ごとにペン先の移動が一旦停止したうえで、移動を再開するようにされる。この場合、ペン先の移動開始から停止までにおける移動速度に応じたレベルによる第１フィードバック信号による触覚フィードバックは、区間ｐ１－ｐ２、ｐ２－ｐ３、ｐ３－ｐ４、ｐ５－ｐ６ごとに行われる。また、第２フィードバック信号による静止摩擦力に応じた触覚フィードバックは、開始点ｐ１と方向変化点ｐ２、ｐ３、ｐ４、ｐ５ごとに行われる。
このような移動軌跡ＭＴのもとでは、方向変化点ｐ２、ｐ３、ｐ４、ｐ５ごとにペン先の移動が一旦停止したうえで、移動を再開するようにされる。この場合、ペン先の移動開始から停止までにおける移動速度に応じたレベルによる第１フィードバック信号による触覚フィードバックは、区間ｐ１－ｐ２、ｐ２－ｐ３、ｐ３－ｐ４、ｐ５－ｐ６ごとに行われる。また、第２フィードバック信号による静止摩擦力に応じた触覚フィードバックは、開始点ｐ１と方向変化点ｐ２、ｐ３、ｐ４、ｐ５ごとに行われる。
本実施形態において、第２フィードバック信号のピークレベルは予め定めた固定値であてもよい。あるいは、第２フィードバック信号のピークレベルは、パネル面に対するペン先の所定の接触状態について検出して得られた検出値（接触パラメータ）のうちの所定の接触パラメータに基づいて設定されてよい。
具体的に、本実施形態の情報処理装置１００は、接触パラメータとして、ペン先がパネル面を移動する速度（移動速度）、ペン先がパネル面に接触しているときの圧力（筆圧）、パネル面上でのペン先の移動方向、およびペン先がパネル面に接触しているときのペン型入力デバイス２００のパネル面に対する傾き角度を挙げることができる。
筆記操作によりペン先の移動を開始させるときの静止摩擦力は、移動を開始しようとするときの筆圧に応じて大きくなる。そこで、情報処理装置１００は、筆圧としての接触パラメータに応じて第２フィードバック信号のピークレベルを設定してよい。
また、筆記操作によりペン先の移動を開始させるときの静止摩擦力は、例えばペン型入力デバイス２００のパネル面に対する傾き角度に応じて変化する。そこで、情報処理装置１００は、傾き角度としての接触パラメータに応じて第２フィードバック信号のピークレベルを設定してよい。
また、筆記操作によりペン先の移動を開始させるときの静止摩擦力は、例えば筆記操作に応じたペン先のパネル面上での移動方向に応じても変化し得る。そこで、情報処理装置１００は、移動方向としての接触パラメータに応じて第２フィードバック信号のピークレベルを設定してよい。
また、情報処理装置１００は、筆圧、傾き角度、および移動方向の接触パラメータのうちの２以上の接触パラメータを複合的に用いて第２フィードバック信号のピークレベルを設定してよい。
具体的に、本実施形態の情報処理装置１００は、接触パラメータとして、ペン先がパネル面を移動する速度（移動速度）、ペン先がパネル面に接触しているときの圧力（筆圧）、パネル面上でのペン先の移動方向、およびペン先がパネル面に接触しているときのペン型入力デバイス２００のパネル面に対する傾き角度を挙げることができる。
筆記操作によりペン先の移動を開始させるときの静止摩擦力は、移動を開始しようとするときの筆圧に応じて大きくなる。そこで、情報処理装置１００は、筆圧としての接触パラメータに応じて第２フィードバック信号のピークレベルを設定してよい。
また、筆記操作によりペン先の移動を開始させるときの静止摩擦力は、例えばペン型入力デバイス２００のパネル面に対する傾き角度に応じて変化する。そこで、情報処理装置１００は、傾き角度としての接触パラメータに応じて第２フィードバック信号のピークレベルを設定してよい。
また、筆記操作によりペン先の移動を開始させるときの静止摩擦力は、例えば筆記操作に応じたペン先のパネル面上での移動方向に応じても変化し得る。そこで、情報処理装置１００は、移動方向としての接触パラメータに応じて第２フィードバック信号のピークレベルを設定してよい。
また、情報処理装置１００は、筆圧、傾き角度、および移動方向の接触パラメータのうちの２以上の接触パラメータを複合的に用いて第２フィードバック信号のピークレベルを設定してよい。
図５を参照して、情報処理装置１００とペン型入力デバイス２００のハードウェア構成例について説明する。
まず、情報処理装置１００のハードウェア構成例について説明する。同図の情報処理装置１００は、プロセッサ１１、メインメモリ１２、フラッシュメモリ１３、周辺デバイス１４、近距離通信部１５、ベースバンドチップ２１、通信部２２、オーディオシステム２３、マイクロフォン２４、スピーカ２５、およびタッチパネル表示部３０を備える。
まず、情報処理装置１００のハードウェア構成例について説明する。同図の情報処理装置１００は、プロセッサ１１、メインメモリ１２、フラッシュメモリ１３、周辺デバイス１４、近距離通信部１５、ベースバンドチップ２１、通信部２２、オーディオシステム２３、マイクロフォン２４、スピーカ２５、およびタッチパネル表示部３０を備える。
プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）を含むアプリケーションプロセッサである。プロセッサ１１は、情報処理装置１００の全体を制御する。
メインメモリ１２は、プロセッサ１１の実行プログラムの読み込み領域として、または、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。メインメモリ１２は、例えば、複数個のＤＲＡＭ（Dynamic Random Access Memory）チップで構成される。この実行プログラムには、ＯＳ（Operating System：オペレーティングシステム）、周辺機器類をハードウェア操作するための各種デバイスドライバ、各種サービス／ユーティリティ、アプリケーションプログラム（アプリケーションソフトウェア）、等が含まれる。
フラッシュメモリ１３は、例えば、フラッシュＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）であり、ＯＳ、各種ドライバ、各種サービス／ユーティリティ、アプリケーションプログラム（以下、アプリケーションということがある）、及び各種データを記憶する。
タッチパネル表示部３０は、画像を表示するとともに、画像が表示されるパネル面に対してペン型入力デバイス２００により操作を行うことが可能な部位である。タッチパネル表示部３０は、例えば指などのペン型入力デバイス２００以外の操作体による操作も可能であってよいが、ここでは、操作体がペン型入力デバイス２００である場合を例に説明する。
タッチパネル表示部３０は、表示部３１とパネルセンサ３２とを備える。
表示部３１は、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイであり、プロセッサ１１から出力された描画データ（表示データ）に基づく画像を表示する。
パネルセンサ３２は、表示部３１のパネル面に対するペン型入力デバイス２００のペン先の接触状態を検出する。具体的に、パネルセンサ３２は、パネル面上でペン型入力デバイス２００のペン先が接触している位置や、パネル面に接触しているペン先による圧力、ペン型入力デバイス２００のパネル面からの距離などを検出可能とされてよい。このようなパネルセンサ３２の検出方式としては特に限定されないが、静電容量式もしくは電磁誘導方式などを挙げることができる。また、パネルセンサ３２は、このような複数の検出方式が複合的に用いられた構成とされてよい。
タッチパネル表示部３０は、表示部３１とパネルセンサ３２とを備える。
表示部３１は、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイであり、プロセッサ１１から出力された描画データ（表示データ）に基づく画像を表示する。
パネルセンサ３２は、表示部３１のパネル面に対するペン型入力デバイス２００のペン先の接触状態を検出する。具体的に、パネルセンサ３２は、パネル面上でペン型入力デバイス２００のペン先が接触している位置や、パネル面に接触しているペン先による圧力、ペン型入力デバイス２００のパネル面からの距離などを検出可能とされてよい。このようなパネルセンサ３２の検出方式としては特に限定されないが、静電容量式もしくは電磁誘導方式などを挙げることができる。また、パネルセンサ３２は、このような複数の検出方式が複合的に用いられた構成とされてよい。
周辺デバイス１４は、例えば、ＷＬＡＮ（Wireless Local Area Network）モジュール、ＧＰＳ（Global Positioning System）モジュール、及び加速度センサなどのセンサ類、等である。
オーディオシステム２３は、例えば、オーディオＩＣ（Integrated Circuit）であり、音データの入力、記録、再生、出力を行う。オーディオシステム２３には、例えば、マイクロフォン２４と、スピーカ２５とが接続されている。オーディオシステム２３は、例えば、マイクロフォン２４が収音した音データを、プロセッサ１１又はベースバンドチップ２１に出力する。
また、オーディオシステム２３は、例えば、プロセッサ１１又はベースバンドチップ２１から取得した音データを音信号に変換して、スピーカ２５に出力する。
また、オーディオシステム２３は、例えば、プロセッサ１１又はベースバンドチップ２１から取得した音データを音信号に変換して、スピーカ２５に出力する。
マイクロフォン２４は、情報処理装置１００の周辺の音を収音する。マイクロフォン２４は、例えば、他の端末と音声融和する際に、利用者の音声等の音を収音する。
スピーカ２５は、情報処理装置１００の外部に、各種音を出力する。スピーカ２５は、例えば、他の端末と音声融和する際に、他の端末から受信した音を出力（放音）する。
スピーカ２５は、情報処理装置１００の外部に、各種音を出力する。スピーカ２５は、例えば、他の端末と音声融和する際に、他の端末から受信した音を出力（放音）する。
ベースバンドチップ２１は、例えば、４Ｇ（第４世代移動通信システム）や５Ｇ（第４世代移動通信システム）などの無線通信を制御する専用ＩＣである。
ベースバンドチップ２１は、例えば、通信部２２にて受信された音データを、オーディオシステム２３によりスピーカ２５から音として出力させる。
また、ベースバンドチップ２１は、例えば、マイクロフォン２４により収音した音データを、オーディオシステム２３を介して取得し、通信部２２により移動通信システム経由で出力させる。また、ベースバンドチップ２１は、移動通信システムによるデータ通信の入出力データを、プロセッサ１１との間で授受するようにされてよい。
ベースバンドチップ２１は、例えば、通信部２２にて受信された音データを、オーディオシステム２３によりスピーカ２５から音として出力させる。
また、ベースバンドチップ２１は、例えば、マイクロフォン２４により収音した音データを、オーディオシステム２３を介して取得し、通信部２２により移動通信システム経由で出力させる。また、ベースバンドチップ２１は、移動通信システムによるデータ通信の入出力データを、プロセッサ１１との間で授受するようにされてよい。
通信部２２は、移動通信システムによる無線通信を行うための、アンテナを含む無線通信デバイスである。
近距離通信部１５は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールであり、ペン型入力デバイス２００との間で近距離無線通信を行う。
次に、同じ図５を参照して、ペン型入力デバイス２００のハードウェア構成例について説明する。
ペン型入力デバイス２００は、ＭＣＵ４１、近距離通信部４２、振動部４３（触覚再現部の一例）、音出力部４４（触覚再現部の一例）、およびフラッシュメモリ４５を備える。
ペン型入力デバイス２００は、ＭＣＵ４１、近距離通信部４２、振動部４３（触覚再現部の一例）、音出力部４４（触覚再現部の一例）、およびフラッシュメモリ４５を備える。
近距離通信部４２は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールであり、情報処理装置１００との間で近距離無線通信を行う。
ＭＣＵ（Micro Controller Unit）４１は、ＣＰＵ、ＲＯＭやＲＡＭなどのメモリ、Ｉ／Ｏ関連などを備え、ペン型入力デバイス２００における制御を実行する。ＭＣＵ４１は、近距離通信部４２にて送受信する情報の授受を行う。また、ＭＣＵ４１は、情報処理装置１００から送信されるフィードバック信号（第１フィードバック信号と第２フィードバック信号とを含む）に応じた触覚フィードバックが行われるように、振動部４３における振動の発生と音出力部４４による音の出力とを制御する。
振動部４３は、例えばアクチュエータを備え、ＭＣＵ４１からのフィードバック信号の入力に応じて振動する部位である。
音出力部４４は、例えばスピーカを備え、ＭＣＵ４１からのフィードバック信号の入力に応じ音を出力する部位である。
音出力部４４は、例えばスピーカを備え、ＭＣＵ４１からのフィードバック信号の入力に応じ音を出力する部位である。
フラッシュメモリ４５は、例えばプログラムやフィードバック信号のデータなど、ペン型入力デバイス２００に対応する各種のデータを記憶する。
図６を参照して、情報処理装置１００とペン型入力デバイス２００の機能構成例について説明する。同図において、図５のハードウェア構成における部位と同等とみなせる機能部については、図５と同一符号を付して適宜説明を省略する。
同図に示される情報処理装置１００としての機能は、プロセッサ１１（図５）がプログラムを実行することにより実現されてよい。
同図に示される情報処理装置１００としての機能は、プロセッサ１１（図５）がプログラムを実行することにより実現されてよい。
まず、情報処理装置１００の機能構成例について説明する。情報処理装置１００は、機能部として、通信部２２、タッチパネル表示部３０、接触パラメータ検出部１０１、制御部１０２、および記憶部１０３を備える。
接触パラメータ検出部１０１は、タッチパネル表示部３０のパネル面に対するペン型入力デバイス２００のペン先の接触状態を検出する。
接触パラメータ検出部１０１は、パネルセンサ３２が出力する検出信号に基づいて、接触状態に対応して検出されたパラメータ（接触パラメータ）を出力する。以下の説明において、接触パラメータは、例えば前述の移動速度、筆圧、移動方向、および傾き角度である場合を例に挙げる。
接触パラメータ検出部１０１は、パネルセンサ３２が出力する検出信号に基づいて、接触状態に対応して検出されたパラメータ（接触パラメータ）を出力する。以下の説明において、接触パラメータは、例えば前述の移動速度、筆圧、移動方向、および傾き角度である場合を例に挙げる。
制御部１０２は、情報処理装置１００における各種の制御を実行する。制御部１０２は、アプリケーション対応処理部１２１とフィードバック制御部１２２とを備える。
アプリケーション対応処理部１２１は、ペン操作対応アプリケーションに対応する処理を実行する。
ペン操作対応アプリケーションに対する操作として、ペン型入力デバイス２００による筆記操作が行われているとき、パネルセンサ３２からアプリケーション対応処理部１２１にペン操作情報が入力される。アプリケーション対応処理部１２１は、入力されたペン操作情報が入力されたことに応じて、例えば描画などの処理を行う。
ペン操作対応アプリケーションに対する操作として、ペン型入力デバイス２００による筆記操作が行われているとき、パネルセンサ３２からアプリケーション対応処理部１２１にペン操作情報が入力される。アプリケーション対応処理部１２１は、入力されたペン操作情報が入力されたことに応じて、例えば描画などの処理を行う。
フィードバック制御部１２２は、フィードバック制御を実行する。本実施形態におけるフィードバック制御は、ペン型入力デバイス２００にて触覚フィードバックとしての振動が発生されるようにする制御である。
本実施形態のフィードバック制御部１２２は、パネル面に接触して静止していたペン型入力デバイス２００のペン先が移動を開始する際の摩擦力の変化に応じて発生する振動や音を再現するためのフィードバック制御（第２フィードバック制御）と、ペン型入力デバイス２００のペン先が移動しているときに発生する振動や音を再現するためのフィードバック制御（第１フィードバック制御）とを実行する。
フィードバック制御部１２２は、接触パラメータ検出部１０１から出力される接触パラメータに基づいて、フィードバック制御情報を生成する。フィードバック制御情報は、振動と音による触覚フィードバックを生じさせるようにペン型入力デバイス２００の駆動制御部２２１を制御する情報である。フィードバック制御部１２２は、生成したフィードバック制御情報を通信部２２経由でペン型入力デバイス２００に出力（送信）する。
本実施形態のフィードバック制御部１２２は、パネル面に接触して静止していたペン型入力デバイス２００のペン先が移動を開始する際の摩擦力の変化に応じて発生する振動や音を再現するためのフィードバック制御（第２フィードバック制御）と、ペン型入力デバイス２００のペン先が移動しているときに発生する振動や音を再現するためのフィードバック制御（第１フィードバック制御）とを実行する。
フィードバック制御部１２２は、接触パラメータ検出部１０１から出力される接触パラメータに基づいて、フィードバック制御情報を生成する。フィードバック制御情報は、振動と音による触覚フィードバックを生じさせるようにペン型入力デバイス２００の駆動制御部２２１を制御する情報である。フィードバック制御部１２２は、生成したフィードバック制御情報を通信部２２経由でペン型入力デバイス２００に出力（送信）する。
記憶部１０３は、情報処理装置１００に対応する各種の情報を記憶する。
次に、ペン型入力デバイス２００の機能構成例について説明する。同図に示されるペン型入力デバイス２００としての機能は、ＭＣＵ４１（図５）がプログラムを実行することにより実現されてよい。
ペン型入力デバイス２００は、機能部として、近距離通信部４２、振動部４３、音出力部４４、制御部２０１、および記憶部２０３を備える。
ペン型入力デバイス２００は、機能部として、近距離通信部４２、振動部４３、音出力部４４、制御部２０１、および記憶部２０３を備える。
制御部２０１は、ペン型入力デバイス２００における各種の制御を実行する。制御部２０１は、駆動制御部２２１を備える。
駆動制御部２２１は、触覚フィードバックとしての振動が発生するように振動部４３を制御する。また、駆動制御部２２１は、触覚フィードバックとしての音が発生するように音出力部４４を制御する。
駆動制御部２２１は、振動部４３と音出力部４４とを制御するにあたり、フィードバック信号記憶部２３１に記憶されたフィードバック信号（第１フィードバック信号と第２フィードバック信号とを含む）を、振動部４３と音出力部４４とに入力する。
駆動制御部２２１は、触覚フィードバックとしての振動が発生するように振動部４３を制御する。また、駆動制御部２２１は、触覚フィードバックとしての音が発生するように音出力部４４を制御する。
駆動制御部２２１は、振動部４３と音出力部４４とを制御するにあたり、フィードバック信号記憶部２３１に記憶されたフィードバック信号（第１フィードバック信号と第２フィードバック信号とを含む）を、振動部４３と音出力部４４とに入力する。
記憶部２０３は、ペン型入力デバイス２００に対応する各種のデータを記憶する。記憶部２０３は、フィードバック信号記憶部２３１を記憶する。
フィードバック信号記憶部２３１は、フィードバック信号となる波形を記憶する。フィードバック信号記憶部２３１は、第１フィードバック信号の波形と第２フィードバック信号の波形とを記憶する。また、フィードバック信号記憶部２３１にて記憶される第１フィードバック信号と第２フィードバック信号は、それぞれ、振動部４３を振動させるのに用いる振動対応のフィードバック信号の波形と、音出力部４４から音として出力させる音対応のフィードバック信号の波形とを含んでよい。
フィードバック信号記憶部２３１は、フィードバック信号となる波形を記憶する。フィードバック信号記憶部２３１は、第１フィードバック信号の波形と第２フィードバック信号の波形とを記憶する。また、フィードバック信号記憶部２３１にて記憶される第１フィードバック信号と第２フィードバック信号は、それぞれ、振動部４３を振動させるのに用いる振動対応のフィードバック信号の波形と、音出力部４４から音として出力させる音対応のフィードバック信号の波形とを含んでよい。
また、第２フィードバック信号の波形は、例えばインパルス波形であってよい。つまり、第２フィードバック信号は、インパルス信号であってよい。あるいは、第２フィードバック信号の波形は、ペン先の移動開始の際の静止摩擦力により振動や音が発生する時間において急峻なピークを有するようにされた波形であってもよい。
図７を参照して、フィードバック信号による振動部４３、音出力部４４の駆動に対応する機能構成例について説明する。
情報処理装置１００において、接触パラメータ検出部１０１は、移動速度検出部１１１、筆圧検出部１１２、移動方向検出部１１３、および傾き角度検出部１１４を含む。
情報処理装置１００において、接触パラメータ検出部１０１は、移動速度検出部１１１、筆圧検出部１１２、移動方向検出部１１３、および傾き角度検出部１１４を含む。
移動速度検出部１１１は、パネル面を接触しながら移動するペン先の移動速度を検出する。移動速度検出部１１１は、パネルセンサ３２にて検出されるペン先の接触位置の単位時間ごとの移動量に基づいて移動速度を検出してよい。移動速度検出部１１１は、検出した移動速度パラメータＤｔ１をフィードバック制御部１２２に出力する。
筆圧検出部１１２は、パネル面に対して接触しているペン先の圧力（筆圧）を検出する。筆圧検出部１１２は、パネルセンサ３２にて検出されるペン先の接触位置での静電容量の値に基づいて筆圧を検出してよい。筆圧検出部１１２は、検出した筆圧を示す筆圧パラメータＤｔ２をフィードバック制御部１２２に出力する。
移動方向検出部１１３は、パネル面に接触しながら移動するペン先の移動方向を検出する。移動速度検出部１１１は、パネルセンサ３２にて検出されるペン先の接触位置の移動する方向に基づいて移動方向を検出してよい。移動方向検出部１１３は、検出した移動方向を示す移動方向パラメータＤｔ３をフィードバック制御部１２２に出力する。
傾き角度検出部１１４は、パネル面にペン先が接触している状態のペン型入力デバイス２００本体のパネル面に対する傾き角度を検出する。傾き角度検出部１１４は、パネルセンサ３２によりペン先の接触位置の周辺にて検出されるペン型入力デバイス２００本体に応じた静電容量の分布に基づいて傾き角度を検出してよい。傾き角度検出部１１４は、検出した傾き角度パラメータＤｔ４をフィードバック制御部１２２に出力する。
情報処理装置１００においてフィードバック制御部１２２は、入力された接触パラメータ（移動速度パラメータＤｔ１、筆圧パラメータＤｔ２、移動方向パラメータＤｔ３、傾き角度パラメータＤｔ４）に基づいて、フィードバック制御情報ＦＢを生成する。
本実施形態において、フィードバック制御部１２２は、振動部４３に対応するフィードバック制御情報ＦＢと音出力部４４に対応するフィードバック制御情報ＦＢとのそれぞれを個別に生成する。
なお、フィードバック制御部１２２は、振動部４３と音出力部４４とで共通となるフィードバック制御情報を制御してもよい。
本実施形態において、フィードバック制御部１２２は、振動部４３に対応するフィードバック制御情報ＦＢと音出力部４４に対応するフィードバック制御情報ＦＢとのそれぞれを個別に生成する。
なお、フィードバック制御部１２２は、振動部４３と音出力部４４とで共通となるフィードバック制御情報を制御してもよい。
フィードバック制御情報ＦＢは、振動対応の第１フィードバック信号のレベル（振動対応第１レベル）と、音対応の第１フィードバック信号のレベル（音対応第１レベル）とを含む。フィードバック制御部１２２は、移動速度パラメータＤｔ１に基づいて、振動対応第１レベルと音対応第１レベルとを設定してよい。
また、フィードバック制御情報ＦＢは、パネル面上でのペン先の移動開始のタイミングに応じて出力されるものについては、振動対応の第２フィードバック信号のレベル（振動対応第２レベル）と、音対応の第２フィードバック信号のレベル（音対応第２レベル）とを含む。
以降の説明において、振動対応第１レベルと音対応第１レベルとについて特に区別しない場合には、第１レベルと記載する。また、振動対応第２レベルと音対応第２レベルとについて特に区別しない場合には、第２レベルと記載する。
また、フィードバック制御情報ＦＢは、パネル面上でのペン先の移動開始のタイミングに応じて出力されるものについては、振動対応の第２フィードバック信号のレベル（振動対応第２レベル）と、音対応の第２フィードバック信号のレベル（音対応第２レベル）とを含む。
以降の説明において、振動対応第１レベルと音対応第１レベルとについて特に区別しない場合には、第１レベルと記載する。また、振動対応第２レベルと音対応第２レベルとについて特に区別しない場合には、第２レベルと記載する。
フィードバック制御部１２２は、生成したフィードバック制御情報ＦＢを、ペン型入力デバイス２００に出力（送信）する。
駆動制御部２２１は、入力されたフィードバック制御情報ＦＢに基づいて、振動部４３と音出力部４４とを駆動する。
同図においては振動部４３と音出力部４４との構成例が示されている。
振動部４３は、例えばアンプ４３２、アンプ４３３、ミキサ４３４、およびアクチュエータ４３５を備える。
アンプ４３２は、振動対応の第１フィードバック信号が信号源Ｓ１－１として入力される。信号源Ｓ１－１は、フィードバック信号記憶部２３１が記憶する振動対応の第１フィードバック信号の波形に基づいて生成される。アンプ４３２は、入力された振動対応の第１フィードバック信号を駆動制御部２２１により指示されたレベルに変化させて出力する。
アンプ４３３は、振動対応の第２フィードバック信号が信号源Ｓ２－１として入力される。信号源Ｓ２－１は、フィードバック信号記憶部２３１が記憶する振動対応の第２フィードバック信号の波形に基づいて生成される。アンプ４３３は、入力された振動対応の第２フィードバック信号を駆動制御部２２１により指示されたレベルに変化させて出力する。
ミキサ４３４は、アンプ４３２から出力された第１フィードバック信号とアンプ４３３から出力された第２フィードバック信号とを合成する。
アクチュエータ４３５は、ミキサ４３４から出力されたフィードバック信号により振動する。
振動部４３は、例えばアンプ４３２、アンプ４３３、ミキサ４３４、およびアクチュエータ４３５を備える。
アンプ４３２は、振動対応の第１フィードバック信号が信号源Ｓ１－１として入力される。信号源Ｓ１－１は、フィードバック信号記憶部２３１が記憶する振動対応の第１フィードバック信号の波形に基づいて生成される。アンプ４３２は、入力された振動対応の第１フィードバック信号を駆動制御部２２１により指示されたレベルに変化させて出力する。
アンプ４３３は、振動対応の第２フィードバック信号が信号源Ｓ２－１として入力される。信号源Ｓ２－１は、フィードバック信号記憶部２３１が記憶する振動対応の第２フィードバック信号の波形に基づいて生成される。アンプ４３３は、入力された振動対応の第２フィードバック信号を駆動制御部２２１により指示されたレベルに変化させて出力する。
ミキサ４３４は、アンプ４３２から出力された第１フィードバック信号とアンプ４３３から出力された第２フィードバック信号とを合成する。
アクチュエータ４３５は、ミキサ４３４から出力されたフィードバック信号により振動する。
このような振動部４３の構成に対応して、駆動制御部２２１は、フィードバック制御情報ＦＢに含まれる振動対応第１レベルに基づいて、振動対応の第１フィードバック信号による信号源Ｓ１－１をアンプ４３２に入力させる制御と、振動対応の第１フィードバック信号のレベルをアンプ４３２に指示する制御とを行う。
また、フィードバック制御情報ＦＢに振動対応第２レベルが含まれている場合には、当該振動対応第２レベルに基づいて、振動対応の第２フィードバック信号による信号源Ｓ２－１をアンプ４３３に入力させる制御と、振動対応の第２フィードバック信号のレベルをアンプ４３３に指示する制御とを行う。
また、フィードバック制御情報ＦＢに振動対応第２レベルが含まれている場合には、当該振動対応第２レベルに基づいて、振動対応の第２フィードバック信号による信号源Ｓ２－１をアンプ４３３に入力させる制御と、振動対応の第２フィードバック信号のレベルをアンプ４３３に指示する制御とを行う。
音出力部４４は、例えばアンプ４４２、アンプ４４３、ミキサ４４４、およびスピーカ４４５を備える。
アンプ４４２は、音対応の第１フィードバック信号が信号源Ｓ１－２として入力される。信号源Ｓ１－２は、フィードバック信号記憶部２３１が記憶する音対応の第１フィードバック信号の波形に基づいて生成される。アンプ４４２は、入力された音対応の第１フィードバック信号を駆動制御部２２１により指示されたレベルに変化させて出力する。
アンプ４４３は、音対応の第２フィードバック信号が信号源Ｓ２－２として入力される。信号源Ｓ２－１は、フィードバック信号記憶部２３１が記憶する音対応の第２フィードバック信号の波形に基づいて生成される。アンプ４４３は、入力された音対応の第２フィードバック信号を駆動制御部２２１により指示されたレベルに変化させて出力する。
ミキサ４４４は、アンプ４４２から出力された第１フィードバック信号とアンプ４４３から出力された第２フィードバック信号とを合成する。
スピーカ４４５は、ミキサ４４４から出力されたフィードバック信号に応じた音を発する。
アンプ４４２は、音対応の第１フィードバック信号が信号源Ｓ１－２として入力される。信号源Ｓ１－２は、フィードバック信号記憶部２３１が記憶する音対応の第１フィードバック信号の波形に基づいて生成される。アンプ４４２は、入力された音対応の第１フィードバック信号を駆動制御部２２１により指示されたレベルに変化させて出力する。
アンプ４４３は、音対応の第２フィードバック信号が信号源Ｓ２－２として入力される。信号源Ｓ２－１は、フィードバック信号記憶部２３１が記憶する音対応の第２フィードバック信号の波形に基づいて生成される。アンプ４４３は、入力された音対応の第２フィードバック信号を駆動制御部２２１により指示されたレベルに変化させて出力する。
ミキサ４４４は、アンプ４４２から出力された第１フィードバック信号とアンプ４４３から出力された第２フィードバック信号とを合成する。
スピーカ４４５は、ミキサ４４４から出力されたフィードバック信号に応じた音を発する。
このような音出力部４４の構成に対応して、駆動制御部２２１は、フィードバック制御情報ＦＢに含まれる音対応第１レベルに基づいて、音対応の第１フィードバック信号による信号源Ｓ１－２をアンプ４４２に入力させる制御と、音対応の第１フィードバック信号のレベルをアンプ４４２に指示する制御とを行う。
また、フィードバック制御情報ＦＢに音対応第２レベルが含まれている場合には、当該音対応第２レベルに基づいて、音対応の第２フィードバック信号による信号源Ｓ２－２をアンプ４４３に入力させる制御と、音対応の第２フィードバック信号のレベルをアンプ４４３に指示する制御とを行う。
また、フィードバック制御情報ＦＢに音対応第２レベルが含まれている場合には、当該音対応第２レベルに基づいて、音対応の第２フィードバック信号による信号源Ｓ２－２をアンプ４４３に入力させる制御と、音対応の第２フィードバック信号のレベルをアンプ４４３に指示する制御とを行う。
図８のフローチャートを参照して、情報処理装置１００とペン型入力デバイス２００とが触覚フィードバックに関連して実行する処理手順例について説明する。
まず、情報処理装置１００の処理手順例について説明する。同図の処理が実行されているとき、フィードバック制御部１２２は、例えば所定の取込周期（取込期間）ごとに、接触パラメータ検出部１０１が検出している接触パラメータ（移動速度パラメータＤｔ１、筆圧パラメータＤｔ２、移動方向パラメータＤｔ３、傾き角度パラメータＤｔ４）を取り込むようにされている。この際、フィードバック制御部１２２は、取込周期（期間）ごとにおいて、１サンプルの接触パラメータを取り込んでもよいし、複数のサンプル周期ごとに応じた接触パラメータを取り込んでもよい。
まず、情報処理装置１００の処理手順例について説明する。同図の処理が実行されているとき、フィードバック制御部１２２は、例えば所定の取込周期（取込期間）ごとに、接触パラメータ検出部１０１が検出している接触パラメータ（移動速度パラメータＤｔ１、筆圧パラメータＤｔ２、移動方向パラメータＤｔ３、傾き角度パラメータＤｔ４）を取り込むようにされている。この際、フィードバック制御部１２２は、取込周期（期間）ごとにおいて、１サンプルの接触パラメータを取り込んでもよいし、複数のサンプル周期ごとに応じた接触パラメータを取り込んでもよい。
ステップＳ１００：情報処理装置１００においてフィードバック制御部１２２は、今回のサンプルタイミングにて取り込んだ接触パラメータに基づいて、ペン型入力デバイス２００のペン先がパネル面に接触して停止している状態から移動を開始する状態（移動開始状態）となるのを待機する。
この場合、フィードバック制御部１２２は、例えば接触パラメータにおける移動速度パラメータＤｔ１がゼロからゼロより大きい値に変化したことによりペン先が移動を開始したと判定してよい。あるいは、フィードバック制御部１２２は、ペン先が移動していない（停止している）ことで、移動方向パラメータＤｔ３が移動方向を示していない値から、或る移動方向を示す値に変化したことに応じて、ペン先が移動を開始したと判定してよい。また、フィードバック制御部１２２は、上記の移動速度パラメータＤｔ１と移動方向パラメータＤｔ３とを複合的に用いてペン先の移動が開始したか否かを判定してよい。
この場合、フィードバック制御部１２２は、例えば接触パラメータにおける移動速度パラメータＤｔ１がゼロからゼロより大きい値に変化したことによりペン先が移動を開始したと判定してよい。あるいは、フィードバック制御部１２２は、ペン先が移動していない（停止している）ことで、移動方向パラメータＤｔ３が移動方向を示していない値から、或る移動方向を示す値に変化したことに応じて、ペン先が移動を開始したと判定してよい。また、フィードバック制御部１２２は、上記の移動速度パラメータＤｔ１と移動方向パラメータＤｔ３とを複合的に用いてペン先の移動が開始したか否かを判定してよい。
ステップＳ１０２：フィードバック制御部１２２は、ステップＳ１００にてペン先が移動を開始したと判定すると、振動対応と音対応とのそれぞれの第２フィードバック信号のレベル（第２レベル：振動対応第２レベル、音対応第２レベル）を設定する。
フィードバック制御部１２２は、筆圧パラメータＤｔ２に基づいて第２レベルを設定してよい。現実の筆記において筆記具の先端部が移動を開始するときの振動や音は、筆記具の先端部が移動を開始するときの用紙などの筆記対象媒体に対する筆圧が高くなるのにつれて大きくなる。
さらに、フィードバック制御部１２２は、第２レベルの設定にあたり、例えば今回の取込期間にて得られた複数の移動速度パラメータＤｔ１に基づいて算出した加速度も利用してよい。
さらに、フィードバック制御部１２２は、第２レベルの設定にあたり、例えばペン操作対応アプリケーションにて設定された筆記具の種別や筆記対象の媒体の種別なども利用してよい。
フィードバック制御部１２２は、筆圧パラメータＤｔ２に基づいて第２レベルを設定してよい。現実の筆記において筆記具の先端部が移動を開始するときの振動や音は、筆記具の先端部が移動を開始するときの用紙などの筆記対象媒体に対する筆圧が高くなるのにつれて大きくなる。
さらに、フィードバック制御部１２２は、第２レベルの設定にあたり、例えば今回の取込期間にて得られた複数の移動速度パラメータＤｔ１に基づいて算出した加速度も利用してよい。
さらに、フィードバック制御部１２２は、第２レベルの設定にあたり、例えばペン操作対応アプリケーションにて設定された筆記具の種別や筆記対象の媒体の種別なども利用してよい。
ステップＳ１０４：次に、フィードバック制御部１２２は、振動対応と音対応とのそれぞれの第１フィードバック信号のレベル（第１レベル：振動対応第１レベルおよび音対応第１レベル）を設定する。
この際、フィードバック制御部１２２は、今回のサンプル周期のタイミングにて取り込んだ移動速度パラメータＤｔ１に応じて、振動対応第１レベルと音対応第１レベルとのそれぞれを設定してよい。
さらに、フィードバック制御部１２２は、振動対応第１レベルと音対応第１レベルの設定にあたり、筆圧パラメータＤｔ２、移動方向パラメータＤｔ３、傾き角度パラメータＤｔ４のうちの少なくとも一部を利用してもよい。例えば、現実の筆記においてペン先の移動に応じて発生する振動や音の大きさは、筆圧にも依存して変化し得る。
さらに、フィードバック制御部１２２は、第１レベルの設定にあたり、例えばペン操作対応アプリケーションにて設定された筆記具の種別や筆記対象の媒体の種別なども利用してよい。
この際、フィードバック制御部１２２は、今回のサンプル周期のタイミングにて取り込んだ移動速度パラメータＤｔ１に応じて、振動対応第１レベルと音対応第１レベルとのそれぞれを設定してよい。
さらに、フィードバック制御部１２２は、振動対応第１レベルと音対応第１レベルの設定にあたり、筆圧パラメータＤｔ２、移動方向パラメータＤｔ３、傾き角度パラメータＤｔ４のうちの少なくとも一部を利用してもよい。例えば、現実の筆記においてペン先の移動に応じて発生する振動や音の大きさは、筆圧にも依存して変化し得る。
さらに、フィードバック制御部１２２は、第１レベルの設定にあたり、例えばペン操作対応アプリケーションにて設定された筆記具の種別や筆記対象の媒体の種別なども利用してよい。
ステップＳ１０６：フィードバック制御部１２２は、ステップＳ１０２にて設定した第２レベルとステップＳ１０４にて設定した第１レベルとを含むフィードバック制御情報ＦＢを生成する。
ステップＳ１０８：フィードバック制御部１２２は、ステップＳ１０６にて生成したフィードバック制御情報をペン型入力デバイス２００に送信する。
ステップＳ１１０：フィードバック制御部１２２は、ステップＳ１００に対応して開始されたペン先の移動が停止したか否かを判定する。フィードバック制御部１２２は、これまで０より大きい値であった移動速度パラメータＤｔ１がゼロとなったことに応じてペン先の移動が停止したと判定してよい。
ペン先が移動中の状態（移動状態）にある、すなわち移動が停止していないと判定された場合には、ステップＳ１０４に処理が戻される。つまり、フィードバック制御部１２２は、以降において、ペン先の移動が停止されるまで、ペン先が移動中の状態に応じたフィードバック制御情報ＦＢを生成し、ペン型入力デバイス２００に送信するループ処理を実行する。このようなループ処理にて生成されるフィードバック制御情報ＦＢには第２レベルは含まれない。
一方、ペン先の移動が停止したと判定した場合には、ステップＳ１００に処理が戻される。このようにステップＳ１００に処理が戻されることで、再度ペン先の移動が開始されるまでフィードバック制御情報ＦＢのペン型入力デバイス２００への送信が停止される。
ペン先が移動中の状態（移動状態）にある、すなわち移動が停止していないと判定された場合には、ステップＳ１０４に処理が戻される。つまり、フィードバック制御部１２２は、以降において、ペン先の移動が停止されるまで、ペン先が移動中の状態に応じたフィードバック制御情報ＦＢを生成し、ペン型入力デバイス２００に送信するループ処理を実行する。このようなループ処理にて生成されるフィードバック制御情報ＦＢには第２レベルは含まれない。
一方、ペン先の移動が停止したと判定した場合には、ステップＳ１００に処理が戻される。このようにステップＳ１００に処理が戻されることで、再度ペン先の移動が開始されるまでフィードバック制御情報ＦＢのペン型入力デバイス２００への送信が停止される。
次に、ペン型入力デバイス２００が実行する処理手順例について説明する。
ステップＳ２００：ペン型入力デバイス２００において駆動制御部２２１は、ステップＳ１０８により情報処理装置１００から送信されるフィードバック制御情報ＦＢが受信されるのを待機している。
ステップＳ２００：ペン型入力デバイス２００において駆動制御部２２１は、ステップＳ１０８により情報処理装置１００から送信されるフィードバック制御情報ＦＢが受信されるのを待機している。
ステップＳ２０２：フィードバック制御情報ＦＢが受信されると、駆動制御部２２１は、今回受信したフィードバック制御情報ＦＢに第２レベルが含まれているか否かを判定する。
ステップＳ２０４：ステップＳ２０２にてフィードバック制御情報ＦＢに第２レベルが含まれていると判定した場合、駆動制御部２２１は、第２フィードバック信号としての信号源Ｓ２－１、Ｓ２－２を、それぞれアンプ４３３、４４３に入力する。
ステップＳ２０６：また、駆動制御部２２１は、アンプ４３３に振動対応第２レベルを指示し、アンプ４４３に音対応第２レベルを指示する。
上記のようにステップＳ２０４とステップＳ２０６の処理が実行されることにより、ペン先の移動開始に際して生じる静止摩擦力に応じた振動・筆記音が再現される。また、この際には、例えばペン先が移動を開始するときの筆圧に応じて静止摩擦力に応じた振動の強さと筆記音の大きさとが得られるようにされる。
ステップＳ２０８：ステップＳ２０６の処理の後、あるいはステップＳ２０２にてフィードバック制御情報ＦＢに第２レベルが含まれていないと判定した場合、駆動制御部２２１は、第１フィードバック信号としての信号源Ｓ１－１、Ｓ１－２を、それぞれアンプ４３２、４４２に入力する。
ステップＳ２１０：また、駆動制御部２２１は、アンプ４３２に振動対応第１レベルを指示し、アンプ４４２に音対応第１レベルを指示する。
上記のようにステップＳ２０８とステップＳ２１０の処理が実行されることにより、移動中にあるペン先の移動速度に応じて振動の強さと筆記音の大きさが変化するようにして触覚が再現される。
以下、本実施形態の変形例について説明する。
触覚フィードバックは、振動と音とのいずれか一方により行われてよい。この場合において、情報処理装置１００とペン型入力デバイス２００は、振動と音とのうちの一方の触覚フィードバックに対応する構成を有し、他方の触覚フィードバックに対応する構成を有さないようにされてよい。あるいは、例えばユーザによる選択操作や、ペン操作対応アプリケーションにおいて設定された筆記具の種別や筆記対象の媒体の種別に応じて、振動と音とのうちのいずれを触覚フィードバックに用いるのかが設定されてよい。
触覚フィードバックは、振動と音とのいずれか一方により行われてよい。この場合において、情報処理装置１００とペン型入力デバイス２００は、振動と音とのうちの一方の触覚フィードバックに対応する構成を有し、他方の触覚フィードバックに対応する構成を有さないようにされてよい。あるいは、例えばユーザによる選択操作や、ペン操作対応アプリケーションにおいて設定された筆記具の種別や筆記対象の媒体の種別に応じて、振動と音とのうちのいずれを触覚フィードバックに用いるのかが設定されてよい。
上記実施形態における情報処理装置１００が有する所定の機能部がペン型入力デバイス２００に設けられるようにしてよい。あるいは、上記実施形態におけるペン型入力デバイス２００が有する所定の機能部が情報処理装置１００に設けられるようにしてよい。
具体的に、例えばペン型入力デバイス２００にフィードバック制御部１２２が設けられてよい。この場合、情報処理装置１００は、接触パラメータ検出部１０１が検出した接触パラメータをペン型入力デバイス２００に送信するようにされてよい。
また、例えば情報処理装置１００に駆動制御部２２１が設けられてよい。この場合、駆動制御部２２１は、ペン型入力デバイス２００に対して、アンプ（４３２、４３３、４４２、４４３）へのフィードバック信号の入力を指示する信号と、アンプ（４３２、４３３、４４２、４４３）のそれぞれにて設定するレベルを指示する信号とを送信するようにされてよい。
具体的に、例えばペン型入力デバイス２００にフィードバック制御部１２２が設けられてよい。この場合、情報処理装置１００は、接触パラメータ検出部１０１が検出した接触パラメータをペン型入力デバイス２００に送信するようにされてよい。
また、例えば情報処理装置１００に駆動制御部２２１が設けられてよい。この場合、駆動制御部２２１は、ペン型入力デバイス２００に対して、アンプ（４３２、４３３、４４２、４４３）へのフィードバック信号の入力を指示する信号と、アンプ（４３２、４３３、４４２、４４３）のそれぞれにて設定するレベルを指示する信号とを送信するようにされてよい。
なお、上述の情報処理装置１００やペン型入力デバイス２００などとしての機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の情報処理装置１００やペン型入力デバイス２００などとしての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
３０ タッチパネル表示部、３１ 表示部、３２ パネルセンサ、４３ 振動部、４４ 音出力部、１００ 情報処理装置、１０１ 接触パラメータ検出部、１０２ 制御部、１０３ 記憶部、１１１ 移動速度検出部、１１２ 筆圧検出部、１１３ 移動方向検出部、１１４ 角度検出部、１２１ アプリケーション対応処理部、１２２ フィードバック制御部、２００ ペン型入力デバイス、２０１ 制御部、２０３ 記憶部、２２１ 駆動制御部、２３１ フィードバック信号記憶部
Claims (10)
- 操作対象面に対するペン型入力デバイスの接触状態に対応する１以上の接触パラメータを検出する接触パラメータ検出部と、
前記接触パラメータに基づいて、前記操作対象面に対する前記ペン型入力デバイスのペン先の接触状態を判定するようにされ、前記接触状態が前記ペン型入力デバイスのペン先が前記操作対象面に接触しながら移動している移動状態であると判定しているときに、前記移動状態に対応する触覚を再現するように前記ペン型入力デバイスにおける触覚再現部を駆動させる第１フィードバック制御と、前記接触状態が前記ペン型入力デバイスのペン先が前記操作対象面に接触しつつ静止している状態から移動を開始した移動開始状態であることを判定したタイミングで、前記移動開始状態に対応する触覚を再現するように前記触覚再現部を駆動させる第２フィードバック制御とを実行するフィードバック制御部と
を備える情報処理システム。 - 前記触覚再現部は、フィードバック信号の入力に応じて振動を発生させる振動部を含む
請求項１に記載の情報処理システム。 - 前記触覚再現部は、フィードバック信号の入力に応じて音を出力させる音出力部を含む
請求項１に記載の情報処理システム。 - 前記第２フィードバック制御は、インパルス信号としての第２フィードバック制御対応のフィードバック信号を前記触覚再現部に入力させる制御を含む
請求項１から３のいずれか一項に記載の情報処理システム。 - 前記第２フィードバック制御は、前記ペン型入力デバイスのペン先が移動を開始したタイミングに応じた所定時間において所定のピークレベルを有するようにされた第２フィードバック制御対応のフィードバック信号を前記触覚再現部に入力させる制御を含む
請求項１から３のいずれか一項に記載の情報処理システム。 - 前記接触パラメータは、前記操作対象面を前記ペン先が移動する速度と、前記操作対象面に対する前記ペン先の圧力と、前記操作対象面を前記ペン先が移動する方向と、前記操作対象面に対するペン型入力デバイスの傾き角度とのうちのすべてまたは一部である
請求項１から３のいずれか一項に記載の情報処理システム。 - 前記フィードバック制御部は、少なくとも前記接触パラメータのうちの前記圧力に基づいて、第２フィードバック制御対応のフィードバック信号のレベルを設定する
請求項６に記載の情報処理システム。 - 前記フィードバック制御部は、少なくとも前記接触パラメータのうちの前記速度に基づいて、第１フィードバック制御対応のフィードバック信号のレベルを変更する
請求項６に記載の情報処理システム。 - 情報処理システムにおける情報処理方法であって、
接触パラメータ検出部が、操作対象面に対するペン型入力デバイスの接触状態に対応する１以上の接触パラメータを検出する接触パラメータ検出ステップと、
フィードバック制御部が、前記接触パラメータに基づいて、前記操作対象面に対する前記ペン型入力デバイスのペン先の接触状態を判定するようにされ、前記接触状態が前記ペン型入力デバイスのペン先が前記操作対象面に接触しながら移動している移動状態であると判定しているときに、前記移動状態に対応する触覚を再現するように前記ペン型入力デバイスにおける触覚再現部を駆動させる第１フィードバック制御と、前記接触状態が前記ペン型入力デバイスのペン先が前記操作対象面に接触しつつ静止している状態から移動を開始した移動開始状態であることを判定したタイミングで、前記移動開始状態に対応する触覚を再現するように前記触覚再現部を駆動させる第２フィードバック制御とを実行するフィードバック制御ステップと
を含む情報処理方法。 - 情報処理システムにおけるコンピュータを、
操作対象面に対するペン型入力デバイスの接触状態に対応する１以上の接触パラメータを検出する接触パラメータ検出部、
前記接触パラメータに基づいて、前記操作対象面に対する前記ペン型入力デバイスのペン先の接触状態を判定するようにされ、前記接触状態が前記ペン型入力デバイスのペン先が前記操作対象面に接触しながら移動している移動状態であると判定しているときに、前記移動状態に対応する触覚を再現するように前記ペン型入力デバイスにおける触覚再現部を駆動させる第１フィードバック制御と、前記接触状態が前記ペン型入力デバイスのペン先が前記操作対象面に接触しつつ静止している状態から移動を開始した移動開始状態であることを判定したタイミングで、前記移動開始状態に対応する触覚を再現するように前記触覚再現部を駆動させる第２フィードバック制御とを実行するフィードバック制御部
として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024068325A JP7627801B1 (ja) | 2024-04-19 | 2024-04-19 | 情報処理システム、情報処理方法、およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024068325A JP7627801B1 (ja) | 2024-04-19 | 2024-04-19 | 情報処理システム、情報処理方法、およびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP7627801B1 true JP7627801B1 (ja) | 2025-02-06 |
Family
ID=94392289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024068325A Active JP7627801B1 (ja) | 2024-04-19 | 2024-04-19 | 情報処理システム、情報処理方法、およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7627801B1 (ja) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110267318A1 (en) | 2010-04-28 | 2011-11-03 | Microsoft Corporation | Dynamic resistance control of a stylus |
| JP4966322B2 (ja) | 2008-03-10 | 2012-07-04 | エルジー エレクトロニクス インコーポレイティド | 端末機及びその制御方法 |
| JP2014222492A (ja) | 2013-05-14 | 2014-11-27 | 株式会社東芝 | 描画装置及び描画システム |
| WO2015045482A1 (ja) | 2013-09-26 | 2015-04-02 | 富士通株式会社 | 駆動制御装置、電子機器、及び駆動制御方法 |
| US20160170504A1 (en) | 2014-12-11 | 2016-06-16 | Microsoft Technology Licensing, Llc | Interactive stylus and display device |
| US20170153763A1 (en) | 2014-07-02 | 2017-06-01 | 3M Innovative Properties Company | Touch systems and methods including rejection of unintentional touch signals |
| JP2019144964A (ja) | 2018-02-22 | 2019-08-29 | パナソニックＩｐマネジメント株式会社 | 触力覚提示装置および触力覚提示方法 |
| WO2023163114A1 (ja) | 2022-02-28 | 2023-08-31 | 株式会社ワコム | 位置検出システム及び電子ペン |
-
2024
- 2024-04-19 JP JP2024068325A patent/JP7627801B1/ja active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4966322B2 (ja) | 2008-03-10 | 2012-07-04 | エルジー エレクトロニクス インコーポレイティド | 端末機及びその制御方法 |
| US20110267318A1 (en) | 2010-04-28 | 2011-11-03 | Microsoft Corporation | Dynamic resistance control of a stylus |
| JP2014222492A (ja) | 2013-05-14 | 2014-11-27 | 株式会社東芝 | 描画装置及び描画システム |
| WO2015045482A1 (ja) | 2013-09-26 | 2015-04-02 | 富士通株式会社 | 駆動制御装置、電子機器、及び駆動制御方法 |
| US20170153763A1 (en) | 2014-07-02 | 2017-06-01 | 3M Innovative Properties Company | Touch systems and methods including rejection of unintentional touch signals |
| US20160170504A1 (en) | 2014-12-11 | 2016-06-16 | Microsoft Technology Licensing, Llc | Interactive stylus and display device |
| JP2019144964A (ja) | 2018-02-22 | 2019-08-29 | パナソニックＩｐマネジメント株式会社 | 触力覚提示装置および触力覚提示方法 |
| WO2023163114A1 (ja) | 2022-02-28 | 2023-08-31 | 株式会社ワコム | 位置検出システム及び電子ペン |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12159028B2 (en) | Scrolling techniques for user interfaces | |
| US10120446B2 (en) | Haptic input device | |
| US9619025B2 (en) | Method and system for operating a mobile device according to the rate of change of the touch area | |
| US8717287B2 (en) | Force sensations for haptic feedback computer interfaces | |
| KR102056175B1 (ko) | 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치 | |
| KR102161541B1 (ko) | 동적 햅틱 효과의 인코딩 | |
| WO2013114844A1 (ja) | 触覚提示装置および触覚提示装置の駆動方法、駆動プログラム | |
| US20060061545A1 (en) | Motion-activated control with haptic feedback | |
| EP2889717A1 (en) | Systems and methods for a haptically-enabled projected user interface | |
| US20140043242A1 (en) | Physically modulating friction in a stylus | |
| US20100289743A1 (en) | Laser pointer and gesture-based input device | |
| Martínez et al. | Vitaki: a vibrotactile prototyping toolkit for virtual reality and video games | |
| WO2019038888A1 (ja) | 振動制御装置 | |
| CN112835456A (zh) | 触控笔及控制方法 | |
| KR20100107997A (ko) | 펜형태의 촉감 제시 장치와 그를 이용한 촉감 인터페이스 시스템 | |
| JP7627801B1 (ja) | 情報処理システム、情報処理方法、およびプログラム | |
| JP7404584B1 (ja) | 入力デバイス制御システムおよび入力デバイス制御方法 | |
| US9710155B2 (en) | User interface | |
| JP7487385B1 (ja) | 情報処理システム、ペン型入力デバイス、およびプログラム | |
| JP7562893B1 (ja) | 情報処理システム | |
| JP7457863B1 (ja) | 情報処理システム | |
| JP7393568B1 (ja) | 情報処理システム、及び制御方法 | |
| JP7605937B1 (ja) | 入力デバイスおよび情報処理システム | |
| KR20200052540A (ko) | 밀도를 이용한 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체 | |
| JP2024175142A (ja) | 電子ペン及び触覚フィードバックの再生方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240419 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20240626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20241001 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250127 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7627801 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |