[go: up one dir, main page]

JPWO2014103274A1 - 表示制御システムおよび読取装置 - Google Patents

表示制御システムおよび読取装置 Download PDF

Info

Publication number
JPWO2014103274A1
JPWO2014103274A1 JP2014554130A JP2014554130A JPWO2014103274A1 JP WO2014103274 A1 JPWO2014103274 A1 JP WO2014103274A1 JP 2014554130 A JP2014554130 A JP 2014554130A JP 2014554130 A JP2014554130 A JP 2014554130A JP WO2014103274 A1 JPWO2014103274 A1 JP WO2014103274A1
Authority
JP
Japan
Prior art keywords
display panel
display
light
information pattern
digital pen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014554130A
Other languages
English (en)
Inventor
大三郎 松木
大三郎 松木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2014103274A1 publication Critical patent/JPWO2014103274A1/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542Light pens for emitting or receiving light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0384Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

表示制御システム100では、読取装置10が、光源14と、光源14から出射されて表示パネル24で反射した光を撮像する撮像光学系15とを備え、表示パネル24が、情報パターン3が形成された情報パターン層40と、情報パターン層40の背面側に配置されて光源14からの光を拡散反射する反射層48とを備えている。光源14は、撮像光学系15の光軸上以外の位置に配置されている。反射層48に対して撮像光学系15の光軸が垂直となり、且つ、読取装置10が表示パネル24に接触する状態において、光源14から出射される光の中心光線が反射層48に到達する点が、撮像光学系15の光軸と反射層48とが交わる点よりも、光源14側に位置する。

Description

本開示は、読取装置によって表示パネルに形成された情報パターンを光学的に読み取る表示制御システムなどに関する。
従来より、ペンを用いて紙の上に文字等を記入する際に、紙に記入した情報を電子化し、その電子化された情報をサーバや端末に送信する技術が知られている(特許文献1)。特許文献1では、紙面上に形成された複数のドットからなる情報パターンを読み取ることでペンの動きを検出している。
特開2007−226577号公報
ところで、近年、ユーザにスタイラスのような筆記具を用いて表示装置の表示面に文字等を記入させて、表示面に筆記具の軌跡をそのまま表示する手書き入力可能なシステムが開発されている。このようなシステムについて、特許文献1に記載された情報パターンの読み取り技術を適用することが考えられる。しかし、表示装置に情報パターンを設ける場合は、紙面上に情報パターンを設ける場合に比べて、情報パターンを読み取るための光の挙動が複雑になり、従来のシステムのままでは、情報パターンを精度良く読み取ることが困難である。
本開示は、表示パネルに形成された情報パターンの読み取り精度を向上させるのに有効な表示制御システムを提供する。
本開示における表示制御システムは、画像を表示する表示パネルと、表示パネルに形成された情報パターンを光学的に読み取る読取装置とを備える表示制御システムであって、読取装置は、表示パネルに対して光を出射する少なくとも1つ以上の光源と、光源から出射されて表示パネルで反射した光を撮像する撮像光学系と、を備え、表示パネルは、情報パターンが形成された情報パターン層と、情報パターン層の背面側に配置され、光源からの光を拡散反射する反射層と、を備え、光源は、撮像光学系の光軸上以外の位置に配置されており、反射層に対して撮像光学系の光軸が垂直となり、且つ、読取装置が表示パネルに接触する垂直接触状態において、光源から出射される光の中心光線が反射層に到達する点が、撮像光学系の光軸と反射層とが交わる点よりも、光源側に位置する。
また、本開示における読取装置は、情報パターンが形成された情報パターン層と、情報パターン層の背面側に配置されて光を拡散反射する反射層と有する表示パネルの情報パターンを光学的に読み取る読取装置であって、読取装置は、表示パネルに対して光を出射する少なくとも1つ以上の光源と、光源から出射されて表示パネルで反射した光を撮像する撮像光学系と、を備え、光源は、撮像光学系の光軸上以外の位置に配置されており、反射層に対して撮像光学系の光軸が垂直となり、且つ、当該読取装置が表示パネルに接触する状態において、光源から出射される光の中心光線が反射層に到達する点が、撮像光学系の光軸と反射層とが交わる点よりも、光源側に位置するように構成されている。
本開示によれば、情報パターンの読み取り精度を向上させるのに有効である。
図1は、表示制御システム100をユーザが使用している状況を示す概略図である。 図2は、表示制御システム100のブロック図である。 図3は、表示パネル24の断面図である。 図4は、デジタルペン10の概略構成を示す断面図である。 図5は、照射部14からの光の中心光線Lcが反射シート表面48aに到達する点xcと、対物レンズ15aの光軸Aが反射シート表面48aと交わる点xaとの位置関係を説明するための概略図である。 図6は、パネル表面32aで反射した反射光の光線と絞り18bとの位置関係を説明するための概略図である。 図7は、照射部14が2つ有る場合の変形例を示す概略図である。 図8は、情報パターン3を説明するための概略図である。 図9は、マーク31の位置によって、マーク31の位置を数値化した情報が異なることを説明するための概略図である。 図10は、表示制御システム100の処理の流れを示すフローチャートである。 図11は、表示制御システム200のブロック図である。 図12は、表示制御システム200の処理の流れを示すフローチャートである。 図13は、情報パターン3のその他の例を示す概略図である。
以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
尚、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するものであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(実施形態1)
以下、図1〜10を用いて、実施形態1を説明する。
[1.表示制御システムの概要]
図1は、実施形態1に係る表示制御システム100の外観を示す概略図である。表示制御システム100は、光学式デジタルペン(以下、単に「デジタルペン」と称する。)10と、表示装置20とを備えている。デジタルペン10は、読取装置の一例である。
詳しくは後述するが、表示装置20は、液晶ディスプレイであり、表示パネル24(表示部)の表示面に様々な画像を表示することができる。また、表示装置20には、表示パネル24の表示面上における位置に関する情報を表す情報パターン3(ドットパターン)が設けられている。情報パターン3は、表示パネル24の正面視において、表示パネル24の表示面に重なるように設けられている。デジタルペン10は、情報パターン3を光学的に読み取ることによって、表示パネル24の表示面上におけるデジタルペン10の先端の位置に関する情報(以下、「位置情報」ともいう)を検出し、その位置情報を表示装置20に送信する。表示装置20は、その位置情報を入力として受け取り、様々な表示制御を行う。
例えば、デジタルペン10の先端を表示パネル24上で移動させた場合に、デジタルペン10は、連続的に読み取った情報パターン3から、デジタルペン10の先端の軌跡として、連続的な位置情報を検出する。表示装置20は、デジタルペン10の先端の軌跡に応じて、表示パネル24に点を連続的に表示する。これにより、デジタルペン10を用いて、表示パネル24に文字や図形等を手書き入力することができる。または、表示装置20は、デジタルペン10の軌跡に応じて、表示パネル24が表示している点を連続的に消去する。これにより、デジタルペン10を消しゴムのように用いて、表示パネル24の文字や図形を消去することができる。すなわち、デジタルペン10は、読み取り装置として機能すると共に、表示制御システム100への入力装置としても機能する。
[2.表示装置の構成]
以下、表示装置20について説明する。図2は、表示制御システム100の概略構成を示すブロック図である。
表示装置20は、外部からの信号を受信する受信部22と、表示装置20全体を制御する表示側マイコン23と、画像を表示する表示パネル24とを有している。
受信部22は、詳しくは後述するが、デジタルペン10から送信された信号を受信する。受信部22が受信した信号は、表示側マイコン23に送られる。
表示側マイコン23は、CPU及びメモリなどから構成されている。表示側マイコン23には、CPUを動作させるためのプログラムが実装されている。例えば、表示側マイコン23は、デジタルペン10から送信された信号に基づいて表示パネル24を制御して、表示パネル24に表示させる内容を変更する。
図3は、情報パターン3を配置した表示パネル24の構成を示す概略断面図である。図3に示す表示パネル24は、アクティブマトリックス方式のTFTカラー液晶表示パネルの一例である。
図3において、表示パネル24(液晶パネル部)は、対向する2枚の基板41、42の間に、液晶部材43を封入することにより構成されている。各基板41、42は、光透過性を有する板材であり、例えばガラス基板を用いることができる。なお、図示していないが、表示パネル24のうち、背面側(図3において下側)の基板41上には、液晶の駆動素子である薄膜トランジスタと、第1の透明電極と、信号電極と、走査電極とが形成されている。また、表示パネル24のうち、表面側(図3において上側)の基板42の背面側(基板41と対向する側)には、少なくとも赤(R)、緑(G)、青(B)の各色の副画素5R、5G、5B(サブピクセル)を有する画素5と、画素5及び副画素5R、5G、5Bを区画するブラックマトリクス45と、第2の透明電極とが形成されている。ブラックマトリクス45は、副画素5R、5G、5Bに対応した開口部を有するとともに、副画素5R、5G、5Bの境界部を遮光するクロムなどの金属薄膜からなる遮光部材である。画素5とブラックマトリクス45は、カラーフィルタ44に形成されている。そして、2枚の基板41、42に形成した透明電極の間には、封入された液晶部材43が配置される。さらに、それぞれの基板41、42の外側の面には、偏光板46が配置されている。各偏光板46は、各基板41、42に貼り付けられている。
なお、カラーフィルタ44は、RGBのカラーフィルタに限定されない。カラーフィルタ44に、シアン(C)、マゼンダ(M)、又はイエロー(Y)などの色の副画素を形成してもよいし、白(W)の副画素を形成してもよい。
この表示パネル24の背面側の部位(具体的に、図3において下側の基板41に貼り付けられた偏光板46の下側)には、バックライト装置51が配置されている。バックライト装置51は、面光源部材47と、拡散反射シート48とを有する。また、表示パネル24の表面側の部位(具体的に、図3において上側の基板42に貼り付けられた偏光板46の上側)には、オンセル型で静電容量方式のタッチパネル49が配置されている。なお、タッチパネル49については、インセル型のタッチパネルであってもよく、また抵抗感圧方式などの他の方式のタッチパネルでもよい。また、表示パネル24から、タッチパネル49自体を省いた構成としてもよい。
表示パネル24は、色が互いに異なる複数の副画素5R、5G、5B(サブピクセル)からなる画素5が、マトリクス状に複数個配置された構成である。表示パネル24は、それぞれの画素5を構成する副画素5R、5G、5Bの薄膜トランジスタそれぞれのオン/オフが制御され、液晶部材43の偏光性が選択的に制御されることで、文字や画像をカラー表示することができる。
また、表示パネル24のタッチパネル49上には、デジタルペン10により位置情報の検出を行うための複数の情報パターン3(位置情報パターン)が配置されている。各情報パターン3は、複数のマーク31(ドット)を有する。この情報パターン3は、図3に示すように、樹脂製で透光性のベースフィルム32上に、円形状又は方形状などの複数のマーク31を所定の配列パターンで形成し、複数のマーク31を覆うようにベースフィルム32上に透光性の樹脂層33を形成することにより構成されている。樹脂層33は、屈折率を調整するための層である。ベースフィルム32及び樹脂層33の積層体は、情報パターン3が形成された情報パターン層に相当する光学フィルム40となる。さらに、樹脂層33上には、透光性の粘着材からなる粘着層34が設けられている。光学フィルム40は、ベースフィルム32が表側になるように、粘着層34により樹脂層33側がタッチパネル49上に貼り付けられている。
情報パターン3のマーク31は、可視光を透過し、且つ、赤外線を吸収する材料により形成している。そのため、表示パネル24で表示される可視光領域のカラー表示画像に対する影響を少なくすることができる。
図3に示すように、デジタルペン10から放射された赤外光113は、デジタルペン10の先端が指す表示パネル24の表示面に照射される。表示面に照射された赤外光113は、表示パネル24を透過して拡散反射シート48に到達し、拡散反射シート48で拡散反射する。そのため、赤外光113の一部がデジタルペン10側へ反射する。デジタルペン10側へ反射した赤外光124は、情報パターン3の形成領域を通過する。このとき、情報パターン3において、マーク31が配置された領域では赤外光124が吸収され、マーク31が配置されていない領域では、赤外光124が透過する。これにより、デジタルペン10に入射してくる赤外光124を読取部15で受光して情報パターン3を読み取ることにより、情報パターン3に形成されたマーク31よって表される位置情報(座標情報)を検出することができる。
[3.デジタルペンの構成]
次に、デジタルペン10の詳細な構成について説明する。図4は、デジタルペン10の概略構成を示す断面図である。
デジタルペン10は、円筒状の本体ケース11と、本体ケース11の先端に取り付けられたペン先部12と、ペン先部12に作用する圧力を検出する圧力センサ13と、赤外光を出射する照射部14と、入射してきた赤外光を光学的に読み取る読取部15と、デジタルペン10を制御する制御部16と、外部へ信号を出力する送信部17と、デジタルペン10の各部材に電力を供給する電源19とを有している。また、デジタルペン10は、読取部15へ入射する光の光量を制限するための絞り18aおよび絞り18bを有している。絞り18aおよび絞り18bの詳細については後述する。
本体ケース11は、一般的なペンと同様の外形形状であり、円筒状に形成されている。ペン先部12は、先細形状に形成されている。ペン先部12の先端は、表示パネル24の表面を傷つけない程度の丸みを帯びている。また、ペン先部12の形状は、ユーザが表示パネル24に表示される画像を認識しやすい形状であることが好ましい。
圧力センサ13は、本体ケース11に内蔵され、ペン先部12の基端部に連結されている。圧力センサ13は、ペン先部12に加わる圧力を検出し、その検出結果を制御部16へ送信する。具体的には、圧力センサ13は、ユーザがデジタルペン10を用いて表示パネル24上に文字などを記入する際に、表示パネル24からペン先部12に加わる圧力を検出する。つまり、圧力センサ13は、デジタルペン10を用いたユーザの入力意思の有無を判定する際に用いられる。
照射部14は、本体ケース11の先端部において、例えばペン先部12の近傍に設けられている。照射部14は、例えば、赤外線LEDで構成されている。照射部14は、本体ケース11の先端から赤外光を照射するように設けられている。
読取部15は、対物レンズ15aと、撮像素子15bとを有している。対物レンズ15aは、ペン先側から入射してくる光を撮像素子15bに結像させる。対物レンズ15aは、本体ケース11の先端側に設けられている。ここで、デジタルペン10の先端を表示装置20の表示面に向けた状態で照射部14から赤外光を照射すると、赤外光は表示パネル24を透過して、表示パネル24の裏側に位置する拡散反射シート48で拡散反射する。その結果、デジタルペン10の角度に拘わらず、表示パネル24を透過した赤外光の一部が、デジタルペン10側へ戻ってくる。対物レンズ15aには、照射部14から出射されて拡散反射シート48で拡散反射した赤外光が入射する。撮像素子15bは、対物レンズ15aの光軸上(すなわち、撮像光学系の光軸上)に設けられている。撮像素子15bは、撮像面に結像した光学像を電気信号に変換して画像信号を生成し、その画像信号を制御部16へ出力する。撮像素子15bは、例えば、CCDイメージセンサ又はCMOSイメージセンサで構成される。詳しくは後述するが、情報パターン3は、赤外光を吸収する材料(赤外光に対する透過率が低い材料)で形成されている。そのため、情報パターン3のマーク31からは、赤外光がデジタルペン10へほとんど戻ってこない。他方、マーク31間の領域からは、マーク31の領域よりも多くの赤外光が戻ってくる。その結果、情報パターン3のパターン形状が黒く表現された光学像が、撮像素子15bに撮像される。
制御部16は、図2に示すように、特定部16aと、ペン側マイコン16bとを有する。特定部16aは、読取部15からの画像信号に基づいて、表示パネル24上におけるデジタルペン10の位置情報を特定する。詳しくは、特定部16aは、読取部15から取得した画像信号から情報パターン3のパターン形状を取得し、パターン形状に基づいて表示パネル24上におけるペン先部12の位置情報を特定する。特定部16aにより特定されたペン先部12の位置に関する位置情報は、ペン側マイコン16bを介して送信部17へ送られる。ペン側マイコン16bは、デジタルペン10全体を制御する。ペン側マイコン16bは、CPU及びメモリなどから構成されており、CPUを動作させるためのプログラムが実装されている。
送信部17は、信号を外部に送信する。具体的には、送信部17は、特定部16aにより特定された位置情報を外部へ無線送信する。送信部17は、表示装置20の受信部22と近距離無線通信を行う。送信部17は、本体ケース11のうちペン先部12とは反対側の端部に設けられている。
図5は、照射部14からの光の中心光線Lcが反射シート表面48aに到達する点xcと、対物レンズ15aの光軸Aが反射シート表面48aと交わる点xaとの位置関係を説明するための概略図である。
光源である照射部14から出射された光は、表示パネル24のうち、ベースフィルム32から面光源部材47までの部材により構成された積層体モジュールM内に、パネル表面32aから入射し、反射シート表面48aで反射拡散される。パネル表面32aは、図3に示すベースフィルム32の最表面、つまり表示パネル24の最表面である。反射シート表面48aは、図3に示す拡散反射シート48の表面である。パネル表面32aと反射シート表面48a(拡散反射シート48のシート面)は、互いに平行となっている。なお、図3に示したように、積層体モジュールMは、複数の部材で構成されているが、図5では、説明を容易にするため、パネル表面32aと反射シート表面48aのみを示している。
パネル表面32aと反射シート表面48aとの間には、情報パターン3が形成された情報パターン層として、光学フィルム40(図5には図示せず)が配置されている。
本実施形態では、照射部14は、対物レンズ15aの光軸Aから離れて配置されている。つまり、照射部14は、撮像光学系の光軸A上以外の位置に配置されている。また、照射部14から出射される光の中心光線Lcの向きは、対物レンズ15aの光軸Aに対して傾いている。図5は、光軸Aがパネル表面32a及び反射シート表面48aに対して垂直になるようにデジタルペン10のペン先部12の先端をパネル表面32aに接触させた垂直接触状態である。この垂直接触状態において、照射部14から出射される光の中心光線Lcが積層体モジュールMによって屈折して反射シート表面48aに到達する交点xcが、光軸Aと反射シート表面48aとが交わる交点xaよりも、X軸の正方向側に存在している。つまり、反射シート表面48a上において、交点xcが交点xaよりも照射部14側に位置している。このような構成により、情報パターン3の読み取り精度を向上させることができる。
以下、詳細について説明する。まず、図5で用いた座標系の定義について説明する。
図5において左右方向をX軸方向(右が正、左が負)、上下方向をY軸方向(上が正、下が負)と定義する。図5では、対物レンズ15aの光軸AとY軸が一致しており、パネル表面32aとX軸が一致している。光軸Aとパネル表面32aとの交点がXY座標系の原点となる。
照射部14の発光中心の座標を(X,Y)、照射部14から出射される光の中心光線をLc、照射部14の発光中心(X,Y)からY軸方向に延ばした線分Bと中心光線Lcとのなす角度(すなわち、パネル表面32aに対する照射部14の傾斜角度)をθL、半値角をθ1/2、とする。半値角とは、光源上の軸上光度(図5では、照射部14の中心光線Lcの光度)を1としたときに、光源に対してθ傾いた方向から見える光度の割合が0.5となる角度のことである。ただし、発光中心(X,Y)を中心として時計回りの方向を+方向の角度とする。
モジュール厚Dは、積層体モジュールMのY方向の厚みであり、パネル表面32aから反射シート表面48aまでの距離である。このとき、積層体モジュールMの等価屈折率をnとする。等価屈折率nは、積層体モジュールMを単一部材とみなしたときの屈折率であり、積層体モジュールM内では光線は直進すると仮定する。
また、上記垂直接触状態における、デジタルペン10によるパネル表面32aでの撮影範囲をWとする。図5では、撮影範囲Wとして、X軸方向の範囲が示されている。
照射部14から出射された光線は、傾斜角度θLの中心光線Lcを中心として、半値角度±θ1/2の角度範囲に主に照射される。中心光線Lcに対して+側の半値角度で示す光線(上側光線Luと呼ぶ)の光線角度はθL+θ1/2であり、中心光線Lcに対して−側の半値角度で示す光線(下側光線Ldと呼ぶ)の光線角度はθL−θ1/2、である。
中心光線Lcは、模式的には、図5に示すように、パネル表面32aにおいてスネルの法則に従い等価屈折率nなどから決まる屈折角度で屈折し、積層体モジュールM内を直進し、反射シート表面48aで拡散反射される。なお、実際には、積層体モジュールM内では、屈折率が一定の領域で光が直進し、屈折率が変化する界面で光が屈折する。
ここで、パネル表面32aで屈折するときの光線の入射角度をθi、屈折角度をθr、とすると、中心光線Lcが反射シート表面48aに到達する位置のX座標xcは、数式(1)〜(3)で表される。
θi=θL、sinθi=n×sinθr・・・(1)
xc=X0−Y0×tanθL−D×tanθr・・・(2)
xc=X0−Y0×tanθL−D×tan(sin−1(sinθL/n))・・・(3)
同様にして、上側光線Luが反射シート表面48aに到達する位置のX座標xuは、数式(4)〜(6)で表される。
θi=θL+θ1/2、sinθi=n×sinθr・・・(4)
xu=X0−Y0×tan(θL+θ1/2)−D×tanθr・・・(5)
xu=X0−Y0×tan(θL+θ1/2)−D×tan(sin−1((θL+θ1/2)/n))・・・(6)
下側光線Ldが反射シート表面48aに到達する位置のX座標xdは、数式(7)〜(9)で表される。
θi=θL−θ1/2、sinθi=n×sinθr・・・(7)
xd=X0−Y0×tan(θL−θ1/2)−D×tanθr・・・(8)
xd=X0−Y0×tan(θL−θ1/2)−D×tan(sin−1((θL−θ1/2)/n))・・・(9)
したがって、反射シート表面48a上のX軸方向における主照明範囲W’(上側光線Luが反射シート表面48aに到達する点xuから、下側光線Ldが反射シート表面48aに到達する点xdまでの範囲)は、数式(10)で表される。
W’=xd−xu
=Y0×(tan(θL−θ1/2)−tan(θL+θ1/2))+D×(tan(sin−1((θL−θ1/2)/n)−sin−1((θL+θ1/2)/n))・・・(10)
一般的には、撮影範囲において照明むらが少ないほど、かつ明るい照明であるほど、情報パターン3の認識率が良く、結果的に座標検出率が向上する。
本実施形態の表示制御システム100は、中心光線Lcの到達位置を表すX座標xcがxc>0の条件を満たすように構成されている。ここで、反射シート表面48aでは、完全拡散は生じず、実際には、反射光に鏡面反射成分が含まれる。そのため、ランバート光源とは異なり、X軸方向の−側に相対的に強い指向性をもつ。反射シート表面48aで反射および拡散された光線は、さらに積層体モジュールM内を直線状に進み、パネル表面32aで屈折して、積層体モジュールMから出射する。このとき、パネル表面32aでは、X座標xcよりX軸方向の−側で相対的に明るく、X座標xcよりX軸方向の+側で相対的に暗い照明分布となる。したがって、xc>0という条件を満たす構成にすることで、つまり、撮影範囲Wの中心よりX座標xcがX軸方向の+側となるようにすることで、撮影範囲Wにおいて照明むらを抑えることができる。
ここで、xc≦0の場合について説明する。xc≦0の場合、パネル表面32aでは、X座標xcよりX軸方向の−側で相対的に明るくなる一方で、最も明るい照明分布が撮影範囲Wからはずれ、X座標xcよりX軸方向の+側ではさらに相対的に暗い照明分布となる。したがって、xc≦0の場合、撮影範囲Wにおいて、照明むらが発生しやすくなり、情報パターン3の認識率が悪化し、結果的に座標検出率が低下する。
なお、xc>0という条件は、照射部14が出射する光の中心波長に対して満足している。例えば、照射部14は、中心波長が850nm以上の赤外光を出射する。また、xc>0という条件は、例えば、反射シート表面48aに対して対物レンズ15aの光軸が45度傾き、且つ、デジタルペン10のペン先部12の先端が表示パネル24の表面に接触する状態でも成立する。
さらに、反射シート表面48aにおける上記主照明範囲をW’は、W<W’(すなわち、撮影範囲Wよりも、反射シート表面48aにおける主照明範囲W’が広い)という条件を満たすことが望ましい。このような構成により、反射シート表面48aで拡散反射された光の分布の幅が広くなる。その結果、撮影範囲Wにおいて、さらに照明むらが少なくなるため、情報パターン3の認識率が良く、結果的に座標検出率がさらに向上する。
逆にW<W’であると、反射シート表面48aで拡散反射される光の分布の幅が小さくなる。その結果、撮影範囲Wにおいて、照明むらが発生しやすくなり、情報パターン3の認識率が悪化し、結果的に座標検出率が低下する。
図6は、パネル表面32aで発生する反射成分と絞り18bとの位置関係を示す概略図である。
図6に示すように、本実施形態では、光量制限のための絞り18aがレンズ鏡筒9内に設けられている。そして、絞り18aとは別に、画角制御用の絞り(開口部材:アパーチャ)18bが設けられている。なお、図6では、光線の説明を容易にするため、絞り18bを点線で図示している。また、絞り18bは、図6の寸法線Lで示した範囲のいずれかの位置において、設置可能である。絞り18bの開口の大きさは、絞り18bを配置する位置に応じて適宜変更すればよい。ここで、パネル表面32aにおいて照射部14から出射された光の反射成分が発生するが、通常では、撮影範囲Wより十分に外の位置で発生した反射成分は、レンズ鏡筒9へ向かわないため問題ない。しかし、本実施形態においては、撮影範囲Wの外周の外側近傍で中心光線Lcが反射するような条件下でも使用される可能性がある。この反射成分は、図6に示すように、絞り18bがなければ、パネル表面32aからレンズ鏡筒9へ向かい、レンズ鏡筒9内で反射や拡散する。これにより、ゴーストやフレアが発生し、情報パターン3を読み取る際にエラー要因となる。その結果、デジタルペン10における座標検出率が大幅に悪化する。
本実施形態においては、画角制御用の開口部材18b(アパーチャ)を設けている。照射部14の光の中心光線Lcがレンズ鏡筒9に入射しないように、開口部材18bの開口部に対して、照射部14の位置及び傾きが設定されているということもできる。そのため、画角外の光線がレンズ鏡筒9内で反射や拡散することに起因するゴーストやフレアの発生を抑制することができる。さらに、この開口部材18bによって、ペン先部12で反射した照射部14からの反射光も同時に抑える効果をもたせることができる。
図7に、本実施形態の変形例を示す。図7のデジタルペン10は、R側照射部14R及びL側照射部14Lの2つの光源が配置されている点で、図5に示した構成と異なっている。
図7に示すように、パネル表面32aにおいてペン先部12の先端の中心の位置と撮影範囲Wの中心の位置が互いに異なっていてもよい。言い換えると、ペン先部12の先端の中心の位置が対物レンズ15aの光軸からずれていてもよい。また、R側照射部14RとL側照射部14Lは、対物レンズ15aの光軸に対して非対称に配置されていても良い。さらに、傾斜角度θLが、R側照射部14RとL側照射部14Lとで互いに異なっていてもよい。
画角制御用の絞り18bの開口部は、R側照射部14RやL側照射部14LよりもY軸方向の+側の位置、かつレンズ鏡筒9よりもY軸方向の−側の位置に配置されている。
R側照射部14Rの光線がパネル表面32aで反射を起こし、過度の明るさで撮影画像が飽和してしまい結果的に座標検出ができない場合がある。このような場合、使用する照射部14をR側照射部14RからL側照射部14Lへ切り替えて、L側照射部14Lによって照明する。このとき、L側照射部14Lの反射条件角度は、R側照射部14Rの反射条件角度と異なるために、R側照射部14Rで照明する場合と、L側照射部14Lで照明する場合の両方で撮影画像が飽和せず、任意のペン角度において座標検出ができる。
なお、本実施例は、照射部14が2個配置された場合を示しているが、少なくとも1個の照射部14が前述した条件(xc>0)を満たしているのが望ましい。
[4.情報パターンの詳細]
図8は、マーク31の配置パターンを示す図である。図8には、マーク31の位置を説明するために、仮想の線(実際には存在しない線)として、第1基準線54と第2基準線55とを記載している。第1基準線44と第2基準線55は互いに直交している。図8では、例えば等間隔に配列された複数の第1基準線54と、例えば等間隔に配列された複数の第2基準線55により格子が形成されている。
各マーク31は、第1基準線54と第2基準線55の交点から、第1基準線54の延伸方向、又は、第2基準線55の延伸方向に沿う四方向の何れかに、シフト(オフセット)した位置に配置される。具体的には、マーク31は、図9(a)〜(d)の何れかの配置をとる。図9(a)の配置では、マーク31は、第1基準線54と第2基準線55との交点の上側の位置に配置される。この配置を数値化する際には「1」で表す。図9(b)の配置では、マーク31は、第1基準線54と第2基準線55との交点の右側の位置に配置される。この配置を数値化する際には「2」で表す。図9(c)の配置では、マーク31は、第1基準線54と第2基準線55との交点の下側の位置に配置される。この配置を数値化する際には「3」で表す。図9(d)の配置では、マーク31は、第1基準線54と第2基準線55との交点の左側の位置に配置される。この配置を数値化する際には「4」で表す。各マーク31は、その配置パターンに応じて、デジタルペン10において「1」から「4」の数値で表される。
そして、図8(b)に示すように、6マーク×6マークを1つの単位エリア50として、単位エリア50に含まれる36個のマーク31で1つの情報パターン3を形成する。単位エリア50に含まれる36個のマーク31のそれぞれを、図9に示す「1」〜「4」の何れかの配置とすることによって、互いに異なる情報を持つ、膨大な数の情報パターン3を形成することができる。光学フィルム40では、全ての情報パターン3が、互いに異なるパターンとなっている。
これらの情報パターン3の1つ1つには、情報を付加されている。詳しくは、各情報パターン3は、単位エリア50ごとの位置座標を表している。つまり、光学フィルム40を、6マーク×6マークの単位エリア50で分割すると、各単位エリア50の情報パターン3はその単位エリア50の位置座標を表している。図8(b)では、エリア50aの情報パターン3は、エリア50aの中心位置の位置座標を表し、エリア50bの情報パターン3は、エリア50bの中心位置の位置座標を表す。図8(b)においてペン先が右下へ斜めに移動すると、デジタルペン10が読み取るエリア50は、エリア50aからエリア50bへ変化する。このような情報パターン3のパターンニング(コーディング)や座標変換(デコーディング)の方法は、例えば、特開2006−141061号公報に開示されているような公知の方法を用いることができる。
[5.マークの材料]
マーク31は、可視光(波長400〜700nmの光)を透過し、且つ、赤外光(波長700nm以上の光)を吸収する材料で形成されている。マーク31は、例えば波長800nm以上の赤外光を吸収する材料で形成されている。具体的には、マーク31は、可視光に対して90%以上の透過率を有し、且つ、赤外光に対しては50%以下(例えば、20%以下)の透過率を有する材料で形成されている。例えば、マーク31は、赤外光に対しては透過率が10%の材料で形成してもよい。
このような材料として、例えば、ジイモニウム系、フタロシアニン系、シアニン系等の化合物が挙げられる。これらの材料は、単独で用いてもよく、混合して用いてもよい。ジイモニウム系の化合物として、ジイモニウム塩系化合物を含むことが好ましい。ジイモニウム塩系化合物は、近赤外線領域の吸収量が大きく、吸収域も広く、可視光領域の透過率が高い特性を有する。ジイモニウム塩系化合物は、市販品を用いることができ、例えば、日本化薬株式会社製のKAYASORBシリーズ(Kayasorb IRG−022,IRG−023,IRG−024等)や日本カーリット株式会社製のCIR−1080,CIR−1081,CIR−1083,CIR−1085等が好適である。シアニン系化合物は、市販品を用いることができ、例えば、株式会社ADEKA製のTZシリーズ(TZ−103,TZ−104,TZ−105等)や日本化薬株式会社製のCY−9,CY−10等が好適である。
[6.動作]
続いて、このように構成された表示制御システム100の動作について説明する。図10は、表示制御システム100の処理の流れを示すフローチャートである。以下では、ユーザが、デジタルペン10を用いて表示装置20に文字をペン入力(記入)する場合について説明する。
まず、表示制御システム100の電源がオンされると、ステップS11において、デジタルペン10のペン側マイコン16bは、ペン先部12に作用する圧力の監視を開始する。この圧力の検出は、圧力センサ13が行う。圧力センサ13によって圧力が検出されると(Yes)、ペン側マイコン16bは、ユーザが表示装置20の表示パネル24に対して文字をペン入力していると判定し、ステップS12へ進む。圧力センサ13によって圧力が検出されていない間(Noが続く間)は、ペン側マイコン16bは、ステップS11を繰り返す。尚、デジタルペン10の電源がオンされると、照射部14は赤外光の照射を開始する。圧力センサ13により圧力が検出されると、照射部14から赤外光が出射されるようにしてもよい。
ステップS12では、デジタルペン10の読取部15が、表示パネル24に形成された情報パターン3を検出する。ここで、照射部14から照射された赤外光は、上述の拡散反射シート48で拡散反射し、一部の赤外光がデジタルペン10側へ戻ってくる。そして、デジタルペン10側へ戻る赤外光は、情報パターン3のマーク31をほとんど透過しない。対物レンズ15aには主にマーク31間の領域を透過した赤外光が到達する。そして、赤外光は、対物レンズ15aを介して撮像素子15bに受光される。対物レンズ15aは、表示パネル24上においてペン先部12が指示している位置からの反射光を受光するように配置されている。その結果、表示パネル24の表示面上におけるペン先部12の指示位置の情報パターン3が撮像素子15bにより撮像される。このようにして、読取部15は、情報パターン3を光学的に読み取る。読取部15が取得した画像信号は、特定部16aに送信される。
ステップS13では、特定部16aが、画像信号から情報パターン3のパターン形状を取得し、そのパターン形状に基づいて、表示パネル24の表示面上におけるペン先部12の位置を特定する。詳しくは、特定部16aは、得られた画像信号に所定の画像処理を施すことにより、情報パターン3のパターン形状を取得する。続いて、特定部16aは、取得したパターン形状におけるマーク31の配列から、どの単位エリア50(6マーク×6マークの単位エリア)であるかを割り出すと共に、単位エリア50の情報パターン3からその単位エリア50の位置座標(位置情報)を特定する。特定部16aは、情報パターン3のコーディング方法に対応した所定の演算により、情報パターン3を位置座標に変換する。特定された位置情報は、ペン側マイコン16bに送信される。
続いて、ステップS14では、ペン側マイコン16bは、送信部17を介して位置情報を表示装置20へ送信する。
デジタルペン10から送信された位置情報は、表示装置20の受信部22により受信される。受信された位置情報は、受信部22から表示側マイコン23に送信される。ステップS15において、表示側マイコン23は、位置情報を受信すると、表示パネル24の表示面において位置情報に対応する位置の表示内容を変更するように表示パネル24を制御する。この例では、文字の入力なので、表示パネル24の表示面において位置情報に対応する位置に点を表示する。
続いて、ステップS16において、ペン側マイコン16bは、ユーザによるペン入力が継続しているか否かを判定する。圧力センサ13が圧力を検出している場合には、ペン側マイコン16bは、ユーザによるペン入力が継続していると判定して、ステップS12へ戻る。そして、ステップS12からステップS16のフローを繰り返すことによって、デジタルペン10のペン先部12の移動に追従して、表示パネル24の表示面上におけるペン先部12の位置に、点が連続的に表示される。最終的には、デジタルペン10のペン先部12の軌跡に応じた文字が表示装置20の表示パネル24に表示される。
一方、ステップS16において、圧力センサ13が圧力を検出しない場合には、ペン側マイコン16bは、ユーザによるペン入力が継続していないと判定して、処理を終了する。
こうして、表示装置20が表示パネル24の表示面上におけるデジタルペン10の先端の軌跡を表示パネル24に表示する。これによって、デジタルペン10を用いた表示パネル24への手書き入力を行うことができる。
尚、以上の説明では、文字を記入する場合について説明したが、表示制御システム100の使い方は、これに限られるものでない。文字(数字など)に限らず、記号及び図形等を記入できることはもちろんのことであるが、デジタルペン10を消しゴムのように用いて、表示パネル24に表示された文字、及び図形等を消すこともできる。つまり、表示装置20は、デジタルペン10の先端の移動に追従して、表示パネル24上におけるデジタルペン10の先端の位置の表示を連続的に消去することによって、表示パネル24上におけるデジタルペン10の先端の軌跡と一致する部分の表示を消去することができる。さらには、デジタルペン10をマウスのように用いて、表示パネル24に表示されるカーソルを移動させたり、表示パネル24に表示されるアイコンを選択したりすることもできる。すなわち、デジタルペン10を用いて、グラフィッカルユーザインターフェイス(GUI)を操作することもできる。このように、表示制御システム100においては、デジタルペン10が指示する表示パネル24上の位置に応じて、表示装置20への入力が行われ、表示装置20がその入力に応じて様々な表示制御を行う。
[7.実施形態の効果]
上述したとおり、本実施形態の表示制御システム100は、表示装置20と、表示装置20に形成された情報パターン3を読み取るデジタルペン10とを備える。デジタルペン10は、表示装置20に対して光を出射する少なくとも1つ以上の照射部14と、表示装置20から反射した光を撮像する読取部15とを備える。表示装置20は、マーク31が形成された光学フィルム40と、光学フィルム40の背面側に配置されて照射部14からの光を拡散反射する拡散反射シート48とを備える。照射部14は、読取部15の光軸Aと離れて配置されている。光軸Aから照射部14に向かう方向を第1方向(X軸正方向)とした場合、照射部14から出射される光の中心光線Lcと拡散反射シート48とが交わる点が、光軸Aと拡散反射シート48とが交わる点よりも第1方向(X軸正方向)側に存在する。すなわち、拡散反射シート48のシート面に対して読取部15の光軸Aが垂直となり、且つ、デジタルペン10のペン先部12の先端が表示パネル24に接触する垂直接触状態において、照射部14から出射される光の中心光線Lcが拡散反射シート48に到達する点が、読取部15の光軸Aと拡散反射シート48とが交わる点よりも、照射部14側に位置する。
このような構成により、撮影範囲Wにおいて照明むらを抑えることができる。その結果、情報パターン3の読み取り精度を向上させることができる。
また、垂直接触状態において、照射部14からの光のうち、最大光度の半分以上の光度を有する光線により照明される拡散反射シート48上の主照明範囲W’は、読取部15による表示パネル24の表面32a上の撮像範囲Wよりも広い。例えば、表示パネル24を正面から見た場合に、撮像範囲W全体が主照明範囲W’内に位置している。このような構成により、撮影範囲Wにおいて、さらに照明むらが少なくなるため、情報パターン3の認識率が良く、結果的に座標検出率がさらに向上する。
(その他の実施形態)
以上のように、本出願において開示する技術の例示として、実施形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記実施形態1で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。そこで、以下、他の実施形態を例示する。
上記実施形態1では、表示装置として液晶ディスプレイを例に挙げて説明したが、これには限られるものではない。表示装置20は、プラズマディスプレイ、有機ELディスプレイ、又は無機ELディスプレイなどの、文字や映像を表示可能な装置であればよい。また、表示装置20は、電子ペーパーのように表示面が自由に変形する装置であってもよい。
また、表示装置20は、ノートPC又は携帯型タブレットのディスプレイであってもよい。さらには、表示装置20は、テレビ又は電子黒板等であってもよい。
上記実施形態1では、情報パターン3が形成された光学フィルム40をカラーフィルタ44上に配置する構成としたが、これには限られるものではない。カラーフィルタ44に直接マーク31を形成する構成であってもよい。
デジタルペン10又は表示装置20は、デジタルペン10からの位置情報の入力を受けて行う処理を切り替える切替部を有していてもよい。具体的には、デジタルペン10にスイッチを設け、文字等の入力、文字等の消去、カーソルの移動、及びアイコンの選択等をそのスイッチにより切り替え可能に構成してもよい。あるいは、表示装置20に、文字等の入力、文字等の消去、カーソルの移動、及びアイコンの選択等を切り替えるためのアイコンを表示させ、デジタルペン10を用いてそれらのアイコンを選択可能に構成してもよい。さらに、デジタルペン10や表示装置20に、マウスの右クリックや左クリックに相当するスイッチを設けてもよい。これにより、GUIの操作性をさらに向上させることができる。
また、上記実施形態1のデジタルペン10及び表示装置20の構成は、一例であって、これらに限られるものではない。
また、上記実施形態1では、デジタルペン10と表示装置20との間の信号の送受信は、無線通信により行われているが、これに限られるものではない。デジタルペン10と表示装置20とが有線で接続されており、その有線を介して信号の送受信を行ってもよい。
また、上記実施形態1では、デジタルペン10で位置情報の特定を行って、その位置情報を表示装置20へ送信しているが、これに限られるものではない。図11は、その他の実施形態に係る表示制御システム200のブロック図である。図11に示すデジタルペン210は、圧力センサ13と、照射部14と、読取部15と、制御部216と、送信部17とを有している。圧力センサ13、照射部14、読取部15及び送信部17の構成は、上記実施形態1と同様である。制御部216は、ペン側マイコン16bを有し、実施形態1の特定部16aを有していない。つまり、制御部216は、撮像素子15bから入力された画像信号を、その画像信号からデジタルペン210の位置情報を特定することなく、送信部17へ出力する。こうして、デジタルペン210からは、撮像素子15bで撮像した画像信号が送信される。図11に示す表示装置220は、外部からの信号を受信する受信部22と、表示装置220全体を制御する表示側マイコン23と、画像を表示する表示パネル24と、デジタルペン10の位置を特定する特定部240とを有している。受信部22、表示側マイコン23及び表示パネル24の構成は、上記実施形態1と同様である。表示パネル24には、複数の情報パターン3が形成されている。受信部22は、デジタルペン210から送信された画像信号を受信して、その画像信号を特定部240に送信する。特定部240は、上記実施形態1におけるデジタルペン10の特定部16aと同様の機能を有する。この構成によれば、図12に示すように、デジタルペン210が情報パターン3の画像を撮像素子15bで取得し(ステップS22)し、その画像信号がデジタルペン210から表示装置220へ送信される(ステップS23)。そして、表示装置220の特定部240が、デジタルペン210から受信した画像信号からデジタルペン210の位置を特定する(ステップS24)。それ以外の処理は、上記実施形態1と同様である。
尚、表示制御システム200のデジタルペン210において、情報パターン3の画像を取得後、画像処理まで行ってデータ量を低減した後に、画像処理後の信号を表示装置220へ送信してもよい。つまり、デジタルペン10,210が指示する表示パネル24上の位置に関する情報を表す情報パターン3を、デジタルペン10,210が撮像する限りにおいては、位置に関する情報が、どのような状態で、デジタルペン10,210から表示装置20,220へ送信されてもよい。表示装置20,220は、受け取った位置に関する情報に応じて様々な表示制御を行う。
また、表示パネル24上におけるデジタルペンの位置を特定する特定部は、デジタルペン10および表示装置20とは別個の制御装置として、設けてもかまわない。例えば、ディスプレイ装置(表示装置の例)とPC本体(制御装置の例)とを備えたデスクトップPCにデジタルペンを加えた表示制御システムにおいては、ディスプレイ装置の表示パネルに情報パターン3が形成されている。デジタルペンは、情報パターン3を光学的に読み取ってPC本体へ送信する。そして、PC本体が情報パターン3からデジタルペンの位置を特定し、その特定した位置に応じた処理をディスプレイ装置に命令するようにしてもよい。
また、上記実施形態1では、圧力センサ13を、圧力が作用しているか否かを判定することだけに用いているが、これに限られるものではない。例えば、圧力センサ13の検出結果に基づいて圧力の大きさを検出するように構成してもよい。これにより、圧力の連続的な変化を読み取ることができる。その結果、圧力の大きさに基づいて、ペン入力により表示される線の太さや濃さを変化させることができる。
尚、上記実施形態1では、圧力センサ13を用いて、デジタルペン10による入力の有無を検出しているが、これに限られるものではない。デジタルペン10にペン入力のオン/オフを切り替えるスイッチを設け、そのスイッチがオンされたときにペン入力が有ると判定するように構成してもよい。この場合、デジタルペン10が表示パネル24の表面に接触していなくても、ペン入力を行うことができる。または、表示装置20が表示パネル24の表面を所定の振動数で振動させてもよい。この場合、表示装置20が、デジタルペン10が表示パネル24の表面に接触することによる振動数の変化を検出することによって、ペン入力の有無を検出するように構成してもよい。
上記実施形態1では、副画素は、長方形状であるが、これに限られるものではない。副画素は、三角形や平行四辺形などの形状でもよく、これらを組み合わせた形状であってもよい。副画素の形状は、表示装置が文字や映像を出力できるものであればよい。また、ブラックマトリクスも、副画素の形状に合わせて適宜変更し得る。
また、上記実施形態1では、マーク31は、第1基準線54又は第2基準線55上に配置されている。しかし、図13に示すように、マーク31は、第1基準線54と第2基準線55との交点から、第1基準線54及び第2基準線55に対して斜めの方向にシフトした位置に配置されてもよい。
尚、マーク31の配置パターンは、これに限られるものではない。情報パターン3のコーディングは、任意の手法を採用することができるので、採用するコーディング手法に応じてマーク31の配置パターンを変更すればよい。
また、マーク31を配置するための第1基準線54及び第2基準線55は、実施形態1に限られるものではない。例えば、第1基準線54はブラックマトリクス45基準線54上に規定してもよいし、副画素上に規定してもよい。さらには、第1基準線54を何色の副画素上に規定するかは任意に選択することができる。第2基準線55についても同様である。
上記実施形態1では、6マーク×6マークの単位エリア50で情報パターン3を形成しているが、これに限られるものではない。単位エリアを構成するマーク31の個数は、デジタルペン10や表示装置20の設計に応じて適宜設定することができる。また、情報パターン3の構成は、所定エリアに含まれるマーク31それぞれの配置の組合せに限られるものではない。情報パターン3が特定の位置情報を表すことができる限り、コーディングの手法は上記実施形態1に限られるものではない。
上記実施形態1では、情報パターン3が矩形状のマーク31で構成されているが、これに限られるものではない。矩形状のマーク31の代わりに、三角形等の図形又はアルファベット等の文字で表されるマークによって、情報パターン3が構成されていてもよい。例えば、マーク31は、副画素の全面に亘って形成されていてもよい。
特定部16aは、演算により、情報パターン3を位置座標に変換しているが、これに限られるものではない。例えば、特定部16aは、全ての情報パターン3と、そのそれぞれに対応付けられた位置座標を予め記憶しておき、取得された情報パターン3を、記憶しておいた情報パターン3と位置座標との関係に照らし合わせて、位置座標を特定するようにしてもよい。
以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須ではない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されているからといって、直ちに、それらの必須ではない構成要素が必須であるとの認定を受けるべきではない。
また、上述の実施形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等な範囲において種々の変更、置き換え、付加、省略などを行うことができる。
以上説明したように、本開示は、読取装置によって表示パネルに形成された情報パターンを光学的に読み取る表示制御システムなどについて有用である。
10 デジタルペン
11 本体ケース
12 ペン先部
13 圧力センサ
14 照射部
15 読取部
16 制御部
17 送信部
19 電源
20 表示装置
100 表示制御システム
本開示は、読取装置によって表示パネルに形成された情報パターンを光学的に読み取る表示制御システムなどに関する。
従来より、ペンを用いて紙の上に文字等を記入する際に、紙に記入した情報を電子化し、その電子化された情報をサーバや端末に送信する技術が知られている(特許文献1)。特許文献1では、紙面上に形成された複数のドットからなる情報パターンを読み取ることでペンの動きを検出している。
特開2007−226577号公報
ところで、近年、ユーザにスタイラスのような筆記具を用いて表示装置の表示面に文字等を記入させて、表示面に筆記具の軌跡をそのまま表示する手書き入力可能なシステムが開発されている。このようなシステムについて、特許文献1に記載された情報パターンの読み取り技術を適用することが考えられる。しかし、表示装置に情報パターンを設ける場合は、紙面上に情報パターンを設ける場合に比べて、情報パターンを読み取るための光の挙動が複雑になり、従来のシステムのままでは、情報パターンを精度良く読み取ることが困難である。
本開示は、表示パネルに形成された情報パターンの読み取り精度を向上させるのに有効な表示制御システムを提供する。
本開示における表示制御システムは、画像を表示する表示パネルと、表示パネルに形成された情報パターンを光学的に読み取る読取装置とを備える表示制御システムであって、読取装置は、表示パネルに対して光を出射する少なくとも1つ以上の光源と、光源から出射されて表示パネルで反射した光を撮像する撮像光学系と、を備え、表示パネルは、情報パターンが形成された情報パターン層と、情報パターン層の背面側に配置され、光源からの光を拡散反射する反射層と、を備え、光源は、撮像光学系の光軸上以外の位置に配置されており、反射層に対して撮像光学系の光軸が垂直となり、且つ、読取装置が表示パネルに接触する垂直接触状態において、光源から出射される光の中心光線が反射層に到達する点が、撮像光学系の光軸と反射層とが交わる点よりも、光源側に位置する。
また、本開示における読取装置は、情報パターンが形成された情報パターン層と、情報パターン層の背面側に配置されて光を拡散反射する反射層と有する表示パネルの情報パターンを光学的に読み取る読取装置であって、読取装置は、表示パネルに対して光を出射する少なくとも1つ以上の光源と、光源から出射されて表示パネルで反射した光を撮像する撮像光学系と、を備え、光源は、撮像光学系の光軸上以外の位置に配置されており、反射層に対して撮像光学系の光軸が垂直となり、且つ、当該読取装置が表示パネルに接触する状態において、光源から出射される光の中心光線が反射層に到達する点が、撮像光学系の光軸と反射層とが交わる点よりも、光源側に位置するように構成されている。
本開示によれば、情報パターンの読み取り精度を向上させるのに有効である。
図1は、表示制御システム100をユーザが使用している状況を示す概略図である。 図2は、表示制御システム100のブロック図である。 図3は、表示パネル24の断面図である。 図4は、デジタルペン10の概略構成を示す断面図である。 図5は、照射部14からの光の中心光線Lcが反射シート表面48aに到達する点xcと、対物レンズ15aの光軸Aが反射シート表面48aと交わる点xaとの位置関係を説明するための概略図である。 図6は、パネル表面32aで反射した反射光の光線と絞り18bとの位置関係を説明するための概略図である。 図7は、照射部14が2つ有る場合の変形例を示す概略図である。 図8は、情報パターン3を説明するための概略図である。 図9は、マーク31の位置によって、マーク31の位置を数値化した情報が異なることを説明するための概略図である。 図10は、表示制御システム100の処理の流れを示すフローチャートである。 図11は、表示制御システム200のブロック図である。 図12は、表示制御システム200の処理の流れを示すフローチャートである。 図13は、情報パターン3のその他の例を示す概略図である。
以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
尚、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するものであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(実施形態1)
以下、図1〜10を用いて、実施形態1を説明する。
[1.表示制御システムの概要]
図1は、実施形態1に係る表示制御システム100の外観を示す概略図である。表示制御システム100は、光学式デジタルペン(以下、単に「デジタルペン」と称する。)10と、表示装置20とを備えている。デジタルペン10は、読取装置の一例である。
詳しくは後述するが、表示装置20は、液晶ディスプレイであり、表示パネル24(表示部)の表示面に様々な画像を表示することができる。また、表示装置20には、表示パネル24の表示面上における位置に関する情報を表す情報パターン3(ドットパターン)が設けられている。情報パターン3は、表示パネル24の正面視において、表示パネル24の表示面に重なるように設けられている。デジタルペン10は、情報パターン3を光学的に読み取ることによって、表示パネル24の表示面上におけるデジタルペン10の先端の位置に関する情報(以下、「位置情報」ともいう)を検出し、その位置情報を表示装置20に送信する。表示装置20は、その位置情報を入力として受け取り、様々な表示制御を行う。
例えば、デジタルペン10の先端を表示パネル24上で移動させた場合に、デジタルペン10は、連続的に読み取った情報パターン3から、デジタルペン10の先端の軌跡として、連続的な位置情報を検出する。表示装置20は、デジタルペン10の先端の軌跡に応じて、表示パネル24に点を連続的に表示する。これにより、デジタルペン10を用いて、表示パネル24に文字や図形等を手書き入力することができる。または、表示装置20は、デジタルペン10の軌跡に応じて、表示パネル24が表示している点を連続的に消去する。これにより、デジタルペン10を消しゴムのように用いて、表示パネル24の文字や図形を消去することができる。すなわち、デジタルペン10は、読み取り装置として機能すると共に、表示制御システム100への入力装置としても機能する。
[2.表示装置の構成]
以下、表示装置20について説明する。図2は、表示制御システム100の概略構成を示すブロック図である。
表示装置20は、外部からの信号を受信する受信部22と、表示装置20全体を制御する表示側マイコン23と、画像を表示する表示パネル24とを有している。
受信部22は、詳しくは後述するが、デジタルペン10から送信された信号を受信する。受信部22が受信した信号は、表示側マイコン23に送られる。
表示側マイコン23は、CPU及びメモリなどから構成されている。表示側マイコン23には、CPUを動作させるためのプログラムが実装されている。例えば、表示側マイコン23は、デジタルペン10から送信された信号に基づいて表示パネル24を制御して、表示パネル24に表示させる内容を変更する。
図3は、情報パターン3を配置した表示パネル24の構成を示す概略断面図である。図3に示す表示パネル24は、アクティブマトリックス方式のTFTカラー液晶表示パネルの一例である。
図3において、表示パネル24(液晶パネル部)は、対向する2枚の基板41、42の間に、液晶部材43を封入することにより構成されている。各基板41、42は、光透過性を有する板材であり、例えばガラス基板を用いることができる。なお、図示していないが、表示パネル24のうち、背面側(図3において下側)の基板41上には、液晶の駆動素子である薄膜トランジスタと、第1の透明電極と、信号電極と、走査電極とが形成されている。また、表示パネル24のうち、表面側(図3において上側)の基板42の背面側(基板41と対向する側)には、少なくとも赤(R)、緑(G)、青(B)の各色の副画素5R、5G、5B(サブピクセル)を有する画素5と、画素5及び副画素5R、5G、5Bを区画するブラックマトリクス45と、第2の透明電極とが形成されている。ブラックマトリクス45は、副画素5R、5G、5Bに対応した開口部を有するとともに、副画素5R、5G、5Bの境界部を遮光するクロムなどの金属薄膜からなる遮光部材である。画素5とブラックマトリクス45は、カラーフィルタ44に形成されている。そして、2枚の基板41、42に形成した透明電極の間には、封入された液晶部材43が配置される。さらに、それぞれの基板41、42の外側の面には、偏光板46が配置されている。各偏光板46は、各基板41、42に貼り付けられている。
なお、カラーフィルタ44は、RGBのカラーフィルタに限定されない。カラーフィルタ44に、シアン(C)、マゼンダ(M)、又はイエロー(Y)などの色の副画素を形成してもよいし、白(W)の副画素を形成してもよい。
この表示パネル24の背面側の部位(具体的に、図3において下側の基板41に貼り付けられた偏光板46の下側)には、バックライト装置51が配置されている。バックライト装置51は、面光源部材47と、拡散反射シート48とを有する。また、表示パネル24の表面側の部位(具体的に、図3において上側の基板42に貼り付けられた偏光板46の上側)には、オンセル型で静電容量方式のタッチパネル49が配置されている。なお、タッチパネル49については、インセル型のタッチパネルであってもよく、また抵抗感圧方式などの他の方式のタッチパネルでもよい。また、表示パネル24から、タッチパネル49自体を省いた構成としてもよい。
表示パネル24は、色が互いに異なる複数の副画素5R、5G、5B(サブピクセル)からなる画素5が、マトリクス状に複数個配置された構成である。表示パネル24は、それぞれの画素5を構成する副画素5R、5G、5Bの薄膜トランジスタそれぞれのオン/オフが制御され、液晶部材43の偏光性が選択的に制御されることで、文字や画像をカラー表示することができる。
また、表示パネル24のタッチパネル49上には、デジタルペン10により位置情報の検出を行うための複数の情報パターン3(位置情報パターン)が配置されている。各情報パターン3は、複数のマーク31(ドット)を有する。この情報パターン3は、図3に示すように、樹脂製で透光性のベースフィルム32上に、円形状又は方形状などの複数のマーク31を所定の配列パターンで形成し、複数のマーク31を覆うようにベースフィルム32上に透光性の樹脂層33を形成することにより構成されている。樹脂層33は、屈折率を調整するための層である。ベースフィルム32及び樹脂層33の積層体は、情報パターン3が形成された情報パターン層に相当する光学フィルム40となる。さらに、樹脂層33上には、透光性の粘着材からなる粘着層34が設けられている。光学フィルム40は、ベースフィルム32が表側になるように、粘着層34により樹脂層33側がタッチパネル49上に貼り付けられている。
情報パターン3のマーク31は、可視光を透過し、且つ、赤外線を吸収する材料により形成している。そのため、表示パネル24で表示される可視光領域のカラー表示画像に対する影響を少なくすることができる。
図3に示すように、デジタルペン10から放射された赤外光113は、デジタルペン10の先端が指す表示パネル24の表示面に照射される。表示面に照射された赤外光113は、表示パネル24を透過して拡散反射シート48に到達し、拡散反射シート48で拡散反射する。そのため、赤外光113の一部がデジタルペン10側へ反射する。デジタルペン10側へ反射した赤外光124は、情報パターン3の形成領域を通過する。このとき、情報パターン3において、マーク31が配置された領域では赤外光124が吸収され、マーク31が配置されていない領域では、赤外光124が透過する。これにより、デジタルペン10に入射してくる赤外光124を読取部15で受光して情報パターン3を読み取ることにより、情報パターン3に形成されたマーク31よって表される位置情報(座標情報)を検出することができる。
[3.デジタルペンの構成]
次に、デジタルペン10の詳細な構成について説明する。図4は、デジタルペン10の概略構成を示す断面図である。
デジタルペン10は、円筒状の本体ケース11と、本体ケース11の先端に取り付けられたペン先部12と、ペン先部12に作用する圧力を検出する圧力センサ13と、赤外光を出射する照射部14と、入射してきた赤外光を光学的に読み取る読取部15と、デジタルペン10を制御する制御部16と、外部へ信号を出力する送信部17と、デジタルペン10の各部材に電力を供給する電源19とを有している。また、デジタルペン10は、読取部15へ入射する光の光量を制限するための絞り18aおよび絞り18bを有している。絞り18aおよび絞り18bの詳細については後述する。
本体ケース11は、一般的なペンと同様の外形形状であり、円筒状に形成されている。ペン先部12は、先細形状に形成されている。ペン先部12の先端は、表示パネル24の表面を傷つけない程度の丸みを帯びている。また、ペン先部12の形状は、ユーザが表示パネル24に表示される画像を認識しやすい形状であることが好ましい。
圧力センサ13は、本体ケース11に内蔵され、ペン先部12の基端部に連結されている。圧力センサ13は、ペン先部12に加わる圧力を検出し、その検出結果を制御部16へ送信する。具体的には、圧力センサ13は、ユーザがデジタルペン10を用いて表示パネル24上に文字などを記入する際に、表示パネル24からペン先部12に加わる圧力を検出する。つまり、圧力センサ13は、デジタルペン10を用いたユーザの入力意思の有無を判定する際に用いられる。
照射部14は、本体ケース11の先端部において、例えばペン先部12の近傍に設けられている。照射部14は、例えば、赤外線LEDで構成されている。照射部14は、本体ケース11の先端から赤外光を照射するように設けられている。
読取部15は、対物レンズ15aと、撮像素子15bとを有している。対物レンズ15aは、ペン先側から入射してくる光を撮像素子15bに結像させる。対物レンズ15aは、本体ケース11の先端側に設けられている。ここで、デジタルペン10の先端を表示装置20の表示面に向けた状態で照射部14から赤外光を照射すると、赤外光は表示パネル24を透過して、表示パネル24の裏側に位置する拡散反射シート48で拡散反射する。その結果、デジタルペン10の角度に拘わらず、表示パネル24を透過した赤外光の一部が、デジタルペン10側へ戻ってくる。対物レンズ15aには、照射部14から出射されて拡散反射シート48で拡散反射した赤外光が入射する。撮像素子15bは、対物レンズ15aの光軸上(すなわち、撮像光学系の光軸上)に設けられている。撮像素子15bは、撮像面に結像した光学像を電気信号に変換して画像信号を生成し、その画像信号を制御部16へ出力する。撮像素子15bは、例えば、CCDイメージセンサ又はCMOSイメージセンサで構成される。詳しくは後述するが、情報パターン3は、赤外光を吸収する材料(赤外光に対する透過率が低い材料)で形成されている。そのため、情報パターン3のマーク31からは、赤外光がデジタルペン10へほとんど戻ってこない。他方、マーク31間の領域からは、マーク31の領域よりも多くの赤外光が戻ってくる。その結果、情報パターン3のパターン形状が黒く表現された光学像が、撮像素子15bに撮像される。
制御部16は、図2に示すように、特定部16aと、ペン側マイコン16bとを有する。特定部16aは、読取部15からの画像信号に基づいて、表示パネル24上におけるデジタルペン10の位置情報を特定する。詳しくは、特定部16aは、読取部15から取得した画像信号から情報パターン3のパターン形状を取得し、パターン形状に基づいて表示パネル24上におけるペン先部12の位置情報を特定する。特定部16aにより特定されたペン先部12の位置に関する位置情報は、ペン側マイコン16bを介して送信部17へ送られる。ペン側マイコン16bは、デジタルペン10全体を制御する。ペン側マイコン16bは、CPU及びメモリなどから構成されており、CPUを動作させるためのプログラムが実装されている。
送信部17は、信号を外部に送信する。具体的には、送信部17は、特定部16aにより特定された位置情報を外部へ無線送信する。送信部17は、表示装置20の受信部22と近距離無線通信を行う。送信部17は、本体ケース11のうちペン先部12とは反対側の端部に設けられている。
図5は、照射部14からの光の中心光線Lcが反射シート表面48aに到達する点xcと、対物レンズ15aの光軸Aが反射シート表面48aと交わる点xaとの位置関係を説明するための概略図である。
光源である照射部14から出射された光は、表示パネル24のうち、ベースフィルム32から面光源部材47までの部材により構成された積層体モジュールM内に、パネル表面32aから入射し、反射シート表面48aで反射拡散される。パネル表面32aは、図3に示すベースフィルム32の最表面、つまり表示パネル24の最表面である。反射シート表面48aは、図3に示す拡散反射シート48の表面である。パネル表面32aと反射シート表面48a(拡散反射シート48のシート面)は、互いに平行となっている。なお、図3に示したように、積層体モジュールMは、複数の部材で構成されているが、図5では、説明を容易にするため、パネル表面32aと反射シート表面48aのみを示している。
パネル表面32aと反射シート表面48aとの間には、情報パターン3が形成された情報パターン層として、光学フィルム40(図5には図示せず)が配置されている。
本実施形態では、照射部14は、対物レンズ15aの光軸Aから離れて配置されている。つまり、照射部14は、撮像光学系の光軸A上以外の位置に配置されている。また、照射部14から出射される光の中心光線Lcの向きは、対物レンズ15aの光軸Aに対して傾いている。図5は、光軸Aがパネル表面32a及び反射シート表面48aに対して垂直になるようにデジタルペン10のペン先部12の先端をパネル表面32aに接触させた垂直接触状態である。この垂直接触状態において、照射部14から出射される光の中心光線Lcが積層体モジュールMによって屈折して反射シート表面48aに到達する交点xcが、光軸Aと反射シート表面48aとが交わる交点xaよりも、X軸の正方向側に存在している。つまり、反射シート表面48a上において、交点xcが交点xaよりも照射部14側に位置している。このような構成により、情報パターン3の読み取り精度を向上させることができる。
以下、詳細について説明する。まず、図5で用いた座標系の定義について説明する。
図5において左右方向をX軸方向(右が正、左が負)、上下方向をY軸方向(上が正、下が負)と定義する。図5では、対物レンズ15aの光軸AとY軸が一致しており、パネル表面32aとX軸が一致している。光軸Aとパネル表面32aとの交点がXY座標系の原点となる。
照射部14の発光中心の座標を(X,Y)、照射部14から出射される光の中心光線をLc、照射部14の発光中心(X,Y)からY軸方向に延ばした線分Bと中心光線Lcとのなす角度(すなわち、パネル表面32aに対する照射部14の傾斜角度)をθL、半値角をθ1/2、とする。半値角とは、光源上の軸上光度(図5では、照射部14の中心光線Lcの光度)を1としたときに、光源に対してθ傾いた方向から見える光度の割合が0.5となる角度のことである。ただし、発光中心(X,Y)を中心として時計回りの方向を+方向の角度とする。
モジュール厚Dは、積層体モジュールMのY方向の厚みであり、パネル表面32aから反射シート表面48aまでの距離である。このとき、積層体モジュールMの等価屈折率をnとする。等価屈折率nは、積層体モジュールMを単一部材とみなしたときの屈折率であり、積層体モジュールM内では光線は直進すると仮定する。
また、上記垂直接触状態における、デジタルペン10によるパネル表面32aでの撮影範囲をWとする。図5では、撮影範囲Wとして、X軸方向の範囲が示されている。
照射部14から出射された光線は、傾斜角度θLの中心光線Lcを中心として、半値角度±θ1/2の角度範囲に主に照射される。中心光線Lcに対して+側の半値角度で示す光線(上側光線Luと呼ぶ)の光線角度はθL+θ1/2であり、中心光線Lcに対して−側の半値角度で示す光線(下側光線Ldと呼ぶ)の光線角度はθL−θ1/2、である。
中心光線Lcは、模式的には、図5に示すように、パネル表面32aにおいてスネルの法則に従い等価屈折率nなどから決まる屈折角度で屈折し、積層体モジュールM内を直進し、反射シート表面48aで拡散反射される。なお、実際には、積層体モジュールM内では、屈折率が一定の領域で光が直進し、屈折率が変化する界面で光が屈折する。
ここで、パネル表面32aで屈折するときの光線の入射角度をθi、屈折角度をθr、とすると、中心光線Lcが反射シート表面48aに到達する位置のX座標xcは、数式(1)〜(3)で表される。
θi=θL、sinθi=n×sinθr・・・(1)
xc=X0−Y0×tanθL−D×tanθr・・・(2)
xc=X0−Y0×tanθL−D×tan(sin−1(sinθL/n))・・・(3)
同様にして、上側光線Luが反射シート表面48aに到達する位置のX座標xuは、数式(4)〜(6)で表される。
θi=θL+θ1/2、sinθi=n×sinθr・・・(4)
xu=X0−Y0×tan(θL+θ1/2)−D×tanθr・・・(5)
xu=X0−Y0×tan(θL+θ1/2)−D×tan(sin−1((θL+θ1/2)/n))・・・(6)
下側光線Ldが反射シート表面48aに到達する位置のX座標xdは、数式(7)〜(9)で表される。
θi=θL−θ1/2、sinθi=n×sinθr・・・(7)
xd=X0−Y0×tan(θL−θ1/2)−D×tanθr・・・(8)
xd=X0−Y0×tan(θL−θ1/2)−D×tan(sin−1((θL−θ1/2)/n))・・・(9)
したがって、反射シート表面48a上のX軸方向における主照明範囲W’(上側光線Luが反射シート表面48aに到達する点xuから、下側光線Ldが反射シート表面48aに到達する点xdまでの範囲)は、数式(10)で表される。
W’=xd−xu
=Y0×(tan(θL−θ1/2)−tan(θL+θ1/2))+D×(tan(sin−1((θL−θ1/2)/n)−sin−1((θL+θ1/2)/n))・・・(10)
一般的には、撮影範囲において照明むらが少ないほど、かつ明るい照明であるほど、情報パターン3の認識率が良く、結果的に座標検出率が向上する。
本実施形態の表示制御システム100は、中心光線Lcの到達位置を表すX座標xcがxc>0の条件を満たすように構成されている。ここで、反射シート表面48aでは、完全拡散は生じず、実際には、反射光に鏡面反射成分が含まれる。そのため、ランバート光源とは異なり、X軸方向の−側に相対的に強い指向性をもつ。反射シート表面48aで反射および拡散された光線は、さらに積層体モジュールM内を直線状に進み、パネル表面32aで屈折して、積層体モジュールMから出射する。このとき、パネル表面32aでは、X座標xcよりX軸方向の−側で相対的に明るく、X座標xcよりX軸方向の+側で相対的に暗い照明分布となる。したがって、xc>0という条件を満たす構成にすることで、つまり、撮影範囲Wの中心よりX座標xcがX軸方向の+側となるようにすることで、撮影範囲Wにおいて照明むらを抑えることができる。
ここで、xc≦0の場合について説明する。xc≦0の場合、パネル表面32aでは、X座標xcよりX軸方向の−側で相対的に明るくなる一方で、最も明るい照明分布が撮影範囲Wからはずれ、X座標xcよりX軸方向の+側ではさらに相対的に暗い照明分布となる。したがって、xc≦0の場合、撮影範囲Wにおいて、照明むらが発生しやすくなり、情報パターン3の認識率が悪化し、結果的に座標検出率が低下する。
なお、xc>0という条件は、照射部14が出射する光の中心波長に対して満足している。例えば、照射部14は、中心波長が850nm以上の赤外光を出射する。また、xc>0という条件は、例えば、反射シート表面48aに対して対物レンズ15aの光軸が45度傾き、且つ、デジタルペン10のペン先部12の先端が表示パネル24の表面に接触する状態でも成立する。
さらに、反射シート表面48aにおける上記主照明範囲をW’は、W<W’(すなわち、撮影範囲Wよりも、反射シート表面48aにおける主照明範囲W’が広い)という条件を満たすことが望ましい。このような構成により、反射シート表面48aで拡散反射された光の分布の幅が広くなる。その結果、撮影範囲Wにおいて、さらに照明むらが少なくなるため、情報パターン3の認識率が良く、結果的に座標検出率がさらに向上する。
逆にWW’であると、反射シート表面48aで拡散反射される光の分布の幅が小さくなる。その結果、撮影範囲Wにおいて、照明むらが発生しやすくなり、情報パターン3の認識率が悪化し、結果的に座標検出率が低下する。
図6は、パネル表面32aで発生する反射成分と絞り18bとの位置関係を示す概略図である。
図6に示すように、本実施形態では、光量制限のための絞り18aがレンズ鏡筒9内に設けられている。そして、絞り18aとは別に、画角制御用の絞り(開口部材:アパーチャ)18bが設けられている。なお、図6では、光線の説明を容易にするため、絞り18bを点線で図示している。また、絞り18bは、図6の寸法線Lで示した範囲のいずれかの位置において、設置可能である。絞り18bの開口の大きさは、絞り18bを配置する位置に応じて適宜変更すればよい。ここで、パネル表面32aにおいて照射部14から出射された光の反射成分が発生するが、通常では、撮影範囲Wより十分に外の位置で発生した反射成分は、レンズ鏡筒9へ向かわないため問題ない。しかし、本実施形態においては、撮影範囲Wの外周の外側近傍で中心光線Lcが反射するような条件下でも使用される可能性がある。この反射成分は、図6に示すように、絞り18bがなければ、パネル表面32aからレンズ鏡筒9へ向かい、レンズ鏡筒9内で反射や拡散する。これにより、ゴーストやフレアが発生し、情報パターン3を読み取る際にエラー要因となる。その結果、デジタルペン10における座標検出率が大幅に悪化する。
本実施形態においては、画角制御用の開口部材18b(アパーチャ)を設けている。照射部14の光の中心光線Lcがレンズ鏡筒9に入射しないように、開口部材18bの開口部に対して、照射部14の位置及び傾きが設定されているということもできる。そのため、画角外の光線がレンズ鏡筒9内で反射や拡散することに起因するゴーストやフレアの発生を抑制することができる。さらに、この開口部材18bによって、ペン先部12で反射した照射部14からの反射光も同時に抑える効果をもたせることができる。
図7に、本実施形態の変形例を示す。図7のデジタルペン10は、R側照射部14R及びL側照射部14Lの2つの光源が配置されている点で、図5に示した構成と異なっている。
図7に示すように、パネル表面32aにおいてペン先部12の先端の中心の位置と撮影範囲Wの中心の位置が互いに異なっていてもよい。言い換えると、ペン先部12の先端の中心の位置が対物レンズ15aの光軸からずれていてもよい。また、R側照射部14RとL側照射部14Lは、対物レンズ15aの光軸に対して非対称に配置されていても良い。さらに、傾斜角度θLが、R側照射部14RとL側照射部14Lとで互いに異なっていてもよい。
画角制御用の絞り18bの開口部は、R側照射部14RやL側照射部14LよりもY軸方向の+側の位置、かつレンズ鏡筒9よりもY軸方向の−側の位置に配置されている。
R側照射部14Rの光線がパネル表面32aで反射を起こし、過度の明るさで撮影画像が飽和してしまい結果的に座標検出ができない場合がある。このような場合、使用する照射部14をR側照射部14RからL側照射部14Lへ切り替えて、L側照射部14Lによって照明する。このとき、L側照射部14Lの反射条件角度は、R側照射部14Rの反射条件角度と異なるために、R側照射部14Rで照明する場合と、L側照射部14Lで照明する場合の両方で撮影画像が飽和せず、任意のペン角度において座標検出ができる。
なお、本実施例は、照射部14が2個配置された場合を示しているが、少なくとも1個の照射部14が前述した条件(xc>0)を満たしているのが望ましい。
[4.情報パターンの詳細]
図8は、マーク31の配置パターンを示す図である。図8には、マーク31の位置を説明するために、仮想の線(実際には存在しない線)として、第1基準線54と第2基準線55とを記載している。第1基準線4と第2基準線55は互いに直交している。図8では、例えば等間隔に配列された複数の第1基準線54と、例えば等間隔に配列された複数の第2基準線55により格子が形成されている。
各マーク31は、第1基準線54と第2基準線55の交点から、第1基準線54の延伸方向、又は、第2基準線55の延伸方向に沿う四方向の何れかに、シフト(オフセット)した位置に配置される。具体的には、マーク31は、図9(a)〜(d)の何れかの配置をとる。図9(a)の配置では、マーク31は、第1基準線54と第2基準線55との交点の上側の位置に配置される。この配置を数値化する際には「1」で表す。図9(b)の配置では、マーク31は、第1基準線54と第2基準線55との交点の右側の位置に配置される。この配置を数値化する際には「2」で表す。図9(c)の配置では、マーク31は、第1基準線54と第2基準線55との交点の下側の位置に配置される。この配置を数値化する際には「3」で表す。図9(d)の配置では、マーク31は、第1基準線54と第2基準線55との交点の左側の位置に配置される。この配置を数値化する際には「4」で表す。各マーク31は、その配置パターンに応じて、デジタルペン10において「1」から「4」の数値で表される。
そして、図8(b)に示すように、6マーク×6マークを1つの単位エリア50として、単位エリア50に含まれる36個のマーク31で1つの情報パターン3を形成する。単位エリア50に含まれる36個のマーク31のそれぞれを、図9に示す「1」〜「4」の何れかの配置とすることによって、互いに異なる情報を持つ、膨大な数の情報パターン3を形成することができる。光学フィルム40では、全ての情報パターン3が、互いに異なるパターンとなっている。
これらの情報パターン3の1つ1つには、情報を付加されている。詳しくは、各情報パターン3は、単位エリア50ごとの位置座標を表している。つまり、光学フィルム40を、6マーク×6マークの単位エリア50で分割すると、各単位エリア50の情報パターン3はその単位エリア50の位置座標を表している。図8(b)では、エリア50aの情報パターン3は、エリア50aの中心位置の位置座標を表し、エリア50bの情報パターン3は、エリア50bの中心位置の位置座標を表す。図8(b)においてペン先が右下へ斜めに移動すると、デジタルペン10が読み取るエリア50は、エリア50aからエリア50bへ変化する。このような情報パターン3のパターンニング(コーディング)や座標変換(デコーディング)の方法は、例えば、特開2006−141061号公報に開示されているような公知の方法を用いることができる。
[5.マークの材料]
マーク31は、可視光(波長400〜700nmの光)を透過し、且つ、赤外光(波長700nm以上の光)を吸収する材料で形成されている。マーク31は、例えば波長800nm以上の赤外光を吸収する材料で形成されている。具体的には、マーク31は、可視光に対して90%以上の透過率を有し、且つ、赤外光に対しては50%以下(例えば、20%以下)の透過率を有する材料で形成されている。例えば、マーク31は、赤外光に対しては透過率が10%の材料で形成してもよい。
このような材料として、例えば、ジイモニウム系、フタロシアニン系、シアニン系等の化合物が挙げられる。これらの材料は、単独で用いてもよく、混合して用いてもよい。ジイモニウム系の化合物として、ジイモニウム塩系化合物を含むことが好ましい。ジイモニウム塩系化合物は、近赤外線領域の吸収量が大きく、吸収域も広く、可視光領域の透過率が高い特性を有する。ジイモニウム塩系化合物は、市販品を用いることができ、例えば、日本化薬株式会社製のKAYASORBシリーズ(Kayasorb IRG−022,IRG−023,IRG−024等)や日本カーリット株式会社製のCIR−1080,CIR−1081,CIR−1083,CIR−1085等が好適である。シアニン系化合物は、市販品を用いることができ、例えば、株式会社ADEKA製のTZシリーズ(TZ−103,TZ−104,TZ−105等)や日本化薬株式会社製のCY−9,CY−10等が好適である。
[6.動作]
続いて、このように構成された表示制御システム100の動作について説明する。図10は、表示制御システム100の処理の流れを示すフローチャートである。以下では、ユーザが、デジタルペン10を用いて表示装置20に文字をペン入力(記入)する場合について説明する。
まず、表示制御システム100の電源がオンされると、ステップS11において、デジタルペン10のペン側マイコン16bは、ペン先部12に作用する圧力の監視を開始する。この圧力の検出は、圧力センサ13が行う。圧力センサ13によって圧力が検出されると(Yes)、ペン側マイコン16bは、ユーザが表示装置20の表示パネル24に対して文字をペン入力していると判定し、ステップS12へ進む。圧力センサ13によって圧力が検出されていない間(Noが続く間)は、ペン側マイコン16bは、ステップS11を繰り返す。尚、デジタルペン10の電源がオンされると、照射部14は赤外光の照射を開始する。圧力センサ13により圧力が検出されると、照射部14から赤外光が出射されるようにしてもよい。
ステップS12では、デジタルペン10の読取部15が、表示パネル24に形成された情報パターン3を検出する。ここで、照射部14から照射された赤外光は、上述の拡散反射シート48で拡散反射し、一部の赤外光がデジタルペン10側へ戻ってくる。そして、デジタルペン10側へ戻る赤外光は、情報パターン3のマーク31をほとんど透過しない。対物レンズ15aには主にマーク31間の領域を透過した赤外光が到達する。そして、赤外光は、対物レンズ15aを介して撮像素子15bに受光される。対物レンズ15aは、表示パネル24上においてペン先部12が指示している位置からの反射光を受光するように配置されている。その結果、表示パネル24の表示面上におけるペン先部12の指示位置の情報パターン3が撮像素子15bにより撮像される。このようにして、読取部15は、情報パターン3を光学的に読み取る。読取部15が取得した画像信号は、特定部16aに送信される。
ステップS13では、特定部16aが、画像信号から情報パターン3のパターン形状を取得し、そのパターン形状に基づいて、表示パネル24の表示面上におけるペン先部12の位置を特定する。詳しくは、特定部16aは、得られた画像信号に所定の画像処理を施すことにより、情報パターン3のパターン形状を取得する。続いて、特定部16aは、取得したパターン形状におけるマーク31の配列から、どの単位エリア50(6マーク×6マークの単位エリア)であるかを割り出すと共に、単位エリア50の情報パターン3からその単位エリア50の位置座標(位置情報)を特定する。特定部16aは、情報パターン3のコーディング方法に対応した所定の演算により、情報パターン3を位置座標に変換する。特定された位置情報は、ペン側マイコン16bに送信される。
続いて、ステップS14では、ペン側マイコン16bは、送信部17を介して位置情報を表示装置20へ送信する。
デジタルペン10から送信された位置情報は、表示装置20の受信部22により受信される。受信された位置情報は、受信部22から表示側マイコン23に送信される。ステップS15において、表示側マイコン23は、位置情報を受信すると、表示パネル24の表示面において位置情報に対応する位置の表示内容を変更するように表示パネル24を制御する。この例では、文字の入力なので、表示パネル24の表示面において位置情報に対応する位置に点を表示する。
続いて、ステップS16において、ペン側マイコン16bは、ユーザによるペン入力が継続しているか否かを判定する。圧力センサ13が圧力を検出している場合には、ペン側マイコン16bは、ユーザによるペン入力が継続していると判定して、ステップS12へ戻る。そして、ステップS12からステップS16のフローを繰り返すことによって、デジタルペン10のペン先部12の移動に追従して、表示パネル24の表示面上におけるペン先部12の位置に、点が連続的に表示される。最終的には、デジタルペン10のペン先部12の軌跡に応じた文字が表示装置20の表示パネル24に表示される。
一方、ステップS16において、圧力センサ13が圧力を検出しない場合には、ペン側マイコン16bは、ユーザによるペン入力が継続していないと判定して、処理を終了する。
こうして、表示装置20が表示パネル24の表示面上におけるデジタルペン10の先端の軌跡を表示パネル24に表示する。これによって、デジタルペン10を用いた表示パネル24への手書き入力を行うことができる。
尚、以上の説明では、文字を記入する場合について説明したが、表示制御システム100の使い方は、これに限られるものでない。文字(数字など)に限らず、記号及び図形等を記入できることはもちろんのことであるが、デジタルペン10を消しゴムのように用いて、表示パネル24に表示された文字、及び図形等を消すこともできる。つまり、表示装置20は、デジタルペン10の先端の移動に追従して、表示パネル24上におけるデジタルペン10の先端の位置の表示を連続的に消去することによって、表示パネル24上におけるデジタルペン10の先端の軌跡と一致する部分の表示を消去することができる。さらには、デジタルペン10をマウスのように用いて、表示パネル24に表示されるカーソルを移動させたり、表示パネル24に表示されるアイコンを選択したりすることもできる。すなわち、デジタルペン10を用いて、グラフィッカルユーザインターフェイス(GUI)を操作することもできる。このように、表示制御システム100においては、デジタルペン10が指示する表示パネル24上の位置に応じて、表示装置20への入力が行われ、表示装置20がその入力に応じて様々な表示制御を行う。
[7.実施形態の効果]
上述したとおり、本実施形態の表示制御システム100は、表示装置20と、表示装置20に形成された情報パターン3を読み取るデジタルペン10とを備える。デジタルペン10は、表示装置20に対して光を出射する少なくとも1つ以上の照射部14と、表示装置20から反射した光を撮像する読取部15とを備える。表示装置20は、マーク31が形成された光学フィルム40と、光学フィルム40の背面側に配置されて照射部14からの光を拡散反射する拡散反射シート48とを備える。照射部14は、読取部15の光軸Aと離れて配置されている。光軸Aから照射部14に向かう方向を第1方向(X軸正方向)とした場合、照射部14から出射される光の中心光線Lcと拡散反射シート48とが交わる点が、光軸Aと拡散反射シート48とが交わる点よりも第1方向(X軸正方向)側に存在する。すなわち、拡散反射シート48のシート面に対して読取部15の光軸Aが垂直となり、且つ、デジタルペン10のペン先部12の先端が表示パネル24に接触する垂直接触状態において、照射部14から出射される光の中心光線Lcが拡散反射シート48に到達する点が、読取部15の光軸Aと拡散反射シート48とが交わる点よりも、照射部14側に位置する。
このような構成により、撮影範囲Wにおいて照明むらを抑えることができる。その結果、情報パターン3の読み取り精度を向上させることができる。
また、垂直接触状態において、照射部14からの光のうち、最大光度の半分以上の光度を有する光線により照明される拡散反射シート48上の主照明範囲W’は、読取部15による表示パネル24の表面32a上の撮像範囲Wよりも広い。例えば、表示パネル24を正面から見た場合に、撮像範囲W全体が主照明範囲W’内に位置している。このような構成により、撮影範囲Wにおいて、さらに照明むらが少なくなるため、情報パターン3の認識率が良く、結果的に座標検出率がさらに向上する。
(その他の実施形態)
以上のように、本出願において開示する技術の例示として、実施形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記実施形態1で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。そこで、以下、他の実施形態を例示する。
上記実施形態1では、表示装置として液晶ディスプレイを例に挙げて説明したが、これには限られるものではない。表示装置20は、プラズマディスプレイ、有機ELディスプレイ、又は無機ELディスプレイなどの、文字や映像を表示可能な装置であればよい。また、表示装置20は、電子ペーパーのように表示面が自由に変形する装置であってもよい。
また、表示装置20は、ノートPC又は携帯型タブレットのディスプレイであってもよい。さらには、表示装置20は、テレビ又は電子黒板等であってもよい。
上記実施形態1では、情報パターン3が形成された光学フィルム40をカラーフィルタ44上に配置する構成としたが、これには限られるものではない。カラーフィルタ44に直接マーク31を形成する構成であってもよい。
デジタルペン10又は表示装置20は、デジタルペン10からの位置情報の入力を受けて行う処理を切り替える切替部を有していてもよい。具体的には、デジタルペン10にスイッチを設け、文字等の入力、文字等の消去、カーソルの移動、及びアイコンの選択等をそのスイッチにより切り替え可能に構成してもよい。あるいは、表示装置20に、文字等の入力、文字等の消去、カーソルの移動、及びアイコンの選択等を切り替えるためのアイコンを表示させ、デジタルペン10を用いてそれらのアイコンを選択可能に構成してもよい。さらに、デジタルペン10や表示装置20に、マウスの右クリックや左クリックに相当するスイッチを設けてもよい。これにより、GUIの操作性をさらに向上させることができる。
また、上記実施形態1のデジタルペン10及び表示装置20の構成は、一例であって、これらに限られるものではない。
また、上記実施形態1では、デジタルペン10と表示装置20との間の信号の送受信は、無線通信により行われているが、これに限られるものではない。デジタルペン10と表示装置20とが有線で接続されており、その有線を介して信号の送受信を行ってもよい。
また、上記実施形態1では、デジタルペン10で位置情報の特定を行って、その位置情報を表示装置20へ送信しているが、これに限られるものではない。図11は、その他の実施形態に係る表示制御システム200のブロック図である。図11に示すデジタルペン210は、圧力センサ13と、照射部14と、読取部15と、制御部216と、送信部17とを有している。圧力センサ13、照射部14、読取部15及び送信部17の構成は、上記実施形態1と同様である。制御部216は、ペン側マイコン16bを有し、実施形態1の特定部16aを有していない。つまり、制御部216は、撮像素子15bから入力された画像信号を、その画像信号からデジタルペン210の位置情報を特定することなく、送信部17へ出力する。こうして、デジタルペン210からは、撮像素子15bで撮像した画像信号が送信される。図11に示す表示装置220は、外部からの信号を受信する受信部22と、表示装置220全体を制御する表示側マイコン23と、画像を表示する表示パネル24と、デジタルペン10の位置を特定する特定部240とを有している。受信部22、表示側マイコン23及び表示パネル24の構成は、上記実施形態1と同様である。表示パネル24には、複数の情報パターン3が形成されている。受信部22は、デジタルペン210から送信された画像信号を受信して、その画像信号を特定部240に送信する。特定部240は、上記実施形態1におけるデジタルペン10の特定部16aと同様の機能を有する。この構成によれば、図12に示すように、デジタルペン210が情報パターン3の画像を撮像素子15bで取得し(ステップS22)し、その画像信号がデジタルペン210から表示装置220へ送信される(ステップS23)。そして、表示装置220の特定部240が、デジタルペン210から受信した画像信号からデジタルペン210の位置を特定する(ステップS24)。それ以外の処理は、上記実施形態1と同様である。
尚、表示制御システム200のデジタルペン210において、情報パターン3の画像を取得後、画像処理まで行ってデータ量を低減した後に、画像処理後の信号を表示装置220へ送信してもよい。つまり、デジタルペン10,210が指示する表示パネル24上の位置に関する情報を表す情報パターン3を、デジタルペン10,210が撮像する限りにおいては、位置に関する情報が、どのような状態で、デジタルペン10,210から表示装置20,220へ送信されてもよい。表示装置20,220は、受け取った位置に関する情報に応じて様々な表示制御を行う。
また、表示パネル24上におけるデジタルペンの位置を特定する特定部は、デジタルペン10および表示装置20とは別個の制御装置として、設けてもかまわない。例えば、ディスプレイ装置(表示装置の例)とPC本体(制御装置の例)とを備えたデスクトップPCにデジタルペンを加えた表示制御システムにおいては、ディスプレイ装置の表示パネルに情報パターン3が形成されている。デジタルペンは、情報パターン3を光学的に読み取ってPC本体へ送信する。そして、PC本体が情報パターン3からデジタルペンの位置を特定し、その特定した位置に応じた処理をディスプレイ装置に命令するようにしてもよい。
また、上記実施形態1では、圧力センサ13を、圧力が作用しているか否かを判定することだけに用いているが、これに限られるものではない。例えば、圧力センサ13の検出結果に基づいて圧力の大きさを検出するように構成してもよい。これにより、圧力の連続的な変化を読み取ることができる。その結果、圧力の大きさに基づいて、ペン入力により表示される線の太さや濃さを変化させることができる。
尚、上記実施形態1では、圧力センサ13を用いて、デジタルペン10による入力の有無を検出しているが、これに限られるものではない。デジタルペン10にペン入力のオン/オフを切り替えるスイッチを設け、そのスイッチがオンされたときにペン入力が有ると判定するように構成してもよい。この場合、デジタルペン10が表示パネル24の表面に接触していなくても、ペン入力を行うことができる。または、表示装置20が表示パネル24の表面を所定の振動数で振動させてもよい。この場合、表示装置20が、デジタルペン10が表示パネル24の表面に接触することによる振動数の変化を検出することによって、ペン入力の有無を検出するように構成してもよい。
上記実施形態1では、副画素は、長方形状であるが、これに限られるものではない。副画素は、三角形や平行四辺形などの形状でもよく、これらを組み合わせた形状であってもよい。副画素の形状は、表示装置が文字や映像を出力できるものであればよい。また、ブラックマトリクスも、副画素の形状に合わせて適宜変更し得る。
また、上記実施形態1では、マーク31は、第1基準線54又は第2基準線55上に配置されている。しかし、図13に示すように、マーク31は、第1基準線54と第2基準線55との交点から、第1基準線54及び第2基準線55に対して斜めの方向にシフトした位置に配置されてもよい。
尚、マーク31の配置パターンは、これに限られるものではない。情報パターン3のコーディングは、任意の手法を採用することができるので、採用するコーディング手法に応じてマーク31の配置パターンを変更すればよい。
また、マーク31を配置するための第1基準線54及び第2基準線55は、実施形態1に限られるものではない。例えば、第1基準線54はブラックマトリクス45上に規定してもよいし、副画素上に規定してもよい。さらには、第1基準線54を何色の副画素上に規定するかは任意に選択することができる。第2基準線55についても同様である。
上記実施形態1では、6マーク×6マークの単位エリア50で情報パターン3を形成しているが、これに限られるものではない。単位エリアを構成するマーク31の個数は、デジタルペン10や表示装置20の設計に応じて適宜設定することができる。また、情報パターン3の構成は、所定エリアに含まれるマーク31それぞれの配置の組合せに限られるものではない。情報パターン3が特定の位置情報を表すことができる限り、コーディングの手法は上記実施形態1に限られるものではない。
上記実施形態1では、情報パターン3が矩形状のマーク31で構成されているが、これに限られるものではない。矩形状のマーク31の代わりに、三角形等の図形又はアルファベット等の文字で表されるマークによって、情報パターン3が構成されていてもよい。例えば、マーク31は、副画素の全面に亘って形成されていてもよい。
特定部16aは、演算により、情報パターン3を位置座標に変換しているが、これに限られるものではない。例えば、特定部16aは、全ての情報パターン3と、そのそれぞれに対応付けられた位置座標を予め記憶しておき、取得された情報パターン3を、記憶しておいた情報パターン3と位置座標との関係に照らし合わせて、位置座標を特定するようにしてもよい。
以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須ではない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されているからといって、直ちに、それらの必須ではない構成要素が必須であるとの認定を受けるべきではない。
また、上述の実施形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等な範囲において種々の変更、置き換え、付加、省略などを行うことができる。
以上説明したように、本開示は、読取装置によって表示パネルに形成された情報パターンを光学的に読み取る表示制御システムなどについて有用である。
10 デジタルペン
11 本体ケース
12 ペン先部
13 圧力センサ
14 照射部
15 読取部
16 制御部
17 送信部
19 電源
20 表示装置
100 表示制御システム

Claims (3)

  1. 画像を表示する表示パネルと、前記表示パネルに形成された情報パターンを光学的に読み取る読取装置とを備える表示制御システムであって、
    前記読取装置は、
    前記表示パネルに対して光を出射する少なくとも1つ以上の光源と、
    前記光源から出射されて前記表示パネルで反射した光を撮像する撮像光学系と、を備え、
    前記表示パネルは、
    前記情報パターンが形成された情報パターン層と、
    前記情報パターン層の背面側に配置され、前記光源からの光を拡散反射する反射層と、を備え、
    前記光源は、前記撮像光学系の光軸上以外の位置に配置されており、
    前記反射層に対して前記撮像光学系の光軸が垂直となり、且つ、前記読取装置が前記表示パネルに接触する垂直接触状態において、前記光源から出射される光の中心光線が前記反射層に到達する点が、前記撮像光学系の光軸と前記反射層とが交わる点よりも、前記光源側に位置する、表示制御システム。
  2. 前記垂直接触状態において、前記光源からの光のうち、最大光度の半分以上の光度を有する光線により照明される前記反射層上の主照明範囲は、前記撮像光学系による前記表示パネルの表面上の撮像範囲よりも広い、請求項1に記載の表示制御システム。
  3. 情報パターンが形成された情報パターン層と、前記情報パターン層の背面側に配置されて光を拡散反射する反射層と有する表示パネルの前記情報パターンを光学的に読み取る読取装置であって、
    前記読取装置は、
    前記表示パネルに対して光を出射する少なくとも1つ以上の光源と、
    前記光源から出射されて前記表示パネルで反射した光を撮像する撮像光学系と、を備え、
    前記光源は、前記撮像光学系の光軸上以外の位置に配置されており、
    前記反射層に対して前記撮像光学系の光軸が垂直となり、且つ、当該読取装置が前記表示パネルに接触する状態において、前記光源から出射される光の中心光線が前記反射層に到達する点が、前記撮像光学系の光軸と前記反射層とが交わる点よりも、前記光源側に位置するように構成されている、読取装置。
JP2014554130A 2012-12-28 2013-12-20 表示制御システムおよび読取装置 Pending JPWO2014103274A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012287108 2012-12-28
JP2012287108 2012-12-28
PCT/JP2013/007513 WO2014103274A1 (ja) 2012-12-28 2013-12-20 表示制御システムおよび読取装置

Publications (1)

Publication Number Publication Date
JPWO2014103274A1 true JPWO2014103274A1 (ja) 2017-01-12

Family

ID=51020392

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014554130A Pending JPWO2014103274A1 (ja) 2012-12-28 2013-12-20 表示制御システムおよび読取装置

Country Status (4)

Country Link
US (1) US20140362054A1 (ja)
JP (1) JPWO2014103274A1 (ja)
CN (1) CN104137041A (ja)
WO (1) WO2014103274A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484064B (zh) * 2014-12-30 2018-04-27 合肥鑫晟光电科技有限公司 用于触摸显示屏的主动笔、触摸显示屏及触控输入系统
WO2016132732A1 (ja) * 2015-02-18 2016-08-25 パナソニックIpマネジメント株式会社 表示パネル
US9870076B1 (en) * 2016-09-03 2018-01-16 Nanjing Jiafan Electronic Technologies Co., Ltd. Transmitter pen positioning system
CN108983999B (zh) * 2017-06-05 2021-10-22 奇象光学有限公司 数位笔
CN113220140B (zh) * 2020-01-21 2023-10-13 京东方科技集团股份有限公司 一种交互笔、感应屏、交互系统及定位方法
KR20230126289A (ko) 2022-02-22 2023-08-30 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 위치 입력 시스템
KR102478738B1 (ko) * 2022-05-24 2022-12-19 주식회사 보나 광 산란 기반의 광학식 전자펜

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009075061A1 (ja) * 2007-12-12 2009-06-18 Kenji Yoshida 情報入力装置、情報処理装置、情報入力システム、情報処理システム、2次元書式情報サーバ、情報入力方法、制御プログラム、および記録媒体
JP2010224746A (ja) * 2009-03-23 2010-10-07 Fuji Xerox Co Ltd 読取装置
JP2012022418A (ja) * 2010-07-12 2012-02-02 Kenji Yoshida ストリームドットを用いた手書き入力シートおよび手書き入出力システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002223289B2 (en) * 2000-11-25 2005-03-17 Silverbrook Research Pty Ltd Orientation sensing device
CN2594866Y (zh) * 2002-12-19 2003-12-24 杜江 鼠标笔信号输入装置
US7889186B2 (en) * 2005-04-29 2011-02-15 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Pen input device and method for tracking pen position
US7898524B2 (en) * 2005-06-30 2011-03-01 Logitech Europe S.A. Optical displacement detection over varied surfaces
JP4129841B1 (ja) * 2007-08-09 2008-08-06 健治 吉田 情報入力補助シート、情報入力補助シートを用いた情報処理システムおよび情報入力補助シートを用いた印刷関連情報出力システム
JP2010160744A (ja) * 2009-01-09 2010-07-22 Fuji Xerox Co Ltd 読取装置
JP5228889B2 (ja) * 2008-12-24 2013-07-03 富士ゼロックス株式会社 読取装置
JP5793958B2 (ja) * 2011-05-23 2015-10-14 セイコーエプソン株式会社 入力機能付表示装置
JP2012243201A (ja) * 2011-05-23 2012-12-10 Seiko Epson Corp 入力機能付表示装置
KR101910578B1 (ko) * 2012-11-09 2018-10-22 삼성전자주식회사 전자 패널용 칼라 광펜

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009075061A1 (ja) * 2007-12-12 2009-06-18 Kenji Yoshida 情報入力装置、情報処理装置、情報入力システム、情報処理システム、2次元書式情報サーバ、情報入力方法、制御プログラム、および記録媒体
JP2010224746A (ja) * 2009-03-23 2010-10-07 Fuji Xerox Co Ltd 読取装置
JP2012022418A (ja) * 2010-07-12 2012-02-02 Kenji Yoshida ストリームドットを用いた手書き入力シートおよび手書き入出力システム

Also Published As

Publication number Publication date
CN104137041A (zh) 2014-11-05
US20140362054A1 (en) 2014-12-11
WO2014103274A1 (ja) 2014-07-03

Similar Documents

Publication Publication Date Title
WO2014103274A1 (ja) 表示制御システムおよび読取装置
JP5174962B2 (ja) タッチパネル、液晶パネル、液晶表示装置、及びタッチパネル一体型の液晶表示装置
JP5874034B2 (ja) 表示装置、及び表示制御システム
JP3962084B2 (ja) 情報表示入力装置
CN104024998B (zh) 显示装置及显示控制系统
JP5553920B2 (ja) 表示パネルおよび表示装置
TWI522879B (zh) 觸控顯示裝置
US20140184507A1 (en) Display device and display control system
US9030509B2 (en) Display device and display control system
US20150042625A1 (en) Display control system and display devices
US9128538B2 (en) Optical film, display panel, and display device
US20140028744A1 (en) Information reading device
WO2010092708A1 (ja) 表示パネルおよび表示装置
US20150035811A1 (en) Display control system, display device, and display panel
WO2014017039A1 (ja) 情報読取装置
JP2011090602A (ja) 光学式位置検出装置および位置検出機能付き表示装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151124