JP2010062938A - 画像表示/像検知装置 - Google Patents
画像表示/像検知装置 Download PDFInfo
- Publication number
- JP2010062938A JP2010062938A JP2008227332A JP2008227332A JP2010062938A JP 2010062938 A JP2010062938 A JP 2010062938A JP 2008227332 A JP2008227332 A JP 2008227332A JP 2008227332 A JP2008227332 A JP 2008227332A JP 2010062938 A JP2010062938 A JP 2010062938A
- Authority
- JP
- Japan
- Prior art keywords
- data
- scan
- display
- image
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 description 238
- 239000004973 liquid crystal related substance Substances 0.000 description 173
- 238000000034 method Methods 0.000 description 52
- 238000013500 data storage Methods 0.000 description 45
- 238000010586 diagram Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 35
- 230000003287 optical effect Effects 0.000 description 31
- 101100309604 Homo sapiens SCD5 gene Proteins 0.000 description 12
- 101100101423 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) UBI4 gene Proteins 0.000 description 12
- 101150042597 Scd2 gene Proteins 0.000 description 12
- 102100033930 Stearoyl-CoA desaturase 5 Human genes 0.000 description 12
- 101100041816 Homo sapiens SCD gene Proteins 0.000 description 11
- 101150097713 SCD1 gene Proteins 0.000 description 11
- 102100028897 Stearoyl-CoA desaturase Human genes 0.000 description 11
- 230000008859 change Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 7
- 239000000758 substrate Substances 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000002834 transmittance Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000010408 film Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- VZSRBBMJRBPUNF-UHFFFAOYSA-N 2-(2,3-dihydro-1H-inden-2-ylamino)-N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]pyrimidine-5-carboxamide Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C(=O)NCCC(N1CC2=C(CC1)NN=N2)=O VZSRBBMJRBPUNF-UHFFFAOYSA-N 0.000 description 1
- YLZOPXRUQYQQID-UHFFFAOYSA-N 3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-1-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]propan-1-one Chemical compound N1N=NC=2CN(CCC=21)CCC(=O)N1CCN(CC1)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F YLZOPXRUQYQQID-UHFFFAOYSA-N 0.000 description 1
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- AFCARXCZXQIEQB-UHFFFAOYSA-N N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(CCNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 AFCARXCZXQIEQB-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Landscapes
- Image Input (AREA)
- Facsimile Scanning Arrangements (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】画像の表示および対象物の読み取りを同時に行うことができ、特に、簡易な操作により、文書などの対象物の両面を同時に読み取ることができ、かつ、該両面の読み取り結果を同時に表示する。
【解決手段】2つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する2つの内面には、一方の内面に、画像を表示する第2表示/光センサ部300Bが、他方の内面に、近傍の像を検知する第1表示/光センサ部300Aが、互いに対向するようにそれぞれ配設され、上記第2表示/光センサ部300Bは、対象物を載置する領域を示すスキャン載置領域R1を表示し、上記第1表示/光センサ部300Aは、上記筐体を折り畳んだ状態で、上記第2表示/光センサ部300Bに表示された上記スキャン載置領域R1と対向する領域で、上記対象物の像を検知する。
【選択図】図1
【解決手段】2つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する2つの内面には、一方の内面に、画像を表示する第2表示/光センサ部300Bが、他方の内面に、近傍の像を検知する第1表示/光センサ部300Aが、互いに対向するようにそれぞれ配設され、上記第2表示/光センサ部300Bは、対象物を載置する領域を示すスキャン載置領域R1を表示し、上記第1表示/光センサ部300Aは、上記筐体を折り畳んだ状態で、上記第2表示/光センサ部300Bに表示された上記スキャン載置領域R1と対向する領域で、上記対象物の像を検知する。
【選択図】図1
Description
本発明は、画像の表示および対象物の読み取りを同時に行うことができ、特に、簡易な操作により、文書の両面を同時に読み取ることができる画像表示/像検知装置に関するものである。
従来から、文書に記載されている情報を読み取り、画像データとして電子化することができるスキャナ装置が、広く用いられている。さらに近年では、携帯型のスキャナ装置が登場している。その一例として、文字などの読み取りが可能なカメラ付き携帯電話機や、ファクシミリ装置などに備えられているハンディスキャナなどが挙げられる。
また、ユーザの利便性を高めるため、一度の操作で文書の両面を同時に読み取ることができるスキャナ装置が従来から用いられている。そのようなスキャナ装置は、コピー機などのように、大型で据え置き型が一般的であるが、携帯型も登場している(特許文献1参照)。
特許文献1に開示されているスキャナ装置は、2つのスキャナユニットをヒンジ部で折り畳める構造になっており、該折り畳んだスキャナユニットの間に挟んだ文書の両面を、同時に読み取ることができる。
また、特許文献2には、文書の両面をスキャナ装置での読み取り結果を取得し、自装置の表示部に表示する画像情報処理装置が開示されている。
特開2008−66961号公報(公開日:平成20年3月21日)
特開平8−88741号公報(公開日:平成8年4月2日)
携帯型のスキャナ装置は、持ち運びが可能である点で、利便性がある。しかしながら、読み取り性能や操作性の点で、利便性に欠ける場合がある。例えば、カメラ付き携帯電話機のカメラ機能を用いて文書の読み取りを行うことを考えると、カメラの性能によっては、読み取り結果が鮮明でなかったり、レンズに起因して読み取り結果に歪みが発生する場合がある。さらに、一度の操作で文書の片面しか読み取れなかったり、読み取り結果を他の装置で利用しにくかったり、メモリサイズに制限があるため読み取り結果を大量に保存できなかったり、読み取りを行うためにカメラを起動する手間がかかる等の、操作上の不便さがある。
一方、コピー機等のように、ラインスキャナを搭載した装置では、読み取り性能は高いが、ラインスキャナの構造上、小型化が困難であり、携帯性に欠ける。
また、特許文献1に開示されているスキャナ装置は、文書の両面を同時に読み取れるが、読み取り結果を表示しないため、読み取り結果をすぐに確認できない点で、利便性に欠ける。
また、特許文献2に開示されている画像情報処理装置は、スキャナ装置から取得した読み取り結果を表示するが、自装置で読み取りを行うものではないため、読み取りと、読み取り結果の確認とを、異なる装置にて行う必要があることから、利便性に欠ける。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像の表示および対象物の読み取りを同時に行うことができ、特に、簡易な操作により、文書などの対象物の両面を同時に読み取ることができ、かつ、該両面の読み取り結果を同時に表示することができる画像表示/像検知装置を提供することにある。
上記課題を解決するために、本発明に係る画像表示/像検知装置は、2つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する2つの内面には、一方の内面に、画像を表示する第1面状部材が、他方の内面に、近傍の像を検知する第2面状部材が、互いに対向するようにそれぞれ配設され、上記第1面状部材は、対象物を載置する領域を示す載置領域を表示し、上記第2面状部材は、上記筐体を折り畳んだ状態で、上記第1面状部材に表示された上記載置領域と対向する領域で、上記対象物の像を検知することを特徴としている。
上記の構成によれば、上記第1面状部材は画像を表示することができるとともに、上記載置領域を表示することができる。また、上記第2面状部材は、上記筐体を折り畳んだ状態で、上記載置領域と対向する領域で、上記対象物の像を検知することができる。
よって、上記第1面状部材に表示された上記載置領域に上記対象物を載置しておけば、上記筐体を折り畳んだ状態で、上記第2面状部材にて、上記載置された対象物の像を検知することができる。
したがって、本発明に係る画像表示/像検知装置を用いるユーザは、上記対象物の像を検知するにあたり、上記対象物を載置する位置を視認することができるとともに、上記筐体を折り畳むだけで、上記対象物の表面(載置した状態でユーザから見える側の面)の像を検知させることができるので、ユーザの操作性および利便性が向上するという効果を奏する。
さらに、本発明に係る画像表示/像検知装置は、上記の構成において、上記第1面状部材は、さらに、近傍の像を検知するものであり、上記筐体を折り畳んだ状態で、上記第1面状部材に表示された上記載置領域で、上記対象物の像を検知する構成としてもよい。
上記の構成によれば、さらに、上記第1面状部材は近傍の像を検知することができる。
よって、上記第1面状部材に表示された上記載置領域に上記対象物を載置しておけば、上記筐体を折り畳んだ状態で、上記第1面状部材および上記第2面状部材の少なくとも一方にて、上記載置された対象物の像を検知することができる。
したがって、本発明に係る画像表示/像検知装置を用いるユーザは、上記対象物の像を検知するにあたり、上記対象物を載置する位置を視認することができるとともに、上記筐体を折り畳むだけで、上記対象物の表面および裏面(載置した状態でユーザから見えない側の面)の少なくとも一方の像を検知させることができるので、ユーザの操作性および利便性が向上するという効果を奏する。
さらに、本発明に係る画像表示/像検知装置は、上記の構成において、上記第1面状部材は、上記第1面状部材および上記第2面状部材の少なくとも一方にて検知した上記対象物の像の画像を表示する構成としてもよい。
上記の構成によれば、さらに、上記第1面状部材は、上記第1面状部材および上記第2面状部材の少なくとも一方にて検知した上記対象物の像の画像を表示することができる。
よって、本発明に係る画像表示/像検知装置を用いるユーザは、上記第1面状部材にて、上記検知された対象物の像の画像を確認することができる。
したがって、ユーザは、上記対象物の像の検知が終了した後、本発明に係る画像表示/像検知装置にて上記第1面状部材が視認可能な状態にすることにより(つまり、筐体を開くことにより)、上記検知された対象物の像の画像を確認することができるので、ユーザの操作性および利便性が向上するという効果を奏する。
さらに、本発明に係る画像表示/像検知装置は、上記の構成において、上記第1面状部材は、上記載置領域と重ならない位置に、上記対象物の像の画像を表示する構成としてもよい。
上記の構成によれば、さらに、上記第1面状部材は、上記載置領域と重ならない位置に、上記対象物の像の画像を表示することができる。
よって、本発明に係る画像表示/像検知装置を用いるユーザは、上記載置領域に上記対象物を載置したままの状態で、上記第1面状部材にて上記検知された対象物の像の画像を確認することができる。
したがって、ユーザは、上記対象物を上記載置領域から取り除かなくても、上記第1面状部材にて上記検知された対象物の像の画像を確認することができるので、ユーザの操作性および利便性が向上するという効果を奏する。
さらに、本発明に係る画像表示/像検知装置は、上記の構成において、上記第2面状部材は、さらに、画像を表示する構成としてもよい。
上記の構成によれば、さらに、上記第2面状部材は、近傍の像を検知するだけでなく、画像を表示することができる。
よって、上記第2面状部材は、本発明に係る画像表示/像検知装置のユーザに対する情報提示などを行うことができる。
したがって、ユーザは、上記第1面状部材にて上記載置領域を視認することができるだけではなく、上記第2面状部材にて、例えば、上記対象物の検知手順などのメッセージ等を見ながら、本発明に係る画像表示/像検知装置を用いることが可能となるので、ユーザの操作性および利便性が向上するという効果を奏する。
さらに、本発明に係る画像表示/像検知装置は、上記の構成において、上記第2面状部材は、上記第1面状部材および上記第2面状部材の少なくとも一方にて検知した上記対象物の像の画像を表示する構成としてもよい。
上記の構成によれば、さらに、上記第2面状部材は、上記第1面状部材および上記第2面状部材の少なくとも一方にて検知した上記対象物の像の画像を表示することができる。
よって、本発明に係る画像表示/像検知装置を用いるユーザは、上記第2面状部材にて、上記検知された対象物の像の画像を確認することができる。
したがって、ユーザは、上記対象物の像の検知が終了した後、本発明に係る画像表示/像検知装置にて上記第2面状部材が視認可能な状態にすることにより(つまり、筐体を開くことにより)、上記対象物を上記載置領域から取り除かなくても、上記検知された対象物の像の画像を確認することができるので、ユーザの操作性および利便性が向上するという効果を奏する。
さらに、本発明に係る画像表示/像検知装置は、上記の構成において、上記第2面状部材は、上記第2面状部材にて検知した上記対象物の像の画像を、180度回転した状態で表示する構成としてもよい。
上記の構成によれば、さらに、上記第2面状部材は、上記第2面状部材にて検知した上記対象物の像の画像を、180度回転した状態で表示することができる。
よって、上記第2面状部材にて表示した上記対象物の像の画像の向きを、上記載置領域に載置した上記対象物の表面(載置した状態でユーザから見える側の面)の向きと、同じ向きにすることができる。
したがって、本発明に係る画像表示/像検知装置を用いるユーザが、上記載置領域に載置した上記対象物を見ながら、上記第2面状部材に表示した上記対象物の像の画像を確認する際、上記対象物の向きと上記対象物の像の画像の向きとが同じであることから、確認が行ない易いので、ユーザの操作性および利便性が向上するという効果を奏する。
以上のように、本発明に係る画像表示/像検知装置は、2つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する2つの内面には、一方の内面に、画像を表示する第1面状部材が、他方の内面に、近傍の像を検知する第2面状部材が、互いに対向するようにそれぞれ配設され、上記第1面状部材は、対象物を載置する領域を示す載置領域を表示し、上記第2面状部材は、上記筐体を折り畳んだ状態で、上記第1面状部材に表示された上記載置領域と対向する領域で、上記対象物の像を検知する。
よって、上記第1面状部材に表示された上記載置領域に上記対象物を載置しておけば、上記筐体を折り畳んだ状態で、上記第2面状部材にて、上記載置された対象物の像を検知することができる。
したがって、本発明に係る画像表示/像検知装置を用いるユーザは、上記対象物の像を検知するにあたり、上記対象物を載置する位置を視認することができるとともに、上記筐体を折り畳むだけで、上記対象物の表面(載置した状態でユーザから見える側の面)の像を検知することができるので、ユーザの操作性および利便性が向上するという効果を奏する。
本発明の一実施形態について図1から図20に基づいて説明すると以下の通りである。
本実施形態に係るデータ表示/センサ装置100(画像表示/像検知装置)は、2つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する2つの内面のそれぞれに、センサ内蔵液晶パネル301(第1面状部材、第2面状部材)が、互いに対向するようにそれぞれ配設され、上記筐体を折り畳んだ状態で、それぞれのセンサ内蔵液晶パネル301に含まれる光センサ回路32を駆動させることにより、2つのセンサ内蔵液晶パネル301の間に挟みこんだ、文書などの対象物の表面および裏面の少なくともいずれかをスキャンするとともに、スキャンした結果として得られる画像データを、2つのセンサ内蔵液晶パネル301の少なくともいずれかに表示することが可能な装置である。
まず、以下で、上記データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301の概要について説明する。
(センサ内蔵液晶パネルの概要)
上記データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング(タッチ)した位置の検出や、印刷物等の画像の読み取り(スキャン)である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機EL(Electro Luminescence)パネルなどであってもよい。
上記データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング(タッチ)した位置の検出や、印刷物等の画像の読み取り(スキャン)である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機EL(Electro Luminescence)パネルなどであってもよい。
図2を参照しながら、センサ内蔵液晶パネル301の構造について説明する。図2は、センサ内蔵液晶パネル301の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル301は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
図示のとおり、センサ内蔵液晶パネル301は、背面側に配置されるアクティブマトリクス基板51Aと、表面側に配置される対向基板51Bとを備え、これら基板の間に液晶層52を挟持した構造を有している。アクティブマトリクス基板51Aには、画素電極56、データ信号線57、光センサ回路32(図示せず)、配向膜58、偏光板59などが設けられる。対向基板51Bには、カラーフィルタ53r(赤)、53g(緑)、53b(青)、遮光膜54、対向電極55、配向膜58、偏光板59などが設けられる。また、センサ内蔵液晶パネル301の背面には、バックライト307が設けられている。
なお、光センサ回路32に含まれるフォトダイオード6は、青のカラーフィルタ53bを設けた画素電極56の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ53rを設けた画素電極56の近傍に設けてもよいし、緑のカラーフィルタ53gを設けた画素電極56の近傍に設けてもよい。
次に、図3(a)および図3(b)を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル301上をタッチした位置を検出する2種類の方法について説明する。
図3(a)は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト307から光63が出射されると、フォトダイオード6を含む光センサ回路32は、指などの対象物64により反射された光63を検知する。これにより、対象物64の反射像を検知することができる。このように、センサ内蔵液晶パネル301は、反射像を検知することにより、タッチした位置を検出することができる。
また、図3(b)は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図3(b)に示すように、フォトダイオード6を含む光センサ回路32は、対向基板51Bなどを透過した外光61を検知する。しかしながら、ペンなどの対象物62がある場合は、外光61の入射が妨げられるので、光センサ回路32が検知する光量が減る。これにより、対象物62の影像を検知することができる。このように、センサ内蔵液晶パネル301は、影像を検知することにより、タッチした位置を検出することもできる。
上述のように、フォトダイオード6は、バックライト307より出射された光の反射光(影像)を検知してもよいし、外光による影像を検知してもよい。また、上記2種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
(データ表示/センサ装置の要部構成)
次に、図4を参照しながら、上記データ表示/センサ装置100の要部構成について説明する。図4は、データ表示/センサ装置100の要部構成を示すブロック図である。図示のように、データ表示/センサ装置100は、1または複数の表示/光センサ部300、回路制御部600、データ処理部700、主制御部800、記憶部901、一次記憶部902、操作部903、外部通信部907、音声出力部908、および音声入力部909を備えている。ここでは、データ表示/センサ装置100は、表示/光センサ部300を2つ(第1表示/光センサ部300Aおよび第2表示/光センサ部300B)備えているものとして説明する。なお、第1表示/光センサ部300Aおよび第2表示/光センサ部300Bを区別しないときは、表示/光センサ部300と表記する。
次に、図4を参照しながら、上記データ表示/センサ装置100の要部構成について説明する。図4は、データ表示/センサ装置100の要部構成を示すブロック図である。図示のように、データ表示/センサ装置100は、1または複数の表示/光センサ部300、回路制御部600、データ処理部700、主制御部800、記憶部901、一次記憶部902、操作部903、外部通信部907、音声出力部908、および音声入力部909を備えている。ここでは、データ表示/センサ装置100は、表示/光センサ部300を2つ(第1表示/光センサ部300Aおよび第2表示/光センサ部300B)備えているものとして説明する。なお、第1表示/光センサ部300Aおよび第2表示/光センサ部300Bを区別しないときは、表示/光センサ部300と表記する。
表示/光センサ部300は、いわゆる光センサ内蔵液晶表示装置である。表示/光センサ部300は、センサ内蔵液晶パネル301、バックライト307、それらを駆動するための周辺回路309を含んで構成される。
センサ内蔵液晶パネル301は、マトリクス状に配置された複数の画素回路31および光センサ回路32を含んで構成される。センサ内蔵液晶パネル301の詳細な構成については後述する。
周辺回路309は、液晶パネル駆動回路304、光センサ駆動回路305、信号変換回路306、バックライト駆動回路308を含む。
液晶パネル駆動回路304は、回路制御部600の表示制御部601からのタイミング制御信号(TC1)およびデータ信号(D)に従って、制御信号(G)およびデータ信号(S)を出力し、画素回路31を駆動する回路である。画素回路31の駆動方法の詳細については後述する。
光センサ駆動回路305は、回路制御部600のセンサ制御部602からのタイミング制御信号(TC2)に従って、信号線(R)に電圧を印加し、光センサ回路32を駆動する回路である。光センサ回路32の駆動方法の詳細については後述する。
信号変換回路306は、光センサ回路32から出力されるセンサ出力信号(SS)をデジタル信号(DS)に変換し、該変換後の信号をセンサ制御部602に送信する回路である。
バックライト307は、複数の白色LED(Light Emitting Diode)を含んでおり、センサ内蔵液晶パネル301の背面に配置される。そして、バックライト駆動回路308から電源電圧が印加されると、バックライト307は点灯し、センサ内蔵液晶パネル301に光を照射する。なお、バックライト307は、白色LEDに限らず、他の色のLEDを含んでいてもよい。また、バックライト307は、LEDに代えて、例えば、冷陰極管(CCFL:Cold Cathode Fluorescent Lamp)を含むものであってもよい。
バックライト駆動回路308は、回路制御部600のバックライト制御部603からの制御信号(BK)がハイレベルであるときは、バックライト307に電源電圧を印加し、逆に、バックライト制御部603からの制御信号がローレベルであるときは、バックライト307に電源電圧を印加しない。
次に、回路制御部600について説明する。回路制御部600は、表示/光センサ部300の周辺回路309を制御するデバイスドライバとしての機能を備えるものである。回路制御部600は、表示制御部601、センサ制御部602、バックライト制御部603、および表示データ記憶部604を備えている。
表示制御部601は、データ処理部700の表示データ処理部701から表示データを受信するとともに、表示データ処理部701からの指示に従って、表示/光センサ部300の液晶パネル駆動回路304に、タイミング制御信号(TC1)およびデータ信号(D)を送信し、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。
なお、表示制御部601は、表示データ処理部701から受信した表示データを、表示データ記憶部604に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号(D)を生成する。表示データ記憶部604は、例えば、VRAM(video random access memory)などである。
センサ制御部602は、データ処理部700のセンサデータ処理部703からの指示に従って、表示/光センサ部300の光センサ駆動回路305に、タイミング制御信号(TC2)を送信し、センサ内蔵液晶パネル301にてスキャンを実行させる。
また、センサ制御部602は、信号変換回路306からデジタル信号(DS)を受信する。そして、センサ内蔵液晶パネル301に含まれる全ての光センサ回路32から出力されたセンサ出力信号(SS)に対応するデジタル信号(DS)に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル301の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部703に送信する。
バックライト制御部603は、表示データ処理部701およびセンサデータ処理部703からの指示に従って、表示/光センサ部300のバックライト駆動回路308に制御信号(BK)を送信し、バックライト307を駆動させる。
なお、データ表示/センサ装置100が、複数の表示/光センサ部300を備える場合、表示制御部601は、データ処理部700から、どの表示/光センサ部300にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示/光センサ部300の液晶パネル駆動回路304を制御する。また、センサ制御部602は、データ処理部700から、どの表示/光センサ部300にて対象物のスキャンを行うかの指示を受けたとき、当該指示に応じた表示/光センサ部300の光センサ駆動回路305を制御するとともに、当該指示に応じた表示/光センサ部300の信号変換回路306からデジタル信号(DS)を受信する。
次に、データ処理部700について説明する。データ処理部700は、主制御部800から受信する「コマンド」に基づいて、回路制御部600に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
データ処理部700は、表示データ処理部701およびセンサデータ処理部703を備えている。そして、データ処理部700が、主制御部800からコマンドを受信すると、該受信したコマンドに含まれる各フィールド(後述する)の値に応じて、表示データ処理部701およびセンサデータ処理部703の少なくとも一方が動作する。
表示データ処理部701は、主制御部800から表示データを受信するとともに、データ処理部700が受信したコマンドに従って、表示制御部601およびバックライト制御部603に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。なお、コマンドに応じた、表示データ処理部701の動作については、後述する。
センサデータ処理部703は、データ処理部700が受信したコマンドに従って、センサ制御部602およびバックライト制御部603に指示を与える。
また、センサデータ処理部703は、センサ制御部602から画像データを受信し、当該画像データをそのまま画像データバッファ704に格納する。そして、センサデータ処理部703は、データ処理部700が受信したコマンドに従って、画像データバッファ704に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ(部分画像の座標データを含む)」、および「座標データ」の少なくともいずれか1つを、主制御部800に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部703の動作については、後述する。
次に、主制御部800は、アプリケーションプログラムを実行するものである。主制御部800は、記憶部901に格納されているプログラムを、例えばRAM(Random Access Memory)等で構成される一次記憶部902に読み出して実行する。
主制御部800で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル301に表示データを表示させたり、センサ内蔵液晶パネル301にて対象物のスキャンを行わせるために、データ処理部700に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか1つを、データ処理部700から受信する。
なお、回路制御部600、データ処理部700、および主制御部800は、それぞれ、CPU(Central Processing Unit)およびメモリ等で構成することができる。また、データ処理部700は、ASIC(application specific integrate circuit)などの回路で構成されていてもよい。
次に、記憶部901は、図示のように、主制御部800が実行するプログラムおよびデータを格納するものである。なお、主制御部800が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
次に、操作部903は、データ表示/センサ装置100のユーザの入力操作を受けつけるものである。操作部903は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部903は、データ表示/センサ装置100のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部800へ送信する。
なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ904、電源のオンとオフとを切り替える電源スイッチ905、予め所定の機能が割り当てられているユーザスイッチ906などのハードウェアスイッチを想定している。
その他、データ表示/センサ装置100は、無線/有線通信によって外部装置と通信を行なうための外部通信部907、音声を出力するためのスピーカ等の音声出力部908、音声信号を入力するためのマイク等の音声入力部909などを適宜備えていてもよい。
(コマンドの詳細)
次に、図5および図6を参照しながら、主制御部800からデータ処理部700に送信されるコマンドの詳細について説明する。図5は、コマンドのフレーム構造の一例を模式的に示す図である。また、図6は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
次に、図5および図6を参照しながら、主制御部800からデータ処理部700に送信されるコマンドの詳細について説明する。図5は、コマンドのフレーム構造の一例を模式的に示す図である。また、図6は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
図5に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図6に示す値が指定可能である。
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
次に、「データ取得タイミング」フィールドは、データを主制御部800へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”(センス)、“01”(イベント)、および“10”(オール)という値が指定可能である。
ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部800に送信する。
また、“イベント”は、センサ制御部602から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部602から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部800に送信する。
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部800に送信する。なお、上記所定周期は、光センサ回路32にてスキャンを行う周期と一致する。
次に、「データ種別」フィールドは、センサデータ処理部703から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”(座標)、“010”(部分画像)、および“100”(全体画像)という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”/“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
センサデータ処理部703は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ704に記憶している画像データそのものを主制御部800に送信する。画像データバッファ704に記憶している画像データそのものを、「全体画像データ」と称する。
また、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部602から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部800に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部703は、該抽出されたそれぞれの部分画像データを主制御部800に送信する。
さらに、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部800に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
次に、センサデータ処理部703は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部800に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部703は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部800に送信する(多点検出)。
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト307を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”(反射)、“01”(透過)、および“10”(反射/透過)という値が指定可能である。
“反射”は、バックライト307を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路305とバックライト駆動回路308とが同期して動作するように、センサ制御部602とバックライト制御部603とに指示を与える。
また、“透過”は、バックライト307を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路305を動作させ、バックライト駆動回路308と動作させないようにセンサ制御部602とバックライト制御部603とに指示を与える。なお、“反射/透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”(2値)、および“01”(多値)という値が指定可能である。
ここで、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“2値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部800に送信する。
また、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部800に送信する。
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”(高)および“1”(低)という値が指定可能である。
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部800に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ(指紋などの画像データ)には、“高”を指定することが望ましい。
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部800に送信する。例えば、タッチした位置等が分かる程度でよい画像データ(タッチした指や手の画像データなど)には、“低”を指定することが望ましい。
次に、「スキャンパネル」フィールドは、どの表示/光センサ部300にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”(第1表示/光センサ部300A)、“010”(第2表示/光センサ部300B)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1表示/光センサ部300A”と“第2表示/光センサ部300B”とを同時に指定する場合、“011”と指定することができる。
ここで、センサデータ処理部703は、「スキャンパネル」フィールドの値が“第1表示/光センサ部300A”であるコマンドを受信すると、第1表示/光センサ部300Aの光センサ駆動回路305およびバックライト駆動回路308を制御するように、センサ制御部602およびバックライト制御部603に指示を与える。
次に、「表示パネル」フィールドは、どの表示/光センサ部300にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”(第1表示/光センサ部300A)、“010”(第2表示/光センサ部300B)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1表示/光センサ部300A”と“第2表示/光センサ部300B”とを同時に指定する場合、“011”と指定することができる。
ここで、表示データ処理部701は、例えば、「表示パネル」フィールドの値が“第1表示/光センサ部300A”であるコマンドを受信すると、第1表示/光センサ部300Aに表示データを表示させるために、第1表示/光センサ部300Aの液晶パネル駆動回路304およびバックライト駆動回路308を制御するように、表示制御部601およびバックライト制御部603に指示を与える。
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
なお、主制御部800にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値(NULL値など)を設定しておけばよい。
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部700に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル301を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる(多点検出)。
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部700に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
(全体画像データ/部分画像データ/座標データ)
次に、図7を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図7(a)に示す画像データは、対象物がセンサ内蔵液晶パネル301上に置かれていないときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。また、図7(b)に示す画像データは、ユーザが指でセンサ内蔵液晶パネル301をタッチしているときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。
次に、図7を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図7(a)に示す画像データは、対象物がセンサ内蔵液晶パネル301上に置かれていないときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。また、図7(b)に示す画像データは、ユーザが指でセンサ内蔵液晶パネル301をタッチしているときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。
ユーザが指でセンサ内蔵液晶パネル301をタッチしたとき、当該タッチした近傍の光センサ回路32が受光する光量が変化するため、当該光センサ回路32が出力する電圧に変化が生じ、その結果として、センサ制御部602が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
図7(b)に示す画像データでは、図7(a)に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図7(b)に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域(領域PP)が、“部分画像データ”である。
なお、領域APで示される画像データが、“全体画像データ”である。
また、部分画像データ(領域PP)の代表座標Zの、全体画像データ(領域AP)における座標データは(Xa,Ya)であり、部分画像データ(領域PP)における座標データは(Xp,Yp)である。
(センサ内蔵液晶パネルの構成)
次に、図8を参照しながら、センサ内蔵液晶パネル301の構成、および、センサ内蔵液晶パネル301の周辺回路309の構成について説明する。図8は、表示/光センサ部300の要部、特に、センサ内蔵液晶パネル301の構成および周辺回路309の構成を示すブロック図である。
次に、図8を参照しながら、センサ内蔵液晶パネル301の構成、および、センサ内蔵液晶パネル301の周辺回路309の構成について説明する。図8は、表示/光センサ部300の要部、特に、センサ内蔵液晶パネル301の構成および周辺回路309の構成を示すブロック図である。
センサ内蔵液晶パネル301は、光透過率(輝度)を設定するための画素回路31、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路32を備えている。なお、画素回路31は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するR画素回路31r、G画素回路31g、B画素回路31bの総称して用いる。
画素回路31は、センサ内蔵液晶パネル301上の列方向(縦方向)にm個、行方向(横方向)に3n個配置される。そして、R画素回路31r、G画素回路31g、およびB画素回路31bの組が、行方向(横方向)に連続して配置される。この組が1つの画素を形成する。
画素回路31の光透過率を設定するには、まず、画素回路31に含まれるTFT(Thin Film Transistor)33のゲート端子に接続される走査信号線Giにハイレベル電圧(TFT33をオン状態にする電圧)を印加する。その後、R画素回路31rのTFT33のソース端子に接続されているデータ信号線SRjに、所定の電圧を印加する。同様に、G画素回路31gおよびB画素回路31bについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル301上に画像が表示される。
次に、光センサ回路32は、一画素毎に配置される。なお、R画素回路31r、G画素回路31g、およびB画素回路31bのそれぞれの近傍に1つずつ配置されてもよい。
光センサ回路32にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ35の一方の電極に接続されているセンサ読み出し線RWiと、フォトダイオード36のアノード端子に接続されているセンサリセット線RSiとに所定の電圧を印加する。この状態において、フォトダイオード36に光が入射されると、入射した光量に応じた電流がフォトダイオード36に流れる。そして、当該電流に応じて、コンデンサ35の他方の電極とフォトダイオード36のカソード端子との接続点(以下、接続ノードV)の電圧が低下する。そして、センサプリアンプ37のドレイン端子に接続される電圧印加線SDjに電源電圧VDDを印加すると、接続ノードVの電圧は増幅され、センサプリアンプ37のソース端子からセンシングデータ出力線SPjに出力される。そして、当該出力された電圧に基づいて、光センサ回路32が受光した光量を算出することができる。
次に、センサ内蔵液晶パネル301の周辺回路である、液晶パネル駆動回路304、光センサ駆動回路305、およびセンサ出力アンプ44について説明する。
液晶パネル駆動回路304は、画素回路31を駆動するための回路であり、走査信号線駆動回路3041およびデータ信号線駆動回路3042を含んでいる。
走査信号線駆動回路3041は、表示制御部601から受信したタイミング制御信号TC1に基づいて、1ライン時間毎に、走査信号線G1〜Gmの中から1本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
データ信号線駆動回路3042は、表示制御部601から受信した表示データD(DR、DG、およびDB)に基づいて、1ライン時間毎に、1行分の表示データに対応する所定の電圧を、データ信号線SR1〜SRn、SG1〜SGn、SB1〜SBnに印加する(線順次方式)。なお、データ信号線駆動回路3042は、点順次方式で駆動するものであってもよい。
光センサ駆動回路305は、光センサ回路32を駆動するための回路である。光センサ駆動回路305は、センサ制御部602から受信したタイミング制御信号TC2に基づいて、センサ読み出し信号線RW1〜RWmの中から、1ライン時間毎に1本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号TC2に基づいて、センサリセット信号線RS1〜RSmの中から、1ライン時間毎に1本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
センシングデータ出力信号線SP1〜SPnはp個(pは1以上n以下の整数)のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ47を介して、センサ出力アンプ44に接続される。センサ出力アンプ44は、スイッチ47により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号SS(SS1〜SSp)として、信号変換回路306へ出力する。
(データ表示/センサ装置の筐体)
次に、図9(a)および図9(b)を参照しながら、本発明に係るデータ表示/センサ装置100の筐体について説明する。図9(a)および図9(b)は、データ表示/センサ装置100の筐体を示す概要図である。図示のとおり、データ表示/センサ装置100は、第1表示/光センサ部300Aと第2表示/光センサ部300Bとが向き合うように、ヒンジ部Hで折り畳むことができる、いわゆるクラムシェル型の筐体を有している。
図9(a)は、データ表示/センサ装置100の筐体を開いた(つまり、折り畳んでいない)様子を示す図であり、図9(b)は、データ表示/センサ装置100の筐体を閉じた(つまり、折り畳んだ)様子を示す図である。
次に、図9(a)および図9(b)を参照しながら、本発明に係るデータ表示/センサ装置100の筐体について説明する。図9(a)および図9(b)は、データ表示/センサ装置100の筐体を示す概要図である。図示のとおり、データ表示/センサ装置100は、第1表示/光センサ部300Aと第2表示/光センサ部300Bとが向き合うように、ヒンジ部Hで折り畳むことができる、いわゆるクラムシェル型の筐体を有している。
図9(a)は、データ表示/センサ装置100の筐体を開いた(つまり、折り畳んでいない)様子を示す図であり、図9(b)は、データ表示/センサ装置100の筐体を閉じた(つまり、折り畳んだ)様子を示す図である。
図9(a)に示すとおり、データ表示/センサ装置100の筐体を開いたとき、第1表示/光センサ部300Aのセンサ内蔵液晶パネル301と、第2表示/光センサ部300Bのセンサ内蔵液晶パネル301との少なくとも一方がユーザに見える状態となり、データ表示およびユーザ入力が可能となる。
また、図9(b)に示すとおり、データ表示/センサ装置100の筐体を閉じたとき、第1表示/光センサ部300Aのセンサ内蔵液晶パネル301と、第2表示/光センサ部300Bのセンサ内蔵液晶パネル301とは向き合う状態となるので、両方のセンサ内蔵液晶パネル301の間に文書P1などの対象物を挟むことにより、当該対象物の片面または両面をスキャンすることが可能となる。
なお、データ表示/センサ装置100の筐体を閉じた状態では、図9(b)に示すとおり、第1表示/光センサ部300Aおよび第2表示/光センサ部300Bのいずれか一方が上側にあり、他方が下側にあると言える。そこで、以降では、説明の便宜上、第1表示/光センサ部300Aを「上画面」とも称し、また、第2表示/光センサ部300Bを「下画面」とも称する。また、スキャンを実行する表示/光センサ部300を「スキャン実行面」とも称する。
また、図9(a)に示すとおり、ユーザは、通常、下画面である第2表示/光センサ部300Bのセンサ内蔵液晶パネル301上に、文書P1などの対象物を置くものとして説明する。
なお、以降では、第1表示/光センサ部300Aのセンサ内蔵液晶パネル301を、センサ内蔵液晶パネル301Aと表記し、第2表示/光センサ部300Bのセンサ内蔵液晶パネル301を、センサ内蔵液晶パネル301Bと表記する。センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bを区別しないときは、センサ内蔵液晶パネル301と表記する。
また、以降では、単に“表示する(または、表示させる)”と表記している場合は、センサ内蔵液晶パネル301に表示する(または、表示させる)ものとする。
(発明の要点)
本発明の主な特徴は、データ表示/センサ装置100の筐体を閉じた状態において、センサ内蔵液晶パネル301Aの光センサ回路32とセンサ内蔵液晶パネル301Bの光センサ回路32とを駆動させることにより、センサ内蔵液晶パネル301Aとセンサ内蔵液晶パネル301Bとの間に挟みこんだ、文書などの対象物の表面と裏面とをスキャンする(以下、両面スキャンとも称する)ことである。
本発明の主な特徴は、データ表示/センサ装置100の筐体を閉じた状態において、センサ内蔵液晶パネル301Aの光センサ回路32とセンサ内蔵液晶パネル301Bの光センサ回路32とを駆動させることにより、センサ内蔵液晶パネル301Aとセンサ内蔵液晶パネル301Bとの間に挟みこんだ、文書などの対象物の表面と裏面とをスキャンする(以下、両面スキャンとも称する)ことである。
これにより、例えば、データ表示/センサ装置100の筐体を閉じたことを、スキャンを実行するトリガとして設定しておけば、データ表示/センサ装置100の筐体を開閉するという簡易な操作を行うだけで、両面スキャンを行うことが可能となり、ユーザの操作性および利便性が向上する。
また、本発明のさらなる特徴は、スキャンを実行する前および後において、少なくとも一方のセンサ内蔵液晶パネル301を用いて、データ表示およびユーザ操作を可能としていることである。
これにより、スキャン、並びに、データ表示およびユーザ操作を、1台のデータ表示/センサ装置100にて行うことが可能となる。したがって、ユーザがスキャンの手順をリアルタイムに確認しながらスキャンを実行したり、スキャンを実行した結果として得られる画像データを表示させたり、当該画像データに対する編集等のユーザ操作が、1台のデータ表示/センサ装置100で可能であるため、ユーザの操作性および利便性が向上する。
(データ表示/センサ装置を用いて両面スキャンを行う様子)
次に、図1(a)から図1(e)を参照しながら、データ表示/センサ装置100が、両面スキャンを行う処理の典型例について説明する。なお、ここでは、処理の概要について説明し、各処理の詳細については後述する。
次に、図1(a)から図1(e)を参照しながら、データ表示/センサ装置100が、両面スキャンを行う処理の典型例について説明する。なお、ここでは、処理の概要について説明し、各処理の詳細については後述する。
まず、図1(a)は、データ表示/センサ装置100が、スキャンを実行可能な状態において、ユーザに対してスキャンの準備を促すメッセージなどを表示している様子を示す図である。ここでは、下画面に、スキャンを行うにあたり対象物を載置する領域(以下、載置領域)R1と、ユーザ操作可能なボタンであるスイッチSW1とを表示するとともに、上画面に、ユーザに対するメッセージM1を表示している。
次に、図1(b)は、対象物である文書P2(例えば、名刺)が置かれた様子を示す図である。このとき、下画面のセンサ内蔵液晶パネル301が、載置領域R1内に文書P2が置かれたことを検出すると、上画面のセンサ内蔵液晶パネル301に新たなメッセージM2を表示する。
次に、図1(c)は、図1(b)で示す状態から、データ表示/センサ装置100の筐体が閉じられた様子を示す図である。このとき、例えば、ヒンジ部に設けられているヒンジ部スイッチ904が、筐体が閉じたことを検知すると、上画面のセンサ内蔵液晶パネル301が文書P2の表面をスキャンするとともに、下画面のセンサ内蔵液晶パネル301が文書P2の裏面をスキャンする。そして、スキャンが完了すると、スキャンが完了した旨をユーザに通知する(例えば、所定の音声を出力したり、所定のランプが点灯する等)。
次に、図1(d)は、図1(c)で示す状態においてスキャンが実行された後、データ表示/センサ装置100の筐体が開かれた様子を示す図である。なお、文書P2は、図示のように、下画面のセンサ内蔵液晶パネル301上から取り除いている。ヒンジ部スイッチ904が、筐体が開いたことを検知すると、上画面のセンサ内蔵液晶パネル301は、上画面のセンサ内蔵液晶パネル301にてスキャンした結果として得られる画像データのうち、文書P2の表面に該当する部分であるスキャンデータSCD1を、180度回転した状態で表示する。
また、下画面のセンサ内蔵液晶パネル301は、下画面のセンサ内蔵液晶パネル301にてスキャンした結果として得られる画像データのうち、文書P2の裏面に該当する部分であるスキャンデータSCD2を表示する。
なお、この例では、文書P2を挟んだ場所に対応する位置に、スキャンデータSCD1およびSCD2を表示している。また、上画面のセンサ内蔵液晶パネル301に、ユーザに対する新たなメッセージM3を表示している。
次に、図1(e)は、図1(d)で示す状態において、ユーザ操作により、スキャンデータSCD1やSCD2の向き、および、表示位置を変更した様子を示す図である。この図では、ユーザ操作により、スキャンデータSCD1を270度回転し、かつ、スキャンデータSCD2の表示位置を下画面から上画面に変更した様子を示している。このように、スキャンデータSCD1およびSCD2の向きや表示位置などは、スイッチSW1を操作(タッチ)したり、スキャンデータSCD1およびSCD2自体をユーザ操作することにより、適宜変更することができる。さらに、ユーザ操作により、スキャンデータSCD1およびSCD2を記憶部901に格納したり、スキャンデータSCD1およびSCD2に含まれる文字を認識するために、文字認識機能を起動してもよい。
なお、以下では、対象物をスキャンした結果として得られる画像データのうち、対象物に該当する部分を「スキャンデータ」と称する。
(データ表示/センサ装置のより詳細な構成)
次に、図10を参照しながら、データ表示/センサ装置100のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部800と表示/光センサ部300との間に位置するデータ処理部700および回路制御部600の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部800の各部が、データ処理部700にコマンドを送信し、データ処理部700がコマンドに基づいて回路制御部600を制御し、回路制御部600が表示/光センサ部300に対して信号を送信する。また、主制御部800は、データ処理部700に対して送信したコマンドに対する応答として、データ処理部700から、全体画像データ、部分画像データ、および座標データを取得する。
次に、図10を参照しながら、データ表示/センサ装置100のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部800と表示/光センサ部300との間に位置するデータ処理部700および回路制御部600の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部800の各部が、データ処理部700にコマンドを送信し、データ処理部700がコマンドに基づいて回路制御部600を制御し、回路制御部600が表示/光センサ部300に対して信号を送信する。また、主制御部800は、データ処理部700に対して送信したコマンドに対する応答として、データ処理部700から、全体画像データ、部分画像データ、および座標データを取得する。
図10は、データ表示/センサ装置100のより詳細な構成を示すブロック図である。図示のように、記憶部901は、メニュー記憶部21、スキャン属性情報記憶部22、画像データ記憶部23、文字認識属性情報記憶部24、および文字認識結果データ記憶部25を含んでいる。なお、文字認識処理を行わない場合には、文字認識属性情報記憶部24および文字認識結果データ記憶部25を含まなくてもよい。
メニュー記憶部21は、センサ内蔵液晶パネル301上に表示するメニューに関する情報を記憶するものである。メニューは、ユーザ選択可能な複数のメニュー項目によって構成されるリストである。なお、メニュー項目は、ユーザ選択された際に実行する処理と対応付けられている。
なお、メニュー記憶部21は、データ表示/センサ装置100の動作状態に応じたメニューを記憶する。例えば、データ表示/センサ装置100の起動直後に、センサ内蔵液晶パネル301上に表示されるメニューとして、スキャン処理および文字認識処理と対応付けられているメニュー項目である「画像スキャン/文字認識」、記憶部に格納している画像データをセンサ内蔵液晶パネル301上に表示する処理と対応付けられているメニュー項目である「画像表示」、アドレス帳のアプリケーションを起動する処理と対応付けられているメニュー項目である「アドレス帳」などを含むメニューを記憶している。
また、例えば、センサ内蔵液晶パネル301上に画像データを表示している状態において、センサ内蔵液晶パネル301上に表示されるメニューとして、「拡大/縮小」、「全画面表示」、「回転/反転」、「上下表示入れ替え」、「編集」、「文字認識」、「外部記憶域へ保存」、「各種設定」、「終了」などのメニュー項目を含むメニューを記憶している。
なお、メニュー項目は、さらにサブメニュー項目と対応付けられていてもよい。例えば、上記「編集」メニュー項目は、サブメニュー項目として「コメントの追加」、「表示範囲の変更」、「蛍光ペン」、「白黒反転」などと対応付けられていてもよい。
スキャン属性情報記憶部22は、スキャン処理部12が、センサ内蔵液晶パネル301上に置かれた対象物のスキャンを行うために用いる各種情報を記憶するものである。スキャン属性情報記憶部22は、表示メッセージ記憶部221、スキャンパターン記憶部222、およびスキャンモード記憶部223を含んでいる。
表示メッセージ記憶部221は、(1)ユーザに提示する所定のメッセージ、(2)該メッセージを、センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bのいずれに表示するかを示す情報(以下、メッセージ表示面情報)、および、(3)センサ内蔵液晶パネル301上において上記メッセージを表示する領域を示す情報(座標データなど)(以下、メッセージ表示領域情報)の組を、読み出し可能な状態で記憶する。以下、表示メッセージ記憶部221で記憶する組を、メッセージ情報と称する。
ユーザに提示する所定のメッセージとしては、例えば、対象物の準備を促すためのメッセージである「用紙をスキャン位置に置いてください」、筐体を閉じることを促すためのメッセージである「用紙をセットしたら蓋を閉じてください」、スキャン結果の確認を促すためのメッセージである「スキャン結果を確認してください」などの文字データが挙げられる。なお、上記メッセージは、文字データに限定されるものではなく、画像データなどであってもよい。
次に、スキャンパターン記憶部222は、(1)載置領域を示す情報(以下、載置領域情報)、(2)第1表示/光センサ部300Aおよび第2表示/光センサ部300Bのいずれの面でスキャンを実行するかを示す情報(以下、スキャン実行面情報)、(3)スキャンを実行した結果として得られる画像データにおける、抽出対象となる領域(スキャンデータ領域)を示す情報(以下、スキャンデータ領域情報)、(4)スキャンデータを第1表示/光センサ部300Aおよび第2表示/光センサ部300Bのいずれに表示するかを示す情報(以下、スキャンデータ表示面情報)、および(5)スキャンデータを表示する領域(スキャンデータ表示領域)を示す情報(以下、スキャンデータ表示領域情報)の組を、読み出し可能な状態で記憶する。以下、スキャンパターン記憶部222で記憶する上記組を、スキャンパターン情報とも称する。
上記(3)のスキャンデータ領域情報をスキャンパターン記憶部222に記憶する理由について説明する。スキャンを実行した結果としてデータ処理部700から得られる画像データは、対象物に相当する領域と、対象物ではない領域とを含む。そして、対象物の領域が正しく認識できないの場合(対象物が半透明である等)でも、対象物の領域を抽出可能とするために、スキャンデータ領域情報を、予め、スキャンパターン記憶部222に記憶させている。
なお、データ処理部700から得られる画像データから、対象物に相当する領域を、画像処理等にて抽出することができる場合は、スキャンデータ領域情報をスキャンパターン記憶部222に記憶させなくてもよい。また、スキャンデータ領域情報の代わりに、載置領域情報に基づいて、画像データから対象物に相当する領域を抽出するようにしてもよい。
なお、スキャンパターン情報に含まれる上記(1)から(5)の情報は、工場出荷時などの時点で予め設定されていてもよいし、スキャン属性情報設定部135を介してユーザが設定可能になっていてもよい。
また、スキャンパターン記憶部222の格納されているスキャンパターン情報のいずれかが、スキャン処理部12に参照される。いずれのスキャンパターン情報が参照対象となるかは、工場出荷時などの時点で予め設定されていてもよいし、スキャン属性情報設定部135を介してユーザが設定可能になっていてもよい。
スキャンパターン記憶部222は、例えば下記の表1に示すようなデータ構造とすることができる。表1は、スキャンパターン記憶部222のデータ構造の一例を示す表である。
表1に示すように、スキャンパターン記憶部222は、「載置領域」、「スキャン実行面」、「スキャンデータ領域」、「スキャンデータ表示面」、および「スキャンデータ表示領域」の組を記憶する。なお、上述したように、「スキャンデータ領域」は必ずしも記憶しなくてもよい。
「載置領域」は、載置領域情報を格納するカラムである。上述したように、ここでは、下画面のセンサ内蔵液晶パネル301上に対象物を置くものとしている。したがって、表1の例では、下画面のセンサ内蔵液晶パネル301における、左上の座標が(x3,y3)であり、右下の座標が(x4,y4)で表わされる矩形の領域を、載置領域として記憶している。
「スキャン実行面」は、スキャン実行面情報を格納するカラムである。したがって、表1の1つ目のレコードのように、「スキャン実行面」が“上画面”である場合は、センサ内蔵液晶パネル301Aがスキャンを実行することを意味する。また、表1の3つ目のレコードのように、「スキャン実行面」が“上画面”かつ“下画面”である場合は、センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bの両方がスキャンを実行することを意味する。また、表1には記載していないが、「スキャン実行面」が“下画面”である場合は、センサ内蔵液晶パネル301Bがスキャンを実行することを意味する。
「スキャンデータ領域」は、スキャンデータ領域情報を格納するカラムである。表1の1つ目のレコードでは、データ処理部700から得られる画像データにおける、左上の座標が(x1,y1)であり、右下の座標が(x2,y2)で表わされる矩形の領域が、スキャンデータ領域として記憶されている。
「スキャンデータ表示面」は、スキャンデータ表示面情報を格納するカラムである。したがって、表1の1つ目のレコードのように、「表示面」が“下画面”である場合は、第2表示/光センサ部300Bにスキャンデータを表示することを意味する。一方、表1の2つ目のレコードのように、「表示面」が“上画面”である場合は、第1表示/光センサ部300Aにスキャンデータを表示することを意味する。
「スキャンデータ表示領域」は、スキャンデータ表示領域情報を格納するカラムである。表1の1つ目のレコードでは、スキャンデータ表示面である下画面のセンサ内蔵液晶パネル301における、左上の座標が(x3,y3)であり、右下の座標が(x4,y4)で示される矩形領域が、スキャンデータ表示領域として記憶されている。
ここで、表1に格納されているスキャンパターン情報をレコード毎に説明する。表1の1つ目のレコードは、(1)載置領域が、下画面における左上の座標が(x3,y3)であって右下の座標が(x4,y4)で示される矩形領域であり、(2)上画面でスキャンを実行させ、その結果としてデータ処理部700から得られる画像データにおける左上の座標が(x1,y1)であって右下の座標が(x2,y2)で示される矩形領域をスキャンデータとして抽出し、(3)下画面における左上の座標が(x3,y3)であって右下の座標が(x4,y4)で示される矩形領域にスキャンデータを表示する、というスキャンパターン情報を記憶している。
次に、表1の2つ目のレコードは、(1)載置領域が、下画面における左上の座標が(x3,y3)であって右下の座標が(x4,y4)で示される矩形領域であり、(2)上画面でスキャンを実行させ、その結果としてデータ処理部700から得られる画像データにおける左上の座標が(x1,y1)であって右下の座標が(x2,y2)で示される矩形領域をスキャンデータとして抽出し、(3)上画面における左上の座標が(x1,y1)であって右下の座標が(x2,y2)で示される矩形領域にスキャンデータを表示する、というスキャンパターン情報を記憶している。
次に、表1の3つ目のレコードは、(1)載置領域が、下画面における左上の座標が(x3,y3)であって右下の座標が(x4,y4)で示される矩形領域であり、(2)上画面でスキャンを実行させ、その結果としてデータ処理部700から得られる画像データにおける左上の座標が(x1,y1)であって右下の座標が(x2,y2)で示される矩形領域をスキャンデータとして抽出するとともに、下画面でスキャンを実行させ、その結果としてデータ処理部700から得られる画像データにおける左上の座標が(x5,y5)であって右下の座標が(x6,y6)で示される矩形領域をスキャンデータとして抽出し、(3)上画面で得られたスキャンデータを、上画面における左上の座標が(x1,y1)であって右下の座標が(x2,y2)で示される矩形領域に表示するとともに、下画面で得られたスキャンデータを、上画面における左上の座標が(x3,y3)であって右下の座標が(x4,y4)で示される矩形領域に表示する、というスキャンパターン情報を記憶している。
次に、表1の4つ目のレコードは、(1)載置領域が、下画面における左上の座標が(x3,y3)であって右下の座標が(x4,y4)で示される矩形領域であり、(2)上画面でスキャンを実行させ、その結果としてデータ処理部700から得られる画像データにおける左上の座標が(x1,y1)であって右下の座標が(x2,y2)で示される矩形領域をスキャンデータとして抽出するとともに、下画面でスキャンを実行させ、その結果としてデータ処理部700から得られる画像データにおける左上の座標が(x5,y5)であって右下の座標が(x6,y6)で示される矩形領域をスキャンデータとして抽出し、(3)上画面で得られたスキャンデータを、上画面における左上の座標が(x1,y1)であって右下の座標が(x2,y2)で示される矩形領域に表示するとともに、下画面で得られたスキャンデータを、下画面における左上の座標が(x1,y1)であって右下の座標が(x2,y2)で示される矩形領域に表示する、というスキャンパターン情報を記憶している。
最後に、表1の5つ目のレコードは、(1)載置領域が、下画面における左上の座標が(x3,y3)であって右下の座標が(x4,y4)で示される矩形領域であり、(2)上画面でスキャンを実行させ、その結果としてデータ処理部700から得られる画像データにおける左上の座標が(x1,y1)であって右下の座標が(x2,y2)で示される矩形領域をスキャンデータとして抽出するとともに、下画面でスキャンを実行させ、その結果としてデータ処理部700から得られる画像データにおける左上の座標が(x5,y5)であって右下の座標が(x6,y6)で示される矩形領域をスキャンデータとして抽出し、(3)上画面で得られたスキャンデータを、下画面における左上の座標が(x1,y1)であって右下の座標が(x2,y2)で示される矩形領域に表示するとともに、下画面で得られたスキャンデータを、下画面における左上の座標が(x3,y3)であって右下の座標が(x4,y4)で示される矩形領域に表示する、というスキャンパターン情報を記憶している。
なお、「載置領域」、「スキャンデータ領域」、および「スキャンデータ表示領域」に記憶される領域の形状は矩形に限定されるものではなく、例えば円形などであってもよい。また、領域を示す情報は座標に限定されるものではない。
次に、スキャンモード記憶部223は、スキャンを連続して実行するか否かを示す情報(以下、スキャンモード情報)を記憶する。なお、スキャンを連続的に実行する旨が記憶されている場合、所定のユーザ操作(例えば、データ表示/センサ装置100の筐体の開閉操作など)をトリガとして、連続的にスキャンが実行されるものとする。
次に、画像データ記憶部23は、スキャンデータなどの画像データを、読み出し可能な状態で記憶するものである。ユーザが入力したコメントなどを画像データに対応付けて記憶してもよい。
次に、文字認識属性情報記憶部24は、文字認識処理部14が処理を実行するために必要な各種情報を記憶するものである。文字認識属性情報記憶部24は、文字認識モード記憶部241、およびステップバイステップ認識処理情報記憶部242を含んでいる。
文字認識モード記憶部241は、文字認識処理部14が、(1)認識対象となる画像データの全範囲に対して、一度に文字認識処理を行う(以下、一括認識処理と称する)か、または、(2)複数の処理ステップから構成され、ユーザとの対話により、処理ステップ毎に認識処理を行う(以下、ステップバイステップ認識処理と称する)かを示す情報を記憶するものである。
なお、ステップバイステップ認識処理では、例えば、まず、認識対象となる画像データのうち「氏名」に該当する領域について文字認識処理を行い、次に、当該画像データのうち「電話番号」に該当する領域について文字認識処理を行い、次に、当該画像データのうち「住所」に該当する領域について文字認識処理を行うといったように、予め定められた順序に従って、文字認識処理を行う。その際、認識対象となる画像データにおける、「氏名」、「電話番号」、「住所」に該当する領域を、ユーザが指やペンでなぞることによって範囲指定し、該範囲指定した領域内にて文字認識処理を行う。
ステップバイステップ認識処理情報記憶部242は、ステップバイステップ認識処理において、ユーザとの対話に必要な情報を記憶する。具体的には、(1)処理ステップ毎に、ユーザに操作を促すためのメッセージ、(2)処理ステップ毎に認識すべき情報(名前、電話番号、住所など)がいずれであるかを示す情報、および(3)処理ステップの実行順序などである。上記(1)のメッセージは、例えば、“氏名を指でなぞってください”や、“電話番号を指でなぞってください”などの文字データを想定しているが、画像データなどであってもよい。
次に、文字認識結果データ記憶部25は、文字認識処理部14が行った文字認識処理の結果として得られるデータ(以下、文字認識結果データ)を格納するものである。文字認識結果データ記憶部25は、所定のデータ構造(例えば、名前、電話番号、住所などを関連付けて管理する、アドレス帳などのアプリケーションで用いられるデータ構造など)を有するものであってもよい。
次に、主制御部800について説明する。図示のように、主制御部800は、メニュー表示制御部11、スキャン処理部12、文字認識処理部14、および画像表示処理部18を含んでいる。文字認識処理を行わない場合には、文字認識処理部14を含まなくてもよい。また、画像表示処理を行わない場合には、画像表示処理部18を含まなくてもよい。
メニュー表示制御部11は、データ表示/センサ装置100の動作状態に応じたメニューやボタンを、メニュー記憶部21から読み出し、該読み出したメニューやボタンをセンサ内蔵液晶パネル301上に表示させる。
そして、ユーザが、センサ内蔵液晶パネル301上を指やペンなどで操作(タッチ)したとき、光センサ回路32が、指やペンなどの影像および反射像の少なくともいずれかを検知するので、その結果として、メニュー表示制御部11は、タッチした位置を示す座標データを取得することができる。
したがって、上記得られた座標データで示される位置が、センサ内蔵液晶パネル301にメニューやボタンを表示した領域内である場合、メニュー表示制御部11は、ユーザが、当該メニューやボタンを操作したものと判定することができる。
したがって、上記取得した座標データが、メニュー項目を表示している位置に対応する座標データであるとき、メニュー表示制御部11は、当該メニュー項目に対応づけられている処理を実行する。例えば、「画像スキャン/文字認識」というメニュー項目を表示している位置に対応する座標データを受信したとき、スキャン処理部12を起動し、スキャン処理を実行させる。また、「画像表示」というメニュー項目を表示している位置に対応する座標データを受信したとき、画像表示処理部18を起動し、画像表示処理を実行させる。
次に、スキャン処理部12は、センサ内蔵液晶パネル301上に置かれた対象物の片面または両面のスキャンを行う。そのために、スキャン処理部12は、スキャン前処理部121、スキャン実行部131、およびスキャン属性情報設定部135を含んでいる。
スキャン前処理部121は、ユーザにスキャンの準備を促したり、対象物が載置領域に置かれているか否かを判定する処理を行うものである。そのために、スキャン前処理部121は、載置領域情報提示部122、および対象物有無判定部123を含んでいる。
載置領域情報提示部122は、載置領域をユーザに提示するとともに、対象物の準備を促すためのメッセージをユーザに提示する。そのために、載置領域情報提示部122は、スキャンパターン記憶部222から、参照対象のスキャンパターン情報に含まれる載置領域情報を読み出し、下画面のセンサ内蔵液晶パネル301における、上記読み出した載置領域情報で示される領域に、所定のパターン画像を表示させる。
なお、所定のパターン画像は点滅表示させることが望ましい。点滅表示させることにより、ユーザに対して、データ表示/センサ装置100がスキャン処理を実行可能状態にあることを知らせることができるとともに、載置領域の位置を知らせることができる。
また、載置領域情報提示部122は、表示メッセージ記憶部221を参照し、対象物の準備をユーザに促すためのメッセージを含むメッセージ情報を取得する。そして、該メッセージをセンサ内蔵液晶パネル301に表示させる。
次に、対象物有無判定部123は、対象物が載置領域に置かれたか否かを判定する。そのために、対象物有無判定部123は、データ処理部700から、少なくとも対象物が置かれた位置を示す座標データを取得する。さらに、対象物の領域を示す部分画像データ(部分画像における座標データを含む)を取得してもよい。
なお、対象物がセンサ内蔵液晶パネル301上に置かれたとき、光センサ回路32が、対象物の影像および反射像の少なくともいずれかを検知し、その結果、データ処理部700のセンサデータ処理部703がセンサ制御部602から受信する画像データに変化が生じる。その結果、対象物有無判定部123は、対象物が置かれた位置を示す座標データ、および、対象物の領域を示す部分画像データ(部分画像における座標データを含む)を、データ処理部700から取得することができる。
したがって、対象物有無判定部123は、上記取得した座標データで示される座標位置が、載置領域内に含まれるか否かを調べる。これにより、対象物有無判定部123は、対象物が載置領域に置かれているか否かを判定する。さらに、部分画像データ(部分画像における座標データを含む)を取得している場合は、センサ内蔵液晶パネル301上における対象物の位置する領域が、載置領域内にあるか否か(または、載置領域と重なっているか否か)を調べることによって、対象物が載置領域に置かれているか否かを判定してもよい。
そして、載置領域に対象物が置かれていると判定した場合、対象物有無判定部123は、表示メッセージ記憶部221を参照し、筐体を閉じる旨をユーザに促すためのメッセージ(例えば、“本体を閉じて、音が鳴ったら本体を開いてください”など)を含むメッセージ情報を取得する。そして、該メッセージをセンサ内蔵液晶パネル301に表示させる。
次に、スキャン実行部131は、センサ内蔵液晶パネル301にスキャンを実行させた結果として、全体画像データを取得し、該取得した全体画像データからスキャンデータを抽出して、当該スキャンデータを記憶部に格納するものである。そのために、スキャン実行部131は、スキャン実行指示部132、およびスキャンデータ格納部133を含んでいる。
スキャン実行指示部132は、例えば、ヒンジ部スイッチ904が、筐体を閉じたことを検出したことをトリガとして、センサ内蔵液晶パネル301にスキャンを実行させる。このとき、スキャン実行指示部132は、スキャンパターン記憶部222から、参照対象のスキャンパターン情報を読み出し、該読み出したスキャンパターン情報に含まれる、スキャン実行面情報に基づいて、スキャンを実行させるセンサ内蔵液晶パネル301を決定する。そして、スキャン実行指示部132は、上記決定したセンサ内蔵液晶パネル301にて、スキャンを実行させる。
なお、筐体を閉じたことは、必ずしもヒンジ部スイッチ904が検出しなくてもよい。例えば、センサ内蔵液晶パネル301Aまたはセンサ内蔵液晶パネル301Bに表示した所定の画像(マークやアイコン)を、該画像を表示していない側のセンサ内蔵液晶パネル301にて読み取ることができるとき、筐体が閉じていると判定してもよい。
そして、スキャン実行指示部132は、スキャンの結果として全体画像データを取得すると、上記取得した全体画像データから、対象物の領域を、スキャンデータとして抽出する。
ここで、対象物の領域を抽出する方法としては、例えば、上記取得した全体画像データに対して、一般的な画像処理によって、対象物の領域と対象物でない部分の領域とを判別し、対象物の領域をスキャンデータとして抽出する方法がある。なお、上記取得した全体画像データにおける、対象物の領域と対象物でない部分の領域とは、画素値の明度等に差異があり、判別することができるものとする。
また、対象物有無判定部123が、対象物が置かれた位置を示す座標データ、および、対象物の領域を示す部分画像データ(部分画像における座標データを含む)を取得している場合、スキャン実行指示部132は、上記取得した全体画像データにおける、対象物の領域を算出し、上記取得した全体画像データから当該領域をスキャンデータとして抽出してもよい。具体的には、対象物有無判定部123が取得している座標データおよび部分画像における座標データに基づいて、対象物有無判定部123が取得している部分画像データの、全体画像データにおける位置を決定し、スキャンの結果として取得した全体画像データから、上記決定した位置における部分画像データに相当する領域を、スキャンデータとして抽出する。
なお、下画面にて対象物が置かれている領域と、上画面にて対象物をスキャンした領域とは、対向した位置にある(鏡像の関係にある)ので、上画面においてスキャンした結果として得られる画像データにおける対象物の領域は、下画面にてスキャンした結果として得られる画像データにおける対象物の領域に基づいて算出することができる。よって、スキャン実行指示部132は、対象物が置かれた位置を示す座標データ、および、対象物の領域を示す部分画像データ(部分画像における座標データを含む)に基づいて、上画面にてスキャンした結果として得られる全体画像データからも、対象物の領域をスキャンデータとして抽出することができる。
また、スキャン実行指示部132は、(1)上画面のバックライト307を消灯し、下画面のバックライト307を点灯させつつ、上画面でスキャンを実行させ、また、(2)下画面のバックライト307を消灯し、上画面のバックライト307を点灯させつつ、下画面でスキャンを実行させることによって、対象物が置かれた位置を示す座標データ、および、対象物の領域を示す部分画像データ(部分画像における座標データを含む)を取得してもよい。
また、対象物の領域を認識することができない場合は、スキャンパターン記憶部222から読み出したスキャンパターン情報に含まれるスキャンデータ領域情報に基づいて、上記取得した全体画像データからスキャンデータを抽出してもよい。
なお、筐体を閉じたとき、上画面の光センサ回路32が、対象物の影像および反射像の少なくともいずれかを検知し、その結果、データ処理部700のセンサデータ処理部703がセンサ制御部602から受信する画像データに変化が生じる。したがって、上画面にてスキャンされた対象物の位置を示す座標データ、および、当該対象物の領域を示す部分画像データ(部分画像における座標データを含む)を、データ処理部700から取得することも可能である。この場合、上記取得した部分画像データは、上画面でスキャンした結果としてのスキャンデータである。そして、この場合、スキャン実行指示部132は、当該座標データおよび部分画像データ(部分画像における座標データを含む)に基づいて、下画面にてスキャンした結果として得られる全体画像データから、対象物の領域をスキャンデータとして抽出することができる。
そして、スキャン実行指示部132は、上記抽出したスキャンデータを、スキャンデータ保持部134に一次保存する。なお、両面スキャンを行った結果、対象物の表面のスキャンデータと裏面のスキャンデータとがある場合は、それらを関連付けた状態で一次保存する。
さらに、スキャン実行指示部132は、スキャンデータをスキャンデータ保持部134に一次保存した後、スキャンが終了した旨をユーザに通知するために、音声出力部908に所定の音声データを出力する。
さらに、スキャン実行指示部132は、例えば、ヒンジ部スイッチ904が、筐体を開いたことを検出したことをトリガとして、表示メッセージ記憶部221を参照し、スキャンが完了したことをユーザに通知する旨のメッセージ(例えば、“スキャンが完了しました”など)を読み出し、該読み出したメッセージをセンサ内蔵液晶パネル301に表示させる。また、スキャンデータ保持部134に一次保存されているスキャンデータをセンサ内蔵液晶パネル301に表示させる。
なお、スキャンデータ保持部134に、2つのスキャンデータ(対象物の表面のスキャンデータおよび裏面のスキャンデータ)が関連づけられた状態で一次保存されている場合は、当該2つのスキャンデータをそれぞれセンサ内蔵液晶パネル301に表示させるようにする。
なお、スキャンデータを表示させるにあたり、スキャン実行指示部132は、スキャンパターン記憶部222から、参照対象のスキャンパターン情報を読み出し、該読み出したスキャンパターン情報に含まれる、スキャンデータ表示面情報に基づいて、スキャンデータを表示させるセンサ内蔵液晶パネル301を決定し、該決定したセンサ内蔵液晶パネル301にスキャンデータを表示させる。
以上で説明したように、本発明に係るデータ表示/センサ装置100は、スキャンパターン記憶部222に記憶されているスキャンパターン情報に基づいて、上画面および下画面の少なくとも一方を用いてスキャンを実行するとともに、スキャンデータを表示する。
したがって、スキャンパターン記憶部222のスキャンパターン情報を予め適切に設定しておくことにより、例えば、下記(1)から(5)に示すような、スキャンおよびスキャンデータの表示を行うことができる。
(1)対象物のスキャンを上画面で実行させ、その結果として得られるスキャンデータを下画面に表示させる。(2)対象物のスキャンを上画面で実行させ、その結果として得られるスキャンデータを上画面に表示させる。(3)対象物のスキャンを上画面および下画面で実行させ、上画面から得られるスキャンデータおよび下画面から得られるスキャンデータを、いずれも上画面に表示させる。(4)対象物のスキャンを上画面および下画面で実行させ、上画面から得られるスキャンデータおよび下画面から得られるスキャンデータを、いずれも下画面に表示させる。(5)対象物のスキャンを上画面および下画面で実行させ、上画面から得られるスキャンデータを上画面に表示させるとともに、下画面から得られるスキャンデータを下画面に表示させる。
なお、下画面に置かれた対象物を上画面でスキャンした結果として得られるスキャンデータをそのまま表示すると、上下が逆の状態で表示されることとなる。したがって、上画面でスキャンを実行した結果として得られるスキャンデータを表示させる際は、180度回転させた状態で表示させることが望ましい。この場合、スキャン実行指示部132が、スキャンデータを180度回転させる画像処理を行い、画像処理された後のスキャンデータをセンサ内蔵液晶パネル301に表示させればよい。
また、ユーザが、スキャンデータ表示領域に表示したスキャンデータ自体を操作したり、所定のメニューやボタンを操作することによって、スキャンデータを表示するスキャンデータ表示面およびスキャンデータ表示領域を変更可能としたり、表示の向きを変更可能としてもよい。
次に、スキャンデータ格納部133は、ユーザがスキャンデータの格納操作を行なうか、または、スキャン処理部12がスキャンモード情報を参照することによって、スキャンを連続的に実行することが設定されていることがわかると、スキャンデータ保持部134に一次保存されているスキャンデータを、画像データ記憶部23に格納する。このとき、当該スキャンデータと、シーケンシャルな識別情報とを対応付けて格納する。シーケンシャルな識別情報とは、画像データ記憶部23に格納するデータを一意に識別するものであればよく、例えば、格納日時などが挙げられる。
なお、スキャンデータ保持部134に、2つのスキャンデータ(対象物の表面のスキャンデータおよび裏面のスキャンデータ)が関連づけられた状態で一次保存されている場合は、当該2つのスキャンデータを関連付けた状態のまま、画像データ記憶部23に格納する。
なお、スキャンデータの格納操作とは、例えば、スキャンデータの格納処理が対応付けられているメニュー項目に対するユーザ操作などが挙げられる。この場合、メニュー表示制御部11が、当該メニュー項目を表示している位置に対応する座標データを受信することにより、ユーザがスキャンデータの格納操作を行ったことがわかる。
次に、スキャン属性情報設定部135は、ユーザがスキャン属性情報の設定操作を行ったことをトリガとして、スキャン属性情報記憶部22に格納されている各種情報を更新するための入力インタフェース(ソフトウェアキーボードなど)をセンサ内蔵液晶パネル301上に表示させる。なお、スキャン属性情報の設定操作とは、例えば、スキャン属性情報の設定処理が対応付けられているメニュー項目に対するユーザ操作などが挙げられる。この場合、メニュー表示制御部11が、当該メニュー項目を表示している位置に対応する座標データを受信することにより、ユーザがスキャン属性情報の設定操作を行ったことがわかる。
そして、スキャン属性情報設定部135は、上記入力インタフェースにてユーザ入力された内容に基づいて、スキャン属性情報記憶部22に格納されている各種情報を変更する。なお、上記入力インタフェースがソフトウェアキーボードである場合、受信した座標データで示される位置に表示しているキーを判定することにより、ユーザ入力された内容を得ることができる。
なお、スキャン処理部12は、スキャンモード記憶部223に記憶されているスキャンモード情報を参照し、スキャンを連続的に実行する旨が記憶されている場合は、所定のユーザ操作(例えば、データ表示/センサ装置100の筐体の開閉操作)をトリガとして、連続的にスキャンを実行する。すなわち、スキャン前処理部121およびスキャン実行部131の組を、連続して起動させる。
次に、文字認識処理部14は、スキャンデータなどの画像データに含まれる文字を認識する処理を行う。そのために、文字認識処理部14は、対象データ読み出し部151、文字認識処理部161、および文字認識属性情報設定部171を含んでいる。
対象データ読み出し部151は、画像データ記憶部23に格納されている画像データを読み出す。そして、該読み出した画像データをセンサ内蔵液晶パネル301に表示させる。なお、画像データ記憶部23に、2つの画像データが関連づけられた状態で格納されている場合は、当該2つの画像データを、それぞれセンサ内蔵液晶パネル301に表示させるようにする。
なお、スキャン処理部12にてスキャンデータを表示させている状態で、当該スキャンデータに対する文字認識処理を開始する場合は、対象データ読み出し部151は動作しないようにしてもよい。
次に、文字認識処理部161は、文字認識モード記憶部241を参照して、一括認識処理またはステップバイステップ認識処理のいずれを行うかを判断する。そして、当該判断の結果に応じて、文字認識範囲決定部162、文字認識実行部163、文字認識結果データ修正部165、および文字認識結果データ格納部166に処理を行わせる。
文字認識範囲決定部162は、ステップバイステップ認識処理を行う場合において、センサ内蔵液晶パネル301に表示している画像データのうち、文字認識対象となる範囲を決定する処理を行う。なお、文字認識対象となる範囲は、ユーザが、指やペンなどでセンサ内蔵液晶パネル301上で範囲指定することにより決定する。
そのために、文字認識範囲決定部162は、まず、ステップバイステップ認識処理情報記憶部242を参照し、処理ステップの実行順序に従って、ユーザに操作を促すためのメッセージ(例えば、“氏名を指でなぞってください”など)を取得する。そして、該取得したメッセージをセンサ内蔵液晶パネル301に表示させる。
そして、ユーザが、センサ内蔵液晶パネル301に表示している画像データのうち、文字認識対象とする範囲を指やペンなどで指定した結果として、文字認識範囲決定部162は、当該指定された範囲の部分画像データを受信する。
そして、文字認識範囲決定部162は、該受信した部分画像データが、認識処理対象であると決定する。
なお、センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bに画像データを表示している場合において、センサ内蔵液晶パネル301Aに表示している画像データのうち、文字認識対象とする範囲を指やペンなどで指定することにより、センサ内蔵液晶パネル301Aに表示している画像データのうち、上記指定した範囲に対応する範囲についても、文字認識対象範囲となるようにしてもよい。
次に、文字認識実行部163は、一括認識処理を行う場合は、センサ内蔵液晶パネル301に表示されている画像データの全範囲に対して、また、ステップバイステップ認識処理を行う場合には、文字認識範囲決定部162が認識処理対象であると決定した部分画像データに対して、一般的に知られている方法による文字認識処理を実行する。なお、ステップバイステップ認識処理を行う場合は、上記部分画像データから得られた文字認識結果データが、ステップ毎に認識すべき情報(名前、電話番号、住所など)を意味するデータであると判断する。
そして、文字認識実行部163は、文字認識処理の結果として生成した文字認識結果データを、文字認識結果データ保持部167に一次保存する。
そして、文字認識実行部163は、文字認識処理が完了したことをトリガとして、文字認識結果データをセンサ内蔵液晶パネル301に表示させる。このとき、例えば、文字認識結果データを保存するか否かをユーザに確認するメッセージを表示させてもよい。また、ステップバイステップ認識処理を行っている場合には、文字認識結果データを修正する否か、再認識を行うか否かなどをユーザ操作可能なメニューを表示させてもよい。
次に、文字認識結果データ修正部165は、ユーザが、文字認識結果データの修正操作を行ったことをトリガとして、文字認識結果データ保持部167に一次保存されている文字認識結果データを修正するための入力インタフェース(ソフトウェアキーボードなど)をセンサ内蔵液晶パネル301上に表示させる。なお、文字認識結果データの修正操作とは、例えば、文字認識結果データの修正処理が対応付けられているメニュー項目に対するユーザ操作などが挙げられる。この場合、メニュー表示制御部11が、当該メニュー項目を表示している位置に対応する座標データを受信することにより、ユーザが文字認識結果データの修正操作を行ったことがわかる。
そして、文字認識結果データ修正部165は、上記入力インタフェースにてユーザ入力された内容に基づいて、文字認識結果データ保持部167に一次保存されている文字認識結果データを修正する。
次に、文字認識結果データ格納部166は、ユーザが、文字認識結果データの格納操作を行ったことをトリガとして、文字認識結果データ保持部167に一次保存されている文字認識結果データを、文字認識結果データ記憶部25に格納する。文字認識結果データ記憶部25が、例えば、名前、電話番号、住所などを関連付けて管理する、アドレス帳などのアプリケーションで用いられるデータ構造を有するものである場合は、当該データ構造に従って、文字認識結果データを格納する。
なお、文字認識結果データの格納操作とは、例えば、文字認識結果データの格納処理が対応付けられているメニュー項目に対するユーザ操作などが挙げられる。この場合、メニュー表示制御部11が、当該メニュー項目を表示している位置に対応する座標データを受信することにより、ユーザが、文字認識結果データの格納操作を行ったことがわかる。
次に、文字認識属性情報設定部171は、ユーザが文字認識属性情報の設定操作を行ったことをトリガとして、文字認識属性情報記憶部24に格納されている各種情報を更新するための入力インタフェース(ソフトウェアキーボードなど)をセンサ内蔵液晶パネル301上に表示させる。なお、文字認識属性情報の設定操作とは、例えば、文字認識属性情報の設定処理が対応付けられているメニュー項目に対するユーザ操作などが挙げられる。この場合、メニュー表示制御部11が、当該メニュー項目を表示している位置に対応する座標データを受信することにより、ユーザが、文字認識属性情報の設定操作を行ったことがわかる。
そして、文字認識属性情報設定部171は、上記入力インタフェースにてユーザ入力された内容に基づいて、文字認識属性情報記憶部24に格納されている各種情報を変更する。
次に、画像表示処理部18は、画像データ記憶部23に格納されている画像データを、センサ内蔵液晶パネル301上に表示するものである。よって、画像表示処理部18は、画像データ記憶部23を参照して画像データを取得し、該取得した画像データをセンサ内蔵液晶パネル301に表示させる。このとき、画像データ記憶部23に、2つのスキャンデータ(対象物の表面のスキャンデータおよび裏面のスキャンデータ)が関連付けられた状態で記憶されている場合は、当該2つのスキャンデータを同時に表示させてもよい。また、複数の対象物の表面のスキャンデータのみを同時に表示してもよいし、複数の対象物の裏面のスキャンデータのみを同時に表示してもよい。
また、画像表示処理部18は、当該表示させる画像データに対して編集等の処理を行うためのメニューやボタンをセンサ内蔵液晶パネル301上に表示させる。
また、画像表示処理部18は、画像データ、メニュー、ボタンなどを表示している状態において、センサ内蔵液晶パネル301A上の、画像データ、メニュー、ボタンなどが表示されていない領域がタッチされたことをトリガとして、画像データ記憶部23を参照し、現在表示している画像データより1つ後ろの順番で格納されている画像データを取得し、センサ内蔵液晶パネル301に表示してもよい。同様に、画像表示処理部18は、画像データ、メニュー、ボタンなどを表示している状態において、センサ内蔵液晶パネル301B上の、画像データ、メニュー、ボタンなどが表示されていない領域がタッチされたことをトリガとして、画像データ記憶部23を参照し、現在表示している画像データより1つ前の順番で格納されている画像データを取得し、センサ内蔵液晶パネル301に表示してもよい。
なお、上述の説明において、センサ内蔵液晶パネル301上に表示したメニューやボタンなどをユーザが操作することによりユーザ入力が行われる旨を記載したが、操作部903(スイッチ、リモコン、マウス、キーボードなどの入力デバイス)をユーザが操作することによりユーザ入力が行われてもよい。
(主制御部の動作例)
次に、再び図1を参照しながら、主制御部800の動作例について、主制御部800からデータ処理部700に送信されるコマンドに触れながら、説明する。なお、ここでは、両面スキャンを実行する際の、主制御部800の動作例について説明する。また、スキャンパターン記憶部222の「スキャン実行面」には、“上画面”および“下画面”が設定されており、また、上画面でスキャンした結果得られるスキャンデータは上画面に表示し、下画面でスキャンした結果得られるスキャンデータは下画面に表示するように、スキャンパターン記憶部222の「スキャンデータ表示面」が設定されているものとする。また、ユーザに提示するメッセージは、上画面に表示するものとする。
次に、再び図1を参照しながら、主制御部800の動作例について、主制御部800からデータ処理部700に送信されるコマンドに触れながら、説明する。なお、ここでは、両面スキャンを実行する際の、主制御部800の動作例について説明する。また、スキャンパターン記憶部222の「スキャン実行面」には、“上画面”および“下画面”が設定されており、また、上画面でスキャンした結果得られるスキャンデータは上画面に表示し、下画面でスキャンした結果得られるスキャンデータは下画面に表示するように、スキャンパターン記憶部222の「スキャンデータ表示面」が設定されているものとする。また、ユーザに提示するメッセージは、上画面に表示するものとする。
まず、図1(a)は、下画面に載置領域R1を表示するとともに、上画面にメッセージM1を表示している様子を示す図である。上記表示を行うために、まず、載置領域情報提示部122は、載置領域R1を示す所定のパターン画像を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、載置領域情報提示部122は、「表示パネル」フィールドの値として下画面(“010”)を指定したコマンドを、データ処理部700に送信する。
さらに、載置領域情報提示部122は、メッセージM1を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、載置領域情報提示部122は、「表示パネル」フィールドの値として上画面(“001”)を指定したコマンドを、データ処理部700に送信する。
次に、図1(b)は、対象物である文書P2が置かれた様子を示す図である。ここでは、データ表示/センサ装置100は、載置領域R1内に文書P2が置かれたことを検出すると、上画面のセンサ内蔵液晶パネル301に新たなメッセージM2を表示する。
まず、上記検出を行うために、対象物有無判定部123は、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”または“部分画像”を指定したコマンドを、データ処理部700に送信する。なお、座標データおよび部分画像データ(部分画像における座標データを含む)の両方を取得したい場合は、「データ種別」フィールドに、“座標”および“部分画像”の両方を指定する(“011”を指定する)。
そして、対象物がセンサ内蔵液晶パネル301上に置かれたとき、光センサ回路32が、対象物の影像および反射像の少なくともいずれかを検知するので、その結果、データ処理部700がセンサ制御部602から受信する画像データに変化が生じる。
したがって、データ処理部700は、上述したコマンドの応答として、変化が生じた部分の座標データまたは部分画像データ(部分画像における座標データを含む)を対象物有無判定部123に送信する。
そして、対象物有無判定部123は、データ処理部700から、座標データ、または、対象物の領域を示す部分画像データを受信したとき、該受信した座標データまたは部分画像データが、載置領域内に位置するものであるか否かを調べることによって、対象物が載置領域に置かれたか否かを判定することができる。
次に、対象物が載置領域に置かれたことを検出すると、メッセージM2を表示させるために、対象物有無判定部123は、メッセージM2を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、対象物有無判定部123は、「表示パネル」フィールドの値として上画面を指定したコマンドを、データ処理部700に送信する。
次に、図1(c)は、データ表示/センサ装置100の筐体が閉じられた様子を示す図である。
筐体が閉じられると、スキャン実行指示部132は、両面スキャンを実行する旨をデータ処理部700に指示するために、「スキャン方式」フィールドおよび「スキャンパネル」フィールドを指定したコマンドを生成し、該生成したコマンドをデータ処理部700に送信する。なお、スキャン実行指示部132は、スキャンパターン記憶部222から読み出したスキャンパターン情報に含まれるスキャン実行面情報に基づいて、「スキャンパネル」フィールドの値を指定する。ここでは、“上画面”および“下画面”を示す“011”を指定する。また、「スキャン方式」フィールドには、“反射”を指定すればよい。
さらに、スキャン実行指示部132は、データ処理部700から、スキャンの実行結果として全体画像データを取得するために、上記コマンドの「データ取得タイミング」フィールドに“センス”を指定し、「データ種別」フィールドに“全体画像”を指定する。これにより、スキャンした結果として、光センサ回路32からセンサ制御部602を介して得られる画像データの全体を、データ処理部700から取得することができる。ここでは、上画面でスキャンした結果として得られる画像データと、下画面でスキャンした結果として得られる画像データとを取得することができる。
なお、スキャン実行指示部132は、上記取得した全体画像データからスキャンデータを抽出する。ここでは、上画面をスキャンして得られた全体画像データからスキャンデータSCD1を抽出するとともに、下画面をスキャンして得られた全体画像データからスキャンデータSCD2を抽出する。
次に、図1(d)は、スキャンを実行した後、データ表示/センサ装置100の筐体が開かれた様子を示す図である。ここでは、上画面に、メッセージM3を表示するとともに、上画面にスキャンデータSCD1を表示し、下画面にスキャンデータSCD2を表示している。
筐体が開かれると、スキャン実行指示部132は、メッセージM3を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、スキャン実行指示部132は、「表示パネル」フィールドの値として上画面を指定したコマンドを、データ処理部700に送信する。
さらに、スキャン実行指示部132は、スキャンデータSCD1を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、スキャン実行指示部132は、「表示パネル」フィールドの値として上画面を指定したコマンドを、データ処理部700に送信する。このとき、スキャン実行指示部132は、スキャンパターン記憶部222の「スキャンデータ表示面」を参照して、「表示パネル」フィールドの値を決定する。
また、スキャン実行指示部132は、スキャンデータSCD2を表示させるために、スキャンデータSCD2を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、スキャン実行指示部132は、「表示パネル」フィールドの値として下画面を指定したコマンドを、データ処理部700に送信する。このとき、スキャン実行指示部132は、スキャンパターン記憶部222のスキャンデータ表示面情報を参照して、「表示パネル」フィールドの値を決定する。
(データ表示/センサ装置における処理の流れ)
次に、図11から図13を参照しながら、データ表示/センサ装置100において、スキャン処理および文字認識処理を行う際の処理の流れについて説明する。まず、図11は、データ表示/センサ装置100において、データ表示/センサ装置100の起動直後に、ユーザがメニューを選択する処理の流れを示すフローチャートである。
次に、図11から図13を参照しながら、データ表示/センサ装置100において、スキャン処理および文字認識処理を行う際の処理の流れについて説明する。まず、図11は、データ表示/センサ装置100において、データ表示/センサ装置100の起動直後に、ユーザがメニューを選択する処理の流れを示すフローチャートである。
まず、データ表示/センサ装置100の電源がオフの状態にあるとき、ユーザがデータ表示/センサ装置100の筐体を開くと(ステップS11)、例えば、筐体が開いたことをヒンジ部スイッチ904が検出し、データ表示/センサ装置100の電源をオンにする(ステップS12)。他の操作によって電源がオンとなってもよい。
そして、メニュー表示制御部11が、ユーザ選択可能なメニューを、少なくとも一方のセンサ内蔵液晶パネル301に表示させる(ステップS13)。
そして、ユーザのメニュー操作を受け付け(ステップS14)、メニュー操作に応じた処理を行う。ここでは、ユーザが、表示されているメニューのうち、“画像スキャン/文字認識”、“画像表示”、および“アドレス帳表示”というメニュー項目のいずれかを選択することを想定したフローを記載している。“画像スキャン/文字認識”または“画像表示”を選択した場合の処理の流れは、後述する。“アドレス帳表示”を選択した場合は、記憶部901に記憶しているアドレス帳を表示するが(ステップS15)、それ以降の処理の流れについては発明の本質的部分ではないので、説明を省略する。
次に、図12は、データ表示/センサ装置100におけるスキャン処理の流れを示すフローチャートである。なお、図11で示したフローチャートにおけるステップS14にて“画像スキャン/文字認識”を選択した場合には、図12で示すフローチャートで示される処理が開始される。
まず、載置領域情報提示部122により、センサ内蔵液晶パネル301に、載置領域、および、対象物を置くことを促す旨のメッセージを表示させる(ステップS21)。
次に、ユーザが対象物を載置領域に置くと(ステップS22)、対象物有無判定部123が、載置領域に対象物が置かれたことを判定する(ステップS23にてYES)。
そして、対象物有無判定部123は、筐体を閉じる旨をユーザに促す旨のメッセージを、センサ内蔵液晶パネル301に表示させる(ステップS24)。
次に、ユーザが、データ表示/センサ装置100の筐体を閉じると(ステップS25)、例えば、ヒンジ部スイッチ904が、筐体を閉じたことを検出し(ステップS26にYES)、その旨をスキャン実行部131に通知する。そして、スキャン実行指示部132が、センサ内蔵液晶パネル301にスキャンを実行させる。
そして、データ処理部700がセンサ制御部602を介して光センサ回路32にスキャンを実行させ(ステップS27)、その結果得られる画像データを、スキャン実行指示部132に送信する。そして、スキャン実行指示部132は、上記画像データからスキャンデータを抽出する。
そして、スキャン実行指示部132は、スキャンデータをスキャンデータ保持部134に一次保持する(ステップS28)。その後、スキャン実行指示部132は、スキャンが終了した旨をユーザに通知する(ステップS29)。ここでは、音声出力部908に所定の音声データを出力し、音声によりユーザに通知する。
そして、ユーザが、データ表示/センサ装置100の筐体を開くと(ステップS30)、例えば、ヒンジ部スイッチ904が、筐体を開いたことを検出し(ステップS31にYES)、その旨をスキャン実行部131に通知する。そして、スキャン実行指示部132が、スキャンが完了したことをユーザに通知する旨のメッセージを、センサ内蔵液晶パネル301に表示させる(ステップS32)。
そして、スキャン実行指示部132が、スキャンデータ保持部134に保持しているスキャンデータを表示させる(ステップS33)。これにより、ユーザが、センサ内蔵液晶パネル301にてスキャンデータを確認することができる。
次に、スキャン処理部12が、スキャンモード記憶部223に記憶されているスキャンモード情報を参照することによって、スキャンを連続的に実行することがわかると(ステップS34にてYES)、スキャンデータ格納部133は、スキャンデータ保持部134に一次保存されているスキャンデータを、画像データ記憶部23に格納する(ステップS35)。そして、続いて新たなスキャンを行うために、センサ内蔵液晶パネル301に、載置領域、および、対象物を置くことを促す旨のメッセージを表示させる(ステップS21)。
一方、スキャンを連続的に実行しないことがわかると(ステップS34にてNO)、ユーザの操作を受け付け(ステップS36)、受け付けた操作に応じた処理を行う。例えば、ユーザが、表示されているメニューのうち、“表示位置変更”、“回転”、“保存”、および“文字認識”というメニュー項目のいずれかを選択することを想定したフローを記載している。
“表示位置変更”または“回転”を選択した場合は、それぞれ、スキャンデータの表示位置を変更する処理(ステップS37)、および、スキャンデータの表示を例えば90度左回転させて表示する処理(ステップS38)を行い、再びユーザのメニュー操作を受け付ける(ステップS36)。
また、“保存”を選択した場合は、スキャンデータ格納部133が、スキャンデータ保持部134に一次保存されているスキャンデータを、画像データ記憶部23に格納し(ステップS39)、処理を終了する。
また、“文字認識”を選択した場合は、表示しているスキャンデータに対して文字認識を行う処理を行うために、文字認識処理部14を起動する(ステップS40)。その後の処理の流れについては、後述する。
次に、図13は、データ表示/センサ装置100における画像表示処理および文字認識処理の流れを示すフローチャートである。なお、図11で示したフローチャートにおけるステップS14にて“画像表示”を選択した場合には、図13で示すフローチャートで示される処理が開始される。また、図9で示したフローチャートにおけるステップS40に続く処理が、図13で示すフローチャートで示されるステップS55以降の処理に相当する。
まず、画像表示処理部18により、画像データ記憶部23から、表示対象となる画像データを取得する(ステップS51)。そして、該取得した画像データ、および、当該画像データに対して編集や文字認識等の処理を行うためのメニューやボタンをセンサ内蔵液晶パネル301上に表示させる(ステップS52)。
次に、ユーザが、文字認識処理を起動する旨の上記メニュー操作またはボタン操作などを行うと(ステップS53)、文字認識処理部14を起動する(ステップS54)。
そして、文字認識処理部161が、文字認識モード記憶部241を参照して、一括認識処理またはステップバイステップ認識処理のいずれを行うかを判断する(ステップS55)。そして、一括認識処理を行うものと判断した場合は、文字認識実行部163が、表示されている画像データの全範囲に対して、文字認識処理を実行する(ステップS56)。
そして、文字認識実行部163は、文字認識処理の結果として生成した文字認識結果データを、文字認識結果データ保持部167に一次保存する(ステップS57)。そして、文字認識実行部163は、文字認識結果データをセンサ内蔵液晶パネル301上に表示させる(ステップS58)。また、文字認識結果データの保存の要否をユーザに確認するメッセージをセンサ内蔵液晶パネル301上に表示させる(ステップS59)。
そして、保存する旨のユーザ操作があった場合は(ステップS60にてYES)、文字認識結果データ格納部166が、文字認識結果データ保持部167に一次保存されている文字認識結果データを、文字認識結果データ記憶部25に格納する(ステップS61)。なお、文字認識結果データ記憶部25が、アドレス帳などのアプリケーションで用いられるデータ構造を有するものである場合は、当該データ構造に従って、文字認識結果データを格納する。
一方、保存しない旨のユーザ操作があった場合は(ステップS60にてNO)、再度、文字認識処理部14を起動しなおす(ステップS54)。
また、ステップS55にて、ステップバイステップ認識処理を行うものと判断した場合は、まず、文字認識範囲決定部162が、ステップバイステップ認識処理情報記憶部242から取得した、ユーザに操作を促すための操作メッセージを表示させる(ステップS62)。
そして、ユーザがセンサ内蔵液晶パネル301に表示されている画像データのうち、文字認識させたい領域を指やペンなどでなぞると(ステップS63)、文字認識範囲決定部162が、データ処理部700から受信した部分画像データを、認識処理対象であると決定し、文字認識実行部163が該部分画像データに対して文字認識処理を実行する(ステップS64)。
そして、文字認識実行部163は、文字認識処理の結果として生成した文字認識結果データを、文字認識結果データ保持部167に一次保存する(ステップS65)。そして、文字認識実行部163は、文字認識結果データをセンサ内蔵液晶パネル301上に表示させる(ステップS66)。
文字認識実行部163は、ユーザに操作を促すための操作メッセージを表示させる(ステップS67)。例えば、文字認識結果データを修正するか、文字認識結果データを保存するか、再認識を行わせるか、などをユーザ操作可能なメニューを表示させて、ユーザ操作を受け付ける(ステップS68)。
そして、ステップS68にて文字認識結果データの修正操作があった場合は、文字認識結果データ修正部165は、文字認識結果データを修正するための入力インタフェース(ソフトウェアキーボードなど)を表示させ、上記入力インタフェースにてユーザ入力された内容に基づいて、文字認識結果データ保持部167に一次保存されている文字認識結果データを修正する(ステップS69)。
そして、ステップS68にて文字認識結果データの保存操作があった場合は、文字認識結果データ格納部166が、文字認識結果データ保持部167に一次保存されている文字認識結果データを、文字認識結果データ記憶部25に格納する(ステップS70)。なお、文字認識結果データ記憶部25が、アドレス帳などのアプリケーションで用いられるデータ構造を有するものである場合は、当該データ構造に従って、文字認識結果データを格納する。
そして、次の処理ステップに移り、引き続きステップバイステップ認識処理を続行する(ステップS62〜S68)。
なお、ステップS68にて文字認識結果データの再認識操作があった場合は、現在の処理ステップにて、再度、認識処理を実行する(ステップS62〜S68)。
(片面/両面スキャンの実行例)
次に、図14から図20を参照しながら、データ表示/センサ装置100を用いて、対象物をスキャンする5つの例について説明する。
次に、図14から図20を参照しながら、データ表示/センサ装置100を用いて、対象物をスキャンする5つの例について説明する。
まず、5つの例で共通に用いる対象物である名刺P3について説明する。図14(a)は、対象物である名刺P3の表面を示した図である。図示のように、名刺P3の表面には、日本語で「奈良県 南田」と表記されている。また、図14(b)は、対象物である名刺P3の裏面(P3’)を示した図である。図示のように、名刺P3の裏面には、英語で「Nara prefecture MINAMIDA」と表記されている。
以降では、この名刺P3を、データ表示/センサ装置100を用いてスキャンする例を説明する。図15は、下画面のセンサ内蔵液晶パネルに表示された載置領域R1内に、名刺P3を、表面がユーザに見える状態で置いた様子を示す図である。この状態から、ユーザが、データ表示/センサ装置100の筐体を閉めて、スキャン処理部12にスキャンを実行させるものとする。
また、各例で実行するスキャンおよびスキャンデータの表示が可能なように、スキャンパターン記憶部222に記憶するスキャンパターン情報を、スキャン属性情報設定部135を介して予め設定しておくものとする。
(例1−1)
まず、対象物の片面をスキャンする例を2つ説明する。1つ目の例では、対象物の表面をデータ表示/センサ装置100の上画面でスキャンし、スキャンの結果として得られるスキャンデータをデータ表示/センサ装置100の下画面に表示する場合について説明する。なお、この例の場合は、載置領域とスキャンデータ表示領域とが重ならないように、スキャンパターン記憶部222に設定しておくことが望ましい。
まず、対象物の片面をスキャンする例を2つ説明する。1つ目の例では、対象物の表面をデータ表示/センサ装置100の上画面でスキャンし、スキャンの結果として得られるスキャンデータをデータ表示/センサ装置100の下画面に表示する場合について説明する。なお、この例の場合は、載置領域とスキャンデータ表示領域とが重ならないように、スキャンパターン記憶部222に設定しておくことが望ましい。
図16は、上記スキャンを実行した後、ユーザが、データ表示/センサ装置100の筐体を開いた様子を示す図である。図示のとおり、スキャン処理部12によって、上画面でスキャンされた名刺P3の表面のスキャンデータSCD31が、下画面のセンサ内蔵液晶パネルにおける、名刺P3が置かれた位置と重ならない位置に、並べて表示されている。
このように、スキャンデータと対象物とを並べて表示することにより、ユーザがスキャンの結果を確認しやすくなり、ユーザの利便性が向上する。
(例1−2)
1つ目の例では、スキャンデータを下画面に表示させたが、上画面に表示させてもよい。そこで、2つ目の例では、対象物の表面をデータ表示/センサ装置100の上画面でスキャンし、スキャンの結果として得られるスキャンデータをデータ表示/センサ装置100の上画面に表示する場合について説明する。
1つ目の例では、スキャンデータを下画面に表示させたが、上画面に表示させてもよい。そこで、2つ目の例では、対象物の表面をデータ表示/センサ装置100の上画面でスキャンし、スキャンの結果として得られるスキャンデータをデータ表示/センサ装置100の上画面に表示する場合について説明する。
図17は、上記スキャンを実行した後、ユーザが、データ表示/センサ装置100の筐体を開いた様子を示す図である。図示のとおり、スキャン処理部12によって、上画面でスキャンされた名刺P3の表面のスキャンデータSCD31が、上画面に表示されている。なお、この例では、上画面でスキャンを実行した位置に、スキャンデータSCD31が表示されている。このように、スキャン位置にスキャンデータを表示することにより、ユーザにわかりやすく、ユーザの利便性が向上する。
(例2−1)
次に、対象物の両面をスキャンする例を3つ説明する。1つ目の例では、対象物の表面をデータ表示/センサ装置100の上画面でスキャンするとともに、対象物の裏面をデータ表示/センサ装置100の下画面でスキャンし、スキャンの結果として得られる2つのスキャンデータを、データ表示/センサ装置100の上画面に同時に表示する場合について説明する。なお、この例の場合は、2つのスキャンデータ表示領域が重ならないように、スキャンパターン記憶部222に設定しておくことが望ましい。
次に、対象物の両面をスキャンする例を3つ説明する。1つ目の例では、対象物の表面をデータ表示/センサ装置100の上画面でスキャンするとともに、対象物の裏面をデータ表示/センサ装置100の下画面でスキャンし、スキャンの結果として得られる2つのスキャンデータを、データ表示/センサ装置100の上画面に同時に表示する場合について説明する。なお、この例の場合は、2つのスキャンデータ表示領域が重ならないように、スキャンパターン記憶部222に設定しておくことが望ましい。
図18は、上記スキャンを実行した後、ユーザが、データ表示/センサ装置100の筐体を開いた様子を示す図である。図示のとおり、スキャン処理部12によって、上画面でスキャンされた名刺P3の表面のスキャンデータSCD31、および、下画面でスキャンされた名刺P3の裏面のスキャンデータSCD32が、上画面に並べて表示されている。
このように、表面のスキャンデータと裏面のスキャンデータとを並べて同時に表示することにより、ユーザがスキャンの結果を確認しやすくなり、ユーザの利便性が向上する。
(例2−2)
1つ目の例では、2つのスキャンデータを上画面に表示させたが、上画面と下画面とに1つずつ表示させてもよい。そこで、対象物の表面をデータ表示/センサ装置100の上画面でスキャンするとともに、対象物の裏面をデータ表示/センサ装置100の下画面でスキャンし、表面のスキャンデータを、データ表示/センサ装置100の上画面に表示するとともに、裏面のスキャンデータを、データ表示/センサ装置100の下画面に表示する例について説明する。
1つ目の例では、2つのスキャンデータを上画面に表示させたが、上画面と下画面とに1つずつ表示させてもよい。そこで、対象物の表面をデータ表示/センサ装置100の上画面でスキャンするとともに、対象物の裏面をデータ表示/センサ装置100の下画面でスキャンし、表面のスキャンデータを、データ表示/センサ装置100の上画面に表示するとともに、裏面のスキャンデータを、データ表示/センサ装置100の下画面に表示する例について説明する。
図19は、上記スキャンを実行した後、ユーザが、データ表示/センサ装置100の筐体を開いた様子を示す図である。なお、下画面に置いていた名刺P3は、取り除いている。図示のとおり、スキャン処理部12によって、名刺P3の表面のスキャンデータSCD31が、上画面に表示されている。また、名刺P3の裏面のスキャンデータSCD32が、下画面に表示されている。
なお、この例では、上画面でスキャンを実行した位置に、スキャンデータSCD31が表示され、また、下画面でスキャンを実行した位置に、スキャンデータSCD32が表示されている。このように、スキャン位置にスキャンデータを表示することにより、ユーザにわかりやすく、ユーザの利便性が向上する。
(例2−3)
さらに、スキャンデータSCD31およびスキャンデータSCD32を、いずれも下画面に表示させてもよい。そこで、対象物の表面をデータ表示/センサ装置100の上画面でスキャンするとともに、対象物の裏面をデータ表示/センサ装置100の下画面でスキャンし、スキャンの結果として得られる2つのスキャンデータを、データ表示/センサ装置100の下画面に同時に表示する例について説明する。なお、この例の場合は、2つのスキャンデータ表示領域が重ならないように、スキャンパターン記憶部222に設定しておくことが望ましい。
さらに、スキャンデータSCD31およびスキャンデータSCD32を、いずれも下画面に表示させてもよい。そこで、対象物の表面をデータ表示/センサ装置100の上画面でスキャンするとともに、対象物の裏面をデータ表示/センサ装置100の下画面でスキャンし、スキャンの結果として得られる2つのスキャンデータを、データ表示/センサ装置100の下画面に同時に表示する例について説明する。なお、この例の場合は、2つのスキャンデータ表示領域が重ならないように、スキャンパターン記憶部222に設定しておくことが望ましい。
図20は、上記スキャンを実行した後、ユーザが、データ表示/センサ装置100の筐体を開いた様子を示す図である。なお、下画面に置いていた名刺P3は、取り除いている。図示のとおり、スキャン処理部12によって、上画面でスキャンされた名刺P3の表面のスキャンデータSCD31、および、下画面でスキャンされた名刺P3の裏面のスキャンデータSCD32が、下画面に並べて表示されている。
このように、表面のスキャンデータと裏面のスキャンデータとを並べて同時に表示することにより、ユーザがスキャンの結果を確認しやすくなり、ユーザの利便性が向上する。
また、ここでは、また、下画面でスキャンを実行した位置に、スキャンデータSCD31が表示されている。これにより、名刺P3を下画面から取り除いた後の位置に表面のスキャンデータSCD31が表示されているので、名刺P3を下画面から取り除く前に名刺P3の表面を見ていたユーザにとって、わかりやすく、ユーザの利便性が向上する。
また、下画面に置かれた対象物の表面を上画面でスキャンした結果として得られるスキャンデータを、そのまま表示すると、通常は、上下が逆の状態で表示されることとなる。そこで、図16から図20に示したとおり、180度回転させた状態でスキャンデータSCD31を表示し、対象物の向きとスキャンデータSCD31の向きとを同じ方向にしている。これにより、ユーザがスキャンの結果を確認しやすくなり、ユーザの利便性が向上する。
(付記事項)
上記データ表示/センサ装置100は、センサ内蔵液晶パネル301を用いて対象物のスキャンを行うため、ラインスキャナのように装置が大型化することはない。また、センサ内蔵液晶パネル301を用いているため、消費電力を抑制することができる。また、センサ内蔵液晶パネル301を用いているため、カメラ付き携帯電話機での読み取り結果に見られるような歪みが発生しにくい。
上記データ表示/センサ装置100は、センサ内蔵液晶パネル301を用いて対象物のスキャンを行うため、ラインスキャナのように装置が大型化することはない。また、センサ内蔵液晶パネル301を用いているため、消費電力を抑制することができる。また、センサ内蔵液晶パネル301を用いているため、カメラ付き携帯電話機での読み取り結果に見られるような歪みが発生しにくい。
上述では、データ表示/センサ装置100の構成として、データ処理部700や回路制御部600を備える構成について説明したが、この構成に限定されるものではない。例えば、主制御部800が回路制御部600を直接制御し、主制御部800が全体画像データ/部分画像データ/座標データを生成するような構成であってもよい。また、主制御部800が表示/光センサ部300を直接制御するような構成であってもよい。
最後に、データ表示/センサ装置100の主制御部800、データ処理部700、回路制御部600は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、データ表示/センサ装置100は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示/センサ装置100の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示/センサ装置100に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、データ表示/センサ装置100を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、データの表示処理およびスキャン処理を行う装置に適用できる。特に、2枚のセンサ内蔵液晶パネルが互いに向き合う筐体を備えるデータ表示/センサ装置に好適に適用できる。
12 スキャン処理部
14 文字認識処理部
18 画像表示処理部
21 メニュー記憶部
22 スキャン属性情報記憶部
23 画像データ記憶部
24 文字認識属性情報記憶部
25 文字認識結果データ記憶部
100 データ表示/センサ装置(画像表示/像検知装置)
121 スキャン前処理部
122 載置領域情報提示部
123 対象物有無判定部
131 スキャン実行部
132 スキャン実行指示部
133 スキャンデータ格納部
135 スキャン属性情報設定部
161 文字認識処理部
162 文字認識範囲決定部
163 文字認識実行部
165 文字認識結果データ修正部
166 文字認識結果データ格納部
171 文字認識属性情報設定部
222 スキャンパターン記憶部
223 スキャンモード記憶部
241 文字認識モード記憶部
242 ステップバイステップ認識処理情報記憶部
300 表示/光センサ部
301 センサ内蔵液晶パネル(第1面状部材、第2面状部材)
301A センサ内蔵液晶パネル(第1面状部材または第2面状部材)
301B センサ内蔵液晶パネル(第1面状部材または第2面状部材)
600 回路制御部
601 表示制御部
602 センサ制御部
603 バックライト制御部
700 データ処理部
701 表示データ処理部
703 センサデータ処理部
800 主制御部
901 記憶部
R1 載置領域
P1 文書(対象物)
P2 文書(対象物)
P3 名刺(対象物)
14 文字認識処理部
18 画像表示処理部
21 メニュー記憶部
22 スキャン属性情報記憶部
23 画像データ記憶部
24 文字認識属性情報記憶部
25 文字認識結果データ記憶部
100 データ表示/センサ装置(画像表示/像検知装置)
121 スキャン前処理部
122 載置領域情報提示部
123 対象物有無判定部
131 スキャン実行部
132 スキャン実行指示部
133 スキャンデータ格納部
135 スキャン属性情報設定部
161 文字認識処理部
162 文字認識範囲決定部
163 文字認識実行部
165 文字認識結果データ修正部
166 文字認識結果データ格納部
171 文字認識属性情報設定部
222 スキャンパターン記憶部
223 スキャンモード記憶部
241 文字認識モード記憶部
242 ステップバイステップ認識処理情報記憶部
300 表示/光センサ部
301 センサ内蔵液晶パネル(第1面状部材、第2面状部材)
301A センサ内蔵液晶パネル(第1面状部材または第2面状部材)
301B センサ内蔵液晶パネル(第1面状部材または第2面状部材)
600 回路制御部
601 表示制御部
602 センサ制御部
603 バックライト制御部
700 データ処理部
701 表示データ処理部
703 センサデータ処理部
800 主制御部
901 記憶部
R1 載置領域
P1 文書(対象物)
P2 文書(対象物)
P3 名刺(対象物)
Claims (7)
- 2つ折りに折り畳み可能な筐体を有し、
上記筐体を折り畳んだ状態で対向する2つの内面には、一方の内面に、画像を表示する第1面状部材が、他方の内面に、近傍の像を検知する第2面状部材が、互いに対向するようにそれぞれ配設され、
上記第1面状部材は、対象物を載置する領域を示す載置領域を表示し、
上記第2面状部材は、上記筐体を折り畳んだ状態で、上記第1面状部材に表示された上記載置領域と対向する領域で、上記対象物の像を検知することを特徴とする画像表示/像検知装置。 - 上記第1面状部材は、さらに、近傍の像を検知するものであり、上記筐体を折り畳んだ状態で、上記第1面状部材に表示された上記載置領域で、上記対象物の像を検知することを特徴とする請求項1に記載の画像表示/像検知装置。
- 上記第1面状部材は、上記第1面状部材および上記第2面状部材の少なくとも一方にて検知した上記対象物の像の画像を表示することを特徴とする請求項1または2に記載の画像表示/像検知装置。
- 上記第1面状部材は、上記載置領域と重ならない位置に、上記対象物の像の画像を表示することを特徴とする請求項1から3のいずれか1項に記載の画像表示/像検知装置。
- 上記第2面状部材は、さらに、画像を表示するものであることを特徴とする請求項1から4のいずれか1項に記載の画像表示/像検知装置。
- 上記第2面状部材は、上記第1面状部材および上記第2面状部材の少なくとも一方にて検知した上記対象物の像の画像を表示することを特徴とする請求項5に記載の画像表示/像検知装置。
- 上記第2面状部材は、上記第2面状部材にて検知した上記対象物の像の画像を、180度回転した状態で表示することを特徴とする請求項5または6に記載の画像表示/像検知装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008227332A JP2010062938A (ja) | 2008-09-04 | 2008-09-04 | 画像表示/像検知装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008227332A JP2010062938A (ja) | 2008-09-04 | 2008-09-04 | 画像表示/像検知装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010062938A true JP2010062938A (ja) | 2010-03-18 |
Family
ID=42189237
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008227332A Pending JP2010062938A (ja) | 2008-09-04 | 2008-09-04 | 画像表示/像検知装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010062938A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102870400A (zh) * | 2010-05-03 | 2013-01-09 | 微软公司 | 图像捕捉 |
JP2013161464A (ja) * | 2012-02-09 | 2013-08-19 | Brother Ind Ltd | 画像編集プログラム、画像編集装置、及び画像編集システム |
US20240021128A1 (en) * | 2021-01-21 | 2024-01-18 | Samsung Electronics Co., Ltd. | Method for driving display at multiple driving frequencies and electronic device performing same |
-
2008
- 2008-09-04 JP JP2008227332A patent/JP2010062938A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102870400A (zh) * | 2010-05-03 | 2013-01-09 | 微软公司 | 图像捕捉 |
JP2013161464A (ja) * | 2012-02-09 | 2013-08-19 | Brother Ind Ltd | 画像編集プログラム、画像編集装置、及び画像編集システム |
US20240021128A1 (en) * | 2021-01-21 | 2024-01-18 | Samsung Electronics Co., Ltd. | Method for driving display at multiple driving frequencies and electronic device performing same |
US12087199B2 (en) * | 2021-01-21 | 2024-09-10 | Samsung Electronics Co., Ltd. | Method for driving display at multiple driving frequencies and electronic device performing same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5367339B2 (ja) | メニュー表示装置、メニュー表示装置の制御方法、およびメニュー表示プログラム | |
JP2010108081A (ja) | メニュー表示装置、メニュー表示装置の制御方法、およびメニュー表示プログラム | |
JP5095574B2 (ja) | 画像表示/像検知装置、画像表示方法、画像表示プログラムおよび当該プログラムを記録した記録媒体 | |
JP5185086B2 (ja) | 表示装置、表示装置の制御方法、表示装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2010122972A (ja) | 画像表示/検出装置、選択方法、及び、プログラム | |
JP5236536B2 (ja) | 画像表示/像検知装置、制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP5254753B2 (ja) | 数値入力装置、数値入力方法、数値入力プログラム、およびコンピュータ読み取り可能な記録媒体 | |
JP2010062938A (ja) | 画像表示/像検知装置 | |
JP2010109467A (ja) | 画像表示/像検知装置 | |
JP2010204945A (ja) | 入力装置、及び入力方法 | |
JP2010122383A (ja) | 表示装置 | |
WO2010050567A1 (ja) | データ送信支援装置、電子機器、及びデータ送信支援装置の制御方法 | |
JP2010118018A (ja) | 位置特定装置、位置特定プログラム及びコンピュータ読み取り可能な記録媒体、並びに位置特定方法 | |
JP2010062939A (ja) | 画像表示/像検知装置 | |
JP2010108446A (ja) | 情報処理装置、情報処理装置の制御方法、および、情報処理プログラム | |
JP5275754B2 (ja) | 処理実行指示装置、電子機器、及び処理実行指示装置の制御方法 | |
JP5567776B2 (ja) | 色検出/色出力装置、色検出/色出力プログラム及びコンピュータ読み取り可能な記録媒体、並びに色検出/色出力方法 | |
JP2010119064A (ja) | 色検出装置、色検出プログラム及びコンピュータ読み取り可能な記録媒体、並びに色検出方法 | |
JP2010117841A (ja) | 像検知装置、入力位置の認識方法、およびプログラム | |
JP2010256969A (ja) | ユーザインターフェイス装置、およびユーザインターフェイス装置の制御方法 | |
JP2010062940A (ja) | 画像表示/像検知装置 | |
JP2010118016A (ja) | 入力装置、入力方法、入力プログラム、及びコンピュータ読み取り可能な記録媒体 | |
JP2010140410A (ja) | 携帯装置、および携帯装置の制御方法 | |
JP5259352B2 (ja) | 入力装置および入力装置の制御方法 | |
JP5154368B2 (ja) | 通信装置およびその制御方法 |