JP5236536B2 - 画像表示／像検知装置、制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、画像の表示および対象物の読み取りを同時に行なうことができる画像表示／像検知装置、制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。

近年、インターネットの普及により、ＰＣ（Personal Computer）などのクライアント装置が、ＷＷＷ（World Wide Web）ブラウザ等を利用して、サーバ装置からデータを取得（ダウンロード）したり、サーバ装置にデータを送信（アップロード）する技術が広く利用されている。したがって、ユーザは、ＷＷＷブラウザを利用して、サーバ装置から所定のＷｅｂページ等を取得したり、また、スキャナ装置等にて読み取った原稿の画像等を、サーバ装置に送信することができるようになっている。

ＷＷＷブラウザを利用してクライアント装置からサーバ装置にデータを送信する場合、例えば、図１８に示すＷｅｂページを用いることが考えられる。図１８は、サーバ装置にデータを送信するＷｅｂページを表示したＷＷＷブラウザの画面例である。なお、ここでは、サーバ装置に送信するデータとして、スキャナ装置等にて読み取った、名刺の画像を例に挙げて説明する。

上記Ｗｅｂページは、図示の「送信」ボタンを押下することによって、テキストボックスにて指定した画像を、サーバ装置に送信するように、ＨＴＭＬ（HyperText Markup Language）等の言語で記述されている。

したがって、上記Ｗｅｂページを用いる場合、ユーザは、（１）まず、スキャナ装置等にて名刺の読み取りを行なって、名刺の画像を生成しておき、（２）その後、上記Ｗｅｂページにて、上記生成した画像を指定して、「送信」ボタンを押下する、という操作を行なうことによって、名刺の画像をサーバ装置に送信することができる。

ところで、従来から、スキャナ機能を備えたクライアント装置が知られている。その中でも、特に、画像の表示と、原稿等の読み取りとを１つの画面にて行なうことができる表示／読取装置がある。具体的には、画像表示のための複数の発光素子と、表示画面に載置された原稿等を読み取るための複数の受光素子とが、同じ画面内に配置された装置である。このような表示／読取装置にＷＷＷブラウザを搭載した場合、ユーザは、原稿等の読み取りと、ＷＷＷブラウザを利用した原稿等の画像の送信を、１つの画面で行なうことができる。ただし、この場合でも、ユーザは、原稿等の読み取り操作と、画像の送信操作とをそれぞれ独立に行なうことによって、名刺の画像をサーバ装置に送信することとなる。

なお、いわゆるＷｅｂ技術を用いて、クライアント装置からサーバ装置に対してデータを送信する技術としては、上述した例のほかに、特許文献１および２に開示されている技術がある。

特許文献１では、ＨＴＭＬファイルおよびＣＧＩ（Common Gateway Interface）プログラムに基づいて、ＰＣや携帯情報端末に保持しているデータを、ファクシミリ装置にアップロードさせる技術が開示されている。また、特許文献２では、サーバ装置から取得したＨＴＭＬ文書に基づいて所定のボタンを表示部に表示するとともに、当該ボタンが押下されると、スキャナ装置によりスキャンされた原稿の画像を、サーバ装置に送信する画像処理装置が開示されている。

特開２００２−１３２６５１号公報（公開日：平成１４年５月１０日） 特開２００５−１４９３２０号公報（公開日：平成１７年６月９日）

上述したように、スキャナ装置や、上述した表示／読取装置にて読み取った原稿の画像等をサーバ装置への送信するにあたり、図１８を用いて説明したＷｅｂページを利用する場合、ユーザは、原稿等の読み取り操作と、ＷＷＷブラウザでの送信操作とを、それぞれ個別に行なう必要があった。

また、上述した表示／読取装置における読取面での原稿等の読み取り機能と、いわゆるＷｅｂ技術とは密に連携しておらず、読取面での原稿等の読み取りを行なうＷｅｂページ（ＳａａＳ（Software as a Service）のアプリケーション）を、サーバ装置にて提供することは容易ではなかった。

上記の問題点を解決するために、表示面と読取面とが共用されている表示／読取装置において、サーバ装置が提供するＷｅｂページを表示したＷＷＷブラウザに載置された原稿等の読み取りを可能にすることが考えられる。そして、読み取った画像をＷＷＷブラウザからサーバ装置に送信することが考えられる。しかしながら、このような技術については、特許文献１および２などには開示されていない。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、表示面と読取面とが共用されている装置において、表示位置が固定的でない載置領域を表示するとともに、当該載置領域に載置された対象物の像の読み取りを行なうことができる画像表示／像検知装置、制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。

上記課題を解決するために、本発明に係る画像表示／像検知装置は、画像を表示するとともに、近傍の像を読み取る面状部材を備える画像表示／像検知装置であって、対象物を載置する載置領域を含むウィンドウを、上記面状部材に表示させるウィンドウ表示制御手段と、上記載置領域の上記ウィンドウにおける配置を示す第１領域情報を、上記載置領域の上記面状部材における配置を示す第２領域情報に変換する座標変換手段と、上記面状部材の、上記第２領域情報に基づいて特定される領域にて読み取られる近傍の像の画像である読み取り画像を取得する画像取得手段とを備えることを特徴としている。

また、本発明に係る画像表示／像検知装置の制御方法は、画像を表示するとともに、近傍の像を読み取る面状部材を備える画像表示／像検知装置の制御方法であって、対象物を載置する載置領域を含むウィンドウを、上記面状部材に表示させるウィンドウ表示制御ステップと、上記載置領域の上記ウィンドウにおける配置を示す第１領域情報を、上記載置領域の上記面状部材における配置を示す第２領域情報に変換する座標変換ステップと、上記面状部材の、上記第２領域情報に基づいて特定される領域にて読み取られる近傍の像の画像である読み取り画像を取得する画像取得ステップとを含むことを特徴としている。

上記の構成によれば、対象物を載置する載置領域を含むウィンドウを、面状部材に表示させることができる。そして、載置領域のウィンドウにおける配置を示す第１領域情報を、載置領域の面状部材における配置を示す第２領域情報に変換することができる。そして、面状部材の第２領域情報に基づいて特定される領域にて読み取られる近傍の像の画像である読み取り画像を取得することができる。

よって、第１領域情報から第２領域情報を得ることができるため、ウィンドウが表示面のいかなる位置に表示されていても、また、載置領域がウィンドウ内のいかなる位置に配置されていても、載置領域の面状部材における読み取り位置を特定することができる。

したがって、ウィンドウの載置領域に載置した対象物の画像を、面状部材にて確実に読み取ることができるという効果を奏する。つまり、面状部材における表示位置が固定的でない載置領域に載置した対象物の画像を、面状部材にて確実に読み取ることができるという効果を奏する。

さらに、本発明に係る画像表示／像検知装置は、上記の構成において、上記第１領域情報は、上記ウィンドウに表示される、上記載置領域を含むコンテンツを規定するソースコードに含まれ、上記ウィンドウ表示制御手段は、上記ソースコードに従って、上記載置領域を含むコンテンツを上記ウィンドウに配置した状態で、上記ウィンドウを上記面状部材に表示させる構成としてもよい。

上記の構成によれば、さらに、第１領域情報は、載置領域を含むコンテンツを規定するソースコードに含まれるとともに、載置領域を含むコンテンツを、ソースコードに従って、ウィンドウに配置した状態で、ウィンドウを面状部材に表示させることができる。

よって、載置領域を含むコンテンツの、ウィンドウにおける配置をソースコードにて規定することができ、当該規定したソースコードに従って、ウィンドウ内に載置領域を表示させることができる。そのため、ソースコードに従って表示させた載置領域に載置した対象物の画像を、面状部材にて読み取ることができる。

したがって、コンテンツの提供者（ソースコードの提供者）は、面状部材における読み取り領域の位置を考慮することなく、対象物の読み取りを行なうための機能を提供するコンテンツを作成することができるという効果を奏する。

また、ユーザは、コンテンツの閲覧サービスと原稿等の読み取りサービスとが一体となったサービスを享受することができるとともに、コンテンツの閲覧と原稿等の読み取り操作とを、同じウィンドウにて行なうことができるので、ユーザの利便性および操作性が向上するという効果を奏する。

さらに、本発明に係る画像表示／像検知装置は、上記の構成において、上記ソースコードを第１外部装置から取得するソースコード取得手段をさらに備える構成としてもよい。

上記の構成によれば、さらに、ソースコードを第１外部装置から取得することができる。

よって、第１外部装置から取得したソースコードに従って表示させた載置領域に載置した対象物の画像を、面状部材にて読み取ることができる。

したがって、コンテンツの提供者は、第１外部装置であるサーバ装置にて、上記読み取りを行なうための機能を含むコンテンツを提供することができるという効果を奏する。

つまり、コンテンツの提供者は、上記読み取りを行なうための機能を含むコンテンツを、外部のサーバ装置にて提供することができるので、当該コンテンツを、ＳａａＳのアプリケーションとして構築することができる。

さらに、本発明に係る画像表示／像検知装置は、上記の構成において、上記画像取得手段は、上記面状部材に、上記面状部材の全体にて近傍の像を読み取らせるとともに、当該読み取らせた像の画像のうち、上記第２領域情報にて特定される領域を抽出することによって、上記読み取り画像を取得する構成としてもよい。

上記の構成によれば、さらに、面状部材の全体にて近傍の像を読み取らせた像の画像のうち、第２領域情報にて特定される領域を抽出することによって、読み取り画像を取得することができる。

よって、面状部材の全体にて読み取った画像から、対象物の画像を含む、載置領域の画像を抽出することができる。つまり、面状部材の全体にて読み取った画像のうち、載置領域の外側の領域に相当する部分を取り除くことができる。

したがって、載置領域に載置された対象物の画像を確実に含むとともに、載置領域の外側の領域の画像を含まない、読み取り画像を取得することができるという効果を奏する。

さらに、本発明に係る画像表示／像検知装置は、上記の構成において、上記画像取得手段は、上記面状部材に、上記第２領域情報にて特定される領域にて近傍の像を読み取らせた像の画像を、上記読み取り画像として取得する構成としてもよい。

上記の構成によれば、さらに、面状部材に、第２領域情報にて特定される領域にて近傍の像を読み取らせた像の画像を、読み取り画像として取得することができる。

よって、面状部材から、対象物の画像を含む載置領域の画像を、読み取り画像として取得することができる。

したがって、載置領域に載置された対象物の画像を確実に含むとともに、載置領域の外側の領域の画像を含まない、読み取り画像を取得することができるという効果を奏する。

さらに、本発明に係る画像表示／像検知装置は、上記の構成において、上記画像取得手段が取得した上記読み取り画像を、自装置の記憶部に格納する画像格納手段をさらに備える構成としてもよい。

上記の構成によれば、さらに、読み取り画像を、自装置の記憶部に格納することができる。

よって、対象物の画像を含む載置領域の画像を、自装置の記憶部に格納することができる。

したがって、面状部材にて読み取った対象物の画像に対して、画像解析処理や、外部への転送処理などの各種処理を施すことができるという効果を奏する。

さらに、本発明に係る画像表示／像検知装置は、上記の構成において、上記画像取得手段が取得した上記読み取り画像を、第２外部装置に送信する画像送信手段をさらに備える構成としてもよい。

上記の構成によれば、さらに、読み取り画像を、第２外部装置に送信することができる。

よって、対象物の画像を含む載置領域の画像を、第２外部装置に送信することができる。

したがって、第２外部装置であるサーバ装置にて、面状部材にて読み取った対象物の画像に対して、画像解析処理などの各種処理を施すことができるという効果を奏する。

例えば、面状部材にて読み取った名刺の画像に対して文字認識処理を施し、名刺の画像に含まれる氏名、住所、メールアドレスなどの文字を認識するとともに、当該認識した文字のデータを住所録テーブルに登録するなどの処理を、サーバ装置にて行なうことができる。

なお、上記画像表示／像検知装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記画像表示／像検知装置をコンピュータにて実現させる上記画像表示／像検知装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

以上のように、本発明に係る画像表示／像検知装置は、画像を表示するとともに、近傍の像を読み取る面状部材を備える画像表示／像検知装置であって、対象物を載置する載置領域を含むウィンドウを、上記面状部材に表示させるウィンドウ表示制御手段と、上記載置領域の上記ウィンドウにおける配置を示す第１領域情報を、上記載置領域の上記面状部材における配置を示す第２領域情報に変換する座標変換手段と、上記面状部材の、上記第２領域情報に基づいて特定される領域にて読み取られる近傍の像の画像である読み取り画像を取得する画像取得手段とを備えている。

また、本発明に係る画像表示／像検知装置の制御方法は、画像を表示するとともに、近傍の像を読み取る面状部材を備える画像表示／像検知装置の制御方法であって、対象物を載置する載置領域を含むウィンドウを、上記面状部材に表示させるウィンドウ表示制御ステップと、上記載置領域の上記ウィンドウにおける配置を示す第１領域情報を、上記載置領域の上記面状部材における配置を示す第２領域情報に変換する座標変換ステップと、上記面状部材の、上記第２領域情報に基づいて特定される領域にて読み取られる近傍の像の画像である読み取り画像を取得する画像取得ステップとを含んでいる。

よって、第１領域情報から第２領域情報を得ることができるため、ウィンドウが表示面のいかなる位置に表示されていても、また、載置領域がウィンドウ内のいかなる位置に配置されていても、載置領域の面状部材における位置を特定することができる。そのため、面状部材における読み取り領域を確実に特定することができる。

したがって、ウィンドウの載置領域に載置した対象物の画像を、面状部材にて確実に読み取ることができるという効果を奏する。つまり、面状部材における表示位置が固定的でない載置領域に載置した対象物の画像を、面状部材にて確実に読み取ることができるという効果を奏する。

本発明の一実施形態に係るデータ表示／センサ装置の詳細構成を示すブロック図である。 本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を示す模式図である。 本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、対象物の画像を検出する様子を示す模式図である。 本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。 本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を示す模式図である。 図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を示す説明図である。 図７（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。 本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。 本発明の一実施形態に係るデータ表示／センサ装置を含むシステムの概略構成を示す模式図である。 図１０（ａ）は、対象物である名刺の表面を示した説明図である。図１０（ｂ）は、対象物である名刺の裏面を示した説明図である。 本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの表示面の全体であるデスクトップ領域上に、ＯＳプログラムのデスクトップ画面とアプリケーションプログラムであるブラウザとが重畳表示されており、さらに、ブラウザのクライアント領域に、外部サーバから取得したソースＨに基づいて、読み取りページが表示されている様子を示す模式図である。 本発明の一実施形態に係るデータ表示／センサ装置が処理するソースＨの記述例を示す模式図である。 図１１に示した状態において、ユーザが、読み取り領域に名刺を載置した様子を示す模式図である。 読み取り領域に載置された名刺の表面の画像を、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて読み取った結果として生成される画像を示す模式図である。 デスクトップ領域と、クライアント領域と、読み取り領域との位置関係を示す模式図である。 本発明の一実施形態に係るデータ表示／センサ装置が、読み取り領域が表示されている領域に載置された対象物の画像の読み取りを行なうとともに、外部サーバにて当該読み取った画像に対して文字認識処理を行なう流れを示すフローチャートである。 本発明の一実施形態に係るデータ表示／センサ装置において、読み取り領域の全体が視認可能に表示されていないときに提示するメッセージの一例を示す模式図である。 サーバ装置にデータを送信するＷｅｂページを表示したＷＷＷブラウザの画面例である。

本発明の一実施形態について、図１から図１７に基づいて説明すると以下の通りである。

本実施形態に係るデータ表示／センサ装置（画像表示／像検知装置）１００は、概略的に言えば、画像などのデータを表示するとともに、近傍の像を検知することができるセンサ内蔵液晶パネル（面状部材）３０１（後述する）を備えており、センサ内蔵液晶パネル３０１にて画像を表示している状態で、センサ内蔵液晶パネル３０１の近傍にある対象物の画像の読み取りを行なうことができる装置である（図４参照）。

なお、対象物とは、センサ内蔵液晶パネル３０１にて像を読み取る対象となる物体を指している。より具体的には、文字や画像などが記された文書などであり、書籍、カード、チラシ、各種資料などが対象物に該当するが、ここでは特に、氏名、住所、メールアドレスなどが記された名刺Ｃを想定している。なお、対象物の像の読み取りを、以下では、スキャンとも称する。

（各装置の概略構成）
図９を参照しながら、本実施形態に係るデータ表示／センサ装置１００、および、外部サーバ（第１外部装置、第２外部装置）１０００を含むシステム１１００の概略構成を説明する。図９は、当該システム１１００の概略構成を示す模式図である。データ表示／センサ装置１００および外部サーバ１０００は、一般的に知られている通信ネットワーク１１２０にて接続されており、ＨＴＴＰ（HyperText Transfer Protocol）等の一般的に知られている通信プロトコルを用いて、相互に通信可能であるものとする。

データ表示／センサ装置１００は、ＨＴＭＬで記述されたＷｅｂページのソースコード（以下、ソースＨと表記する）を、外部サーバ１０００に要求する機能を備えるＰＣなどのクライアント端末である。そして、データ表示／センサ装置１００は、外部サーバ１０００から取得したソースＨに基づいて、ＷＷＷブラウザ（ウィンドウ）を用いてＷｅｂページを表示する。

なお、以下では、ＷＷＷブラウザをブラウザＷと表記する。ブラウザＷは、データ表示／センサ装置１００のＯＳ（operating system）プログラムによって、センサ内蔵液晶パネル３０１に表示される。なお、ブラウザＷの表示位置および表示サイズは、ユーザの操作等によって変更可能であり、固定的ではないものとする。

ここで、上記ソースＨは、（１）対象物を載置する範囲を示す領域（載置領域）であるとともに、（２）センサ内蔵液晶パネル３０１の読取面の全体にて読み取った画像から、読み取り結果としての画像（後述する読み取り画像ＣＧ）を抽出する範囲を示す領域（以下、読み取り領域ＲＡと表記する）を、Ｗｅｂページ（コンテンツ）上に表示するように記述されているものとする。さらに、ユーザの指示に応じて、センサ内蔵液晶パネル３０１の読取面にて近傍の像の画像を読み取る指示を行なうとともに、読み取り画像ＣＧを外部サーバ１０００に送信することが記述されているものとする。なお、これらの記述は、後述するｓｃａｎタグＳＴなどのタグを用いて記述される。

したがって、データ表示／センサ装置１００が、外部サーバ１０００から取得したソースＨに基づいて表示するＷｅｂページには、読み取り領域ＲＡが表示される。さらに、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１の読取面の全体にて読み取った画像のうち、読み取り領域ＲＡが読み取られている領域を、読み取り画像ＣＧとして抽出する。そして、当該抽出した読み取り画像ＣＧを、ブラウザＷを介して、外部サーバ１０００へ送信する（より具体的には、ＨＴＴＰのＰＯＳＴメソッドを使用して送信する）。なお、以下では、読み取り領域ＲＡが表示される上記Ｗｅｂページを、読み取りページＣＰと表記する。

一方、外部サーバ１０００は、データ表示／センサ装置１００からの要求に応じて、データ表示／センサ装置１００にソースＨを提供する機能を備えているサーバ装置である。また、外部サーバ１０００は、各種データを記憶する記憶部１０３０を備えている。各種データとは、例えば、データ表示／センサ装置１００に提供するソースＨや、データ表示／センサ装置１００から送信される読み取り画像ＣＧなどである。

なお、外部サーバ１０００では、データ表示／センサ装置１００から送信される読み取り画像ＣＧに対して所定の処理を施すアプリケーションプログラムが実行されるものとする。本実施形態では、対象物として名刺Ｃを想定していることから、上記アプリケーションプログラムは、特に、氏名、住所、メールアドレスなどの文字を認識するとともに、当該認識した文字のデータを、記憶部１０３０に格納されている住所録としてのテーブルに登録する処理を行なうことを想定している。以下では、当該アプリケーションプログラムを、文字認識アプリケーションと称する。

なお、外部サーバ１０００にて文字認識アプリケーションが実行される場合、システム１１００は、例えば、名刺管理システムとも称する。

（データ表示／センサ装置を用いて対象物の読み取りを行なう様子）
次に、図１０から図１４を参照しながら、データ表示／センサ装置１００が、読み取りページＣＰに表示されている読み取り領域ＲＡに載置された対象物の画像を、センサ内蔵液晶パネル３０１にて読み取る処理の典型例について説明する。なお、ここでは、処理の概要について説明し、各処理の詳細については後述する。

まず、図１０を参照しながら、対象物である名刺Ｃに表示されている文字ついて具体例に説明する。図１０（ａ）は、名刺Ｃの表面を示した図である。図示のように、名刺Ｃの表面には、氏名である「三村」、住所である「奈良県大和郡山市」、メールアドレスである「mimura@xxx.com」が記載されている。なお、図１０（ｂ）は、名刺Ｃの裏面を示した図である。

次に、図１１は、センサ内蔵液晶パネル３０１の表示面の全体であるデスクトップ領域ＤＡ上に、ＯＳプログラムのデスクトップ画面とアプリケーションプログラムであるブラウザＷとが重畳表示されており、さらに、ブラウザＷのクライアント領域ＣＡ（後述する）に、外部サーバ１０００から取得したソースＨに基づいて、読み取りページＣＰが表示されている様子を示す模式図である。図示のように、読み取りページＣＰには、読み取り領域ＲＡが表示されている。図１１では、読み取り領域ＲＡをグレー色（gray）で表示している。

なお、クライアント領域ＣＡとは、ブラウザＷのウィンドウ領域のうち、Ｗｅｂページなどのコンテンツが表示される部分（つまり、タイトルバーやステータスバーなどを除いた部分）を指す。図１１では、破線で囲んだ領域がクライアント領域ＣＡである。

次に、データ表示／センサ装置１００が処理するソースＨの記述例について説明する。図１２は、ソースＨの記述例を示す模式図である。図示のように、ソースＨには、特に、ｆｏｒｍタグＦＴ、ｓｃａｎタグＳＴ、ｉｎｐｕｔタグＩＴが記述されている。

ｆｏｒｍタグＦＴでは、アクションとして、“http://meishi.jp”で示されるＵＲＬ（Uniform Resource Locator）に対して、ＰＯＳＴメソッドによる送信処理を行なうことを記述している。なお、“http://meishi.jp”で示されるＵＲＬは、外部サーバ１０００上のＵＲＬであるものとする。なお、ＰＯＳＴメソッドにより送信されるデータは、後述する読み取り画像ＣＧである。

ｓｃａｎタグＳＴは、読み取り領域ＲＡを記述するものである。図示の例では、読み取り領域ＲＡの幅（width）が“４４０”、読み取り領域ＲＡの高さ（height）が“３００”、読み取り領域ＲＡの色（bgcolor）が“gray（グレー）”であることを記述している。

なお、ｓｃａｎタグＳＴは、ＨＴＭＬの標準規格に規定されていないタグである。そのため、ここでは、ｓｃａｎタグＳＴを独自に定義した、標準規格を拡張したＨＴＭＬを用いているものとする。また、ブラウザＷは、ｓｃａｎタグＳＴを解釈し、対応する処理を行なうことができるように機能拡張されているものとする。

ｉｎｐｕｔタグＩＴは、ユーザが押下可能なボタンＢＴを記述するものである。ボタンＢＴが押下されると、読み取り領域ＲＡに載置された対象物の画像を、センサ内蔵液晶パネル３０１にて読み取る処理が開始されるともに、当該読み取った結果として生成される画像が、ｆｏｒｍタグＦＴで記述されているとおりＰＯＳＴメソッドにより送信されるものとする。

次に、図１３は、図１１に示した状態において、ユーザが、名刺Ｃの表面の読み取りを行なうことを目的として、読み取り領域ＲＡに名刺Ｃを載置した様子を示す模式図である。なお、名刺Ｃの表面を読み取るために、名刺Ｃの表面がセンサ内蔵液晶パネル３０１に接する状態で載置している。よって、ユーザには、図示のとおり、名刺Ｃの裏面が見えている状態である。

そして、名刺Ｃを載置した状態で、ユーザが、ボタンＢＴを押下すると、読み取り領域ＲＡに載置された名刺Ｃの表面の画像を、センサ内蔵液晶パネル３０１にて読み取る処理が行なわれる。

次に、図１４は、読み取り領域ＲＡに載置された名刺Ｃの表面の画像を、センサ内蔵液晶パネル３０１にて読み取った結果として、データ表示／センサ装置１００内で生成される画像を示す模式図である。

データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１の読取面の全体にて読み取った画像から、読み取り領域ＲＡに相当する領域のみを抽出して、上記画像を生成する。したがって、上記生成される画像は、読み取り領域ＲＡと同じサイズの画像である。そして、上記抽出した画像が、ＰＯＳＴメソッドにより、外部サーバ１０００に送信される。なお、上記抽出した画像が、読み取り画像ＣＧである。

ユーザが、名刺Ｃを読み取り領域ＲＡ内に載置した場合、図示のように、読み取り画像ＣＧには、名刺Ｃの表面に記載された氏名である「三村」、住所である「奈良県大和郡山市」、メールアドレスである「mimura@xxx.com」の文字がそれぞれ含まれる。そして、外部サーバ１０００では、文字認識アプリケーションが、読み取り画像ＣＧに含まれる、氏名、住所、メールアドレスの文字を認識するとともに、当該認識した文字のデータを、記憶部１０３０に格納されている住所録としてのテーブルに登録する処理を行なう。

なお、センサ内蔵液晶パネル３０１にて読み取った対象物の画像は、対象物の表面と鏡像の関係にある画像が得られるので、当該得られた画像を、一般的に知られている手法により鏡像反転するものとする。

（座標系）
センサ内蔵液晶パネル３０１の読取面の全体にて読み取った画像から、読み取り画像ＣＧを抽出する（切り出す）ためには、デスクトップ領域ＤＡの左上（つまり、Ｄ０）を原点とした座標系（以下、デスクトップ座標系と表記）における読み取り領域ＲＡの配置を示す情報（第２領域情報）を特定することが必要である。上記配置を示す情報とは、具体的には、読み取り領域ＲＡの代表点（頂点）の座標の集合である。

なお、ＯＳプログラムは、デスクトップ画面に表示する部品（ウィンドウ、アイコン、など）の表示位置を、デスクトップ座標系で管理している。また、デスクトップ領域ＤＡは、センサ内蔵液晶パネル３０１の表示面の全体と一致するので、センサ内蔵液晶パネル３０１の表示面の物理的位置を示すには、デスクトップ座標系を用いる。

ここで、ブラウザＷは、クライアント領域ＣＡに読み取り領域ＲＡを表示しているため、クライアント領域ＣＡの左上（つまり、Ｃ０）を原点とした座標系（以下、クライアント座標系と表記）における読み取り領域ＲＡの配置を示す情報（第１領域情報）を知り得ている。なお、ブラウザＷは、コンテンツである読み取りページＣＰに表示する部品（ボタン、アイコン、文字など）の表示位置を、クライアント座標系で管理している。

したがって、本実施形態では、読み取り画像ＣＧを抽出する処理の前に、読み取り領域ＲＡの配置を示す情報を、クライアント座標系からデスクトップ座標系に変換する処理を行なう。そして、当該変換後の情報を用いて、読み取り画像ＣＧの抽出処理を行なう。

なお、以下では、クライアント座標系における座標を「クライアント座標」と表記し、デスクトップ座標系における座標を「デスクトップ座標」と表記する。

図１５を参照しながら、読み取り領域ＲＡのクライアント座標およびデスクトップ座標について具体的に説明する。図１５は、デスクトップ領域ＤＡと、クライアント領域ＣＡと、読み取り領域ＲＡとの位置関係を示す模式図である。

図１５において、読み取り領域ＲＡは、左上が点Ｒ１であり、右下が点Ｒ２である矩形領域である。

点Ｒ１および点Ｒ２をクライアント座標で表すと、それぞれ、（Ｘｂ，Ｙｂ）および（Ｘｂ＋Ｘｃ，Ｙｂ＋Ｙｃ）である。なお、“Ｘｂ”、“Ｙｂ”、“Ｘｃ”、および“Ｙｃ”は、ブラウザＷが、読み取りページＣＰ内に読み取り領域ＲＡを表示するために、知り得ている値である。

一方、点Ｒ１および点Ｒ２をデスクトップ座標で表すと、それぞれ、（Ｘａ＋Ｘｂ，Ｙａ＋Ｙｂ）および（Ｘａ＋Ｘｂ＋Ｘｃ，Ｙａ＋Ｙｂ＋Ｙｃ）である。

つまり、この例では、クライアント座標に“Ｘａ”および“Ｙａ”を加算するだけで、デスクトップ座標に変換することができる。このように、クライアント座標とデスクトップ座標との変換は、簡易な演算だけで行なうことができる。

言い換えれば、デスクトップ座標系におけるクライアント領域ＣＡの左上（Ｃ０）の位置と、クライアント座標系における読み取り領域ＲＡの位置（Ｒ１、Ｒ２）との相対位置から算出することができる。

（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

次に、図３を参照しながら、対象物の画像を検出する方法について説明する。図３は、反射像を検知することにより、対象物の画像を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、名刺Ｃなどの対象物により反射された光６３を検知する。これにより、対象物の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、対象物の画像を検出することができる。

（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。

表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。

次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。

データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。

表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。

センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

次に、主制御部８００は、データ表示／センサ装置１００が備える各部の動作を制御するものである。主制御部８００は、記憶部９０１に記憶されている各種プログラムを読み出して、データ表示／センサ装置１００の各部を制御し、データ表示／センサ装置１００が備える各種機能を実現する。

主制御部８００は、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行なわせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。

なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９０１は、主制御部８００が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および、（４）これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部９０１は、フラッシュメモリなどの不揮発性の記憶装置によって構成される。なお、アプリケーションプログラムがＯＳの機能を使用するためのＡＰＩ（Application Programming Interface）や、各種デバイスと通信するためのドライバも、記憶部９０１に含まれる。

一次記憶部９０２は、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置によって構成されるものであり、主制御部８００が上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用される。

次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。

なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。

その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。

（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。

「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。

また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。

また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１の表示／光センサ部３００）、“010”（第２の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、第１および第２の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。

ここで、センサデータ処理部７０３は、受信したコマンドの「スキャンパネル」フィールドに指定された表示／光センサ部３００の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”（第１の表示／光センサ部３００）、“010” （第２の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、第１および第２の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。

ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が第１の表示／光センサ部３００であるコマンドを受信すると、第１の表示／光センサ部３００に表示データを表示させるために、表示／光センサ部３００の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。

なお、以下では、説明の便宜上、本実施形態に係るデータ表示／センサ装置１００は、表示／光センサ部３００を１つ備える構成であるものとする。そのため、スキャンを行なう場合は、「スキャンパネル」フィールドの値として“第１表示／光センサ部（001）”を指定したコマンドを、また、データ表示を行なう場合は、「表示パネル」フィールドの値として“第１表示／光センサ部（001）”を指定したコマンドを、それぞれデータ処理部７００に送信するものとする。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。

また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。

（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称して用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

（データ表示／センサ装置のより詳細な構成）
次に、図１を参照しながら、データ表示／センサ装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、データの表示および対象物の読み取りを行なうにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ等を取得する。

図１は、データ表示／センサ装置１００の主制御部８００、記憶部９０１、および、一次記憶部９０２の、より詳細な構成を示すブロック図である。

図示のように、主制御部８００は、ブラウザ処理部（ウィンドウ表示制御手段、ソースコード取得手段、画像送信手段）１１、ＡＰＩ処理部（座標変換手段）１２、およびドライバ処理部（画像取得手段、画像格納手段）１５を含んでいる。

まず、ブラウザ処理部１１について説明する。ブラウザ処理部１１は、後述するブラウザ記憶部２１に格納されている、ブラウザＷのプログラムを読み出して、実行するものである。そして、ブラウザ処理部１１により実行されるブラウザＷは、外部通信部９０７を介して、外部サーバ１０００に、読み取りページＣＰを記述したソースＨの取得を要求するとともに、その応答として、外部サーバ１０００から上記ソースＨを受信する。そして、該受信したソースＨに基づいて、読み取りページＣＰを表示するために、表示用ＡＰＩを呼び出す。なお、当該表示用ＡＰＩは、後述する表示ＡＰＩ処理部１３にて実行されるものであって、後述する表示用ドライバとの通信を行なうためのＡＰＩである。

ブラウザ処理部１１により実行されるブラウザＷは、上述したｓｃａｎタグＳＴを解釈することができるように機能拡張されている点を除けば、一般的に知られているＷＷＷブラウザ（Internet Explorer等）が具備する機能を備えるものであればよいため、その詳細については説明を省略する。

また、外部サーバ１０００からソースＨを取得するタイミングは、特に限定されるものではなく、例えば、ユーザが、ソースＨの所在を示すＵＲＬをブラウザＷに入力したときであってもよいし、ブラウザＷの起動時に取得してもよい。

さらに、ブラウザ処理部１１により実行されるブラウザＷは、ユーザから、対象物の読み取りを実行する指示（ボタン押下など）を受けつけると、対象物の読み取りを行なうために、読み取り用ＡＰＩを呼び出す。このとき、ブラウザＷは、ソースＨに記述されている、読み取り領域ＲＡのクライアント座標を取得し、当該取得したクライアント座標を引数として、上記読み取り用ＡＰＩを呼び出す。

なお、上記読み取り用ＡＰＩは、後述する読み取りＡＰＩ処理部１４にて実行されるものであって、後述する読み取り用ドライバとの通信を行なうためのＡＰＩである。

さらに、ブラウザ処理部１１により実行されるブラウザＷは、上記呼び出した読み取り用ＡＰＩからの応答（戻り値）として、後述する読み取り画像記憶部２４内の番地を特定可能な情報を受信する。なお、読み取り画像記憶部２４の当該番地には、後述するように、読み取り画像ＣＧが格納されている。そして、ブラウザＷは、当該受信した情報に基づいて特定される番地に格納されている読み取り画像ＣＧを読み出し、当該読み出した読み取り画像ＣＧを、外部通信部９０７を介して、外部サーバ１０００に送信する。

次に、ＡＰＩ処理部１２について説明する。ＡＰＩ処理部１２は、後述するＡＰＩ記憶部２２に格納されている表示用ＡＰＩおよび読み取り用ＡＰＩを読み出して、実行するものである。表示用ＡＰＩおよび読み取り用ＡＰＩは、ブラウザＷがＯＳプログラムの機能を読み出すためのＡＰＩである。ＡＰＩ処理部１２は、表示ＡＰＩ処理部１３および読み取りＡＰＩ処理部１４を含んでいる。

表示ＡＰＩ処理部１３は、ＡＰＩ記憶部２２から表示用ＡＰＩを読み出して、実行するものである。ブラウザＷが、読み取りページＣＰを表示するために表示用ＡＰＩを呼び出すと、表示ＡＰＩ処理部１３は、表示用ＡＰＩを実行する。そして、表示用ＡＰＩは、読み取りページＣＰを表示するために、さらに、表示用ドライバを呼び出す。

なお、上記表示用ドライバは、後述する表示ドライバ処理部１６にて実行されるものであって、データ処理部７００との通信を行なうためのドライバプログラムである。

読み取りＡＰＩ処理部１４は、ＡＰＩ記憶部２２から読み取り用ＡＰＩを読み出して、実行するものである。ブラウザＷが、対象物の読み取りを行なうために読み取り用ＡＰＩを呼び出すと、読み取りＡＰＩ処理部１４は、読み取り用ＡＰＩを実行する。

読み取り用ＡＰＩは、まず、呼び出し時の引数に指定される、読み取り領域ＲＡのクライアント座標を、デスクトップ座標に変換する。そして、対象物の読み取りを行なうために、さらに、読み取り用ドライバを呼び出す。このとき、読み取り用ＡＰＩは、上記変換後の、読み取り領域ＲＡのデスクトップ座標を引数として、上記読み取り用ドライバを呼び出す。

なお、上記読み取り用ドライバは、後述する読み取りドライバ処理部１７にて実行されるものであって、データ処理部７００との通信を行なうためのドライバプログラムである。

さらに、読み取り用ＡＰＩは、上記呼び出した読み取り用ドライバからの応答（戻り値）として、読み取り画像記憶部２４内の番地を特定可能な情報を受信する。そして、読み取り用ＡＰＩは、呼び出し元であるブラウザＷに、当該受信した情報を、戻り値として送信する。

次に、ドライバ処理部１５について説明する。ドライバ処理部１５は、後述するドライバ記憶部２３に格納されている、表示用ドライバおよび読み取り用ドライバを読み出して、実行するものである。そのために、ドライバ処理部１５は、表示ドライバ処理部１６および読み取りドライバ処理部１７を含んでいる。

表示ドライバ処理部１６は、ドライバ記憶部２３から表示用ドライバを読み出して、実行するものである。表示用ＡＰＩが、読み取りページＣＰを表示するために表示用ドライバを呼び出すと、表示ドライバ処理部１６は、表示用ドライバを実行する。そして、表示用ドライバは、読み取りページＣＰをセンサ内蔵液晶パネル３０１に表示させるように表示データを生成し、該生成した表示データをデータ処理部７００に送信する。これに併せて、表示用ドライバは、「表示パネル」フィールドの値として“001”（第１表示／光センサ部）を指定したコマンドを、データ処理部７００に送信する。

読み取りドライバ処理部１７は、ドライバ記憶部２３から読み取り用ドライバを読み出して、実行するものである。読み取り用ＡＰＩが、対象物の読み取りを行なうために、読み取り用ドライバを呼び出すと、読み取りドライバ処理部１７は、読み取り用ドライバを実行する。そして、読み取り用ドライバは、センサ内蔵液晶パネル３０１に、対象物の読み取りを行なわせるために、コマンドを生成し、当該生成したコマンドをデータ処理部７００に送信する。

なお、上記生成するコマンドの各フィールドには、次の値を指定する。すなわち、「データ取得タイミング」フィールドの値は“01”（イベント）、「データ種別」フィールドの値は“100”（全体画像）、「スキャン方式」フィールドの値は“00”（反射）、「スキャン画像階調」フィールドの値は“01”（多値）、「スキャン解像度」フィールドの値は“0”（高）、「スキャンパネル」フィールドの値は“001”（第１表示／光センサ部）を指定する。

上記のように、特に、データ処理部７００から全体画像を取得するために、「データ種別」フィールドの値は“100”（全体画像）を指定している。また、名刺Ｃの表面の画像を読み取るとともに、外部サーバ１０００にて文字認識処理を行なうことを想定しているので、「スキャン画像階調」フィールドの値は“01”（多値）、「スキャン解像度」フィールドの値は“0”（高）に指定することが望ましい。

さらに、読み取り用ドライバは、上記コマンドにより、センサ内蔵液晶パネル３０１に読み取りを実行させた結果として、データ処理部７００から、全体画像を取得する。そして、呼び出し時の引数に指定されていた、読み取り領域ＲＡのデスクトップ座標を用いて、上記取得した全体画像から読み取り画像ＣＧを抽出する処理を行なう。

そして、読み取り用ドライバは、上記抽出した読み取り画像ＣＧを、読み取り画像記憶部２４に格納するとともに、呼び出し元である読み取り用ＡＰＩに、読み取り画像ＣＧを格納した番地を特定可能な情報を、戻り値として送信する。

次に、記憶部９０１は、ブラウザ記憶部２１、ＡＰＩ記憶部２２、およびドライバ記憶部２３を含んでいる。ブラウザ記憶部２１は、ブラウザＷのプログラムを読み出し可能に記憶するものである。ＡＰＩ記憶部２２は、表示用ＡＰＩおよび読み取り用ＡＰＩを読み出し可能に記憶するものである。ドライバ記憶部２３は、表示用ドライバおよび読み取り用ドライバを読み出し可能に記憶するものである。

次に、一次記憶部９０２は、読み取り画像記憶部２４を含んでいる。読み取り画像記憶部２４は、読み取りドライバ処理部１７が実行する読み取り用ドライバによって格納される読み取り画像ＣＧを記憶するものである。なお、読み取り画像ＣＧは、少なくとも、ブラウザ処理部１１により実行されるブラウザＷによって読み出されるまでの期間だけ記憶されていればよい。そのため、セキュリティの向上を目的として、ブラウザＷによって読み出された直後は、削除するようにしてもよい。

（対象物の読み取りを行なう処理の流れ）
次に、図１６を参照しながら、本実施形態に係るデータ表示／センサ装置１００が、読み取り領域ＲＡが表示されている領域に載置された対象物の画像の読み取りを行なうとともに、外部サーバにて当該読み取った画像に対して文字認識処理を行なう流れの一例について説明する。

図１６は、本実施形態に係るデータ表示／センサ装置１００が、読み取り領域ＲＡが表示されている領域に載置された対象物の画像の読み取りを行なうとともに、外部サーバにて当該読み取った画像に対して文字認識処理を行なう流れを示すフローチャートである。

まず、ユーザが、読み取りページＣＰを記述したソースＨの所在を示すＵＲＬを、ブラウザＷに入力する等によって、読み取りページＣＰの取得を指示すると（ステップＳ１１）、ブラウザ処理部１１により実行されるブラウザＷは、外部通信部９０７を介して、外部サーバ１０００に、上記ソースＨの取得を要求する（ステップＳ１２）。そして、外部サーバ１０００は、上記要求に応じて、上記ソースＨを送信する（ステップＳ１３）。

次に、ブラウザＷは、外部サーバ１０００から上記ソースＨを受信すると、当該受信したソースＨに基づいて、読み取りページＣＰを表示するために、表示用ＡＰＩを呼び出す（ステップＳ１４）。表示用ＡＰＩが呼び出されると、表示ＡＰＩ処理部１３が、表示用ＡＰＩを実行する。そして、表示用ＡＰＩは、さらに、表示用ドライバを呼び出す（ステップＳ１５）。

表示用ドライバが呼び出されると、表示ドライバ処理部１６が、表示用ドライバを実行する。そして、表示用ドライバは、読み取りページＣＰをセンサ内蔵液晶パネル３０１に表示させるように表示データを生成し、該生成した表示データをデータ処理部７００に送信するとともに、「表示パネル」フィールドの値として“001”（第１表示／光センサ部）を指定したコマンドを、データ処理部７００に送信する（ステップＳ１６）。

そして、データ処理部７００が、表示データおよびコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信することによって、読み取りページＣＰをセンサ内蔵液晶パネル３０１に表示する（ステップＳ１７）。

読み取りページＣＰがセンサ内蔵液晶パネル３０１に表示された後、ユーザが、対象物である名刺Ｃを、センサ内蔵液晶パネル３０１上の、読み取り領域ＲＡが表示されている領域に載置するとともに（ステップＳ１８）、「送信」ボタンを押下する等によって、対象物の読み取りを実行することを指示すると（ステップＳ１９）、ブラウザＷは、ソースＨに記述されている、読み取り領域ＲＡのクライアント座標を取得し、当該取得したクライアント座標を引数として、読み取り用ＡＰＩを呼び出す（ステップＳ２０）。

読み取り用ＡＰＩが呼び出されると、読み取りＡＰＩ処理部１４が、読み取り用ＡＰＩを実行する。読み取り用ＡＰＩは、呼び出し時の引数に指定されている、読み取り領域ＲＡのクライアント座標を、デスクトップ座標に変換した後、デスクトップ座標を引数として、読み取り用ドライバを呼び出す（ステップＳ２１）。

そして、読み取り用ドライバが呼び出されると、読み取りドライバ処理部１７が、読み取り用ドライバを実行する。そして、読み取り用ドライバは、センサ内蔵液晶パネル３０１に、対象物の読み取りを行なわせるために、コマンドを生成し、当該生成したコマンドをデータ処理部７００に送信する（ステップＳ２２）。なお、上記生成するコマンドの各フィールドには、上述したとおりである。特に、データ処理部７００から全体画像を取得するために、「データ種別」フィールドの値は“100”（全体画像）を指定する。

そして、データ処理部７００が、上記コマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信することによって、センサ内蔵液晶パネル３０１にて読み取りを実行する。そして、データ処理部７００は、読み取りを行なった結果として全体画像を生成し、読み取り用ドライバに送信する（ステップＳ２３）。

そして、読み取り用ドライバは、データ処理部７００から全体画像を取得すると、呼び出し時の引数に指定されていた、読み取り領域ＲＡのデスクトップ座標を用いて、上記取得した全体画像から読み取り画像ＣＧを抽出する処理を行なう。そして、当該抽出した読み取り画像ＣＧを、読み取り画像記憶部２４に格納するとともに、呼び出し元である読み取り用ＡＰＩに、上記読み取り画像ＣＧを格納した番地を特定可能な情報を、戻り値として送信する（ステップＳ２４）。

そして、読み取り用ＡＰＩは、上記読み取り用ドライバから、上記番地を特定可能な情報を受信すると、さらに、呼び出し元であるブラウザＷに、当該受信した情報を、戻り値として送信する（ステップＳ２５）。

そして、ブラウザＷは、上記読み取り用ＡＰＩから上記番地を特定可能な情報を受信すると、当該受信した情報に基づいて特定される番地に格納されている読み取り画像ＣＧを読み出し、当該読み出した読み取り画像ＣＧを、外部通信部９０７を介して、外部サーバ１０００に送信する（ステップＳ２６）。

そして、外部サーバ１０００は、ブラウザＷから画像を受信すると、当該受信した読み取り画像ＣＧを記憶部１０３０に格納するとともに（ステップＳ２７）、文字認識アプリケーションを起動して、当該格納した読み取り画像ＣＧから文字を認識する処理を行なう（ステップＳ２８）。

〔変形例〕
（センサ内蔵液晶パネル３０１の表示面の座標系と読取面の座標系との変換）
センサ内蔵液晶パネル３０１の表示面の解像度と、読取面の解像度とは、必ずしも同じであるとは限らない。例えば、表示面の解像度が縦１０２４×横７６８であり、読取面の解像度が、表示面の２倍の解像度である、縦２０４８×横１５３６となっている場合があり得る。このように、センサ内蔵液晶パネル３０１の表示面の解像度と読取面の解像度とが異なる場合、読み取り画像ＣＧを正しく抽出するために、読み取り領域ＲＡの表示面における位置を示す情報（座標）を、読取面における位置を示す情報（座標）に変換する必要がある。

下記で、上記変換の具体例について説明する。例えば、表示面の解像度が縦１０２４×横７６８であって、かつ、表示面における読み取り領域ＲＡが、座標（ｘ１ｄ、ｙ１ｄ）と座標（ｘ２ｄ、ｙ２ｄ）で囲まれる矩形領域であるとする。また、読取面の解像度が縦２０４８×横１５３６であって、かつ、読取面の全体にて読み取った画像における読み取り領域ＲＡに相当する領域が、座標（ｘ１ｓ、ｙ１ｓ）と座標（ｘ２ｓ、ｙ２ｓ）で囲まれる矩形領域であるとする。

この場合、座標（ｘ１ｓ、ｙ１ｓ）および座標（ｘ２ｓ、ｙ２ｓ）は、下式のように、座標（ｘ１ｄ、ｙ１ｄ）および座標（ｘ２ｄ、ｙ２ｄ）から変換することによって求めることができる。

（ｘ１ｓ、ｙ１ｓ）＝（ｘ１ｄ×２、ｙ１ｄ×２）
（ｘ２ｓ、ｙ２ｓ）＝（ｘ２ｄ×２＋１、ｙ２ｄ×２＋１）
なお、上記の変換処理は、読み取り用ＡＰＩが行なう構成であってもよいし、読み取り用ドライバが行なう構成であってもよい。

（各処理を実行する動作主体）
上述では、（１）ブラウザ処理部１１が実行するブラウザＷが、読み取り領域ＲＡのクライアント座標を取得し、（２）読み取りＡＰＩ処理部１４が実行する読み取り用ＡＰＩが、読み取り領域ＲＡのクライアント座標を、デスクトップ座標に変換し、（３）読み取りドライバ処理部１７が実行する読み取り用ドライバが、センサ内蔵液晶パネル３０１に、対象物の読み取りを行なわせるためにコマンドを生成する構成としたが、各処理を実行する動作主体は、これに限定されるものではない。

例えば、クライアント座標をデスクトップ座標に変換する動作主体が、ブラウザＷであってもよいし、読み取り用ドライバであってもよい。ただし、アプリケーションプログラムの開発を簡便にするためには、座標の変換処理は、下層に位置する読み取り用ＡＰＩまたは読み取り用ドライバが行なう方が望ましい。

また、上述では、（４）読み取りドライバ処理部１７が実行する読み取り用ドライバが、全体画像から読み取り画像ＣＧを抽出するとともに、読み取り画像記憶部２４に格納し、（５）ブラウザ処理部１１が実行するブラウザＷが、読み取り画像記憶部２４から読み取り画像ＣＧを読み出す構成としたが、各処理を実行する動作主体は、これに限定されるものではない。

例えば、全体画像から読み取り画像ＣＧを抽出する動作主体が、読み取り用ＡＰＩまたはブラウザＷであってもよい。

また、上述では、主制御部８００が、ブラウザ処理部１１、ＡＰＩ処理部１２、およびドライバ処理部１５の３層から成る構成としたが、これに限定されるものではない。例えば、ＡＰＩ処理部１２およびドライバ処理部１５を１つの部材として、全体として２層から成る構成としてもよいし、ブラウザ処理部１１、ＡＰＩ処理部１２、およびドライバ処理部１５を１つの部材として、全体として１層から成る構成としてもよい。

（読み取りページＣＰの記述のバリエーション）
上述では、ｓｃａｎタグＳＴを記述可能なＨＴＭＬを用いて、読み取りページＣＰのソースＨを記述した。この場合、ＨＴＭＬの標準規格を拡張する必要があるとともに、ブラウザＷを、当該拡張したＨＴＭＬに対応できるように機能拡張する必要があるものの、ユーザは、当該機能拡張したブラウザＷをデータ表示／センサ装置１００にインストールするだけで、上記システム１１００を利用することが可能となる点で有効である。

さらに、ｓｃａｎタグＳＴをソースＨに記述するだけでよいため、読み取りページＣＰの提供者がソースＨを容易に記述することができる点でも有効である。

また、読み取りページＣＰは、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔなどのスクリプト言語を用いて記述してもよい。この場合も、スクリプト言語の仕様を拡張する必要があるとともに、ブラウザＷを、当該拡張したスクリプト言語を解釈できるように機能拡張する必要があるものの、ユーザは、当該機能拡張したブラウザＷをデータ表示／センサ装置１００にインストールするだけで、上記システム１１００を利用することが可能となる点で有効である。

さらに、読み取りページＣＰの提供者は、上記拡張したスクリプト言語によりスクリプトを記述する必要があるものの、ダイナミックなＷｅｂページを作成することが可能である点で有効である。

また、読み取りページＣＰは、表示および読み取り指示を行なうプラグインにより実現してもよい。この場合、上述したような、ＨＴＭＬの標準規格やスクリプト言語の仕様を拡張する必要はなく、また、ブラウザＷを機能拡張する必要もない点で有効である。

ただし、ユーザは、上記プラグインをインストールする必要がある。また、読み取りページＣＰの提供者は、実行時に上記プラグインを呼び出すような、読み取りページＣＰを作成する必要がある。

（読み取り領域の全体が視認可能に表示されていないときの対応）
ユーザにより、ブラウザＷのスクロールバーが操作されたり、ブラウザＷのサイズが縮小されていることによって、クライアント領域ＣＡの全範囲が表示されていないことが生じる。このような場合、読み取り領域ＲＡの全範囲を表示するようにユーザに促すことが望ましい。

ユーザに提示するメッセージの一例について、図１７を参照しながら説明する。図１７は、読み取り領域ＲＡの全体が視認可能に表示されていないときに提示するメッセージの一例を示す模式図である。図１７の例では、メッセージＭＳを表示し、読み取り領域ＲＡの全体を表示するようにユーザに促すようにしている。

（外部サーバからの応答）
上述では、外部サーバ１０００が、読み取り画像ＣＧを受信したことに対する応答をデータ表示／センサ装置１００に送信する構成とはしながったが、上記応答を、データ表示／センサ装置１００に送信するとともに、データ表示／センサ装置１００にて、上記応答の内容を表示する構成としてもよい。これにより、データ表示／センサ装置１００のユーザは、外部サーバ１０００にて処理が完了したこと、および、ユーザが期待した処理が実行されたか否かを確認することができる。

なお、上記応答の内容は、例えば、外部サーバ１０００が読み取り画像ＣＧを受信した旨を含むメッセージであってもよいし、外部サーバ１０００が受信した読み取り画像ＣＧを表示する画面であってもよいし、文字認識アプリケーションが認識した文字を表示する画面であってもよい。

（読取面の所定領域のみで読み取りを行なう形態）
上述では、センサ内蔵液晶パネル３０１が、常に、読取面の全体にて近傍の像を検知する構成について説明したが、読取面の所定領域のみにて近傍の像を検知する（つまり、部分的な領域のみで読み取りを実行する）構成としてもよい。

この場合、主制御部８００から、データ処理部７００に対して、センサ内蔵液晶パネル３０１の読取面の所定領域を指定する情報を含めたコマンドを送信し、さらに、データ処理部７００が当該コマンドに基づいて回路制御部６００を制御し、さらに、回路制御部６００が、当該制御に応じて、表示／光センサ部３００に対して信号を送信するようにすればよい。また、主制御部８００は、データ処理部７００に対して送信した上記コマンドに対する応答として、データ処理部７００から、読取面の所定領域にて読み取った画像データを取得する。

なお、なお、上記所定領域が、読み取り領域ＲＡが読み取られる領域である場合、データ処理部７００から取得した画像そのものが、読み取り画像ＣＧであるので、読み取り用ドライバでの抽出処理は不要となる。

（主制御部８００の制御対象）
また、上述では、データ表示／センサ装置１００の構成として、データ処理部７００や回路制御部６００を備える構成について説明したが、この構成に限定されるものではない。例えば、主制御部８００が回路制御部６００を直接制御し、主制御部８００が全体画像データ／部分画像データ／座標データを生成するような構成であってもよい。また、主制御部８００が表示／光センサ部３００を直接制御するような構成であってもよい。

〔付記事項〕
最後に、データ表示／センサ装置１００の主制御部８００、データ処理部７００、回路制御部６００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、データ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、データ表示／センサ装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、画像などの表示処理および対象物の読み取り処理を行なう装置に適用できる。特に、Ｗｅｂページをブラウザで表示することができるＰＣなどに好適に適用できる。

１１ ブラウザ処理部（ウィンドウ表示制御手段、ソースコード取得手段、画像送信手段）
１２ ＡＰＩ処理部（座標変換手段）
１３ 表示ＡＰＩ処理部
１４ 読み取りＡＰＩ処理部
１５ ドライバ処理部（画像取得手段、画像格納手段）
１６ 表示ドライバ処理部
１７ 読み取りドライバ処理部
２４ 読み取り画像記憶部（記憶部）
１００ データ表示／センサ装置（画像表示／像検知装置）
３００ 表示／光センサ部
３０１ センサ内蔵液晶パネル（面状部材）
７００ データ処理部
８００ 主制御部
１０００ 外部サーバ（第１外部装置、第２外部装置）
Ｃ 名刺（対象物）
Ｈ ソース（ソースコード）
Ｗ ブラウザ（ウィンドウ）
ＣＧ 読み取り画像
ＣＰ 読み取りページ（コンテンツ）
ＲＡ 載置領域

Claims (9)

1. 画像を表示するとともに、近傍の像を読み取る面状部材を備える画像表示／像検知装置であって、
   対象物を載置する載置領域を含むウィンドウを、上記面状部材に表示させるウィンドウ表示制御手段と、
   上記載置領域の上記ウィンドウにおける配置を示す第１領域情報を、上記載置領域の上記面状部材における配置を示す第２領域情報に変換する座標変換手段と、
   上記面状部材の、上記第２領域情報に基づいて特定される領域にて読み取られる近傍の像の画像である読み取り画像を取得する画像取得手段とを備え、
   上記第１領域情報は、上記ウィンドウに表示される、上記載置領域を含むコンテンツを規定するソースコードに含まれ、
   上記ウィンドウ表示制御手段は、上記ソースコードに従って、上記載置領域を含むコンテンツを上記ウィンドウに配置した状態で、上記ウィンドウを上記面状部材に表示させることを特徴とする画像表示／像検知装置。
2. 上記ソースコードを第１外部装置から取得するソースコード取得手段をさらに備えることを特徴とする請求項１に記載の画像表示／像検知装置。
3. 上記画像取得手段は、上記面状部材に、上記面状部材の全体にて近傍の像を読み取らせるとともに、当該読み取らせた像の画像のうち、上記第２領域情報にて特定される領域を抽出することによって、上記読み取り画像を取得することを特徴とする請求項１または２に記載の画像表示／像検知装置。
4. 上記画像取得手段は、上記面状部材に、上記第２領域情報にて特定される領域にて近傍の像を読み取らせた像の画像を、上記読み取り画像として取得することを特徴とする請求項１または２に記載の画像表示／像検知装置。
5. 上記画像取得手段が取得した上記読み取り画像を、自装置の記憶部に格納する画像格納手段をさらに備えることを特徴とする請求項１から４のいずれか１項に記載の画像表示／像検知装置。
6. 上記画像取得手段が取得した上記読み取り画像を、第２外部装置に送信する画像送信手段をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の画像表示／像検知装置。
7. 画像を表示するとともに、近傍の像を読み取る面状部材を備える画像表示／像検知装置の制御方法であって、
   対象物を載置する載置領域を含むウィンドウを、上記面状部材に表示させるウィンドウ表示制御ステップと、
   上記載置領域の上記ウィンドウにおける配置を示す第１領域情報を、上記載置領域の上記面状部材における配置を示す第２領域情報に変換する座標変換ステップと、
   上記面状部材の、上記第２領域情報に基づいて特定される領域にて読み取られる近傍の像の画像である読み取り画像を取得する画像取得ステップとを含み、
   上記第１領域情報は、上記ウィンドウに表示される、上記載置領域を含むコンテンツを規定するソースコードに含まれ、
   上記ウィンドウ表示制御ステップでは、上記ソースコードに従って、上記載置領域を含むコンテンツを上記ウィンドウに配置した状態で、上記ウィンドウを上記面状部材に表示させることを特徴とする画像表示／像検知装置の制御方法。
8. 請求項１から６のいずれか１項に記載の画像表示／像検知装置が備えるコンピュータを動作させる制御プログラムであって、上記コンピュータを上記の各手段として機能させるための制御プログラム。
9. 請求項８に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images