JP4060742B2

JP4060742B2 - Display device

Info

Publication number: JP4060742B2
Application number: JP2003092028A
Authority: JP
Inventors: 友信 ▲もたい▼
Original assignee: 東芝松下ディスプレイテクノロジー株式会社
Priority date: 2003-03-28
Filing date: 2003-03-28
Publication date: 2008-03-12
Anticipated expiration: 2023-03-28
Also published as: JP2004304289A

Description

【０００１】
【発明の属する技術分野】
本発明は表示装置、特にラインセンサを有する表示装置に関する。
【０００２】
【従来の技術】
近時、液晶表示装置は、多くの携帯型の装置に用いられている。すなわち、パーソナルコンピュータ、携帯型テレビ、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｃｅ）、ワードプロセッサ、等の携帯型の装置では、携帯性が重視され、薄型の表示装置が必要とされている。この薄型の表示装置としては、従来、液晶表示装置（ＬＣＤ）、プラズマディスプレイ、フラットＣＲＴ等が知られていた。この薄型の表示装置のうち、上記のような携帯型の装置では、バッテリー駆動する必要があるため、消費電力が少ないことが望ましい。この低消費電力の要求に対しては、液晶表示装置が適している。このため、液晶表示装置は、多くの携帯型の装置（携帯端末）で用いられている。
【０００３】
最近では、この液晶表示装置を有する携帯端末で、入力手段を合わせもつ端末の開発が進められている。このような入力手段を持つ携帯端末としては、入力手段としてのカメラと、携帯電話と、を組み合わせたカメラ付きの携帯電話がある。このカメラ付きの携帯電話は、カメラで撮影した画像を取り込む様にしたもので、液晶表示装置に表示し、送信できるようにしたものである。
【０００４】
また、紙面上の文字・画像情報等の取り込みや、個人認証のための情報入力手段（指紋など）として、エリアセンサやラインセンサの開発も進められている。このうち、エリアセンサは、光電変換素子をマトリクス状に配置したセンサであり、例えば、特開２００２−１７６１６２号公報や、特開平１１−２４１０５号公報の図７に示されている。このエリアセンサは、高精度で、被写体の形状を正確に読み取ることができるという長所がある。しかし、光電変換素子をマトリクス状に配置するため、携帯性や低消費電力の観点から不利であり、携帯端末に用いることには問題があった。
【０００５】
そこで、携帯性を重視した情報入力手段として、ラインセンサが注目されている。図９は、従来のラインセンサ付きの表示装置１０１を示す図である。表示装置１０１は、液晶表示装置からなる表示部１０２を有している。この表示部１０２の下側には、図中左右方向に走るラインセンサ１１０が設けられている。このラインセンサ１１０の下側には、ラインセンサからの検出情報を保持するバッファメモリと、線順次出力回路と、を有するデータ処理部１１５が設けられている。図９のラインセンサ１１０は、光電変換素子を線状に設けたセンサであり、被写体に対して相対的に手動で移動させながら情報を読み取る、走査型の情報入力装置である。このラインセンサ１１０は、線状に設けられているため、エリアセンサに比して、スペースが小さくてすみ、小型化できるため携帯性に富む。また、エリアセンサに比して少ない個数の光電変換素子で構成可能で、消費電力も低いものである。このようなラインセンサは、例えば、特開平１１−２４１０５号公報の図１に示されている。
【０００６】
【特許文献１】
特開２００２−１７６１６２号公報
【特許文献２】
特開平１１−２４１０５号公報
【０００７】
【発明が解決しようとする課題】
上記のようにラインセンサ付きの表示装置は、携帯性に優れている。しかし、ラインセンサ付きの表示装置は、被写体の形状を正確に読み取って収縮・伸張がない被写体の画像を得るには習熟性が求められる。すなわち、ラインセンサにおいては、被写体を手動で移動するかまたは被写体に対して手動で移動されるため、移動速度に差が生じる。例えば移動速度が速くなりすぎた場合、ラインセンサは飛び飛びにしか情報を得られなくなり、得られた画像は収縮する。また、移動速度が遅くなりすぎた場合、ラインセンサは同じ場所から多数の情報を得ることになり、画像は伸張する。このように、ラインセンサでは、被写体の形状を正確に読み取って収縮・伸張がない被写体の画像を得ることには、困難性がある。
【０００８】
本発明は上記問題点を鑑みてなされたもので、その目的は、被写体の形状を読み取って可及的に収縮・伸張がない被写体の画像を得ることができ、携帯性に優れたラインセンサ付きの表示装置を提供することである。
【０００９】
【課題を解決するための手段】
本発明の表示装置は、映像表示部とラインセンサとを備え、被写体を画像データとして前記ラインセンサにより読み取り、読み取った前記画像データに基づいて前記被写体を画像として前記映像表示部に表示する表示装置であって、第１方向に沿って配置され、前記被写体の前記第１方向とほぼ垂直な第２方向への相対的な第１の移動により、前記被写体を第１画像データとして得る第１のラインセンサと、前記第２方向に沿って配置され、前記被写体の前記第１方向への相対的な第２の移動により、前記被写体を第２画像データとして得る第２のラインセンサと、前記第２画像データを前記第１画像データと比較して、前記第２の移動に伴う前記第２画像データにおける前記第１方向への収縮・伸張量を補正する演算回路と、を備えることを特徴とする。
【００１０】
また、本発明の表示装置は、映像表示部と、前記映像表示部の外側位置にそれぞれ第１方向に走り且つ互いにほぼ平行に配置された複数のラインセンサであって、これらの複数のラインセンサのそれぞれに対して被写体を前記第１方向と垂直な第２方向に相対的に移動させることにより、前記ラインセンサのそれぞれが前記被写体を前記表示部に表示するための画像情報信号として読み取る、複数のラインセンサと、前記複数のラインセンサのそれぞれで読み取った複数の前記画像情報信号を用いて前記移動の速度を算出する情報処理部と、を備え、前記複数のラインセンサのそれぞれに、時間間隔ｘのパルス信号に同期して被写体から画像情報信号を読み取らせ、前記被写体における同一箇所から得られる同一の画像情報信号を、ｎ番目の前記パルス信号によって読み取ったラインセンサと、ｍ（ｍ＞ｎ）番目の前記パルス信号によって読み取った他のラインセンサとの距離ｄから、前記移動の速度ｄ／｛ｘ（ｍ−ｎ）｝を算出し、この移動の速度をもとに、前記移動に伴う前記画像情報信号の前記第２方向への収縮・伸張量の補正を行うものとして、前記情報処理部が構成されていることを特徴とする。
【００１１】
また、本発明の表示装置は、液晶表示装置とラインセンサとを備え、前記液晶表示装置は、マトリクス状に並べられ、それぞれがゲート電極、ソース電極、およびドレイン電極を有し、ドレイン電極にメモリ素子および表示電極が電気的に接続された、複数のトランジスタと、前記マトリクスにおける行方向に平行な複数のゲート電極線と、前記マトリクスにおける列方向に平行な複数のソース電極線と、を有し、各前記ゲート電極線はそれが対応する各行に並ぶ複数の前記トランジスタのそれぞれにおける前記ゲート電極と電気的に接続され、各前記ソース電極線はそれが対応する各列に並ぶ複数の前記トランジスタのそれぞれの前記ソース電極と電気的に接続されており、前記ラインセンサは、前記行方向に並べられ、被写体を所定の時間間隔で読み取ってそれぞれセンサ信号を出力する、複数のセンサ素子を有し、各前記センサ素子は対応する各前記ソース電極線と電気的に接続され、これにより、各前記メモリ素子に対応する各前記センサ素子からの各前記センサ信号を前記各メモリ素子に記憶可能としたことを特徴とする。
【００１２】
【発明の実施の形態】
以下、図面を参照にしつつ、本発明の第１〜第５の実施の形態の表示装置について説明する。これらの実施形態の表示装置は、映像表示部（表示部）と、ラインセンサと、を有する携帯型の表示装置である。この表示装置は、例えば、ＰＤＡ、携帯電話、小型テレビ、等として用いられる。この各実施の形態の表示装置は、２つのモードが選択可能になっている。映像表示モード時には、表示部は、通常の表示装置と同様に、ＰＤＡであればコンピュータ情報を、携帯電話であれば電話番号や時刻等を、小型テレビであればテレビ映像を、表示可能である。また、センサモード（ハンドスキャンモード）時には、表示部は、ラインセンサで読み取った被写体の情報に基づいてこの被写体を画像として表示可能である。本実施形態では、このようなラインセンサを有する携帯型の表示装置において、収縮・伸張が少ない被写体の画像が得られ、また、携帯性が高められた装置について説明する。以下では、５つの実施の形態について説明する。
【００１３】
（第１の実施の形態）
第１の実施の形態の表示装置は、映像表示部に液晶表示装置を用いたＰＤＡ（個人用デジタル補助装置）を示し、例えば、持ち運びができる小型コンピュータなどがある。
【００１４】
図１は、本発明の第１の実施の形態の表示装置１を示す図である。図１の装置は、映像表示モードと、センサモードと、の２つのモードが選択できるように構成されている。この装置は、４．５インチ（約１１．２５ｃｍ）×４．５インチの映像表示部２と、図中左右方向（第１方向）に沿って配置された長さ９ｃｍの左右方向ラインセンサ（第１のランセンサ）１０と、上下方向（第２方向）に沿って配置された長さ９ｃｍの上下方向ラインセンサ（第２のラインセンサ）２０と、を備える。このＰＤＡは、映像表示モードにおいては、通常のＰＤＡと同様の動作を行う。センサモードにおいては、例えば、横の長さ９ｃｍ、縦の長さ９ｃｍの写真を表示部２の表面に置き、この写真を上下方向に、その後左右方向にそれぞれ手で動かして、ラインセンサ１０、２０により写真から画像情報信号を２回読み取り、読み取った２回の画像情報信号をもとに映像表示部２に表示するものとして構成されている。
【００１５】
図１の装置の表示部（映像表示部）２は、（４５０×４５０）個の画素からなる液晶表示装置である。１つの画素の大きさは、２５０μｍ×２５０μｍである。この装置は上述のように２つの表示モードを有し、そのうちの通常表示モード（映像表示モード）において、表示部２には、コンピュータ情報が表示される。この表示部２の外周部の下側には、上記左右方向ラインセンサ１０が設けられている。この左右方向ラインセンサ１０は、３６０個のセンサ素子で構成されている。３６０個のうち、１／３ずつが、ＲＧＢのうちの１つの色を検出するものとして割り当てられている。つまり、隣り合って並んでいる３個のセンサ素子が１つの組となり、ＲＧＢの色について検出する。このセンサ素子は、光センサまたは容量センサを用いることができる。それぞれのセンサ素子の大きさは、例えば２５０μｍ×２５０μｍである。この左右方向ラインセンサ１０の下側には左右方向データ処理部１５が形成されている。この左右方向データ処理部１５は、バッファメモリと、線順次出力回路と、を有している。この左右方向データ処理部１５の下側には、左右方向移動位置表示部１９が設けられている。この左右方向移動位置表示部１９は、多数の発光素子からなり、１ｃｍ間隔に所定の発光素子が点灯される。つまり、１ｃｍ間隔に点状の光が表示されている。この点状の光は、センサモードを選択することにより点灯し、その後左右方向スキャンボタン（図示しない）を押すことにより視覚的に５ｃｍ／秒で左から右に移動するものとして把握される。この点状の光の移動速度は、左右方向スキャンの際のスキャン速度の目安を示すものである。つまり、左右方向スキャンの際には、作業者は、この点の動きに合わせて、写真を左から右に動かせばよい。同様に、表示部２の外周部の右側には、上記左右方向ラインセンサ１０、上下方向データ処理部２５、上下方向移動位置表示部２９が設けられている。上下方向移動位置表示部１９には、１ｃｍ間隔で点状の光が表示されている。この点状の光は、センサモードを選択することにより点灯し、その後上下方向スキャンボタン（図示しない）を押すと５ｃｍ／秒で上から下に移動するものとして把握される。上下方向スキャンの際には、作業者は、この点の動きに合わせて、写真を上から下に動かせばよい。
【００１６】
上記の、ラインセンサ１０、２０は、センサモード時に、所定の被写体、例えば写真を読み取るものである。具体的には、例えば、９ｃｍ×９ｃｍの写真を準備し、写真の画像面を表示面２とを対向させて、写真を上下方向および左右方向の一方にその後他方に手動で移動させて、写真を読み取る。左右方向ラインセンサ１０は、この被写体の上下方向への相対的な第１の移動により、この被写体から第１画像情報信号を読み取り、第１画像データを得る。また、上下方向ラインセンサ２０は、この被写体の左右方向への相対的な第２の移動により、この被写体を第２画像情報信号を読み取り、第２画像データを得る。この被写体の移動の推奨移動速度は例えば５ｃｍ／秒であり、装置の操作者は、左右方向移動位置表示部１９および上下方向移動位置表示部２９の点の位置に合わせて、この推奨移動速度に近い速度になるように写真を左右に又は上下に動かす。もちろん、表示装置の方を動かして読み取りを行うこともできる。ラインセンサ１０、２０によって読み取られた２つの画像情報信号は、それぞれ、データ処理部１５、２５のバッファメモリに保存される。バッファメモリにそれぞれ保存された画像情報信号は、データ処理部１５、２５の線順次出力回路により、順次、ＣＰＵメモリ（図示しない）に送られる。このＣＰＵメモリに送られた画像情報信号から、２つの画像データが得られる。この２つの画像データは、後述するように演算処理回路（図示せず）によって処理される。この演算処理回路により得られた画像が、表示部２に送られてそこに表示される。
【００１７】
このように、図１の表示装置は、映像表示部１と、ラインセンサ１０、２０とを備え、被写体を画像データとしてラインセンサ１０、２０により読み取り、読み取った画像データに基づいて被写体を画像として映像表示部１に表示する表示装置である。
【００１８】
図１の装置の特徴の１つは、ラインセンサ１０、２０を、左右方向と上下方向との２方向に垂直に配置している点である。このため、この装置では、上下方向のスキャンと、左右方向のスキャンと、の２方向スキャンを行うことができる。このように被写体を２方向スキャンし、これにより得られた２種類の画像データを演算処理することで、小面積のラインセンサを用いつつも、大面積のエリアセンサとほぼ等しい高い精度で被写体の画像を表示することができるようにしている。
【００１９】
次に、上記演算処理回路について説明する。この処理回路は、簡単には、左右方向ラインセンサ１０と上下方向ラインセンサ２０からの第１画像データと第２画像データとを比較して収縮・伸張量の少ない画像データを作成し、これに基づいて被写体の画像を表示部２に表示させるものである。
【００２０】
以下には、演算処理回路を説明するに当り、２つのラインセンサ１０、２０からどのような操作によって２つのセンサ信号を得るのかを説明し、その後に、この演算処理回路の回路動作について説明する。以下では、横９ｃｍ、縦９ｃｍの写真を被写体として読み取る場合について説明する。
【００２１】
（１）まず、映像表示モードからセンサモードに切り替え、さらにこのセンサモードにおいて２方向スキャンモードを選択する。このとき、表示装置１は、表示部２が上向きになるようにセットされている。センサモードに切り替えた際には、移動位置表示部１９、２９に点状の光が点灯する。
【００２２】
（２）次に、読み取り対象としての写真をその画像面を下向きにして表示面２の上に重ねる。この際、写真の右下の端と、表示部２の右下の端と、が一致するように位置合わせする。この位置を基点とする。
【００２３】
（３）次に、上下方向スキャンボタン（図示しない）を押す。このボタンを押すと、上下方向移動位置表示部２９に表示された目安の点が５ｃｍ／秒の速度で上から下に移動し始める。作業者は、この目安の点の動きに合わせ、写真を上から下に移動させる。これが上下方向のスキャンである。このスキャンの間、左右方向ラインセンサ１０のセンサ素子は、０．００５秒毎に対象とする写真を読み取ってセンサ信号を出力する。この上下方向のスキャンは、本来は１．８秒で終了しデータ数は３６０行となることを想定しているが、マージンを見て２．２５秒間行いデータ数を４５０行とする。上下方向スキャンボタンを押してから２．２５秒経過すると、上下方向のスキャンが終了する。上記のセンサ信号は、第１画像情報信号として、ＣＰＵメモリに入力される。この第１画像情報信号は、左右方向（第１方向）に３６０個、上下方向（第２方向）に４５０個、マトリクス状に並んだデータである。ここで、この第１画像情報信号は、上下方向スキャンで得られるデータなので、左右へのぶれを無視すれば、実質的に左右方向への収縮・伸張量のないデータである。ただし、手動によるものであるため、２．２５秒間の移動速度が一様とはなりにくく、よって上下方向への収縮・伸張量を含んだ画像データとなるのが避けられない。
【００２４】
（４）次に、写真を基点に戻す。
【００２５】
（５）次に、左右方向スキャンボタン（図示しない）を押す。このボタンを押すと、左右方向移動位置表示部１９に表示された目安の点が５ｃｍ／秒の速度で左から右に移動し始める。作業者は、この目安の点の動きに合わせ、写真を左から右に移動させる。これが左右方向のスキャンである。このスキャンの間、上下方向ラインセンサ２０のセンサ素子は、０．００５秒毎に対象とする写真を読み取ってセンサ信号を出力する。この左右方向のスキャンは、本来は１．８秒で終了しデータ数は３６０列となることを想定しているが、マージンを見て２．２５秒間行いデータ数を４５０列とする。左右方向スキャンボタンを押してから２．２５秒経過すると、左右方向のスキャンが終了する。上記のセンサ信号は、第２画像情報信号として、ＣＰＵメモリに入力される。この第２画像情報信号は、左右方向に４５０個、上下方向に３６０個、マトリクス状に並べられたデータである。ここで、この第２画像情報信号は、左右方向スキャンで得られるデータなので、上下方向へのぶれを無視すれば、実質的に上下方向への収縮・伸張量のないデータである。ただし、手動によるものであるため、２．２５秒間の移動速度が一様とはなりにくく、よって左右方向への収縮・伸張量を含んだ画像データとなるのが避けられない。
【００２６】
（６）この様にして得られた第１画像情報信号および第２画像情報信号は、前記演算処理回路に加えられる（Ｓ１、Ｓ２）。この演算処理回路は次の様に動作するものとして構成されている。即ち、第１画像情報信号および第２画像信号から、画像の明暗等を基にして、被写体が写されている領域としての第１画像データおよび第２画像データのデータサイズを決定する（Ｓ３）。例えば、上下方向スキャン（第２の移動）の際の写真の移動速度が予め想定した速度よりも速かった場合には、画像に対応するデータ行は、例えば３００行となる。この場合、上下方向スキャンで得られる第１画像情報信号のうち、（左右方向に３６０個）×（上下方向に３００個）のマトリクス状に並べられた領域を、被写体が写された第１画像データであると決定する。また、左右方向スキャン（第２の移動）の際の写真の移動速度が上記想定した速度よりも遅かったと仮定すると、左右方向スキャンで得られる第２画像情報信号のうち、例えば（左右方向に４２０個）×（上下方向に３６０個）のマトリクス状に並べられた領域を、被写体が写された第２画像データであると決定する。
【００２７】
（７）上記の第１画像データは、別の見方をすると、上下方向（第２方向）に連なる３００個のデータを１つの第１データ列として、左右方向に並んだ３６０列の第１データ列からなる。また、上記の第２画像データは、上下方向に連なる３６０個のデータを１つの第２データ列として、左右方向に並んだ４２０列の第２データ列からなる。ここでは、各データ列を列ブロックデータと呼ぶこととする。このような見方をすることは、列ブロックデータの切り出しを行ったものと把握することができる（Ｓ４）。
【００２８】
（８）次に、演算回路により、３６０列の第１データ列と４２０列の第２データ列とから一致する第１、第２データ列を検索する。この検索では、例えば、第１及び第２データの各列ブロックデータにおいて、予め、Ｒ（赤色）成分の積算強度、Ｇ（緑色）成分の積算強度およびＢ（青色）成分の積算強度、を求めておく。そして、第１データ列および第２データ列の各列ブロックデータにおいて互いにＲＧＢの積算強度が一致又は極めて近い値となったときに一致と判断する。
【００２９】
前述のように、上記の左右方向スキャン（第２の移動）から得られる第２データ列では左右方向の収縮・伸張量が多いのに対し、上下方向スキャン（第１の移動）から得られる第１データ列では左右方向の収縮・伸張量は少ない。そこで、上記の検索により、第２データ列の左右方向の収縮・伸張量を補正する。ただし、この検索では、例えば、第２データが第１データの２倍よりも大きく収縮・伸張することはないとして、その範囲で照合を行う。
【００３０】
具体的には、まず、第２画像データの１列目の第２データ列を基準として第１画像データの各第１データ列を見ていく。１列目の第２データ列は、通常、１列目の第１データ列と一致する。次に、２列目の第２データ列を基準にして、２〜４列目の第１データ列と比較する。一致するものがないときには、３列目の第２データ列を基準にして、２〜６列目の第２データ列と比較する。ここでも一致するものがなければ、３列目の第２データ列を基準にして、２〜６列目の第１データ列と比較する。これを順次繰り返し、例えば、４０列目の第２データ列と、３６列目の第１データ列と、が一致したとする。この時には、１〜４０列目の第２データ列の間隔を３６／４０に圧縮する（Ｓ４〜Ｓ５）。つまり、４０列の検索済第２データ列の相互の間隔を、対応する３６列の検索済第１データ列の間隔に一致させる補正をして、左右方向の移動（第２の移動）に伴う第２画像データにおける左右方向（第１方向）への伸張量を補正する。次に、４１列目の第２データ列を基準として、３７列目以降の第１データ列について一致する列ブロックデータを検索する（Ｓ６）。以下は、同様の動作を繰り返し（Ｓ５〜Ｓ７）、列ブロックデータの切り出しがすべて終了するまで演算処理を行う（Ｓ７）。
【００３１】
（９）次に、列ブロックデータの処理により第２画像データの左右方向の収縮・伸張の補正が終了したら、同様に、行ブロックデータの処理により第１画像データの上下方向の収縮・伸張の補正を行う。なお、行ブロックデータの処理を省略することもできる。処理した情報は、ＣＰＵメモリに保存される（Ｓ８）。
【００３２】
以上の処理で得られた画像データは、ＣＰＵメモリから読み出して、表示部２に表示することができる。また、この画像データを、他の携帯端末等に送信することもできる。
【００３３】
以上説明した図１の表示装置１では、走査入力するラインセンサ１０、２０を、左右方向のものと、上下方向のものと、の２組を配置し、２方向へのスキャンで読み取りを行うことができるようにした。そして、１方向への画像データを他方向への画像データで補正するようにしたので、手動で被写体を移動させることによる移動速度のばらつきに起因するデータの誤差を高い精度で補正し、被写体の画像を高精度のものとすることができる。よって、収縮・伸張が少ない画像を表示部２に表示することができる。
【００３４】
また、図１の表示装置では、２回のスキャンが必要になるものの、１回のスキャンにかかる時間は約２．２５秒であり、実際の使用においては必ずしもスキャン時間が長くなりすぎたりスキャンが煩雑になりすぎたりするということはない。
【００３５】
このように、図１の表示装置では、被写体を読み取るセンサとしてラインセンサ１０、２０を用いつつも、エリアセンサを用いたのと同様に被写体の画像を適正に表示することができる。このため、被写体の画像を適正に表示しつつ、エリアセンサを用いたものに比して、センサの面積を小さくし、携帯性を高めることができる。
【００３６】
以上説明した図１の表示装置１では、左右方向ラインセンサ１０の長さを表示部２の横幅より狭くしたが、左右方向ラインセンサ１０の長さを表示部２の横幅と同じにすることもできる。また、上下方向ラインセンサ２０の長さを表示部２の縦幅よりも狭くしたが、上下方向ラインセンサ２０の長さを表示部２の縦幅と同じにすることもできる。
【００３７】
また、図１の表示装置１におけるデータ処理においては、説明を分かり易くするため、収縮・伸張の補正についてのみ説明した。しかし、さらにデータを細分化すれば、回転の補正を行うこともできる。
【００３８】
また、図１の表示装置のラインセンサ１０、２０は、表示装置を形成するプロセスの流れに沿ってその表示装置と同様に形成することが可能である。また、個別素子をＣＯＧ（チップ・オン・グラス）などの技術により実装することも可能である。
【００３９】
また、図１では、表示装置としてＰＤＡを用いたが、表示装置として携帯電話や携帯型テレビを用いることも可能である。
【００４０】
また、図１では、表示装置１に対して写真を手で動かしたが、写真に対して表示装置１を手で動かすことも可能である。
【００４１】
（第２の実施の形態）
第２の実施の形態の表示装置は、携帯電話である。この携帯電話では、図３、図４に示すように、左右方向ラインセンサ１０〜１４を上下に５つ並べている。この装置では、各ラインセンサ１０〜１４からの画像情報信号を比較することで、上下方向への移動の速度を検出することができる。そして、この移動の速度をもとに、上下方向への収縮量・伸張量が補正された画像データを得て、被写体の画像を適正に表示部２に表示することができる。
【００４２】
図３は、本発明の第２の実施の形態の表示装置の表面図である。また、図４は、この表示装置の断面図である。これらの図は、携帯電話のうち、表示部分を示しており、操作ボタンの部分は省略している。表示部２は、４．５ｃｍ（横）×５．１ｃｍ（縦）であり、１８０（横）個×２０４（縦）の画素からなる液晶表示装置である。この表示部２は、アレイ基板３０上に形成され、ランプ４１により発生されたフロントライト４０からの表示光を用いて表示を行う。表示部２の外側位置には、それぞれ左右方向（第１方向）に走り且つ互いにほぼ平行に配置された５本のラインセンサ１０〜１４が形成されている。各ラインセンサ１０〜１４は、左右方向の長さが４．５ｃｍ、上下方向の長さが２５０μｍ、である。これらの各ラインセンサ１０〜１４は、横に並べられた１８０個のセンサ素子で構成されている。それぞれのセンサ素子の大きさは、２５０μｍ×２５０μｍである。この各ラインセンサ１０〜１４は、被写体を上下方向（第２方向）に相対的に移動させることにより、この被写体を画像情報信号として読み取る。この５本のランセンサ１０〜１４は、上下方向のスキャンの際に、間隔０．０１秒のパルス信号に同期して被写体から画像情報信号を読み取る。この各ラインセンサ１０〜１４は、データ処理部１５内に、１組が１８０個のメモリ素子からなる４組のラインメモリを有している。各ラインセンサ１０〜１４の各センサ素子が読み取ったセンサ信号は、この４組のラインメモリの各メモリ素子に順次保存される。
【００４３】
図３、図４の携帯電話では、通常表示モード時には、通常の携帯電話と同様に、表示部２に、電話番号や通話時間等が表示される。これに対し、センサモード（ハンドスキャンモード）時には、ラインセンサ１０〜１４で被写体から画像情報信号を読み取って、これにより得られた画像データを基に、被写体の画像を表示部２に表示する。具体的には、例えば、表面を上にして被写体たる写真を机の上に置き、携帯電話の表示部２を下向きにして、携帯電話を手で上下に動かし、ラインセンサ１０〜１４で写真から画像情報信号を読み取って、この画像を表示部２に表示する。ここで、携帯電話を動かす際には、なるべく、推奨移動速度（５．０ｃｍ／秒）に近い速度になるようにする。この推奨移動速度でスキャンを行えば、ラインセンサ１０〜１４は、各サンプリング間隔毎に、ラインセンサ１０〜１４の２本分の距離（５００μｍ）だけ移動する。
【００４４】
以上説明した図３、図４の携帯電話では、ラインセンサ１０〜１４を設けたので、被写体をスキャンすることにより、被写体の情報を取り込むことができる。もっとも、スキャンは手動で行うため、推奨移動速度で正確にスキャンを行うことは極めて困難である。そして、スキャンが推奨移動速度からずれると、読み取った画像情報信号がスキャン方向である上下方向に収縮・伸張するおそれがある。そこで、図３、図４の装置は、ラインセンサ１０〜１４を５本設け、移動速度がずれても、この収縮・伸張を補正することができるようにしている。以下、説明する。
【００４５】
図３、図４の装置では、５つのラインセンサ１０〜１４を設けているので、上下方向のスキャンの移動の速度が求められる。この移動の速度は、次のようにして算出される。まず、各ラインセンサ１０〜１４が、被写体の１回目のサンプリングを行う。各ラインセンサ１０〜１４において、このサンプリングにより得られた画像情報信号は、データ処理部１５内の第１のラインメモリに保持される。このラインメモリからは、積算強度が算出される。次に、０．０１秒後に、各ラインセンサ１０〜１４が、２回目のサンプリングを行う。このサンプリングにより得られた画像情報信号は、データ処理部１５内の第２のラインメモリに保持され、その積算強度が算出される。３回目、４回目のサンプリングにより得られた画像情報信号は、第３、第４のラインメモリに保持され、それぞれ積算強度が算出される。５回目のサンプリングにより得られた画像情報信号は、第１のラインメモリに上書き保存され、積算強度が算出される。６〜９回目のサンプリングにより得られた画像情報信号は、第２〜４のラインメモリに上書き保存され、積算強度が算出される。これを順次繰り返す。この間に、順次、各サンプリングにおける各ラインメモリの積算強度を比較する。例えば、１回目のサンプリングにおける第１のラインセンサ１０の第１のラインメモリの積算強度と、２回目のサンプリングにおける第３のラインセンサ１２の第２のラインメモリの積算強度と、が一致すれば０．０１秒に被写体がラインセンサ２本分（５００μｍ）移動したと判断する。つまり被写体における同一箇所から得られる同一の画像情報信号を、１番目のパルス信号によって読み取った第１のラインセンサ１０と、２番目のパルス信号によって読み取った第３のラインセンサ１２との距離５００μｍから、移動の速度５００／｛０．０１・（２−１）｝＝５００００μｍ／ｓ＝５．０ｃｍ／ｓを算出する。また、１回目のサンプリングにおける第１のラインセンサ１０の第１のラインメモリの積算強度と、２回目のサンプリングにおける第５のラインセンサ１４の第２のラインメモリの積算強度と、が一致すれば０．０１秒に被写体がラインセンサ４本分（１０００μｍ）移動したと判断する。これにより、被写体の移動速度は１０ｃｍ／ｓと算出される。また、１回目のサンプリングにおける第１のラインセンサ１０の第１のラインメモリの積算強度と、３回目のサンプリングにおける第４のラインセンサ１３の第３のラインメモリの積算強度と、が一致すれば０．０２秒に被写体が７５０μｍ移動したと判断する。これにより、被写体の移動速度は３．７５ｃｍ／ｓと求められる。また、１回目のサンプリングにおける第１のラインセンサ１０の第１のラインメモリの積算強度と、２回目のサンプリングにおける第２のラインセンサ１３の第３のラインメモリの積算強度と、が一致すれば０．０１秒に被写体が２５０μｍ移動したと判断する。これにより、被写体の移動速度は２．５０ｃｍ／ｓと求められる。このように、被写体における同一箇所から得られる同一の画像情報信号を、ｎ番目のパルス信号によって読み取ったラインセンサと、ｍ（ｍ＞ｎ）番目の前記パルス信号によって読み取った他のラインセンサと、の距離ｄから、移動の速度ｄ／｛ｘ（ｍ−ｎ）｝を算出する。
【００４６】
上記の説明では、各ラインメモリにおいて、１８０個のメモリ素子の積算強度を求め、その積算強度を第１〜第５のラインセンサ１０〜１４で比較する場合を説明している。もっとも、１つのラインメモリのすべてのメモリ素子の積算値を求めると、処理時間が長くなるという問題がある。また、すべてのメモリ素子の積算強度を求めてから比較を行うと、検出性能（隣接データの一致判断の精度）に問題が残る。そこで、ラインメモリを分割化し、分割化したラインメモリ毎に積算強度の計算を実施し、これを相互に比較して、一致性については多数決回路により判定する方法が好ましい。例えば、各ラインセンサを１０個のメモリ素子毎に１８区間に分割化し、各区間毎に積算強度の計算を実施し、この各区間毎に第１〜第４のラインメモリを比較して、一致性については１８区間中１０区間以上の一致により一致性ありと判断する。
【００４７】
上記のようにして検出された移動速度をもとに、図３、図４の表示装置では、情報処理部１５により、画像情報信号の読み出し速度の調整が行わる。すなわち、移動速度が標準の場合（５．０ｃｍ／秒）には、１回のサンプリング間隔（０．０１秒）でラインセンサ２本分（５００μｍ）だけ移動が起こる。このように移動速度が標準の場合には、１回のサンプリングで、第１のラインセンサ１０および第２のラインセンサ１１の２本のラインセンサのラインメモリから画像情報信号を読み出し、ＣＰＵメモリに送る。次に、移動速度が標準の１．５倍（７．５ｃｍ／秒）になり１スキャンの間（０．０１秒）でラインセンサ３本分（７５０μｍ）だけ移動するときは、１回のサンプリングで第１〜３のラインセンサ１０〜１２の３本のラインセンサのラインメモリから画像情報信号を読み出し、ＣＰＵメモリに送る。さらに、移動速度が標準の２倍（１０．０ｃｍ／秒）になり１スキャンの間（０．０１秒）でラインセンサ４本分（１０００μｍ）だけ移動するときは、１回のサンプリングで第１〜４のラインセンサ１０〜１３の４本のラインセンサのラインメモリから画像情報信号を読み出し、ＣＰＵメモリに送る。一方、移動速度が標準の３／４倍（３．７５ｃｍ／秒）になり２スキャンの間（０．０２秒）でラインセンサ３本分（７５０μｍ）だけ移動するときは、２回のサンプリングで第１〜３のラインセンサ１０〜１２の３本のラインセンサのラインメモリから画像情報信号を読み出し、ＣＰＵメモリに送る。さらに、移動速度が標準の１／２倍（２．５ｃｍ／秒）になり１スキャンの間（０．０１秒）でラインセンサ１本分（２５０μｍ）だけ移動するときは、１回のサンプリングで第１のラインセンサ１０のラインメモリからセンサ信号を読み出し、ＣＰＵメモリに送る。このように、移動速度が標準の場合には同時サンプリングしたデータのうち２ラインの画像情報信号をＣＰＵメモリに保存し、移動速度が標準よりも速い場合は多数ラインの画像情報信号をＣＰＵメモリに保存し、移動速度が標準よりも遅い場合は少数ラインの画像情報信号をＣＰＵメモリに保存する。つまり、各ラインセンサから読み出された信号の積算強度の変化により、同時サンプリングしたラインセンサの画像情報信号の保存量（ライン数）を決定する。そして、これにより、適切な画像データを得ることができる。
【００４８】
以上のように、図３、図４の装置では、移動速度が推奨移動速度からずれた場合でも、被写体から読み取った画像情報信号を適切に補正することができる。このため、ラインセンサ付きの携帯電話において、被写体の画像を正確に表示部２に再現することができる。
【００４９】
また、図３、図４の装置では、情報処理部１５により計算された上記の移動速度を、表示部２の上側のなどにモニタ出力として表示することもできる。さらに、この移動速度が速すぎたり遅すぎたりして適切な補正が困難な場合には、光や音声などにより、作業者に、移動速度エラーを知らせることができる。これにより、移動速度が推奨移動速度から大きくずれていれば、作業者は、直ちに走査をやり直すことができる。また、この場合、１回の走査を行う毎に表示部２に直ちに移動速度が表示されるので、作業者は、走査の直後にこの移動速度を確認して、推奨移動速度に近い速度で移動させることを習得することができる。
【００５０】
また、図３、図４の表示装置は、被写体を表示部２に等倍で表示するものである。このため、被写体の横の長さは４．５ｃｍ以内とする必要がある。もっとも、縦の長さは５．１ｃｍより長くても、１回のスキャンで読み取り、表示部２に表示することができる。例えば、横４．５ｃｍ、縦１０ｃｍの被写体を１回のスキャンで読み取り、２画面に分けて表示部２に表示することができる。つまり、表示部２が小型であるにもかかわらず、上下方向に長い被写体を１回のスキャンで読み取ることができる。
【００５１】
以上説明した図３、図４の表示装置では、上下方向のラインセンサ１０〜１４を５本にしたが、これを２本以上とすることもできる。また、ラインメモリの本数を変えることもできる。
【００５２】
また、図３、図４の表示装置では、１回のサンプリング間隔（０．０１秒）でラインセンサ２本分（２５０μｍ）だけ移動する場合について説明した。しかし、サンプリング間隔を短くし、より詳細に移動速度を計算し、さらに補正の精度を高めることも可能である。
【００５３】
また、図３、図４の表示装置は、複数の左右方向ラインセンサ１０〜１４を設けて縦方向スキャンを行ったが、複数の上下方向ラインセンサを設けて横方向スキャンを行っても、同様の効果が得られる。
【００５４】
また、図３、図４の表示装置では、被写体に対して表示装置を手で動かしたが、表示装置に対して被写体を手で動かすこともできる。
【００５５】
また、図３、図４の表示装置では、左右方向ラインセンサ１０〜１４に加え、第１の実施の形態（図１）のように、上下方向ラインセンサ２０も設けることもできる。また、上下方向ラインセンサ１０と左右方向ラインセンサ２０を設け、さらに、上下方向と左右方向のラインセンサを共に複数にして、さらに読み取り精度を高めることも可能である。
【００５６】
（第３の実施の形態）
第３の実施の形態の表示装置は、携帯電話（図４参照）において、図５に示すように、ラインセンサ１０〜１４と、表示部２と、をアレイ基板３０の反対面に配置した装置である。これにより、携帯電話において、表示部２を上向きにして、この表示部２を見ながら、被写体５０の情報をリアルタイムで確認しつつ、被写体５０の情報を読み込むことが可能となる。
【００５７】
図５は、本発明の第３の実施の形態の表示装置を示す断面図である。平面図は、第２の実施の形態（図３）とほぼ同様であり、省略する。図５の表示装置１では、アレイ基板３０の一方の面上に、表示部２と、第１〜第５のセンサ素子部１０Ａ〜１４Ａと、データ処理部１５と、が形成されている。表示部２は、ランプ４１により発生されたフロントライト４０からの表示光を用いて表示を行う。アレイ基板３０の反対側の面には、第１〜第５のラインセンサ１０〜１４が形成されている。
【００５８】
この図４の装置でも、センサモード（ハンドスキャンモード）と、通常表示モードと、が選択可能になっている。センサモード時には、スキャンボタンを押すことにより、ラインセンサ１０〜１４がオンになる。スキャンボタンを押すと、ラインセンサ１０〜１４は、ランプ４１からの光を被写体（読取り原稿）５０にあてながら、被写体５０を読み取る。そして、被写体５０から反射された光をセンサ素子部１０Ａ〜１４Ａに送る。センサ素子部１０Ａ〜１４Ａは、この光を画像情報信号に変える。そして、各ラインセンサ１０〜１４で得られた画像情報信号から、第２の実施の形態と同様に、移動速度を計算し、画像情報信号の補正を行う。この補正により、画像データが得られる。そして、この画像データもとに、被写体の画像が表示部２に表示される。
【００５９】
以上説明した図４の表示装置では、読み取った原稿５０の情報を表示部２でリアルタイムに確認することができる。これにより、使用者は、読み取り位置が適正であるかどうか、スイッチの操作に誤りがないかどうかなどを、リアルタイムで確認することができる。
【００６０】
（第４の実施の形態）
第４の実施の形態の表示装置は、携帯電話である。この携帯電話では、図６、図７に示すように、表示部２を構成する液晶表示装置の補助容量としてメモリ素子を用いたものである。このメモリ素子をラインセンサ１０を構成するセンサ素子のバッファメモリと共通化することで、データ処理部１５を小型化している。これにより、さらに携帯性に優れた装置を提供することができる。
【００６１】
図６は、本発明の第４の実施の形態の表示装置１を示す図である。表示部２は、液晶表示装置であり、左右方向に１８０個、上下方向に２００個、マトリクス状に並べられた１８０×２００個の画素を有する。この表示部２の下側には、ラインセンサ１０が設けられている。このラインセンサ１０は、左右方向に並べられた１８０個のセンサ素子によって構成される。この装置では、表示モード時には、表示部２に、電話番号や時刻が表示される。また、センサモード時には、表示部２に、ラインセンサ１０が読み取った情報が表示される。ラインセンサ１０の下側には、データ処理部１５が設けられている。このデータ処理部１５は、本実施形態では、バッファメモリを含まず、線順次出力回路（情報順次出力回路）だけからなる。
【００６２】
図７は、図６の装置の回路構成を示す図である。表示部２は、マトリクス状に並べられ、それぞれがゲート電極、ソース電極、およびドレイン電極を有し、ドレイン電極にメモリ素子および表示電極が電気的に接続された、１８０個（横）×２００個（縦）のトランジスタ（ＴＦＴ）を有する。また、このマトリクスにおける左右方向（行方向）に平行な２００本のゲート線（ゲート電極線）と、このマトリクスにおける上下方向（列方向）に平行な１８０本の信号線（ソース電極線）と、を有する。各ゲート線はそれが対応する各行（左右方向）に並ぶ１８０個のトランジスタのそれぞれにおけるゲート電極と電気的に接続され、各信号線はそれが対応する各列（上下方向）に並ぶ２００個のトランジスタのそれぞれのソース電極と電気的に接続されている。上記の各トランジスタの各メモリ素子は、通常の液晶表示装置における補助容量と同様の機能を有している。このメモリ素子としては、例えば、Ｓ−ＲＡＭを用いることができる。なお、ここでは、理解を容易にするため、各画素に１ビットのメモリ素子を接続した白黒の表示装置について示している。トランジスタ、補助容量、メモリ素子、表示電極、ゲート線ドライバおよび信号線ドライバの動作は、通常の液晶表示装置と同様であり、詳細な説明は省略する。
【００６３】
図７のセンサ素子は、ラインセンサ１０を構成する素子である。このセンサ素子は、１８０個設けられている。各センサ素子は、左右方向（行方向）に並べられ、被写体を所定の時間間隔で読み取ってそれぞれセンサ信号を出力する。各センサ素子は、対応する各ソース電極線と電気的に接続され、これにより、各メモリ素子に対応する各センサ素子からの各センサ信号を各メモリ素子に記憶可能になっている。
【００６４】
図６、図７の表示装置１は、映像表示モードと、センサモードと、を有する。映像表示モードの時には、通常の液晶表示装置と同様に、映像出力部（外部）からの各映像信号が、各信号線を通じて各表示電極に伝達されると共に、各信号線に各トランジスタを介して接続された補助容量としての各メモリ素子に蓄えられる。
【００６５】
また、センサモードの時には、このモードを選択することにより、センサ素子がオンになる。このセンサモードの時に、ラインセンサにおける各センサ素子は、所定のパルス信号に同期して所定の時間間隔で各センサ信号を順次出力する。この各センサ信号は、対応するソース線を介して、各センサ素子に接続されたメモリ素子へ送られる。このセンサモード時には、信号線と、信号線ドライバと、は切り離されており、映像出力部からの映像信号は信号線に送られず、センサ素子からのセンサ信号が信号線に送られる。このセンサ信号は、ゲート線ドライバが線順次走査されることで、画素のメモリ素子の１つに順次蓄積される。例えば、図中１番左側のセンサ素子は、１回目のパルス信号により得られる第１のセンサ信号を上から１番上のメモリ素子に蓄積し、２回目のパルス信号により得られる第２のセンサ信号を上から２番目のセンサ信号に蓄積し、第３のセンサ信号を上から３番目のセンサ信号に蓄積し、以下、センサ信号をメモリ素子の１つに順次蓄積する。また、このセンサ信号は、メモリ素子に蓄積されると同時に、表示電極に伝達され、リアルタイムで画素に表示される。その後、メモリ素子に蓄積されていたセンサ信号は、ゲート線ドライバで順次走査されて、信号線を通して、線順次出力回路１５に受け渡される。線順次出力回路１５では、センサ信号を、シフトレジスタなどを用いて順次送り出すことで、シリアル信号として出力する。出力されたシリアル信号は、ＣＰＵメモリ（図示しない）に保持される。被写体の読み取りが終了したら、ＣＰＣメモリの全情報を読み出すことで、表示部２に、被写体の全体の画像を再現する。
【００６６】
以上説明した図６、図７の装置の特徴の１つは、各画素の補助容量としてメモリ素子を用い、このメモリ素子がセンサ素子のバッファメモリを兼ねている点である。すなわち、このメモリ素子は、通常の通常表示モード（映像表示モード）時には、上述のように、各画素の補助容量の役割をする。また、このメモリ素子は、センサモード時には、センサ素子からのセンサ信号を保持する。そして、図７の信号線は、表示モード時に映像出力部からの映像信号を画素に送る機能、センサモード時にセンサ素子のセンサ信号をメモリ素子に送る機能、メモリ素子の保持データを出力する機能、を有する多機能配線となる。このように、メモリ素子にバッファメモリの役割をさせ、信号線を多機能配線とすることで、データ処理部１５のバッファメモリをなくし、データ処理部１５を小型化して、装置をさらに小型化することができる。
【００６７】
また、図６、図７の表示装置では、左右方向の画素の数１８０と、左右方向ラインセンサ１０のセンサ素子の数１８０と、を同一にし、１本の信号線に１個のセンサ素子を接続したので、回路を単純にし、情報処理を簡単にすることができる。
【００６８】
以上説明した図６、図７の表示装置では、信号線ドライバ回路に信号変換機能を持たせることで、センサ素子からのセンサ信号が微弱な場合にセンサ信号を増幅したり、検出用途によってセンサ信号の信号レベルを変えたりすることもできる。
【００６９】
また、図７では、センサ素子からのセンサ信号と、映像出力部からの映像信号と、を同一の信号線を通してメモリ素子に送った。このため、映像モード時と、センサモード時と、で信号線ドライバの接続先回路の切り替えを行った。しかし、センサ信号と映像信号とにそれぞれ別々の信号線を設け、このような切り替えをなくすこともできる。
【００７０】
また、図６、図７の表示装置では、左右方向の画素の数と、左右方向ラインセンサ１０のセンサ素子の数と、を同一にして各信号線に各センサ素子を接続した。しかし、必要に応じて、センサ素子の数を増やして、各信号線に複数のセンサ素子を接続しても良い。つまり、センサ素子の数を画素の数の自然数倍にしても良い。また、センサ素子の数を減らして、複数のセンサ素子に対して１本の信号線を接続しても良い。つまり、センサ素子の数を画素の数の自然数分の１にしても良い。このように自然数分の１または自然数倍にするならば、情報処理が複雑になりすぎることはない。
【００７１】
また、図７では、理解を容易にするために、各画素に１ビットのメモリ素子を接続しが、ビット数を高くして、最大解像度を高くすることもできる。例えば、６ビットのメモリを設ければ、６倍の解像度を得ることができる。このようにメモリを６倍にしても、反射型の液晶表示装置であれば、輝度が低下することはない。また、ビット数を高くして、白黒（モノクロ）ではなくカラーの表示装置を用いることもできる。なお、カラーとモノクロとでは、同じビット数であれば、ＲＧＢ分の３倍解像度が異なるから、モノクロの解像度がカラーの解像度の３倍になる。また、走査速度に対するサンプリング周波数を上げることでも、解像度を高くすることができる。
【００７２】
（第５の実施の形態）
第５の実施の形態の表示装置は、携帯型テレビである。この装置では、図８に示すように、第４の実施の形態（図５）と同様にデータ処理部１５、２５を小型化し、さらに、第１の実施の形態（図１）と同様にラインセンサ１０、２０を左右方向と上下方向とに設けている。装置の基本構造は、第１および第４の実施の形態と同様であり、詳細な説明は省略する。
【００７３】
図８の表示装置では、左右方向ラインセンサ１０、上下方向ラインセンサ２０、によりそれぞれ独立にスキャンし、画素のメモリ素子（図７参照）やＣＰＵメモリにそれぞれの情報を保持し、読み出し時に重み付け等の処理を加えることで、第１の実施の形態の装置と同様に、走査速度のばらつきを高い精度で補正し、被写体の情報を精度良く読み取ることができる。これにより、被写体の画像データを表示部２に正確に再現することができる。さらに、図８の表示装置では、画素の補助容量としてのメモリ素子と、ラインセンサ１０、２０のバッファメモリとしてのメモリ素子と、を共通化したので、データ処理部１５、２５を小型化することができる。これにより、画面を大きくしか携帯性に優れた携帯型テレビを提供することができる。
【００７４】
以上説明した各実施の形態では、それそれ、代表的な例として、ＰＤＡ、携帯電話、携帯型テレビを挙げて説明したが、各実施の形態に示した方法は、その例に限定されず、他の表示装置に用いることもできる。
【００７５】
【発明の効果】
本発明によれば、ラインセンサを有する表示装置において、左右方向ラインセンサと、上下方向ラインセンサと、の２方向のラインセンサを設け一方からの読み取りデータを他方のそれで補正するようにしたので、被写体の読み取り精度が高い表示装置を提供することができる。また、複数のラインセンサを並列に設け、各ラインセンサからのデータでスキャン速度を算出してそれによって読み取りデータを補正するようにしたので、被写体の読み取り精度が高く小型の表示装置を提供することができる。また、表示部の補助容量と、ラインセンサのバッファメモリとを共通化したので、さらに回路を小型化して、表示装置をより小型化することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の表示装置の平面図。
【図２】本発明の第１の実施の形態の表示装置の情報処理の処理フローを説明する図。
【図３】本発明の第２の実施の形態の表示装置の平面図。
【図４】本発明の第２の実施の形態の表示装置の断面図。
【図５】本発明の第３の実施の形態の表示装置の断面図。
【図６】本発明の第４の実施の形態の表示装置の平面図。
【図７】本発明の第４の実施の形態の表示装置の回路構成を示す図。
【図８】本発明の第５の実施の形態の表示装置の平面図。
【図９】従来のラインセンサ付きの表示装置を示す図。
【符号の説明】
１表示装置
２表示部（映像表示部）
１０左右方向ラインセンサ（第１のラインセンサ）
１１第２のラインセンサ
１５左右方向情報処理部
２０上下方向ラインセンサ
２５上下方向情報処理部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a display device, and more particularly to a display device having a line sensor.
[0002]
[Prior art]
Recently, liquid crystal display devices are used in many portable devices. That is, in portable devices such as a personal computer, a portable television, a PDA (Personal Digital Assistance), and a word processor, portability is important and a thin display device is required. Conventionally, as this thin display device, a liquid crystal display (LCD), a plasma display, a flat CRT, and the like have been known. Among the thin display devices, the portable device as described above needs to be driven by a battery, so that it is desirable that the power consumption is low. A liquid crystal display device is suitable for this low power consumption requirement. For this reason, the liquid crystal display device is used in many portable devices (portable terminals).
[0003]
Recently, a portable terminal having this liquid crystal display device and a terminal having input means are being developed. As a mobile terminal having such an input means, there is a mobile phone with a camera in which a camera as an input means and a mobile phone are combined. This camera-equipped mobile phone is designed to capture an image taken by a camera and display it on a liquid crystal display device so that it can be transmitted.
[0004]
In addition, development of area sensors and line sensors is being promoted as information input means (fingerprints, etc.) for capturing text / image information on paper and for personal authentication. Among these, the area sensor is a sensor in which photoelectric conversion elements are arranged in a matrix, and for example, shown in FIG. 7 of Japanese Patent Application Laid-Open No. 2002-176162 and Japanese Patent Application Laid-Open No. 11-24105. This area sensor has the advantage of being able to accurately read the shape of the subject with high accuracy. However, since the photoelectric conversion elements are arranged in a matrix, it is disadvantageous from the viewpoint of portability and low power consumption, and there is a problem in using it for a portable terminal.
[0005]
Therefore, line sensors are attracting attention as information input means that place importance on portability. FIG. 9 is a diagram showing a display device 101 with a conventional line sensor. The display device 101 has a display unit 102 made of a liquid crystal display device. A line sensor 110 that runs in the left-right direction in the figure is provided below the display unit 102. Below the line sensor 110, a data processing unit 115 having a buffer memory for holding detection information from the line sensor and a line sequential output circuit is provided. The line sensor 110 in FIG. 9 is a sensor in which photoelectric conversion elements are provided in a linear form, and is a scanning information input device that reads information while manually moving the photoelectric conversion element relatively with respect to a subject. Since the line sensor 110 is provided in a linear shape, the space is smaller than that of the area sensor, and the line sensor 110 can be reduced in size, thereby being highly portable. Further, it can be configured with a small number of photoelectric conversion elements as compared with the area sensor, and power consumption is low. Such a line sensor is shown, for example, in FIG. 1 of Japanese Patent Laid-Open No. 11-24105.
[0006]
[Patent Document 1]
JP 2002-176162 A
[Patent Document 2]
Japanese Patent Laid-Open No. 11-24105
[0007]
[Problems to be solved by the invention]
As described above, a display device with a line sensor is excellent in portability. However, a display device with a line sensor requires skill to accurately read the shape of the subject and obtain an image of the subject without contraction / extension. That is, in the line sensor, the subject is manually moved or moved manually with respect to the subject, so that there is a difference in moving speed. For example, when the moving speed becomes too fast, the line sensor can obtain information only in a jump, and the obtained image contracts. If the moving speed becomes too slow, the line sensor obtains a lot of information from the same place, and the image is expanded. As described above, in the line sensor, it is difficult to accurately read the shape of the subject and obtain an image of the subject without contraction / extension.
[0008]
SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and its purpose is to read a shape of a subject and obtain an image of the subject that is not contracted / expanded as much as possible. The display device is provided.
[0009]
[Means for Solving the Problems]
The display device of the present invention includes a video display unit and a line sensor, reads a subject as image data by the line sensor, and displays the subject as an image on the video display unit based on the read image data. The first object is arranged along the first direction and obtains the subject as first image data by a first relative movement of the subject in a second direction substantially perpendicular to the first direction. A line sensor, a second line sensor arranged along the second direction, and obtaining the subject as second image data by a second relative movement of the subject in the first direction; An arithmetic circuit that compares two image data with the first image data and corrects a contraction / extension amount in the first direction in the second image data associated with the second movement. And features.
[0010]
The display device of the present invention includes a video display unit and a plurality of line sensors that run in the first direction and are arranged substantially parallel to each other at positions outside the video display unit, and the plurality of line sensors. Each of the line sensors reads an image information signal for displaying the subject on the display unit by moving the subject in a second direction perpendicular to the first direction. And an information processing unit that calculates the movement speed using the plurality of image information signals read by each of the plurality of line sensors, and each of the plurality of line sensors includes a time interval. The image information signal is read from the subject in synchronization with the pulse signal x, and the same image information signal obtained from the same location in the subject is The speed d / {x (mn)} of the movement is calculated from the distance d between the line sensor read by the pulse signal and the other line sensor read by the m (m> n) th pulse signal. The information processing unit is configured to correct the contraction / extension amount of the image information signal in the second direction accompanying the movement based on the speed of the movement. To do.
[0011]
The display device of the present invention includes a liquid crystal display device and a line sensor, and the liquid crystal display device is arranged in a matrix, each having a gate electrode, a source electrode, and a drain electrode, and the drain electrode has a memory. A plurality of transistors in which elements and display electrodes are electrically connected; a plurality of gate electrode lines parallel to the row direction in the matrix; and a plurality of source electrode lines parallel to the column direction in the matrix. Each of the gate electrode lines is electrically connected to the gate electrode of each of the plurality of transistors arranged in each row to which it corresponds, and each of the source electrode lines is connected to each column of the corresponding transistor. The line sensors are electrically connected to the respective source electrodes, and the line sensors are arranged in the row direction, and the subject is placed at a predetermined time. Each sensor element has a plurality of sensor elements that read at intervals and output sensor signals, and each of the sensor elements is electrically connected to the corresponding source electrode line, whereby each of the memory elements corresponding to each of the memory elements Each sensor signal from a sensor element can be stored in each memory element.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, display devices according to first to fifth embodiments of the present invention will be described with reference to the drawings. The display device of these embodiments is a portable display device having a video display unit (display unit) and a line sensor. This display device is used as, for example, a PDA, a mobile phone, a small television, or the like. In the display device according to each embodiment, two modes can be selected. In the video display mode, the display unit can display computer information if it is a PDA, telephone number and time if it is a mobile phone, and TV video if it is a small TV, as in a normal display device. . In the sensor mode (hand scan mode), the display unit can display the subject as an image based on the subject information read by the line sensor. In the present embodiment, a description will be given of an apparatus in which an image of a subject with little contraction / extension is obtained and portability is improved in a portable display apparatus having such a line sensor. In the following, five embodiments will be described.
[0013]
(First embodiment)
The display device according to the first embodiment shows a PDA (personal digital auxiliary device) using a liquid crystal display device as a video display unit, and includes, for example, a small computer that can be carried.
[0014]
FIG. 1 is a diagram showing a display device 1 according to a first embodiment of the present invention. The apparatus of FIG. 1 is configured so that two modes of a video display mode and a sensor mode can be selected. This apparatus includes a 4.5 inch (about 11.25 cm) × 4.5 inch video display unit 2 and a 9 cm long horizontal line sensor (first direction) in the figure. A first run sensor) 10 and a vertical line sensor (second line sensor) 20 having a length of 9 cm arranged in the vertical direction (second direction). This PDA performs the same operation as a normal PDA in the video display mode. In the sensor mode, for example, a photo having a horizontal length of 9 cm and a vertical length of 9 cm is placed on the surface of the display unit 2, and this photo is moved by hand in the vertical direction and then in the horizontal direction, respectively, 20, the image information signal is read twice from the photograph and displayed on the video display unit 2 based on the read image information signal twice.
[0015]
The display unit (video display unit) 2 of the apparatus of FIG. 1 is a liquid crystal display device composed of (450 × 450) pixels. The size of one pixel is 250 μm × 250 μm. This apparatus has two display modes as described above, and computer information is displayed on the display unit 2 in a normal display mode (video display mode). The left and right direction line sensor 10 is provided below the outer peripheral portion of the display unit 2. The left-right direction line sensor 10 is composed of 360 sensor elements. One-third of the 360 are assigned to detect one color of RGB. That is, three sensor elements arranged next to each other form one set and detect RGB colors. As this sensor element, an optical sensor or a capacitive sensor can be used. The size of each sensor element is, for example, 250 μm × 250 μm. A horizontal data processing unit 15 is formed below the horizontal line sensor 10. The left / right direction data processing unit 15 includes a buffer memory and a line sequential output circuit. A horizontal movement position display unit 19 is provided below the horizontal data processing unit 15. The left-right direction movement position display unit 19 includes a large number of light emitting elements, and predetermined light emitting elements are turned on at intervals of 1 cm. That is, dot-like light is displayed at intervals of 1 cm. This dot-like light is lit by selecting the sensor mode, and then is visually recognized as moving from left to right at 5 cm / second by pressing a left / right scan button (not shown). The movement speed of the dot-like light indicates an indication of the scanning speed at the time of horizontal scanning. In other words, when scanning in the horizontal direction, the operator may move the photograph from left to right according to the movement of this point. Similarly, on the right side of the outer peripheral portion of the display unit 2, the left / right direction line sensor 10, the up / down direction data processing unit 25, and the up / down direction movement position display unit 29 are provided. The vertical movement position display unit 19 displays dot-like light at 1 cm intervals. This dot-like light is turned on by selecting the sensor mode, and then, when a vertical scan button (not shown) is pressed, it is grasped as moving from top to bottom at 5 cm / second. When scanning in the vertical direction, the operator may move the photograph from top to bottom according to the movement of this point.
[0016]
The line sensors 10 and 20 read a predetermined subject, for example, a photograph in the sensor mode. Specifically, for example, a photograph of 9 cm × 9 cm is prepared, the image surface of the photograph is opposed to the display surface 2, and the photograph is manually moved to the other side in the vertical direction and the horizontal direction, Read. The horizontal line sensor 10 reads the first image information signal from the subject by the first relative movement of the subject in the vertical direction, and obtains the first image data. Further, the vertical line sensor 20 reads the second image information signal from the subject by second relative movement of the subject in the left-right direction, and obtains second image data. The recommended moving speed for moving the subject is, for example, 5 cm / second, and the operator of the apparatus adjusts the recommended moving speed according to the positions of the points on the left and right direction moving position display unit 19 and the up and down direction moving position display unit 29. Move the photo left and right or up and down to get close speed. Of course, reading can also be performed by moving the display device. Two image information signals read by the line sensors 10 and 20 are stored in the buffer memories of the data processing units 15 and 25, respectively. The image information signals respectively stored in the buffer memory are sequentially sent to a CPU memory (not shown) by the line sequential output circuits of the data processing units 15 and 25. Two image data are obtained from the image information signal sent to the CPU memory. The two image data are processed by an arithmetic processing circuit (not shown) as will be described later. An image obtained by this arithmetic processing circuit is sent to the display unit 2 and displayed there.
[0017]
As described above, the display device of FIG. 1 includes the video display unit 1 and the line sensors 10 and 20, reads the subject as image data by the line sensors 10 and 20, and uses the subject as an image based on the read image data. It is a display device that displays on the video display unit 1.
[0018]
One of the features of the apparatus shown in FIG. 1 is that the line sensors 10 and 20 are arranged perpendicularly in two directions, ie, left and right directions and up and down directions. For this reason, in this apparatus, it is possible to perform two-way scanning, that is, vertical scanning and horizontal scanning. In this way, the subject is scanned in two directions, and the two types of image data obtained thereby are calculated, so that while using a small area line sensor, the subject can be detected with high accuracy almost equal to a large area sensor. An image can be displayed.
[0019]
Next, the arithmetic processing circuit will be described. This processing circuit simply creates first image data from the left / right direction line sensor 10 and the up / down direction line sensor 20 and the second image data and creates image data with a small amount of contraction / expansion. Based on this, the image of the subject is displayed on the display unit 2.
[0020]
In the following, in describing the arithmetic processing circuit, it will be described how the two sensor signals are obtained from the two line sensors 10 and 20, and then the circuit operation of the arithmetic processing circuit will be described. . Hereinafter, a case where a photograph having a width of 9 cm and a length of 9 cm is read as a subject will be described.
[0021]
(1) First, the image display mode is switched to the sensor mode, and the two-way scan mode is selected in this sensor mode. At this time, the display device 1 is set so that the display unit 2 faces upward. When the mode is switched to the sensor mode, dot-like light is lit on the movement position display units 19 and 29.
[0022]
(2) Next, the photograph to be read is overlaid on the display surface 2 with its image surface facing downward. At this time, the alignment is performed so that the lower right end of the photograph matches the lower right end of the display unit 2. This position is the base point.
[0023]
(3) Next, a vertical scan button (not shown) is pressed. When this button is pressed, the reference point displayed on the vertical movement position display unit 29 starts to move from top to bottom at a speed of 5 cm / second. The operator moves the photograph from top to bottom in accordance with the movement of the target point. This is a vertical scan. During this scan, the sensor element of the left-right direction line sensor 10 reads a target photograph every 0.005 seconds and outputs a sensor signal. This vertical scan is supposed to end in 1.8 seconds and the number of data to be 360 lines. However, the margin is taken for 2.25 seconds and the number of data is set to 450 lines. When 2.25 seconds have passed since the vertical scan button was pressed, the vertical scan is completed. The sensor signal is input to the CPU memory as the first image information signal. The first image information signal is data arranged in a matrix of 360 in the left-right direction (first direction) and 450 in the up-down direction (second direction). Here, since the first image information signal is data obtained by vertical scanning, it is data having substantially no amount of contraction / expansion in the left-right direction when the left-right blur is ignored. However, since it is a manual operation, the moving speed for 2.25 seconds is not easily uniform, and thus it is inevitable that the image data includes the amount of contraction / extension in the vertical direction.
[0024]
(4) Next, return the photograph to the base point.
[0025]
(5) Next, a horizontal scan button (not shown) is pressed. When this button is pressed, the reference point displayed on the horizontal movement position display unit 19 starts to move from left to right at a speed of 5 cm / second. The operator moves the photo from left to right in accordance with the movement of this point. This is a horizontal scan. During this scan, the sensor element of the vertical line sensor 20 reads a target photograph every 0.005 seconds and outputs a sensor signal. This left-right scan is originally assumed to end in 1.8 seconds and the number of data is 360 columns. However, the margin is taken for 2.25 seconds and the number of data is set to 450 columns. When 2.25 seconds have elapsed after the left / right scan button is pressed, the left / right scan is terminated. The sensor signal is input to the CPU memory as a second image information signal. This second image information signal is data arranged in a matrix of 450 in the horizontal direction and 360 in the vertical direction. Here, since the second image information signal is data obtained by scanning in the left-right direction, it is data having substantially no amount of contraction / expansion in the up-down direction if the up-down movement is ignored. However, since it is manually performed, the moving speed for 2.25 seconds is not easily uniform, and therefore it is inevitable that the image data includes the amount of contraction / extension in the left-right direction.
[0026]
(6) The first image information signal and the second image information signal thus obtained are added to the arithmetic processing circuit (S1, S2). This arithmetic processing circuit is configured to operate as follows. That is, from the first image information signal and the second image signal, the data sizes of the first image data and the second image data as the region where the subject is photographed are determined based on the contrast of the image (S3). . For example, when the moving speed of the photograph at the time of vertical scanning (second movement) is faster than the speed assumed in advance, the data row corresponding to the image is 300 rows, for example. In this case, among the first image information signals obtained by the vertical scan, the first image in which the subject is captured in an area arranged in a matrix of (360 in the horizontal direction) × (300 in the vertical direction). Determine that the data. Further, assuming that the moving speed of the photograph during the horizontal scanning (second movement) is slower than the assumed speed, among the second image information signals obtained by the horizontal scanning, for example (420 in the horizontal direction). The region arranged in a matrix of (number) × (360 in the vertical direction) is determined as the second image data in which the subject is captured.
[0027]
(7) From a different viewpoint, the first image data described above is 360 columns of first data arranged in the left-right direction, with 300 data continuous in the vertical direction (second direction) as one first data column. Consists of columns. The second image data is composed of 420 second data strings arranged in the left-right direction with 360 data continuous in the vertical direction as one second data string. Here, each data string is referred to as column block data. This way of understanding can be understood as the extraction of column block data (S4).
[0028]
(8) Next, the first and second data strings that match from the first data string of 360 columns and the second data string of 420 columns are searched by the arithmetic circuit. In this search, for example, in each column block data of the first and second data, the integrated intensity of the R (red) component, the integrated intensity of the G (green) component, and the integrated intensity of the B (blue) component are obtained in advance. Keep it. Then, when the RGB integrated intensities match or become extremely close to each other in the respective block data of the first data string and the second data string, it is determined that they match.
[0029]
As described above, the second data string obtained from the above-described horizontal scan (second movement) has a large amount of contraction / extension in the horizontal direction, whereas the second data string obtained from the vertical scan (first movement). In one data string, the amount of contraction / extension in the left-right direction is small. Therefore, the amount of contraction / extension in the left-right direction of the second data string is corrected by the above search. However, in this search, for example, it is assumed that the second data does not contract or expand more than twice the first data, and collation is performed within that range.
[0030]
Specifically, first, each first data row of the first image data is viewed with reference to the second data row of the first row of the second image data. The first second data string normally matches the first first data string. Next, the second data string of the second column is used as a reference and compared with the first data string of the second to fourth columns. If there is no match, the second data string of the second to sixth columns is compared with the second data string of the third column. Here, if there is no match, the second data string of the third column is used as a reference and compared with the first data string of the second to sixth columns. This is repeated sequentially. For example, it is assumed that the 40th second data string matches the 36th first data string. At this time, the interval between the second data columns of the 1st to 40th columns is compressed to 36/40 (S4 to S5). In other words, correction is performed so that the interval between the 40 searched second data columns matches the interval between the corresponding 36 searched first data columns, and the movement in the left-right direction (second movement) is accompanied. The expansion amount in the left-right direction (first direction) in the second image data is corrected. Next, on the basis of the second data column of the 41st column, matching column block data is searched for the first data column after the 37th column (S6). Thereafter, the same operation is repeated (S5 to S7), and arithmetic processing is performed until all the column block data is cut out (S7).
[0031]
(9) Next, when the correction of the horizontal contraction / expansion of the second image data is completed by the processing of the column block data, the vertical contraction / expansion of the first image data is similarly performed by the processing of the row block data. Make corrections. Note that the processing of the row block data can be omitted. The processed information is stored in the CPU memory (S8).
[0032]
The image data obtained by the above processing can be read from the CPU memory and displayed on the display unit 2. In addition, this image data can be transmitted to another portable terminal or the like.
[0033]
In the display device 1 shown in FIG. 1 described above, two sets of line sensors 10 and 20 for scanning input are arranged in the horizontal direction and in the vertical direction, and reading is performed by scanning in the two directions. I was able to. Since the image data in one direction is corrected with the image data in the other direction, the data error caused by the movement speed variation caused by manually moving the subject is corrected with high accuracy. The image can be made highly accurate. Therefore, an image with little contraction / extension can be displayed on the display unit 2.
[0034]
1 requires two scans, the time required for one scan is about 2.25 seconds. In actual use, the scan time becomes too long or the scan does not always take place. It's never too complicated.
[0035]
As described above, the display device of FIG. 1 can appropriately display the image of the subject as in the case of using the area sensor while using the line sensors 10 and 20 as sensors for reading the subject. For this reason, the area of the sensor can be reduced and portability can be improved as compared with the case where the area sensor is used while appropriately displaying the image of the subject.
[0036]
In the display device 1 described above with reference to FIG. 1, the length of the horizontal line sensor 10 is narrower than the horizontal width of the display unit 2, but the length of the horizontal line sensor 10 may be the same as the horizontal width of the display unit 2. it can. In addition, although the length of the vertical line sensor 20 is narrower than the vertical width of the display unit 2, the length of the vertical line sensor 20 may be the same as the vertical width of the display unit 2.
[0037]
Further, in the data processing in the display device 1 of FIG. 1, only the contraction / expansion correction has been described for easy understanding. However, rotation can be corrected by further subdividing the data.
[0038]
Further, the line sensors 10 and 20 of the display device in FIG. 1 can be formed in the same manner as the display device along the flow of the process for forming the display device. In addition, the individual elements can be mounted by a technique such as COG (chip on glass).
[0039]
In FIG. 1, a PDA is used as a display device, but a mobile phone or a portable television can be used as the display device.
[0040]
In FIG. 1, the photograph is moved by hand with respect to the display device 1, but the display device 1 can be moved by hand with respect to the photograph.
[0041]
(Second Embodiment)
The display device of the second embodiment is a mobile phone. In this cellular phone, as shown in FIGS. 3 and 4, five horizontal line sensors 10 to 14 are arranged vertically. In this apparatus, the speed of movement in the vertical direction can be detected by comparing image information signals from the line sensors 10 to 14. Then, based on the moving speed, image data in which the amount of contraction / extension in the vertical direction is corrected can be obtained, and the image of the subject can be properly displayed on the display unit 2.
[0042]
FIG. 3 is a surface view of the display device according to the second embodiment of the present invention. FIG. 4 is a cross-sectional view of the display device. These drawings show a display portion of the mobile phone, and the operation button portion is omitted. The display unit 2 is a liquid crystal display device that is 4.5 cm (horizontal) × 5.1 cm (vertical) and includes 180 (horizontal) × 204 (vertical) pixels. The display unit 2 is formed on the array substrate 30 and performs display using display light from the front light 40 generated by the lamp 41. Five line sensors 10 to 14 that run in the left-right direction (first direction) and are arranged substantially parallel to each other are formed at positions outside the display unit 2. Each of the line sensors 10 to 14 has a length in the left-right direction of 4.5 cm and a length in the up-down direction of 250 μm. Each of these line sensors 10 to 14 is composed of 180 sensor elements arranged side by side. The size of each sensor element is 250 μm × 250 μm. Each of the line sensors 10 to 14 reads the subject as an image information signal by relatively moving the subject in the vertical direction (second direction). The five run sensors 10 to 14 read an image information signal from a subject in synchronization with a pulse signal having an interval of 0.01 seconds during vertical scanning. Each of the line sensors 10 to 14 has four sets of line memories each having 180 memory elements in the data processing unit 15. The sensor signals read by the sensor elements of the line sensors 10 to 14 are sequentially stored in the memory elements of the four sets of line memories.
[0043]
3 and 4, in the normal display mode, a telephone number, a call time, and the like are displayed on the display unit 2 in the same manner as in a normal mobile phone. On the other hand, in the sensor mode (hand scan mode), the line sensors 10 to 14 read the image information signal from the subject, and display the subject image on the display unit 2 based on the image data obtained thereby. Specifically, for example, a photograph as a subject is placed on a desk with the surface facing up, the display unit 2 of the mobile phone faces downward, the mobile phone is moved up and down by hand, and the line sensors 10 to 14 The image information signal is read and this image is displayed on the display unit 2. Here, when moving the mobile phone, the speed should be as close to the recommended moving speed (5.0 cm / sec) as possible. If scanning is performed at this recommended moving speed, the line sensors 10 to 14 move by a distance (500 μm) corresponding to two line sensors 10 to 14 at each sampling interval.
[0044]
3 and 4 described above are provided with the line sensors 10 to 14, the subject information can be captured by scanning the subject. However, since scanning is performed manually, it is extremely difficult to accurately scan at the recommended moving speed. If the scan deviates from the recommended movement speed, the read image information signal may contract or expand in the vertical direction that is the scan direction. Therefore, the apparatus of FIGS. 3 and 4 is provided with five line sensors 10 to 14 so that the contraction / extension can be corrected even if the moving speed is deviated. This will be described below.
[0045]
In the apparatus of FIGS. 3 and 4, since five line sensors 10 to 14 are provided, the speed of scanning movement in the vertical direction is required. The speed of this movement is calculated as follows. First, each line sensor 10-14 samples the subject for the first time. In each of the line sensors 10 to 14, the image information signal obtained by this sampling is held in the first line memory in the data processing unit 15. The integrated intensity is calculated from this line memory. Next, after 0.01 second, each of the line sensors 10 to 14 performs the second sampling. The image information signal obtained by this sampling is held in the second line memory in the data processing unit 15, and the integrated intensity is calculated. The image information signals obtained by the third and fourth samplings are held in the third and fourth line memories, and the integrated intensity is calculated respectively. The image information signal obtained by the fifth sampling is overwritten and stored in the first line memory, and the integrated intensity is calculated. The image information signals obtained by the sixth to ninth samplings are overwritten and stored in the second to fourth line memories, and the integrated intensity is calculated. This is repeated sequentially. During this time, the integrated intensities of the line memories in each sampling are compared sequentially. For example, if the integrated intensity of the first line memory of the first line sensor 10 in the first sampling matches the integrated intensity of the second line memory of the third line sensor 12 in the second sampling. It is determined that the subject has moved by two line sensors (500 μm) in 0.01 seconds. That is, from the distance of 500 μm between the first line sensor 10 read from the same pulse information signal obtained from the first pulse signal and the third line sensor 12 read from the second pulse signal. The speed of movement 500 / {0.01 · (2-1)} = 50000 μm / s = 5.0 cm / s is calculated. If the integrated intensity of the first line memory of the first line sensor 10 in the first sampling matches the integrated intensity of the second line memory of the fifth line sensor 14 in the second sampling. It is determined that the subject has moved by four line sensors (1000 μm) in 0.01 seconds. Thereby, the moving speed of the subject is calculated as 10 cm / s. If the integrated intensity of the first line memory of the first line sensor 10 in the first sampling matches the integrated intensity of the third line memory of the fourth line sensor 13 in the third sampling. It is determined that the subject has moved 750 μm in 0.02 seconds. Thereby, the moving speed of the subject is determined to be 3.75 cm / s. If the integrated intensity of the first line memory of the first line sensor 10 in the first sampling matches the integrated intensity of the third line memory of the second line sensor 13 in the second sampling. It is determined that the subject has moved 250 μm in 0.01 seconds. Thus, the moving speed of the subject is obtained as 2.50 cm / s. In this way, the same image information signal obtained from the same location on the subject is read by the nth pulse signal, the other line sensor read by the m (m> n) th pulse signal, The moving speed d / {x (mn)} is calculated from the distance d.
[0046]
In the above description, the integrated intensity of 180 memory elements is obtained in each line memory, and the integrated intensity is compared by the first to fifth line sensors 10 to 14. However, when the integrated value of all the memory elements of one line memory is obtained, there is a problem that the processing time becomes long. Further, if the comparison is performed after obtaining the integrated strength of all the memory elements, there remains a problem in the detection performance (accuracy of adjacent data matching determination). Therefore, it is preferable to divide the line memory and calculate the integrated intensity for each of the divided line memories and compare them with each other to determine the coincidence by a majority circuit. For example, each line sensor is divided into 18 sections for every 10 memory elements, and the integrated intensity is calculated for each section, and the first to fourth line memories are compared for each section to match. Regarding the sex, it is determined that there is a match by matching 10 or more of the 18 sections.
[0047]
Based on the moving speed detected as described above, the information processing unit 15 adjusts the reading speed of the image information signal in the display devices of FIGS. That is, when the moving speed is standard (5.0 cm / sec), the movement occurs by two line sensors (500 μm) at one sampling interval (0.01 sec). As described above, when the moving speed is standard, the image information signal is read from the line memories of the two line sensors of the first line sensor 10 and the second line sensor 11 in one sampling and is stored in the CPU memory. send. Next, when the movement speed is 1.5 times the standard (7.5 cm / sec) and the line moves by three line sensors (750 μm) during one scan (0.01 sec), one sampling is performed. The image information signals are read out from the line memories of the three line sensors of the first to third line sensors 10 to 12 and sent to the CPU memory. Furthermore, when the moving speed becomes twice the standard (10.0 cm / sec) and moves by four line sensors (1000 μm) during one scan (0.01 sec), the first sampling is performed by one sampling. The image information signals are read out from the line memories of the four line sensors 10 to 13, and sent to the CPU memory. On the other hand, when the moving speed is 3/4 times the standard (3.75 cm / sec) and the line moves by 3 line sensors (750 μm) during 2 scans (0.02 sec), the sampling is performed twice. Image information signals are read from the line memories of the three line sensors of the first to third line sensors 10 to 12 and sent to the CPU memory. Furthermore, when the moving speed is ½ times the standard (2.5 cm / sec) and moves by one line sensor (250 μm) during one scan (0.01 sec), one sampling is required. The sensor signal is read from the line memory of the first line sensor 10 and sent to the CPU memory. Thus, when the moving speed is standard, two lines of image information signals out of the simultaneously sampled data are stored in the CPU memory, and when the moving speed is faster than the standard, many lines of image information signals are stored in the CPU memory. When the moving speed is slower than the standard, the image information signal of a few lines is stored in the CPU memory. That is, the storage amount (number of lines) of the image information signals of the simultaneously sampled line sensors is determined by the change in the integrated intensity of the signals read from the respective line sensors. Thus, appropriate image data can be obtained.
[0048]
As described above, in the apparatus shown in FIGS. 3 and 4, even when the moving speed deviates from the recommended moving speed, the image information signal read from the subject can be appropriately corrected. For this reason, in the mobile phone with a line sensor, the image of the subject can be accurately reproduced on the display unit 2.
[0049]
3 and 4, the moving speed calculated by the information processing unit 15 can be displayed as a monitor output on the upper side of the display unit 2 or the like. Further, when the moving speed is too fast or too slow to make appropriate correction, it is possible to notify the operator of the moving speed error by light or voice. As a result, if the moving speed deviates greatly from the recommended moving speed, the operator can immediately perform scanning again. In this case, since the moving speed is immediately displayed on the display unit 2 every time scanning is performed, the operator checks the moving speed immediately after the scanning and moves at a speed close to the recommended moving speed. Can learn to do.
[0050]
3 and 4 displays the subject on the display unit 2 at the same magnification. For this reason, the horizontal length of the subject needs to be within 4.5 cm. However, even if the vertical length is longer than 5.1 cm, it can be read in one scan and displayed on the display unit 2. For example, a subject having a width of 4.5 cm and a length of 10 cm can be read in one scan and divided into two screens and displayed on the display unit 2. That is, although the display unit 2 is small, an object that is long in the vertical direction can be read by one scan.
[0051]
In the display device of FIGS. 3 and 4 described above, the number of line sensors 10 to 14 in the vertical direction is five, but it may be two or more. In addition, the number of line memories can be changed.
[0052]
Further, in the display device of FIG. 3 and FIG. 4, the case has been described in which the movement is performed by two line sensors (250 μm) at one sampling interval (0.01 seconds). However, it is also possible to shorten the sampling interval, calculate the movement speed in more detail, and further improve the accuracy of correction.
[0053]
3 and 4 are provided with a plurality of left and right direction line sensors 10 to 14 for scanning in the vertical direction. However, even if a plurality of vertical direction line sensors are provided for performing the horizontal direction scanning, the display device of FIG. The effect is obtained.
[0054]
3 and 4, the display device is moved by hand with respect to the subject, but the subject can also be moved by hand with respect to the display device.
[0055]
3 and 4, in addition to the horizontal line sensors 10 to 14, a vertical line sensor 20 can also be provided as in the first embodiment (FIG. 1). Further, it is possible to provide a vertical line sensor 10 and a horizontal line sensor 20, and to further increase the reading accuracy by providing a plurality of vertical and horizontal line sensors.
[0056]
(Third embodiment)
The display device according to the third embodiment is a device in which line sensors 10 to 14 and the display unit 2 are arranged on the opposite surface of the array substrate 30 in a mobile phone (see FIG. 4), as shown in FIG. It is. Thereby, in the mobile phone, it is possible to read the information of the subject 50 while checking the information of the subject 50 in real time while viewing the display unit 2 with the display unit 2 facing upward.
[0057]
FIG. 5 is a cross-sectional view showing a display device according to a third embodiment of the present invention. The plan view is substantially the same as that of the second embodiment (FIG. 3) and is omitted. In the display device 1 of FIG. 5, the display unit 2, the first to fifth sensor element units 10 </ b> A to 14 </ b> A, and the data processing unit 15 are formed on one surface of the array substrate 30. The display unit 2 performs display using display light from the front light 40 generated by the lamp 41. First to fifth line sensors 10 to 14 are formed on the opposite surface of the array substrate 30.
[0058]
Also in the apparatus of FIG. 4, the sensor mode (hand scan mode) and the normal display mode can be selected. In the sensor mode, the line sensors 10 to 14 are turned on by pressing the scan button. When the scan button is pressed, the line sensors 10 to 14 read the subject 50 while applying light from the lamp 41 to the subject (read original) 50. Then, the light reflected from the subject 50 is sent to the sensor element units 10A to 14A. The sensor element units 10A to 14A change this light into image information signals. Then, as in the second embodiment, the moving speed is calculated from the image information signals obtained by the line sensors 10 to 14, and the image information signal is corrected. By this correction, image data is obtained. An image of the subject is displayed on the display unit 2 based on the image data.
[0059]
In the display device of FIG. 4 described above, the information of the read document 50 can be confirmed on the display unit 2 in real time. Thereby, the user can confirm in real time whether or not the reading position is appropriate and whether or not there is an error in the operation of the switch.
[0060]
(Fourth embodiment)
The display device of the fourth embodiment is a mobile phone. In this cellular phone, as shown in FIGS. 6 and 7, a memory element is used as an auxiliary capacitor of the liquid crystal display device constituting the display unit 2. By sharing this memory element with the buffer memory of the sensor element constituting the line sensor 10, the data processing unit 15 is miniaturized. As a result, it is possible to provide a device that is more portable.
[0061]
FIG. 6 is a diagram showing a display device 1 according to the fourth embodiment of the present invention. The display unit 2 is a liquid crystal display device, and includes 180 × 200 pixels arranged in a matrix, 180 pixels in the left-right direction, 200 pixels in the vertical direction. A line sensor 10 is provided below the display unit 2. The line sensor 10 includes 180 sensor elements arranged in the left-right direction. In this device, the telephone number and time are displayed on the display unit 2 in the display mode. In the sensor mode, information read by the line sensor 10 is displayed on the display unit 2. A data processing unit 15 is provided below the line sensor 10. In this embodiment, the data processing unit 15 does not include a buffer memory, and includes only a line sequential output circuit (information sequential output circuit).
[0062]
FIG. 7 is a diagram showing a circuit configuration of the apparatus of FIG. The display unit 2 is arranged in a matrix, each having a gate electrode, a source electrode, and a drain electrode, and the memory element and the display electrode are electrically connected to the drain electrode, 180 (horizontal) × 200 A (vertical) transistor (TFT) is included. Further, 200 gate lines (gate electrode lines) parallel to the horizontal direction (row direction) in the matrix, 180 signal lines (source electrode lines) parallel to the vertical direction (column direction) in the matrix, Have Each gate line is electrically connected to the gate electrode of each of the 180 transistors arranged in each row (left-right direction) corresponding to each gate line, and each signal line is arranged in 200 columns arranged in each column (up-down direction) corresponding thereto. It is electrically connected to each source electrode of the transistor. Each memory element of each transistor has the same function as an auxiliary capacitor in a normal liquid crystal display device. As this memory element, for example, an S-RAM can be used. Here, for easy understanding, a monochrome display device in which a 1-bit memory element is connected to each pixel is shown. The operations of the transistor, the auxiliary capacitor, the memory element, the display electrode, the gate line driver, and the signal line driver are the same as those of a normal liquid crystal display device, and detailed description thereof is omitted.
[0063]
The sensor element in FIG. 7 is an element constituting the line sensor 10. 180 sensor elements are provided. Each sensor element is arranged in the left-right direction (row direction), reads a subject at a predetermined time interval, and outputs a sensor signal. Each sensor element is electrically connected to each corresponding source electrode line, whereby each sensor signal from each sensor element corresponding to each memory element can be stored in each memory element.
[0064]
6 and 7 has a video display mode and a sensor mode. In the video display mode, each video signal from the video output unit (external) is transmitted to each display electrode through each signal line, and through each transistor to each signal line, as in a normal liquid crystal display device. It is stored in each memory element as a connected auxiliary capacitor.
[0065]
In the sensor mode, the sensor element is turned on by selecting this mode. In this sensor mode, each sensor element in the line sensor sequentially outputs each sensor signal at a predetermined time interval in synchronization with a predetermined pulse signal. Each sensor signal is sent to a memory element connected to each sensor element via a corresponding source line. In this sensor mode, the signal line and the signal line driver are disconnected, and the video signal from the video output unit is not sent to the signal line, but the sensor signal from the sensor element is sent to the signal line. This sensor signal is sequentially accumulated in one of the memory elements of the pixel as the gate line driver is line-sequentially scanned. For example, the leftmost sensor element in the figure stores the first sensor signal obtained from the first pulse signal in the top memory element from the top, and the second sensor obtained from the second pulse signal. The signal is stored in the second sensor signal from the top, the third sensor signal is stored in the third sensor signal from the top, and the sensor signals are sequentially stored in one of the memory elements. Further, this sensor signal is stored in the memory element, and at the same time, is transmitted to the display electrode and displayed on the pixel in real time. Thereafter, the sensor signals stored in the memory element are sequentially scanned by the gate line driver and passed to the line sequential output circuit 15 through the signal lines. The line sequential output circuit 15 outputs sensor signals as serial signals by sequentially sending them out using a shift register or the like. The output serial signal is held in a CPU memory (not shown). When the reading of the subject is completed, the entire image of the subject is reproduced on the display unit 2 by reading all the information in the CPC memory.
[0066]
One of the features of the apparatus shown in FIGS. 6 and 7 described above is that a memory element is used as an auxiliary capacitor of each pixel, and this memory element also serves as a buffer memory of the sensor element. That is, this memory element serves as an auxiliary capacitor for each pixel as described above in the normal normal display mode (video display mode). The memory element holds a sensor signal from the sensor element in the sensor mode. The signal line in FIG. 7 has a function of sending a video signal from the video output unit to the pixel in the display mode, a function of sending the sensor signal of the sensor element to the memory element in the sensor mode, a function of outputting data held in the memory element, Multi-functional wiring having In this way, the memory element serves as a buffer memory, and the signal line is a multi-function wiring, so that the buffer memory of the data processing unit 15 is eliminated, the data processing unit 15 is downsized, and the apparatus is further downsized. be able to.
[0067]
In the display devices of FIGS. 6 and 7, the number of pixels 180 in the left-right direction is the same as the number 180 of sensor elements of the left-right direction line sensor 10, and one sensor element is provided for one signal line. Since it is connected, the circuit can be simplified and information processing can be simplified.
[0068]
In the display device described above with reference to FIGS. 6 and 7, the signal line driver circuit is provided with a signal conversion function, so that the sensor signal is amplified when the sensor signal from the sensor element is weak, or the sensor signal is detected depending on the detection application. You can also change the signal level.
[0069]
In FIG. 7, the sensor signal from the sensor element and the video signal from the video output unit are sent to the memory element through the same signal line. For this reason, the connection circuit of the signal line driver is switched between the video mode and the sensor mode. However, it is possible to provide separate signal lines for the sensor signal and the video signal, and to eliminate such switching.
[0070]
6 and 7, the sensor elements are connected to the signal lines with the same number of pixels in the left-right direction and the number of sensor elements of the left-right direction line sensor 10. However, if necessary, a plurality of sensor elements may be connected to each signal line by increasing the number of sensor elements. That is, the number of sensor elements may be a natural number times the number of pixels. In addition, one signal line may be connected to a plurality of sensor elements by reducing the number of sensor elements. That is, the number of sensor elements may be reduced to a natural number of the number of pixels. In this way, if the natural number is reduced to a natural number or a natural number multiple, information processing does not become too complicated.
[0071]
In FIG. 7, for easy understanding, a 1-bit memory element is connected to each pixel, but the number of bits can be increased to increase the maximum resolution. For example, if a 6-bit memory is provided, 6 times the resolution can be obtained. In this way, even if the memory is increased by six times, the luminance is not lowered if the reflective liquid crystal display device is used. Further, it is possible to use a color display device instead of black and white (monochrome) by increasing the number of bits. In addition, if the number of bits is the same for color and monochrome, the resolution is three times that of RGB, so the monochrome resolution is three times the color resolution. The resolution can also be increased by increasing the sampling frequency with respect to the scanning speed.
[0072]
(Fifth embodiment)
The display device of the fifth embodiment is a portable television. In this apparatus, as shown in FIG. 8, the data processing units 15 and 25 are downsized in the same manner as in the fourth embodiment (FIG. 5), and further, the line is the same as in the first embodiment (FIG. 1). Sensors 10 and 20 are provided in the horizontal direction and the vertical direction. The basic structure of the apparatus is the same as in the first and fourth embodiments, and a detailed description thereof is omitted.
[0073]
In the display device of FIG. 8, scanning is performed independently by the horizontal line sensor 10 and the vertical line sensor 20, each information is held in a pixel memory element (see FIG. 7) and CPU memory, and weighted at the time of reading, etc. By adding this processing, similarly to the apparatus of the first embodiment, it is possible to correct the variation in the scanning speed with high accuracy and to read the subject information with high accuracy. Thereby, the image data of the subject can be accurately reproduced on the display unit 2. Furthermore, in the display device of FIG. 8, since the memory element as the auxiliary capacitor of the pixel and the memory element as the buffer memory of the line sensors 10 and 20 are shared, the data processing units 15 and 25 can be reduced in size. Can do. Accordingly, a portable television having a large screen and excellent portability can be provided.
[0074]
In each embodiment described above, a PDA, a mobile phone, and a portable television have been described as typical examples. However, the method shown in each embodiment is not limited to the example. It can also be used for other display devices.
[0075]
【The invention's effect】
According to the present invention, in a display device having a line sensor, a line sensor in two directions, a horizontal line sensor and a vertical line sensor, is provided so that read data from one is corrected by that of the other. A display device with high subject reading accuracy can be provided. In addition, since a plurality of line sensors are provided in parallel and the scan speed is calculated from the data from each line sensor and the read data is corrected thereby, a small display device with high subject reading accuracy is provided. Can do. In addition, since the auxiliary capacity of the display unit and the buffer memory of the line sensor are shared, the circuit can be further downsized and the display device can be further downsized.
[Brief description of the drawings]
FIG. 1 is a plan view of a display device according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating a processing flow of information processing of the display device according to the first embodiment of the invention.
FIG. 3 is a plan view of a display device according to a second embodiment of the present invention.
FIG. 4 is a cross-sectional view of a display device according to a second embodiment of the present invention.
FIG. 5 is a cross-sectional view of a display device according to a third embodiment of the present invention.
FIG. 6 is a plan view of a display device according to a fourth embodiment of the present invention.
FIG. 7 is a diagram showing a circuit configuration of a display device according to a fourth embodiment of the present invention.
FIG. 8 is a plan view of a display device according to a fifth embodiment of the present invention.
FIG. 9 shows a conventional display device with a line sensor.
[Explanation of symbols]
1 Display device
2 Display section (video display section)
10 Left and right direction line sensor (first line sensor)
11 Second line sensor
15 Left-right direction information processing section
20 Vertical line sensor
25 Vertical information processor

Claims

A display device comprising a video display unit and a line sensor, reading a subject as image data by the line sensor, and displaying the subject as an image on the video display unit based on the read image data,
A first line sensor arranged along a first direction and obtaining the subject as first image data by a first relative movement of the subject in a second direction substantially perpendicular to the first direction;
A second line sensor arranged along the second direction and obtaining the subject as second image data by a second relative movement of the subject in the first direction;
An arithmetic circuit that compares the second image data with the first image data and corrects a contraction / extension amount in the first direction in the second image data associated with the second movement;
A display device comprising:

The first line sensor is data in which the first image data is arranged in a matrix in the first direction with p pieces in the first direction, q pieces in the second direction, and q pieces connected in the second direction. When the data is viewed as one first data string, the first data string is obtained as data arranged by p columns in the first direction,
The second line sensor is a data in which the second image data is arranged in a matrix form with j pieces in the first direction, k pieces in the second direction, and k pieces continuous in the second direction. When the data is viewed as one second data string, the second data string is obtained as data in which only j pieces are arranged in the first direction,
The arithmetic circuit compares a plurality of the first data strings with a plurality of the second data strings, searches for a matching first and second data string, and a mutual interval between the plurality of searched second data strings In the first direction in the second image data associated with the second movement by correcting the same to the intervals of the plurality of searched first data strings corresponding to the plurality of searched second data strings. Is an arithmetic circuit for correcting the amount of contraction / extension of
The display device according to claim 1.

A video display unit;
A plurality of line sensors that run in the first direction at positions outside the video display unit and are arranged substantially parallel to each other, and each of the plurality of line sensors has a subject perpendicular to the first direction. A plurality of line sensors, each of which is read as an image information signal for displaying the subject on the display unit, by relatively moving in a second direction;
An information processing unit that calculates the speed of movement using the plurality of image information signals read by each of the plurality of line sensors;
With
Each of the plurality of line sensors reads an image information signal from a subject in synchronization with a pulse signal at a time interval x,
A distance d between a line sensor obtained by reading the same image information signal obtained from the same location in the subject by the nth pulse signal and another line sensor read by the m (m> n) th pulse signal. From this, the speed d / {x (mn)} of the movement is calculated, and the contraction / extension amount of the image information signal in the second direction accompanying the movement is corrected based on the speed of the movement. The display device is characterized in that the information processing unit is configured to perform the above.

The display device according to claim 3, wherein the moving speed is displayed on the video display unit.

A liquid crystal display device and a line sensor;
The liquid crystal display device
A plurality of transistors arranged in a matrix, each having a gate electrode, a source electrode, and a drain electrode, and a memory element and a display electrode electrically connected to the drain electrode;
A plurality of gate electrode lines parallel to the row direction in the matrix; a plurality of source electrode lines parallel to the column direction in the matrix;
Have
Each of the gate electrode lines is electrically connected to the gate electrode of each of the plurality of transistors arranged in each row to which it corresponds, and each of the source electrode lines is each of the plurality of transistors arranged in each column to which it corresponds. Electrically connected to the source electrode of
The line sensor includes a plurality of sensor elements that are arranged in the row direction, read a subject at predetermined time intervals, and output sensor signals, respectively.
Each of the sensor elements is electrically connected to each of the corresponding source electrode lines, whereby each sensor signal from each of the sensor elements corresponding to each of the memory elements can be stored in each of the memory elements. A display device.

Has switchable video display mode and sensor mode,
In the video display mode, each video signal from the outside is transmitted to each display electrode through each source electrode line, and as an auxiliary capacitor connected to each source electrode line through each transistor. Stored in each of the memory elements,
In the sensor mode, each sensor element in the line sensor sequentially outputs each sensor signal at a predetermined time interval, and each memory element in the plurality of transistors connected to the corresponding source line. Sequentially accumulate in one of the
The display device according to claim 5.

The number of the sensor elements is the same as the number of the source electrode lines, a natural multiple of the number of the source electrode lines, or a natural fraction of the number of the source electrode lines. 7. One source electrode line, one natural number of the source electrode lines, or one natural number of the source electrode lines are connected. Display device.