[go: up one dir, main page]

CN101542422A - 图像拾取装置、显示及图像拾取装置和图像拾取处理装置 - Google Patents

图像拾取装置、显示及图像拾取装置和图像拾取处理装置 Download PDF

Info

Publication number
CN101542422A
CN101542422A CNA2008800001740A CN200880000174A CN101542422A CN 101542422 A CN101542422 A CN 101542422A CN A2008800001740 A CNA2008800001740 A CN A2008800001740A CN 200880000174 A CN200880000174 A CN 200880000174A CN 101542422 A CN101542422 A CN 101542422A
Authority
CN
China
Prior art keywords
image
image pickup
noise
display
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008800001740A
Other languages
English (en)
Other versions
CN101542422B (zh
Inventor
原田勉
桥本信也
前川仁
冈田直哉
山口和范
建内满
津崎亮一
山中刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101542422A publication Critical patent/CN101542422A/zh
Application granted granted Critical
Publication of CN101542422B publication Critical patent/CN101542422B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Image Processing (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

本发明提供了一种图像拾取装置，该图像拾取装置可以轻易地提高接触或接近的物体的检测精度。在初始化图像拾取单元的状态(复位状态)下由图像拾取处理获取偏移噪声(复位图像R)。此外，基于图像拾取接近物体而获取的拾取图像(诸如阴影图像A和利用显示光的图像B)，通过考虑偏移噪声执行指尖提取处理，以便获取关于接近物体的物体信息。因此，可以轻易地抑制装置中的偏移噪声并获取关于接近物体的信息。

Description

图像拾取装置、显示及图像拾取装置和图像拾取处理装置
技术领域
本发明涉及图像拾取装置以及获取信息(诸如接触或接近面板的物体的位置)的显示及图像拾取装置，以及应用于所述图像拾取装置的图像拾取处理装置。
背景技术
检测接触或接近装置表面的物体的位置等信息的技术至今已经公知。其中，作为一种典型而普及的技术，包括了能够检测接触或接近显示器表面的物体的位置等信息的接触面板的显示器被提及。
目前存在多种接触面板，但是常用类型是电容检测类接触面板。当手指接触这种接触面板时，该接触面板获取面板表面电荷的变化以检测物体的位置等信息。因此，当使用这种接触面板时，用户能直观地操作该接触面板。
此外，例如，本发明的申请人已经在专利文件1中提出了一种包括了具有显示图像的显示功能以及拾取物体图像(检测物体)的图像拾取功能(检测功能)的显示部(显示图像拾取面板)的显示器。
[专利文件1]第2004-127272号日本未审查专利申请公开
发明内容
当使用上述专利文件1中描述的显示器时，在诸如手指的物体接触或接近显示图像拾取面板的情况下，可以基于通过使用该物体反射的显示光而拾取的图像来检测物体的位置等信息。因此，当使用该显示器时，不需在显示图像拾取面板上单独安装诸如接触面板的部件，而使用简单配置，就可以检测物体的位置等信息。
此外，更典型地，在包括了仅具有图像拾取功能的图像拾取面板的图像拾取装置中，可以通过使用外部光而非由物体反射的上述显示光拾取物体的图像来检测物体的位置等信息。
附带地，在基于拾取的图像以这种方式检测物体的位置等信息的情况下，图像拾取单元间的偏移变化、诸如输出放大器或放大器的周边电路中的偏移变化等就变成了问题。因为当由于这些偏移变化而在拾取的图像中产生噪声(偏移噪声)时，物体的位置等信息的检测精度会下降，或者检测本身会变得困难。
因此，考虑这样的方法，存储当图像拾取装置覆盖有黑盒等(以便使图像拾取装置不被曝光)时拾取的图像，然后通过从正常的拾取图像中移除图像来移除偏移噪声；然而，用户被迫执行获取在图像拾取装置周围环境处于黑暗状态时拾取的图像的操作，所以使用这种图像拾取装置的方法是非常复杂且不实用的。
此外，考虑在制造图像拾取装置的步骤中，初始偏移噪声被作为图像预先存储；然而，可以预料到，即使使用了这种图像，由于使用环境的变化或时间的变化，偏移噪声不能够被充分移除。
因此，在背景技术中，很难轻易地减少装置中的偏移噪声，并提高对接触或接近面板的物体的检测精度。
考虑到上述问题，本发明的目的是提供可以轻易提高对接触或接近面板的物体的检测精度的图像拾取装置、显示及图像拾取装置和图像拾取处理装置。
根据本发明的图像拾取装置包括：图像拾取面板，包括多个图像拾取单元；图像拾取控制装置，用于控制图像拾取单元，以便通过在所述图像拾取单元被初始化的状态下的图像拾取处理来获取偏移噪声；以及图像处理装置，用于基于拾取的图像并考虑到偏移噪声来获取作为关于接近物体的位置、形状和大小中的至少一个的信息的物体信息，所述拾取的图像是通过拾取接近物体的图像来获取的。这里，“所述图像拾取单元被初始化的状态”是指图像拾取单元中积累的电荷被释放的状态，从而电荷量被初始化(复位)。此外，“偏移噪声”是指不但包括由于图像拾取单元间的偏移变化的噪声而且包括由于图像拾取面板中图像拾取单元的周边电路的噪声的特定噪声。此外，“接近物体”不但指字面意义上的接近物体，还指处于接触状态的物体。
根据本发明的显示及图像拾取装置包括：显示图像拾取面板，包括多个图像拾取单元；图像拾取控制装置，用于控制图像拾取单元，以便通过在所述图像拾取单元被初始化的状态下的图像拾取处理来获取偏移噪声；图像处理装置，用于基于拾取的图像并考虑到偏移噪声来获取作为关于接近物体的位置、形状和大小中的至少一个的信息的物体信息，所述拾取的图像是通过拾取接近物体的图像来获取的；以及显示控制装置，用于控制显示单元，以便将所获取的物体信息显示在显示图像拾取面板上。
根据本发明的图像拾取处理装置是应用于图像拾取面板的处理装置，所述图像拾取面板包括多个图像拾取单元，并且所述图像拾取处理装置包括：图像拾取控制装置，用于控制图像拾取单元，以便通过在所述图像拾取单元被初始化的状态下的图像拾取处理来获取偏移噪声；以及图像处理装置，用于基于拾取的图像并考虑到偏移噪声来获取作为关于接近物体的位置、形状和大小中的至少一个的信息的物体信息，所述拾取的图像是通过拾取接近物体的图像来获取的。
在所述图像拾取装置中，根据本发明的显示及图像拾取装置和图像拾取处理装置，通过在所述图像拾取单元被初始化的状态下的图像拾取处理来获取偏移噪声。之后，基于拾取的图像并考虑到偏移噪声来获取关于接近物体的物体信息，所述拾取的图像是通过拾取接近物体的图像来获取的。
在根据本发明的图像拾取装置中，上述图像处理装置可以基于阴影图像并考虑到上述偏移噪声而获取物体信息，所述阴影图像是通过拾取接近物体的阴影图像来获取的。另外，“阴影图像”是通过拾取外部光引起的阴影的图像来获取的图像，并且指的是不使用来自图像拾取面板的照射光(或显示光)而获取的图像。例如，在这种结构的情况下，即便照射光或显示光不从图像拾取面板发射，也可以获取物体信息。此外，不考虑照射光或显示光的强度等，获取物体信息。
此外，上述图像处理装置可以基于上述阴影图像和利用照射光的图像并考虑到上述偏移噪声来获取物体信息，利用照射光的图像是通过使用来自图像拾取面板的照射光来拾取接近物体的图像而获取的。例如，在这种结构的情况下，即便环境是黑暗的并且没有获得外部光，也可以获取物体信息。因此，不考虑当时的使用条件，也可以获取物体信息。
在所述图像拾取装置中，根据本发明的显示及图像拾取装置或图像拾取处理装置，通过在所述图像拾取单元被初始化的状态下的图像拾取处理来获取偏移噪声，而基于拾取的图像并考虑到偏移噪声来获取关于接近物体的物体信息，所述拾取的图像是通过拾取接近物体的图像来获取的，所以可轻易地减少装置中的偏移噪声，同时可以获取关于接近物体的物体信息。因此，可以轻易地提高接触或接近物体的检测精度。
附图说明
[图1]图1是示出了根据本发明第一实施例的显示及图像拾取装置的构成的框图。
[图2]图2是示出了图1中示出的I/O显示面板的构成实例的框图。
[图3]图3是示出了每个像素的构成实例的电路图。
[图4]图4是用于描述每个像素和传感器读出H驱动器之间的连接关系的电路图。
[图5]图5是用于描述背光的开关状态和显示状态之间关系的时间图。
[图6]图6是示出了根据第一实施例的指尖提取处理的流程图。
[图7]图7是用于描述图6中示出的每个提取处理的时间图。
[图8]图8是示出了图7中示出的阴影图像指尖检测处理的细节的流程图。
[图9]图9是用于描述阴影图像指尖检测处理的概念的透视图。
[图10]图10是示出了由阴影图像指尖检测处理得到的拾取图像的实例的示意图。
[图11]图11是用于描述阴影图像指尖提取处理的照片示图。
[图12]图12是用于描述图11之后的阴影图像指尖提取处理的照片示图。
[图13]图13是用于描述由阴影图像指尖提取处理得到的光接收信号的示图。
[图14]图14是用于描述移动平均图像的产生处理的示图。
[图15]图15是用于描述移动平均图像的产生处理的示图。
[图16]图16是用于描述移动平均图像的产生处理的示图
[图17]图17是示出了图7中所示的差分图像指尖提取处理的细节的流程图。
[图18]图18是用于描述差分图像指尖提取处理的照片示图。
[图19]图19是用于描述外部光明亮的情况下差分图像指尖提取处理的示图。
[图20]图20是用于描述外部光黑暗的情况下差分图像指尖提取处理的示图。
[图21]图21是用于描述由差分图像指尖提取处理得到的光接收信号的动态范围的示图。
[图22]图22是用于描述差分图像指尖提取处理和阴影图像指尖提取处理之间比较的示图。
[图23]图23是用于描述偏置电压的实例的曲线图。
[图24]图24是用于描述增加偏置电压情况下的效果的实例的照片示图。
[图25]图25是用于描述偏置电压的另一实例的曲线图。
[图26]图26是用于描述加上偏置电压情况下的效果的另一实例的照片示图。
[图27]图27是用于描述利用由指尖提取处理产生的结果的应用的一个实例的示图。
[图28]图28是用于描述利用由指尖提取处理产生的结果的应用的另一实例的示图。
[图29]图29是用于描述利用由指尖提取处理产生的结果的应用的又一实例的示图。
[图30]图30是用于描述利用由指尖提取处理产生的结果的应用的再一个实例的示图。
[图31]图31是示出了根据第二实施例的指尖提取处理的流程图。
[图32]图32是示出了根据第三实施例的指尖提取处理的流程图。
[图33]图33是用于描述图32中示出的图像合成处理的照片示图。
[图34]图34是用于描述根据本发明变形例的移动平均图像的产生处理的示图。
[图35]图35是用于描述根据本发明变形例的移动平均图像的产生处理的示图。
[图36]图36是示出了根据本发明的变形例的显示及图像拾取装置的构成的框图。
[图37]图37是示出了图36中示出的显示及图像拾取装置中每个像素的构成实例的电路图。
具体实施方式
用于实施本发明(下文中，简单称为实施例)的最优模式将参照附图在下文中详细描述。
[第一实施例]
图1示出了根据本发明第一实施例的显示及图像拾取装置的整体构成。显示及图像拾取装置包括I/O显示面板20、背光15、显示驱动电路12、光接收驱动电路13、图像处理部14以及应用程序执行部11。
I/O显示面板20由液晶面板(LCD(液晶显示器))配置而成，其中，多个像素在液晶面板的整个表面上以矩阵形式排列，并在执行线序操作时具有基于显示数据显示诸如预定的符号或字符的图像的功能(显示功能)，以及具有如下文中所述的拾取接触或接近I/O显示面板20的物体的图像的功能。此外，背光15是I/O显示面板20的光源，并且是通过例如排列多个发光二极管而形成的，并且如下文所述地，背光15以与I/O显示面板20的操作计时相同步的预定计时高速执行开关操作。
显示驱动电路12是驱动I/O显示面板20(驱动线序操作)以便基于显示数据在I/O显示面板20上显示图像(以执行显示操作)的电路。
光接收驱动电路13是驱动I/O显示面板20(驱动线序操作)以便在I/O显示面板20中获取光接收数据(以拾取物体的图像)的电路。每个像素中的光接收数据例如以帧为单位存储在帧存储器13A中，作为拾取图像被输出至图像处理部14。此外，光接收驱动电路13控制图像拾取单元(光接收传感器31c等，下文将加以描述)以便在图像拾取单元被初始化的状态(复位状态)下通过图像拾取处理获取偏移噪声(初始化的图像R)。获取复位图像R和偏移噪声的处理将在下文中详细描述。
图像处理部14基于从光接收驱动电路13输出的拾取图像来执行预定的图像处理(运算处理)，并检测以及获取物体信息(位置坐标数据、关于物体形状或大小等的数据)，所述物体信息是关于接触或接近I/O显示面板20的物体的信息。检测处理将在下文中详细描述。
应用程序执行部11基于由图像处理部14产生的检测结果根据预定的应用软件执行处理，而作为应用程序执行部11，例如，可以是被检测物体的位置坐标包含在显示数据中且显示在I/O显示面板20上的应用程序执行部。应用程序执行部11中产生的显示数据被提供至显示驱动电路12。另外，应用程序执行部11对应用程序的执行实例将在下文中详细描述。
下面，将参照图2描述I/O显示面板20的具体构成实例。I/O显示面板20包括显示区域(传感器区域)21、显示H驱动器22、显示V驱动器23、传感器读出H驱动器25以及传感器V驱动器24。
显示区域(传感器区域)21是调制来自背光15的光以作为显示光发射的区域，而接触或接近该区域的物体的图像被拾取，并且在显示区域21中，以矩阵形式排列作为光发射单元(显示单元)的液晶单元和下文将要描述的光接收单元(图像拾取单元)。多个显示单元和多个图像拾取单元形成在例如基板(如硅(Si)基板或非硅基板)上。另外，作为非硅基板，例如，可以是玻璃基板、塑料基板等。
显示H驱动器22，以及显示V驱动器23，基于用于显示驱动的显示信号和从显示驱动电路12中提供的控制时钟，线序地驱动显示区域21中每个像素的液晶单元。
传感器读出H驱动器25，以及传感器V驱动器24，基于用于光接收驱动的信号和从光接收驱动电路13中提供的控制时钟，线序地驱动显示区域21中每个像素的光接收单元，以获取光接收信号(光接收数据)。
然后，参照图3，下面将描述显示区域21中的每个像素的具体构成实例。图3中示出的像素31包括液晶单元，所述液晶单元为显示单元和光接收单元(图像拾取单元)。
更具体地，在显示单元侧，由薄膜晶体管(TFT)等配置的开关单元31a被配置在水平方向上延伸的栅极电极31h与垂直方向上延伸的漏极电极31i的交叉点处，而包含了液晶的像素电极31b被配置在开关单元31a和对向电极之间。然后，开关单元31a基于经栅极电极31h提供的驱动信号执行开关操作，而在导通状态时，像素电压基于经漏极电极31i提供的显示信号被施加到像素电极31b，以设置显示状态。
另一方面，在靠近显示单元的光接收单元侧，例如，配置由例如光电二极管等配置的光接收传感器31c，而电源电压VDD被提供至光接收传感器31c。此外，复位开关31d和电容器31e被连接至光接收传感器31c，而在复位开关31d变为导通状态以及在前面的图像拾取处理中电容器31e中对应于光接收量的积累的电荷被复位(初始化，放电)之后，在电容器31e中积累随后的图像拾取处理中对应于光接收量的电荷。之后，在读出开关31g变为导通状态的时刻，积累的电荷通过缓冲放大器31f被提供至信号输出电极31j，然后积累的电荷被输出至外部。此外，复位开关31d的开关操作是由从复位电极31k提供的信号控制的，而读出开关31g的开关操作是由从读出控制电极31m提供的信号控制的。
此外，在根据本实施例的显示及图像拾取装置中，即使在导通复位开关31d以复位光接收传感器31c的状态中，在预定的情况下，读出开关31g被控制在导通状态。当获取这种复位状态下的拾取图像(上述复位图像R)时，可根据需要，获取复位状态下的图像拾取信号，即，由于光接收传感器31c中的偏移变化和对应于其周边电路等的缓冲放大器31f中的偏移变化导致的偏移噪声。
下面，参照图4，将描述显示区域21中每个像素和传感器读出H驱动器25之间的连接关系。在显示区域21中、依次配置了红色(R)像素31、绿色(G)像素32以及蓝色(B)像素33。
在连接至像素的各个光接收传感器31c、32c和33c中的电容器中积累的电荷分别由各个缓冲放大器31f、32f和33f进行放大，以在导通各个读出开关31g、32g或33g的时刻通过各个信号输出电极提供至传感器读出H驱动器25。此外，各个恒电流源41a、41b和41c被连接至各个信号输出电极，以便在具有高灵敏度的传感器读出H驱动器25中检测到对应于光接收量的信号。
这里，I/O显示面板20和背光15是对应于本发明的“显示图像拾取面板”和“图像拾取面板”的具体实例。此外，光接收驱动电路13是对应于本发明的“图像拾取控制装置”的具体实例，显示驱动电路12是对应于本发明的“显示控制装置”的具体实例，而图像处理部14是对应于本发明的“图像处理装置”的具体实例。此外，光接收驱动电路13和图像处理部14是对应于本发明的“图像拾取处理装置”的具体实例。
下面，将详细描述根据本实施例的显示及图像拾取装置的操作。
首先，先在下文中描述显示及图像拾取装置的基本操作，即显示图像的操作和拾取物体图像的操作。
在显示及图像拾取装置中，基于从应用程序执行部11中提供的显示数据在显示驱动电路12中产生显示驱动信号，并在I/O显示面板20上由驱动信号执行线序显示驱动以显示图像。此外，这时，还由显示驱动电路12驱动背光15以执行与I/O显示面板20同步的灯开关操作。
这里，参照图5，将描述背光15的开关状态与I/O显示面板20的显示状态之间的关系。
首先，例如，在以1/60秒的帧期间显示图像的情况下，在每个帧期间的前半期间(1/120秒期间)关闭背光15(变为关闭状态)，从而不执行显示。另一方面，在每个帧期间的后半期间开启背光15(变为开启状态)，从而显示信号被提供至每个像素，以在帧期间显示图像。
因此，每个帧期间(单位操作周期的期间)的前半期间是显示光不从I/O显示面板20发射的无光期间，而每个帧期间的后半期间是显示光从I/O显示面板20发射的有光期间。
这里，当存在接触或接近I/O显示面板20的物体(例如，指尖等)时，通过光接收驱动电路13的线序光接收驱动，由I/O显示面板20中每个像素的光接收单元来拾取物体的图像，并且来自每个光接收单元的光接收信号被提供至光接收驱动电路13。在光接收驱动电路13中，1帧中像素的光接收信号暂时存储在帧存储器13A中。这时，执行移除偏移噪声(下文中将会描述)的噪声处理，在执行噪声处理之后获取的拾取图像(下文中将会描述的经噪声处理的图像)被输出至图像处理部14。
之后，图像处理部14中，基于经噪声处理的图像，执行下文中将会描述的预定的图像处理(运算处理)，由此检测并获取作为关于接触或接近I/O显示面板20的物体的信息的物体信息(位置坐标数据、关于物体形状或大小的数据等等)。
下面，参照图6至22，将详细描述由图像处理部14提取诸如指尖的接触或接近I/O显示面板20的物体(接近物体)的处理(指尖提取处理)，所述图像处理部14是本发明特征部分中的一个。这里，图6示出了图像处理部14的指尖提取处理的流程图，而图7示出了指尖提取处理的一部分的时间图。
可以从图7中看出，作为单位操作周期的期间的一帧显示期间被大致分为作为背光15关闭期间的前半期间(从时刻t0到时刻t2：无光期间)和作为背光15开启期间的后半期间(从时刻t2到时刻t4：有光期间)。此外，在各个无光期间和有光期间中，在图像读出期间(获取图像拾取处理期间)之前，设置图像拾取单元处于复位状态的期间(从时刻t0到时刻t1，从时刻t3到时刻t4)，并复位(初始化)之前的光接收信号(图像拾取信号)。
首先，在无光期间的从时刻t0到时刻t1的期间中，由I/O显示面板20执行复位状态下的图像拾取处理，以获取图像R(复位图像)(图6中的步骤S10)。因而，获取了复位状态下的图像拾取信号，即，偏移噪声。
下面，在无光期间的从时刻t1到时刻t2的期间中，由I/O显示面板20拾取接近物体的阴影图像，因而获取图像A(阴影图像)(步骤S11)。然后，在之后的从时刻t2到时刻t4的期间(有光期间)中，基于获取的图像A(阴影图像)，由光接收驱动电路13和图像处理部14执行包括了下文中将要描述的偏移噪声处理的指尖提取处理(阴影图像指尖提取处理)(步骤S12)。
另一方面，与阴影图像指尖提取处理并行的在有光期间的从时刻t2到时刻t3的期间中，首先，图像拾取单元进入复位状态，且图像A的图像拾取信号被复位。此外，在有光期间的复位状态下，不执行图像拾取处理，从而不获取复位图像。这是因为即使在这期间通过获取复位图像获取偏移噪声，该偏移噪声与在无光期间获取的偏移噪声鲜有不同，因而被认为是基本相同的偏移噪声。
此外，与阴影图像指尖提取处理并行的在接下来的有光期间的从时刻t3到时刻t4的期间中，由I/O显示面板20执行拾取接近物体的图像的处理，以获取图像B(利用照射光(显示光)的图像)。之后，由光接收驱动电路13和图像处理部14执行包括了获取图像B和将在下文中描述的偏移噪声处理的指尖提取处理(基于将在下文中描述的差分图像C的差分图像指尖提取处理)(步骤S13)。
下面，图像处理部14确定指尖是否在步骤S12中通过差分图像指尖提取处理被提取(是否获取了诸如指尖的接近物体的诸如位置、形状、大小等等的物体信息)(步骤S14)。在图像处理部14确定指尖被提取(步骤S14：是)的情况下，图像处理部14确定使用差分图像指尖提取处理的提取结果(步骤S15)，并且最终结果被输出至应用程序执行部11(步骤S17)。另一方面，在图像处理部14确定没有提取指尖(步骤S14：N)的情况下，图像处理部14确定使用阴影图像指尖提取处理的提取结果(步骤S16)，并且最终结果被输出至应用程序执行部11(步骤S17)。
因此，考虑到作为主处理的差分图像指尖提取处理和作为副处理的阴影图像指尖提取处理，最终选择这些提取处理中的一个的提取结果。
下面，将详细描述阴影图像指尖提取处理和差分图像指尖提取处理。
首先，参照图8至16，将详细描述阴影图像指尖提取处理。这里，图8示出了阴影图像指尖提取处理的细节的流程图，而图9示出了阴影图像指尖提取处理中状态的透视图，以及图10示意性地示出了阴影图像指尖检测处理的拾取图像的实例。此外，图11示出了下面将要描述的阴影图像指尖提取处理的偏移噪声处理中的图像实例(图像R、图像A、图像A’以及图像A”)的照片，而图12示出了阴影图像指尖提取处理的偏移噪声处理之后的图像实例(图像A”、图像(-A”)、图像(MA”)、图像(-MA”)、图像D和图像E)的照片，以及图像13示出了图12中示出的图像实例的一部分中图像位置和光接收输出电压的曲线图。
首先，在偏移噪声处理中(图8中的步骤S120和步骤S121，参照图11)，光接收驱动电路13基于已经获取的图像A(阴影图像)和图像R(复位图像)生成图像A’＝A-R作为图像A和图像R之间的差分图像(步骤S120，参照图11)。换言之，通过从阴影图像A移除对应于偏移噪声的复位图像R来生成经噪声处理的图像A’。下面，光接收驱动电路13通过将预定的偏置值(bias)加入经噪声处理的图像A’来生成经噪声处理的图像A”＝A’+bias(步骤S121，参照图11)。在生成的经噪声处理的图像A”被暂时存入帧存储器13A之后，经噪声处理的图像A”作为拾取图像被输出至图像处理部14。从而，完成加上预定的偏置值bias的偏移噪声处理。此外，下文将描述加上偏置值bias的原因。
其次，执行偏移噪声处理之后的原来的阴影图像指尖提取处理(步骤S122至S129，参照图12)。首先，图像处理部14生成从光接收驱动电路13获取的经噪声处理的图像A”的反转图像(-A”)(步骤S122，参照图12)。此外，图像处理部14生成原来的图像A”的移动平均图像(MA”)(步骤S123，参照图12)。
为生成移动平均图像(MA”)，更具体地，例如，参照图14(A)和图14(B)，在经噪声处理的图像A”中，在包括了一个做标记的像素30A及其周边像素的像素区域30(这里是(2a+1)个像素×(2a+1)个像素的像素区域)中执行像素数据的平均运算处理，并且，例如，如图15所示，当在包括了下一做标记的像素的像素区域的平均运算处理中反映运算结果时，顺序地移动做标记的像素，以在整个拾取图像上执行平均运算处理。此外，最好是基于所要检测物体的期望大小(目标大小a)来设置平均运算处理中的像素区域50的大小(这里是(2a+1)个像素×(2a+1)个像素)(例如，将像素区域50的大小设置为等于目标大小a)。尽管将在下文中描述这些细节，但是这是因为当像素区域50具有这种大小(例如，不像图10中示出的图像20A(对应于下面将要描述的图像D或图像E))时，避免除指尖之外，拳头部分(由参考标记60A表示的部分)也作为接近物体被检测到。此外，例如，如图16所述，例如，可以按原样复制像素区域50的周边部分的像素数据，并可以用作平均运算处理中必要的实际像素区域50周围的区域51的像素数据。
接下来，图像处理部14从移动平均图像(MA”)通过计算确定随后使用(步骤S127)的预定阈值TH(步骤S124)。更具体地，基于移动平均图像(MA”)中的最亮像素(具有最大像素数据)的像素数据和原本的图像(A”)中的最暗像素(具有最小的像素数据)的像素数据来确定阈值TH(例如，通过计算这些像素数据的平均值)。此外，假设接近物体通常不会有同时接触显示区域21的四个角，可以将这四个角上的像素的像素数据的平均值指定为最亮像素(具有最大像素数据)的像素数据。
接下来，图像处理部14产生所生成的移动平均图像(MA”)的反转图像(-MA”)(步骤S125，参照图12)，并产生原本图像A”的反转图像(-A”)与移动平均图像(MA”)的反转图像(-MA”)之间的差分图像，即，移动平均图像(MA”)和原本图像(A”)之间的差分图像D＝(-A”)-(-MA”)＝(MA”)-A”(步骤S126，参照图12)。然后，图像处理部14通过从图像D的每个像素数据中减去步骤S124中算得的阈值TH而产生图像E＝D-TH(步骤S125，参照图12)。
这里，如图12中示出的图像D和E以及图13中示出的图像D和E中的光接收输出电压波形实例Gd和Ge所示，仅检测到大小与目标大小相同的指尖部分，而并未检测到比指尖大的拳头部分。此外，图13中示出的光接收输出电压波形实例Ga、G(-a)、Gma和G(-ma)分别对应于原本图像A、原本图像A的反转图像(-A)、移动平均图像MA以及移动平均图像MA的反转图像(-MA)中的光接收输出电压实例。
接下来，图像处理部14执行在生成的图像E上确定接触(接近)中心的重心计算处理(步骤S128)和接触(接近)中心确定处理(步骤S129)。因而，获取诸如物体的位置、形状、大小等的物体信息，然后完成阴影图像指尖提取处理。
因此，在阴影图像指尖提取处理中，首先，从通过使用外部光拾取物体的阴影图像而获取的阴影图像A中减去在图像拾取单元被复位的状态下通过拾取图像而获取的复位图像R，以从阴影图像中移除偏移噪声，从而生成经噪声处理的A’和A”。
此外，基于通过执行偏移噪声处理而生成的经噪声处理的图像A”的移动平均图像MA”与原本的经噪声处理的图像A”之间的差分图像D执行指尖提取处理，所以执行考虑到偏移噪声的指尖提取处理，并且在上述情况下，仅检测大小与目标大小相同的物体，从而不发射显示光(例如，在诸如作为显示单元的液晶显示单元是半透明液晶显示单元并且在户外使用时，在背光15持续关闭的情况下，将黑色图像显示在I/O显示面板20等的情况下)，检测并获取关于接近物体的物体信息。
此外，在阴影图像指尖提取处理中，可以获取关于同时放置在I/O显示面板20的显示区域21上的多个接触或接近物体的物体信息(诸如，每个物体的位置、形状、大小等)。
下面，参照图17至21，将详细描述差分图像指尖提取处理。这里，图17示出了差分图像指尖提取处理的细节的流程图，而图18示出了差分图像指尖提取处理中的图像(图像R、图像B、将加以描述的图像B”、图像A”、图像B”以及图像C)实例的照片。
首先，如上所述，在作为背光为开期间的有光期间中的从时刻t3到时刻t4的期间中，由I/O显示面板20执行拾取接近物体图像的处理，以获取图像B(利用照射光(显示光)的图像)(图17中的步骤S130，参照图18)。
其次，在偏移噪声处理中(图17中的步骤S131和步骤S132，参照图18)，光接收驱动电路13基于已经获取的图像B(利用显示光的图像)和图像R(复位图像)生成作为图像B与图像R之间的差分图像的图像B’＝B-R(步骤S131，参照图18)。换言之，通过从利用显示光的图像B中移除对应于偏移噪声的复位图像R来生成经噪声处理的图像B’。然后，光接收驱动电路13通过将预定的偏置值(bias)加入经噪声处理的图像B’来生成经噪声处理的图像B”＝B’+bias(步骤S132，参照图18)。在将生成的经噪声处理的图像B”暂时存储在帧存储器13A之后，经噪声处理的图像B”作为拾取图像被输出至图像处理部14。因而，完成了加入预定的偏置值的偏移噪声处理。此外，下面将描述添加偏置值bias的原因。
再次，执行偏移噪声处理之后的原本的差分图像指尖提取处理(步骤S133至S135，参照图18)。首先，图像处理部14产生已生成的经噪声处理的图像B”和已经在阴影图像指尖提取处理的步骤S121中生成的经噪声处理的图像A”之间的差分图像C＝B”-A”(步骤S133，参照图18)。
之后，图像处理部14执行确定生成的差分图像C的重心的运算处理(步骤S134)，以确定接触(接近)中心(步骤S135)。
因此，在差分图像指尖提取处理中，基于通过从使用显示光生成的图像B中移除偏移噪声而获取的经噪声处理的图像B”与通过从不使用显示光而使用外部光生成的图像A中移除偏移噪声而获取的经噪声处理的图像A”之间的差分图像C来执行指尖提取处理。因此，差分图像C中也移除了偏移噪声。此外，通过基于这种差分图像C的指尖提取处理，如图18中示出的差分图像C的照片图像实例所示，移除外部光亮度的影响，在没有外部光的亮度的影响下检测出接近物体。
更具体地，例如，如图19(A)中截面图所示，在入射的外部光较强的情况下，背光15打开的状态下光接收输出电压Von1在除手指接触点以外的点处具有对应于外部光亮度的电压值Va(如图19(B)所示)，而在手指接触点处，光接收输出电压Von1被减少至对应于这时来自背光的光在接触的物体(手指)表面上反射的反射率的电压值Vb。另一方面，背光15关闭的状态下的光接收输出电压Voff1在除手指接触的点以外的点处具有对应于外部光亮度的电压值Va(如同在背光15打开的状态下)；然而，手指接触的点处于阻断外部光的状态下，光接收输出电压Voff1具有在该点上处于很低电平的电压值Vc。
此外，如图20(A)中的截面图所示，在入射的外部光弱(非常小)的状态下，如图20(B)所示，背光15开启状态下的光接收输出电压Von2具有在除手指接触点以外的点处具有处于很低电平的电压值Vc，因为没有外部光，而在手指接触点处，光接收输出电压Von2增加至对应于这时来自背光的光被接触点的物体(手指)表面反射的反射率的电压值Vb。另一方面，背光15关闭状态下的光接收输出电压Voff2保持在很低电平的电压值Vc上，且在手指接触点和其他点处均没有变化。
因此，可以从图19和图20之间的比较中看到，在物体不接触面板的显示区域21的点上，光接收输出电压在存在外部光和不存在外部光的情况之间是大不相同的。然而，在手指接触点上，不考虑外部光存在与否，背光打开时的电压Vb和背光关闭时的电压Vc基本处于相同状态。因此，当背光15打开时的电压与背光15关闭时的电压之间的差被检测到时，存在电压之间的确定的或更大的差(诸如电压Vb和电压Vc之间的差)的点可以被确定为手指接触或接近的点，且即使在进入面板的外部光很强的情况下，或存在很少外部光的情况下，在统一的条件下，可以很好地检测到接触或接近。
此外，如图21(A)和图21(B)中所示，如下确定检测光接收输出电压所必要的动态范围。这里，图21(A)示出了面板的显示区域21的接触状态，其中，手指f接触面板表面，而具有基本为100％反射率的圆形物体m被放置在显示区域21上。在此状态下，在手指f和物体m均被扫描的线上的光接收输出电压变为图21(B)中示出的状态。此外，在图21(B)中，电压Von3是背光打开状态下的光接收输出电压，而电压Voff3是背光关闭状态下的光接收输出电压。
如图21(B)所示，在放置了具有基本为100％的反射率的物体m的点上，在背光打开时检测到的高于电压Vd的电压处于没有必要观测的电平Vy，而低于该电平的范围Vx是用于检测所必需的动态范围。因此，应理解，没有必要观测的电平Vy的信号可能溢出，使得被认为是相同电平。
此外，在差分图像指尖提取处理中，如同在阴影图像指尖提取处理的情况下，也可以获取关于同时放置在I/O显示面板20的显示区域21上的多个接触或接近物体的信息(诸如每个物体的位置、形状、大小等)。
因此，在根据本实施例的显示及图像拾取装置中，考虑到上述阴影图像指尖提取处理和上述差分图像指尖提取处理，将通过这些处理的检测接近物体的结果中的一个从图像处理部14输出至应用程序执行部11作为最终结果。
图22通过比较示出了阴影图像指尖提取处理和差分图像指尖提取处理中的指尖提取处理的特征。在图中，“○”表示在相应条件下的指尖提取良好，“△”表示在相应条件下指尖提取处理根据环境的不同而变为良好或不好，而“×”表示在相应条件下的指尖提取处理基本上不好。从图中可以看到，在明亮环境中，阴影图像指尖提取处理更适用于指尖提取处理，故使用阴影图像指尖提取处理的提取结果，但另一方面，在背光15关闭，且不发射显示光，或者处于黑色显示状态的情况下，不能够由差分图像指尖提取处理执行提取，所以在这种情况下，考虑使用阴影图像指尖提取处理的提取结果。
此外，在根据本实施例的显示及图像拾取装置中，从通过使用外部光或显示光拾取接近物体的图像而获取的阴影图像A和利用显示光的图像B中减去通过在图像拾取单元被复位的状态下拾取图像而获取的复位图像R，以从阴影图像A和利用显示光的图像B中移除偏移噪声，从而生成经噪声处理的图像A’和B’。之后，基于经噪声处理的图像A’和B’，考虑到偏移噪声，获取关于接近物体的物体信息。
此外，在根据本实施例的显示及图像拾取装置中，进一步基于通过将预定的偏置值(bias)加入上述经噪声处理的图像A’和B’而生成的经噪声处理的图像A”和B”来获取关于接近物体的物体信息。因此，如下文所述，当经噪声处理的图像存储在帧存储器13A中时，可以避免像素的某些图像拾取数据被舍入为0(遗失)。
更具体地，在从阴影图像A或利用显示光的图像B中减去复位图像R的情况下，这种情况中的值一般被认为是正值；然而，根据像素的不同，该值也可能是负的。我们认为这是因为主要在暴露时间产生的图像拾取单元(光接收传感器31c)中的暗电流变化。另一方面，帧存储器13A经常仅存储正值，并且在产生负值的情况下，该值被舍入为0。这时，在期望最终被取出的信号的电平很小，并且该电平受诸如漂移的影响舍入为0的情况下，可能影响处理结果。该结果具有很大影响，尤其是在取出差分图像C的信号的处理的情况下，且基本上，经噪声处理的图像B’(＝B-R)和经噪声处理的图像B’(＝B-R)之间的差分图像C是C＝B’-A’＝B-A，故差分图像C应该等于噪声处理前的图像B和A之间的差分图像(＝B-A)。然而，在经噪声处理的图像B’和A’上执行上述舍入处理的情况下，取决于像素，不考虑信号的存在与否，该值被舍入为0。
这里，参照图23至26，将在下文中详细描述将预定的偏置值(bias)加入经噪声处理的图像A’和B’的原因。
在像素被标记的情况下，假定复位图像R中的像素的信号输出电压是Nr，阴影图像A和利用显示光的图像B的暴光期间在像素中生成的噪声分别为Na和Nb，阴影图像A和利用显示光的图像B中像素的信号输出电压分别为Sa和Sb，而通过当背光15打开时从接近物体反射而获取的信号组分是S，信号输出电压Sa和Sb由下面的公式(1)和(2)表示(参照图23(A)和图25(A))。另外，信号组分S是极小的信号。
Sa＝Nr+Na+0...(1)
Sb＝Nr+Nb+S...(2)
一般地，与信号输出电压Nr相比，信号输出电压Nr的变化很大，而信号输出电压Na和Nb的变化很小。因此，公式(1)中的(Nr+Na)和公式(2)中的(Nr+Nb)被设计为恒正的值。这里，当考虑利用显示光的图像B和阴影图像A之间的差分图像(＝B-A)时，像素中的信号输出电压值由下面的公式(3)表示，而作为噪声，(Nb-Na)保留。然而，在获取利用显示光的图像B和阴影图像A时的暴光时间被设置为基本上彼此相等的情况下，在这些情况下生成的暗电流基本相同，所以作为噪声组分的(Nb-Na)约为0，因而可以最终取出很小的信号组分S。
Sb-Sa＝S+(Nb-Na)...(3)
另一方面，在根据本实施例的显示及图像拾取装置中，在噪声组分Nr从信号输出电压Sa和Sb中减去以获取经噪声处理的图像A’和B’之后，确定差分图像C(＝B”-A”)。这里，经噪声处理的图像A’和B’的像素中的信号输出电压分别由下面的公式(4)和公式(5)表示(参照图23(B)和25(B))。噪声组分Na和Nb很小，但是根据像素，噪声组分Na和Nb显示正值或负值，所以舍入处理之后的值在公式(4)以及公式(5)中是从0到Na(大约有二分之一的可能性为0)的值，在信号组分S的振幅等于噪声组分Nb的振幅的情况下，该值在0到(S+Nb)的范围中。因此，在经噪声处理的图像A’和B’中，信号输出电压根据像素位置变为0，并且如图24中的图像A’1和图26中的图像B’1所示，根据像素位置可能遗失信号。此外，经噪声处理的图像A’和B’之间的差分图像中像素的信号输出电压((Sa-Nr)-(Sb-Nr))的值分布在从0到(S+(Nb-Na))≈S的范围内，根据像素提取从0到S范围内的值，因而发生变化。当这种变化发生时，在阴影图像指尖提取处理或差分图像指尖提取处理中，物体信息的检测精度下降。
Sa-Nr＝Na  ...(4)
Sb-Nr＝Nb+S...(5)
因此，在根据本实施例的显示及图像拾取装置中，为避免上述问题，如下面的公式(6)和(7)所示，优选使用通过将用于避免舍入处理的信号损失的充足的偏置值(bias)与经噪声处理的图像A’和B’相加而生成的经噪声处理的图像A”和B”。此外，这样的一定的偏置值(bias)可以确定为使图23(B)和25(B)中每个像素位置的信号恒为正的值，即，当显示及图像拾取装置周围的环境处于黑暗状态时，可以基于通过从由图像拾取处理获取的黑暗状态图像中移除偏移噪声而获得的图像来确定偏置值。
经噪声处理的图像A”＝A’+bias＝A-R+bias...(6)
经噪声处理的图像B”＝B’+bias＝B-R+bias...(7)
此外，经噪声处理的图像A”和B”中的像素的信号输出电压在下面的公式(8)和(9)中示出，并显示正值(避免信号输出电压的舍入)(参照图24中的图像A”1和图26中的图像B”1)。因此，差分图像C(＝B”-A”)中的像素的信号输出电压如下面的公式(10)所示，且与利用显示光的图像B和公式(3)中示出的阴影图像A之间的差分图像(＝B-A)相同。因此，在基于差分图像C的差分图像指尖提取处理中，避免了舍入处理引起的物体信息检测精度的下降，并且可以从公式(3)和公式(10)之间的比较中看出，不受加入偏置值(bias)的影响，获取相同的结果。
Sa-Nr+bias＝Na+bias＞0...(8)
Sb-Nr+bias＝Nb+S+bias＞0...(9)
(Nb+S+bias)-(Na+bias)＝S+(Nb-Na)...(10)
另一方面，如上所述，在阴影图像指尖提取处理中，基于经噪声处理的图像A”、经噪声处理的图像A”的移动平均图像(MA”)以及预定的阈值TH，由图像E(＝(MA”)-A”-TH)检测物体信息。这里，当考虑移动平均图像(MA”)中的偏置值(bias)的影响时，统一添加至整个拾取图像的偏置值(bias)还统一添加至移动平均图像(MA”)，所以在图像E中，消除了加入偏置值(bias)的影响。此外，在阴影图像指尖提取处理中，基于不执行舍入处理的经噪声处理的图像A”检测物体信息，所以避免了舍入处理引起的物体信息的检测精度降低。
下面，参照图27至30，将描述由上述指尖提取处理检测的使用物体位置信息等的应用程序执行部11的应用程序的一些执行实例。
首先，图27(A)中示出的实例是当指尖61接触I/O显示面板20的表面时，指尖61接触点的轨迹作为画线611显示在屏幕上的实例。
此外，图27(B)中示出的实例是使用手的形状的手势识别。更具体地，接触(或接近)I/O显示面板20的手62的形状被识别，而经识别的手的形状被显示为图像，并通过显示物体的移动621在图像上执行一些处理。
此外，图28中示出的实例是从闭合状态的手63A变化到张开状态的手63B的变化，在这两种状态下接触或接近的手由I/O显示面板20进行图像识别，以基于这些图像识别执行处理。当基于这些识别执行处理时，例如，可以执行诸如放大的指令。此外，由于可以执行这种指令，例如，可以将I/O显示面板20连接至个人计算机，并且在计算机上的切换指令操作等可以以更自然的方式由这些图像识别输入。
此外，例如，如图29所示，当准备了多个I/O显示面板20，且多个I/O显示面板20通过一些传输装置彼此连接时，将通过检测接触或接近一个I/O显示面板20的物体所获取的图像输出并显示在另一I/O显示面板20上，从而操作I/O显示面板20的用户可以彼此通信。换言之，如图29中所示，准备两个I/O显示面板20，可以执行将作为一个面板上识别的图像的手65的形状传输至另一面板以便在另一面板上显示手形642的处理，或者向其他面板传输并显示由于手64接触一个面板而显示的轨迹641的处理。因此，将描绘状态作为动画传输以及向其他用户传输手写字符、符号等的I/O显示面板20可以是潜在的新通信工具。作为这样的例子，我们期望，例如，I/O显示面板20应用于手机等的显示面板。
此外，例如，如图30所示，画笔66用于接触I/O显示面板20的表面以便写出字符，而画笔66接触的点作为图像661显示在I/O显示面板20上，从而使用画笔进行手写输入是可能的。这种情况下，可以识别和显示画笔纤细的接触。在相关技术中的手写识别里，例如，在一些数字转换器中，通过检测电场在显示器中反射专用笔的倾度；然而，在本实例中，检测真实的画笔接触的表面，从而信息输入具有更为真实的感觉。
如上所述，在本实施例中，在图像拾取单元被初始化的状态(复位状态)下通过图像拾取处理获取偏移噪声(复位图像R)，基于拾取图像(阴影图像A或利用显示光的图像B)并考虑到偏移噪声来获取关于接近物体的物体信息，所述拾取图像是通过拾取接近物体的图像来获取的，所以装置中的偏移噪声轻易的减少，同时可以获取关于接近物体的物体信息。因此，可以容易地提高接触或接近物体的检测精度。
此外，生成通过使用显示光拾取接近物体的图像而获取的图像B(利用显示光的图像)与通过拾取接近物体的阴影图像而获取的图像A(阴影图像)之间的差分图像C，并考虑图像A(阴影图像)和差分图像C来检测关于接近物体的物体信息，所以不考虑当时的使用条件，例如，周围条件或显示光强度，也可以执行物体的检测。
此外，通过利用存在于一个帧显示期间之前的复位状态期间来获取复位图像(复位噪声)，所以没有必要改变相关技术的控制时序。因此，即使在使用比Si基板的电子移动性更小的非Si基板的实施例的情况下，也可以充分确保图像A、B和R的读出期间以及指尖提取期间。
此外，通过使用通过将预定的偏置值(bias)与经噪声处理的图像A’和B’相加而获取的经噪声处理的图像A”和B”来执行指尖提取处理，所以可以避免舍入处理的信号损失，并可以进一步提高物体信息的检测精度。
此外，基于经噪声处理的图像A”生成移动平均图像A”，通过使用移动平均图像MA”和原本的图像A”之间的差分图像D以及通过从差分图像D的每个像素数据中减去阈值TH而生成的图像E来检测物体信息，而平均运算处理中的像素区域50的大小被设置为等于所要检测物体的预计大小(目标大小)；因此，例如，仅检测与目标大小相同的指尖部分，而大于指尖的拳头部分可以避免被检测到，所以可以执行更为可靠的检测处理。
此外，在一个操作期间(一个帧显示期间)内，在获取图像B”(利用显示光的图像)之前获取图像A”(阴影图像)；因此，例如，如图7所示，可以在执行差分图像指尖提取处理之前确保要占用一些时间的移动平均图像(MA”)的运算操作的执行时间，并与在获取图像A之前获取图像B的情况相对比，可以在短时间内执行整个处理。
此外，在作为单位操作周期期间的一帧显示期间内，仅在无光期间和背光15打开的有光期间均有的复位状态中的一个复位状态(更具体地，在本实施例中是背光15关闭的无光期间的复位状态)下执行获取复位图像R(复位噪声)的处理，所以与在两个复位状态下均执行获取处理的情况相比较，可以减小装置的能耗。
另外，在本实施例中，差分图像指尖提取处理是主处理，而阴影图像指尖提取处理是副处理；然而，在一些情况下，差分图像指尖提取处理可以是副处理，而阴影图像指尖提取处理可以是主处理。
[第二实施例]
下面，将描述本发明的第二实施例。根据本实施例的显示及图像拾取装置基于预定的指标选择差分图像指尖提取处理和阴影图像指尖提取处理中的一个，并根据选择的图像来执行指尖提取处理。另外，其他配置和操作与第一实施例中的相同，故下文中不再详细描述。
图31示出了根据本实施例的指尖提取处理的流程图。从图中可以看到，当如同第一实施例分别获取图像R(复位图像)和图像A(阴影图像)时(步骤S20和S21)，从图22中示出的比较图表可以看出，根据图像处理部14所处的环境，选择性地执行确保指尖提取处理的处理(步骤S22和S26)。
更具体地，在背光持续关闭的情况下，当显示黑色图像时，以及非黑暗环境的情况下，有选择地执行阴影图像指尖提取处理(步骤S26)以输出最终结果(步骤S27)。此外，由阴影图像A(或经噪声处理的图像A’或经噪声处理的图像A”)中的像素数据的大小确定环境黑暗与否，在像素数据很小的情况下，就确定环境是很暗的。
另一方面，在背光不是持续关闭的情况下，当不显示黑色图像时，以及在环境很黑暗的情况下，选择性地执行差分图像指尖提取处理(步骤S25)以输出最终结果(步骤S27)。
如上所述，在本实施例中，通过与第一实施例中的那些相同的功能可以获取相同的效果。更具体地，装置中的偏移噪声被轻易减少，同时可以获取关于接近物体的物体信息，并可以轻易提高接触或接近物体的检测精度。
此外，基于预定的指标选择差分图像指尖提取处理与阴影图像指尖提取处理中的一个，并基于所选的图像执行指尖提取处理，故可以应用所述指尖提取处理中的适当处理。因此，与第一实施例相比，第二实施例可以对应于多种使用条件，并可以更为可靠地执行提取处理。
[第三实施例]
下面，将描述本发明的第三实施例，根据本实施例的显示及图像拾取装置在任何情况下均执行差分图像指尖提取处理和阴影图像指尖提取处理，并通过使用由图像A(阴影图像)和差分图像C合成的图像来执行指尖提取处理。另外，其他构成和操作与第一实施例中的相同，因而不再描述。
图32示出了根据本实施例的指尖提取处理的流程图。从图中可以看到，如同第一和第二实施例的情况，当获取图像R(复位图像)和图像A(阴影图像)(步骤S30和步骤S31)时，除重心计算处理和接触(接近)中心确定处理以外，分别执行差分图像指尖提取处理和阴影图像指尖提取处理(步骤S32和步骤S33)。
接下来，例如，如图33所示，生成由通过差分图像指尖提取处理生成的差分图像C以及通过阴影图像指尖提取处理生成的图像E合成的合成图像F＝α×C+E(步骤S34)。另外，α表示预定的加权系数。
然后，如同第一实施例的情况，执行重心计算处理(步骤S35)、接触(接近)中心确定处理(步骤S36)以及最终结果输出处理(步骤S37)。
如上所述，在本实施例中，可以通过与第一和第二实施例中的那些相同的功能来获取相同的效果。更具体地，装置中的偏移噪声被轻易减小，同时可以获取关于接近物体的物体信息，并可以轻易提高接触或接近物体的检测精度。
此外，在任何情况下，既执行差分图像指尖提取处理又执行阴影图像指尖提取处理，生成由通过差分图像指尖提取处理生成的差分图像C和通过阴影图像指尖提取处理生成的图像E合成的合成图像F＝α×C+E，并基于合成图像F执行指尖提取处理；因此，例如，如图33所示，诸如指尖的图像可以被更为清晰的检出。因此，与第一实施例相比，可以更可靠地执行提取处理。
虽然参照第一至第三实施例描述了本发明，但是本发明并不限于这些实施例，而可以以不同的方式修改。
例如，在上述实施例中，描述了帧存储器13A仅存储正值的情况；然而，在帧存储器能够存储负值，并且不执行舍入处理的情况下，就没有必要将偏置值(bias)加入经噪声处理的图像A’和B’。在这种构成中，偏移噪声处理可以更为简单，且可以更为容易地执行检测物体信息的处理。
此外，在上述实施例中，描述了当生成图像E(＝D-TH)时使用的阈值TH是固定值的情况；然而，例如，在阈值TH由移动平均图像(MA”)的函数表示，即，TH＝f(MA”)，与移动平均图像(MA)函数的情况相比较，偏置值(bias)被加入，故可以移除偏置值的影响(可以使用TH＝f(MA”-bias))。在这种构成中，如同上述实施例的情况，可以避免由于加入偏置值(bias)的影响。
此外，在上述实施例中，描述了在每个单位操作周期期间(一个帧显示期间)执行获取复位图像R(偏移噪声)的处理；然而，可以仅在多个单位操作周期期间中的一个复位状态时执行获取偏移噪声的处理，达到偏移噪声不随时间变化的程度。在这种结构中，与上述实施例相比较，可以进一步减少装置的能耗。
此外，在根据本发明的移动平均图像的生成处理中，当执行平均图像处理时，可以减少目标像素，并可以对减少的目标像素执行运算操作以减少处理。例如，如图34(A)和图34(B)所示，当沿一个像素方向顺序地移动被标记的像素时，仅对所述一个像素方向上的像素执行平均运算处理，之后，当沿另一个像素方向顺序地移动被标记的像素时，可以仅对所述另一个像素方向上的像素执行平均运算处理。此外，可以通过使用如图35(A)和图35(B)中所示的运算电路70至73来执行预定方向的点加(dot addition)处理。
此外，在上述实施例中，从原本图像A生成移动平均图像MA，并基于所要检测物体的预计大小(目标大小a)设置移动平均运算处理中像素区域50的大小，从而在移动平均图像MA中，具有比像素区域50更大尺寸的图像，即，比像素区域50的空间频率更高的图像(这里是指尖图像)被最终移除，比像素区域50的空间频率更低的图像(这里是阴影图像)是通过确定移动平均图像MA和原本图像A之间的差分而移除的，并且仅提取了具有高空间频率的图像(这里是指尖图像)。换言之，在上述实施例中，作为这种高通滤波器的例子以及允许最简单且高速的处理的方法，描述了确定移动平均图像MA和原本图像A之间的差分的方法。因此，确定差分的方法不限于上述实施例中描述的方法，而且可以通过使用另一高通滤波器同时执行低通滤波处理和差分处理。
此外，在上述实施例中，描述了I/O显示面板20中，显示单元是液晶显示单元，并且单独设置光接收单元的情况；然而，如图36和图37所示的显示及图像拾取装置，例如，如有机EL(电致发光)单元、能够按时间划分执行光发射操作和光接收操作的光发射/接收单元(显示图像拾取单元)可以组成I/O显示面板(I/O显示面板80)。在这种构成中，可以获得与上述实施例相同的效果。另外，这种情况下的显示光不发射的期间是显示图像拾取单元的光发射操作不被执行的期间。
此外，在上述实施例中，描述了包括显示图像拾取面板(I/O显示面板20)的显示及图像拾取装置，所述显示图像拾取面板包括多个显示单元和多个图像拾取单元；然而，本发明可使用包括图像拾取面板的图像拾取装置，所述图像拾取面板包括多个图像拾取单元，而不包括显示单元。因此，更典型地，用于差分图像指尖提取处理的图像B并不局限于利用显示光的图像，而图像B可以是通过使用来自图像拾取面板的照射光而生成的利用照射光的图像。

Claims (18)

1.一种图像拾取装置，其特征在于，包括：
图像拾取面板，包括多个图像拾取单元；
图像拾取控制装置，用于控制所述图像拾取单元，以便通过在所述图像拾取单元被初始化的状态下的图像拾取处理获取偏移噪声；以及
图像处理装置，用于基于通过拾取接近物体的图像而获取的拾取图像并考虑到所述偏移噪声，来获取作为关于所述接近物体的位置、形状和大小中的至少一个的信息的物体信息。
2.根据权利要求1所述的图像拾取装置，其特征在于，
所述图像处理装置基于通过拾取所述接近物体的阴影的图像而获取的阴影图像并考虑到所述偏移噪声，来获取所述物体信息。
3.根据权利要求2所述的图像拾取装置，其特征在于，
所述图像处理装置基于通过从所述阴影图像移除偏移噪声而获取的经噪声处理的图像，来获取所述物体信息。
4.根据权利要求3所述的图像拾取装置，其特征在于，
所述图像处理装置基于通过将预定的偏置值加入所述经噪声处理的图像而获取的图像，来获取所述物体信息。
5.根据权利要求4所述的图像拾取装置，其特征在于，
基于通过从黑暗状态图像移除偏移噪声而获取的图像来确定所述偏置值，所述黑暗状态图像是通过在所述图像拾取装置的周围环境为黑暗的状态下的图像拾取处理而获取的。
6.根据权利要求2所述的图像拾取装置，其特征在于，
所述图像处理装置基于所述阴影图像和利用照射光的图像并考虑到所述偏移噪声来获取所述物体信息，所述利用照射光的图像是通过使用来自所述图像拾取面板的照射光拾取所述接近物体的图像来获取的。
7.根据权利要求6所述的图像拾取装置，其特征在于，
所述图像处理装置基于通过从所述利用照射光的图像中移除所述偏移噪声而获取的经噪声处理的图像与通过从所述阴影图像中移除所述偏移噪声而获取的经噪声处理的图像之间的差分图像来获取所述物体信息。
8.根据权利要求7所述的图像拾取装置，其特征在于，
所述图像处理装置基于通过将预定的偏置值加入通过从所述利用照射光的图像中移除所述偏移噪声而获得的经噪声处理的图像而获取的图像，与通过将所述偏置值加入通过从所述阴影图像中移除所述偏移噪声而获取的经噪声处理的图像而获取的图像之间的差分图像来获取所述物体信息。
9.根据权利要求8所述的图像拾取装置，其特征在于，
基于在所述图像拾取装置周围的环境是黑暗的状态下进行图像拾取处理而获取的黑暗状态图像与所述初始化图像之间的差分图像来确定所述偏置值。
10.根据权利要求6所述的图像拾取装置，其特征在于，
所述照射光是来自所述图像拾取面板的显示光。
11.根据权利要求6所述的图像拾取装置，其特征在于，
单位操作周期被配置为包括获取所述阴影图像的处理和获取所述利用照射光的图像的处理，并且，所述图像拾取单元在获取所述阴影图像和所述利用照射光的图像的处理之前被初始化，以及
所述图像拾取控制装置执行控制，以使获取所述偏移噪声的处理仅在每单位操作周期中获取所述阴影图像和获取所述照射光的处理中的任意一个之前的初始化状态下执行。
12.根据权利要求6所述的图像拾取装置，其特征在于，
单位操作周期被配置为包括获取所述阴影图像的处理和获取所述利用照射光的图像的处理，并且，所述图像拾取单元在获取所述阴影图像和所述利用照射光的图像的处理之前被初始化，以及
所述图像拾取控制装置执行控制，以使获取所述偏移噪声的处理仅在多个单位操作周期内的一次初始化状态下执行。
13.根据权利要求1所述的图像拾取装置，其特征在于，
所述图像拾取面板中的图像拾取单元是在非硅(Si)基板上形成的。
14.根据权利要求13所述的图像拾取装置，其特征在于，
所述非硅基板是玻璃基板或塑料基板。
15.一种显示及图像拾取装置，其特征在于，包括：
显示图像拾取面板，包括多个显示单元和多个图像拾取单元；
图像拾取控制装置，用于控制所述图像拾取单元，以便通过在所述图像拾取单元被初始化的状态下的图像拾取处理来获取偏移噪声；
图像处理装置，用于基于通过拾取接近物体的图像来获取的拾取图像并考虑到所述偏移噪声，来获取作为关于所述接近物体的位置、形状和大小中的至少一个的信息的物体信息；以及
显示控制装置，用于控制所述显示单元，以使所获取的物体信息显示在所述显示图像拾取面板上。
16.根据权利要求15所述的显示及图像拾取装置，其特征在于，
所述显示图像拾取面板中的所述显示单元和所述图像拾取单元是在非硅(Si)基板上形成的。
17.一种图像拾取处理装置，作为处理装置，应用于包括多个图像拾取单元的图像拾取面板，所述图像拾取处理装置的特征在于，包括：
图像拾取控制装置，用于控制所述图像拾取单元，以便通过在所述图像拾取单元被初始化的状态下的图像拾取处理来获取偏移噪声；以及
图像处理装置，用于基于通过拾取接近物体的图像而获取的拾取图像并考虑到所述偏移噪声，来获取作为关于所述接近物体的位置、形状和大小中的至少一个的信息的物体信息。
18.根据权利要求17所述的图像拾取处理装置，其特征在于，
所述图像拾取面板中的图像拾取单元是在非硅(Si)基板上形成的。
CN2008800001740A 2007-02-23 2008-02-19 图像拾取装置、显示及图像拾取装置和图像拾取处理装置 Expired - Fee Related CN101542422B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP043317/2007 2007-02-23
JP2007043317 2007-02-23
PCT/JP2008/052749 WO2008102767A1 (ja) 2007-02-23 2008-02-19 撮像装置、表示撮像装置および撮像処理装置

Publications (2)

Publication Number Publication Date
CN101542422A true CN101542422A (zh) 2009-09-23
CN101542422B CN101542422B (zh) 2013-01-23

Family

ID=39710044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800001740A Expired - Fee Related CN101542422B (zh) 2007-02-23 2008-02-19 图像拾取装置、显示及图像拾取装置和图像拾取处理装置

Country Status (4)

Country Link
US (1) US8319749B2 (zh)
JP (1) JP5093523B2 (zh)
CN (1) CN101542422B (zh)
WO (1) WO2008102767A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102131033A (zh) * 2010-01-15 2011-07-20 株式会社Pfu 图像读取设备和图像读取系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8311360B2 (en) * 2008-11-13 2012-11-13 Seiko Epson Corporation Shadow remover
US20100302207A1 (en) * 2009-05-27 2010-12-02 Lan-Rong Dung Optical Touch Control Method and Apparatus Thereof
JP2011086179A (ja) * 2009-10-16 2011-04-28 Sony Corp 情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器
US8605059B2 (en) * 2010-07-02 2013-12-10 Semiconductor Energy Laboratory Co., Ltd. Input/output device and driving method thereof
TWI524239B (zh) * 2010-10-08 2016-03-01 友達光電股份有限公司 判斷觸碰位置的方法
US20130088429A1 (en) * 2011-10-05 2013-04-11 Pantech Co., Ltd. Apparatus and method for recognizing user input
TWI587186B (zh) 2013-07-15 2017-06-11 Ying-Jia Xue Multi-function display
TWI505135B (zh) * 2013-08-20 2015-10-21 Utechzone Co Ltd 顯示畫面的控制系統、輸入裝置及控制方法
JP6553406B2 (ja) * 2014-05-29 2019-07-31 株式会社半導体エネルギー研究所 プログラム、及び情報処理装置
WO2017046865A1 (ja) * 2015-09-15 2017-03-23 株式会社ワコム タッチ検出方法、タッチ検出装置、及びタッチセンサコントローラ
US20190187800A1 (en) * 2017-12-19 2019-06-20 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Backlight embedded infrared proximity sensing and gesture control
TWI691888B (zh) * 2019-04-12 2020-04-21 宏碁股份有限公司 觸控式輸入裝置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0622722B1 (en) * 1993-04-30 2002-07-17 Xerox Corporation Interactive copying system
JP2002351615A (ja) * 2001-05-24 2002-12-06 Ricoh Co Ltd ディスプレイ装置
JP4200435B2 (ja) 2002-09-10 2008-12-24 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP4603271B2 (ja) 2004-01-28 2010-12-22 日本電気株式会社 画像入力装置
US7538759B2 (en) * 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US20060044282A1 (en) 2004-08-27 2006-03-02 International Business Machines Corporation User input apparatus, system, method and computer program for use with a screen having a translucent surface
KR101018751B1 (ko) * 2004-09-24 2011-03-04 삼성전자주식회사 표시 장치 및 그 구동 방법
US7800594B2 (en) * 2005-02-03 2010-09-21 Toshiba Matsushita Display Technology Co., Ltd. Display device including function to input information from screen by light
JP2006276223A (ja) * 2005-03-28 2006-10-12 Sony Corp 表示装置及び表示方法
JP4455391B2 (ja) * 2005-04-15 2010-04-21 キヤノン株式会社 座標入力装置及びその制御方法、プログラム
JP4455392B2 (ja) * 2005-04-15 2010-04-21 キヤノン株式会社 座標入力装置及びその制御方法、プログラム
US7538894B2 (en) * 2005-04-15 2009-05-26 Canon Kabushiki Kaisha Coordinate input apparatus, control method thereof, and program
JP4618026B2 (ja) * 2005-07-12 2011-01-26 ソニー株式会社 表示装置及び表示および受光を行う表示装置を用いた検出方法
WO2007013272A1 (ja) * 2005-07-28 2007-02-01 Sharp Kabushiki Kaisha 表示装置及びバックライト装置
US8610670B2 (en) * 2006-08-31 2013-12-17 Japan Display West Inc. Imaging and display apparatus, information input apparatus, object detection medium, and object detection method
US8638317B2 (en) * 2007-03-16 2014-01-28 Japan Display West Inc. Display apparatus and method for controlling the same
JP4835578B2 (ja) * 2007-11-09 2011-12-14 ソニー株式会社 表示撮像装置、物体検出プログラムおよび物体の検出方法
JP4915367B2 (ja) * 2008-02-27 2012-04-11 ソニー株式会社 表示撮像装置および物体の検出方法
WO2010047256A1 (ja) * 2008-10-21 2010-04-29 ソニー株式会社 撮像装置、表示撮像装置および電子機器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102131033A (zh) * 2010-01-15 2011-07-20 株式会社Pfu 图像读取设备和图像读取系统
CN102131033B (zh) * 2010-01-15 2013-10-23 株式会社Pfu 图像读取设备和图像读取系统
US8576462B2 (en) 2010-01-15 2013-11-05 Pfu Limited Image reading apparatus and image reading system

Also Published As

Publication number Publication date
US20100045811A1 (en) 2010-02-25
JP5093523B2 (ja) 2012-12-12
CN101542422B (zh) 2013-01-23
WO2008102767A1 (ja) 2008-08-28
JPWO2008102767A1 (ja) 2010-05-27
US8319749B2 (en) 2012-11-27

Similar Documents

Publication Publication Date Title
CN101542422A (zh) 图像拾取装置、显示及图像拾取装置和图像拾取处理装置
TWI393943B (zh) 顯示器及影像擷取裝置、物件偵測程式及偵測物件之方法
US8610670B2 (en) Imaging and display apparatus, information input apparatus, object detection medium, and object detection method
US8665223B2 (en) Display device and method providing display contact information based on an amount of received light
US8638317B2 (en) Display apparatus and method for controlling the same
KR101454210B1 (ko) 표시장치 및 표시 방법
JP4270248B2 (ja) 表示撮像装置、情報入力装置、物体検出プログラムおよび物体の検出方法
KR101547703B1 (ko) 촬상 장치, 표시 촬상 장치, 전자기기 및 물체의 검출 방법
CN101903853B (zh) 图像拾取装置、显示及图像拾取装置和电子装置
CN101266743B (zh) 显示装置及其控制方法
CN100442217C (zh) 显示设备以及显示方法
JP4630744B2 (ja) 表示装置
JP2008097172A (ja) 表示装置および表示方法
JP2011521331A (ja) 光学ベゼル付き対話型入力装置
JP2008257232A (ja) 表示装置及び表示装置の制御方法
CN101515213A (zh) 传感装置、显示装置、电子设备以及传感方法
WO2019024644A1 (zh) 接近检测方法、装置、存储介质及电子设备
CN101995994B (zh) 传感装置、驱动传感元件的方法以及电子单元
CN100416480C (zh) 包含输入传感器的显示装置及其驱动方法
JP4270247B2 (ja) 表示撮像装置、物体検出プログラムおよび物体の検出方法
JP4788755B2 (ja) 表示撮像装置、物体検出プログラムおよび物体の検出方法
JP2010191438A (ja) 表示装置及び表示方法
KR20100069345A (ko) 접촉 감지 기능이 있는 표시 장치 및 접촉 판단 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130123

Termination date: 20220219

CF01 Termination of patent right due to non-payment of annual fee