[go: up one dir, main page]

CN112313701A - 数据处理方法、图像显示方法、数据处理装置以及图像显示装置 - Google Patents

数据处理方法、图像显示方法、数据处理装置以及图像显示装置 Download PDF

Info

Publication number
CN112313701A
CN112313701A CN201980040231.6A CN201980040231A CN112313701A CN 112313701 A CN112313701 A CN 112313701A CN 201980040231 A CN201980040231 A CN 201980040231A CN 112313701 A CN112313701 A CN 112313701A
Authority
CN
China
Prior art keywords
user
emotion
transistor
light
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980040231.6A
Other languages
English (en)
Inventor
山崎舜平
久保田大介
及川欣聪
吉住健辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Energy Laboratory Co Ltd
Original Assignee
Semiconductor Energy Laboratory Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Energy Laboratory Co Ltd filed Critical Semiconductor Energy Laboratory Co Ltd
Publication of CN112313701A publication Critical patent/CN112313701A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/198—Contact-type image sensors [CIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of El Displays (AREA)
  • Image Analysis (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

抑制起因于感情变化的集中力的降低。适当地缓和人的感情变化。检测使用者的脸的一部分(尤其是眼睛或者眼睛及其附近)或全部，从所检测的脸的一部分或全部的数据抽出使用者的脸的特征，并且根据所抽出的脸的特征推断使用者的感情。然后，在所推断的感情例如为有可能降低集中力等的感情时，刺激使用者的视觉、听觉、触觉、嗅觉等以恢复使用者的集中力。

Description

数据处理方法、图像显示方法、数据处理装置以及图像显示 装置
技术领域
本发明的一个方式涉及一种图像显示方法。本发明的一个方式涉及一种图像显示装置。本发明的一个方式涉及一种表情识别技术。
注意，本发明的一个方式不局限于上述技术领域。作为本说明书等所公开的本发明的一个方式的技术领域的例子，可以举出半导体装置、显示装置、发光装置、蓄电装置、存储装置、电子设备、照明装置、输入装置、输入输出装置、这些装置的驱动方法或这些装置的制造方法。半导体装置是指能够通过利用半导体特性而工作的所有装置。
背景技术
已知有基于人脸的拍摄图像的表情识别技术。该表情识别技术例如应用于数码相机等在拍摄对象的脸上现出笑容或者拍摄对象的视线对准相机的一瞬间自动拍摄的技术。
作为表情识别技术，例如，专利文献1公开了检测出脸的特征并基于该特征以高准确度识别表情的技术。
[先行技术文献]
[专利文献]
[专利文献1]日本专利申请公开第2007-087346号公报
发明内容
发明所要解决的技术问题
人的行动依赖于每个情况下的感情。因为在多情况下人能够无意地控制其感情，所以当受到引起感情变化的刺激且该刺激较小时能够保持冷静。但是，当引起感情变化的刺激较大时有不能够适当地控制感情而无意地采取起因于感情的行动的担忧。
由于这种感情变化，因此有时降低集中力。例如，在集中力降低时，即使进行相同的工作也发生工作能率、精度的下降。另外，基于感情的集中力的降低有时引起事故、灾害。尤其在开车等时，集中力的降低可能导致极其危险的事故。
本发明的一个方式的目的之一是提供一种抑制起因于感情变化的集中力的降低的装置或方法。另外，本发明的一个方式的目的之一是一种可以适当地缓和人的感情变化的装置或方法。
此外，本发明的一个方式的目的之一是提供一种新颖图像显示方法。此外，本发明的一个方式的目的之一是提供一种新颖图像显示装置。
注意，这些目的的记载不妨碍其他目的的存在。此外，本发明的一个方式并不需要实现所有上述目的。另外，可以从说明书、附图、权利要求书等的记载抽出上述以外的目的。
解决技术问题的手段
本发明的一个方式是一种数据处理方法，包括如下步骤：检测使用者的脸的一部分；从所检测的脸的一部分抽出使用者的脸特征；根据特征推断使用者的感情；以及根据所推断的感情决定提供给使用者的数据。
另外，在上述方法中，使用者的脸的一部分优选为眼睛、或者眼睛及其附近。
另外，本发明的另一个方式是一种图像显示方法，包括如下步骤：检测使用者的脸的一部分；从所检测的脸的一部分抽出使用者的脸特征；根据特征推断使用者的感情；以及根据所推断的感情决定提供给使用者的图像。
另外，在上述方法中，优选的是，当在所推断的感情中包含焦躁、焦虑、生气、愤怒、悲伤、兴奋、不安、恐怖、不满、痛苦和空虚中的至少一个时，给使用者提供缓和该感情的图像。
另外，优选的是，当在所推断的感情中包含焦躁、焦虑、生气、愤怒、悲伤、兴奋、不安、恐怖、不满、痛苦和空虚中的至少一个时，给使用者提供意识到该感情的图像。
另外，在上述方法中，特征的抽出优选通过使用神经网络的推理来进行。
另外，在上述方法中，感情的推断优选通过使用神经网络的推理来进行。
另外，本发明的另一个方式是一种处理装置，包括为使用者提供数据的数据提供单元、检测使用者的脸的一部分的拍摄对象检测单元、从所检测的使用者的脸的一部分抽出使用者的脸特征的特征抽取单元、根据所抽出的特征推断使用者的感情的感情推断单元以及根据所推断的感情生成提供给使用者的数据的数据生成单元。
另外，本发明的另一个方式是一种图像显示装置，包括为使用者提供图像的图像显示单元、检测使用者的脸的一部分的拍摄对象检测单元、从所检测的使用者的脸的一部分抽出使用者的脸特征的特征抽取单元、根据所抽出的特征推断使用者的感情的感情推断单元以及根据所推断的感情生成使图像显示单元显示的图像的图像生成单元。
另外，在上述结构中，特征抽取单元优选通过使用神经网络的推理抽出特征。
另外，在上述结构中，图像显示单元优选包括发光元件以及与该发光元件电连接的第一晶体管，拍摄对象检测单元优选包括传感器元件以及与传感器元件电连接的第二晶体管。并且，第一晶体管和第二晶体管优选设置在同一衬底上。
另外，在上述结构中，发光元件和传感器元件优选排列在同一面上。
另外，在上述结构中，第一晶体管或第二晶体管优选在形成沟道的半导体中包括氧化物半导体。
发明效果
根据本发明的一个方式，可以提供一种抑制起因于感情变化的集中力的降低的装置或方法。另外，根据本发明的一个方式，可以提供一种可以适当地缓和人的感情变化的装置或方法。
注意，这些效果的记载不妨碍其他效果的存在。另外，本发明的一个方式并不需要具有所有上述效果。另外，可以从说明书、附图、权利要求书等的记载抽取上述以外的效果。
附图简要说明
[图1]图1是示出数据处理装置的结构实例的图。
[图2]图2A、图2B及图2C是示出数据处理装置的结构实例的图。
[图3]图3是示出图像显示装置的结构实例的图。
[图4]图4是示出图像显示装置的结构实例的图。
[图5]图5A、图5B及图5C是示出使用者的視界的例子的图。
[图6]图6是示出数据处理装置的结构实例的图。
[图7]图7A、图7B及图7C是示出像素电路的结构实例的图。
[图8]图8是示出显示装置的结构实例的图。
[图9]图9是示出显示装置的结构实例的图。
[图10]图10是示出显示装置的结构实例的图。
[图11]图11A及图11B是示出显示模块的结构实例的图。
[图12]图12A、图12B及图12C是示出显示装置的结构实例的图。
[图13]图13是示出显示装置的结构实例的图。
[图14]图14是示出显示装置的结构实例的图。
[图15]图15是示出显示装置的结构实例的图。
[图16]图16是示出显示装置的结构实例的图。
[图17]图17A及图17B是示出电子设备的结构实例的图。
[图18]图18A及图18B是示出电子设备的结构实例的图。
[图19]图19A及图19B是示出电子设备的结构实例的图。
实施发明的方式
下面，参照附图对实施方式进行说明。注意，所属技术领域的普通技术人员可以很容易地理解一个事实，就是实施方式可以以多个不同形式来实施，其方式和详细内容可以在不脱离本发明的宗旨及其范围的条件下被变换为各种各样的形式。因此，本发明不应该被解释为仅限定在下面所示的实施方式所记载的内容中。
注意，在以下说明的发明的结构中，在不同的附图之间共同使用相同的附图标记来表示相同的部分或具有相同功能的部分，而省略其重复说明。此外，当表示具有相同功能的部分时有时使用相同的阴影线，而不特别附加附图标记。
注意，在本说明书所说明的各个附图中，有时为了明确起见，夸大表示各构成要素的大小、层的厚度、区域。因此，本发明并不局限于附图中的尺寸。
在本说明书等中使用的“第一”、“第二”等序数词是为了避免构成要素的混淆而附记的，而不是为了在数目方面上进行限定的。
晶体管是半导体元件的一种，并且可以进行电流或电压的放大、控制导通或非导通的开关工作等。本说明书中的晶体管包括IGFET(Insulated Gate Field EffectTransistor：绝缘栅场效应晶体管)和薄膜晶体管(TFT：Thin Film Transistor)。
在本说明书等中，“电连接”包括通过“具有某种电作用的元件”连接的情况。在此，“具有某种电作用的元件”只要可以进行连接对象间的电信号的授受，就对其没有特别的限制。例如，“具有某种电作用的元件”不仅包括电极和布线，而且还包括晶体管等的开关元件、电阻元件、线圈、电容器、其他具有各种功能的元件等。
在本说明书等中，显示装置的一个方式的显示面板是指能够在显示面显示(输出)图像等的面板。因此，显示面板是输出装置的一个方式。
另外，在本说明书等中，有时将在显示面板的衬底上安装有例如FPC(FlexiblePrinted Circuit：柔性印刷电路)或TCP(Tape Carrier Package：载带封装)等连接器的结构或在衬底上以COG(Chip On Glass：玻璃覆晶封装)方式等直接安装IC(集成电路)的结构称为显示面板模块或显示模块，或者也简称为显示面板等。
(实施方式1)
本发明的一个方式检测使用者的脸的一部分(尤其是眼睛或者眼睛及其附近)或全部，从所检测的脸的一部分或全部的数据抽出使用者的脸的特征，并且根据所抽出的脸的特征推断使用者的感情。然后，在所推断的感情例如为有可能降低集中力等的感情时，刺激使用者的视觉、听觉、触觉、嗅觉等以恢复使用者的集中力。由此，可以有效地抑制使用者没意识到的集中力降低。
作为有可能降低集中力等的感情，有焦躁、焦虑、生气、愤怒、悲伤、兴奋、不安、恐怖、不满、痛苦及空虚等。以下有时将它们一并称为负面感情。注意，一般而言，兴奋并不局限于负面感情，但在此作为有可能降低集中力等的感情包含在负面感情中。
作为给使用者的刺激，优选为通过视觉的刺激。例如，可以举出显示消除使用者的负面感情而使该使用者的情绪稳定的图像等。作为这种图像，例如可以举出动物、植物、风景等关于自然界的图像等。此外，因为使使用者的情绪稳定的图像因人而异，所以也可以采用显示由使用者事先设定的图像的方法。
另外，作为使用者通过视觉感受的刺激，可以改变所显示的图像的色调。例如，在所显示的图像的色调中，通过降低红色灰度且提高绿色或蓝色灰度，使用者的负面感情得到抑制，可以镇定情绪。在此情况下，当即时极端地改变色调时有时起如使用者的焦躁变高等反作用，因此优选以使用者不易意识到其变化的方式逐渐地改变色调。例如，在能够以256个以上的各颜色灰度显示图像的情况下，以每一秒钟改变的灰度值为1灰度值以下的方式逐渐地改变，即可。
另外，作为使用者通过视觉感受的刺激，可以举出：使有使用者的空间的亮度分阶段地昏暗；将照明的色调接近绿色或蓝色；等。
另外，为了消除使用者的负面感情而使该使用者的情绪稳定，作为使用者通过听觉感受的刺激，可以举出关于自然界的环境声音(鸟的叫声、流水声)等。
另外，通过让使用者意识到被推断的目前感情如何而代替让使用者感受镇定情绪的刺激，也可以适当地抑制使用者的集中力等降低。使用者通过注意到自己意识不到的负面感情，可以有意识地进行镇定情绪的举动。例如，可以有意识地进行深呼吸、停止工作或开车来休息等举动。
作为让使用者意识到目前感情的方法，例如可以举出：将呈现与使用者的目前感情相似的表情的形象显示在画面上；将使感情水平(例如为焦躁水平)数值化的图像或以图形表现出的图像显示在画面上；等。或者，也可以在推断为情绪激昂等情况下使用声音、照明或气味等向使用者发出警告等。尤其是，通过在显示图像发出作用于视觉的警告的同时发出作用到听觉、嗅觉、触觉等的警告，可以进一步有效地让使用者意识到目前感情。
对推断使用者感情的方法进行说明。首先，拍摄使用者(拍摄对象)的眼睛或者眼睛及包含其附近的脸的一部分。接着，从所拍摄的使用者的脸的一部分抽出脸的特征。然后，根据所抽出的脸的特征推断使用者的目前感情。特征的抽出以及感情的推断可以通过使用神经网络的推理适当地进行。
下面，参照附图说明更具体的例子。
[结构实例]
图1是本发明的一个方式的数据处理装置10的方框图。数据处理装置10包括数据提供单元11、拍摄对象检测单元12、特征抽取单元13、感情推断单元14以及数据生成单元15。
注意，本说明书的附图示出在独立的方框中根据其功能进行分类的构成要素，但是在实际上，构成要素难以根据功能被清楚地划分，一个构成要素有时具有多个功能，还有时由多个构成要素实现一个功能。
〔数据提供单元11〕
数据提供单元11具有刺激使用者的视觉、嗅觉、听觉或触觉的功能。数据提供单元11可以将在后述数据生成单元15中生成的数据提供(输出)给使用者。
作为数据提供单元11，可以使用各种各样的硬件。例如，在刺激使用者的视觉(或者对使用者提供数据)的情况下，可以使用能够显示图像的显示装置或者能够改变照度或色度的照明装置等。例如，作为刺激嗅觉的器件，可以使用利用振动或热等发散香味的香薰机等。例如，作为刺激听觉的器件，可以使用扬声器、头戴式耳机或耳机等音频输出装置。此外，作为刺激触觉的器件，可以使用振动装置等。
〔拍摄对象检测单元12〕
拍摄对象检测单元12具有获取使用者的脸的一部分等的数据并将该数据输出到特征抽取单元13的功能。
作为拍摄对象检测单元12，典型地可以使用安装有图像传感器的摄像装置。在此情况下，也可以使用通过将红外线照射到使用者的脸来进行拍摄的红外线摄像装置。注意，拍摄对象检测单元12只要是能够检测拍摄对象的脸的一部分的状态的装置就不局限于摄像装置。另外，也可以使用通过红外线等测量器件与脸的一部分的距离的光学测距仪。另外，也可以使用通过使电极接触于使用者的脸而电检测使用者的脸的肌肉动作的检测装置。
〔特征抽取单元13〕
特征抽取单元13具有从被拍摄对象检测单元12输出的脸的数据抽出特征，根据该特征的位置抽出脸的一部分或全部的特征，来将所抽出的特征的数据输出到感情推断单元14的功能。
在拍摄对象检测单元12获取的脸的数据为眼睛及其附近的数据的情况下，作为特征抽取单元13抽出的特征，例如，可以举出瞳孔、虹膜、角膜、结膜(白眼珠)、眼头、眼梢、上眼睑、下眼睑、睫毛、眉毛、眉间、眉头、眉梢等。此外，作为眼睛及其附近以外的特征，可以举出鼻根、鼻尖、鼻柱、鼻孔、唇(上唇、下唇)、嘴角、嘴角裂、牙齿、脸颊、颌、下颌角、额等。特征抽取单元13识别这些脸的一部分的形状及位置等，来抽出这些部分的特征的位置坐标。然后，将抽出的位置坐标的数据等作为脸的特征的数据输出到感情推断单元14。
作为特征抽取单元13的特征抽出的方法，可以使用从在拍摄对象检测单元12中获取的图像等抽出特征的各种算法。例如，可以采用尺度不变特征变换(SIFT：ScaledInvariant Feature Transform)、加速稳健特征(SURF：Speeded Up Robust Features)、方向梯度直方图(HOG：Histograms of Oriented Gradients)等的算法。
尤其是，优选使用神经网络推理进行特征抽取单元13的特征抽出。尤其是，优选使用卷积神经网络(CNN：Convolutional Neural Networks)进行。以下说明使用神经网络的情况。
图2A示意性地示出可以用于特征抽取单元13的神经网络NN1。神经网络NN1包括输入层51、三个中间层52以及输出层53。此外，中间层52的个数不局限于三个，也可以为一个以上。
神经网络NN1被输入从拍摄对象检测单元12输出的数据61。数据61为包括坐标和对应于该坐标的数值的数据。典型地说，可以为包括坐标和对应于该坐标的灰度值的图像数据。从神经网络NN1输出数据62。数据62为包含上述特征的位置坐标的数据。
神经网络NN1预先已学习以下内容：从图像数据等的数据61抽出上述特征并输出其坐标。作为神经网络NN1的学习，在中间层52中进行使用各种滤波器的边缘处理等，以提高对应于上述特征所存在的坐标的输出层53的神经元值。
〔感情推断单元14〕
感情推断单元14具有根据从被特征抽取单元13输出的脸的特征的数据推断使用者的感情且将所推断的感情的数据输出到数据生成单元15的功能。
感情推断单元14可以利用使用者的脸的特征的数据推断使用者有没有负面感情(焦躁、焦虑、生气、愤怒、悲伤、兴奋、不安、恐怖、不满、痛苦或空虚等)。另外，在有负面感情时优选推断其程度(水平)。
优选使用神经网络推理进行感情推断单元14中的感情推断。尤其是，优选使用CNN进行。
图2B示意性地示出可用于感情推断单元14的神经网络NN2。在此示出神经网络NN2具有大致相同于神经网络NN1的结构的例子。注意，神经网络NN2的输入层51的神经元的个数可以少于神经网络NN1。
神经网络NN2被输入从特征抽取单元13输出的数据62。数据62包含所抽出的特征的坐标的有关数据。
此外，作为输入到神经网络NN2的数据，可以使用数据62被加工的数据。例如，可以算出连接任意两个特征的矢量，并以求得的有关所有特征或部分特征的该矢量为输入到神经网络NN2的数据。此外，也可以采用将计算出的矢量归一化了的数据。以下，加工了神经网络NN1所输出的数据62的数据也被称为数据62。
从被输入数据62的神经网络NN2输出数据63。数据63相当于从输出层53的各神经元输出的神经元值。输出层53的每个神经元分别联络到一个感情。如图2B所示，数据63为包含对应于规定的负面感情(焦躁、焦虑、生气、愤怒、兴奋等)的神经元的神经值的数据。
神经网络NN2预先已学习以下内容：根据数据62推断负感情的程度并输出神经元值。根据使用者的脸含有的多个特征的相对位置关系，可以决定使用者的表情。然后，可以使用神经网络NN2根据其表情推断使用者的感情。
图2C示出有关数据63的示意图。对应于每个感情的神经元值的高低表示所推得的感情的程度。此外，在数据63中以虚线表示阈值T1及阈值T2。例如，在低于阈值T1的情况下，可以判定为使用者没有其感情或者其感情的程度充分低。另外，在高于阈值T2的情况下，可以判定为其感情的程度极高。
例如，从图2C可以推断为：使用者具有混合“焦躁”、“焦虑”和“兴奋”的感情；使用者尤其感到极强的“焦躁”。
如此，通过采用感情推断单元14只推断负面感情且将其结果输出到数据生成单元15的结构，可以缩小感情推断单元14中的运算规模，而可以减少运算所需的功耗。另外，因为可以减少在数据生成单元15中利用的数据量，所以也可以减少从感情推断单元14到数据生成单元15的数据传送及数据生成单元15中的运算所需的功耗。此外，感情推断单元14不仅推断负面感情，而且可以推断相反于此的感情，例如喜悦、感谢、幸福、亲密、满足、喜爱等感情并可以将其结果输出到数据生成单元15。
此外，也可以以不使用神经网络的方式推断感情。例如，也可以使用通过比较拍摄对象检测单元12获取的使用者的脸的一部分图像和模板图像来参照其相似程度的模板匹配法或模式匹配法等。在此情况下，也可以不设置特征抽取单元13。
〔数据生成单元15〕
数据生成单元15具有根据感情推断单元14所推断的感情决定或生成提供给使用者的数据并将其输出到数据提供单元11的功能。
例如，在数据提供单元11具有显示图像的功能的情况下，数据生成单元15可以生成或选择显示的图像，并将其数据输出到数据提供单元11。此外，在数据提供单元11具有作为照明装置的功能的情况下，数据生成单元15可以决定照明的亮度(照度)或色度，并将其数据输出到数据提供单元11。此外，在数据提供单元11具有发散香味的功能的情况下，数据生成单元15可以决定被发散的香味的种类或香味的强度，并输出控制数据提供单元11的工作的信号等。此外，在数据提供单元11具有输出声音的功能的情况下，数据生成单元15可以生成或选择要再现的声音，并将其数据与音量的数据一起输出到数据提供单元11。此外，在数据提供单元11具有感应振动的功能的情况下，数据生成单元15可以决定其振动方式或强度，并输出控制数据提供单元11的工作的信号等。
以上是数据处理装置10的结构实例的说明。
[变形例子]
在本发明的一个方式的数据处理装置中，尤其优选通过视觉为使用者提供数据。在数据处理装置所包括的数据提供单元具有显示图像的功能的情况下，可以将该数据处理装置称为图像显示装置。下面，说明图像显示装置的一个例子。
图3示出在上述结构实例1所示的数据处理装置10中将图像显示单元21用于数据提供单元11的图像显示装置20的结构实例。图像显示装置20包括图像显示单元21以及图像生成单元25。
图像生成单元25可以根据被感情推断单元14输入的感情数据选择或生成使图像显示单元21显示的图像并将其输出。
图4示出数据提供单元11包括图像显示单元21时的例子。数据提供单元11除了图像显示单元21以外还具有其他数据提供单元。由此，不仅为使用者提供图像，而且可以用其他单元刺激视觉、听觉、嗅觉或触觉，因此可以相乘地提醒使用者。
此时，数据生成单元15除了图像生成单元25以外还具有控制数据提供单元11中的其他数据提供单元的工作的功能等。
以上是变形例子的说明。
[提供的数据的例子]
下面，说明根据使用本发明的一个方式推断出的使用者的感情来提供给使用者的图像数据的一个例子。
图5A至图5C各自示出使用者以安装AR设备(AR：Augmented Reality)的状态开车等时的使用者的视界。图5A至图5C各自示出相同情况，即骑着自行车的行人将横过使用者的去路上的情况。此外，在使用者的视界中，以重叠于正在开车的道路等风景的方式视界的左下提供有模仿形象的图像数据71、图像数据72或者图像数据73。
图5A示出推断为使用者几乎不感到负面感情时的例子。例如，相当于在图2C的数据63中对应于负面感情的所有神经元值不超过阈值T1的情况。
此时，可以判断为使用者没有根据感情的集中力等降低。图像数据71所包含的形象根据所推断的使用者的感情表示笑容。使用者通过看图像数据71可以意识自己感情比较稳定，而可以持续集中开车。
图5B示出使用者有些感到负面感情时的例子。例如，相当于在图2C的数据63中对应于负面感情的所有神经元值中的一个以上表示阈值T1与阈值T2之间的值且都不超过阈值T2的情况。
此时，根据所推断的使用者的感情及其程度，可以判断为集中力有些降低。因此，图像数据72所包含的形象不表示笑容而表示几乎无表情以反映使用者的感情。使用者通过看图像数据72可以意识自己有些感到负面感情，而可以有意识地进行镇定情绪的举动。
并且，因为使用者有可能不意识到将横过去路的行人，所以以模仿形象的台词(自行车来了。)的方式显示注意行人的存在的通知。此时，当在显示的同时通过声音通知时，可以进一步高效地提醒使用者。
图5C示出推断为使用者感到较强负面感情时的例子。例如，相当于在图2C的数据63中对应于负面感情的所有神经元值中的一个以上超过阈值T2的情况。
此时，根据所推断的使用者的感情及其程度，可以判断为处于非常缺乏集中力的状态。由此，图像数据73所包含的形象表示反映使用者的感情的表情(在此，非常焦躁的表情)。使用者通过看图像数据72可以意识自己感到较强负面感情，而可以进行停止开车来休息等举动。
并且，因为使用者不意识到将横过去路的行人的可能性高，不显示注意行人的存在的通知，而以模仿形象的台词(停！)的方式显示提醒停止开车的警告。此时，优选在显示的同时通过声音警告。再者，也可以以如下方法提醒注意：闪烁照明；或者改变照明的色度等。
如上所述，通过根据所推断的使用者的感情向该使用者提供表示反映其感情的表情的形象，可以给使用者意识自己不意识的感情。注意，虽然在此说明使用形象的表情为使用者提供感情数据的方法，但是不局限于此，只要是使感情的种类、程度可见化的图像就可以使用多种图像。
本实施方式的至少一部分可以与本说明书所记载的其他实施方式适当地组合而实施。
(实施方式2)
在本实施方式中，说明本发明的一个方式的数据处理装置的硬件结构的一个例子。
图6是下面所示的数据处理装置100的方框图。数据处理装置100包括运算部101、运算部102、存储器模块103、显示器模块104、传感器模块105、音响模块106、振动模块107、照明模块108、芳香模块109、通信模块111、电池模块112、相机模块113以及外部接口114等。
注意，因为数据处理装置100可以通过显示器模块104显示图像，所以也可以被称为图像显示装置。
运算部102、存储器模块103、显示器模块104、传感器模块105、音响模块106、振动模块107、照明模块108、芳香模块109、通信模块111、电池模块112、相机模块113以及外部接口114等各自通过总线110与运算部101连接。
显示器模块104、音响模块106、振动模块107、照明模块108以及芳香模块109相当于实施方式1所示的上述数据提供单元11或上述图像显示单元21。另外，传感器模块105或相机模块113相当于上述拍摄对象检测单元12。另外，上述特征抽取单元13、感情推断单元14及数据生成单元15可以使用运算部101或运算部102、以及存储器模块103等而实现。
运算部101例如可以被用作中央处理器(CPU：Central Processing Unit)。运算部101例如具有控制运算部102、存储器模块103、显示器模块104、传感器模块105、音响模块106、振动模块107、照明模块108、芳香模块109、通信模块111、电池模块112、相机模块113以及外部接口114等各组件的功能。
在运算部101与各组件之间经过总线110传输信号。运算部101具有对从经过总线110连接的各组件输入的信号进行处理的功能及生成向各组件输出的信号的功能等，而可以总体控制连接于总线110的各组件。
此外，在运算部101、运算部102或其他组件所包括的IC等中，可以利用将氧化物半导体用于沟道形成区的关态电流极小的晶体管。由于该晶体管的关态电流极小，所以通过将该晶体管用于保持流入被用作存储元件的电容器的电荷(数据)的开关，可以长期保持数据。通过将该特性应用于运算部101、运算部102的寄存器或高速缓冲存储器，可以仅在必要时使运算部101或运算部102工作，而在其他情况下使之前的处理数据储存在该存储元件，从而实现常闭运算(normally off computing)，由此可以实现数据处理装置100的低功耗化。
运算部101通过由处理器解释且执行来自各种程序的指令，进行各种数据处理或程序控制。有可能由处理器执行的程序可以被存储在处理器中的存储区域，也可以被存储在存储器模块103中。
作为运算部101，除了CPU以外，还可以单独或组合地使用DSP(Digital SignalProcessor：数字信号处理器)或GPU(Graphics Processing Unit：图形处理器)等其他微处理器。此外，也可以由FPGA(Field Programmable Gate Array：现场可编程门阵列)或FPAA(Field Programmable Analog Array：现场可编程模拟阵列)等PLD(Programmable LogicDevice：可编程逻辑器件)实现这种微处理器。
运算部101也可以包括主存储器。主存储器可以包括RAM(Random Access Memory：随机存取存储器)等的易失性存储器或ROM(Read Only Memory：只读存储器)等的非易失性存储器。
作为设置在主存储器中的RAM，例如可以使用DRAM(Dynamic Random AccessMemory：动态随机存取存储器)，并虚拟地分配并使用作为运算部101的工作空间的存储空间。储存在存储器模块103中的操作系统、应用程序、程序模块、程序数据等在执行时被加载于RAM中。被加载于RAM中的这些数据、程序或程序模块被运算部101直接访问并操作。
另一方面，可以在ROM中容纳不需要改写的BIOS(Basic Input/Output System：基本输入/输出系统)或固件等。作为ROM，可以使用遮罩式ROM、OTPROM(One TimeProgrammable Read Only Memory：一次可编程只读存储器)、EPROM(ErasableProgrammable Read Only Memory：可擦除可编程只读存储器)等。作为EPROM，可以举出通过紫外线照射可以消除存储数据的UV-EPROM(Ultra-Violet Erasable ProgrammableRead Only Memory：紫外线-可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read Only Memory：电子式可抹除可编程只读存储器)以及快闪存储器等。
作为运算部102，优选使用与CPU相比专门用于并行运算的处理器。例如，优选使用GPU、TPU(Tensor Processing Unit：张量处理单元)、NPU(Neural Processing Unit：神经处理单元)等具有多个(几十个至几百个)能够并行处理的处理器核心的处理器。由此，运算部102尤其可以高速地进行根据神经网络的运算。
作为存储器模块103，例如也可以使用采用非易失性存储元件的存储装置诸如快闪存储器、MRAM(Magnetoresistive Random Access Memory：磁阻随机存取存储器)、PRAM(Phase change RAM：相变随机存取存储器)、ReRAM(Resistive RAM：电阻随机存取存储器)、FeRAM(Ferroelectric RAM：铁电随机存取存储器)等或者采用易失性存储元件的存储装置如DRAM(Dynamic RAM：动态随机存取存储器)、SRAM(Static RAM：静态随机存取存储器)等。另外，例如也可以使用硬盘驱动器(Hard Disk Drive：HDD)或固态驱动器(SolidState Drive：SSD)等记录媒体驱动器。
另外，作为存储器模块103，也可以使用通过外部接口114由连接器可装卸的HDD或SSD等存储装置、快闪存储器、蓝光光盘、DVD等记录媒体驱动器。此外，也可以将设置在数据处理装置100的外部的存储装置用作存储器模块103，而没有将存储器模块103内置在数据处理装置100中。在此情况下，也可以具有通过外部接口114连接的结构或者通信模块111以无线通信发送并接收数据的结构。
显示器模块104包括显示面板、显示器控制器、源极驱动器以及栅极驱动器等。可以在显示面板的显示面显示图像。另外，显示器模块104也可以还包括投影部(屏幕)，而可以采用将显示在显示面板的显示面的图像投影到该屏幕上的方式。此时，在作为屏幕使用使可见光透过的材料的情况下，可以实现以重叠于背景的方式显示图像的AR设备。
作为可用于显示面板的显示元件，可以举出液晶元件、有机EL元件、无机EL元件、LED元件、微囊、电泳元件、电润湿元件、电流体元件、电致变色元件、MEMS元件等。
另外，作为显示面板也可以使用具有触摸传感器功能的触摸面板。在此情况下，采用显示器模块104包括触摸传感器控制器、传感器驱动器等的结构即可。作为触摸面板，优选采用显示面板与触摸传感器一体化的On-Cell型触摸面板或In-Cell型触摸面板。On-Cell型或In-Cell型触摸面板可以为厚度薄且轻量的触摸面板。再者，因为On-Cell型或In-Cell型触摸面板可以减少构件数量，所以可以减少成本。
传感器模块105包括传感器单元和传感器控制器。传感器控制器从传感器单元接收输入，将该输入变换为控制信号，并且将该控制信号通过总线110输出到运算部101。在传感器控制器中，既可以进行传感器单元的错误管理，又可以进行传感器单元的校正处理。另外，传感器控制器也可以具备控制传感器单元的多个控制器。
传感器模块105所包括的传感器单元优选包括检测可见光、红外线或紫外线等并输出其检测强度的光电转换元件。此时，可以将传感器单元称为图像传感器单元。
另外，传感器模块105优选除了传感器单元之外还包括发射可见光、红外线或紫外线的光源。尤其是，当将传感器模块105用于检测使用者的脸的一部分时，通过包括发射红外线的光源可以以不刺使用者的眼的方式高灵敏度地进行拍摄。
另外，传感器模块105例如也可以具备具有测量如下因素的功能的各种传感器：力量、位移、位置、速度、加速度、角速度、转动数、距离、光、液、磁、温度、化学物质、声音、时间、硬度、电场、电流、电压、电力、辐射线、流量、湿度、斜率、振动、气味或红外线。
音响模块106包括声音输入部、声音输出部以及音响控制器等。声音输入部例如包括麦克风或声音输入连接器等。此外，声音输出部例如包括扬声器或声音输出连接器等。声音输入部及声音输出部都连接于音响控制器并通过总线110与运算部101连接。输入到声音输入部的声音数据在音响控制器中变换为数字信号并在音响控制器或运算部101中被进行处理。另一方面，音响控制器根据来自运算部101的指令而生成使用者能够听到的模拟声音信号并将该声音信号输出到声音输出部。可以将耳机、头戴式耳机、耳麦等声音输出装置连接于声音输出部所包括的声音输出连接器，在音响控制器中生成的声音输出到该装置。
振动模块107可以具有包括振动元件和控制振动元件的振动控制器的结构。作为振动元件，可以使用能够将电信号或磁信号转换为振动的元件诸如振动电机(偏心电机)、共振执行器、磁致伸缩元件、压电元件等。
振动模块107通过根据来自运算部101的指令控制振动元件的振动数、振幅、振动期间等而能够以各种振动模式使振动元件振动。
照明模块108可以具有包括照明设备和照明控制器的结构。作为照明设备，除了将有机EL元件或LED元件配置在面上或将其配置为带状的照明面板之外，还可以使用灯泡、荧光灯等各种照明装置。尤其是，优选使用能够改变色度及照度的照明装置。
照明模块108可以根据来自运算部101的指令通过照明控制器控制照明照度、色调。
芳香模块109可以具有包括清香剂、加热清香剂的加热装置或使清香剂振动的振动装置以及控制这些装置的控制器的结构。清香剂优选能够交换以使用者可以根据自己爱好随便地选择。作为清香剂，可以使用液状、凝胶状或固体状清香剂。
芳香模块109可以根据来自运算部101的指令控制从清香剂的香味量。另外，通过采用能够安装两种以上的清香剂的结构，能够选择不同香味或者发散使两种以上的香味组合的香味。
通信模块111能够通过天线进行通信。例如，通信模块111根据来自运算部101的指令控制用来使数据处理装置100连接到计算机网络的控制信号，而向计算机网络发出该信号。由此，可以将数据处理装置100连接于因特网、内联网、外联网、PAN(Personal AreaNetwork：个人网)、LAN(Local Area Network：局域网)、CAN(Campus Area Network：校园网)、MAN(Metropolitan Area Network：城域网)、WAN(Wide Area Network：广域网)、GAN(Global Area Network：全球网)等计算机网络，来进行通信。另外，在作为通信方法使用多个方法的情况下，也可以根据该通信方法包括多个天线。
例如，可以在通信模块111中设置高频电路(RF电路)进行RF信号的发送和接收。高频电路是用来将各国法制所规定的频带的电磁信号与电信号彼此变换且使用该电磁信号以无线与其他通信设备进行通信的电路。作为实用性的频带，一般使用几十kHz至几十GHz的频带。连接于天线的高频电路具有对应于多个频带的高频电路部，该高频电路部可以具有放大器、混频器、滤波器、DSP(数字信号处理器)、RF收发器等。当进行无线通信时，作为通信协议或通信技术可以使用：通信标准诸如LTE(Long Term Evolution：长期演进)等；或者由IEEE(电气电子工程师学会)通信标准化的规格诸如Wi-Fi(Wireless Fidelity：在日本注册的商标：无线保真)、Bluetooth(在日本注册的商标：蓝牙)等。
另外，通信模块111也可以具有将数据处理装置100与电话线连接的功能。另外，通信模块111也可以包括根据由天线接收的广播电波生成输出到显示器模块104中的图像信号的调谐器。
电池模块112可以具有包括二次电池及电池控制器的结构。作为二次电池，可以典型地举出锂离子二次电池、锂离子聚合物二次電池等。电池控制器可以具有：向各组件供应储存在电池中的功率的功能；接收从外部供应的功率而充电电池的功能；根据电池充电状态控制充电工作的功能；等。例如，电池控制器可以具有包括BMU(Battery ManagementUnit：电池管理单元)等的结构。BMU进行电池的单元电压或单元温度数据的收集、过充电及过放电的监视、单元平衡器(cell balancer)的控制、电池劣化状态的管理、电残量(StateOf Charge：电量状态：SOC)的算出以及故障检测的控制等。
相机模块113可以具有包括摄像元件和控制器的结构。通过例如按下快门按钮、操作显示器模块104的触摸面板等，可以拍摄静态图像或动态图像。所拍摄的图像或影像数据可以储存在存储器模块103中。另外，可以在运算部101或运算部102中处理图像或影像数据。另外，相机模块113也可以包括摄像用光源。例如，可以使用灯如氙气灯等或者发光元件如LED或有机EL等。或者，作为摄像用光源，也可以使用显示器模块104所包括的显示面板而利用该显示面板所发射的光。在此情况下，不仅可以使用白色光，还可以使用各种颜色的光作为摄像用途。
作为外部接口114，例如可以举出能够连接设置在数据处理装置100的框体中的物理按钮或其他用来输入的组件的外部端口等。
此外，作为外部接口114所包括的外部连接端口，例如可以采用通过电缆连接于键盘或鼠标等输入单元、打印机等输出单元或者HDD等存储单元等设备的结构。典型的是，有USB端子等。另外，作为外部端口，还可以包括LAN(Local Area Network：局域网)连接用端子、数字广播接收用端子、连接AC适配器的端子等。此外，也可以采用除了有线之外还设置使用红外线、可见光、紫外线等的光通信用收发机的结构。
以上是数据处理装置100的硬件结构的说明。
本实施方式的至少一部分可以与本说明书所记载的其他实施方式适当地组合而实施。
(实施方式3)
在本实施方式中，说明具有检测光的功能以及显示图像的功能的器件。下面所示的器件可以用于本发明的一个方式的数据处理装置中的数据提供单元及拍摄对象检测单元。
在本实施方式中例示的器件包括具备光电二极管等光电转换元件的第一像素电路以及具备有机EL元件或液晶元件等显示元件的第二像素电路。第一像素电路及第二像素电路都配置为矩阵状。
使用配置为矩阵状的显示元件形成显示部，而可以将图像显示在该显示部上。另外，使用配置为矩阵状的光电转换元件形成摄像部，通过该摄像部可以取得看着图像的使用者的脸的数据。由于通过使显示部和摄像部一体化，例如可以直接拍摄从显示部发射且在使用者的脸上反射的光，因此即使在昏暗之处也可以以不发生光量不足的方式进行拍摄。
另外，由于可以使显示部和摄像部一体化，因此可以在使用者看屏幕时以使用者的视线一直朝向摄像部的状态进行拍摄，而可以以更高精度检测使用者的眼睛及其附近的数据。另一方面，例如当在与显示部不同之处配置相机等时，由于在使用者看屏幕时视线与相机的镜头不相交，因此难以得到使用者的脸正面的准确数据，而有时导致推断感情时的精度下降。尤其是，在检测眼睛、眼睛周边等所检测的区域较窄的情况下，以高精度取得脸的数据是重要的。
图7A示出具备光电转换元件(受光元件)的像素电路的一个例子。图7A所示的像素电路PIX1具备受光元件PD、晶体管M1、晶体管M2、晶体管M3、晶体管M4及电容器C1。这里，示出使用光电二极管作为受光元件PD时的例子。
受光元件PD的阳极与布线V1电连接，阴极与晶体管M1的源极和漏极中的一个电连接。晶体管M1的栅极与布线TX电连接，源极和漏极中的另一个与电容器C1的一个电极、晶体管M2的源极和漏极中的一个及晶体管M3的栅极电连接。晶体管M2的栅极与布线RES电连接，源极和漏极中的另一个与布线V2电连接。晶体管M3的源极和漏极中的一个与布线V3电连接，源极和漏极中的另一个与晶体管M4的源极和漏极中的一个电连接。晶体管M4的栅极与布线SE电连接，源极和漏极中的另一个与布线OUT1电连接。
布线V1、布线V2及布线V3各自可以供应恒定电位。当以反向偏压驱动受光元件PD时，可以将高于布线V1的电位供应到布线V2。晶体管M2被供应到布线RES的信号控制，使得连接于晶体管M3的栅极的节点的电位复位至供应到布线V2的电位。晶体管M1被供应到布线TX的信号控制，根据流过受光元件PD的电流控制上述节点的电位变化的时序。晶体管M3用作根据上述节点的电位输出的放大晶体管。晶体管M4被供应到布线SE的信号控制，用作选择晶体管，该选择晶体管用来使用连接于布线OUT1的外部电路读出根据上述节点的电位的输出。
图7B示出作为显示元件使用发光元件的像素电路的一个例子。图7B所示的像素电路PIX2具备发光元件EL、晶体管M5、晶体管M6、晶体管M7及电容器C2。这里，示出使用发光二极管作为发光元件EL的例子。尤其是，作为发光元件EL，优选使用有机EL元件。
晶体管M5的栅极与布线VG电连接，源极和漏极中的一个与布线VS电连接，源极和漏极中的另一个与电容器C2的一个电极及晶体管M6的栅极电连接。晶体管M6的源极和漏极中的一个与布线V4电连接，源极和漏极中的另一个与发光元件EL的阳极及晶体管M7的源极和漏极中的一个电连接。晶体管M7的栅极与布线MS电连接，源极和漏极中的另一个与布线OUT2电连接。发光元件EL的阴极与布线V5电连接。
布线V4及布线V5各自可以被供应恒定电位。可以将发光元件EL的阳极一侧和阴极一侧分别设定为高电位和低于阳极一侧的电位。晶体管M5被供应到布线VG的信号控制，用作用来控制像素电路PIX2的选择状态的选择晶体管。此外，晶体管M6用作根据供应到栅极的电位控制流过发光元件EL的电流的驱动晶体管。当晶体管M5处于导通状态时，供应到布线VS的电位被供应到晶体管M6的栅极，可以根据该电位控制发光元件EL的发光亮度。晶体管M7被供应到布线MS的信号控制，将晶体管M6与发光元件EL之间的电位通过布线OUT2输出到外部。
这里，像素电路PIX1所包括的晶体管M1、晶体管M2、晶体管M3及晶体管M4、像素电路PIX2所包括的晶体管M5、晶体管M6及晶体管M7优选使用形成其沟道的半导体层含有金属氧化物(氧化物半导体)的晶体管。
使用其带隙比硅宽且载流子密度低的金属氧化物的晶体管可以实现极低的关态电流。由于其关态电流低，因此能够长期间保持储存于与晶体管串联连接的电容器中的电荷。因此，尤其是，与电容器C1或电容器C2串联连接的晶体管M1、晶体管M2及晶体管M5优选使用含有氧化物半导体的晶体管。此外，除此以外的晶体管也同样使用含有氧化物半导体的晶体管，由此可以降低制造成本。
此外，晶体管M1至晶体管M7也可以使用形成其沟道的半导体含有硅的晶体管。尤其是，通过使用单晶硅或多晶硅等结晶性高的硅，可以实现高场效应迁移率，能够进行更高速度的工作。
此外，晶体管M1至晶体管M7中的一个以上可以使用含有氧化物半导体的晶体管，除此以外的晶体管可以使用含有硅的晶体管。
图7A和图7B示出n沟道型晶体管，但是也可以适当地使用p沟道型晶体管。
像素电路PIX1与像素电路PIX2优选排列在同一衬底上。尤其是，像素电路PIX1和像素电路PIX2优选混合形成在一个区域内并周期性地排列。
此外，在像素电路PIX1及像素电路PIX2中的分别设置有受光元件PD或发光元件EL的层的下侧优选层叠一个或多个包括晶体管或电容器的层。由此，可以减少各像素电路的实效占有面积，从而可以实现高清晰度的受光部或显示部。
图7C示出以三层的叠层结构实现像素电路PIX1和像素电路PIX2时的例子。图7C所示的结构具有层叠有三层(第一层L1、第二层L2以及第三层L3)的结构。
第一层L1设置有晶体管M3、晶体管M4、晶体管M5及电容器C2。第二层L2设置有晶体管M1、晶体管M2、晶体管M6、晶体管M7及电容器C1。第三层L3设置有受光元件PD及发光元件EL。
如此，通过在同一层上排列地配置受光元件PD和发光元件EL，可以防止起因于发光元件EL所发射的光的受光元件PD的错误工作。
另外，如图7C所示，当在不同层上形成电容器C1和电容器C2时，可以使各自的占有面积大，所以是优选的。
注意，虽然在此示出三层的叠层结构的例子，但是不局限于此，也可以是两层或者四层以上。另外，在此所示的设置到各层中的晶体管、电容器的个数、配置方法不局限于此，根据所需的规格适当地设计像素的布局图案，即可。
本实施方式的至少一部分可以与本说明书所记载的其他实施方式适当地组合而实施。
(实施方式4)
在本实施方式中，说明可用于本发明的一个方式的数据处理装置等的显示装置的结构实例。在此，尤其说明具备受光元件和显示元件且显示部和撮像部被一体化而形成的显示装置。
[结构实例1]
图8是以下例示出的显示装置200A的截面示意图。显示装置200A主要包括衬底201、衬底202以及由它们夹持的发光单元220R、发光单元220G、受光元件230、电容器240及晶体管260等。
晶体管260是在衬底201中形成沟道的晶体管。作为衬底201，例如可以使用单晶硅衬底等半导体衬底。晶体管260包括衬底201的一部分、导电层261、一对低电阻区域262、绝缘层263以及绝缘层264等。导电层261被用作栅电极。绝缘层263位于被用作沟道形成区的衬底201的一部分与导电层261之间，并被用作栅极绝缘层。低电阻区域262为衬底201中的惨杂杂质的区域，并被用作晶体管260的源极或漏极。绝缘层264覆盖导电层261的侧面地设置，并被用作侧壁绝缘层。
此外，在相邻的两个晶体管260之间以埋入衬底201中的方式设置有元件分离层265。
以覆盖晶体管260的方式设置有绝缘层253，绝缘层253上设置有电容器240。
电容器240包括导电层241、导电层242以及位于它们之间的绝缘层243。导电层241被用作电容器240中的一个电极，导电层242被用作其中另一个电极，绝缘层243被用作介电质。
导电层241通过设置在绝缘层253中的插头296与晶体管260中的一个低电阻区域262电连接。另外，绝缘层243以覆盖导电层241的方式设置，导电层242通过绝缘层243设置在与导电层241重叠的区域中。
绝缘层252以覆盖电容器240的方式设置，绝缘层252上设置有发光单元220R、发光单元220G以及受光元件230。
发光单元220R包括反射层214、发光元件210以及着色层215R。发光单元220G包括反射层214、发光元件210以及着色层215G。在此示出发光单元220R与发光单元220G都使用相同结构的发光元件210的例子。此时，发光元件210优选为呈现白色光的发光元件。
发光元件210具有依次层叠有导电层211、EL层212以及导电层213的结构。发光元件210是向与被形成面相反一侧发射光的所谓顶部发射型发光元件。导电层211和导电层213优选具有透光性。此时，从发光元件210发射到衬底201一侧的光在反射层214中反射而发射到衬底202一侧。
作为可用于发光元件210的发光元件，可以使用能够进行自发光的元件，并且在其范畴内包括由电流或电压控制亮度的元件。例如，可以使用LED、有机EL元件以及无机EL元件等。尤其是，优选使用有机EL元件。
EL层212至少包括发光层。作为发光层以外的层，EL层212可以还包括包含空穴注入性高的物质、空穴传输性高的物质、空穴阻挡材料、电子传输性高的物质、电子注入性高的物质或双极性的物质(电子传输性及空穴传输性高的物质)等的层。
EL层212可以使用低分子化合物或高分子化合物，还可以包含无机化合物。构成EL层212的层分别可以通过蒸镀法(包括真空蒸镀法)、转印法、印刷法、喷墨法、涂敷法等方法形成。
当在阴极与阳极之间施加高于发光元件210的阈值电压的电压时，空穴从阳极一侧注入到EL层212中，而电子从阴极一侧注入到EL层212中。被注入的电子和空穴在EL层212中复合，由此，包含在EL层212中的发光物质发光。
当作为发光元件210使用白色发光的发光元件时，优选使EL层212包含两种以上的发光物质。例如通过以使两种以上的发光物质的各发光成为互补色关系的方式选择发光物质，可以获得白色发光。例如，优选包含如下发光物质中的两种以上：呈现R(红色)、G(绿色)、B(蓝色)、Y(黄色)、O(橙色)等发光的发光物质及呈现包含R、G、B中的两种以上的颜色的光谱成分的发光的发光物质。另外，优选使用来自发光元件的发光的光谱在可见光区域的波长(例如350nm至750nm)的范围内具有两个以上的峰值的发光元件。另外，在黄色的波长范围中具有峰值的材料的发射光谱优选还在绿色及红色的波长范围具有光谱成分。
EL层212优选采用叠层结构，该叠层包括包含发射一种颜色的光的发光材料的发光层与包含发射其他颜色的光的发光材料的发光层。例如，EL层212中的多个发光层既可以互相接触而层叠，也可以隔着不包含任何发光材料的区域层叠。例如，可以在荧光发光层与磷光发光层之间设置如下区域：包含与该荧光发光层或磷光发光层相同的材料(例如主体材料、辅助材料)，并且不包含任何发光材料的区域。由此，发光元件的制造变得容易，另外，驱动电压得到降低。
另外，发光元件210既可以是包括一个EL层的单元件，又可以是隔着电荷产生层层叠有多个EL层的串联元件。
另外，上述发光层以及包含空穴注入性高的物质、空穴传输性高的物质、电子传输性高的物质及电子注入性高的物质、双极性物质等的层都可以包含量子点等的无机化合物或高分子化合物(低聚物、枝状聚合物或聚合物等)。例如，通过将量子点用于发光层，也可以将其用作发光材料。
作为量子点材料，可以使用胶状量子点材料、合金型量子点材料、核壳(CoreShell)型量子点材料、核型量子点材料等。另外，也可以使用包含第12族和第16族、第13族和第15族、或者第14族和第16族的元素组的材料。或者，可以使用包含镉、硒、锌、硫、磷、铟、碲、铅、镓、砷、铝等元素的量子点材料。
此外，各发光单元也可以通过将具有透射性及反射性的导电膜用于导电层213实现所谓的微腔结构(微小共振器结构)。此时，优选的是，反射其可见光的反射层214的表面与具有可见光的透射性及反射性的导电层213之间的光学距离以为要加强其强度的光波长λ的m/2(m为自然数)或其附近的方式调整。因为在各发光单元间调整光学距离，所以可以使反射层214的厚度、导电层211的厚度等在各发光单元间不同。
在发光单元220R中，从发光元件210发射的光的除了指定波长以外的光被着色层215R吸收，例如作为红色光R发射到外部。同样地，从发光单元220G到外部例如发射绿色光G。另外，虽然在此未图示，但是显示装置200A优选包括发射蓝色光的发光单元220B。
此外，作为着色层215R及着色层215G，也可以采用使用上述量子点材料的结构。当上述结构时，通过将从发光元件210发射的光作为蓝光，可以使用量子点材料进行颜色转换(波长转换)。当该结构时，不需分别形成发光元件210，可以减少制造成本，所以是优选的。
受光元件230被用作光电二极管，是接收从外部入射的外光Lex而转换为电信号的元件。受光元件230具有设置有导电层211、导电层213以及它们之间的活性层231的结构。
作为活性层231，可以采用层叠有p型半导体和n型半导体以实现pn结的叠层结构或层叠有p型半导体、i型半导体和n型半导体以实现pin结的叠层结构等。
作为用于活性层231的半导体，可以使用硅等无机半导体或包含有机化合物的有机半导体。尤其是，通过使用有机半导体材料，可以易于以真空蒸镀法形成发光元件210的EL层212和活性层231，并可以共同使用制造设备，所以是优选的。
在使用有机半导体材料作为活性层231的情况下，作为n型半导体的材料，可以举出富勒烯(例如C60、C70等)或其衍生物等具有电子受主性的有机半导体材料。此外，作为p型半导体的材料，可以举出铜(II)酞菁(Copper(II)phthalocyanine:CuPc)、四苯基二苯并二茚并芘(Tetraphenyldibenzoperiflanthene：DBP)等具有电子施主性的有机半导体材料。活性层231既可为具有电子受主性的半导体材料和具有电子施主性的半导体材料的叠层结构(p-n叠层结构)又可为在其间设置有共蒸镀具有电子受主性的半导体材料和具有电子施主性的半导体材料而成的本体异质结构层的叠层结构(p-i-n叠层结构)。此外，也可以在上述p-n叠层结构或p-i-n叠层结构周边(上侧或下侧)设置用作空穴阻挡层的层或用作电子阻挡层的层，以抑制没有光照射时的暗电流。
另外，优选在受光元件230的衬底201一侧设置反射层214。通过使用反射层214将透过受光元件230的外光Lex反射到受光元件230一侧，可以提高受光元件230的灵敏度。
反射层214设置在绝缘层252上。另外，以覆盖反射层214的方式设置有绝缘层251，绝缘层251上设置有导电层211。导电层211通过设置在绝缘层251及绝缘层252中的插头295与电容器240的导电层241电连接。另外，导电层211上设置有具有重叠于导电层211的开口的绝缘层216。
在发光单元220R及发光单元220G中，导电层211上设置有EL层212。另外，在受光元件230中，导电层211上设置有活性层231。再者，以覆盖EL层212和活性层231的方式设置有导电层213。由此，导电层213可以采用兼作发光元件210的电极和受光元件230的电极的两个电极的结构。
注意，当作为导电层213使用具有透射性及反射性的导电膜以使各发光单元具有上述微腔结构时，有受光元件230的灵敏度下降的担忧。在此情况下，也可以通过作为导电层213使用具有透光性的导电膜，并且以与EL层212相同的图案在EL层212与导电层213之间或导电层213上另行形成具有透射性或反射性的导电膜，来采用该导电膜不设置在受光元件230中的结构。
另外，如图8所示，也可以在绝缘层216上具有EL层212的端部与活性层231的端部重叠的区域。
在显示装置200A中，以覆盖发光元件210及受光元件230的方式层叠地设置有绝缘层271、绝缘层272及绝缘层273。这三个绝缘层被用作防止向发光元件210及受光元件230扩散水等杂质的保护层。绝缘层271及绝缘层273优选使用氧化硅膜、氮化硅膜、氧化铝膜等透湿性低的无机绝缘膜。另外，作为绝缘层272可以使用透光性高的有机绝缘膜。通过绝缘层272使用有机绝缘膜，可以缓和绝缘层272的下侧的凹凸形状影响，并可以使绝缘层273的被形成面平滑。由此，绝缘层273中不易产生针孔等缺陷，所以可以进一步提高保护层的透湿性。另外，覆盖发光元件210及受光元件230的保护层的结构不局限于此，可以采用单层或两层结构，也可以采用四层以上的叠层结构。
绝缘层273上设置有着色层215R及着色层215G。此外，在设置用来遮蔽入射到受光元件230中的光的一部分的滤光片的情况下，可以将该滤光片与着色层215R等同样地设置在绝缘层273上。如此，通过在绝缘层273上形成着色层(以及滤光片)，例如与在衬底202一侧形成这些后将衬底202与衬底201贴合在一起的情况相比，易于各着色层与发光元件210的对准(或者滤光片与受光元件230的对准)，可以实现清晰度极高的显示装置。
另外，显示装置200A在观看一侧包括衬底202。衬底202与衬底201通过粘合层274贴合在一起。作为衬底202，可以使用具有透光性的衬底，诸如玻璃衬底、石英衬底、蓝宝石衬底、塑料衬底等。
通过采用这种结构，可以实现显示部兼作摄像部的清晰度高的显示装置。
[结构实例2]
图9是显示装置200B的截面示意图。显示装置200C与上述显示装置200A主要不同之处在于晶体管的结构。
晶体管280是将金属氧化物(也称为氧化物半导体)用于形成沟道的半导体的晶体管。
晶体管280包括半导体层281、绝缘层282、导电层283、导电层284、导电层285、绝缘层286以及绝缘层287等。
作为设置有晶体管280的衬底201a，可以使用：绝缘衬底诸如玻璃衬底、石英衬底、蓝宝石衬底、陶瓷衬底等；或者半导体衬底诸如以硅或碳化硅等为材料的单晶半导体衬底或多晶半导体衬底、硅锗等的化合物半导体衬底、SOI衬底等。
衬底201a上设置有绝缘层288。绝缘层288被用作防止水、氢等杂质从衬底201a扩散到晶体管280中及氧从半导体层281扩散到绝缘层288一侧的阻挡层。作为绝缘层288，例如可以使用与氧化硅膜相比氢或氧不容易扩散的膜诸如氧化铝膜、氧化铪膜、氮化硅膜等。
绝缘层288上设置有导电层285，以覆盖导电层285的方式设置有绝缘层287及绝缘层286。半导体层281设置在绝缘层286上。导电层285被用作晶体管280的第一栅电极，绝缘层287的一部分及绝缘层286的一部分各自被用作第一栅极绝缘层。作为接触于半导体层281的绝缘层286，优选使用氧化硅膜等氧化物绝缘膜。另外，作为绝缘层286与导电层285之间的绝缘层287，与绝缘层288同样，优选使用被用作阻挡层的绝缘膜。
半导体层281优选包括具有半导体特性的金属氧化物(氧化物半导体)膜。
一对导电层284分离地设置在半导体层281上。导电层284被用作源电极及漏电极。另外，以覆盖半导体层281及导电层284的方式设置有绝缘层289，并且绝缘层289上设置有绝缘层254。绝缘层254中设置有到达半导体层281的开口，在该开口内部填充绝缘层282和导电层283。另外，以覆盖绝缘层254、导电层283及绝缘层282的顶面的方式设置有绝缘层255。
导电层283被用作第二栅电极。另外，绝缘层282被用作第二栅极绝缘层。
与绝缘层288等同样，作为绝缘层289及绝缘层255优选使用被用作阻挡层的绝缘膜。通过由绝缘层289覆盖导电层284，可以防止绝缘层254含有的氧使导电层284氧化。
与导电层284电连接的插头297在设置在绝缘层253、绝缘层255、及绝缘层254中的开口内部设置。插头297优选包括与该开口的侧面及导电层284的顶面接触的导电层297a以及埋在该导电层297a的内侧的导电层297b。此时，作为导电层297a，优选使用不容易扩散氢及氧的导电材料。
[结构实例3]
图10是显示装置200C的截面示意图。显示装置200C具有层叠有在衬底201中形成沟道的晶体管260以及在在形成沟道的半导体层中包含金属氧化物的晶体管280的结构。
以覆盖晶体管260的方式设置有绝缘层256，绝缘层256上设置有被用作布线的导电层291。另外，以覆盖导电层291的方式设置有绝缘层255，绝缘层255上设置有被用作布线的导电层292。此外，以覆盖导电层292的方式设置有绝缘层254及绝缘层288，绝缘层288上设置有晶体管280。此外，以覆盖晶体管280的方式设置有绝缘层253，绝缘层253上设置有电容器240。电容器240与晶体管280通过插头297电连接。
晶体管280可以被用作构成像素电路的晶体管。此外，晶体管260被用作构成像素电路的晶体管或构成用来驱动该像素电路的驱动电路(栅极驱动器、源极驱动器等)的晶体管。另外，晶体管260及晶体管280可以被用作构成运算电路及存储电路等的各种电路的晶体管。
通过采用这种结构，在发光单元、受光元件的正下除配置像素电路外还可以配置驱动电路等，因此与在显示区域的周围设置驱动电路的情况相比，可以使显示装置小型化。
注意，在此示出在发光元件210或受光元件230与晶体管260之间设置一个晶体管280的结构，但是不局限于此，也可以层叠两个以上的晶体管280。由此，可以进一步缩小像素的占有面积，并可以高清晰度化。
[构成要素]
下面,说明可用于显示装置的晶体管等的构成要素。
〔晶体管〕
晶体管包括被用作栅电极的导电层、半导体层、被用作源电极的导电层、被用作漏电极的导电层以及被用作栅极绝缘层的绝缘层。
注意，对本发明的一个方式的显示装置所包括的晶体管的结构没有特别的限制。例如，可以采用平面型晶体管、交错型晶体管或反交错型晶体管。此外，还可以采用顶栅型或底栅型的晶体管结构。或者，也可以在沟道的上下设置有栅电极。
对用于晶体管的半导体材料的结晶性也没有特别的限制，可以使用非晶半导体、单晶半导体或者单晶半导体以外的具有结晶性的半导体(微晶半导体、多晶半导体或其一部分具有结晶区域的半导体)。当使用单晶半导体或具有结晶性的半导体时可以抑制晶体管的特性劣化，所以是优选的。
下面，说明尤其将金属氧化物膜用于形成沟道的半导体层的晶体管。
作为用于晶体管的半导体材料，可以使用能隙为2eV以上，优选为2.5eV以上，更优选为3eV以上的金属氧化物。典型地，可以使用包含铟的金属氧化物等，例如可以使用后面说明的CAC-OS等。
使用其带隙比硅宽且载流子密度小的金属氧化物的晶体管由于其关态电流低，因此能够长期间保持储存于与晶体管串联连接的电容器中的电荷。
作为半导体层例如可以采用包含铟、锌及M(铝、钛、镓、锗、钇、锆、镧、铈、锡、钕或铪等金属)的以“In-M-Zn类氧化物”表示的膜。
当构成半导体层的金属氧化物为In-M-Zn类氧化物时，优选用来形成In-M-Zn氧化物的溅射靶材的金属元素的原子数比满足In≥M及Zn≥M。这种溅射靶材的金属元素的原子数比优选为In：M：Zn＝1：1：1、In：M：Zn＝1：1：1.2、In：M：Zn＝3：1：2、In：M：Zn＝4：2：3、In：M：Zn＝4：2：4.1、In：M：Zn＝5：1：6、In：M：Zn＝5：1：7、In：M：Zn＝5：1：8等。注意，所形成的半导体层的原子数比分别有可能在上述溅射靶材中的金属元素的原子数比的±40％的范围内变动。
作为半导体层，使用载流子密度低的金属氧化物膜。例如，作为半导体层可以使用载流子密度为1×1017/cm3以下，优选为1×1015/cm3以下，更优选为1×1013/cm3以下，进一步优选为1×1011/cm3以下，更进一步优选为小于1×1010/cm3，1×10-9/cm3以上的金属氧化物。将这样的金属氧化物称为高纯度本征或实质上高纯度本征的金属氧化物。因为该金属氧化物的杂质浓度及缺陷能级密度低，因此可以说该金属氧化物是具有稳定的特性的金属氧化物。
注意，本发明不局限于上述记载，可以根据所需的晶体管的半导体特性及电特性(场效应迁移率、阈值电压等)来使用具有适当的组成的氧化物半导体。另外，优选适当地设定半导体层的载流子密度、杂质浓度、缺陷密度、金属元素与氧的原子数比、原子间距离、密度等，以得到所需的晶体管的半导体特性。
当构成半导体层的金属氧化物包含第14族元素之一的硅或碳时，半导体层中的氧空位增加，会使该半导体层变为n型。因此，将半导体层中的硅或碳的浓度(通过二次离子质谱分析法测得的浓度)设定为2×1018atoms/cm3以下，优选为2×1017atoms/cm3以下。
另外，有时当碱金属及碱土金属与金属氧化物键合时生成载流子，而使晶体管的关态电流增大。因此，将通过二次离子质谱分析法测得的半导体层的碱金属或碱土金属的浓度设定为1×1018atoms/cm3以下，优选为2×1016atoms/cm3以下。
另外，当构成半导体层的金属氧化物含有氮时生成作为载流子的电子，载流子密度增加而容易n型化。其结果是，使用含有氮的金属氧化物的晶体管容易变为常开启特性。因此，利用二次离子质谱分析法测得的半导体层的氮浓度优选为5×1018atoms/cm3以下。
氧化物半导体被分为单晶氧化物半导体和非单晶氧化物半导体。作为非单晶氧化物半导体有CAAC-OS(c-axis-aligned crystalline oxide semiconductor：c轴取向结晶氧化物半导体)、多晶氧化物半导体、nc-OS(nanocrystalline oxide semiconductor：纳米晶氧化物半导体)、a-like OS(amorphous-like oxide semiconductor)以及非晶氧化物半导体等。
作为本发明的一个方式所公开的晶体管的半导体层也可以使用CAC-OS(Cloud-Aligned Composite oxide semiconductor)。
另外，本发明的一个方式所公开的晶体管的半导体层可以适当地使用上述非单晶氧化物半导体或CAC-OS。此外，作为非单晶氧化物半导体可以适当地使用nc-OS或CAAC-OS。
另外，在本发明的一个方式中，作为晶体管的半导体层优选使用CAC-OS。通过使用CAC-OS，可以对晶体管赋予高电特性或高可靠性。
另外，半导体层也可以为包括CAAC-OS的区域、多晶氧化物半导体的区域、nc-OS的区域、a-like OS的区域以及非晶氧化物半导体的区域中的两种以上的混合膜。混合膜有时例如具有包括上述区域中的两种以上的区域的单层结构或叠层结构。
〈CAC-OS的构成>
以下，对可用于本发明的一个方式所公开的晶体管中的CAC(Cloud-AlignedComposite)-OS的构成进行说明。
CAC-OS例如是指包含在金属氧化物中的元素不均匀地分布的构成，其中包含不均匀地分布的元素的材料的尺寸分别为0.5nm以上且10nm以下，优选为1nm以上且2nm以下或近似的尺寸。注意，在下面也将在金属氧化物中一个或多个金属元素不均匀地分布且包含该金属元素的区域混合的状态称为马赛克(mosaic)状或补丁(patch)状，该区域的尺寸为0.5nm以上且10nm以下，优选为1nm以上且2nm以下或近似的尺寸。
金属氧化物优选至少包含铟。尤其优选包含铟及锌。除此之外，也可以还包含选自铝、镓、钇、铜、钒、铍、硼、硅、钛、铁、镍、锗、锆、钼、镧、铈、钕、铪、钽、钨和镁等中的一种或多种。
例如，In-Ga-Zn氧化物中的CAC-OS(在CAC-OS中，尤其可以将In-Ga-Zn氧化物称为CAC-IGZO)是指材料分成铟氧化物(以下，称为InOX1(X1为大于0的实数))或铟锌氧化物(以下，称为InX2ZnY2OZ2(X2、Y2及Z2为大于0的实数))以及镓氧化物(以下，称为GaOX3(X3为大于0的实数))或镓锌氧化物(以下，称为GaX4ZnY4OZ4(X4、Y4及Z4为大于0的实数))等而成为马赛克状，且马赛克状的InOX1或InX2ZnY2OZ2均匀地分布在膜中的构成(以下，也称为云状)。
换言之，CAC-OS是具有以GaOX3为主要成分的区域和以InX2ZnY2OZ2或InOX1为主要成分的区域混在一起的构成的复合金属氧化物。在本说明书中，例如，当第一区域的In与元素M的原子数比大于第二区域的In与元素M的原子数比时，第一区域的In浓度高于第二区域。
注意，IGZO是通称，有时是指包含In、Ga、Zn及O的化合物。作为典型例子，可以举出以InGaO3(ZnO)m1(m1为自然数)或In(1+x0)Ga(1-x0)O3(ZnO)m0(-1≤x0≤1，m0为任意数)表示的结晶性化合物。
上述结晶性化合物具有单晶结构、多晶结构或CAAC结构。CAAC结构是多个IGZO的纳米晶具有c轴取向性且在a-b面上以不取向的方式连接的结晶结构。
另一方面，CAC-OS与金属氧化物的材料构成有关。CAC-OS是指如下构成：在包含In、Ga、Zn及O的材料构成中，一部分中观察到以Ga为主要成分的纳米粒子状区域以及一部分中观察到以In为主要成分的纳米粒子状区域分别以马赛克状无规律地分散。因此，在CAC-OS中，结晶结构是次要因素。
CAC-OS不包含组成不同的两种以上的膜的叠层结构。例如，不包含由以In为主要成分的膜与以Ga为主要成分的膜的两层构成的结构。
注意，有时观察不到以GaOX3为主要成分的区域与以InX2ZnY2OZ2或InOX1为主要成分的区域之间的明确的边界。
在CAC-OS中包含选自铝、钇、铜、钒、铍、硼、硅、钛、铁、镍、锗、锆、钼、镧、铈、钕、铪、钽、钨和镁等中的一种或多种以代替镓的情况下，CAC-OS是指如下构成：一部分中观察到以该金属元素为主要成分的纳米粒子状区域以及一部分中观察到以In为主要成分的纳米粒子状区域以马赛克状无规律地分散。
CAC-OS例如可以通过在对衬底不进行意图性的加热的条件下利用溅射法来形成。在利用溅射法形成CAC-OS的情况下，作为成膜气体，可以使用选自惰性气体(典型的是氩)、氧气体和氮气体中的一种或多种。另外，成膜时的成膜气体的总流量中的氧气体的流量比越低越好，例如，将氧气体的流量比设定为0％以上且低于30％，优选为0％以上且10％以下。
CAC-OS具有如下特征：通过根据X射线衍射(XRD：X-ray diffraction)测定法之一的Out-of-plane法利用θ/2θ扫描进行测定时，观察不到明确的峰值。也就是说，根据X射线衍射，可知在测定区域中没有a-b面方向及c轴方向上的取向。
另外，在通过照射束径为1nm的电子束(也称为纳米束)而取得的CAC-OS的电子衍射图案中，观察到亮度高的环状区域以及在该环状区域内的多个亮点。由此，根据电子衍射图案，可知CAC-OS的结晶结构具有在平面方向及截面方向上没有取向的nc(nano-crystal)结构。
另外，例如在In-Ga-Zn氧化物的CAC-OS中，根据通过能量分散型X射线分析法(EDX：Energy Dispersive X-ray spectroscopy)取得的EDX面分析图像(EDX-mapping)，可确认到：具有以GaOX3为主要成分的区域及以InX2ZnY2OZ2或InOX1为主要成分的区域不均匀地分布而混合的构成。
CAC-OS的结构与金属元素均匀地分布的IGZO化合物不同，具有与IGZO化合物不同的性质。换言之，CAC-OS具有以GaOX3等为主要成分的区域及以InX2ZnY2OZ2或InOX1为主要成分的区域互相分离且以各元素为主要成分的区域为马赛克状的构成。
在此，以InX2ZnY2OZ2或InOX1为主要成分的区域的导电性高于以GaOX3等为主要成分的区域。换言之，当载流子流过以InX2ZnY2OZ2或InOX1为主要成分的区域时，呈现金属氧化物的导电性。因此，当以InX2ZnY2OZ2或InOX1为主要成分的区域在金属氧化物中以云状分布时，可以实现高场效应迁移率(μ)。
另一方面，以GaOX3等为主要成分的区域的绝缘性高于以InX2ZnY2OZ2或InOX1为主要成分的区域。换言之，当以GaOX3等为主要成分的区域在金属氧化物中分布时，可以抑制泄漏电流而实现良好的开关工作。
因此，当将CAC-OS用于半导体元件时，通过起因于GaOX3等的绝缘性及起因于InX2ZnY2OZ2或InOX1的导电性的互补作用可以实现高通态电流(Ion)及高场效应迁移率(μ)。
另外，使用CAC-OS的半导体元件具有高可靠性。因此，CAC-OS适用于显示器等各种半导体装置。
由于在半导体层中具有CAC-OS的晶体管的场效应迁移率高并驱动能力高，所以通过将该晶体管用于驱动电路，典型地是用于生成栅极信号的扫描线驱动电路，可以提供边框宽度窄(也称为窄边框)的显示装置。另外，通过将该晶体管用于显示装置所包括的信号线驱动电路(尤其是，与信号线驱动电路所包括的移位寄存器的输出端子连接的解复用器)，可以提供连接于显示装置的布线数少的显示装置。
另外，在半导体层具有CAC-OS的晶体管与使用低温多晶硅的晶体管同样不需要进行激光晶化工序。由此，即使为使用大面积衬底的显示装置，也可以减少制造成本。并且，在如超高清(Ultra High-Definition)(也称为“4K分辨率”、“4K2K”或“4K”)、超高清(SuperHigh-Definition)(也称为“8K分辨率”、“8K4K”或“8K”)等具有高分辨率的大型显示装置中，通过将在半导体层具有CAC-OS的晶体管用于驱动电路及显示部，可以在短时间内进行写入并降低显示不良，所以是优选的。
或者，也可以将硅用于形成有晶体管的沟道的半导体。作为硅可以使用非晶硅，尤其优选使用具有结晶性的硅。例如，优选使用微晶硅、多晶硅、单晶硅等。例如，优选使用微晶硅、多晶硅、单晶硅等。尤其是，多晶硅与单晶硅相比能够在低温下形成，并且多晶硅与单晶硅相比具有高场效应迁移率和高可靠性。
〔导电层〕
作为可用于晶体管的栅极、源极及漏极和构成显示装置的各种布线及电极等导电层的材料，可以举出铝、钛、铬、镍、铜、钇、锆、钼、银、钽或钨等金属或者以上述金属为主要成分的合金等。另外，可以以单层或叠层结构使用包含这些材料的膜。例如，有包含硅的铝膜的单层结构、在钛膜上层叠铝膜的两层结构、在钨膜上层叠铝膜的两层结构、在铜-镁-铝合金膜上层叠铜膜的两层结构、在钛膜上层叠铜膜的两层结构、在钨膜上层叠铜膜的两层结构、依次层叠钛膜或氮化钛膜、铝膜或铜膜和钛膜或氮化钛膜的三层结构、依次层叠钼膜或氮化钼膜、铝膜或铜膜和钼膜或氮化钼膜的三层结构等。另外，可以使用氧化铟、氧化锡或氧化锌等氧化物。另外，通过使用包含锰的铜，可以提高蚀刻时的形状的控制性，所以是优选的。
〔绝缘层〕
作为可用于各绝缘层的绝缘材料，例如可以使用丙烯酸树脂、环氧树脂等树脂、具有硅氧烷键的树脂、无机绝缘材料诸如氧化硅、氧氮化硅、氮氧化硅、氮化硅或氧化铝等。
另外，发光元件优选设置于一对透水性低的绝缘膜之间。由此，能够抑制水等杂质进入发光元件，从而能够抑制装置的可靠性下降。
作为透水性低的绝缘膜，可以举出氮化硅膜、氮氧化硅膜等含有氮及硅的膜以及氮化铝膜等含有氮及铝的膜等。另外，也可以使用氧化硅膜、氧氮化硅膜以及氧化铝膜等。
例如，将透水性低的绝缘膜的水蒸气透过量设定为1×10-5[g/(m2·day)]以下，优选为1×10-6[g/(m2·day)]以下，更优选为1×10-7[g/(m2·day)]以下，进一步优选为1×10-8[g/(m2·day)]以下。
以上是构成要素的说明。
[显示模块的结构实例]
以下说明包括本发明的一个方式的显示装置的显示模块的结构实例。
图11A是显示模块300的立体示意图。显示模块300包括显示装置200以及FPC310。作为显示装置200，可以使用上述所示的显示装置200A至显示装置200C等。
显示模块300包括衬底201以及衬底202。另外，在衬底202一侧包括显示部301。显示部301是显示模块300中的显示图像的区域，是能够看到来自设置在下述像素部304中的各像素的光的区域。
此外，显示部301可以兼作受光部。就是说，显示模块300可以检测入射到显示部301中的光并通过FPC310作为电信号输出到外部。
图11B是示意性地示出衬底201一侧的结构的立体图。衬底201具有层叠有电路部302、电路部302上的像素电路部303以及像素电路部303上的像素部304的结构。注意，像素电路部303也可以采用两层以上的结构。另外，在衬底201的不与像素部304重叠的部分中包括用来连接于FPC310的端子部305。另外，端子部305与电路部302通过由多个布线构成的布线部306电连接。
像素部304包括以矩阵状排列的多个像素304a。在图11B右侧示出一个像素304a的放大图。像素304a包括发光单元220R、发光单元220G、发光单元220B以及受光元件230。
像素电路部303包括以矩阵状排列的多个像素电路303a。一个像素电路303a包括控制一个像素304a所包含的三个发光单元的发光的电路及控制受光元件230的工作的电路。一个像素304a也可以具有设置有控制一个发光单元的发光的三个电路及控制受光元件230的工作的电路的结构。
像素电路的结构例如可以应用上述实施方式3所示的电路。
电路部302包括驱动像素电路部303中的各像素电路303a的电路。例如，优选具有包括栅极线驱动电路、源极线驱动电路等的结构。
另外，电路部302优选包括读出对应于受光元件230所检测的光量的输出信号并放大或转换该输出信号而使其输出的读出电路。例如，可以具有包括读出放大器等的结构。
此外，电路部302除了上述之外还可以包括运算电路、存储电路、电源电路等。
FPC310被用作用来从外部向电路部302供应视频信号、传感器驱动信号、电源电位等的布线以及用来向外部输出传感器信号的布线。另外，也可以在FPC310上安装IC。
显示模块300可以采用在像素部304的下侧层叠有像素电路部303、电路部302等的结构，所以可以使显示部301具有极高的开口率(有效显示面积比及有效受光面积比)。例如，显示部301的开口率可以为40％以上且低于100％，优选为50％以上且95％以下，更优选为60％以上且95％以下。另外，能够极高密度地配置像素304a，由此可以使显示部301具有极高的清晰度。例如，显示部301优选以500ppi以上、更优选为1000ppi以上、进一步优选为2000ppi以上、更进一步优选为3000ppi以上、还进一步优选为5000ppi以上、还进一步优选为6000ppi以上，且为20000ppi以下或30000ppi以下的清晰度配置像素304a。
因为这种显示模块300具有极高清晰度，所以适用于头戴显示器等VR用设备或者眼睛型AR用设备。例如，当具有通过透镜看到显示模块300的显示部的结构时，显示模块300因包括具有高清晰度的显示部301而即使使用透镜放大显示部也像素不被看到，所以可以进行沉浸感高的显示。另外，不局限于此，显示模块300还适用于具有相对较小型的显示部的电子设备。例如，适合用于智能手表等可穿戴式电子设备的显示部。
再者，显示模块300除了显示图像的功能还具有检测所接收的光的功能。由此，可以检测从使用者的脸的一部分反射的光并将其数据输出到外部。此时，来自设置在像素304a中的显示元件的光也可以被用作光源，即使在昏暗环境下也可以得到详细数据。
本实施方式的至少一部分可以与本说明书所记载的其他实施方式适当地组合而实施。
(实施方式5)
在本实施方式中，说明可用于本发明的一个方式的数据处理装置等的显示装置。
[结构实例]
图12A示出显示装置700的俯视图。显示装置700包括利用密封剂712贴合在一起的第一衬底701和第二衬底705。在被第一衬底701、第二衬底705及密封剂712密封的区域中，第一衬底701上设置有像素部702、源极驱动电路部704及栅极驱动电路部706。像素部702设置有多个显示元件。
另外，第一衬底701的不与第二衬底705重叠的部分中设置有与FPC716(FPC：Flexible printed circuit，柔性印刷电路)连接的FPC端子部708。利用FPC716通过FPC端子部708及信号线710分别对像素部702、源极驱动电路部704及栅极驱动电路部706提供各种信号等。
可以设置多个栅极驱动电路部706。另外，栅极驱动电路部706及源极驱动电路部704分别另行形成在半导体衬底等上，也可以采用被封装的IC芯片的方式。该IC芯片可以安装在第一衬底701上或安装到FPC716。
像素部702、源极驱动电路部704及栅极驱动电路部706包括的晶体管可以使用实施方式4所示的晶体管。
作为设置在像素部702中的显示元件，可以举出液晶元件、发光元件等。作为液晶元件，可以采用透射型液晶元件、反射型液晶元件、半透射型液晶元件等。另外，作为发光元件可以举出LED(Light Emitting Diode：发光二极管)、OLED(Organic LED：有机发光二极管)、QLED(Quantum-dot LED：量子点发光二极管)、半导体激光器等自发光性的发光元件。另外，可以使用快门方式或光干涉方式的MEMS(Micro Electro Mechanical Systems：微电子机械系统)元件或采用微囊方式、电泳方式、电润湿方式或电子粉流体(注册商标)方式等的显示元件等。
图12B所示的显示装置700A是使用具有柔性的树脂层743代替第一衬底701的能够用作柔性显示器的显示装置的例子。
显示装置700A的像素部702不是矩形而是角部具有圆弧形的形状。另外，如图12B中的区域P1所示，像素部702及树脂层743的一部分具有切断的缺口部。一对栅极驱动电路部706夹着像素部702设置在两侧。栅极驱动电路部706在像素部702的角部沿着圆弧形的轮廓内侧设置。
树脂层743的设置有FPC端子部708的部分突出。树脂层743的包括FPC端子部708的一部分可以沿着图12B中的区域P2折到背面。通过将树脂层743的一部分折到背面，可以在FPC716与像素部702的背面重叠配置的状态下将显示装置700A安装到电子设备，由此可以节省电子设备的空间。
与显示装置700A连接的FPC716安装有IC717。IC717例如具有源极驱动器电路的功能。这里，显示装置700A中的源极驱动电路部704可以采用至少包括保护电路、缓冲器电路、解复用器电路等中的一种的结构。
图12C所示的显示装置700B是适用于具有大屏幕的电子设备的显示装置。例如，适用于电视装置、显示器装置、个人计算机(包括笔记本型或台式)、平板终端、数字标牌等。
显示装置700B包括多个源极驱动器IC721和一对栅极驱动电路部722。
多个源极驱动器IC721分别安装在FPC723上。此外，多个FPC723的一个端子与衬底701连接，另一个端子与印刷电路板724连接。通过使FPC723弯曲，可以将印刷电路板724配置在像素部702的背面，安装在电子设备中，而可以减小用来设置电子设备的空间。
另一方面，栅极驱动电路部722形成在衬底701上。由此，可以实现窄边框的电子设备。
通过采用上述结构，可以实现大型且高清晰显示装置。例如，可以实现应用于屏幕尺寸为对角线30英寸以上、40英寸以上、50英寸以上或60英寸以上的显示装置。此外，可以实现4K2K、8K4K等极为高分辨率的显示装置。
[截面结构实例]
下面参照图13至图16对作为显示元件使用液晶元件的结构及使用EL元件的结构进行说明。图13至图15是分别沿着图12A所示的点划线Q-R的截面图。图16是沿着图12B所示的显示装置700A中的点划线S-T的截面图。图13及图14是作为显示元件使用液晶元件的结构，图15及图16是使用EL元件的结构。
〔显示装置的相同部分的说明〕
图13至图16所示的显示装置包括引绕布线部711、像素部702、源极驱动电路部704及FPC端子部708。引绕布线部711包括信号线710。像素部702包括晶体管750及电容器790。源极驱动电路部704包括晶体管752。图14示出不包括电容器790的情况。
晶体管750及晶体管752是将氧化物半导体用于形成沟道的半导体层的晶体管。注意，不局限于此，也可以使用将硅(非晶硅、多晶硅或单晶硅)用于半导体层的晶体管。
本实施方式使用的晶体管包括高度纯化且氧空位的形成被抑制的氧化物半导体膜。该晶体管可以具有低关态电流。因此，可以延长图像信号等电信号的保持时间，可以延长图像信号等的写入间隔。因此，可以降低刷新工作的频度，由此可以发挥降低功耗的效果。
另外，在本实施方式中使用的晶体管能够得到较高的场效应迁移率，因此能够进行高速驱动。例如，通过将这种能够进行高速驱动的晶体管用于显示装置，可以在同一衬底上形成像素部的开关晶体管及用于驱动电路部的驱动晶体管。即，可以采用不采用由硅片等形成的驱动电路的结构，由此可以减少显示装置的构件数。另外，通过在像素部中也使用能够进行高速驱动的晶体管，可以提供高品质的图像。
图13、图15及图16所示的电容器790包括通过对与晶体管750包括的第一栅电极为同一膜的膜进行加工形成的下部电极以及通过对与半导体层为同一导电膜的金属氧化物膜进行加工形成的上部电极。上部电极与晶体管750的源区域及漏区域同样地被低电阻化。另外，在下部电极与上部电极之间设置有用作晶体管750的第一栅极绝缘层的绝缘膜的一部分。也就是说，电容器790具有在一对电极间夹有用作电介质膜的绝缘膜的叠层结构。另外，上部电极连接有通过对与晶体管的源电极及漏电极为同一膜进行加工形成的布线。
另外，晶体管750、晶体管752及电容器790上设置有平坦化绝缘膜770。
像素部702所包括的晶体管750与源极驱动电路部704所包括的晶体管752也可以使用不同结构的晶体管。例如，可以采用其中一方使用顶栅极型晶体管而另一方使用底栅极型晶体管的结构。另外，上述栅极驱动电路部706也与源极驱动电路部704同样。
信号线710与晶体管750、晶体管752的源电极及漏电极等由同一导电膜形成。这里，优选使用含有铜元素的材料等低电阻材料，由此可以减少起因于布线电阻的信号延迟等，从而可以实现大屏幕显示。
FPC端子部708包括其一部分用作连接电极的布线760、各向异性导电膜780及FPC716。布线760通过各向异性导电膜780与FPC716的端子电连接。在此，布线760是由与晶体管750、752的源电极及漏电极等为同一导电膜的膜形成。
作为第一衬底701及第二衬底705，例如可以使用玻璃衬底或塑料衬底等具有柔性的衬底。当作为第一衬底701使用具有柔性的衬底时，优选在第一衬底701与晶体管750等之间设置对水或氢具有阻挡性的绝缘层。
另外，第二衬底705一侧设置有遮光膜738、着色膜736以及与它们接触的绝缘膜734。
〔使用液晶元件的显示装置的结构实例〕
图13所示的显示装置700包括液晶元件775。液晶元件775包括导电层772、导电层774以及导电层772与导电层774之间的液晶层776。导电层774设置在第二衬底705一侧，用作公共电极。另外，导电层772与晶体管750所包括的源电极或漏电极电连接。导电层772形成在平坦化绝缘膜770上用作像素电极。
导电层772可以使用对可见光具有透光性的材料或具有反射性的材料。作为透光性材料，例如，可以使用含有铟、锌、锡等的氧化物材料。作为反射性材料，例如，可以使用含有铝、银等材料。
当作为导电层772使用反射性材料时，显示装置700为反射型液晶显示装置。当作为导电层772使用透光性材料时，显示装置700为透射型液晶显示装置。当为反射型液晶显示装置的情况下，在观看侧设置偏振片。当为透射型液晶显示装置的情况下，以夹着液晶元件775的方式设置一对偏振片。
图14所示的显示装置700示出使用横向电场方式(例如，FFS模式)的液晶元件775的例子。导电层772上隔着绝缘层773设置有用作公共电极的导电层774。可以通过导电层772与导电层774间产生的电场控制液晶层776的取向状态。
在图14中，可以以导电层774、绝缘层773、导电层772的叠层结构构成存储电容器。因此，不需要另外设置电容器，可以提高开口率。
另外，虽然图13及图14中没有进行图示，也可以采用设置与液晶层776接触的取向膜。另外，可以适当地设置偏振构件、相位差构件、抗反射构件等的光学构件(光学衬底)及背光、侧光等光源。
液晶层776可以使用热致液晶、低分子液晶、高分子液晶、高分子分散型液晶(PDLC：Polymer Dispersed Liquid Crystal)、高分子网络型液晶(PNLC：Polymer NetworkLiquid Crystal)、铁电液晶、反铁电液晶等。另外，在采用横向电场方式的情况下，也可以使用不需要取向膜的呈现蓝相的液晶。
另外，作为液晶元件的模式，可以采用TN(Twisted Nematic：扭曲向列)模式、VA(Vertical Alignment：垂直取向)模式、IPS(In-Plane-Switching：平面内转换)模式、FFS(Fringe Field Switching：边缘电场转换)模式、ASM(Axially Symmetric alignedMicro-cell：轴对称排列微单元)模式、OCB(Optical Compensated Birefringence：光学补偿弯曲)模式、ECB(Electrically Controlled Birefringence：电控双折射)模式、宾主模式等。
另外，液晶层776可以采用使用高分子分散型液晶、高分子网络型液晶等的散乱型液晶。此时，可以采用不设置着色膜736进行黑白色显示的结构，也可以采用使用着色膜736进行彩色显示的结构。
另外，作为液晶元件的驱动方法，可以应用利用继时加法混色法进行彩色显示的分时显示方式(也称为场序制列驱动方式)。在该情况下，可以采用不设置着色膜736的结构。当采用分时显示方式的情况下，例如无需设置分别呈现R(红色)、G(绿色)、B(蓝色)的子像素，因此具有可以提高像素的开口率、清晰度等优点。
〔使用发光元件的显示装置〕
图15所示的显示装置700包括发光元件782。发光元件782包括导电层772、EL层786及导电膜788。EL层786具有有机化合物或量子点等的无机化合物。
作为可用于有机化合物的材料，可以举出荧光性材料或磷光性材料等。另外，可用于量子点的材料，可以举出胶状量子点、合金型量子点、核壳(Core Shell)型量子点、核型量子点等。
图15所示的显示装置700在平坦化绝缘膜770上设置有覆盖导电层772的一部分的绝缘膜730。在此，发光元件782包括透光性导电膜788并为顶部发射型发光元件。另外，发光元件782也可以采用从导电层772侧射出光的底部发射结构或者从导电层772一侧及导电膜788一侧的双方射出光的双面发射结构。
另外，着色膜736设置在与发光元件782重叠的位置，遮光膜738设置在与绝缘膜730重叠的位置、引绕布线部711及源极驱动电路部704中。另外，着色膜736及遮光膜738由绝缘膜734覆盖。另外，发光元件782与绝缘膜734之间由密封膜732充填。另外，当通过在各像素中将EL层786形成为岛状或者在各像素列中将EL层786形成为条状，也就是说，通过分开涂布来形成EL层786时，也可以采用不设置着色膜736的结构。
图16示出适用于柔性显示器的显示装置的结构。图16是沿着图12B所示的显示装置700A中的点划线S-T的截面图。
图16所示的显示装置700A采用支撑衬底745、粘合层742、树脂层743及绝缘层744的叠层结构代替图15所示的衬底701。晶体管750、电容器790等在设置在树脂层743上的绝缘层744上设置。
支撑衬底745是包含有机树脂、玻璃等的具有柔性的薄衬底。树脂层743是包含聚酰亚胺、丙烯酸等的有机树脂的层。绝缘层744包含氧化硅、氧氮化硅、氮化硅等的无机绝缘膜。树脂层743与支撑衬底745通过粘合层742贴合在一起。树脂层743优选比支撑衬底745薄。
另外，图16所示的显示装置700A包括保护层740代替图15所示的衬底705。保护层740与密封膜732贴合在一起。保护层740可以使用玻璃衬底、树脂薄膜等。另外，保护层740也可以使用偏振片、散射板等光学构件、触摸传感器面板等输入装置或上述两个以上的叠层结构。
另外，发光元件782包括的EL层786在绝缘膜730及导电层772上以岛状设置。通过以各子像素中的EL层786的发光颜色都不同的方式分开形成EL层786，可以在不使用着色膜736的情况下实现彩色显示。另外，覆盖发光元件782设置有保护层741。保护层741可以防止水等杂质扩散到发光元件782中。保护层741优选使用无机绝缘膜。另外，更优选的是采用无机绝缘膜和有机绝缘膜各为一个以上的叠层结构。
另外，图16中示出能够折叠的区域P2。区域P2中包括不设置有支撑衬底745、粘合层742以及绝缘层744等无机绝缘膜的部分。另外，在区域P2中，覆盖布线760设置有树脂层746。通过尽量不在能够折叠的区域P2中设置无机绝缘膜而采用仅层叠含有金属或合金的导电层、含有有机材料的层的结构，可以防止在使其弯曲时产生裂缝。另外，通过不在区域P2设置支撑衬底745，可以使显示装置700A的一部分以极小的曲率半径弯曲。
〔在显示装置中设置输入装置的结构实例〕
另外，也可以对图13至图16所示的显示装置700设置输入装置。作为该输入装置，例如，可以举出触摸传感器等。
例如，作为传感器的方式，可以利用静电电容式、电阻膜式、表面声波式、红外线式、光学式、压敏式等各种方式。此外，可以组合使用上述方式中的两个以上。
另外，触摸面板有如下结构：输入装置形成在一对衬底之间的所谓的In-Cell型触摸面板；输入装置形成在显示装置700上的所谓的On-Cell型触摸面板；与显示装置700贴合的所谓的Out-Cell型触摸面板；等等。
本实施方式所示的结构实例及对应于这些例子的附图等的至少一部分可以与其他结构实例或附图等适当地组合而实施。
本实施方式的至少一部分可以与本说明书所记载的其他实施方式适当地组合而实施。
(实施方式6)
在本实施方式中，说明可用于本发明的一个方式的数据处理装置的具备显示装置的电子设备的结构实例。
可以将本发明的一个方式的显示装置及显示模块用于具有显示功能的电子设备等的显示部。作为这种电子设备，例如除了电视装置、笔记本型个人计算机、显示器装置、数字标牌、弹珠机、游戏机等具有较大的屏幕的电子设备以外，还可以举出数码相机、数码摄像机、数码相框、移动电话机、便携式游戏机、便携式信息终端、声音再现装置等。
特别是，因为本发明的一个方式的显示装置及显示模块可以提高清晰度，所以可以适当地用于包括较小的显示部的电子设备。可以将这种电子设备适当地用于可戴在头上的可穿戴设备等，例如手表型或手镯型信息终端设备(可穿戴设备)、头戴显示器等VR用设备或眼镜型AR用设备等。
图17A示出眼镜型电子设备900的立体图。电子设备900包括一对显示面板901、一对框体902、一对光学构件903、一对装上部904等。
电子设备900可以将由显示面板901显示的图像投影于光学构件903中的显示区域906。另外，因为光学构件903具有透光性，所以使用者可以与通过光学构件903看到的透过图像重叠地看到显示于显示区域906的图像。因此，电子设备900是能够进行AR显示的电子设备。
另外，电子设备900所包括的显示面板901除了图像显示功能之外优选还具有摄像功能。此时，电子设备900可以接收经过光学构件903入射到显示面板901的光，并将其转换为电信号而输出。由此，可以拍摄使用者的眼睛或眼睛及其附近，将其输出到外部或电子设备900所包括的运算部作为图像数据。
另外，一个框体902设置有能够拍摄前面的相机905。此外，虽然未图示，但是任一个框体902具备无线接收器或能够与电缆连接的连接器，从而可以对框体902供应影像信号等。此外，通过在框体902具备陀螺传感器等加速度传感器，可以检测到使用者头部的方向而将对应于该方向的图像显示于显示区域906。另外，框体902优选设置有电池。该电池能够以无线或有线对该电池进行充电。
接下来，参照图17B说明相对于电子设备900的显示区域906的图像投影方法。框体902的内部设置有显示面板901、透镜911、反射板912。此外，相当于光学构件903的显示区域906的部分包括被用作半反射镜的反射面913。
显示面板901所发射的光915经过透镜911而被反射板912反射到光学构件903一侧。在光学构件903的内部中，光915在光学构件903的端面反复全反射，在到达反射面913时，图像被投影于反射面913。由此，使用者可以看到反射在反射面913上的光915和经过光学构件903(包括反射面913)的透过光916的两个。
图17示出反射板912及反射面913都具有曲面的例子。由此，与它们是平面的情况相比，可以提高光学设计的自由度，从而可以减薄光学构件903的厚度。另外，反射板912及反射面913也可以是平面。
作为反射板912，可以使用具有镜面的构件，并且该反射板优选具有高反射率。此外，作为反射面913，也可以使用利用金属膜的反射的半反射镜，但是当使用利用全反射的棱镜等时，可以提高透过光916的透过率。
在此，框体902优选具有调整透镜911和显示面板901之间的距离及角度的机构。由此，可以进行焦点调整、图像的放大、缩小等。例如，采用透镜911及显示面板901中的一方或双方能够在光轴方向上移动的结构，即可。
另外，框体902优选具有能够调整反射板912的角度的机构。通过改变反射板912的角度，可以改变显示图像的显示区域906的位置。由此，可以根据使用者的眼睛的位置将显示区域906配置于最合适的位置上。
显示面板901可以应用本发明的一个方式的显示装置或显示模块。因此，可以实现能够进行清晰度极高的显示的电子设备900。
图18A及图18B示出护目镜型电子设备950的立体图。图18A是示出电子设备950的正面、平面及左侧面的立体图，图18B是示出电子设备950的背面、底面及右侧面的立体图。
电子设备950包括一对显示面板951、框体952、一对装上部954、缓冲构件955、一对透镜956等。一对显示面板951的每一个设置在框体952内部的能够通过透镜956看到的位置上。
电子设备950是VR用电子设备。装上电子设备950的使用者可以通过透镜956看到显示于显示面板951的图像。此外，通过使一对显示面板951显示互不相同的图像，也可以进行利用视差的三维显示。
另外，框体952的背面一侧设置有输入端子957和输出端子958。可以将供应来自影像输出设备等的影像信号或用于对设置在框体952内的电池进行充电的电力等的电缆连接到输入端子957。输出端子958例如被用作声音输出端子，可以与耳机或头戴式耳机等连接。另外，在能够通过无线通信输出声音数据的情况或从外部的影像输出设备输出声音的情况下，也可以不设置该声音输出端子。
另外，框体952优选具有一种机构，其中能够调整透镜956及显示面板951的左右位置，以根据使用者的眼睛的位置使透镜956及显示面板951位于最合适的位置上。此外，还优选具有一种机构，其中通过改变透镜956和显示面板951之间的距离来调整焦点。
显示面板951可以应用本发明的一个方式的显示装置或显示模块。因此，可以实现能够进行清晰度极高的显示的电子设备950。由此，使用者可以感受高沉浸感。
缓冲构件955是与使用者的脸(额头及脸颊等)接触的部分。通过使缓冲构件955与使用者的脸密接，可以防止漏光，从而可以进一步提高沉浸感。缓冲构件955优选使用柔软的材料以在使用者装上电子设备950时与使用者的脸密接。例如，可以使用橡胶、硅酮橡胶、聚氨酯、海绵等材料。另外，当作为缓冲构件955使用用布或皮革(天然皮革或合成皮革)等覆盖海绵等的表面的构件时，在使用者的脸和缓冲构件955之间不容易产生空隙，从而可以适当地防止漏光。另外，在使用这种材料时，不仅让使用者感觉亲肤，而且当在较冷的季节等装上的情况下不让使用者感到寒意，所以是优选的。在缓冲构件955及装上部954等接触于使用者的皮肤的构件采用可拆卸的结构时，容易进行清洗及交换，所以是优选的。
本实施方式的至少一部分可以与本说明书所记载的其他实施方式适当地组合而实施。
(实施方式7)
在本实施方式中，说明可用于本发明的一个方式的数据处理装置或显示装置的电子设备的例子。
图19A所示的电子设备6500是可以用作智能手机的便携式信息终端设备。
电子设备6500包括框体6501、显示部6502、电源按钮6503、按钮6504、扬声器6505、麦克风6506、相机6507及光源6508等。显示部6502具有触摸面板功能。另外，电子设备6500在框体6501内部包括运算装置、存储装置等。
可以通过相机6507拍摄使用者的脸的一部分。此时，通过作为光源6508采用不仅可以发射可见光而且可以发射红外线的结构，可以在不刺使用者的眼的同时取得更准确的脸数据。
图19B是包括框体6501的麦克风6506一侧的端部的截面示意图。
框体6501的显示面一侧设置有具有透光性的保护构件6510，被框体6501及保护构件6510包围的空间内设置有显示面板6511、光学构件6512、触摸传感器面板6513、印刷电路板6517、电池6518等。
显示面板6511、光学构件6512及触摸传感器面板6513使用没有图示的粘合层固定到保护构件6510。
另外，在显示部6502外侧的区域中，显示面板6511的一部分被折叠。另外，该被折叠的部分与FPC6515连接。FPC6515安装有IC6516。此外，FPC6515与设置于印刷电路板6517的端子连接。
显示面板6511可以使用本发明的一个方式的柔性显示器面板。由此，可以实现极轻量的电子设备。另外，由于显示面板6511极薄，所以可以在抑制电子设备的厚度的情况下搭载大容量的电池6518。另外，通过折叠显示面板6511的一部分以在像素部的背面设置与FPC6515的连接部，可以实现窄边框的电子设备。
本实施方式的至少一部分可以与本说明书所记载的其他实施方式适当地组合而实施。
[符号说明]
10：数据处理装置、11：数据提供单元、12：拍摄对象检测单元、13：特征抽取单元、14：感情推断单元、15：数据生成单元、20：图像显示装置、21：图像显示单元、25：图像生成单元、30：对角、51：输入层、52：中间层、53：输出层、61：数据、62：数据、63：数据、71：图像数据、72：图像数据、73：图像数据、100：数据处理装置、101：运算部、102：运算部、103：存储器模块、104：显示器模块、105：传感器模块、106：音响模块、107：振动模块、108：照明模块、109：芳香模块、110：总线、111：通信模块、112：电池模块、113：相机模块、114：外部接口。

Claims (13)

1.一种数据处理方法，包括如下步骤：
检测使用者的脸的一部分；
从所检测的所述脸的一部分抽出所述使用者的脸特征；
根据所述特征推断所述使用者的感情；以及
根据所推断的所述感情决定提供给所述使用者的数据。
2.根据权利要求1所述的数据处理方法，
其中所述使用者的所述脸的一部分为眼睛、或者眼睛及其附近。
3.一种图像显示方法，包括如下步骤：
检测使用者的脸的一部分；
从所检测的所述脸的一部分抽出所述使用者的脸特征；
根据所述特征推断所述使用者的感情；以及
根据所推断的所述感情决定提供给所述使用者的图像。
4.根据权利要求3所述的图像显示方法，
其中当在所推断的所述感情中包含焦躁、焦虑、生气、愤怒、悲伤、兴奋、不安、恐怖、不满、痛苦和空虚中的至少一个时，给所述使用者提供缓和该感情的图像。
5.根据权利要求3所述的图像显示方法，
其中当在所推断的所述感情中包含焦躁、焦虑、生气、愤怒、悲伤、兴奋、不安、恐怖、不满、痛苦和空虚中的至少一个时，给所述使用者提供意识到该感情的图像。
6.根据权利要求3至5中任一项所述的图像显示方法，
其中所述特征的抽出通过使用神经网络的推理来进行。
7.根据权利要求3至6中任一项所述的图像显示方法，
其中所述感情的推断通过使用神经网络的推理来进行。
8.一种数据处理装置，包括：
为使用者提供数据的数据提供单元；
检测所述使用者的脸的一部分的拍摄对象检测单元；
从所检测的所述使用者的脸的一部分抽出所述使用者的脸特征的特征抽取单元；
根据所抽出的所述特征推断所述使用者的感情的感情推断单元；以及
根据所推断的所述感情生成提供给所述使用者的数据的数据生成单元。
9.一种图像显示装置，包括：
为使用者提供图像的图像显示单元；
检测所述使用者的脸的一部分的拍摄对象检测单元；
从所检测的所述使用者的脸的一部分抽出所述使用者的脸特征的特征抽取单元；
根据所抽出的所述特征推断所述使用者的感情的感情推断单元；以及
根据所推断的所述感情生成使所述图像显示单元显示的图像的图像生成单元。
10.根据权利要求9所述的图像显示装置，
其中所述特征抽取单元通过使用神经网络的推理抽出所述特征。
11.根据权利要求9或权利要求10所述的图像显示装置，
其中所述图像显示单元包括发光元件以及与该发光元件电连接的第一晶体管，
所述拍摄对象检测单元包括传感器元件以及与所述传感器元件电连接的第二晶体管，
并且所述第一晶体管和所述第二晶体管设置在同一衬底上。
12.根据权利要求11所述的图像显示装置，
其中所述发光元件和所述传感器元件排列在同一面上。
13.根据权利要求11或权利要求12所述的图像显示装置，
其中所述第一晶体管或所述第二晶体管在形成沟道的半导体中包括氧化物半导体。
CN201980040231.6A 2018-06-22 2019-06-12 数据处理方法、图像显示方法、数据处理装置以及图像显示装置 Pending CN112313701A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018118485 2018-06-22
JP2018-118485 2018-06-22
PCT/IB2019/054895 WO2019243955A1 (ja) 2018-06-22 2019-06-12 情報処理方法、画像表示方法、情報処理装置、及び画像表示装置

Publications (1)

Publication Number Publication Date
CN112313701A true CN112313701A (zh) 2021-02-02

Family

ID=68983790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980040231.6A Pending CN112313701A (zh) 2018-06-22 2019-06-12 数据处理方法、图像显示方法、数据处理装置以及图像显示装置

Country Status (5)

Country Link
US (2) US11755905B2 (zh)
JP (1) JP7350735B2 (zh)
KR (1) KR20210022642A (zh)
CN (1) CN112313701A (zh)
WO (1) WO2019243955A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12200950B2 (en) 2021-03-05 2025-01-14 Semiconductor Energy Laboratory Co., Ltd. Electronic device

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019243955A1 (ja) * 2018-06-22 2019-12-26 株式会社半導体エネルギー研究所 情報処理方法、画像表示方法、情報処理装置、及び画像表示装置
KR20210130724A (ko) * 2019-02-22 2021-11-01 가부시키가이샤 한도오따이 에네루기 켄큐쇼 안경형 전자 기기
JP7526163B2 (ja) 2019-07-26 2024-07-31 株式会社半導体エネルギー研究所 複合デバイス
WO2021044249A1 (ja) 2019-09-06 2021-03-11 株式会社半導体エネルギー研究所 情報処理装置
JP7705808B2 (ja) * 2020-01-10 2025-07-10 株式会社半導体エネルギー研究所 電子機器
US12191389B2 (en) * 2020-06-15 2025-01-07 Taiwan Semiconductor Manufacturing Company, Ltd. Layered structure, semiconductor device including the same, and manufacturing method thereof
DE112022001242T5 (de) * 2021-02-26 2023-12-21 Semiconductor Energy Laboratory Co., Ltd. Anzeigevorrichtung und elektronisches Gerät
US20240196688A1 (en) * 2021-04-30 2024-06-13 Semiconductor Energy Laboratory Co., Ltd. Display apparatus, display module, and electronic device
JPWO2022248972A1 (zh) 2021-05-27 2022-12-01
CN117678011A (zh) 2021-08-05 2024-03-08 株式会社半导体能源研究所 电子设备及电子设备的工作方法
KR20240101634A (ko) 2021-11-12 2024-07-02 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치 및 전자 기기
US12194387B2 (en) * 2022-07-27 2025-01-14 Sony Interactive Entertainment Inc. User sentiment detection to identify user impairment during game play providing for automatic generation or modification of in-game effects
FR3157632A1 (fr) * 2023-12-26 2025-06-27 Faurecia Clarion Electronics Europe Procédé de détermination d’une émotion d’un utilisateur présent dans un véhicule, système et programme ordinateur associés

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728095A (ja) * 1994-04-14 1995-01-31 Rohm Co Ltd 撮像表示装置
JP2005346471A (ja) * 2004-06-03 2005-12-15 Canon Inc 情報処理方法、情報処理装置
US20090316862A1 (en) * 2006-09-08 2009-12-24 Panasonic Corporation Information processing terminal and music information generating method and program
US20140091301A1 (en) * 2012-09-24 2014-04-03 Semiconductor Energy Laboratory Co., Ltd. Display device
CN105493494A (zh) * 2013-08-30 2016-04-13 日立麦克赛尔株式会社 信息处理装置、信息处理方法和程序
US20170098122A1 (en) * 2010-06-07 2017-04-06 Affectiva, Inc. Analysis of image content with associated manipulation of expression presentation
US20170102783A1 (en) * 2015-10-08 2017-04-13 Panasonic Intellectual Property Corporation Of America Method for controlling information display apparatus, and information display apparatus
CN107025423A (zh) * 2015-12-24 2017-08-08 卡西欧计算机株式会社 情绪估计装置以及情绪估计方法
US20180075490A1 (en) * 2016-09-09 2018-03-15 Sony Corporation System and method for providing recommendation on an electronic device based on emotional state detection

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6581915B2 (en) * 2000-07-27 2003-06-24 The Procter & Gamble Company Dispensing device for dispensing scents
JP4799105B2 (ja) 2005-09-26 2011-10-26 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
CN101542688B (zh) 2007-03-29 2011-03-30 松下电器产业株式会社 碳化硅半导体元件的制造方法
JP4974788B2 (ja) 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
KR20130022434A (ko) 2011-08-22 2013-03-07 (주)아이디피쉬 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
US20150258560A1 (en) * 2014-03-12 2015-09-17 Icon Health & Fitness, Inc. Scent Based Workout Mechanism
US9987489B2 (en) * 2015-03-27 2018-06-05 Elwha Llc Controlling ear stimulation in response to electrical contact sensing
US9336268B1 (en) * 2015-04-08 2016-05-10 Pearson Education, Inc. Relativistic sentiment analyzer
JP6656079B2 (ja) 2015-10-08 2020-03-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提示装置の制御方法、及び、情報提示装置
CA3133726C (en) * 2015-11-02 2023-06-27 Pura Scents, Inc. Scent dispensation
US10255487B2 (en) 2015-12-24 2019-04-09 Casio Computer Co., Ltd. Emotion estimation apparatus using facial images of target individual, emotion estimation method, and non-transitory computer readable medium
WO2018027080A1 (en) * 2016-08-03 2018-02-08 Akili Interactive Labs, Inc. Cognitive platform including computerized evocative elements
JP6373323B2 (ja) * 2016-09-30 2018-08-15 本田技研工業株式会社 移動体制御装置、及び移動体
WO2019243955A1 (ja) * 2018-06-22 2019-12-26 株式会社半導体エネルギー研究所 情報処理方法、画像表示方法、情報処理装置、及び画像表示装置
CN111312792B (zh) * 2020-03-04 2022-11-25 上海天马微电子有限公司 显示面板和显示装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728095A (ja) * 1994-04-14 1995-01-31 Rohm Co Ltd 撮像表示装置
JP2005346471A (ja) * 2004-06-03 2005-12-15 Canon Inc 情報処理方法、情報処理装置
US20090316862A1 (en) * 2006-09-08 2009-12-24 Panasonic Corporation Information processing terminal and music information generating method and program
US20170098122A1 (en) * 2010-06-07 2017-04-06 Affectiva, Inc. Analysis of image content with associated manipulation of expression presentation
US20140091301A1 (en) * 2012-09-24 2014-04-03 Semiconductor Energy Laboratory Co., Ltd. Display device
CN105493494A (zh) * 2013-08-30 2016-04-13 日立麦克赛尔株式会社 信息处理装置、信息处理方法和程序
US20170102783A1 (en) * 2015-10-08 2017-04-13 Panasonic Intellectual Property Corporation Of America Method for controlling information display apparatus, and information display apparatus
CN107025423A (zh) * 2015-12-24 2017-08-08 卡西欧计算机株式会社 情绪估计装置以及情绪估计方法
US20180075490A1 (en) * 2016-09-09 2018-03-15 Sony Corporation System and method for providing recommendation on an electronic device based on emotional state detection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12200950B2 (en) 2021-03-05 2025-01-14 Semiconductor Energy Laboratory Co., Ltd. Electronic device

Also Published As

Publication number Publication date
US12118467B2 (en) 2024-10-15
JP7350735B2 (ja) 2023-09-26
US20230368022A1 (en) 2023-11-16
US11755905B2 (en) 2023-09-12
KR20210022642A (ko) 2021-03-03
US20210279449A1 (en) 2021-09-09
JPWO2019243955A1 (ja) 2021-08-05
WO2019243955A1 (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
JP7350735B2 (ja) 画像表示装置
CN112106446B (zh) 显示装置及显示装置的制造方法
JP7679531B2 (ja) 表示装置
CN112673411B (zh) 显示装置、显示模块及电子设备
JP2024056773A (ja) 表示装置
WO2022162497A1 (ja) 半導体装置および電子機器
KR20240004595A (ko) 전자 기기
KR20230128008A (ko) 표시 시스템
US11815689B2 (en) Electronic device
KR20220006557A (ko) 복합 디바이스, 및 전자 기기의 구동 방법
US20240169539A1 (en) Electronic device and display system
US20230113155A1 (en) Electronic device
US20240264665A1 (en) Electronic device and operation method of the electronic device
WO2022123390A1 (ja) 表示システムの動作方法
US20250234706A1 (en) Display apparatus
US20240371306A1 (en) Display apparatus and electronic device
US20240173014A1 (en) Electronic device
CN116583896A (zh) 显示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination