[go: up one dir, main page]

CN107427264A - 摄像装置、图像处理装置和图像处理方法 - Google Patents

摄像装置、图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN107427264A
CN107427264A CN201580078657.2A CN201580078657A CN107427264A CN 107427264 A CN107427264 A CN 107427264A CN 201580078657 A CN201580078657 A CN 201580078657A CN 107427264 A CN107427264 A CN 107427264A
Authority
CN
China
Prior art keywords
pixel
subject
visible light
light
subregion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580078657.2A
Other languages
English (en)
Inventor
吉崎和德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107427264A publication Critical patent/CN107427264A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A61B5/02416—Measuring pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/443—Evaluating skin constituents, e.g. elastin, melanin, water
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/0215—Measuring pressure in heart or blood vessels by means inserted into the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
    • A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue for measuring blood gases

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Pulmonology (AREA)
  • Vascular Medicine (AREA)
  • Dermatology (AREA)
  • Artificial Intelligence (AREA)
  • Child & Adolescent Psychology (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Microscoopes, Condenser (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

提供能够在非接触状态下得到活体的生命特征信息的摄像装置、图像处理装置和图像处理方法。摄像装置(1)具有：摄像元件(22)；滤波器阵列(23)，其与摄像元件(22)的多个像素对应地配置包含非可视光滤波器和多个可视光滤波器的单元，所述多个可视光滤波器在可视光波段内的透射光谱的最大值相互不同，所述非可视光滤波器在波长比可视光波段更长的一侧的非可视光区域具有透射光谱的最大值；部分区域检测部(272)，其针对与摄像元件(22)生成的图像数据对应的图像，检测被摄体的部分区域；以及生命特征信息生成部(273)，其根据如下的像素输出的图像信号生成被摄体的生命特征信息，该像素是与部分区域检测部(272)检测到的部分区域对应的摄像元件(22)的摄像区域中的像素中的、配置有非可视光滤波器的像素。

Description

摄像装置、图像处理装置和图像处理方法
技术领域
本发明涉及对被摄体进行摄像而生成用于检测该被摄体的生命特征(vital)信息的图像数据的摄像装置、图像处理装置和图像处理方法。
背景技术
以往，在医疗领域和健康领域中，作为用于掌握人的健康状态的信息，使用心率、氧饱和度和血压等生命特征信息来掌握被摄体的健康状态。例如，公知有如下技术：在使手指等活体与分别照射红色光和近红外光的测定探测器内接触的状态下通过图像传感器进行摄像，根据由该图像传感器生成的图像数据计算活体的氧饱和度(参照专利文献1)。根据该技术，根据基于由图像传感器生成的图像数据计算出的活体对光的吸收程度和该光的吸收程度的时间变化，计算活体的氧饱和度。
现有技术文献
专利文献
专利文献1：日本特开2013-118978号公报
发明内容
发明要解决的课题
但是，在上述专利文献1中，如果不是活体与测定探测器接触的状态，则无法得到活体的生命特征信息。
本发明是鉴于上述情况而完成的，其目的在于，提供在不与活体接触的状态下也能够得到该活体的生命特征信息的摄像装置、图像处理装置和图像处理方法。
用于解决课题的手段
为了解决上述课题并实现目的，本发明的摄像装置生成用于检测被摄体的生命特征信息的图像数据，其特征在于，所述摄像装置具有：摄像元件，其通过对呈二维状配置的多个像素分别接收的光进行光电转换，生成所述图像数据；滤波器阵列，其与所述多个像素对应地配置包含非可视光滤波器和多个可视光滤波器的单元，所述多个可视光滤波器在可视光波段内的透射光谱的最大值相互不同，所述非可视光滤波器在波长比所述可视光波段更长的一侧的非可视光区域具有透射光谱的最大值；部分区域检测部，其针对与所述摄像元件生成的所述图像数据对应的图像，检测所述被摄体的部分区域；以及生命特征信息生成部，其根据由如下的像素输出的图像信号生成所述被摄体的生命特征信息，该像素是与所述部分区域检测部检测到的所述部分区域对应的所述摄像元件的摄像区域中的像素中的、配置有所述非可视光滤波器的像素。
并且，本发明的摄像装置的特征在于，在上述发明中，所述非可视光滤波器的数量比所述多个可视光滤波器各自的数量少。
并且，本发明的摄像装置的特征在于，在上述发明中，所述摄像装置还具有光学滤波器，该光学滤波器配置在所述滤波器阵列的受光面上，使第1波段和第2波段中的任意一方中包含的光透射，该第1波段包含所述多个可视光滤波器各自的透射光谱的最大值，该第2波段包含所述非可视光滤波器的透射光谱的最大值。
并且，本发明的摄像装置的特征在于，在上述发明中，所述摄像装置还具有第1光源部，该第1光源部朝向所述被摄体照射第1波长的光，该第1波长的光是具有所述第2波段的范围内的波长的光、且具有所述第2波段的一半以下的半值宽度。
并且，本发明的摄像装置的特征在于，在上述发明中，所述摄像装置还具有第1光源部，该第1光源部朝向所述被摄体照射具有所述非可视光滤波器的透射波段的波长的光。
并且，本发明的摄像装置的特征在于，在上述发明中，所述生命特征信息生成部根据如下的图像信号生成所述被摄体的生命特征信息，该图像信号是与所述部分区域检测部检测到的所述部分区域对应的所述摄像元件的摄像区域中的像素中的、分别配置有所述多个可视光滤波器的像素输出的图像信号和配置有所述非可视光滤波器的像素输出的图像信号。
并且，本发明的摄像装置的特征在于，在上述发明中，所述生命特征信息生成部在所述部分区域检测部检测到多个所述部分区域的情况下，针对多个所述部分区域分别生成所述被摄体的生命特征信息。
并且，本发明的摄像装置的特征在于，在上述发明中，所述生命特征信息生成部将所述部分区域检测部检测到的所述部分区域分割成多个区域，针对该分割后的多个区域分别生成所述被摄体的生命特征信息。
并且，本发明的摄像装置的特征在于，在上述发明中，所述摄像装置还具有亮度判定部，该亮度判定部判定与所述摄像元件生成的所述图像数据对应的图像的亮度是否为规定的亮度以上，所述部分区域检测部在所述亮度判定部判定为是所述规定的亮度以上的情况下，根据配置有所述可视光滤波器的像素输出的图像信号检测所述部分区域，另一方面，在所述亮度判定部判定为不是所述规定的亮度以上的情况下，根据配置有所述可视光滤波器的像素输出的图像信号和配置有所述非可视光滤波器的像素输出的图像信号检测所述部分区域。
并且，本发明的摄像装置的特征在于，在上述发明中，所述摄像元件连续生成所述图像数据，所述部分区域检测部针对与所述摄像元件连续生成的所述图像数据对应的图像，依次检测所述部分区域，每当所述部分区域检测部检测到所述部分区域时，所述生命特征信息生成部生成所述生命特征信息。
并且，本发明的摄像装置的特征在于，在上述发明中，所述生命特征信息是血压、心跳、心跳变动、应激(stress)、氧饱和度、肌肤水分和静脉图案中的任意一方以上。
并且，本发明的图像处理装置使用摄像装置生成的图像数据来生成被摄体的生命特征信息，所述摄像装置具有：摄像元件，其通过对呈二维状配置的多个像素分别接收的光进行光电转换，生成所述图像数据；以及滤波器阵列，其与所述多个像素对应地配置包含非可视光滤波器和多个可视光滤波器的单元，所述多个可视光滤波器在可视光波段内的透射光谱的最大值相互不同，所述非可视光滤波器在波长比所述可视光波段更长的一侧的非可视光区域具有透射光谱的最大值，其特征在于，所述图像处理装置具有：部分区域检测部，其针对与所述图像数据对应的图像，检测所述被摄体的部分区域；以及生命特征信息生成部，其根据由如下的像素输出的图像信号生成所述被摄体的生命特征信息，该像素是与所述部分区域检测部检测到的所述部分区域对应的所述摄像元件的摄像区域中的像素中的、配置有所述非可视光滤波器的像素。
并且，本发明的图像处理方法由使用摄像装置生成的图像数据来生成被摄体的生命特征信息的图像处理装置来执行，所述摄像装置具有：摄像元件，其通过对呈二维状配置的多个像素分别接收的光进行光电转换，生成所述图像数据；以及滤波器阵列，其与所述多个像素对应地配置包含非可视光滤波器和多个可视光滤波器的单元，所述多个可视光滤波器在可视光波段内的透射光谱的最大值相互不同，所述非可视光滤波器在波长比所述可视光波段更长的一侧的非可视光区域具有透射光谱的最大值，其特征在于，所述图像处理方法包括以下步骤：部分区域检测步骤，针对与所述图像数据对应的图像，检测所述被摄体的部分区域；以及生命特征信息生成步骤，根据由如下的像素输出的图像信号生成所述被摄体的生命特征信息，该像素是与所述部分区域检测步骤检测到的所述部分区域对应的所述摄像元件的摄像区域中的像素中的、配置有所述非可视光滤波器的像素。
发明效果
根据本发明，发挥能够在非接触状态下得到活体的生命特征信息这样的效果。
附图说明
图1是示出本发明的实施方式1的摄像装置的功能结构的框图。
图2是示意地示出本发明的实施方式1的滤波器阵列的结构的图。
图3是示出本发明的实施方式1的各滤波器的透射率特性的一例的图。
图4是示出本发明的实施方式1的摄像装置执行的处理的概要的流程图。
图5是示出与本发明的实施方式1的摄像装置生成的图像数据对应的图像的一例的图。
图6是示意地示出作为本发明的实施方式1的生命特征信息生成部生成的生命特征信息的心跳的图。
图7是示出本发明的实施方式2的摄像装置的功能结构的框图。
图8是示意地示出本发明的实施方式2的滤波器阵列的结构的图。
图9是示出本发明的实施方式2的摄像装置执行的处理的概要的流程图。
图10A是示出与本发明的实施方式2的摄像装置生成的RGB数据对应的图像的一例的图。
图10B是示出与本发明的实施方式2的摄像装置生成的IR数据对应的图像的一例的图。
图11是示出本发明的实施方式3的摄像装置执行的处理的概要的流程图。
图12是示出与本发明的实施方式3的摄像装置生成的图像数据对应的图像的一例的图。
图13是示意地示出本发明的实施方式3的生命特征信息生成部生成的部分区域的图。
图14是示意地示出本发明的实施方式3的变形例1的部分区域检测部检测的多个部分区域的图。
图15是示意地示出图14所示的各部分区域中的心跳的图。
图16是示意地示出本发明的实施方式3的变形例2的生命特征信息生成部将由部分区域检测部检测到的部分区域分割成多个区域而生成生命特征信息时的状况的图。
图17是示出本发明的实施方式4的摄像装置的功能结构的框图。
图18是示出本发明的实施方式4的光学滤波器的透射率特性的图。
图19是示出本发明的实施方式5的摄像装置的功能结构的框图。
图20是示出本发明的实施方式5的各滤波器的透射率特性和第1光源部照射的第1波长光的关系的图。
图21是示出本发明的实施方式6的摄像装置的功能结构的框图。
图22是示出本发明的实施方式6的摄像装置的光学滤波器的透射率特性、第1光源部照射的第1波段的光和第2光源部照射的第2波段的光的关系的图。
具体实施方式
下面，与附图一起对用于实施本发明的方式进行详细说明。另外，本发明不由以下实施方式来限定。并且，以下说明中参照的各图只不过以能够理解本发明内容的程度概略地示出形状、大小和位置关系。即，本发明不限于各图中例示的形状、大小和位置关系。并且，对相同结构标注相同标号进行说明。
(实施方式1)
〔摄像装置的结构〕
图1是示出本发明的实施方式1的摄像装置的功能结构的框图。图1所示的摄像装置1具有光学系统21、摄像元件22、滤波器阵列23、A/D转换部24、显示部25、记录部26、控制部27。
光学系统21使用一个或多个透镜、例如对焦透镜、变焦透镜、光圈和快门等构成，使被摄体像在摄像元件22的受光面上成像。
摄像元件22接收透射过滤波器阵列23的被摄体像并进行光电转换，由此，按照规定的帧(60fps)连续生成图像数据。摄像元件22使用对呈二维状配置的多个像素分别接收透射过滤波器阵列23的光后的光进行光电转换而生成电信号的CMOS(ComplementaryMetal Oxide Semiconductor)或CCD(Charge Coupled Device)等构成。
滤波器阵列23配置在摄像元件22的受光面上。滤波器阵列23与摄像元件22中的多个像素对应地配置包含在可视光波段内的透射光谱的最大值相互不同的多个可视光滤波器和在波长比可视光区域更长的一侧的非可视光区域具有透射光谱的最大值的非可视光滤波器的单元。
图2是示意地示出滤波器阵列23的结构的图。如图2所示，滤波器阵列23配置在构成摄像元件22的各像素的受光面上，与多个像素对应地配置包含透射红色光的可视光滤波器R、透射绿色光的可视光滤波器G、透射蓝色光的可视光滤波器B、透射非可视光的光的非可视光滤波器IR的单元。另外，下面，设配置有可视光滤波器R的像素为R像素、配置有可视光滤波器G的像素为G像素、配置有可视光滤波器B的像素为B像素、配置有非可视光滤波器IR的像素为IR像素来进行说明。进而，设R图像输出的图像信号为R数据、G像素输出的图像信号为G数据、B像素输出的图像信号为B数据、IR像素输出的图像信号为IR数据来进行说明。
图3是示出各滤波器的透射率特性的一例的图。在图3中，横轴示出波长(nm)，纵轴示出透射率。并且，在图3中，曲线LR示出可视光滤波器R的透射率，曲线LG示出可视光滤波器G的透射率，曲线LB示出可视光滤波器B的透射率，曲线LIR示出非可视光滤波器IR的透射率。另外，在图3中，为了简化说明，对各滤波器的透射率特性进行说明，但是，与按照每个像素设置各滤波器的情况下的各像素(R像素、G像素、B像素和IR像素)的分光感光度特性相同。
如图3所示，可视光滤波器R在可视光波段具有透射光谱的最大值。具体而言，可视光滤波器R在波段620～750nm具有透射光谱的最大值，透射该波段620～750nm的光，并且还透射非可视光域的波段850～950nm的光的一部分。可视光滤波器G在可视光波段具有透射光谱的最大值。具体而言，可视光滤波器G在波段495～570nm具有透射光谱的最大值，透射该波段495～570nm的光，并且还透射非可视光域的波段850～950nm的光的一部分。可视光滤波器B在可视光波段具有透射光谱的最大值。具体而言，可视光滤波器B在波段450～495nm具有透射光谱的最大值，透射该波段450～495nm的光，并且还透射非可视光域的波段850～950nm的光的一部分。非可视光滤波器IR在非可视光波段具有透射光谱的最大值，透射波段850～950nm的光。
返回图1，继续进行摄像装置1的结构的说明。
A/D转换部24将从摄像元件22输入的模拟图像数据转换为数字图像数据，将其输出到控制部27。
显示部25显示与从控制部27输入的图像数据对应的图像。显示部25使用液晶或有机EL(Electro Luminescence)等显示面板构成。
记录部26记录与摄像装置1有关的各种信息。记录部26记录摄像元件22生成的图像数据和与摄像装置1有关的各种程序、与执行中的处理有关的参数等。记录部26使用SDRAM(Synchronous Dynamic Random Access Memory)、Flash存储器和记录介质等构成。
控制部27进行针对构成摄像装置1的各部的指示和数据的转送等，由此对摄像装置1的动作进行总括控制。控制部27使用CPU(Central Processing Unit)等构成。另外，在本实施方式1中，控制部27作为图像处理装置发挥功能。
这里，对控制部27的详细结构进行说明。控制部27至少具有图像处理部271、部分区域检测部272、生命特征信息生成部273。
图像处理部271对从A/D转换部24输入的图像数据进行规定的图像处理。这里，规定的图像处理是指光学黑体减法处理、白平衡调整处理、图像数据的同时化处理、彩色矩阵运算处理、γ校正处理、颜色再现处理和边缘强调处理等。并且，图像处理部271使用R像素、G像素和B像素分别输出的R数据、G数据和B数据进行去马赛克处理。即，图像处理部271不使用IR像素输出的IR数据，而是利用其他像素(R像素、G像素或B像素)输出的数据对IR像素的IR数据进行插值，由此进行去马赛克处理。
部分区域检测部272针对与从A/D转换部24输入的图像数据的RGB数据对应的图像，检测规定的部分区域。具体而言，部分区域检测部272通过对图像进行图案匹配处理，检测包含被摄体的面部的区域。另外，除了被摄体的面部以外，部分区域检测部272也可以根据图像中包含的颜色成分来检测被摄体的肌肤区域。
生命特征信息生成部273根据由与部分区域检测部272检测到的部分区域对应的摄像元件22的摄像区域中的像素中的IR像素输出的IR数据(以下称为“部分区域的IR数据”)，生成被摄体的生命特征信息。这里，生命特征信息是指血压、心跳、心跳变动、应激反应、氧饱和度、肌肤水分和静脉图案中的任意一方以上。
这样构成的摄像装置1对被摄体进行摄像，由此生成用于检测被摄体的生命特征信息的图像数据。
〔摄像装置的处理〕
接着，对摄像装置1执行的处理进行说明。图4是示出摄像装置1执行的处理的概要的流程图。
如图4所示，首先，摄像元件22按照规定的帧率对被摄体进行连续摄像，依次生成时间上连续的图像数据(步骤S101)。
接着，部分区域检测部272针对与摄像元件22生成的图像数据的RGB数据对应的图像，检测被摄体的部分区域(步骤S102)。具体而言，如图5所示，部分区域检测部272针对与摄像元件22生成的图像数据的RGB数据对应的图像P1，使用图案匹配技术检测包含被摄体O1的面部的部分区域A1。
然后，生命特征信息生成部273根据部分区域检测部272检测到的部分区域的IR数据，生成被摄体的生命特征信息(步骤S103)。具体而言，生命特征信息生成部273根据部分区域检测部272的IR数据，说明被摄体的心跳作为生命特征信息。
图6是示意地示出作为生命特征信息生成部273生成的生命特征信息的心跳的图。在图6中，横轴示出时间，纵轴示出部分区域的IR数据的平均值。
如图6所示，生命特征信息生成部273计算部分区域检测部272检测到的部分区域的IR数据的平均值，对平均值的最大值的数量进行计数，由此计算被摄体的心跳，从而生成生命特征信息。
返回图4，继续进行步骤S104以后的说明。
在步骤S104中结束被摄体的生命特征信息的生成的情况下(步骤S104：是)，摄像装置1结束本处理。与此相对，在未结束被摄体的生命特征信息的生成的情况下(步骤S104：否)，摄像装置1返回步骤S101。
根据以上说明的本发明的实施方式1，生命特征信息生成部273根据由部分区域检测部272检测到的部分区域的IR数据，生成被摄体的生命特征信息，所以，在不与活体接触的状态下，也能够得到该活体的生命特征信息。
进而，根据本发明的实施方式1，生命特征信息生成部273根据由与部分区域检测部272检测到的部分区域对应的摄像元件22的摄像区域中的像素中的、配置有非可视光滤波器的像素输出的图像信号，生成被摄体的生命特征信息，所以，能够提高生命特征信息的取得精度。
并且，根据本发明的实施方式1，每当由摄像元件22生成图像数据时，部分区域检测部272依次检测部分区域，每当由部分区域检测部272检测到部分区域时，生命特征信息生成部273生成生命特征信息，所以，能够根据动态图像数据生成高精度的生命特征信息。
进而，根据本发明的实施方式1，生命特征信息生成部273使用从IR像素输出的IR数据(RAW数据)生成生命特征信息，所以，能够省略去马赛克处理等图像处理，由此，能够使生命特征信息的处理时间高速化。
(实施方式2)
接着，对本发明的实施方式2进行说明。在本实施方式2的摄像装置中，上述实施方式1的摄像装置1的滤波器阵列23的结构不同，而且，部分区域检测部272检测部分区域的检测方法不同。因此，下面，在对本实施方式2的摄像装置的滤波器阵列的结构进行说明后，对本实施方式2的摄像装置执行的处理进行说明。
〔摄像装置的结构〕
图7是示出本发明的实施方式2的摄像装置的功能结构的框图。图7所示的摄像装置1a分别代替上述实施方式1的摄像装置1的滤波器阵列23和控制部27而具有滤波器阵列23a和控制部27a。
滤波器阵列23a使用可视光波段内的透射光谱的最大值相互不同的多个可视光滤波器、比可视光区域更靠长波长侧的非可视光区域且相互不同的非可视光区域内的透射光谱的最大值相互不同的多个非可视光滤波器形成规定的排列样式，将形成该排列样式的各个滤波器配置在与摄像元件22的多个像素中的任意一方对应的位置。
图8是示意地示出滤波器阵列23a的结构的图。如图8所示，滤波器阵列23a由利用将可视光滤波器R、可视光滤波器G、可视光滤波器B和非可视光滤波器IR作为1组K1的排列的2个单元、将可视光滤波器R、2个可视光滤波器G和可视光滤波器B作为1组K2的拜耳排列的2个单元反复成为1组(4×4)而得到的样式构成。并且，在滤波器阵列23a中，非可视光滤波器IR的数量比可视光滤波器R、可视光滤波器G和可视光滤波器B各自的数量少(R>IR、G>IR、B>IR)。
控制部27a进行针对构成摄像装置1a的各部的指示和数据的转送等，由此对摄像装置1a的动作进行总括控制。控制部27a具有图像处理部271、部分区域检测部275、生命特征信息生成部273、亮度判定部274。另外，在本实施方式2中，控制部27a作为图像处理装置发挥功能。
亮度判定部274判定与从A/D转换部24输入的图像数据对应的图像是否为规定的亮度以上。具体而言，亮度判定部274判定图像数据中包含的RGB图像数据是否超过规定的值。
部分区域检测部275在由亮度判定部274判定为与从A/D转换部24输入的图像数据对应的图像为规定的亮度以上的情况下，对与RGB数据对应的图像进行图案匹配处理，由此检测包含被摄体的面部或肌肤的部分区域，另一方面，在由亮度判定部274判定为与从A/D转换部24输入的图像数据对应的图像不是规定的亮度以上的情况下，对与RGB数据和IR数据对应的图像进行图案匹配处理，由此检测包含被摄体的面部或肌肤的部分区域。
〔摄像装置的处理〕
接着，对摄像装置1a执行的处理进行说明。图9是示出摄像装置1a执行的处理的概要的流程图。
如图9所示，首先，摄像元件22对被摄体进行连续摄像，依次生成时间上连续的图像数据(步骤S201)。
接着，亮度判定部274判定与从A/D转换部24输入的图像数据对应的图像是否为规定的亮度以上(步骤S202)。在亮度判定部274判定为与从A/D转换部24输入的图像数据对应的图像为规定的亮度以上的情况下(步骤S202：是)，摄像装置1a转移到后述步骤S203。与此相对，在亮度判定部274判定为与从A/D转换部24输入的图像数据对应的图像不是规定的亮度以上的情况下(步骤S202：否)，摄像装置1a转移到后述步骤S205。
在步骤S203中，部分区域检测部275对与RGB数据对应的图像进行图案匹配处理，由此检测包含被摄体的面部或肌肤的部分区域。
接着，生命特征信息生成部273根据由部分区域检测部275检测到的部分区域的IR数据，生成被摄体的生命特征信息(步骤S204)。在步骤S204之后，摄像装置1a转移到后述步骤S206。
在步骤S205中，部分区域检测部275对与RGB数据和IR数据对应的图像进行图案匹配处理，由此检测包含被摄体的面部或肌肤的部分区域。在步骤S205之后，摄像装置1a转移到后述步骤S206。
图10A是示出与RGB数据对应的图像的一例的图。图10B是示出与RGB数据和IR数据对应的图像的一例的图。在图10A和图10B中，示出摄像装置1a在被摄体较暗的场所进行摄像时的图像。如图10A和图10B所示，通常，在被摄体O2的周围的环境较暗的情况下，如果仅是与通常的RGB数据对应的图像P2，则由于R像素、G像素和B像素各自的信号值(亮度较小)较小，因此，部分区域检测部275很难检测包含被摄体O2的面部的部分区域A2。因此，在本实施方式2中，在RGB数据的基础上，部分区域检测部275还使用IR像素输出的IR数据，由此检测包含被摄体O2的面部的部分区域A2。即，在本实施方式2中，如图10B所示，部分区域检测部275在由亮度判定部274判定为与从A/D转换部24输入的图像数据对应的图像不是规定的亮度以上的情况下，对与RGB数据和IR数据对应的图像P3进行图案匹配处理。由此，在摄影区域较暗的情况下，也能够检测包含被摄体的面部或肌肤的部分区域A2。
在步骤S206中结束被摄体的生命特征信息的生成的情况下(步骤S206：是)，摄像装置1a结束本处理。与此相对，在未结束被摄体的生命特征信息的生成的情况下(步骤S206：否)，摄像装置1a返回步骤S201。
根据以上说明的本发明的实施方式2，生命特征信息生成部273根据由与部分区域检测部275检测到的部分区域对应的摄像元件22的摄像区域中的配置有非可视光滤波器和可视光滤波器的像素输出的图像信号，生成被摄体的生命特征信息，所以，能够提高生命特征信息的取得精度。
进而，根据本发明的实施方式2，非可视光滤波器的数量比多个可视光滤波器各自的数量少，所以，能够得到高精度的通常图像(高分辨率)。
并且，根据本发明的实施方式2，部分区域检测部275在由亮度判定部274判定为与RGB数据对应的图像不是规定的亮度以上的情况下，对与RGB数据和IR数据对应的图像进行图案匹配处理，由此检测包含被摄体的面部或肌肤的部分区域，所以，在摄影区域较暗的情况下，也能够高精度地检测包含被摄体的面部或肌肤的部分区域。
(实施方式3)
接着，对本发明的实施方式3进行说明。本实施方式3的摄像装置具有与上述实施方式1的摄像装置1相同的结构，执行的处理不同。具体而言，在上述实施方式1的摄像装置1中，部分区域检测部272仅检测一个部分区域，但是，本实施方式3的摄像装置的部分区域检测部检测多个部分区域。因此，下面，仅对本实施方式3的摄像装置执行的处理进行说明。另外，对与上述实施方式1的摄像装置1相同的结构标注相同标号并省略说明。
(摄像装置的处理)
图11是示出本发明的实施方式3的摄像装置1执行的处理的概要的流程图。
如图11所示，首先，摄像元件22对被摄体进行摄像，生成图像数据(步骤S301)。
接着，部分区域检测部272对与摄像元件22生成的图像数据对应的图像进行图案匹配处理，由此检测图像中包含的全部被摄体的部分区域(步骤S302)。具体而言，如图12所示，部分区域检测部272对与摄像元件22生成的图像数据对应的图像P10进行图案匹配处理，由此检测图像P10中包含的包含全部被摄体O10～O14的面部的区域作为部分区域A10～A14。
然后，生命特征信息生成部273根据部分区域检测部272检测到的多个部分区域各自的IR数据，生成心跳作为被摄体O10～O15各自的生命特征信息(步骤S303)。具体而言，如图13所示，生命特征信息生成部273根据部分区域检测部272检测到的多个部分区域各自的IR数据，生成心跳作为被摄体O10～O15各自的生命特征信息。
然后，如图13所示，生命特征信息生成部273计算部分区域检测部272检测到的多个部分区域各自的心跳的平均值(步骤S304)。由此，能够生成集群心理的状态作为生命特征信息。另外，生命特征信息生成部273计算部分区域检测部272检测到的多个部分区域各自的心跳的平均值，但是，也可以按照部分区域检测部272检测到的多个部分区域进行加权。例如，生命特征信息生成部273也可以根据性别、年龄、面部的区域等对心跳进行加权。
接着，在结束生命特征信息的生成的情况下(步骤S305：是)，摄像装置1结束本处理。与此相对，在未结束生命特征信息的生成的情况下(步骤S305：否)，摄像装置1返回步骤S301。
根据以上说明的本发明的实施方式3，部分区域检测部272对与由摄像元件22生成的图像数据对应的图像进行图案匹配处理，由此检测图像中包含的全部被摄体的部分区域，所以，例如能够生成集群心理的状态作为生命特征信息。
(实施方式3的变形例1)
在本发明的实施方式3中，部分区域检测部272检测多个被摄体的面部，但是，也可以针对一人检测多个部分区域。
图14是示意地示出部分区域检测部272检测的多个部分区域的图。如图14所示，部分区域检测部272分别检测与摄像元件22生成的RGB数据对应的图像P20中拍摄出的包含被摄体O20的面部的区域和包含被摄体O20的手(肤色)的区域O21、O22作为部分区域A20～A22。
接着，生命特征信息生成部273根据部分区域检测部272检测到的部分区域A20～A23的IR数据，生成被摄体O20的心跳作为生命特征信息。然后，生命特征信息生成部273生成被摄体O20的动脉硬化的程度作为生命特征信息。
图15是示意地示出图14所示的各部分区域中的心跳的图。在图15中，横轴示出时间。并且，在图15中，图15的(a)示出上述部分区域A20的心跳，图15的(b)示出上述部分区域A21的心跳，图15的(c)示出上述部分区域S22的心跳。
生命特征信息生成部273根据部分区域A20～A22各自的心跳的最大值的偏移量，生成被摄体O20的动脉硬化的程度作为生命特征信息。具体而言，如图15所示，根据部分区域A20～A22各自的心跳的最大值M1～M3的偏移量(相位差)，生成被摄体O20的动脉硬化的程度作为生命特征信息。
根据以上说明的本发明的实施方式3的变形例1，部分区域检测部272针对相同的被摄体检测多个部分区域，生命特征信息生成部273生成使用由部分区域检测部272检测到的相同被摄体的多个部分区域中的IR数据的被摄体的多个部位的心跳，所以，能够判定被检体的动脉硬化。
(实施方式3的变形例2)
在本发明的实施方式3的变形例2中，生命特征信息生成部273也可以将由部分区域检测部272检测到的包含被摄体的面部的部分区域分割成多个区域，按照每个区域生成生命特征信息。
图16是示意地示出生命特征信息生成部273将由部分区域检测部272检测到的部分区域分割成多个区域而生成生命特征信息时的状况的图。如图16所示，生命特征信息生成部273将部分区域检测部272检测到的、包含与由摄像元件22生成的RGB数据对应的图像P30中映出的被摄体O30的面部的部分区域A30分割成多个区域a1～a16(4×4)，根据该分割后的多个区域a1～a16各自的IR数据，生成多个区域a1～a16的生命特征信息。该情况下，生命特征信息生成部273将四角的区域a1、a4、a13、a16除外，由此生成生命特征信息。
根据以上说明的本发明的实施方式3的变形例2，生命特征信息生成部273将由部分区域检测部272检测到的部分区域分割成多个区域，针对该多个区域生成生命特征信息，所以，能够得到精度更高的生命特征信息。
(实施方式4)
接着，对本发明的实施方式4进行说明。本实施方式4的摄像装置的结构与上述实施方式1的摄像装置1不同。具体而言，本实施方式4的摄像装置在光学系统与滤波器阵列之间配置仅透射规定波段的光的光学滤波器。因此，下面，对本实施方式4的摄像装置的结构进行说明。另外，对与上述实施方式1的摄像装置1相同的结构标注相同标号并省略说明。
〔摄像装置的结构〕
图17是示出本发明的实施方式4的摄像装置的功能结构的框图。图17所示的摄像装置1b在上述实施方式1的摄像装置1的结构的基础上，还具有光学滤波器28。
光学滤波器28配置在滤波器阵列23的前表面，透射包含可视光滤波器R、可视光滤波器G和可视光滤波器B各自的透射光谱的最大值的第1波段和包含非可视光滤波器IR的透射光谱的最大值的第2波段的光。
图18是示出光学滤波器28的透射率特性的图。在图18中，横轴示出波长(nm)，纵轴示出透射率。并且，在图18中，折线LF示出光学滤波器28的透射率特性。
如图18所示，光学滤波器28透射包含可视光滤波器R、可视光滤波器G和可视光滤波器B各自的透射光谱的第1波段W1和非可视光滤波器IR的透射光谱的第2波段W2的光。具体而言，光学滤波器28在可视光区域内透射400～760nm的光，并且在非可视光区域内透射850～950nm的光。由此，能够分别取得可视光的图像数据和非可视光的图像数据。另外，在图18中，为了简化说明，使光学滤波器28在可视光区域内透射400～760nm的光，并且在非可视光区域内透射850～950nm的光，但是，针对具有760～850nm的波段的光，当然也可以透射至少一部分(不透射至少一部分)。例如，光学滤波器28也可以透射至少具有770～800nm的波段的一部分的光。
根据以上说明的本发明的实施方式4，光学滤波器28透射包含可视光滤波器R、可视光滤波器G和可视光滤波器B各自的透射光谱的第1波段W1和包含非可视光滤波器IR的透射光谱的第2波段W2的光，由此去除不需要的信息(波长成分)，所以，能够实现可视光区域的精度提高(高分辨率)，并且，能够提高非可视光区域的使用光源的自由度。能够在非接触状态下取得用于生成被摄体的生命特征信息的图像数据。
(实施方式5)
接着，对本发明的实施方式5进行说明。本实施方式5的摄像装置的结构与上述实施方式1的摄像装置1不同。具体而言，本实施方式5的摄像装置还具有照射部，该照射部照射波长比可视光区域更长的一侧的非可视光区域的光。因此，下面，对本实施方式5的摄像装置的结构进行说明。另外，对与上述实施方式1的摄像装置1相同的结构标注相同标号并省略说明。
〔摄像装置的结构〕
图19是示出本发明的实施方式5的摄像装置的功能结构的框图。图19所示的摄像装置1c具有：主体部2，其对被摄体进行摄像，生成被摄体的图像数据；以及照射部3，其相对于主体部2拆装自如，朝向摄像装置1c的摄像区域照射具有规定波段的光。
〔主体部的结构〕
首先，对主体部2的结构进行说明。
主体部2具有光学系统21、摄像元件22、滤波器阵列23、A/D转换部24、显示部25、记录部26、控制部27c、附件通信部29。
附件通信部29在控制部27c的控制下，根据规定的通信标准，对与主体部2连接的附件发送驱动信号。
控制部27c进行针对构成摄像装置1c的各部的指示和数据的转送等，由此对摄像装置1c的动作进行总括控制。控制部27c具有图像处理部271、部分区域检测部272、生命特征信息生成部273、照明控制部276。
照明控制部276对经由附件通信部29而与主体部2连接的照射部3的发光进行控制。例如，在摄像装置1c中设定了生成被摄体的生命特征信息的生命特征信息生成模式的情况下，在主体部2上连接有照射部3时，照明控制部276与摄像元件22的摄像定时同步地，使照射部3照射光。
〔照射部的结构〕
接着，对照射部3的结构进行说明。照射部3具有通信部31、第1光源部32。
通信部31将从主体部2的附件通信部29输入的驱动信号输出到第1光源部32。
第1光源部32根据经由通信部31而从主体部2输入的驱动信号，朝向被摄体照射具有非可视光滤波器IR透射的波长范围内的波段的光(以下称为“第1波长光”)。第1光源部32使用发光LED(Light Emitting Diode)构成。
接着，对各滤波器和第1光源部32照射的第1波长光之间的关系进行说明。图20是示出各滤波器的透射率特性和第1光源部32照射的第1波长光的关系的图。在图20中，横轴示出波长(nm)，纵轴示出透射率。并且，在图20中，曲线LR示出可视光滤波器R的透射率，曲线LG示出可视光滤波器G的透射率，曲线LB示出可视光滤波器B的透射率，曲线LIR示出非可视光滤波器IR的透射率，曲线L10示出由第1光源部32照射的第1波段。
如图20所示，第1光源部32根据经由通信部31而从主体部2输入的驱动信号，照射具有非可视光滤波器IR透射的波长范围内的波段的第1波长光。具体而言，第1光源部32照射860～900nm的光。
根据以上说明的本发明的实施方式5，第1光源部32照射光学滤波器28中的第2波段W2的范围内、具有该第2波段W2的一半以下的宽度的半值宽度的第1波长光，所以，能够在非接触状态下取得用于生成被摄体的生命特征信息的图像数据。
并且，根据本发明的实施方式5，照射具有非可视光滤波器IR透射的波长范围内的波段的第1波长光，所以，能够得到高精度的非可视光信息。
并且，在本发明的实施方式5中，第1光源部32照射860～900nm的光作为第1波长光，但是，例如在检测肌肤水分作为活体的生命特征信息的情况下，也可以使用能够照射970nm的光的发光LED构成。此时，使用能够透射作为第2波段的900～1000nm的可视光波段的光的光学滤波器28即可。
并且，在本发明的实施方式5中，生命特征信息生成部273也可以根据从A/D转换部24连续输入的摄像元件22的图像数据(以下称为“动态图像数据”)中的来自IR像素的IR数据，检测被摄体的皮肤的颜色的变动，并且，根据动态图像数据中的R像素、G像素和B像素各自的RGB数据，检测被摄体的心跳/心跳变动，并且，根据该检测到的被摄体的心跳/心跳变动和上述皮肤的颜色的变动，检测被摄体的准确的心跳。进而，生命特征信息生成部273也可以根据上述心跳变动的波形来检测被检体的应激情况作为生命特征信息。
并且，在本发明的实施方式5中，照射部3相对于主体部2拆装自如，但是，也可以一体形成照射部3和主体部2。
(实施方式6)
接着，对本发明的实施方式6进行说明。本实施方式6的摄像装置的结构与上述实施方式5的摄像装置1c不同。因此，下面，对本实施方式6的摄像装置的结构进行说明。另外，对与上述实施方式5的摄像装置1c相同的结构标注相同标号并省略说明。
图21是示出本发明的实施方式6的摄像装置的功能结构的框图。图21所示的摄像装置1d具有主体部2d、照射部3d。
〔主体部的结构〕
首先，对主体部2d的结构进行说明。主体部2d在上述实施方式5的摄像装置1c的主体部2的结构的基础上，还具有上述实施方式4的光学滤波器28。
〔照射部的结构〕
接着，对照射部3d的结构进行说明。照射部3d朝向摄像装置1d的摄像区域照射具有规定波段的光。并且，照射部3d在上述实施方式5的照射部3的结构的基础上，还具有第2光源部33。
第2光源部33朝向被摄体照射与第1波长的光不同的第2波长的光，该第2波长的光是光学滤波器28中的第2波段的范围内的光、且具有第2波段的一半以下的宽度的半值宽度。第2光源部33使用发光LED构成。
接着，对上述光学滤波器28、第1光源部32照射的第1波段的光和第2光源部33照射的第2波段的光的关系进行说明。图22是示出光学滤波器28的透射率特性、第1光源部32照射的第1波段的光和第2光源部33照射的第2波段的光的关系的图。在图22中，横轴示出波长(nm)，纵轴示出透射率。并且，在图22这，折线LF示出光学滤波器28的透射率特性，曲线L20示出由第1光源部32照射的光的波段，曲线L21示出由第2光源部33照射的光的波段。
如图22所示，光学滤波器28仅透射可视光滤波器R、可视光滤波器G和可视光滤波器B各自的第1波段W1的光和非可视光滤波器IR的第2波段W2的光。并且，如曲线L20所示，第1光源部32照射光学滤波器28透射的第2波段W2的范围内、具有该第2波段的一半以下的宽度的半值宽度的第1波段W1的光。进而，如曲线L21所示，第2光源部33照射光学滤波器28透射的第2波段W2的范围内、具有该第2波段W2的一半以下的半值宽度的第2波段的光。进而，第2光源部33照射具有与第1光源部32照射的第1波段的光不同的波段的第2波段W2的光。具体而言，第2光源部33照射940～1000nm的光。
在这样构成的摄像装置1d中，照明控制部276使第1光源部32和第2光源部33分别交替进行照射，由此，能够得到生命特征信息，并且，能够得到基于3D图案投影的三维映射的空间信息和距离信息。
根据以上说明的本发明的实施方式6，还设置第2光源部33，该第2光源部33朝向被摄体照射与第1波长的光不同的第2波长的光，该第2波长的光是光学滤波器28中的第2波段的范围内的光、且具有第2波段的一半以下的半值宽度，照明控制部276使第1光源部32和第2光源部33分别交替进行照射，所以，能够得到生命特征信息，并且，能够得到基于3D图案投影的三维映射的空间信息和距离信息。
进而，根据本发明的实施方式6，第1光源部32和第2光源部33分别照射相互不同的近红外光(例如940nm和1000nm)，生命特征信息生成部273能够根据部分区域的IR数据，生成皮肤表面的氧饱和度作为生命特征信息。
另外，在本发明的实施方式6中，照明控制部276使第1光源部32和第2光源部33交替发光，但是，例如也可以按照摄像元件22生成的图像数据的规定帧数来变更发光定时。进而，照明控制部276也可以根据第1光源部32和第2光源部33各自的发光次数进行切换。
(其他实施方式)
在上述实施方式5、6中，使用发光LED构成第1光源部或第2光源部，但是，例如也可以使用如卤素光源那样照射可视光波段和近红外波段的光的光源构成。
并且，在上述实施方式1～6中，作为可视光滤波器，使用可视光滤波器R、可视光滤波器G和可视光滤波器B的原色滤波器，但是，例如也可以使用品红、青色和黄色等补色滤波器。
并且，在上述实施方式1～6中，将光学系统、光学滤波器、滤波器阵列和摄像元件组入主体部中，但是，也可以将光学系统、光学滤波器、滤波器阵列和摄像元件收容在单元内，该单元相对于作为主体部的图像处理装置拆装自如。当然，也可以构成为将光学系统收容在镜筒内，使该镜筒相对于收容光学滤波器、滤波器阵列和摄像元件的单元拆装自如。
并且，在上述实施方式1～6中，将生命特征信息生成部设置在主体部上，但是，例如，也可以在能够进行双向通信的便携设备或钟表、眼镜等可穿戴设备中通过程序或应用软件实现能够生成生命特征信息的功能，发送由摄像装置生成的图像数据，由此在便携设备或可穿戴设备中生成被摄体的生命特征信息。
并且，本发明不限于上述实施方式，当然能够在不脱离本发明主旨的范围内进行各种变形和应用。例如，除了本发明的说明中使用的摄像装置以外，还能够应用于具有便携电话或智能手机中的摄像元件的便携设备或可穿戴设备、通过摄像机、内窥镜、监视照相机、显微镜这样的光学设备对被摄体进行拍摄的摄像装置等、能够对被摄体进行摄像的任意设备。
并且，上述实施方式中的图像处理装置的各处理的方法、即各时序图所示的处理均能够作为能够由CPU等控制部执行的程序进行存储。除此之外，能够存储在存储卡(ROM卡、RAM卡等)、磁盘、光盘(CD-ROM、DVD等)、半导体存储器等外部存储装置的存储介质中进行发布。而且，CPU等控制部读入该外部存储装置的存储介质中存储的程序，通过该读入的程序对动作进行控制，由此能够执行上述处理。
并且，本发明不限于上述实施方式和变形例，能够在实施阶段在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且，通过适当组合上述实施方式所公开的多个结构要素，能够形成各种发明。例如，可以从上述实施方式和变形例所记载的全部结构要素中删除若干个结构要素。进而，可以适当组合各实施方式和变形例中说明的结构要素。
并且，在说明书或附图中，至少一次与更加广义或同义的不同用语一起记载的用语能够在说明书或附图的任意部位置换为该不同的用语。这样，能够在不脱离发明主旨的范围内进行各种变形和应用。
标号说明
1、1a、1b、1c、1d：摄像装置；2、2d：主体部；3、3d：照射部；21：光学系统；22：摄像元件；23、23a：滤波器阵列；24：A/D转换部；25：显示部；26：记录部；27、27a、27c：控制部；28：光学滤波器；29：附件通信部；31：通信部；32：第1光源部；33：第2光源部；271：图像处理部；272、275：部分区域检测部；273：生命特征信息生成部；274：亮度判定部；276：照明控制部。

Claims (13)

1.一种摄像装置，其生成用于检测被摄体的生命特征信息的图像数据，其特征在于，所述摄像装置具有：
摄像元件，其通过对呈二维状配置的多个像素分别接收的光进行光电转换，生成所述图像数据；
滤波器阵列，其与所述多个像素对应地配置包含非可视光滤波器和多个可视光滤波器的单元，所述多个可视光滤波器在可视光波段内的透射光谱的最大值相互不同，所述非可视光滤波器在波长比所述可视光波段更长的一侧的非可视光区域具有透射光谱的最大值；
部分区域检测部，其针对与所述摄像元件生成的所述图像数据对应的图像，检测所述被摄体的部分区域；以及
生命特征信息生成部，其根据由如下的像素输出的图像信号生成所述被摄体的生命特征信息，该像素是所述摄像元件的与所述部分区域检测部检测到的所述部分区域对应的摄像区域中的像素中的、配置有所述非可视光滤波器的像素。
2.根据权利要求1所述的摄像装置，其特征在于，
所述非可视光滤波器的数量比所述多个可视光滤波器各自的数量少。
3.根据权利要求1或2所述的摄像装置，其特征在于，
所述摄像装置还具有光学滤波器，该光学滤波器配置在所述滤波器阵列的受光面上，使第1波段和第2波段中的任意一方中包含的光透射，该第1波段包含所述多个可视光滤波器各自的透射光谱的最大值，该第2波段包含所述非可视光滤波器的透射光谱的最大值。
4.根据权利要求3所述的摄像装置，其特征在于，
所述摄像装置还具有第1光源部，该第1光源部朝向所述被摄体照射第1波长的光，该第1波长的光是具有所述第2波段的范围内的波长的光、且具有所述第2波段的一半以下的半值宽度。
5.根据权利要求1或2所述的摄像装置，其特征在于，
所述摄像装置还具有第1光源部，该第1光源部朝向所述被摄体照射具有所述非可视光滤波器的透射波段的波长的光。
6.根据权利要求1～5中的任意一项所述的摄像装置，其特征在于，
所述生命特征信息生成部根据如下的图像信号生成所述被摄体的生命特征信息，该图像信号是所述摄像元件的与所述部分区域检测部检测到的所述部分区域对应的摄像区域中的像素中的、分别配置有所述多个可视光滤波器的像素输出的图像信号和配置有所述非可视光滤波器的像素输出的图像信号。
7.根据权利要求1～5中的任意一项所述的摄像装置，其特征在于，
所述生命特征信息生成部在所述部分区域检测部检测到多个所述部分区域的情况下，针对多个所述部分区域分别生成所述被摄体的生命特征信息。
8.根据权利要求1～5中的任意一项所述的摄像装置，其特征在于，
所述生命特征信息生成部将所述部分区域检测部检测到的所述部分区域分割成多个区域，针对该分割后的多个区域分别生成所述被摄体的生命特征信息。
9.根据权利要求1～8中的任意一项所述的摄像装置，其特征在于，
所述摄像装置还具有亮度判定部，该亮度判定部判定与所述摄像元件生成的所述图像数据对应的图像的亮度是否为规定的亮度以上，
所述部分区域检测部在所述亮度判定部判定为是所述规定的亮度以上的情况下，根据配置有所述可视光滤波器的像素输出的图像信号检测所述部分区域，另一方面，在所述亮度判定部判定为不是所述规定的亮度以上的情况下，根据配置有所述可视光滤波器的像素输出的图像信号和配置有所述非可视光滤波器的像素输出的图像信号检测所述部分区域。
10.根据权利要求1～9中的任意一项所述的摄像装置，其特征在于，
所述摄像元件连续生成所述图像数据，
所述部分区域检测部针对与所述摄像元件连续生成的所述图像数据对应的图像，依次检测所述部分区域，
每当所述部分区域检测部检测到所述部分区域时，所述生命特征信息生成部生成所述生命特征信息。
11.根据权利要求1～7中的任意一项所述的摄像装置，其特征在于，
所述生命特征信息是血压、心跳、心跳变动、应激、氧饱和度、肌肤水分和静脉图案中的任意一方以上。
12.一种图像处理装置，其使用摄像装置生成的图像数据来生成被摄体的生命特征信息，所述摄像装置具有：摄像元件，其通过对呈二维状配置的多个像素分别接收的光进行光电转换，生成所述图像数据；以及滤波器阵列，其与所述多个像素对应地配置包含非可视光滤波器和多个可视光滤波器的单元，所述多个可视光滤波器在可视光波段内的透射光谱的最大值相互不同，所述非可视光滤波器在波长比所述可视光波段更长的一侧的非可视光区域具有透射光谱的最大值，其特征在于，所述图像处理装置具有：
部分区域检测部，其针对与所述图像数据对应的图像，检测所述被摄体的部分区域；以及
生命特征信息生成部，其根据由如下的像素输出的图像信号生成所述被摄体的生命特征信息，该像素是所述摄像元件的与所述部分区域检测部检测到的所述部分区域对应的摄像区域中的像素中的、配置有所述非可视光滤波器的像素。
13.一种图像处理方法，其由使用摄像装置生成的图像数据来生成被摄体的生命特征信息的图像处理装置来执行，所述摄像装置具有：摄像元件，其通过对呈二维状配置的多个像素分别接收的光进行光电转换，生成所述图像数据；以及滤波器阵列，其与所述多个像素对应地配置包含非可视光滤波器和多个可视光滤波器的单元，所述多个可视光滤波器在可视光波段内的透射光谱的最大值相互不同，所述非可视光滤波器在波长比所述可视光波段更长的一侧的非可视光区域具有透射光谱的最大值，其特征在于，所述图像处理方法包括以下步骤：
部分区域检测步骤，针对与所述图像数据对应的图像，检测所述被摄体的部分区域；以及
生命特征信息生成步骤，根据由如下的像素输出的图像信号生成所述被摄体的生命特征信息，该像素是所述摄像元件的与所述部分区域检测步骤检测到的所述部分区域对应的摄像区域中的像素中的、配置有所述非可视光滤波器的像素。
CN201580078657.2A 2015-04-30 2015-04-30 摄像装置、图像处理装置和图像处理方法 Pending CN107427264A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/063048 WO2016174778A1 (ja) 2015-04-30 2015-04-30 撮像装置、画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
CN107427264A true CN107427264A (zh) 2017-12-01

Family

ID=57198237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580078657.2A Pending CN107427264A (zh) 2015-04-30 2015-04-30 摄像装置、图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US20160317098A1 (zh)
JP (1) JP6462594B2 (zh)
CN (1) CN107427264A (zh)
WO (1) WO2016174778A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
CN116269262A (zh) * 2016-12-01 2023-06-23 松下知识产权经营株式会社 生物体信息检测装置、生物体信息检测方法及存储介质
EP3585250A1 (en) * 2017-02-27 2020-01-01 Koninklijke Philips N.V. Venipuncture and arterial line guidance via signal variation amplification
CN111048209A (zh) * 2019-12-28 2020-04-21 安徽硕威智能科技有限公司 基于活体人脸识别的健康评估方法、装置及其存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050143652A1 (en) * 2003-12-24 2005-06-30 Sony Corporation Imaging apparatus
US20060183976A1 (en) * 2000-04-10 2006-08-17 C2C Cure, Inc. Medical wireless imaging device
CN101238974A (zh) * 2007-02-05 2008-08-13 三洋电机株式会社 摄像装置
CN102187188A (zh) * 2008-03-19 2011-09-14 超级医药有限公司 用于实时的组织氧合测量的小型化多光谱成像器
CN102266218A (zh) * 2010-06-04 2011-12-07 索尼公司 图像处理装置、图像处理方法、程序及电子装置
CN102309315A (zh) * 2011-09-07 2012-01-11 周翊民 无接触式光学生理检测仪
US20120071765A1 (en) * 2010-09-17 2012-03-22 Optimum Technologies, Inc. Digital Mapping System and Method
CN102499664A (zh) * 2011-10-24 2012-06-20 西双版纳大渡云海生物科技发展有限公司 基于视频图像的非接触式生命体征的检测方法及检测系统
CN102525442A (zh) * 2011-12-21 2012-07-04 Tcl集团股份有限公司 一种测量人体脉搏的方法及装置
CN102973253A (zh) * 2012-10-31 2013-03-20 北京大学 一种利用视觉信息监测人体生理指标的方法和系统
CN103429144A (zh) * 2011-01-05 2013-12-04 皇家飞利浦电子股份有限公司 用于从特征信号提取信息的装置和方法
CN103826532A (zh) * 2011-08-22 2014-05-28 Isis创新有限公司 生命体征的远程监控
CN103827730A (zh) * 2011-06-21 2014-05-28 管理前街不同收入阶层的前街投资管理有限公司 用于生成三维图像信息的方法和装置
US8836796B2 (en) * 2010-11-23 2014-09-16 Dolby Laboratories Licensing Corporation Method and system for display characterization or calibration using a camera device
US20160069743A1 (en) * 2014-06-18 2016-03-10 Innopix, Inc. Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3478504B2 (ja) * 1993-03-19 2003-12-15 オリンパス株式会社 画像処理装置
JP2978053B2 (ja) * 1994-05-06 1999-11-15 オリンパス光学工業株式会社 生体撮像装置、及び血液情報演算処理回路
JP4346634B2 (ja) * 2006-10-16 2009-10-21 三洋電機株式会社 目標物検出装置
US8323694B2 (en) * 2007-05-09 2012-12-04 Nanoprobes, Inc. Gold nanoparticles for selective IR heating
US8611975B2 (en) * 2009-10-28 2013-12-17 Gluco Vista, Inc. Apparatus and method for non-invasive measurement of a substance within a body
JP2011149901A (ja) * 2010-01-25 2011-08-04 Rohm Co Ltd 受光装置およびモバイル機器
US8836793B1 (en) * 2010-08-13 2014-09-16 Opto-Knowledge Systems, Inc. True color night vision (TCNV) fusion
CN103687646B (zh) * 2011-03-17 2016-09-21 基文影像公司 胶囊光疗
GB2551594B (en) * 2013-08-29 2018-05-09 Real Imaging Ltd Surface simulation
US10404924B2 (en) * 2013-11-11 2019-09-03 Osram Sylvania Inc. Human presence detection techniques
US9392262B2 (en) * 2014-03-07 2016-07-12 Aquifi, Inc. System and method for 3D reconstruction using multiple multi-channel cameras
JP2015185947A (ja) * 2014-03-20 2015-10-22 株式会社東芝 撮像システム
US9734704B2 (en) * 2014-08-12 2017-08-15 Dominick S. LEE Wireless gauntlet for electronic control
US9307120B1 (en) * 2014-11-19 2016-04-05 Himax Imaging Limited Image processing system adaptable to a dual-mode image device

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060183976A1 (en) * 2000-04-10 2006-08-17 C2C Cure, Inc. Medical wireless imaging device
US20050143652A1 (en) * 2003-12-24 2005-06-30 Sony Corporation Imaging apparatus
CN101238974A (zh) * 2007-02-05 2008-08-13 三洋电机株式会社 摄像装置
CN102187188A (zh) * 2008-03-19 2011-09-14 超级医药有限公司 用于实时的组织氧合测量的小型化多光谱成像器
CN102266218A (zh) * 2010-06-04 2011-12-07 索尼公司 图像处理装置、图像处理方法、程序及电子装置
US20120071765A1 (en) * 2010-09-17 2012-03-22 Optimum Technologies, Inc. Digital Mapping System and Method
US8836796B2 (en) * 2010-11-23 2014-09-16 Dolby Laboratories Licensing Corporation Method and system for display characterization or calibration using a camera device
CN103429144A (zh) * 2011-01-05 2013-12-04 皇家飞利浦电子股份有限公司 用于从特征信号提取信息的装置和方法
CN103827730A (zh) * 2011-06-21 2014-05-28 管理前街不同收入阶层的前街投资管理有限公司 用于生成三维图像信息的方法和装置
CN103826532A (zh) * 2011-08-22 2014-05-28 Isis创新有限公司 生命体征的远程监控
CN102309315A (zh) * 2011-09-07 2012-01-11 周翊民 无接触式光学生理检测仪
CN102499664A (zh) * 2011-10-24 2012-06-20 西双版纳大渡云海生物科技发展有限公司 基于视频图像的非接触式生命体征的检测方法及检测系统
CN102525442A (zh) * 2011-12-21 2012-07-04 Tcl集团股份有限公司 一种测量人体脉搏的方法及装置
CN102973253A (zh) * 2012-10-31 2013-03-20 北京大学 一种利用视觉信息监测人体生理指标的方法和系统
US20160069743A1 (en) * 2014-06-18 2016-03-10 Innopix, Inc. Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays

Also Published As

Publication number Publication date
JPWO2016174778A1 (ja) 2018-02-22
US20160317098A1 (en) 2016-11-03
WO2016174778A1 (ja) 2016-11-03
JP6462594B2 (ja) 2019-01-30

Similar Documents

Publication Publication Date Title
JP5968944B2 (ja) 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
US10709310B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP6367683B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
US11116384B2 (en) Endoscope system capable of image alignment, processor device, and method for operating endoscope system
US9741113B2 (en) Image processing device, imaging device, image processing method, and computer-readable recording medium
JP2011010258A (ja) 画像処理装置、画像表示システム、画像抽出装置
WO2016129062A1 (ja) 画像処理装置、内視鏡システム、撮像装置、画像処理方法およびプログラム
JP7229676B2 (ja) 生体情報検出装置および生体情報検出方法
US10980409B2 (en) Endoscope device, image processing method, and computer readable recording medium
JP6182396B2 (ja) 撮像装置
JP7374600B2 (ja) 医療用画像処理装置及び医療用観察システム
US20150094538A1 (en) Endoscope system, processor device, and method for operating endoscope system
US20170251915A1 (en) Endoscope apparatus
JP2011234844A (ja) 制御装置、内視鏡装置及びプログラム
US10285631B2 (en) Light source device for endoscope and endoscope system
CN107427264A (zh) 摄像装置、图像处理装置和图像处理方法
JP2014230179A (ja) 撮像装置及び撮像方法
WO2015194204A1 (ja) 内視鏡装置
JP6419093B2 (ja) 撮像装置
CN111712177B (zh) 图像处理装置、内窥镜系统、图像处理方法及记录介质
CN214231268U (zh) 内窥镜成像装置和电子设备
US20200045282A1 (en) Imaging apparatus and endoscope apparatus
JP2007315808A (ja) マルチスペクトル撮像装置
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
JP2016002374A (ja) 画像処理装置及び画像処理装置の作動方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171201