CN116071439A - 图像处理方法以及分光照相机系统 - Google Patents

Abstract

本发明提供一种不论分光照相机的性能如何都能够生成色彩再现性高的彩色合成图像的图像处理方法以及分光照相机系统。图像处理方法使用处理器将由分光照相机拍摄到的多个分光波长的分光图像数据转换为彩色图像，其中，处理器从存储部取得多个分光图像数据，并对多个分光图像数据的各个像素的分光光谱乘以按每个波长设定的补正常数来计算出补正值，并将同一像素位置的补正值总和来计算出色彩转换值，并基于色彩转换值生成彩色合成图像。并且，以使对将分光照相机的对于各个分光波长的灵敏度特性和与各个波长对应的补正常数相乘得到的特性光谱进行总和而得到的总和光谱与任意的滤色器的目标光谱一致的方式来设定补正常数。

Description

图像处理方法以及分光照相机系统

技术领域

本发明涉及一种对分光图像进行处理的图像处理方法以及分光照相机系统。

背景技术

一直以来，已知一种图像处理装置，该图像处理装置使用分光照相机对拍摄对象进行拍摄，并取得相对于多个波长的各自的分光图像，并且基于这些分光图像，生成拍摄对象的彩色图像(例如，参照专利文献1)。

专利文献1中所记载的图像处理装置取得对于拍摄对象的多个波长的分光图像数据，并且按每个波段λi，对分光图像数据的透过率、灵敏度等进行补正。并且，对该分光图像数据的各个像素的亮度值，乘以伪彩色转换函数r′(λi)、g′(λi)、b′(λi)或者等色函数r￣(λi)、g￣(λi)、b￣(λi)，而获得三个刺激值R、G、B。换言之，对于各个像素的亮度值，应用任意的滤色器(r滤色器、g滤色器、b滤色器等)来计算出RGB值。然后，将各个波段的分光图像数据的各个像素的RGB值按每个像素来进行累计，而计算出各个像素的R、G、B数据，并基于算出来的R、G、B数据，生成彩色合成图像。

在专利文献1中记载的图像处理装置中，不论分光照相机的特性、即在利用分光照相机来拍摄预定的波长的图像时的该波长中的分光性能如何，都将同一伪彩色转换函数或等色函数作为补正系数而累计在亮度值上。这只不过是对照相机的亮度值乘以任意的滤色器的滤波函数。

在这样的结构中，在组装于分光照相机中的分光元件的分辨率较高，并且能够使所期望的波长以较窄的半值宽度透过的情况下，能够生成针对拍摄对象而色彩再现性较高的彩色合成图像。但是，存在如下的课题，即，分光元件的半值宽度越宽、波长分辨率越低，则误差越增加，会导致彩色合成图像中的色彩再现性降低。

也就是说，在如专利文献1中所记载的那样的现有的图像处理方法中，存在彩色合成图像的色彩再现性被分光照相机的特性影响这样的课题。

专利文献1：日本特开2009-33222号公报

发明内容

本公开的第一方式所涉及的图像处理方法使用一个或者多个处理器将由分光照相机拍摄到的多个分光波长的分光图像数据转换为彩色图像，该图像处理方法使所述一个或者多个处理器实施如下处理，即：从存储部取得包括分光光谱的数据立方，所述分光光谱基于与多个所述分光波长的每一个对应的多个所述分光图像数据中的同一像素位置的亮度值；对各个像素的所述分光光谱上乘以按每个波长设定的补正常数来计算出补正值；将在多个所述分光图像数据中同一像素位置的所述补正值总和来计算出色彩转换值，并基于各个像素的所述色彩转换值来生成彩色合成图像，在将所述分光照相机中的对于所述分光波长的灵敏度特性光谱和与各个波长对应的所述补正常数相乘得到的光谱设为特性光谱，并将对与多个所述分光波长对应的各自的所述特性光谱进行总和而得到的光谱设为总和光谱的情况下，以使所述总和光谱与任意的滤色器的光谱即目标光谱一致的方式来设定所述补正常数。

在本方式的图像处理方法中，所述图像处理方法使所述一个或者多个处理器还实施如下处理，即：取得所述分光照相机中的对于多个所述分光波长的所述灵敏度特性光谱；取得所述目标光谱；以使所述总和光谱与所述目标光谱一致的方式，计算出与各个波长对应的所述补正常数。

在本方式的图像处理方法中，在将所述目标光谱设为F(λ)，将对于波长λ_i的所述补正常数设为a_i，将利用所述分光照相机来对分光波长Λ_i的所述分光图像数据进行拍摄时的灵敏度特性设为S_i(λ)的情况下，所述补正常数a_i为Σ({Σa_iS_i(λ)}-F(λ))²最小的值。

本公开的第二方式的分光照相机系统具备：分光照相机，其从入射光中对以预定的分光波长为中心的光进行分光并拍摄，并且能够将所述分光波长变更为多个波长；存储部，其对由所述分光照相机拍摄到的分光图像数据进行存储；数据取得部，其从所述存储部取得包括分光光谱的数据立方，所述分光光谱基于与多个所述分光波长的每一个对应的多个所述分光图像数据中的同一像素位置的亮度值；补正值计算部，其对各个像素的所述分光光谱乘以按每个波长设定的补正常数来计算出补正值；图像合成部，其将在多个所述分光图像数据中同一像素位置的所述补正值总和来计算出色彩转换值，并基于各个像素的所述色彩转换值来生成彩色合成图像，在将所述分光照相机中的对于所述分光波长的灵敏度特性光谱和与各个波长对应的所述补正常数相乘得到的光谱设为特性光谱，并将对与多个所述分光波长对应的各自的所述特性光谱进行累计而得到的光谱设为总和光谱的情况下，以使所述总和光谱与任意的滤色器的光谱即目标光谱一致的方式来设定所述补正常数。

在本方式的分光照相机系统中，所述补正常数被预先记录在所述存储部中。

在本方式的分光照相机系统中，在所述存储部中预先存储有所述灵敏度特性光谱各不相同的多个所述分光照相机的所述灵敏度特性光谱和对于各个所述灵敏度特性光谱的所述补正常数，所述分光照相机系统还具备照相机特性取得部，该照相机特性取得部取得所述分光照相机的所述灵敏度特性光谱，所述补正值计算部从所述存储部中读取与所取得的所述灵敏度特性光谱对应的所述补正常数，并计算出所述补正值。

在本方式的分光照相机系统中还具备：照相机特性取得部，其取得所述分光照相机中的对于多个所述分光波长的所述灵敏度特性光谱；常数计算部，其以使所述总和光谱与所述目标光谱相一致的方式，来计算出与各个波长对应的所述补正常数。

附图说明

图1为表示第一实施方式的分光照相机系统的概要结构的示意图。

图2为表示第一实施方式的补正常数的计算方法的流程图。

图3为表示第一实施方式中的补正常数的计算方法的一个示例的概念图。

图4为表示滤色器数据的一个示例的图。

图5为表示第一实施方式中的彩色合成图像的生成方法的流程图。

图6为表示彩色合成图像的生成方法的一个示例的概念图。

图7为表示第二实施方式的分光照相机系统的概要结构的示意图。

具体实施方式

第一实施方式

以下，对本发明所涉及的一个实施方式的分光照相机系统进行说明。

图1为表示分光照相机系统的概要结构的示意图。

如图1所示，本实施方式的分光照相机系统具备分光照相机10和图像处理装置20，分光照相机10对拍摄对象的分光图像进行拍摄，图像处理装置20对由分光照相机10拍摄到的分光图像的分光图像数据进行接收。

作为分光照相机系统，此外还可以设置有光学元件(照明部)，该光学元件对拍摄对象照射光。

并且，在本实施方式的分光照相机系统中，图像处理装置20对由分光照相机10拍摄到的多个分光波长的分光图像进行合成，从而生成彩色图像。

以下，对这样的分光照相机系统的各个结构进行说明。

分光照相机10的结构

如图1所示，分光照相机10具备光学透镜系统11、分光元件12、拍摄元件13以及照相机控制部14等。

光学透镜系统11例如由将被拍摄对象反射且入射到分光照相机10中的入射光向分光元件12或拍摄元件13引导的多个透镜构成。另外，虽然在图1中，作为光学透镜系统11而图示出了构成入射光学系统的多个透镜，但是例如可以在分光元件12与拍摄元件13之间也设置构成成像光学系统的一个或者多个透镜，此外，也可以设置构成远心光学系统的各种透镜。

分光元件12供被光学透镜系统11引导的入射光入射，并使以预定的分光波长为中心的光透过。另外，虽然在本实施方式中，示出了通过分光元件12使以所期望的分光波长为中心的光朝向拍摄元件13透过的示例，但是也可以设为使所期望的分光波长的光朝向拍摄元件13反射的结构等。

该分光元件12为，能够对朝向拍摄元件13透过的光的分光波长进行切换的元件，例如，能够使用波长可变型的法布里-珀罗(Fabry-Perot)标准具等。法布里-珀罗标准具为，使一对反射镜对置配置，并在这些反射镜间使入射光进行多重反射，并使通过干涉而增强了的预定的分光波长的光透过的元件。在这样的法布里-珀罗标准具中，例如能够通过利用静电致动器等致动器元件使反射镜间的间距进行变化，从而对分光波长进行切换。

另外，作为分光元件12并不限定于上述那样的法布里-珀罗标准具，例如，还可以使用AOTF(Acousto-Optic Tunable Filter：声光可调谐滤波器)或LCTF(Liquid crystaltunable filter：液晶可调谐滤波器)等。

拍摄元件13对被分光元件12分光了的以所期望的分光波长为中心的光进行受光，来对分光图像进行拍摄。作为拍摄元件13，能够使用CCD(Charge-Coupled Device：电荷耦合器件)或CMOS(Complementary Metal-Oxide Semiconductor：互补金属氧化物半导体)等一般的图像传感器。

照相机控制部14例如被构成为具备如下的部件等：分光控制电路，其对分光元件12进行控制；拍摄控制电路，其对拍摄元件13进行控制；微型计算机，其对分光照相机10的整体动作进行控制；照相机存储器，其对各种数据进行存储。

分光控制电路通过微型计算机的控制，将预定的驱动信号输出至分光元件12，并对由分光元件12分光的分光波长进行切换。

拍摄控制电路通过微型计算机的控制，使拍摄元件13驱动，并将与各个像素的受光量相对应的图像信号输出至微型计算机。

微型计算机通过对分光控制电路进行控制，来对通过分光元件12分光的分光波长进行切换，并且通过对拍摄控制电路进行控制，而从拍摄元件13取得图像信号。然后，基于从拍摄元件13所输入的图像信号，生成分光图像数据。

照相机存储器对用于控制分光元件12等的各种数据进行记录。

此外，在照相机存储器中也可以记录有分光照相机10中的灵敏度特性光谱(之后，仅称为灵敏度特性)。分光照相机10中的灵敏度特性是指，表示在利用分光照相机10来拍摄相对于预定的分光波长的分光图像时的对于各个波长的灵敏度的光谱数据。该灵敏度特性为，将光学透镜系统11的光学透镜特性、分光元件12的分光特性、以及拍摄元件13的拍摄灵敏度特性相乘的值。另外，作为分光照相机系统，在针对拍摄对象照射照明光并对其反射光进行拍摄的情况下，灵敏度特性为，将光学透镜系统11的光学透镜特性、分光元件12的分光特性、拍摄元件13的拍摄灵敏度特性、以及照明光的光谱(发光光谱)相乘的值。

此处，光学透镜系统11的光学透镜特性为，透过光学透镜系统11的光的每个波长的透过率。

此外，分光元件12的分光特性为，要通过分光元件12使分光波长Λ的光透过时的对于各个波长的透过率。在本实施方式中，分光元件12可切换多个分光波长Λ。即，将可切换的分光波长Λ的数量设为K个，分光元件12能够对分光波长Λ₁至分光波长Λ_K的K个波长进行选择。因此，分光元件12对应于各个分光波长Λ_i而具有K个分光特性。

拍摄元件13的拍摄灵敏度特性表示拍摄元件13的对于各个波长的灵敏度。

图像处理装置20的结构

图像处理装置20例如能够由智能电话或平板终端、个人电子计算机等普通的计算机构成，并且如图1所示，至少具备存储部21和一个或者多个处理器22。

存储部21为，由存储器或硬盘等构成的信息存储装置。

作为被存储于存储部21中的信息，可以列举出包括用于由图像处理装置20来实施图像处理的图像处理程序在内的各种程序、在执行图像处理程序或其他的各种程序时所使用的各种数据。

作为各种数据，例如可以列举出分光图像数据、滤色器数据、分光照相机10的灵敏度特性、以及补正常数等。

分光图像数据为，由分光照相机10拍摄到的分光图像的图像数据。在本实施方式中，针对拍摄对象，切换分光波长并拍摄相对于多个分光波长的各自的分光图像。因此，对于同一拍摄对象的多个分光波长的分光图像数据以通过图像ID等而彼此被关联的方式而被记录。

分光照相机10的灵敏度特性如上所述的那样，为将光学透镜系统11的光学透镜特性、分光元件12的分光特性、以及拍摄元件13的拍摄灵敏度特性相乘的光谱数据。当在分光照相机系统中所使用的分光照相机10为一个的情况下，只要记录有该分光照相机10的灵敏度特性即可。此外，当在分光照相机系统中，分光照相机10拆装自如，且能够选择任意的分光照相机10的情况下，也可以记录有各个分光照相机10的灵敏度特性。

关于滤色器数据，记录有从分光光谱形成彩色合成图像时的作为目标的滤色器的光谱数据。该滤色器数据在补正常数的计算中被使用。例如，在根据分光光谱来生成与使用RGB滤色器拍摄了拍摄对象时同样的RGB彩色图像的情况下，需要用于将分光光谱转换为R、G、B的各个色彩转换值的补正常数。在该情况下，作为在该补正常数的计算中所使用的滤色器数据，R滤色器的透过率光谱、G滤色器的透过率光谱、B滤色器的透过率光谱被记录在存储部21中。

另外，也可以记录有与多个表色系统对应的多个滤色器数据。例如，也可以记录有RGB表色系统的滤色器、XYZ表色系统的滤色器、Lab表色系统的滤色器等。在该情况下，用户也能够对所期望的表色系统进行选择。

补正常数为，在补正值的计算中所使用的常数。如上所述的那样，在本实施方式中，将分光光谱转换为与任意的滤色器对应的色彩转换值，并生成与使用该滤色器拍摄了拍摄对象时同样的图像，以作为彩色合成图像。因此，补正常数按每个滤色器、按每个波长而被设定。

例如，在以成为使用了RGB滤色器的彩色图像的方式来生成彩色合成图像的情况下，记录有与R滤色器对应的每个波长的补正常数、与G滤色器对应的每个波长的补正常数、以及与B滤色器对应的每个波长的补正常数。

此外，在存储部21中，也可以记录有被组装于分光照相机系统中的分光照相机10的灵敏度特性。

处理器22通过读入并执行被存储于存储部21中的程序，从而作为数据取得部221、照相机特性取得部222、滤色器选择部223、常数计算部225、补正值计算部224、以及图像合成部226而发挥功能。

数据取得部221从存储部21取得包括分光光谱的数据立方，所述分光光谱基于与多个分光波长的每一个对应的多个分光图像数据中的同一像素位置的亮度值。即，数据取得部221取得包括像素位置、分光波长、该像素位置处的对于该分光波长的亮度值的数据。具体而言，数据取得部221既可以取得与多个分光波长对应的各自的分光图像数据，也可以分别取得各个分光图像数据的各个像素(x，y)的亮度值，还可以对于Y方向的各个位置而取得沿着X方向的线区域的亮度值变化。在任意的情况下，均能够获得对于同一像素的各个波长的亮度值(分光光谱)。

照相机特性取得部222取得分光照相机10的灵敏度特性。照相机特性取得部222可以取得被存储于分光照相机10的照相机存储器中的灵敏度特性，也可以取得由用户输入的灵敏度特性。

滤色器选择部223对由多个分光图像数据生成彩色合成图像时的滤色器进行选择。此外，在对补正常数进行计算的情况下，对作为目标的滤色器进行选择。

另外，虽然在本实施方式中，例示出了能够由用户来选择任意的滤色器的结构，但是在使用单一的表色系统的滤色器的情况下也可以不具备滤色器选择部223。

常数计算部225计算出补正常数，并将其存储在存储部21中。

详细的内容在下文记述，在本实施方式中，常数计算部225例如使用分光照相机10的灵敏度特性、任意的滤色器数据，来计算出补正常数。

补正值计算部224从存储部21读取出与分光照相机10的灵敏度特性对应并且与作为目标的表色系统的滤色器对应的补正常数。然后，补正值计算部224计算出利用对应的补正常数将对于拍摄对象的多个分光图像数据的各个像素的信号值补正了的补正值。

图像合成部226计算出对由补正值计算部224算出来的补正值进行总和而得到的色彩转换值，并生成彩色合成图像。

图像处理方法

接下来，对本实施方式的分光照相机系统中的用于生成彩色合成图像的图像处理方法进行说明。

补正常数的计算

在本实施方式的分光照相机系统中，补正常数被预先记录在存储部21中。在本实施方式中，图像处理装置20能够计算出这些补正常数，以下，对补正常数的计算方法进行说明。

图2为表示补正常数的计算方法的流程图。图3为表示补正常数的计算方法的一个示例的概念图。

首先，图像处理装置20的照相机特性取得部222取得被组装于分光照相机系统中的分光照相机10的灵敏度特性(步骤S1)。

如上所述的那样，分光照相机10的灵敏度特性的取得例如在灵敏度特性被记录在分光照相机10的照相机控制部14的照相机存储器或者存储部21中的情况下，只要读取该灵敏度特性即可。

分光照相机10的灵敏度特性通常在分光照相机10的制造检查时进行测量。

例如，将分光元件12设定为预定的分光波长Λ_i，并使单一波长的激光入射至分光元件12中，并对该透过光的光强度进行测量。通过使激光的波长λ在由分光照相机10所拍摄的分光图像的波长范围内依次变化，并对透过光的光强度进行测量，从而能够获得将分光元件12设定为分光波长Λ_i时的各个波长λ的分光特性。通过依次切换为利用分光元件12能够切换的分光波长Λ_i(i＝1～K的整数)来实施该操作，从而能够获得将分光元件12设定为各个分光波长Λ_i时的各个分光特性。

关于光学透镜系统11的光学透镜特性，例如使单一波长的激光入射至光学透镜系统11中，并对该透过光的光强度进行测量。通过使激光的波长在由分光照相机10所拍摄的分光图像的波长范围内依次变化，并对透过光的光强度进行测量，从而能够得到光学透镜系统11的光学透镜特性。

同样地，关于拍摄元件13的拍摄灵敏度特性，例如使拍摄元件13接受光单一波长的激光，并对所接受的光的受光强度(被输出的受光信号)进行测量。通过使激光的波长在由分光照相机10所拍摄的分光图像的波长范围内依次变化，并对受光信号进行测量，从而能够获得拍摄元件13的拍摄灵敏度特性。另外，拍摄元件13的拍摄灵敏度特性也能够按每个像素来进行测量。

并且，通过将这些分光元件12的分光特性、光学透镜系统11的光学透镜特性、以及拍摄元件13的拍摄灵敏度特性相乘，获得分光照相机10的灵敏度特性。因此，分光照相机10的灵敏度特性如图3所示那样，成为对于由分光元件12设定的每一个分光波长Λ_i而不同的光谱数据，并且，这些灵敏度特性按拍摄元件13的每个像素而被设定。

之后，将把分光元件12设定为分光波长Λ_i时的灵敏度特性表示为S_i(λ)。i为表示能够由分光元件12切换的分光波长的脚标，并且当将能够切换的切换数量设为K时，i为1至K的整数。

此外，分光元件12的分光特性、光学透镜系统11的光学透镜特性、以及拍摄元件13的拍摄灵敏度特性的各个光谱具有波长λ₁至λ_K的K个要素。因此，灵敏度特性S_i(λ)如图3所示的那样，能够通过K行K列的矩阵来表示。

另外，分光波长Λ_i和波长λ_i，优选为Λ_i＝λ_i。

接下来，滤色器选择部223选择在生成彩色合成图像时所使用的滤色器，并从存储部21读入其滤色器数据(步骤S2)。在这里所读入的滤色器数据设为目标光谱。

在预先设定了要使用的滤色器的情况下，只要读入该设定了的滤色器的滤色器数据即可。例如，在生成RGB彩色合成图像的情况下，读入RGB表色系统的R滤色器的滤色器数据、G滤色器的滤色器数据、B滤色器的滤色器数据。

此外，在与多个表色系统对应的滤色器被记录在存储部21中的情况下，只要选择由用户的操作所指定的表色系统，并读入该滤色器数据即可。

另外，虽然在本实施方式中，示出了读入与一个表色系统对应的滤色器数据的示例，但是也可以读入多个表色系统的滤色器数据。例如，也可以读入与RGB表色系统对应的滤色器数据和与Lab表色系统对应的滤色器数据。

图4为滤色器数据的一个示例，并且示出了RGB滤色器中的B滤色器的滤色器数据。滤色器数据如图4所示的那样，为表示透过滤色器的光的波长和透过了的光的光强度的关系的光谱数据，并能够通过由波长λ₁至λ_K的K个要素所组成的K行1列的矩阵来表示。

这之后，常数计算部225计算出补正常数(步骤S3)。

在步骤S3中，常数计算部225如图3所示的那样，以使在步骤S1中所获得的分光照相机10的灵敏度特性和补正常数相乘的光谱作为特性光谱，并使总和了多个分光波长Λ_i的特性光谱的总和光谱与在步骤S2中所获得的滤色器数据(参照图4)一致或者大致一致的方式来计算出补正常数。

例如，常数计算部225使用最小二乘法，以使Σ({Σa_iS_i(λ)}-F(λ))²成为最小的方式，来计算出对于波长λ_i的补正常数a_i。

更具体地进行说明，则如上述的那样，K个分光波长Λ_i的灵敏度特性S_i(λ)分别包括与K个波长λ_j对应的要素S_i(λ_j)，滤色器数据F(λ)包括与K个波长λ_j对应的要素F(λ_j)。因此，常数计算部225计算出由下述式(1)所示的X为最小值的补正常数a_i。

数学式1

这之后，常数计算部225将所算出来的补正常数a_i适当地存储在存储部21中(步骤S4)。在本实施方式中，由于分光照相机10的灵敏度特性按每个像素而设定，因此，也能够按每个像素来计算出补正常数a_i。

如上，与通过步骤S2而选择的表色系统滤色器对应的补正常数a_i被计算出来。例如，作为用于RGB表色系统的彩色图像合成的补正常数，而计算出R滤色器用的对于各个波长λ_i的补正常数a_i、G滤色器用的对于各个波长λ_i的补正常数a_i、以及B滤色器用的对于各个波长λ_i的补正常数a_i。

另外，在步骤S2中，可以如上述的那样选择多个表色系统的滤色器数据，在该情况下，只要对于各个滤色器实施步骤S3以及步骤S4的处理即可。

彩色合成图像的生成

接下来，对根据由分光照相机10拍摄到的对于拍摄对象的多个分光图像数据来生成彩色合成图像的方法进行说明。

图5为表示彩色合成图像的生成方法的流程图。图6为表示彩色合成图像的生成方法的一个示例的概念图。

当由用户实施了指令分光图像的拍摄的操作时，分光照相机10依次切换分光元件12中的分光波长Λ_i，并且在各个分光波长Λ_i下对拍摄对象进行拍摄(步骤S11)。

在通过拍摄所获得的各个分光图像数据中，例如，波长数据和拍摄ID建立关联。波长数据为，表示在该分光图像数据被拍摄时的分光元件12中的分光波长Λ_i的数据。此外，在通过一次拍摄处理所获得的多个分光波长Λ_i的分光图像数据上，分别附加同一拍摄ID。

由分光照相机10拍摄到的分光图像数据被发送至图像处理装置20，并被适当地存储在图像处理装置20的存储部21中。

接下来，图像处理装置20的数据取得部221在从用户受理了指令彩色合成图像的生成处理的含义的操作时，从存储部21取得包括各个像素的分光光谱的数据立方(例如，相对于多个分光波长的分光图像数据)(步骤S12)。

例如，数据取得部221从存储部21读入附加有由用户指定的拍摄ID的多个分光图像数据。

此外，滤色器选择部223选择合成彩色合成图像时的滤色器(步骤S13)。例如，滤色器选择部223也可以将能够选择的滤色器报知给用户并对选择操作进行督促，并将由用户选择的滤色器作为要使用的滤色器来取得。

另外，在能够使用的滤色器为一个的情况下，或预先固定了用户要使用的滤色器的情况下，也可以跳过步骤S13的处理。

并且，补正值计算部224对基于通过步骤S12而读取出的各个分光图像数据的各个像素的分光光谱，利用与在步骤S13中所选择的滤色器对应的补正常数a_i进行补正来计算出补正值(步骤S14)。

此处，如上所述，在Λ_i＝λ_i的情况下，通过分光波长Λ_i的分光图像数据的各个像素的亮度值P_i、和与波长λ_i对应的补正常数a_i，能够容易地计算出补正值a_iP_i。

另一方面，在由分光元件12实现的分光波长Λ_i和作为光谱的要素的波长λ_i不同的情况下，根据各个分光图像数据的各个像素的亮度值计算出分光光谱，并使用与所计算出来的分光光谱中的波长λ_i对应的亮度值P_i和与该波长λ_i对应的补正常数a_i，计算出补正值a_iP_i。

例如，在生成RGB表色系统的彩色合成图像的情况下，使用与R滤色器对应的补正常数a_ri、与G滤色器对应的补正常数a_gi、以及与B滤色器对应的补正常数a_bi，从而对于K个波长λ_i而分别计算出补正值(R补正值、G补正值、B补正值)＝(a_riP_i、a_giP_i、a_biP_i)。

并且，图像合成部226计算出将在步骤S14中所计算出来的补正值总和而得到的色彩转换值(步骤S15)。

具体而言，图像合成部226如下述式(2)所示，通过将每个滤色器的补正值a_iP_i总和而按每个像素计算出色彩转换值C。

数学式2

如上所述，在补正值(R补正值、G补正值、B补正值)被计算出来的情况下，与RGB对应的R色彩转换值CR、G色彩转换值CG、B色彩转换值CB按每个像素而被分别计算出来。

这之后，图像合成部226基于这些色彩转换值，生成设定了各个像素的参数的彩色合成图像(步骤S16)。例如，在RGB表色系统的彩色合成图像中，生成作为(R、G、B)＝(CR、CG、CB)而设定了各个像素的色彩参数的RGB彩色合成图像。

本实施方式的作用效果

本实施方式的图像处理装置20具备一个或者多个处理器22，并且处理器22通过读入并执行被存储于存储部21中的程序，从而作为数据取得部221、补正值计算部224、以及图像合成部226而发挥功能。

数据取得部221在步骤S12中，从存储部21取得与多个分光波长的每一个对应的多个分光图像数据。补正值计算部224在步骤S14中，基于多个分光图像数据的各个像素的亮度值，对于各个像素的分光光谱乘以按每个波长而被设定的补正常数a_i来计算出补正值。图像合成部226将在多个分光图像数据中同一像素位置的补正值总和来计算出色彩转换值，并基于各个像素的色彩转换值生成彩色合成图像。

此处，在本实施方式中，每个波长的补正常数a_i以如下方式进行设定，即，将分光照相机的灵敏度特性和与各个波长λ_i对应的补正常数a_i相乘得到的光谱作为特性光谱，并使将与多个分光波长Λ_i对应的各个的特性光谱总和了的总和光谱与作为任意的滤色器的光谱的目标光谱一致。

在这样的本实施方式中，由于补正常数以基于分光照相机10的灵敏度特性来实现任意的滤色器的方式进行设定，因此，能够使生成彩色合成图像时的色彩再现性提升。

也就是说，虽然分光元件12理想为仅使所期望的分光波长Λ_i的光透过，但是难以将分光波长Λ_i以外的光全部遮断，并且，即使假设可能的话，则透过了该分光元件12的光的光量将显著减少。由于这样的原因，通常，对分光图像进行拍摄的分光照相机10被构成为，使以分光波长Λ_i为中心的预定的半值宽度的光透过。但是，在该情况下，因分光照相机10的性能不同，而半值宽度也不同。因此，如现有技术一样，当对基于分光图像数据的分光光谱乘以与任意的滤色器对应的滤波函数时，根据分光照相机10的性能而被生成的彩色合成图像的色彩再现性不同。

相对于此，在本实施方式中，以获得与在将入射至分光照相机中的光输入至任意的滤色器中时同样的光谱的方式来设定与分光照相机的灵敏度特性相应的补正常数。因此，不论分光照相机10的性能如何，都能够生成色彩再现性较高的彩色合成图像。

在本实施方式的图像处理装置20中，处理器22还作为照相机特性取得部222、滤色器选择部223、以及常数计算部225而发挥功能。照相机特性取得部222取得分光照相机10中的对于多个分光波长Λ_i的灵敏度特性。滤色器选择部223取得目标光谱。常数计算部225以使总和光谱和目标光谱相一致的方式来计算出补正常数a_i。

由此，图像处理装置20能够计算出与被组装于分光照相机系统中的各个分光照相机10相应的补正常数。例如，即使在实施了分光照相机10的更换等的情况下，也能够计算出与更换后的分光照相机相应的补正常数。

本实施方式的图像处理装置20的常数计算部225在将目标光谱设为F(λ)，将对于波长λ_i的补正常数设为a_i，将利用分光照相机10对分光波长Λ_i的分光图像数据进行拍摄时的灵敏度特性设为S_i(λ)的情况下，计算出Σ({Σa_iS_i(λ)}-F(λ))²最小的补正常数a_i。

由此，能够适当地计算出能够再现目标光谱的补正常数。

第二实施方式

虽然在上述实施方式中，示出了图像处理装置20的常数计算部225计算出与分光照相机10的灵敏度特性对应的补正常数a_i的示例，但是也可以预先将补正常数存储在存储部21中。

在第二实施方式中，示出与能够组装于分光照相机系统中的多个分光照相机10对应的补正常数被预先存储在存储部中的示例。

另外，在之后的说明中，对已经进行了说明的结构标记相同的符号，并对该说明予以省略或者简化。

图7为表示第二实施方式的分光照相机系统的示意结构的示意图。

本实施方式的分光照相机系统与第一实施方式同样地，被构成为包括分光照相机10和图像处理装置20。在本实施方式中，分光照相机10能够更换，并且能够使用的分光照相机10的灵敏度特性被预先存储在存储部21中。

此外，在存储部21中，预先存储有与这些分光照相机10的灵敏度特性对应的补正常数a_i。

因此，在本实施方式中，处理器22如图7所示的那样，作为数据取得部221、照相机特性取得部222、滤色器选择部223、补正值计算部224、以及图像合成部226而发挥功能。也就是说，不需要用于计算补正常数的常数计算部225的功能。

虽然在本实施方式中，以与第一实施方式大致同样的方式生成彩色合成图像，但是在本实施方式中，在实施了步骤S11至步骤S13之后，照相机特性取得部222取得分光照相机10的灵敏度特性。

然后，在步骤S14中，补正值计算部224读取被预先存储于存储部21中的补正常数a_i中的、与分光照相机10的灵敏度特性对应并且与在步骤S13中所选择的滤色器对应的补正常数a_i，并计算出补正值。

这之后，与第一实施方式同样地，实施步骤S15以及步骤S16的处理并生成彩色合成图像。

本实施方式的作用效果

在本实施方式中，能够发挥与第一实施方式同样的作用效果，并且还能够发挥以下的作用效果。

在本实施方式的分光照相机系统2，补正常数在出厂时被预先计算出来，并被记录在存储部21中。

由此，不需要计算出补正常数，从而能够简化图像处理装置20的结构。

在本实施方式的分光照相机系统中，多个分光照相机10的灵敏度特性、和对于各个灵敏度特性的补正常数a_i被预先存储在存储部21中。并且，处理器22的照相机特性取得部222取得被组装于分光照相机系统中的分光照相机10的灵敏度特性，补正值计算部224从存储部21读取与取得的灵敏度特性对应的补正常数a_i并计算出补正值。

由此，即使在对于分光照相机系统而拆装自如地设置分光照相机10并且安装了不同的分光照相机10的情况下，也不需要重新计算出补正常数，只通过读入与所安装的分光照相机10对应的补正常数，就能够容易地计算出补正值。

此外，即使在多个分光照相机10与图像处理装置20进行了连接的情况下，只要读入与拍摄了分光图像的分光照相机10对应的补正常数a_i即可，从而能够与使用的分光照相机10对应，并生成色彩再现性较高的彩色合成图像。

变形例

另外，本发明并未被限定于上述的各个实施方式，在能够达成本发明的目的的范围内的通过变形、改良、以及对各个实施方式适当地进行组合等所获得的结构也包含在本发明中。

变形例1

虽然在上述实施方式中，作为分光照相机系统，例示出了具备分光照相机10和图像处理装置20的结构，但是分光照相机10和图像处理装置20也可以以一体的方式而被构成。在该情况下，不需要在存储部21中存储多个分光照相机10的灵敏度特性，只要记录一个分光照相机10的灵敏度特性，就能够计算出与该分光照相机10对应的补正常数。此外，如果在出厂时，计算出与该分光照相机10的灵敏度特性对应的补正常数并将其记录在存储部21中，则不需要将灵敏度特性记录在存储部21中。

变形例2

虽然在上述实施方式中，示出了每个像素的补正常数a_i基于分光照相机10的每个像素的灵敏度特性而被设定的示例，但是在每个像素的灵敏度特性一样的情况下，也可以不论像素位置而设定共用的补正常数。

变形例3

虽然在上述实施方式中，示出了灵敏度特性被记录在分光照相机10的照相机存储器中的示例，但并不限定于此。例如，灵敏度特性可以被存储在存储部21中，也可以被存储在能够与分光照相机系统进行通信的其他的外部装置中。

作为其他的外部装置，例如，能够例示出分光照相机10的制造商所提供的数据服务器等，并预先记录有能够对分光照相机10进行确定的制造编号等照相机ID和该分光照相机10的灵敏度特性。并且，图像处理装置20也可以将组装于分光照相机系统中的分光照相机10的照相机ID经由互联网等发送至外部装置，并从外部装置下载所对应的分光照相机10的灵敏度特性。

此外，作为分光照相机系统，也可以组装有对分光照相机10的灵敏度特性进行测量的灵敏度测量部。作为灵敏度测量部，例如，具备能够对波长进行变更的激光光源，并使激光的波长从λ₁至λ_K依次变更，并对在拍摄元件13的各个像素下的各个波长λ_i的光的光强度进行测量。通过将其在依次变更由分光元件12设定的分光波长Λ_i的同时反复实施，从而能够得到对于各个分光波长Λ_i的灵敏度特性。

本公开的总结

本公开的第一方式所涉及的图像处理方法使用一个或者多个处理器将由分光照相机拍摄到的多个分光波长的分光图像数据转换为彩色图像，该图像处理方法使所述一个或者多个处理器实施如下处理，即：从存储部取得与多个分光波长的每一个对应的多个所述分光图像数据；对基于多个所述分光图像数据的各个像素的亮度值的分光光谱乘以按每个波长设定的补正常数来计算出补正值；将在多个所述分光图像数据中同一像素位置的所述补正值总和来计算出色彩转换值，并基于各个像素的所述色彩转换值来生成彩色合成图像，在将所述分光照相机中的对于所述分光波长的灵敏度特性光谱和与各个波长对应的所述补正常数相乘得到的光谱设为特性光谱，并将对与多个所述分光波长对应的各自的所述特性光谱进行总和而得到的光谱设为总和光谱的情况下，以使所述总和光谱与任意的滤色器的光谱即目标光谱一致的方式来设定所述补正常数。

由此，由于以使任意的滤色器基于分光照相机的灵敏度特性而实现的方式来设定补正常数，因此，不论分光照相机的性能如何，都能够生成色彩再现性高的彩色合成图像。

在本方式的图像处理方法中，所述图像处理方法使所述一个或者多个处理器还实施如下处理，即：取得所述分光照相机中的对于多个所述分光波长的所述灵敏度特性光谱；取得所述目标光谱；以使所述总和光谱与所述目标光谱一致的方式，计算出与各个波长对应的所述补正常数。

由此，能够计算与对分光图像进行拍摄的分光照相机相应的补正常数。例如，即使在实施了分光照相机的更换等的情况下，也能够计算与更换后的分光照相机相应的补正常数。

在本方式的图像处理方法中，在将所述目标光谱设为F(λ)，将对于波长λ_i的所述补正常数设为a_i，将利用所述分光照相机来对分光波长Λ_i的所述分光图像数据进行拍摄时的灵敏度特性设为S_i(λ)的情况下，所述补正常数a_i为Σ({Σa_iS_i(λ)}-F(λ))²最小的值。

由此，能够适当地计算能够再现目标光谱的补正常数。

本公开的第二方式的分光照相机系统具备：分光照相机，其从入射光中对以预定的分光波长为中心的光进行分光并拍摄，并且能够将所述分光波长变更为多个波长；存储部，其对由所述分光照相机拍摄到的分光图像数据进行存储；数据取得部，其从所述存储部取得与多个所述分光波长的每一个对应的多个所述分光图像数据；补正值计算部，其对基于多个所述分光图像数据的各个像素的亮度值的分光光谱乘以按每个波长设定的补正常数来计算出补正值；图像合成部，将在多个所述分光图像数据中同一像素位置的所述补正值进行总和来计算色彩转换值，并且基于各个像素的所述色彩转换值来生成彩色合成图像，在将所述分光照相机中的对于所述分光波长的灵敏度特性光谱和与各个波长对应的所述补正常数相乘得到的光谱设为特性光谱，并将对与多个所述分光波长对应的各自的所述特性光谱进行累计而得到的光谱设为总和光谱的情况下，以使所述总和光谱与任意的滤色器的光谱即目标光谱一致的方式来设定所述补正常数。

由此，由于与第一方式同样地以使任意的滤色器基于分光照相机的灵敏度特性实现的方式来设定补正常数，因此，能够实现不论分光照相机的性能如何都能够生成色彩再现性高的彩色合成图像的分光照相机系统。

在本方式的分光照相机系统中，所述补正常数被预先记录在所述存储部中。

在该情况下，不需要在每次利用分光照相机对分光图像进行拍摄时都计算出补正常数。此外，也可以在出厂时将补正常数预先记录在存储部中，在该情况下，由于在分光照相机系统中不需要另行计算出补正常数，因此，能够简化结构。

在本方式的分光照相机系统中，在所述存储部中预先存储有所述灵敏度特性光谱各不相同的多个所述分光照相机的所述灵敏度特性光谱和对于各个所述灵敏度特性光谱的所述补正常数，所述分光照相机系统还具备照相机特性取得部，该照相机特性取得部取得所述分光照相机的所述灵敏度特性光谱，所述补正值计算部从所述存储部中读取与所取得的所述灵敏度特性光谱对应的所述补正常数，并计算出所述补正值。

根据本方式，只要从被存储于存储部中的多个补正常数中选择与拍摄了的分光图像的分光照相机的灵敏度特性相应的补正常数并计算出补正值即可，因此，不需要在每次利用分光照相机对分光图像进行拍摄时都计算出补正常数，而由于只要在出厂时预先将补正常数记录在存储部中就不需要计算补正常数，从而能够精简结构。

在本方式的分光照相机系统中还具备：照相机特性取得部，其取得所述分光照相机中的对于多个所述分光波长的所述灵敏度特性光谱；常数计算部，其以使所述总和光谱与所述目标光谱一致的方式，来计算出与各个波长对应的所述补正常数。

根据本方式，能够计算出与在分光照相机系统中所使用的分光照相机对应的补正常数。因此，即使在对分光照相机进行了更换的情况等下，也能够计算适当的补正常数，由此，能够生成色彩再现性高的彩色合成图像。

符号说明

10…分光照相机；11…光学透镜系统；12…分光元件；13…拍摄元件；14…照相机控制部；20…图像处理装置；21…存储部；22…处理器；221…数据取得部；222…照相机特性取得部；223…滤色器选择部；224…补正值计算部；225…常数计算部；226…图像合成部；234…常数计算部。

Claims (7)

1.一种图像处理方法，其使用一个或者多个处理器而将由分光照相机拍摄到的多个分光波长的分光图像数据转换为彩色图像，其中，

所述图像处理方法使所述一个或者多个处理器实施如下处理，即：

从存储部取得包括分光光谱的数据立方，所述分光光谱基于与多个所述分光波长的每一个相对应的多个所述分光图像数据中的同一像素位置的亮度值；

对各个像素的所述分光光谱乘以按每个波长设定的补正常数来计算出补正值；

将在多个所述分光图像数据中同一像素位置的所述补正值总和来计算出色彩转换值，并基于各个像素的所述色彩转换值来生成彩色合成图像，

在将所述分光照相机中的对于所述分光波长的灵敏度特性光谱和与各个波长对应的所述补正常数相乘得到的光谱设为特性光谱，并将对与多个所述分光波长对应的各自的所述特性光谱进行总和而得到的光谱设为总和光谱的情况下，以使所述总和光谱与任意的滤色器的光谱即目标光谱一致的方式来设定所述补正常数。

2.如权利要求1所述的图像处理方法，其中，

所述图像处理方法使所述一个或者多个处理器还实施如下处理，即：

取得所述分光照相机中的对于多个所述分光波长的所述灵敏度特性光谱；

取得所述目标光谱；

以使所述总和光谱与所述目标光谱一致的方式，计算出与各个波长对应的所述补正常数。

3.如权利要求1或权利要求2所述的图像处理方法，其中，

在将所述目标光谱设为F(λ)，

将对于波长λ_i的所述补正常数设为a_i，

将利用所述分光照相机来对分光波长Λ_i的所述分光图像数据进行拍摄时的灵敏度特性设为S_i(λ)的情况下，

所述补正常数a_i为Σ({Σa_iS_i(λ)}-F(λ))²最小的值。

4.一种分光照相机系统，具备：

分光照相机，其从入射光中对以预定的分光波长为中心的光进行分光并拍摄，并且能够将所述分光波长变更为多个波长；

存储部，其对由所述分光照相机拍摄到的分光图像数据进行存储；

数据取得部，其从所述存储部取得包括分光光谱的数据立方，所述分光光谱基于与多个所述分光波长的每一个对应的多个所述分光图像数据中的同一像素位置的亮度值；

补正值计算部，其对各个像素的所述分光光谱乘以按每个波长设定的补正常数来计算出补正值；

图像合成部，其将在多个所述分光图像数据中同一像素位置的所述补正值总和来计算出色彩转换值，并基于各个像素的所述色彩转换值来生成彩色合成图像，

在将所述分光照相机中的对于所述分光波长的灵敏度特性光谱和与各个波长对应的所述补正常数相乘得到的光谱设为特性光谱，并将对与多个所述分光波长对应的各自的所述特性光谱进行累计而得到的光谱设为总和光谱的情况下，以使所述总和光谱与任意的滤色器的光谱即目标光谱一致的方式来设定所述补正常数。

5.如权利要求4所述的分光照相机系统，其中，

所述补正常数被预先记录在所述存储部中。

6.如权利要求5所述的分光照相机系统，其中，

在所述存储部中预先存储有所述灵敏度特性光谱各不相同的多个所述分光照相机的所述灵敏度特性光谱和对于各个所述灵敏度特性光谱的所述补正常数，

所述分光照相机系统还具备照相机特性取得部，该照相机特性取得部取得所述分光照相机的所述灵敏度特性光谱，

所述补正值计算部从所述存储部中读取与所取得的所述灵敏度特性光谱对应的所述补正常数，并计算出所述补正值。

7.如权利要求4所述的分光照相机系统，其中，还具备：

照相机特性取得部，其取得所述分光照相机中的对于多个所述分光波长的所述灵敏度特性光谱；

常数计算部，其以使所述总和光谱与所述目标光谱一致的方式，来计算出与各个波长对应的所述补正常数。

Images