CN104011580A - 图像处理装置、摄像装置、显微镜系统、图像处理方法以及图像处理程序 - Google Patents

Abstract

本发明提供一种能够使用校正对象图像的图像数据进行高精度的暗影校正的图像处理装置等。图像处理装置(11)具备输入具有被摄体的至少一部分共同的部分的多个图像的图像输入部(120)以及制作对该多个图像进行校正时使用的校正用图像的校正用图像制作部(151)，校正用图像制作部(151)具有从上述多个图像中的具有被摄体所共同的共同部分的两个任意图像获取像素的亮度的差分的差分获取部(153)以及根据该差分检测上述任意图像中的暗影成分的暗影检测部(154)。

Description

图像处理装置、摄像装置、显微镜系统、图像处理方法以及图像处理程序

技术领域

本发明涉及一种针对拍摄被摄体得到的图像实施图像处理的图像处理装置、摄像装置、显微镜系统、图像处理方法以及图像处理程序。

背景技术

在照相机、显微镜等光学设备中，通常由于透镜等成像光学系统的特性，产生相比于与光轴正交的面内的中心而周围区域的光量下降的现象。这种现象一般被称为暗影。因此，以往根据通过经验获得的校正值、实测值等对摄像后的图像实施图像处理，由此抑制了图像的劣化。这种图像处理被称为暗影校正(例如，参照专利文献1和2)。

另外，显微镜能够进行高倍率且高分辨率的被摄体(标本)观察，另一方面，存在使倍率越高则一次能够观察的视场越窄这样的问题。因此，有时进行如下图像处理：针对一个标本一边移动视场一边进行摄像来获取多个图像，并将这些图像拼接在一起，由此合成出视场被扩大为与整个标本对应的大小而得到的图像。这样的进行视场扩大处理得到的连结图像被称为虚拟切片(virtual slide)图像，能够获取虚拟切片图像的显微镜系统被称为虚拟切片系统或虚拟显微镜系统(例如，参照专利文献3和4)。

专利文献1：日本特开2009-159093号公报

专利文献2：日本特开2004-272077号公报

专利文献3：日本特开2008-191427号公报

专利文献4：日本特开2011-141391号公报

发明内容

发明要解决的问题

可是，在将多个图像拼接在一起得到的连结图像中，在个别图像中产生的暗影的影响有规律地出现。因此，暗影对连结图像的画质产生的影响特别大。因而，针对个别图像进行高精度的暗影校正很重要。

一般地，使用在载置台上不放置被摄体的状态下拍摄视场得到的校准图像来进行显微镜图像的暗影校正(参照专利文献1)。然而，即使是相同的显微镜，也存在拍摄校准图像时和拍摄被摄体时暗影的状态发生了变化的情况。因此，还提出了如下技术(参照专利文献2)：不使用预先准备的校准图像而是根据拍摄有被摄体的校正对象图像来制作暗影校正用的数据，使用该暗影校正用数据对该校正对象图像进行暗影校正。

然而，在校正对象图像中除了包含源自暗影的亮度成分以外，还包含有源自被摄体的亮度成分等各种成分，很难将源自暗影的亮度成分与其它成分进行区分。因此，如果使用根据校正对象图像制作出的暗影校正用数据，则导致针对如源自被摄体的亮度成分那样本来不应该校正的成分也进行了校正。而且，像这样暗影校正的精度下降的结果有可能在校正后的图像中产生伪影等，反而导致画质下降。

本发明是鉴于上述情形而完成的，其目的在于提供一种能够使用校正对象图像的图像数据来进行高精度的暗影校正的图像处理装置、摄像装置、显微镜系统、图像处理方法以及图像处理程序。

用于解决问题的方案

为了解决上述课题并达到目的，本发明所涉及的图像处理装置具备：图像输入单元，其被输入具有被摄体的至少一部分共同的部分的多个图像；以及校正图像制作单元，其制作对上述多个图像进行校正时使用的校正用图像，上述校正图像制作单元具有：差分获取单元，其从上述多个图像中的具有被摄体共同的共同部分的两个任意图像获取像素的亮度的差分；以及暗影检测单元，其根据上述差分来检测上述任意图像中的暗影成分。

在上述图像处理装置中，其特征在于，上述校正图像制作单元还具有图像调整单元，该图像调整单元进行上述任意图像的位置调整，使上述共同部分的上述被摄体一致，上述差分获取单元在由上述图像调整单元进行了位置调整后的状态下获取上述差分。

在上述图像处理装置中，其特征在于，上述校正图像制作单元还具有暗影估计单元，该暗影估计单元根据上述暗影成分，对各图像内的上述共同部分以外的区域中的暗影的影响进行估计。

在上述图像处理装置中，其特征在于，上述多个图像是使摄像视场平行移动而拍摄到的图像。

在上述图像处理装置中，其特征在于，上述多个图像是改变摄像倍率而拍摄到的图像。

在上述图像处理装置中，其特征在于，上述多个图像是使摄像视场转动而拍摄到的图像。

本发明所涉及的摄像装置的特征在于，具备上述图像处理装置以及拍摄上述被摄体的摄像单元。

本发明所涉及的显微镜系统的特征在于，具备：上述图像处理装置；以及显微镜装置，其具有载置台、光学系统、图像获取部以及载置台位置变更部，该载置台能够载置作为上述被摄体的标本，该光学系统与上述载置台相向地设置，该图像获取部拍摄通过上述光学系统在上述标本上设定的视场来获取图像，该载置台位置变更部通过使上述载置台和上述光学系统中的至少一方沿与上述光学系统的光轴正交的方向移动，来改变上述摄像视场。

本发明所涉及的图像处理方法的特征在于，包括以下步骤：图像输入步骤，输入具有被摄体的至少一部分共同的部分的多个图像；差分获取步骤，从上述多个图像中的具有上述被摄体共同的共同部分的两个任意图像获取像素的亮度的差分；暗影检测步骤，根据上述差分来检测上述任意图像中的暗影成分；以及校正用图像制作步骤，根据上述暗影成分，制作对上述多个图像进行校准时使用的校正用图像。

本发明所涉及的图像处理程序的特征在于，使计算机实行以下步骤：图像输入步骤，输入具有被摄体的至少一部分共同的部分的多个图像；差分获取步骤，从上述多个图像中的具有上述被摄体共同的共同部分的两个任意图像获取像素的亮度的差分；暗影检测步骤，根据上述差分来检测上述任意图像中的暗影成分；以及校正用图像制作步骤，根据上述暗影成分，制作对上述多个图像进行校准时使用的校正用图像。

发明的效果

根据本发明，从具有在多个图像之间被摄体所共同的共同部分的两个任意图像获取像素的亮度的差分，根据基于该差分检测出的暗影成分，来制作对上述多个图像进行校正时使用的校正用图像，因此能够进行高精度的暗影校正。

附图说明

图1是表示本发明的实施方式1所涉及的显微镜系统的结构例的示意图。

图2是概要地表示图1所示的显微镜装置的结构的示意图。

图3是表示图1所示的显微镜系统的动作的流程图。

图4是说明实施方式1中的图像的摄像方法的示意图。

图5是说明实施方式1中的图像的摄像方法的示意图。

图6是表示一部分共同的多个图像的示意图。

图7是表示进行位置调整后的多个图像的示意图。

图8是表示图1所示的暗影检测部的动作的流程图。

图9是说明本发明的实施方式2中的图像的摄像方法的示意图。

图10是表示多个图像之间对应的像素的示意图。

图11是说明本发明的实施方式3中的图像的摄像方法的示意图。

图12是表示一部分共同的多个图像的示意图。

图13是表示进行位置调整后的多个图像的示意图。

图14是表示本发明的实施方式4所涉及的显微镜系统的结构例的框图。

图15是表示图14所示的显微镜系统的动作的流程图。

图16是表示图14所示的VS图像制作部所制作的虚拟切片图像的示意图。

具体实施方式

下面，参照附图详细地说明本发明所涉及的实施方式。此外，本发明不限定于这些实施方式。另外，在下面的说明中，说明将本发明所涉及的图像处理装置应用于显微镜系统的例子，但是本发明所涉及的图像处理装置能够应用于数字照相机等具有摄像功能的各种设备。

(实施方式1)

图1是表示本发明的实施方式1所涉及的显微镜系统的结构的示意图。如图1所示，实施方式1所涉及的显微镜系统1具备显微镜装置10和图像处理装置11，该图像处理装置11控制该显微镜装置10的动作，并且对由该显微镜装置10获取到的图像进行处理。

图2是概要地表示显微镜装置10的结构的示意图。如图2所示，显微镜装置10具有：大致C字形的臂100；标本载置台101，其被安装在该臂100上，用于载置标本SP；物镜102，其在镜筒103的一端侧经由三目镜筒部件106，以与标本载置台101相向的方式设置；图像获取部104，其设置在镜筒103的另一端侧；以及载置台位置变更部105，其使标本载置台101移动。三目镜筒部件106将从物镜102入射的标本的观察光分支向图像获取部104和后述的目镜部件107。目镜部件107用于用户直接观察标本。此外，在下面，将物镜102的光轴L方向设为Z轴方向，将与该Z轴方向正交的平面设为XY平面。在图2中，显微镜装置10被设置成标本载置台101的主表面与XY平面大致一致。

物镜102被安装在能够保持倍率互不相同的多个物镜(例如物镜102’)的换镜旋座108上。通过转动该换镜旋座108来变更与标本载置台101相向的物镜102、102’，由此能够改变图像获取部104拍摄的图像的倍率。

在镜筒103的内部设置有包括多个变焦透镜和使这些变焦透镜的位置变化的驱动部(均未图示)的变焦部。变焦部通过调整各变焦透镜的位置，来将摄像视场内的被摄体放大或缩小。此外，还可以在镜筒103内的驱动部中设置编码器。在这种情况下，也可以将编码器的输出值输出到图像处理装置11，在图像处理装置11中，根据编码器的输出值检测变焦透镜的位置，来自动计算摄像视场的倍率。

图像获取部104是一种照相机，例如包括CCD、CMOS等摄像元件，能够拍摄具有该摄像元件所具备的各像素中的R(红)、G(绿)、B(蓝)各波段的像素水平(像素值)的彩色图像。图像获取部104接受从物镜102经由镜筒103内的光学系统入射的光(观察光)，生成与观察光对应的图像数据并输出到图像处理装置11。

载置台位置变更部105例如包括电动机105a，通过使标本载置台101的位置在XY平面内移动来使摄像视场变化。另外，通过使载置台位置变更部105沿着Z轴移动标本载置台101，来使物镜102的焦点聚焦于标本SP。

另外，在载置台位置变更部105中设置有检测标本载置台101的位置并将检测信号输出到图像处理装置11的位置检测部105b。位置检测部105b例如由检测电动机105a的转动量的编码器构成。或者，也可以由按照图像处理装置11的控制部160(后述)的控制来产生脉冲的脉冲产生部和步进电动机来构成载置台位置变更部105。

图像处理装置11具备：输入部110，其接受针对该图像处理装置11的指示、信息的输入；作为接口的图像输入部120，其接受从图像获取部104输出的图像的输入；显示部130，其显示显微镜图像、其它信息；存储部140；运算部150，其针对由显微镜装置10获取到的图像实施规定的图像处理；以及控制部160，其控制这些各部的动作。

输入部110包括键盘、各种按钮、各种开关等输入设备、鼠标、触摸面板等指示设备，接受通过这些设备输入的信号并输入到控制部160。

显示部130例如由LCD(Liquid Crystal Display：液晶显示器)、EL(ElectroLuminescence：电致发光)显示器、CRT(Cathode Ray Tube：阴极射线管)显示器等显示装置构成，按照从控制部160输出的控制信号来显示各种画面。

存储部140由能够更新、记录的快闪存储器、RAM、ROM等半导体存储器、内置或通过数据通信端子连接的硬盘、MO、CD-R、DVD-R等记录介质以及读取记录在该记录介质中的信息的读取装置构成。存储部140存储从图像获取部104输出的图像数据、运算部150和控制部160各自执行的各种程序、各种设定信息。具体地说，存储部140存储针对图像获取部104所获取到的图像实施暗影校正的图像处理程序141。

运算部150例如由CPU等硬件构成，通过读入存储在存储部140中的图像处理程序141，来执行针对与存储在存储部140中的图像数据对应的图像实施暗影校正的图像处理。

更详细地说，运算部150具有制作用于对图像进行暗影校正的校正用图像的校正用图像制作部151以及使用校正用图像对图像进行校正的图像校正部156。其中，校正用图像制作部151具有：图像调整部152，其进行图像的位置调整使得在被摄体的至少一部分共同的多个图像之间共同部分一致；差分获取部153，其获取进行了位置调整后的多个图像之间对应的像素的亮度的差分；暗影检测部154，其根据亮度的差分，检测在该图像内产生的暗影成分；以及暗影估计部155，其根据该暗影成分，估计上述共同部分以外的区域中的暗影的影响来制作校正用图像。

控制部160例如由CPU等硬件构成，通过读入存储在存储部140中的各种程序，来根据存储在存储部140中的各种数据、从输入部110输入的各种信息，针对图像处理装置11和显微镜装置10的各部进行指示、传送数据，统一控制显微镜系统1整体的动作。

接着，说明本实施方式1中的暗影校正的原理。

在由显微镜装置10拍摄到的图像中包含与被摄体对应的亮度成分(以下称为被摄体成分)T(x,y)和与暗影对应的亮度成分(以下称为暗影成分)S(x,y)。此外，坐标(x,y)表示各像素在图像内的位置坐标。因此，当将各像素的亮度设为I(x,y)时，亮度I(x,y)能够用下式(1-1)表示。

I(x，y)＝T(x，y)×S(x，y)…(1-1)

另外，在变更摄像条件的一部分而拍摄到的多个图像之间，暗影成分S(x,y)对于共同的被摄体成分T(x,y)的影响与图像内的位置坐标相应地变化。因此，通过从多个图像之间被摄体成分T(x,y)所共同的像素的亮度中消除被摄体成分T(x,y)，由此能够计算与图像内的位置坐标相应的暗影成分S(x,y)的变化。然后，能够从该暗影成分的变化中抽出在图像内的暗影成分S(x,y)的分布。

并且，如下式(1-2)所示，通过从亮度I(x,y)中去除所抽出的暗影成分S(x,y)，能够获取只有被摄体成分T(x,y)的图像。

T(x，y)＝I(x，y)/S(x，y)…（1-2)

此外，作为变更摄像条件的方法，例如有针对标本SP平行移动摄像视场、变更倍率、针对标本SP转动摄像视场之类的方法。在本实施方式1中，通过针对标本SP平行移动摄像视场的方法来变更摄像条件。

接着，说明显微镜系统1的动作。图3是表示显微镜系统1的动作的流程图。

首先，在步骤S10中，显微镜装置10在控制部160的控制下一边针对标本SP改变摄像视场一边拍摄摄像视场的一部分重叠的多个图像。更详细地说，显微镜装置10如图4所示那样一边使载置有标本SP的标本载置台101平行移动一边使图像获取部104拍摄摄像视场。

此时，在本实施方式1中，如图5所示，显微镜装置10通过每次进行摄像时，使标本载置台101沿X方向移动移动量dx以及沿Y方向移动移动量dy，使相邻的摄像视场V_j、V_j+1之间局部的区域C1重叠，从而进行摄像(j是表示摄像顺序的编号，j＝1、2、…)。此外，摄像视场也可以只沿X方向和Y方向中的某一方进行移动。图像获取部104将像这样进行摄像而获取得到的图像数据输出到图像处理装置11。图像处理装置11使存储部140暂时存储从图像获取部件104输出的图像数据。

在步骤S11中，控制部160从存储部140读取图像数据，并将与该图像数据对应的多个图像输入到运算部150。具体地说，如图6的(a)和图6的(b)所示，拍摄摄像视场V_j得到的图像M_j和拍摄摄像视场V_j+1得到的图像M_j+1被输入到运算部150。在图像M_j、M_j+1之间，图像M_j内的坐标(x_i,y_i)的像素和图像M_j+1内的坐标(x’_i,y’_i)(＝(x_i-dx,y_i-dy))的像素为相互对应的像素。在相互对应的像素中拍摄有相同的被摄体。以下，将图像M_j、M_j+1的水平方向的大小设为w，将垂直方向的大小设为h。

在接下来的步骤S12中，图像调整部152根据来自位置检测部105b的输出值，进行图像的位置调整使得多个图像之间共同部分一致。例如在图像M_j、M_j+1的情况下，如图7所示那样以使图像M_j+1相对于图像M_j移动摄像视场的移动量dx和dy从而区域C1彼此重叠的方式进行位置调整。

在步骤S13中，差分获取部153根据各图像的共同部分所包含的像素的像素值来计算亮度，并计算多个图像之间相互对应的像素的亮度的差分。例如在图像M_j、M_j+1的情况下，计算图像M_j内的坐标(x_i,y_i)处的像素的亮度I_j与图像M_j+1内的坐标(x’_i,y’_i)处的像素的亮度的差分。

在此，亮度I_j、I_j+1分别通过下式(1-3)、(1-4)给出。

I_j(x_i，y_i)＝T(x_i，y_i)×S(x_i，y_i)…(1-3)

I_j+1(x'_i，y'_i)＝T(x'_i，y'_i)×S(x'_i，y'_i)

             …(1-4)

另外，由于对应的像素之间被摄体成分相等，因此下式(1-5)成立。

T(x_i，y_i)＝T(x'_i，y'_i)…(1-5)

并且，当采用坐标(x’_i,y’_i)＝(x_i-dx,y_i-dy)时，式(1-4)能够改写为下式(1-6)。

I_j+1(x'_i，y'_i)＝T(x_i，y_i)×S(x_i-dx，y_i-dy)

                       …(1-6)

根据式(1-3)和式(1-6)，下式(1-7)所示的关系成立。

I_j+1(x'_i，y'_i)/I_j(x_i，y_i)＝S(x_i-dx，y_i-dy)/S(x_i，y_i)…(1-7)

即，亮度的差分I_j+1(x’_i,y’_i)/I_j(x_i,y_i)相当于暗影成分的变化。

在步骤S13中，关于作为共同部分的区域C1内的所有坐标计算这样的差分I_j+1(x’_i,y’_i)/I_j(x_i,y_i)。

在步骤S14中，暗影检测部154制作对图像M_j、M_j+1内的暗影的影响进行近似的暗影模型，根据区域C1内的各坐标(x_i,y_i)处的差分I_j+1(x’_i,y’_i)/I_j(x_i,y_i)对暗影模型进行修正。

在各图像中产生的暗影的影响在理论上应该遵循式(1-7)，但实际上由于对应的像素之间亮度也有细微的不同、暗影存在偏差等，因此式(1-7)并非在区域C1内的所有坐标中都成立。因此，设定表示暗影成分S的模型，通过下式(1-8)所示的误差评价函数，求出评价值K1最小时的暗影成分S。

[数1]

$K1=\underset{i}{\mathrm{\Σ}}{\{\frac{I_{j+1}({x^{\text{'}}}_i,{y^{\text{'}}}_i)}{I_j(x_i,y_i)}-\frac{S(x_i-\mathrm{dx},y_i-\mathrm{dy})}{S(x_i,y_i)}\}}^2...(1-8)$

作为具体的暗影模型的一例，在本实施方式1中，如下式(1-9)所示那样使用表示通过图像的中心坐标(w/2,h/2)的二次曲面的函数。在此，之所以使用二次曲面，是因为暗影成分一般在图像的中心附近较少，随着远离图像的中心而增加。

S(x，y；a)＝1-a((x-w/2)²+(y-h/2)²}

                           …(1-9)

因而，求出通过使用了式(1-9)的误差评价函数(1-10)给出的评价值K1’最小时的二次项的系数(参数)a(式(1-10’))，由此能够获取暗影成分S。

[数2]

${K1}^{\text{'}}=\underset{i}{\mathrm{\Σ}}{\{\frac{I_{j+1}({x^{\text{'}}}_i,{y^{\text{'}}}_i)}{I_j(x_i,y_i)}-\frac{S(x_i-\mathrm{dx},y_i-\mathrm{dy};a)}{S(x_i,y_i;a)}\}}^2...(1-10)$

$\underset{a}{\min }\left(\underset{i}{\mathrm{\Σ}}{\{\frac{I_{j+1}({x^{\text{'}}}_i,{y^{\text{'}}}_i)}{I_j(x_i,y_i)}-\frac{S(x_i-\mathrm{dx},y_i-\mathrm{dy};a)}{S(x_i,y_i;a)}\}}^2\right)...(1-10\text{'})$

暗影检测部154通过图8所示的运算处理来求出该参数a。图8是表示暗影检测部154的动作的流程图。

首先，在步骤S151中，暗影检测部154将参数a初始化。

在接下来的步骤S152中，暗影检测部154将参数a和在步骤S13中计算出的区域C1内的所有坐标(x_i,y_i)处的亮度的差分I_j+1(x’_i,y’_i)/I_j(x_i,y_i)代入到误差评价函数(1-10)中，来计算评价值K1’。

在步骤S153中，暗影检测部154判断评价值K1’是否小于规定的阈值。阈值的大小设为在根据后续的重复处理的各次中代入的参数a来制作校正图像的情况下，通过经验来设定在参数a互不相同的校正图像之间差异不被明确地识别出的程度地足够小的值。该阈值是为了使重复处理结束而设定的，因此也可以设定例如在重复处理中的评价值的变化变得足够小时结束重复处理等其它的结束条件。在评价值K1’为规定的阈值以上的情况下(步骤S153：“否”)，暗影检测部154对参数a进行修正(步骤S154)。之后，动作返回到步骤S152。另一方面，在评价值K1’小于规定的阈值的情况下(步骤S153：“是”)，暗影检测部154将此时的参数a决定为式(1-9)中的参数(步骤S155)。包含所决定出的该参数a的式(1-9)是表示区域C1中的已修正的暗影模型的式子。

之后，动作返回主程序。

在步骤S15中，暗影估计部155将修正后的暗影模型的应用范围扩展至图像M_j、M_j+1内的区域C1以外的区域，制作用于对图像内的整个区域中的暗影进行校正的校正用图像。校正用图像是将暗影模型S(x,y；a)设为各像素的亮度的图像。

在步骤S16中，图像校正部156使用在步骤S15中制作出的校正用图像来进行图像的校正。即，获取作为校正对象的图像内的各像素的亮度I(x,y)，通过下式(1-11)计算被摄体成分T(x,y)。

T(x，y)＝I(x，y)/S(x，y；a)…(1-11)

由此，获取暗影的影响被去除后的已校正的图像。此外，作为校正对象的图像不限于制作暗影校正用图像时所使用的图像M_j、M_j+1，也可以是显微镜装置10所拍摄到的其它图像。

并且，在步骤S17中，运算部150输出已校正的图像。与其相应地，控制部160使显示部130显示已校正的图像，并且使存储部140存储与已校正的图像对应的图像数据。

如以上说明的那样，根据实施方式1，根据作为校正对象的图像本身的亮度来制作暗影校正用图像，因此在显微镜装置10中，即使在产生了暗影的随时间变化的情况下，也能够对该图像实施高精度的暗影校正。另外，根据实施方式1，将图像内的亮度分离为被摄体成分和暗影成分，只抽出暗影成分来制作暗影校正用图像，因此能够提高暗影校正的精度。

(实施方式2)

接着，说明本发明的实施方式2。

实施方式2所涉及的显微镜系统的整体结构和动作与实施方式1相同，实施方式2的特征在于，改变摄像视场的倍率来拍摄多个图像，使用这些图像制作暗影校正用图像。因而，在下面只说明使用倍率互不相同的多个图像来制作暗影校正用图像的处理。

首先，显微镜系统1如图9所示那样拍摄标本SP的视场区域V_j来获取图像M_j。接着，调整焦距来变更倍率，从而拍摄相同的视场区域V_j来获取图像M_j+1。在这种情况下，在图像M_j、M_j+1之间，整个图像成为拍摄有相同的被摄体的共同部分。

在运算部150中，图像调整部152进行图像M_j、M_j+1的位置调整以使图像M_j的中心O与M_j+1的中心O’一致。如图10所示，在图像M_j、M_j+1之间，距图像M_j的中心O距离r_i并位于相对于规定轴形成转动角的像素P_i和距图像M_j+1的中心O’距离r’_i并位于相对于规定轴形成转动角的像素P’_i为相互对应的像素。

接着，差分获取部153计算图像M_j、M_j+1之间对应的像素的亮度的差分。在此，当将图像M_j的倍率设为m_j、将图像M_j+1的倍率设为m_j+1时，距离r’_i能够通过下式(2-1)表示。

r'_i＝(m_j+1/m_j)×r_i…(2-1)

如上所述，各像素的亮度I由被摄体成分T和暗影成分S构成，因此像素P_i的亮度和像素P’_i的亮度能够分别通过下式(2-2)和(2-3)表示。

I_j(r_i，φ_i)＝T(r_i，φ_i)×S(r_i，φ_i)…(2-2)

I_j+1(r'_i，φ_i)＝T_j+1(r'_i，φ_i)×S_j+1(r'_i，φ_i)…(2-3)

在此，一般地，当变更摄像倍率时暗影也发生变化。然而，在倍率变化小的情况下，暗影的变化极小，能够忽略。与此相对地，图像内的被摄体像的变化与倍率的变化严格地一致。即，如下式(2-4)那样。

T_j+1(r'_i，φ_i)＝T(r_i，φ_i)…(2-4)

因而，根据式(2-2)～式(2-4)，通过下式(2-5)给出亮度的差分I_j+1(r’_i)/I_j(r_i)。

I_j+1(r'_i，φ_i)/I_j(r_i，φ_i)＝S_j+1(r'_i，φ_i)/S(r_i，φ_i)

                   …(2-5)

如式(2-5)所示那样，亮度的差分相当于暗影成分的变化。在此，一般地，暗影成分与距光学系统的光轴L的距离相应地呈轴对称地变化，因此式(2-5)能够改写为下式(2-6)。

I_j+1(r'_i，φ_i)/I_j(r_i，φ_i)＝S_j+1(r'_i)/S(r_i)

                    …(2-6)

差分获取部153针对图像M_j内的所有像素计算这样的差分

接着，暗影检测部154制作对图像M_j、M_j+1内的暗影的影响进行近似的暗影模型，根据各坐标处的差分来对暗影模型进行修正。在本实施方式2的情况下，通过下式(2-7)给出用于对暗影模型进行修正的误差评价函数，进行求出使评价值K2最小的暗影模型S(r_i)的运算。

[数3]

$K2=\underset{i}{\mathrm{\Σ}}{\{\frac{I_{j+1}({r^{\text{'}}}_i,{\mathrm{\φ}}_i)}{I_j(r_i,{\mathrm{\φ}}_i)}-\frac{S\left({r^{\text{'}}}_i\right)}{S\left(r_i\right)}\}}^2...(2-7)$

另外，作为具体的暗影模型的一例，在本实施方式2中，使用如下式(2-8)所示那样表示依赖于距图像M_j的中心的距离r而变化的二次曲面的函数。

S(r；b)＝1-b×r²…(2-8)

因而，求出通过使用了式(2-7)的误差评价函数(2-9)给出的评价值K2’最小时的二次项的系数即参数b(式(2-9’))，由此能够获取暗影成分S。

[数4]

$\begin{array}{c}{K2}^{\text{'}}=\underset{i}{\mathrm{\Σ}}{\{\frac{I_{j+1}({r^{\text{'}}}_i,{\mathrm{\φ}}_i)}{I_j(r_i,{\mathrm{\φ}}_i)}-\frac{S({r^{\text{'}}}_i;b)}{S(r_i;b)}\}}^2\\ =\underset{i}{\mathrm{\Σ}}{\{\frac{I_{j+1}({r^{\text{'}}}_i,{\mathrm{\φ}}_i)}{I_j(r_i,{\mathrm{\φ}}_i)}-\frac{S(\frac{m_{j+1}}{m_j}{r}_i;b)}{S(r_i;b)}\}}^2\end{array}...(2-9)$

$\underset{b}{\min }\left(\underset{i}{\mathrm{\Σ}}{\{\frac{I_{j+1}({r^{\text{'}}}_i,{\mathrm{\φ}}_i)}{I_j(r_i,{\mathrm{\φ}}_i)}-\frac{S(\frac{m_{j+1}}{m_j}{r}_i;b)}{S(r_i;b)}\}}^2\right)...(2-9\text{'})$

暗影检测部154通过图8所示的运算处理求出该参数b。但是，在图8中，参数a被替换为参数b，评价值K1’被替换为评价值K2’。包含由此决定出的参数b的式(2-8)是表示已修正的暗影模型的式子。

接着，暗影估计部155将修正后的暗影模型的应用范围扩展至整个图像M_j+1(即，与图像M_j相比稍大的范围)，制作用于对图像M_j和图像M_j+1内的整个区域中的暗影进行校正的校正用图像。

之后的处理与实施方式1相同。

如以上说明的那样，根据实施方式2，根据整个图像M_j的像素的亮度来制作校正用图像，因此能够进行高精度的暗影校正。

(实施方式3)

接着，说明本发明的实施方式3。

实施方式3所涉及的显微镜系统的整体结构和动作与实施方式1相同，实施方式3的特征在于，转动摄像视场而拍摄多个图像，使用这些图像来制作暗影校正用图像。因而，下面只说明使用XY平面中的座标轴相交叉的多个图像来制作暗影校正用图像的处理。

首先，如图11和图12所示，显微镜系统1拍摄标本SP的视场区域V_j来获取图像M_j。接着，使标本载置台101在XY平面内相对于规定的转动中心点转动角度dθ，拍摄视场区域V_j+1来获取图像M_j+1。此外，在实施方式3中，将转动中心点设定为摄像区域V_j的中心O。在这种情况下，在图像M_j、图像M_j+1之间，图11所示的区域C3为拍摄有相同的被摄体的共同部分。另外，如图12的(a)和图12的(b)所示，距图像M_j的转动中心点(中心O)距离r_i并位于相对于规定轴形成角度θ_i的像素Q_i和距图像M_j+1的转动中心点(中心O)距离r_i并位于相对于规定轴形成角度θ’_i(＝θ_i-dθ)的像素Q’_i为相互对应的像素。

在运算部150中，图像调整部152如图13所示那样以使图像M_j+1相对于图像M_j转动角度dθ从而在图像M_j、M_j+1之间区域C3一致的方式进行位置调整。

接着，差分获取部153计算图像M_j、M_j+1之间对应的像素的亮度的差分。具体地说，计算像素Q_i的亮度I_j(r_i,θ_i)与像素Q’_i的亮度I_j+1(r_i,θ’_i)的差分I_j+1(r_i,θ’_i)/I_j(r_i,θ_i)。

如上所述，由于各像素的亮度I由被摄体成分T和暗影成分S构成，因此像素Q_i的亮度I_j(r_i,θ_i)和像素Q’_i的亮度I_j+1(r_i,θ’_i)能够分别通过下式(3-1)和(3-2)表示。

I_j(r_i，θ_i)＝T(r_i，θ_i)×S(r_i，θ_i)…(3-1)

I_j+1(r_i，θ'_i)＝T_j+1(r_i，θ'_i)×S_j+1(r_i，θ'_i)…(3-2)

另外，由于在对应的像素之间被摄体成分T相等，因此下式(3-3)成立。

T(r_i，θ_i)＝T_j+1(r_i，θ'_i)…(3-3)

因而，基于式(3-1)～式(3-3)，通过式(3-4)给出差分I_j+1(r_i,θ’_i)/I_j(r_i,θ_i)。

I_j+1(r_i，θ'_i)/I_j(r_i，θ_i)＝S_j+1(r_i，θ'_i)/S_j(r_i，θ_i)

                 …(3-4)

即，亮度的差分I_j+1(r_i,θ’_i)/I_j(r_i,θ_i)相当于暗影成分S的变化。

在此，在暗影成分S中包含因透镜而产生的暗影成分(以下称为暗影成分Sl)和由于照明等透镜以外的因素而产生的暗影成分(以下称为暗影成分Sm)。即，暗影成分S通过下式(3-5)给出。

S(r_i，θ_i)＝Sm(r_i，θ_i)×Sl(r_i，θ_i)…(3-5)

其中，由于暗影成分Sl以光轴L为中心轴对称地产生，因此能够如下式(3-6)所示那样只利用图像的中心到像素的距离r_i来制作模型。

S(r_i，θ_i)＝Sm(r_i，θ_i)×Sl(r_i)…(3-6)

基于式(3-5)和式(3-6)，能够将式(3-4)改写为下式(3-7)。

[数5]

$\frac{I_{j+1}(r_i,{{\mathrm{\θ}}^{\text{'}}}_i)}{I_j(r_i,{\mathrm{\θ}}_i)}=\frac{\mathrm{Sm}(r_i,{{\mathrm{\θ}}^{\text{'}}}_i)}{\mathrm{Sm}(r_i,{\mathrm{\θ}}_i)}...(3-7)$

根据式(3-7)，可以说对应的像素间的差分I_j+1(r_i,θ’_i)/I_j(r_i,θ_i)表示因照明等产生的暗影成分Sm的变化。差分获取部153针对区域C3内的所有像素计算这样的差分I_j+1(r_i,θ’_i)/I_j(r_i,θ_i)。

接着，暗影检测部154制作对图像M_j、M_j+1内的暗影的影响进行近似的暗影模型，根据各坐标处的差分I_j+1(r_i,θ’_i)/I_j(r_i,θ_i)，对暗影模型进行修正。在本实施方式3的情况下，用于对暗影模型进行修正的误差评价函数通过下式(3-8)给出，进行求出使评价值K3最小的暗影模型Sm(r_i,θ_i)的运算。

[数6]

$K3=\underset{i}{\mathrm{\Σ}}{\{\frac{I_{j+1}(r_i,{{\mathrm{\θ}}^{\text{'}}}_i)}{I_j(r_i,{\mathrm{\θ}}_i)}-\frac{\mathrm{Sm}(r_i,{{\mathrm{\θ}}^{\text{'}}}_i)}{\mathrm{Sm}(r_i,{\mathrm{\θ}}_i)}\}}^2...(3-8)$

作为具体的暗影模型的一例，在本实施方式3中，使用如下式(3-9)所示那样表示依赖于距图像M_j的中心的距离r和角度θ而变化的二次曲面的函数。

[数7]

S(r，θ；c)＝1-c{(rcosθ-r₀cosθ₀)²+(rsinθ-r₀sinθ₀)²}…(3-9)

在式(3-9)中，r₀和θ₀是规定的常数。

因而，求出通过使用了式(3-9)的误差评价函数(3-10)给出的评价值K3’最小时的二次项的系数即参数c(式(3-10’))，由此能够获取暗影成分S。

[数8]

$\begin{array}{c}{K3}^{\text{'}}=\underset{i}{\mathrm{\Σ}}{\{\frac{I_{j+1}(r_i,{{\mathrm{\θ}}^{\text{'}}}_i)}{I_j(r_i,{\mathrm{\θ}}_i)}-\frac{S(r_i,{{\mathrm{\θ}}^{\text{'}}}_i;c)}{S(r_i,{\mathrm{\θ}}_i;c)}\}}^2\\ =\underset{i}{\mathrm{\Σ}}{\{\frac{I_{j+1}(r_i,{{\mathrm{\θ}}^{\text{'}}}_i)}{I_j(r_i,{\mathrm{\θ}}_i)}-\frac{S(r_i,{\mathrm{\θ}}_i-d\mathrm{\θ};b)}{S(r_i,{\mathrm{\θ}}_i;c)}\}}^2\end{array}...(3-10)$

$\underset{c}{\min }\left(\underset{i}{\mathrm{\Σ}}{\{\frac{I_{j+1}(r_i,{{\mathrm{\θ}}^{\text{'}}}_i)}{I_j(r_i,{\mathrm{\θ}}_i)}-\frac{S(r_i,{\mathrm{\θ}}_i-\mathrm{d\θ};c)}{S(r_i,{\mathrm{\θ}}_i;c)}\}}^2\right)...(3-10\text{'})$

暗影检测部154通过图8所示的运算处理求出该参数c。但是，在图8中，参数a被替换为参数c，评价值K1’被替换为评价值K3’。包含由此决定出的参数c的式(3-9)是表示因照明等产生的暗影成分Sm的已修正模型的式子。

接着，暗影估计部155制作用于对图像M_j和图像M_j+1内的整个区域中的暗影进行校正的校正用图像。在此，由于因透镜而产生的暗影成分Sl随时间经过的变化少，因此能够通过余弦四次方定律正确地预测。余弦四次方定律在照度I₀的光入射至透镜时，表示入射光的相对于光轴L的角度θ与入射后的光的照度I’的关系。

I'＝I₀cos⁴θ…(3-11)

暗影估计部155根据式(3-11)制作表示因透镜产生的暗影成分Sl的暗影模型Sl(r)。作为暗影模型Sl(r)，例如能够使用根据式(3-11)将与距光轴中心的距离r的值相应的暗影量制作成查询表而得到的模型。存储部140保存有针对每个透镜制作的多种查询表，暗影估计部155从存储部140读取与所选择的透镜对应的查询表，使用该查询表求出暗影成分Sl。

并且，暗影估计部155将通过式(3-9)给出的暗影模型扩展至整个图像(图像M_j和图像M_j+1的区域C1以外的区域)，并且使用基于上述查询表的暗影模型Sl(r)，如下式(3-12)所示那样制作用于对图像M_j和图像M_j+1内的整个区域中的总的暗影进行校正的校正用图像。

S_TOTAL＝Sl(r)×Sm(r，θ)…(3-12)

之后的处理与实施方式1相同。

如以上说明的那样，根据实施方式3，关于因照明等产生的随时间的变化比较大的暗影，也能够高精度地进行校正。因而，即使在拍摄了大量的图像的情况、摄像时间延长的情况下，也能够针对各图像实施正确的暗影校正。

(实施方式4)

接着，说明本发明的实施方式4。

图14是表示实施方式4所涉及的显微镜系统的结构的框图。如图14所示，实施方式4所涉及的显微镜系统2具备图像处理装置20来代替图1所示的图像处理装置11。图像处理装置20具备针对图1所示的运算部150还具有虚拟切片(VS)图像制作部201的运算部200。除了VS图像制作部201以外，图像处理装置20和显微镜系统2的结构与实施方式1中所说明的结构相同。

VS图像制作部201将显微镜装置10一边针对标本SP平行移动摄像视场一边将拍摄到的多个图像进行拼接，来制作与标本SP整体对应的图像(VS图像)。

接着，说明显微镜系统2的动作。图15是表示显微镜系统2的动作的流程图。另外，图16是表示VS图像制作部所制作的虚拟切片图像的示意图。

首先，在步骤S10中，显微镜装置10在控制部160的控制下，一边针对标本SP平行移动摄像视场一边拍摄摄像视场的局部重叠的多个图像。

接下来的步骤S11和S12的动作与实施方式1相同。

在步骤S12之后的步骤S20中，VS图像制作部201如图16所示那样将由图像调整部152进行位置调整后的多个图像进行拼接，来制作虚拟切片图像VS。在该虚拟切片图像VS中，在X方向上相邻的图像M_(k,l)与M_(k+1,l)之间是区域C_k相互重叠(即，被摄体一致)的共同部分，在Y方向上相邻的图像M_(k,l)与M_(k,l+1)之间是区域C_l相互重叠的共同部分(k、l＝1、2、…)。

接下来的步骤S13～S15的动作与实施方式1相同。但是，此时的运算对象可以是虚拟切片图像VS内的所有的共同部分(区域C_k和区域C_l)，也可以是一部分的共同部分。在后者的情况下，具体地说，运算对象可以只是所有的区域C_k、只是所有的区域C_l、只是最初和最后的区域C_k或区域C_l、只是虚拟切片图像VS的中央附近的区域C_k或区域C_l、以规定间隔抽出的区域C_k或区域C_l、或者随机选择的区域C_k或区域C_l。在多个共同部分为运算对象的情况下，制作与这些共同部分对应的多个校正用图像。

在步骤S15之后的步骤S30中，图像校正部156使用在步骤S15中制作出的校正用图像，对构成虚拟切片图像VS的各图像M_(k,l)进行校正。此时，在步骤S15中制作出多个校正用图像的情况下，最好与作为校正用图像的基础的共同部分的位置相应地决定校正用图像。例如，在基于所有的区域C_k制作校正用图像的情况下，使用基于作为两个图像的共同部分的区域C_k的校正用图像对在X方向上相邻的图像M_(k,l)、M_(k+1,l)进行校正。另外，在基于所有的区域C_l制作校正用图像的情况下，使用基于作为两个图像的共同部分的区域C_l的校正用图像对在Y方向上相邻的图像M_(k,l)、M_(k,l+1)进行校正。或者，在基于以规定间隔抽出的区域C_k或区域C_l、或者随机选择的区域C_k或区域C_l制作校正用图像的情况下，使用基于该区域C_k或区域C_l的校正用图像对区域C_k或区域C_l中的规定范围内的图像M_(k,l)进行校正。

在接下来的步骤S31中，运算部200输出将已校正的图像进行拼接得到的虚拟切片图像VS。与其相应地，控制部160使显示部130显示虚拟切片图像VS，并且使存储部140存储与虚拟切片图像VS对应的图像数据。

如以上说明的那样，根据实施方式4，由在个别的摄像视场中产生的暗影被校正后的图像来构成虚拟切片图像，因此可以获取画质好的虚拟切片图像。

(变形例)

在上述实施方式1～3中，说明了针对由显微镜装置10获取到的图像的处理，但是图像处理装置11也能够对由显微镜装置10以外的各种摄像设备获取到的图像进行处理。例如，也可以将图像处理装置11应用于能够拍摄全景图像的数字照相机。在这种情况下，能够拍摄视场的端部重叠的多个图像，利用根据视场的重叠部分制作出的校正用图像来对各图像进行校正后将这些图像进行拼接，由此生成画质好的全景图像。

本发明不限定于上述的各实施方式1～4或变形例本身，通过将各实施方式1～4所公开的多个结构要素适当地组合，能够形成各种发明。例如，也可以从实施方式1～4所示的全部结构要素中去掉几个结构要素来形成。或者，也可以将不同的实施方式所示的结构要素适当地组合来形成。

附图标记说明

1、2：显微镜系统；10：显微镜装置；11、20：图像处理装置；100：臂；101：标本载置台；102：物镜；103：镜筒；104：图像获取部；105：载置台位置变更部；105a：电动机；105b：位置检测部；106：三目镜筒部件；107：目镜部件；108：换镜旋座；110：输入部；120：图像输入部；130：显示部；140：存储部；141：图像处理程序；150、200：运算部；151：校正用图像制作部；152：图像调整部；153：差分获取部；154：暗影检测部；155：暗影估计部；156：图像校正部；160：控制部；201：VS图像制作部。

Claims (10)

1.一种图像处理装置，其特征在于，具备：

图像输入单元，其被输入具有被摄体的至少一部分共同的部分的多个图像；以及

校正图像制作单元，其制作对上述多个图像进行校正时使用的校正用图像，

上述校正图像制作单元具有：

差分获取单元，其从上述多个图像中的具有上述被摄体共同的共同部分的两个任意图像获取像素的亮度的差分；以及

暗影检测单元，其根据上述差分来检测上述任意图像中的暗影成分。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述校正图像制作单元还具有图像调整单元，该图像调整单元进行上述任意图像的位置调整，使上述共同部分的上述被摄体一致，

上述差分获取单元在由上述图像调整单元进行了位置调整后的状态下获取上述差分。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

上述校正图像制作单元还具有暗影估计单元，该暗影估计单元根据上述暗影成分，对各图像内的上述共同部分以外的区域中的暗影的影响进行估计。

4.根据权利要求1～3中的任一项所述的图像处理装置，其特征在于，

上述多个图像是使摄像视场平行移动而拍摄到的图像。

5.根据权利要求1～3中的任一项所述的图像处理装置，其特征在于，

上述多个图像是改变摄像倍率而拍摄到的图像。

6.根据权利要求1～3中的任一项所述的图像处理装置，其特征在于，

上述多个图像是使摄像视场转动而拍摄到的图像。

7.一种摄像装置，其特征在于，具备：

根据权利要求1～6中的任一项所述的图像处理装置；以及

摄像单元，其摄像上述被摄体。

8.一种显微镜系统，其特征在于，具备：

根据权利要求1～6中的任一项所述的图像处理装置；以及

显微镜装置，其具有载置台、光学系统、图像获取部以及载置台位置变更部，该载置台能够载置作为上述被摄体的标本，该光学系统与上述载置台相向地设置，该图像获取部拍摄通过上述光学系统在上述标本上设定的视场来获取图像，该载置台位置变更部通过使上述载置台和上述光学系统中的至少一方沿与上述光学系统的光轴正交的方向移动，来改变上述摄像视场。

9.一种图像处理方法，其特征在于，包括以下步骤：

图像输入步骤，输入具有被摄体的至少一部分共同的部分的多个图像；

差分获取步骤，从上述多个图像中的具有上述被摄体共同的共同部分的两个任意图像获取像素的亮度的差分；

暗影检测步骤，根据上述差分来检测上述任意图像中的暗影成分；以及

校正用图像制作步骤，根据上述暗影成分，制作对上述多个图像进行校正时使用的校正用图像。

10.一种图像处理程序，其特征在于，使计算机执行以下步骤：

图像输入步骤，输入具有被摄体的至少一部分共同的部分的多个图像；

差分获取步骤，从上述多个图像中的具有上述被摄体共同的共同部分的两个任意图像获取像素的亮度的差分；

暗影检测步骤，根据上述差分来检测上述任意图像中的暗影成分；以及

校正用图像制作步骤，根据上述暗影成分，制作对上述多个图像进行校正时使用的校正用图像。