[go: up one dir, main page]

CN105308949B - 图像获取装置、图像获取方法以及记录介质 - Google Patents

图像获取装置、图像获取方法以及记录介质 Download PDF

Info

Publication number
CN105308949B
CN105308949B CN201480031560.1A CN201480031560A CN105308949B CN 105308949 B CN105308949 B CN 105308949B CN 201480031560 A CN201480031560 A CN 201480031560A CN 105308949 B CN105308949 B CN 105308949B
Authority
CN
China
Prior art keywords
subject
image
light
image acquiring
illumination light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480031560.1A
Other languages
English (en)
Other versions
CN105308949A (zh
Inventor
足立安比古
佐藤佳州
本村秀人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bingxi Fuce Private Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN105308949A publication Critical patent/CN105308949A/zh
Application granted granted Critical
Publication of CN105308949B publication Critical patent/CN105308949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0008—Microscopes having a simple construction, e.g. portable microscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

本公开的图像获取装置在实施方式中具备：以被摄体为基准而从多个不同的照射方向依次射出照明光并以照明光来照射被摄体的照明系统、被配置在透过了被摄体的所述照明光所入射的位置且根据所述不同的照射方向来获取不同的多个图像的摄像元件、以及对多个图像进行合成来形成分辨率比多个图像的各个图像高的所述被摄体的高分辨率图像的图像处理部。

Description

图像获取装置、图像获取方法以及记录介质
技术领域
本申请涉及图像获取装置、图像获取方法以及程序。
背景技术
对于摄像装置所使用的摄像元件，采用的是多个光电变换部在摄像面内被排列为行以及列状的二维图像传感器。光电变换部典型的是形成于半导体层或者半导体基板的光电二极管，接受入射光来生成电荷。二维图像传感器的分辨率(resolution)依赖于摄像面上的光电变换部的排列间距或者排列密度。各个光电变换部的排列间距已短至可见光的波长程度，因此使得分辨率进一步提升极为困难。
由摄像元件获取的图像通过多个像素来规定。各像素通过包含一个光电变换部的单位区域来划分。在摄像面上，由于存在布线所占有的区域，因此一个光电变换部的受光面积S2小于一个像素的面积S1。受光面积S2相对于像素的面积S1的比率(S2/S1)被称作“开口率”。开口率(S2/S1)例如可取25％左右的值。若开口率小，则用于光电变换的入射光量少，因此摄像元件所输出的像素信号的质量下降。如果采用以与摄像面对置的方式配置微透镜阵列，各个微透镜与各个光电变换部对置来进行聚光的构成，则实际上能够有效地扩大受光面积S2，提高开口率(S2/S1)以接近于1。但是，即便如此提高开口率(S2/S1)，像素的排列间距以及排列密度也不会增加，因此分辨率不变化。
专利文献1以及专利文献2公开了利用多个摄像元件来提高摄像装置的分辨率的技术。
在先技术文献
专利文献
专利文献1：日本特公平5-2033号公报
专利文献2：日本特开昭62-137037号公报
发明内容
发明要解决的课题
利用多个摄像元件来形成高分辨率图像较难，故要求新的高分辨率化技术。
用于解决课题的手段
本公开的一形态的图像获取装置具备：照明系统，其以被摄体为基准而从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体；摄像元件，其被配置在透过了所述被摄体的所述照明光所入射的位置，并根据所述不同的照射方向来获取不同的多个图像；和图像处理部，其对所述多个图像进行合成来形成分辨率比所述多个图像的各个图像高的所述被摄体的高分辨率图像。
本公开的一形态的图像获取方法包括：以被摄体为基准而从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体的步骤；利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像装置，根据所述不同的照射方向来获取不同的多个图像的步骤；和对所述多个图像进行合成来形成分辨率比所述多个图像的各个图像高的所述被摄体的高分辨率图像的步骤。
本公开的一形态的图像获取装置具备照明装置、摄像元件和计算机，所述计算机利用所述照明装置，以被摄体为基准而从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体，利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像装置，根据所述不同的照射方向来获取不同的多个图像，对所述多个图像进行合成来形成分辨率比所述多个图像的各个图像高的所述被摄体的高分辨率图像。
本公开的一形态的程序是具备照明装置、摄像元件和计算机的图像获取装置用的程序，该程序被构成为：利用所述照明装置，以被摄体为基准而从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体，利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像装置，根据所述不同的照射方向来获取不同的多个图像，对所述多个图像进行合成来形成分辨率比所述多个图像的各个图像高的所述被摄体的高分辨率图像。
本公开的一形态的图像获取装置具备：光源，其向被摄体照射光且姿势以及位置被固定；倾斜机构，其使所述被摄体倾斜为多个倾斜角度；摄像元件，其被配置在透过了所述被摄体的所述光所入射的位置，并且通过所述倾斜机构而与所述被摄体一体地倾斜，根据所述多个倾斜角度来获取多个图像；和图像处理部，其对所述多个图像进行合成来形成分辨率比所述多个图像的各个图像高的所述被摄体的高分辨率图像。
发明效果
根据本公开的实施方式，能够通过对由一个摄像元件所获得的多个低分辨率图像进行合成来实现高分辨率化。
附图说明
图1是示意性地表示摄像元件中的光电二极管的排列例的俯视图。
图2是示意性地表示摄像元件中的一个像素和开口区域的关系的俯视图。
图3是示意性地表示摄像元件中的一个像素和开口区域的关系的剖视图。
图4A是用于说明本公开的图像获取装置的构成以及动作的剖视图。
图4B是用于说明本公开的图像获取装置的构成以及动作的剖视图。
图5A是表示本公开的图像获取装置中的照明的示例的图。
图5B是表示本公开的图像获取装置中的照明的示例的图。
图5C是表示本公开的图像获取装置中的照明的示例的图。
图6是表示本公开的图像获取装置中的照明的其他示例的图。
图7是表示本公开之中的摄像元件中的光线入射的示例的剖视图。
图8是表示本公开之中的摄像元件中的光线入射的其他示例的剖视图。
图9(a)是表示被摄体30的一部分的俯视图，图9(b)是摄像元件113的光电二极管40之中仅提取图9(a)所示的区域的摄像所涉及的6个光电二极管40来示意性地表示的俯视图。
图10(a)是示意性地表示透过被摄体30而入射至光电二极管40的光线的方向的剖视图，图10(b)是示意性地表示所关注的6个光电二极管40的排列例的俯视图，图10(c)是示意性地表示由6个光电二极管40所获取的6个像素300a的图。
图11(a)是示意性地表示透过被摄体30而入射至光电二极管40的光线的方向的剖视图，图11(b)是示意性地表示所关注的6个光电二极管40的排列的俯视图，图11(c)是示意性地表示由6个光电二极管40所获取的6个像素300b的图。
图12(a)是示意性地表示透过被摄体30而入射至光电二极管40的光线的方向的剖视图，图12(b)是示意性地表示所关注的6个光电二极管40的俯视图，图12(c)是示意性地表示由6个光电二极管40所获取的6个像素300c的图。
图13(a)是示意性地表示透过被摄体30而入射至光电二极管40的光线的方向的剖视图，图13(b)是示意性地表示所关注的6个光电二极管40的俯视图，图13(c)是示意性地表示由6个光电二极管40所获取的6个像素300d的图。
图14是表示由4张图像60a、60b、60c、60d来合成高分辨率图像600的样态的图。
图15(a)～(c)是表示不重合的2张图像60a、60b的合成例的图。
图16(a)～(c)是表示局部重合的2张图像60a、60b的合成例的图。
图17是表示第一实施方式所涉及的图像获取装置的简要构成的框图。
图18是表示第一实施方式所涉及的图像获取装置中的光源的位置偏离所引起的光线入射位置的误差的剖视图。
图19是表示第一实施方式所涉及的摄像元件中的光源位置的示例的图。
图20是表示第一实施方式所涉及的图像获取装置中的从点光源射出的光束的扩展所引起的光线入射位置的偏移的剖视图。
图21A是表示第一实施方式所涉及的图像获取装置的动作的一例的流程图。
图21B是表示第一实施方式所涉及的图像获取装置的动作的其他示例的流程图。
图21C是表示第一实施方式所涉及的图像获取装置的动作的进一步的其他示例的流程图。
图22是表示第一实施方式所涉及的图像获取装置中的校正用样本及其配置的图。
图23是第一实施方式所涉及的图像获取装置中的插入了盖玻片的情况下的图。
图24是表示第一实施方式所涉及的图像获取装置中的光的入射方向的其他示例的剖视图。
图25是表示本公开的第二实施方式所涉及的图像获取装置中的光源的配置例的图。
图26是表示第二实施方式所涉及的图像获取装置中的被摄体的入射光线位置和光电二极管的对应关系的配置图。
图27是第二实施方式所涉及的图像获取装置所获取的图像的示例。
图28是第二实施方式所涉及的图像获取装置所获取的图像的示例。
图29是用于说明在第二实施方式所涉及的图像获取装置中所进行的精度提升处理的图，是示意性地表示被配置在摄像元件上的被摄体中的一部分的区域和位于该区域下方的摄像面的一部分的配置关系的俯视图。
图30是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的改变例的图。
图31是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的其他改变例的图。
图32是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图33是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图34是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图35是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图36是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图37是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图38是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图39是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图40是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图41是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图42是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保持装置的进一步的其他改变例的图。
图43是表示本公开的第三实施方式中的检体管理装置的整体构成的一例的图。
图44是本公开的第三实施方式中的标本像获取装置的剖视图。
图45是表示本公开的第三实施方式中的检体管理装置的构成的框图。
图46是表示本公开的第三实施方式中的检体管理方法的处理过程的流程图。
图47是表示本公开的第三实施方式中的标本像获取装置的详细构成例的框图。
图48是表示本公开的第三实施方式中的标本像获取装置的动作的一例的流程图。
图49A是表示本公开的第三实施方式中的照明方向调整部的构成的图。
图49B是表示本公开的第三实施方式中的照明方向调整部的构成的图。
图50A是表示本公开的第三实施方式中的标本像获取装置的动作(照明方向的变化)的图。
图50B是表示本公开的第三实施方式中的标本像获取装置的动作(照明方向的变化)的图。
图51是表示了本公开的第三实施方式中的标本和图像传感器的关系的立体图。
图52A是将表示本公开的第三实施方式中的照明方向和入射至传感器的光的量的关系的矩阵的示例进行示出的图。
图52B是将表示本公开的第三实施方式中的照明方向和入射至传感器的光的量的关系的矩阵的示例进行示出的图。
图53是表示以高倍率(高分辨率)观察病理标本时的图像的示例的图。
图54是表示以低倍率(低分辨率)观察病理标本时的图像的示例的图。
图55是表示本公开的第三实施方式中的数据库的内容的示例的图。
图56是表示根据本公开的第三实施方式中的患者ID将同一患者的不同染色的标本的信息建立关联地保存的示例的图。
图57是同一患者但染色不同的标本的示例。
图58是表示本公开的第四实施方式中的标本像获取装置的动作(标本的移动)的图。
图59是表示本公开的第四实施方式中的标本像获取装置的详细构成的框图。
具体实施方式
在说明本公开的图像获取装置的实施方式之前，首先说明摄像元件的基本构成例。
图1是示意性地表示作为摄像元件113的一例的CCD图像传感器的摄像面的一部分的俯视图。如图1所示，在摄像面上多个光电二极管(光电变换部)40被排列成行以及列状。在图1中，一个像素50由虚线的矩形区域来表示。在摄像面上，多个像素50密集地排列成行以及列状。
入射至各光电二极管40的光在光电二极管40内生成电荷。所生成的电荷的量根据入射至该光电二极管40的光的量而变化。各光电二极管40所生成的电荷在沿着纵向延伸的垂直电荷转移路径44上移动，在垂直电荷转移路径44上被依次转移后移动至水平电荷转移路径46。接下来，电荷在沿着横向延伸的水平电荷转移路径46上转移，从水平电荷转移路径46的一端作为像素信号而输出至摄像元件113的外部。在电荷转移路径44、46上排列有未图示的转移电极。其中，本公开的图像获取装置所使用的摄像元件113的构成并不限定于上述示例。也可以取代CCD图像传感器而使用MOS型图像传感器。
摄像面内的光电二极管40的排列间距无需在垂直方向以及水平方向上一致。在本说明书中，为了简化说明，假设光电二极管40的排列间距在垂直方向以及水平方向上相等，均具有大小K[μm]。
图2是示意性地表示一个像素50和该像素50中所含的光电二极管40的俯视图。该示例中的各像素的尺寸为K[μm]×K[μm]。此外，光电二极管40的尺寸(受光区域的尺寸)为P[μm]×P[μm]。因此，一个像素的面积用S1＝K×K来表示，一个光电二极管40的面积用S2＝P×P来表示。另外，根据本实施方式，分辨率不是根据像素间距来决定的，而是根据光电二极管40的尺寸(受光区域的尺寸)来决定的。但是，如果考虑到使用于照明的可见光的波长，则本实施方式中的光电二极管40的尺寸P可设定为0.1μm以上。
在本公开的图像获取装置中，未设有与各个光电二极管40对应的微透镜。因而，各像素50之中光电二极管40的受光区域(P×P的区域)以外的区域为“遮光区域”，入射至遮光区域的光不被光电变换，不形成像素信号。由P[μm]×P[μm]所表示的受光区域也可以称作“开口区域”。各个像素50中的光电二极管40的位置、形状以及大小并不限定于图2所示的示例。
像素区域以及光电二极管在摄像面上典型地具有矩形的形状。在此情况下，若将n、m设为大于1的实数，则能够由(1/n)来表示摄像面内的水平方向上的光电二极管的尺寸相对于像素区域的尺寸的比率，由(1/m)来表示摄像面内的垂直方向上的光电二极管的尺寸相对于像素区域的尺寸的比率。此时，开口率由(1/n)×(1/m)来表示。n、m均可为2以上的实数。
图3是示意性地表示摄像元件113中所含的一个像素50的剖面构成的示例的剖视图。如图3所示，摄像元件具备：半导体基板400、形成在半导体基板400的表面上的光电二极管40、被支承于半导体基板400的布线层402、覆盖布线层402的遮光层42、和覆盖半导体基板400的光入射侧面的透明层406。在图3中，示出与单一的像素对应的部分的剖面，因此仅图示出一个光电二极管40，但实际上在一个半导体基板400形成有多个光电二极管40。另外，在摄像元件113为CCD图像传感器的情况下，在半导体基板400中，在布线层402的下部形成有作为垂直或者水平电荷转移路径发挥功能的杂质扩散层(未图示)。布线层402与排列在电荷转移路径上的未图示的电极连接。另外，在摄像元件113为MOS型图像传感器的情况下，在半导体基板400以像素为单位而形成有MOS型晶体管(未图示)。MOS型晶体管作为用于读出对应的光电二极管40的电荷的开关元件来发挥功能。
摄像元件113中的光电二极管40以外的构成要素由遮光层42来覆盖。在图3的示例中，由遮光层42覆盖的区域被涂黑。
可使用于本实施方式的摄像元件的构成并不限定于上述示例，也可以为背面照射型的CCD图像传感器或者背面照射型的MOS型图像传感器。
接下来，参照图4A以及图4B来说明本公开的图像获取装置的简要构成例。图4A以及图4B分别是示意性地表示本公开的图像获取装置的简要构成例的剖视图。
图示的图像获取装置具备：照明装置111，其以被摄体(摄像对象)30为基准而从多个不同的光源方向(照射方向)依次射出照明光，并以该照明光来照射被摄体30；和摄像元件113，其被配置在透过了被摄体30的照明光所入射的位置，并根据不同的光源方向来获取不同的多个图像。此外，该图像获取装置还具备对根据不同的光源方向而获取到的多个图像进行合成的图像处理部12，该图像处理部12形成分辨率比从摄像元件113获得的多个图像的各个图像高的所述被摄体的高分辨率图像。图像处理部12可由通用或者专用的计算机来实现。
在摄像元件113获取第1图像时(图4A)，照明装置111使照明光相对于被摄体30而从第1方向入射。此外，在摄像元件113获取第2图像时(图4B)，照明装置111使照明光相对于被摄体30而从第2方向入射。图4A以及图4B所示的光线之中入射至遮光层42的光线不被利用在图像的获取中。换言之，从照明装置111射出的光之中仅通过入射至光电二极管40的光线来获取各图像。
如果光线相对于被摄体30的入射方向不同，则入射至光电二极管40的光线透过被摄体30的区域也不同。根据本公开，通过调整照明光相对于被摄体30的入射方向，能够分别获得被摄体30的不同部分的像。另外，本公开的图像获取装置可拍摄的被摄体30是至少一部分包含可透过光线的区域的物体。被摄体30可为包含厚度为几μm的病理标本的载片。被摄体30的形状并不限定为板状，也可以为粉末、液体。摄像面的法线方向上的被摄体30的尺寸例如为几十μm以下。
接下来，参照图5A、图5B以及图5C来说明照明装置111的第1构成例。
第1构成例中的照明装置111具有多个光源(照明光源)10a、10b、10c。这些光源10a、10b、10c被配置在与多个不同的光源方向对应的不同位置，并且依次点亮。例如，在光源10a点亮时，如图5A所示，从光源10a射出光，以该光来照射被摄体30。在图5A～5C中，虽然示出了来自光源10a、10b、10c的光发散，但实际上从光源10a、10b、10c至摄像元件113为止的距离足够长，可以认为实质上平行的光入射至被摄体30以及摄像元件113。此外，也可以通过未图示的镜头等的光学系统，使得从光源10a、10b、10c辐射的光汇聚成平行光或者接近平行光的光。因此，光源10a、10b、10c既可以为点光源也可以为面光源。被摄体30被放置在摄像元件113的上表面上。摄像元件113的上表面在图5A中由虚线来表示，作为被摄体支承部112来发挥功能。
首先，如果在以来自光源10a的光照射了被摄体30的状态下进行摄像元件113的摄像，则接下来例如光源10b点亮，光源10a以及光源10c变为熄灭状态。此时，如图5B所示，从光源10b射出光，以该光来照射被摄体30。如果在以来自光源10b的光照射了被摄体30的状态下进行摄像元件113的摄像，则接下来光源10c点亮，光源10a以及光源10b变为熄灭状态。此时，如图5C所示，从光源10c射出光，以该光来照射被摄体30。在该状态下，还进行摄像元件113的摄像。
在图5A～5C的示例中，从3个不同的光源方向照射被摄体30，每次均要进行摄像，因此获取合计3张图像。照明装置111所具有的光源的个数并不限定为3个。此外，发光波长不同的多个光源也可以在同一光源方向上靠近配置。例如，若在图5A的光源10a的位置及其附近配置红色、绿色以及蓝色的光源(RGB光源)，则在图5A所示的状态下依次照射红色、绿色以及蓝色的光，从而可以获取3张图像。若能够获取这样的3张图像，则只是重叠这3张图像便能够获得全彩色图像。这样的图像为时间连续的彩色图像。
另外，照明装置111所具有的光源的波长并不限定于可见光域，也可以为红外或者紫外。此外，从各光源既可以射出白色的光，也可以射出蓝绿色、品红色、黄色等的光。
接下来，参照图6。图6示意性地表示照明装置111的第2构成例。图6的构成例中的照明装置111具有被支承为能移动的至少一个光源10。通过使该光源10移动，能够从多个光源方向中所含的任意方向射出光，并以该光来照射被摄体30。
另外，在图5A～5C的示例中，光源10a、10b、10c也无需被固定在特定位置，可以被支承为能移动。进而，也可以经由反射镜等驱动光学系统来变更从被固定的一个光源10射出的光束的光路，由此使得从不同的方向入射至被摄体30。
在图5A～5C的示例以及图6的示例中，虽然光源方向在与附图的纸面平行的面内发生变化，但光源方向也可以是相对于该面而倾斜的方向。
接下来，参照图7以及图8来说明照明光的入射方向。在图7中，同时记载了入射至所关注的中央的光电二极管40的2个方向的光。这对应于为了方便起见而例如将图5A的状态下的摄像状态和图5B的状态下的摄像状态示出在一个图中的情形。在图7的示例中，调整光源方向，使得通过了被摄体30的相邻两个区域的光均入射至同一光电二极管40。如果从图5B所示的光源10b射出的光相对于被摄体30的入射方向(入射的角度以及方位)不适当，则透过了被摄体30的相邻区域的光不会均入射至同一光电二极管40。
如图7所示，如果以从不同的方向入射至被摄体30的光来进行被摄体30的摄像，则能够使从被摄体30在“空间上”被采样的像素信息增加。这意味着，通过将以来自图7所示的2个方向的光所获得的2张图像简单地相加，就能够合成高分辨率(high-resolution)的图像。
另外，从不同的方向入射至被摄体30并透过了该被摄体30的光无需入射至同一光电二极管40。例如，如图8所示，也可以调整光源的方向，使得通过了被摄体30的相邻两个区域的光分别入射至不同的光电二极管40。
在图7以及图8中示出了从摄像面至被摄体30为止的距离L、和像素间距K。光的入射角度θ可由L、K等来表现。关于该点将在后面叙述。
接下来，参照图9～图16来说明根据以从不同的方向入射至被摄体30的光进行了多次摄像而获得的多个图像来合成高分辨率图像的原理。在该示例中，摄像元件113中的像素的开口率为25％，从不同的4个方向向被摄体30入射光。
首先，参照图9。图9(a)是表示被摄体30的一部分的俯视图，图9(b)是摄像元件113的光电二极管40之中仅提取图9(a)所示的区域的摄像所涉及的6个光电二极管40来示意性地表示的俯视图。根据本公开，被摄体30的像利用透过被摄体30的实质上平行的光线来获取。无需在被摄体30与摄像元件113之间配置用于成像的透镜，被摄体30可与摄像元件113靠近地配置。从摄像元件113的摄像面至被摄体30为止的距离典型的是1mm以下，例如可设定为1μm左右。实际上，以远远多于6个的光电二极管40来拍摄被摄体30的整体，但在图中为了简单，仅示出6个光电二极管40。
接下来，参照图10。图10(a)是示意性地表示透过被摄体30而入射至光电二极管40的光线的方向的剖视图，图10(b)是示意性地表示所关注的6个光电二极管40的排列例的俯视图，图10(c)是示意性地表示由6个光电二极管40所获取的6个像素300a的图。多个像素300a各自具有表示入射至各个光电二极管40的光的量的值(像素值)。在该示例中，由图10(c)的像素300a来构成图像60a。
接下来，参照图11。图11(a)是示意性地表示透过被摄体30而入射至光电二极管40的光线的方向的剖视图，图11(b)是示意性地表示所关注的6个光电二极管40的排列的俯视图，与图10(b)相同。图11(c)是示意性地表示由6个光电二极管40所获取的6个像素300a的图。由图11(c)的像素300b来构成图像60b。
如通过比较图10(a)和图11(a)而可理解的那样，通过适当地设定入射至被摄体30的光的方向，从而在图10(a)的状态和图11(a)的状态下透过了被摄体30的不同区域的光将入射至光电二极管40。其结果，图10(c)的图像60a和图11(c)的图像60b能够包含与被摄体30的不同位置对应的像素信息。
接下来，参照图12以及图13。图12(a)以及图13(a)是示意性地表示透过被摄体30而入射至光电二极管40的光线的方向的剖视图。在这些示例中，光线相对于与图的纸面垂直的方向而倾斜。图12(b)以及图13(b)是示意性地表示所关注的6个光电二极管40的俯视图，图12(c)以及图13(c)是示意性地表示由6个光电二极管40所获取的6个像素300c以及像素300d的图。由图12(c)的像素300c来构成图像60c，由图13(c)的像素300d来构成图像60d。
图14表示由4张图像60a、60b、60c、60d来合成高分辨率图像600的样态。高分辨率图像600的像素数或者像素密度为4张图像60a、60b、60c、60d各自的像素数或者像素密度的4倍。在该示例中，由于摄像元件113的开口率为25％，因此通过来自不同的4个方向的光照射，从而可以实现最大4倍的高分辨率化。在将N设为2以上的整数时，如果摄像元件113的开口率近似等于1/N，则可以实现最大N倍的高分辨率化。
根据本公开的摄像装置，在改变照明光的方向的同时获取多个低分辨率图像的期间，优选被摄体30不移动或不变形。
接下来，参照图15以及图16。图15是一并示出上述的图10以及图11的状态的图。在图15所示的状态下，入射至被摄体30的光线的方向被适当调整。因而，如图15(c)所示那样被重合的2张图像60a、60b中的像素300a、300b不重叠，对应于被摄体30的不同区域。
图16(a)、图16(b)、图16(c)对应于图15(a)、图15(b)、图15(c)。其中，在图16的状态下，入射至被摄体30的光线的方向未被适当调整。因而，如图16(c)所示那样被重合的2张图像60a、60b中的像素300a、300b对应于被摄体30的局部重合的区域。根据以上的说明，可知需要适当地设定照射被摄体30的光的方向。此外，被摄体30以及摄像元件113可由遮挡外部光的壁面来包围，使得至少在拍摄时用于照明的光以外的光不会入射至被摄体30。
以下，更详细地说明本公开的实施方式。
(第一实施方式)
参照图17来说明本公开的第一实施方式所涉及的图像获取装置。图17是本实施方式中的图像获取装置的框图。如图17所示，图像获取装置1具备：摄像处理部11，其具有照明功能以及摄像功能；图像处理部12，其根据由摄像处理部11获得的低分辨率图像来生成高分辨率图像并输出；和存储装置13，其存储光源位置信息以及低分辨率图像。
摄像处理部11具备：照明装置111、被摄体支承部112、摄像元件113、显示器114和输出部115。照明装置111具有前述的构成，能够从多个方向向被摄体照射给定的照度的平行光。该被摄体支承部112支承被摄体，使得从摄像元件113的摄像面至被摄体为止的距离为10mm以下(典型的是1mm以下)。
本实施方式的照明装置111具有LED作为光源。照明装置111具有RGB的3色的LED，分别配置在4处位置。作为光源，也可以取代LED而利用白炽灯、激光二极管、光纤激光器。在利用白炽灯的情况下，可以使用将从白炽灯辐射的光变换为平行光的透镜或者反射镜。光源可以发出红外光、紫外光。也可以在光路上配置有用于对从光源辐射的光的波长进行变换或者过滤的滤色器。
照明装置111既可以如图5A～5C所示那样具有多个光源，也可以如图6所示那样具有被支承为能移动的光源以使入射至被摄体的光的方向变化。
被摄体支承部112是在拍摄中支承被摄体的部件，也可以为摄像元件113的上表面。也可以具有保持这些部件的机构以使在拍摄中被摄体的位置不发生变化。被摄体支承部112可构成为在摄像元件113上几乎无间隙地配置被摄体30。
图18是表示配置在摄像元件113上的被摄体30和光源10的配置关系的图。
光源10和被摄体30的间隔D例如可设定为1m以上。为了抑制图像的模糊，从摄像元件113的摄像面至被摄体30为止的距离L被设定为100μm(＝1×10-4m)以下，例如被设定为1μm(＝1×10-6m)。在D＝1m、L＝1×10-6m的情况下，关于从光源10射出并通过被摄体30的位置A的光线，如果光源10的位置在水平横向上偏离Xm，则该光线在摄像面上入射至偏移了ΔXm的位置。由于存在ΔX/X＝D/L的关系，因此为了将ΔX抑制在0.1μm(＝1×10-7m)以下，只要将X抑制在0.1m以下即可。在调整光源10的位置时，将光源10的位置偏离X设为0.1m(＝10cm)以下较为容易。在利用像素间距K为1μm左右的摄像元件113的情况下，如果将从摄像元件113至光源10为止的距离设定为1m左右，则即便光源的位置偏离X发生几cm左右，也不会给画质带来不良影响。此外，鉴于上述内容，在特定的光源方向上配置红色、绿色以及蓝色的光源(RGB光源)的情况下，如果这些多个光源靠近而处于0.1m(＝10cm)以下的范围，则也能够将它们作为一个光源来处理。
本实施方式中的摄像元件113例如具有约4800×3600像素的构成。在此情况下，像素间距K作为一例，可设定为1.3μm左右。此外，从摄像面至摄像元件上表面为止的距离、即从摄像面至被摄体为止的距离L作为一例，可设定为约1.3μm。在本实施方式中，假设摄像元件113的开口率为25％。
接下来，参照图19来说明照明装置111的光源10与摄像元件113之间所存在的配置关系的示例。
图19的照明装置111在与摄像元件113相距约1m的位置处具有4个光源10A、10B、10C、10D。从各光源10A、10B、10C、10D射出具有约1/100[rad]以下的扩展的光束。这些光束均为大致平行光。在图19中，示出与被排列为2行2列的4个像素对应的4个光电二极管40。其中，示出入射至某一个关注的光电二极管40的4条光线。4条光线相当于从光源10A、10B、10C、10D射出的光束的中心轴(仅称作“光轴”)。另外，在图19所示的被摄体30中，为了方便起见，绘制表示被排列为4行4列的16个区域的划分线。在实际的被摄体30中，并未绘制这样的线。被摄体30的划分线是为了易于获知地表示入射至一个光电二极管40的光线透过了被摄体30的哪个区域而记载的。对于由划分线区分的16个区域之中位于各光电二极管40的正上方的区域附加阴影线。
第1光源10A位于摄像元件113的正上方，其光轴与摄像面垂直。即，第1光源10A的光轴与摄像面的法线方向平行。在此，将第1光源10A的光轴与摄像元件113的上表面(被摄体)交叉的位置设为“基准位置”。
第2光源10B的光轴相对于摄像面的法线而在Y轴的负方向上倾斜。第2光源10B的光轴与摄像元件113的上表面(被摄体)交叉的位置，相对于“基准位置”而在Y轴的负方向上偏移K/2。第3光源10C的光轴相对于摄像面的法线而在X轴的负方向上倾斜。第3光源10C的光轴与摄像元件113的上表面(被摄体)交叉的位置，相对于“基准位置”而在X轴的负方向上偏移K/2。第4光源10D的光轴相对于摄像面的法线而在从X轴的负方向旋转了π/4弧度的方向上倾斜。第4光源10D的光轴与摄像元件113的上表面(被摄体)交叉的位置，相对于“基准位置”而在Y轴的负方向上偏移K/2并在X轴的负方向上偏移K/2。
光源10A、10B、10C、10D的位置由这些光轴相对于摄像面的法线的相对配置关系来决定，照明光的“照射方向”由光源以及与被摄体(摄像面)的相对配置关系来决定。将以摄像面为基准而入射至摄像面的照明光的光线的方向定义为“照射方向”。在将摄像面上的水平方向设为X轴、将垂直方向设为Y轴、将摄像面的法线方向设为Z轴时，照射方向可由XYZ坐标内的向量来确定。照射方向是任意的，照射方向的数目也是任意的。
与摄像面垂直的“照射方向”可由例如向量(0，0，1)来表现。如果将从摄像面至被摄体为止的距离设为L，则与摄像面垂直的“照射方向”可由向量(0，0，1)来表现。例如，16种照射方向θ1～θ16分别可由(0，0，L)、(K/4，0，L)、(2K/4，0，L)、(3K/4，0，L)、(0，K/4，L)、(K/4，K/4，L)、(2K/4，K/4，L)、(3K/4，K/4，L)、(0，2K/4，L)、(K/4，2K/4，L)、(2K/4，2K/4，L)、(3K/4，2K/4，L)、(0，3K/4，L)、(K/4，3K/4，L)、(2K/4，3K/4，L)、(3K/4，3K/4，L)的向量来表现。也可以为同一图像可取的其他角度。
另外，从光源10A、10B、10C、10D向同一光电二极管入射的光线入射至被摄体的位置不一定需要在与X轴或者Y轴平行的方向上偏移K/2。该偏移的大小也可以为奇数×(K/2)。在将M、N设为奇数时，在向量表示的情况下可为(基准的向量例如(0，0，L))+(MK/2，NK/2，0)。此外，如后述的第二实施方式那样，在开口率为1/9的情况下，从各光源向同一光电二极管入射的光线入射至被摄体的位置在与X轴或者Y轴平行的方向上偏移K/3、2K/3。
另外，虽然光源10A的光轴相对于摄像面被设定为垂直，但光源10A、10B、10C、10D的光轴均可以相对于摄像面的法线而倾斜。此外，如参照图6所说明的那样，也可以采用如下构成，即，至少一个光源10被支承为可动，移动至适当的位置，从该位置在给定方向上射出光。
图20是夸大绘制了从一个光源10射出的光线的入射角度的分布的图。在位于光源10的正下方的区域，垂直地入射了光线。另一方面，在位于摄像面的端部的区域，倾斜地入射了光线。考虑从摄像面至光源10为止的距离D被设定为约1m的情况。从摄像元件的中央至端部为止的距离C最大也只不过为10mm(＝1×10-2m)。此外，L＝1×10-6m。本来，应从光源垂直地入射光，但却在摄像面的端部倾斜地入射光，因此其入射位置相对于垂直入射时的入射位置而偏移Δx。在上述的数值例中，由于C/D＝Δx/L的关系成立，因此Δx＝(LC)/D＝(1×10-6×1×10-2)/1＝1×10-8＝10nm。即，入射至光电二极管的光线通过被摄体的区域的位置根据是摄像元件的中央还是端部而只在比Δx＝10nm小的范围内发生偏移。如果设像素间距K为1μm(＝1×10-6m)，则Δx＝10nm(＝1×10-8m)比像素间距K小2位数。因而，只要从摄像面至光源10为止的距离D考虑摄像面的尺寸而被设定为适当的大小，便可认为以被摄体为基准的光源方向相对于相同的光源不论被摄体的位置如何均为一定。
再次参照图17。本实施方式中的图像处理部12具备：照明条件调整部121、图像信息获取部122、光源位置决定部123和图像构成处理部124。这些部件也可以由实现图像处理部12的计算机的功能块来构成，各构成要素可由计算机程序来实现。存储装置13具有光源位置信息服务器131和低分辨率图像服务器132。存储装置13可为硬盘、半导体存储器或者光记录介质，也可以为经由因特网等数字网络而与图像处理部12连接的数据服务器。
图像处理部12的照明条件调整部121对照明装置111中的光源的位置、明亮度、光照射间隔、照度等的照明条件进行调整。图像信息获取部122在照明装置111的照明条件被适当设定的状态下控制摄像元件113，根据所点亮的光源的切换而使摄像元件113进行拍摄。图像信息获取部122从摄像元件113接受摄像元件113获取到的图像(低分辨率图像)的数据。此外，从照明条件调整部121获取与接受的图像数据建立关联地规定照明条件的信息(光源方向、发光强度、照度、波长等)。
光源位置决定部123在校正光源位置时决定光源位置。光源位置决定部123在校正光源位置时，在被摄体支承部112设置校正用样本，利用从图像信息获取部122获得的图像来决定光源位置的变更，使照明装置111的光源位置发生变化。
光源位置信息服务器131将表示由光源位置决定部123决定的光源位置的信息作为位置数据库来保存。在由光源位置决定部123调整了光源的位置的情况下，每次均要重写位置数据库。
低分辨率图像服务器132将经由图像信息获取部122获得的低分辨率图像的数据、和表示在获取各低分辨率图像时被使用的照明条件的信息保存至图像数据库。在本实施方式中，以来自4个方向的照明光对被摄体进行照射来获得4个低分辨率图像。这些低分辨率图像对应于图14示意性示出的图像60a～60d。如果后述的图像构成处理结束，则低分辨率图像的数据也可以从图像数据库中删除。
图像处理部12中的图像构成处理部124响应于从图像信息获取部122获得的表示摄像结束的信号，而从存储装置13的光源位置信息服务器131以及低分辨率图像服务器132中获得光源位置信息以及低分辨率图像，实现基于前述原理的高分辨率化(图14、图19)。即，通过组合构成图像60a～60d的像素值，从而能够获得1张高分辨率图像。此时，实施颜色修正、去马赛克处理、灰度修正(γ修正)、YC分离处理、重叠部分的修正等修正处理。高分辨率图像被显示于显示器114，或者经由输出部115而输出至图像获取装置1的外部。从输出部115输出的高分辨率图像可被记录至未图示的记录介质，或者被显示于其他显示器。
在本实施方式中，利用开口率为25％的摄像元件113来形成像素数为4倍的高分辨率图像(被放大为2倍的图像)，但也能够利用开口率为1/N的摄像元件来获取N张低分辨率图像，并根据这些低分辨率图像来形成具有N倍像素数的被放大至N0.5倍的高分辨率图像。
根据本实施方式，能够根据低分辨率的图像来获取高分辨率的图像，但在无需特别使用高分辨率的图像时，使用低分辨率的图像即可。在本实施方式中，能够在不利用倍率高的透镜的情况下简单地使图像的倍率变化。
接下来，参照图21A来说明上述的实施方式所涉及的图像获取装置1的初始化以及图像获取的动作。图21A是表示图像获取装置1中的图像获取的流程的流程图。
[准备步骤]光源位置的调整
为了进行光源位置的初始化，在被摄体支承部112设置校正用样本(S201)，执行光源位置决定处理(S202)。所谓校正用样本，是指预先作为二维信息而已知各位置处的光透过率的样本。例如，图22所示的校正用样本500由透明薄膜形成，在表面具有被排列为格子状的黑斑图案。在图22中，校正用样本500之中虽然仅示出对应于4像素的区域，但实际的校正用样本500也可以具有覆盖摄像元件113的整个摄像面的大小。在此，为了简单，假设黑色区域为完全遮挡光的区域。
图22所示的校正用样本500的4个黑色区域的形状以及位置与光电二极管40的形状以及位置相匹配。此外，假设4个黑色区域分别位于4个光电二极管40的正上方。在该状态下，考虑从未图示的照明装置111的特定的光源射出光并以该光来照射校正用样本500的情况。如果光源的光轴与摄像面垂直，则来自光源的光线被黑色区域遮挡。因而，使得4个光电二极管40的输出具有最低电平的值。另一方面，如果光源的光轴相对于摄像面而略微倾斜，则不会被黑色区域遮光，存在入射至各光电二极管40的光线。因而，使得各光电二极管40的输出具有比最低电平高的值。在决定光源的位置以使光源的光轴与摄像面大致垂直之后，若在改变光源的位置的同时检测各光电二极管40的输出，则有时该输出成为极小值。此时，能够确定光源的光轴与摄像面垂直。
在上述的示例中，4个黑色区域是完全遮光的区域，但黑色区域的光透过率无需为0％。此外，在图22的示例中，4个黑色区域的排列与4个光电二极管40的排列相一致，但校正样本500的图案并不限定于这种示例。只要校正样本500的图案已知，则该图案的形状是任意的。
存储装置13与校正用样本500建立关联地具有预先设定的多个光源位置所对应的样本数据。照明条件调整部121从多个光源位置中选择给定的光源位置，以光来照射校正用样本500。摄像元件113在从给定的光源位置照射出光的状态下获取校正用样本500的图像。光源位置决定部123比较如此获取到的图像和存储装置13所保存的样本数据。使光源位置一点点变化来反复进行拍摄，直至获取到的图像和样本数据一致为止。其结果，能够适当地决定光源位置。例如，能够决定多个光源的配置关系，使得实现图15所示那样的光入射而非图16所示那样的光入射。
[高分辨率化步骤]
接下来，将被摄体配置于被摄体支承部112(S203)。这里的被摄体为病理检体。取代病理检体，例如也可以是厚度为几μm左右且在拍摄中形态不变化的透光性的试样(细胞、进行了剥离的组织等)。也可以使载玻片上下翻转，在摄像元件上表面载置盖玻片32，并在其上载置样本的状态下进行拍摄。在此情况下，在距离L上相加盖玻片32的厚度。为此，也可以再次调整光源的位置(图23)。
接下来，为了获取低分辨率图像，顺序点亮4个光源并进行图像获取。具体而言，定义i＝1(S204)，仅点亮第i个光源(S205)。进行第i个光源的对比度调整(S206)，并获取第i个图像(低分辨率图像)(S207)。
然后，定义i＝i+1(S208)，判断i是否超过了图像获取次数即N＝4次(S209)。直至i超过4次为止，反复执行图像获取。
获取到的第i个低分辨率图像被保存至图像缓冲器。在判断出满足i＞N(S209)的情况下(“是”)，进行图像构成处理。具体而言，如图14所示，将各低分辨率图像的像素的位置错开来合成像素数据以使N张低分辨率图像重合，构成高分辨率图像(S210)。将其作为高分辨率图像输出来送出(S211)。高分辨率图像可被输出至显示器114，或者被送出至外部。
另外，图24是表示利用开口率为1/9的摄像元件获得针对X方向以及Y方向的各个方向放大至3倍的图像时所入射的光线的方向的图。
图21B是表示本实施方式所涉及的图像获取装置的动作的其他示例的流程图。在该示例中，每次均通过计算来算出光源位置。在该流程中，在步骤S301中，通过计算来求出光源照射角度。在步骤S302中，决定光源位置。其后的步骤S205～S210如前所述。
图21C是表示本实施方式所涉及的图像获取装置的动作的进一步的其他示例的流程图。在该示例中，不是通过计算而是通过实验来决定光源位置。
说明在X方向和Y方向上进行角度调整的方法。间距的间隔在X方向和Y方向上不同的情况等下，需要分别执行，但说明仪设为Y方向的情况。无需在X方向和Y方向上重新进行调整的情况下，只是一方的调整即可，利用此处获得的角度即可。
参照图27、图28来进行说明。图27表示例如使光源B点亮并由图像信息获取部122获得的图像。图28表示例如使光源H点亮并由图像信息获取部122获得的图像。这些图像是由透过校正片的相同位置后的光线而获取到的像。
图21C的流程图以求出在Y方向上偏离0.5像素这样的适当照射角度为目的。此时，将某照射角度设为θ、一θ。如果θ为求出的正确的角度，则各自所获得的图像例如图27、图28所示的偏离一个像素的图像那样。另一方面，在θ不正确的情况下，获得偏离一个像素以下或一个像素以上的图像。针对这些情况，通过抛物线拟合(parabola fitting)法、SSD(Sumof Squared Difference，平方差和)等的任意方法来进行子像素匹配(subpixelmatching)，重新求出适当的θ。通过反复执行该动作，在任意的容许范围内以二个图像的偏离一个像素合适的时间点决定角度。
θ如果为即便是上次拍摄所用的角度或者根据简单计算等求出的估计值也认为适当的初始值，则可以为任何值。
(第二实施方式)
参照图25～图29来说明本公开的摄像装置的第2实施方式。在本实施方式中，如图25以及图26所示，使光源的数目从4个增加到9个。在其他点，具备与第一实施方式中的图像获取装置的构成相同的构成。
光源位置决定部123使9个光源A、B、C、D、E、F、G、H、I依次点亮，每次均进行拍摄。通过合成如此获得的9张图像，从而能够获得被放大至2倍的精度良好的高分辨率图像。
获取前述的图27的图像和图28的图像，将两者进行比较，决定光源位置使得成为偏移了像素间距的状态，来进行照明装置111中的光源位置的调整。关于其他光源，能够同样地进行位置的调整。
接下来，参照图29来说明提高精度的处理。在本实施方式中，在该处理之后，能够利用被拍摄到的9张图像来获得被放大至2倍的高分辨率图像(像素数为4倍)。
图29是示意性地表示被配置在摄像元件上的被摄体中的一部分的区域和位于该区域下方的摄像面的一部分的配置关系的俯视图。在图29中示出4个光电二极管(PD)40a、40b、40c、40d。被摄体的图示出的区域被划分为3行3列的9个区域(1，1)、(1，2)、(1，3)、(2，1)、(2，2)、(2，3)、(3，1)、(3，2)、(3，3)。对于j行k列的区域赋予(j，k)的参照符号。在该示例中，4个区域整体上对应于1个像素的大小，通过与对于第1实施方式说明过的方法相同的方法，最终可实现4倍的高分辨率化。
在以从图25所示的光源A射出的倾斜的光来照射被摄体时，透过了被摄体的中央的区域(2，2)的光入射至光电二极管40d。在以从光源I射出的倾斜的光来照射被摄体时，透过了区域(2，2)的光入射至光电二极管40a。在以从光源C射出的倾斜的光来照射被摄体时，透过了区域(2，2)的光入射至光电二极管40c。在以从光源G射出的倾斜的光来照射被摄体时，透过了区域(2，2)的光入射至光电二极管40b。另一方面，例如在以从光源E射出的光来照射被摄体时，由于该光与摄像面垂直地前进，因此透过了区域(2，2)之后入射至其正下方。即，透过了区域(2，2)的光不会入射至任何光电二极管。同样地，从光源B、D、F、H射出的光也在透过了区域(2，2)之后不入射至光电二极管。
使9个光源A、B、C、D、E、F、G、H、I依次点亮，将每次均进行拍摄所获得的9张图像分别记为图像PA、PB、PC、PD、PE、PF、PG、PH、PI。在这些图像PA～PI之中的4张图像PA、PC、PG、PI的各个图像中，存在具有反映了区域(2，2)的透过率的像素值的一个像素。如果对这些对应的4个像素值进行平均，则关于区域(2，2)的透过率，可获得精度更高的信息。
在图29中，针对中央的区域(2，2)，绘制了从4个光电二极管(PD)40a、40b、40c、40d延伸出的4条粗的箭头。这意味着：能够基于4个光电二极管(PD)40a、40b、40c、40d的输出来决定区域(2，2)的像素值。例如，如果将4个光电二极管(PD)40a、40b、40c、40d的输出(根据4张图像PA、PC、PG、PI来获得)全部相加，并除以4，则可获得被平均化后的像素值。其中，无需为了决定区域(2，2)的像素值而利用4个光电二极管(PD)40a、40b、40c、40d的所有输出。
接下来，说明被摄体的其他区域的像素值的获取。首先，说明区域(1，2)、(3，2)。
在以从光源D射出的光来照明被摄体时，通过了区域(1，2)、(3，2)的光分别入射至光电二极管40b、40d。通过此时的拍摄所获得的图像为图像PD。此外，在以从光源F射出的光来照明被摄体时，通过了区域(1，2)、(3，2)的光分别入射至光电二极管40a、40c。通过此时的拍摄所获得的图像为图像PF。这样，在2张图像中存在具有反映了区域(1，2)、(3，2)各自的透过率的像素值的像素。如果对这些对应的像素值进行平均化，则关于区域(1，2)、(3，2)各自的透过率，可获得精度高的信息。
在图29中，例如针对区域(1，2)，绘制了从2个光电二极管(PD)40a、40b延伸的2条箭头。这意味着：能够基于2个光电二极管(PD)40a、40b的输出来决定区域(1，2)的像素值。如果将2个光电二极管(PD)40a、40b的输出相加，并除以2，则可获得被平均化后的像素值。关于区域(3，2)也同样。
接下来，说明区域(2，1)、(2，3)。基本上，光的方向不同，但针对区域(1，2)、(3，2)进行的说明成立。
在以从光源B射出的光来照明被摄体时，通过了区域(2，1)、(2，3)的光分别入射至光电二极管40c、40d。此外，在以从光源H射出的光来照明被摄体时，通过了区域(2，1)、(2，3)的光分别入射至光电二极管40a、40b。在2张图像PB、PH中存在具有反映了区域(2，1)、(2，3)各自的透过率的像素值的像素。如果对这些对应的像素值进行平均化，则关于区域(1，2)、(3，2)各自的透过率，可获得精度高的信息。
本公开的图像获取装置也可以具备包含使被摄体以及摄像元件一体地倾斜的倾斜机构的照明系统。在此情况下，即便光源的位置被固定，也能通过倾斜机构使被摄体以及摄像元件旋转来使以被摄体为基准时的光源方向发生变化。根据这种照明系统，能够使被摄体以及摄像元件一体地倾斜，并以被摄体为基准而从多个不同的光源方向依次射出照明光。
(改变例)
图30示意性地表示具备以能装卸的方式保持被摄体以及摄像元件(以下称作“摄像对象”)140的保持装置的改变例的构成。摄像对象140可以为被摄体和摄像元件被一体化的“切片”。在该示例中，“照明角度调整部”具有使摄像对象140的姿势发生变化的机构。该机构包含能够在正交的铅垂面内使被摄体的朝向旋转的两个角度机构120。角度机构120的角度中心150位于摄像对象140中的被摄体的中央部。在该改变例中，由于角度机构120能够使照明光的照射方向发生变化，因此光源10P也可以被固定。在该改变例中，光源10P被构成为发出平行光。另外，如图31所示，该改变例的图像获取装置也可以具有多个平行光光源10P。
在此，在固定光源10P且使摄影对象140移动的情况下，与固定摄影对象140且使光源10P移动的情况相比，摄影时间变短，在该点上优选。这是由于摄影对象140和光源10P的距离L1与构成摄影对象140的被摄体和摄像元件的距离L2相比非常大，因此需要与之成比例地大幅移动光源10P。摄影时间变短，从而即便是来自被摄体以秒为单位地随时间变化的例如生物试样的发光，也能够获取适当的图像。
图32示出使被摄体的姿势发生变化的机构具备角度机构120和旋转机构122的改变例的构成。通过组合角度机构120所执行的铅垂面内的摄像对象140的旋转、和旋转机构122所执行的绕着铅垂轴的摄像对象140的旋转，从而能够从任意的照射方向向摄像对象140入射照明光。点150位于角度中心以及旋转中心。另外，如图33所示，该改变例的图像获取装置也可以具有多个平行光光源10P。
图34示出提升从光源辐射的光的平行度而使平行光入射至被摄体的光学系统的一例。在该示例中，对从光源射出的发散光进行校准的透镜130被搭载于XY移动机构(移动台)124。摄像对象140与移动台124一起在水平面内的X轴以及/或者Y轴的方向上移动任意距离。
图35示出针对在水平面内的希望的方向上移动了希望的距离的摄像对象140倾斜地入射照明光的样态。即便光源10a的位置被固定，也能通过调整摄像对象140的位置来控制照明光的照射方向。另外，如图36所示，该改变例的图像获取装置也可以具有多个光源。如此，在具有多个光源10a、10b、10c时，也可以不具备使摄像对象140移动的机构，如图37所示，也可以具备XY移动机构(移动台)124。如图38、图39以及图40所示，通过使所点亮的光源10a、10b、10c的位置以及摄像对象140的位置当中的一者或两者发生变化，从而能够以希望的入射角度将照明光入射至摄像对象140。
图41示意性地表示两个角度机构120支承平行光光源10P的改变例的构成。图42示意性地表示角度机构120以及旋转机构122支承平行光光源10P的改变例的构成。
在这些改变例中，或者使用发出平行光的光源，或者使用提高光源所发出的光的平行度的光学系统。但是，本公开的实施方式并不限定于这些示例。如前所述，在光源和被摄体的间隔足够大时，实质上可以说成平行的光会入射至被摄体。
此外，在利用向被摄体照射光且姿势以及位置被固定的光源的情况下，如果存在使被摄体倾斜为多个倾斜角度的倾斜机构，则能够通过倾斜机构使得配置在透过了被摄体的光所入射的位置处的摄像元件和被摄体一体地倾斜，根据多个倾斜角度来获取多个图像。
根据本公开的例示的形态，检体管理装置具备标本像获取装置和信息处理装置。标本像获取装置具有：放置病理标本的标本支承部、和被构成为以多个分辨率(倍率)之中的被指定的一个分辨率(倍率)来获取病理标本的图像的摄像元件。信息处理装置被构成为，求出由标本像获取装置获取到的图像的特征量，并基于该特征量将病理标本的患者信息输出至显示装置。更详细而言，信息处理装置参照根据患者的标本图像算出的特征量和患者信息被建立了对应的数据库，来搜索与该图像的特征量一致的患者信息。并且，在数据库中包含与图像的特征量一致的多个患者信息的情况下，获取具有比该图像的分辨率高的分辨率的高分辨率图像，此外，参照数据库来搜索与高分辨率图像的特征量一致的患者信息。在此，患者信息例如包含患者的姓名、病名、观察结果、其他检查的信息、临床信息当中的至少一个。
本公开的检体管理装置可使用的标本像获取装置能够从被放置于标本支承部的病理标本以不同的分辨率(倍率)来获取多个图像。这样的标本像获取装置的一例是被构成为以照明光照射被配置在摄像元件即图像传感器上的较薄的病理标本，并基于透过了病理标本的光来获取数字图像的装置。根据这种装置，在摄像元件与病理标本之间无需配置用于成像的物镜，能够在摄像元件和病理标本靠近的状态下获取多个图像。其结果，能够基于摄像元件所具备的微细像素的排列来获取具有如同显微镜的分辨率的图像。所获取的图像的分辨率的变更，既能够通过摄像元件中的分档处理(binning processing)来进行，也可以如针对后述的实施方式所详细说明的那样，改变入射至病理标本的照明光的方向来获得多个低分辨率图像并通过图像处理进行高分辨率化。
信息处理装置也可以是安装有本公开的程序的通用计算机。这样的信息处理装置的典型例具备处理器和存储器，根据存储器所保存的程序的命令来动作。其结果，具备处理器和存储器的装置整体上可作为具备后述的各功能块的装置来发挥功能。本公开中的信息处理装置所具备的各功能块可以通过专用的硬件或者硬件以及软件的组合来实现。
根据患者的标本图像算出的特征量和患者信息被建立了对应的数据库，既可以设置在信息处理装置所具备的存储装置中，也可以设置在经由数字网络可与信息处理装置连接的数据存储空间或者数据服务器中。作为图像的特征量，可选择公知的各种特征量，患者信息的搜索可通过公知的匹配技术来实现。
以下，参照附图来说明本公开的第三实施方式。
(第三实施方式)
图43是表示本实施方式中的检体管理装置的整体的构成例的图。
图示的检体管理装置具备标本像获取装置1110和信息处理装置1230。如图44所示，标本像获取装置1110具有：放置病理标本1030的标本支承部1100、和以多个分辨率(倍率)之中的被指定的一个分辨率(倍率)来获取病理标本1030的图像的摄像元件1220。作为摄像元件1220，可采用多个光电变换部在摄像面内被排列为行以及列状的二维图像传感器。光电变换部典型的是形成于半导体层或者半导体基板的光电二极管，接受入射光来生成电荷。二维图像传感器的分辨率依赖于摄像面上的光电变换部的排列间距或者排列密度。各个光电变换部的排列间距短至可见光的波长左右。摄像元件1220的典型例是CCD(Charge Coupled Device，电荷耦合器件)图像传感器或者MOS(Metal OxideSemiconductor，金属氧化物半导体)型图像传感器。
信息处理装置1230被构成为：求出由标本像获取装置1110获取到的图像的特征量，并基于该特征量将病理标本1030的患者信息输出至输出装置1170。更详细而言，信息处理装置1230参照根据患者的标本图像算出的特征量和患者信息被建立了对应的数据库，来搜索与病理标本1030的图像的特征量一致的患者信息。
信息处理装置1230与输入装置1160以及输出装置1170连接。输入装置1160是用户向信息处理装置1230输入数据或者输入命令的装置。输入装置1160可为键盘、鼠标、触摸屏等。输出装置1170可为能显示图像以及文字的显示器、打印机、扬声器等。输入装置1160以及输出装置1170也可以是触摸屏和显示装置被一体化的装置。
在数据库中包含与图像的特征量一致的一个患者信息的情况下，信息处理装置1230将该患者信息输出至输出装置1170。此外，在数据库中包含与图像的特征量一致的多个患者信息的情况下，信息处理装置1230在获取具有比该图像的分辨率高的分辨率的高分辨率图像的基础上，参照数据库来搜索与高分辨率图像的特征量一致的患者信息。进而，在数据库中不含与图像的特征量一致的一个患者信息的情况下，信息处理装置1230从输入装置1160接受患者信息的输入，将根据图像算出的特征量和患者信息建立对应后保存至所述数据库。此时，标本像获取装置1110获取具有比最初获取到的图像的分辨率高的分辨率的高分辨率图像，信息处理装置1230将根据获取到的各图像算出的特征量和患者信息建立对应后保存至数据库。
图45是本公开的第三实施方式中的检体管理装置的框图。如图45所示，本实施方式中的检体管理装置具备：标本支承部1100、标本像获取装置1110、图像特征量算出部1120、信息搜索部1130、患者信息数据库(以下仅称作“数据库”)1140、倍率变更部1150、输入装置1160和输出装置1170。
要获取或者更新患者信息的病理标本1030被放置在标本支承部1100上。病理标本1030例如可为病理检查所使用的一般的载片。
标本像获取装置1110以预先规定的多个不同的倍率之中的一个倍率来取入被放置在标本支承部1100上的病理标本1030的图像。图像特征量算出部1120根据由标本像获取装置1110获取到的标本像来算出图像特征量。信息搜索部1130从患者信息和图像特征量被建立对应地蓄积的数据库1140中，搜索是否存在与由图像特征量算出部1120算出的图像特征量一致的患者信息。在由信息搜索部1130获取到的搜索结果存在多个的情况下，倍率变更部1150将获取的倍率变更为高的倍率(高的分辨率)，由标本像获取装置1110再次进行图像的取入，并进行高的倍率下的标本的搜索。
在未能由信息搜索部1130获取图像特征量一致的患者信息的情况下，输入装置1160作为新患者的标本而接受患者信息的输入。在由信息搜索部1130获取到图像特征量一致的患者信息的情况下，输出装置1170输出获取到的患者信息。
以下，进一步详细说明本公开的实施方式中的各部的动作以及构成。
<检体管理装置的动作>
首先，参照图46。图46是表示检体管理的过程的流程图。
在步骤S10中，将想要参照或者更新患者信息的标本放置在标本支承部1100上。如图44所示，标本支承部1100可具有正好收纳病理标本1030的大小的凹部。根据这样的标本支承部1100，能够抑制在取入图像时产生标本1030的位置偏离。在日本，一般使用的是按标准规定的76mm×26mm的尺寸的病理标本。标本支承部1100具有可安放这种大小的病理标本1030的形状。
再次参照图46。在步骤S11中，通过标本像获取装置1110利用预先规定的多个不同的倍率之中的一个倍率来获取病理标本1030的图像。图47是表示标本像获取装置1110的构成例的框图。标本像获取装置1110具有：照明方向调整部1200、照明装置1210和摄像元件1220。以由信息处理装置1230指定的任意倍率来获取标本的像(例如整体像)。
在获取不同的倍率的图像时，能够利用逆矩阵计算部1240以及矩阵保存部1250来进行高分辨率化。逆矩阵计算部1240以及矩阵保存部1250可以如图47所例示的那样被设置在信息处理装置1230内，但也可以将逆矩阵计算部1240以及矩阵保存部1250当中的一者或者两者设置在标本像获取装置1110的内部。关于逆矩阵计算部1240以及矩阵保存部1250的动作的详细将在后面叙述。
接下来，参照图48来说明本实施方式中的图像获取的处理过程的示例。
首先，在步骤S110中，由照明方向调整部1200来调整向标本1030照射的平行光照明的角度。作为调整照明方向的方法，既可以如图49A所示那样设置多个光源使得能够以预先规定的角度来照射光，也可以如图49B所示那样使一个光源移动至被指定的角度。
在步骤S111中，通过照明装置1210以在步骤S110中被调整后的角度向摄影对象的标本照射平行光。在图50A以及图50B中示出照明方向的变化的示例。如图51所示，标本1030和摄像元件1220具有二维的配置关系。在图50A以及图50B中，为了简便，示意性地表示包含一个光电二极管(PD)的1个像素区域的剖面。入射至光电二极管PD的光通过光电变换而被变换为电信号。在图50A以及图50B中，箭头的粗细表示入射至PD的光的量，越是粗的箭头则表示越多的光入射。
在图50A的示例中，从正上方照射平行光。在此情况下，在光电二极管PD中入射的是透过了标本1030中的区域S2、S3的光。另一方面，在从图50B的角度照射平行光的情况下，透过了标本1030中的区域S2、S3、S4的光入射至光电二极管PD。具体而言，透过了标本1030中的区域S2以及S4的各个区域的光的一半入射至光电二极管PD，透过了区域S3的光的大致全部入射至光电二极管PD。在此情况下，与图50A的情况不同的像素值从光电二极管PD输出。
在图50A以及图50B的示例中，在以一个照射方向进行了拍摄所得的图像中，无法求出区域S1、S2、S3、S4各自的像素值。在本实施方式之中的标本像获取装置中，如图50A以及图50B所示，能够根据以变更了照射方向的状态进行拍摄所得的多个图像来求出与透过了区域S1、S2、S3、S4各个区域的光对应的像素值。这些区域S1、S2、S3、S4是比一个像素的大小要小的区域，相当于子像素区域。以下，更详细地说明该点。
在此，选取从4个不同的方向1、2、3、4向标本1030照射光的情况为例。在从不同的方向1、2、3、4照射出光的状态下，获取4张图像。关注构成4张图像的像素之中的存在于同一位置的一个像素。将该关注的像素中所含的光电二极管PD的输出，针对光照射的方向1、2、3、4而分别设为A1、A2、A3、A4。此外，将标本1030中的区域S1、S2、S3、S4的光透过率分别设为S1、S2、S3、S4。在此情况下，在图50A所示的示例中，A1＝0×S1+1×S2+1×S3+0×S4的式子成立。此外，在图50B所示的示例中，A2＝0×S1+(1/2)×S2+1×S3+(1/2)×S4的式子成立。假设在未图示的光照射的方向3的示例中，A3＝0×S1+0×S2+(1/2)S3+1×S4成立，在未图示的光照射的方向4的示例中，A4＝(1/2)×S1+1×S2+(1/2)S3+0×S4成立。
在以上的示例中，透过率S1、S2、S3、S4依赖于标本1030的组织构造，是未知的。通过获取4张图像而可获得光电二极管PD的输出A1、A2、A3、A4。因此，由于关于4个未知数S1、S2、S3、S4的联立方程式确定，因此能够通过运算来求出S1、S2、S3、S4。
图52A表示上述的示例中的联立方程式的系数的矩阵。对输出A1、A2、A3、A4的向量运算该矩阵的逆矩阵，从而能够求出比1个像素窄的区域(子像素区域)S1、S2、S3、S4的光透过率。其结果，能够获得具有4倍的分辨率的图像。换言之，能够获得摄像元件1220中的像素密度为4倍的像素密度的高分辨率图像。
图52A所示的矩阵的数值不依赖于标本1030的组织构造，而依赖于摄像元件1220的构造以及光照射的方向。即便是相同的摄像元件1220，若光照射的方向改变，则矩阵的数值也变化。图52B表示从不同的方向1～8照射光的情况下的矩阵的数值例。在该示例中，由于子像素区域的个数为8，因此至少从不同的方向1～8向标本1030照射光，如果关于各像素而获得8个输出，则能够决定作为未知数的8个子像素区域的光透过率。其结果，能够获得具有8倍的分辨率的图像。换言之，能够获得摄像元件1220中的像素密度为8倍的像素密度的高分辨率图像。
根据本实施方式，如此实现了图像的高分辨率。换言之，通过改变照明方向来进行拍摄，从而作为标本图像能够获得分辨率(放大倍率)不同的图像，无需利用物镜的焦点对准。
在步骤S112中，由摄像元件1220来拍摄标本1030。在一般的扫描仪等装置中，大多采用的是行传感器(line sensor)，但作为摄像元件1220，通过采用CCD图像传感器等区域传感器，从而能够快速地拍摄识别标本所需的宽范围的图像。此外，在本实施方式之中的标本像获取装置1110中，不具有用于控制摄影倍率的透镜，根据变更了照射方向的多个图像来生成任意倍率的图像。
在步骤S113中，判定为了生成被指定的倍率的标本像而需要的图像是否全部齐备。在齐备的情况下，进入步骤S114，在不齐备的情况下，返回至步骤S110，取入以需要的角度照射所得的图像。
在步骤S114中，通过信息处理装置1230根据在步骤S110～步骤S113中拍摄到的照射方向不同的多个图像来生成指定倍率的图像。为了生成指定倍率的图像，预先将算出了照射方向和入射至光电二极管PD的光的量的关系的矩阵保存在矩阵保存部1250中。图52A以及图52B示出表示照明方向和入射至传感器的光的关系的矩阵的示例。这样的矩阵可以根据照射角度和光电二极管PD的大小、要求出的像素的大小并通过计算来求出。此外，也可以利用预先已知像素值的测试标本，根据角度来计测哪个像素的光以何种程度入射至光电二极管PD，由此实验性地算出。
如果将该表示照射方向和入射至摄像元件的光的关系的矩阵设为M，将通过各照射方向所获得的像素值向量设为A，将想要求出的像素值的向量设为S，则关于各像素，MS＝A的关系成立。在此，由于矩阵M、A的值已知，因此能够通过逆矩阵计算来求出S的值。在步骤S114中，从矩阵保存部1250中获取表示照明方向和入射至光电二极管PD的光的关系的矩阵，通过逆矩阵计算部1240来算出各像素值。通过利用以上构成的标本像获取装置1110，以任意的倍率来拍摄标本的整体像。
在步骤S12(图46)中，由图像特征算出部1120根据在步骤S11中获取到的标本图像来算出用于识别检体的图像特征量。作为图像特征量，采用平均亮度等颜色信息、圆形度等形状特征、SIFT、HOG、HLAC等特征。此外，作为病理图像特有的特征量，能够采用核·细胞间的距离、核·细胞的颜色的比率等的特征。
在图53以及图54中示出病理图像的示例。图53是以高倍率(例如200倍以上的倍率)进行了观察时的病理标本的示例，图54是以低倍率(例如低于10倍的倍率)进行了观察时的病理标本的示例。倍率变为N倍(N设为1以上的整数)，相当于图像的分辨率(构成1个图像的像素数或像素密度)增加到N×N倍。另外，显示装置的显示画面上的倍率由显示装置的画面间距相对于摄像元件中的像素间距的比率来规定。
在病理标本中，在如图53所示那样以高的倍率进行了观察的情况下，能辨别出细胞、核。由于因标本的不同而细胞·核间的配置、距离也不同，因此细胞·核间的平均距离等能够作为用于识别标本的特征来使用。此外，由于病理标本中的观察对象的组织本身为透明的，因此一般进行染色以易于观察。作为染色的种类，存在基本染色方法的HE染色、适应特定的检查目的来进行染色的各种免疫染色。通过这种染色而染成不同颜色的细胞·核的比率也能作为特征来使用。例如，在作为免疫染色之一的Ki-67中，增殖细胞被染色为红褐色，除此之外的细胞被染色为蓝色。这样的比率成为用于诊断的指标，但作为病理标本的识别信息也是有用的。此外，在本步骤中，也可以根据病理标本图像的倍率来变更重视的图像特征量。在病理标本的情况下，有图像特征根据观察的倍率而差异较大的特征。在如图53那样以高的倍率进行了观察的情况下，成为能够辨别细胞、核的图像，在低倍率下如图54那样却成为捕捉到病理切片的整体形状的图像。考虑这样的特征，在低倍率的图像中，能够以圆形度、SIFT(Scale-Invariant Feature Transform)、HOG(Histogram of OrientedGradient)、HLAC(Higher-order Local AutoCorrelation)等一般的适于形状识别的特征量为中心来使用。此外，在高倍率的图像中，能够以细胞·核的距离、被染色的颜色的比率这样的病理标本特有的特征为中心来使用。具体而言，也可以在图像的分辨率低于基准值时，算出并获取圆形度、SIFT、HOG、HLAC当中的至少一个以上的特征量，在图像的分辨率为基准值以上时，除了特征量之外，还算出细胞或者核间的平均距离以及/或者通过染色被染成不同颜色的比率。
在步骤S13中，通过信息搜索部1130从数据库1140中获取与在步骤S12中算出的图像特征量一致的患者数据。在图55中示出数据库的示例。数据库存储根据病理标本图像算出的图像特征量、算出了图像特征量的标本图像的摄影倍率、以及患者信息被建立了对应的患者数据。通过预先以这种形式来保持患者信息，能够从数据库中搜索具有与在步骤S12中算出的图像特征量一致的图像特征量的患者数据。搜索的一致条件可以设为图像特征量完全一致。此外，在例如以向量来表现图像特征量的情况下，可以视作与向量间的欧氏距离为预先规定的阈值以下的情况一致的图像。除此之外，数据库的构成也可以为图56所示那样的形式。在图56的形式中，通过赋予与患者相应的ID，由此将同一患者的不同染色的检查建立关联后保存。在当前的病理检查(组织诊察)中，大多是除了基本染色的HE(hematoxylyne-eosine)染色之外，还执行用于进行特定目的的检查的免疫染色。这样的同一患者的不同染色的标本如图57所示的例子那样，大多是虽然颜色完全不同但标本的形状大体相同。这是由于在根据同一患者来创建多个染色的标本的情况下，大多以连续的切片来制作。如果利用这种病理标本的性质，则在本公开中，由于将检体的标本像作为图像来获取，因此通过比较所获取到的图像的形状特征量，从而可以自动地将同一患者的不同染色的标本建立关联。
在步骤S14中，根据步骤S13的搜索的结果来判定在数据库1140中是否存在具有与在步骤S12中算出的图像特征量相同的图像特征量的患者数据。不存在具有同一图像特征量的患者数据的情况下，进入步骤S15，存在具有同一图像特征量的患者数据的情况下，进入步骤S17。
在步骤S15中，由输入装置1160来求出与在步骤S10中被放置的病理标本对应的患者信息的记入。在步骤S16中，将在步骤S15中被输入的患者信息与在步骤S11中获取到的标本像的倍率以及在步骤S12中算出的图像特征量建立关联后保存至数据库1140。
在步骤S17中，根据步骤S13的搜索的结果来判定在数据库1140中是否存在多个具有与在步骤S12中算出的图像特征量相同的图像特征量的患者信息。在数据库中存在多个图像特征量一致的患者信息而无法确定为一个的情况下，进入步骤S18，仅存在一个图像特征量一致的患者数据的情况下，进入步骤S19。
在步骤S18中，在无法确定患者信息的情况下，对由标本像获取装置获取的倍率进行变更，再次返回至步骤S11。在为病理标本的情况下，具有如下特征：即便在低倍率下形状相似时，如果以高倍率的细胞、核级别来观察，则必然能够识别。另一方面，在步骤S11中取入标本所需的时间与倍率具有权衡的关系。因而，首先以低倍率来尝试识别，在无法辨别的情况下，若提高倍率，则效率良好。具体而言，反复执行步骤S11～步骤S17，并提高摄影倍率，直至患者信息能确定为一个为止。另外，也可以在将新标本的患者信息追加至数据库时，仅利用图像的特征量之中的不依赖于颜色的形状特征，来搜索在数据库中是否不存在一致的病例，存在一致的病例的情况下，作为同一患者的不同染色的标本来建立关联。
在步骤S19中，由输出装置1170来输出在步骤S13中获取到的患者信息。输出装置1170无需具备显示装置或者打印机。输出装置1170也可以是与外部的显示装置或者打印机连接并将信号输出至这些装置或者设备的装置。
根据本实施方式的构成，能够实现病理标本准确且作业者负担轻的检体管理。此外，在本构成的检体管理中，无需对病理载片赋予条形码、IC标签，能够直接使用以往的载片。
(第四实施方式)
接下来，参照图58以及图59来说明本公开的第四实施方式中的检体管理装置。
本实施方式中的标本像获取装置1110通过使被放置于标本支承部的标本1030如图58所示那样移动的同时进行拍摄，由此来拍摄用于生成高倍率的标本图像的多个图像。标本像获取装置1110以外的构成与第三实施方式中的检体管理装置的构成相同。
图59是本实施方式中的标本像获取装置1110的框图。在本实施方式中，取代通过改变平行光的照射方向来获得多个图像，而通过使标本自身移动的同时进行拍摄，由此来获得用于构成高倍率的图像的多个图像。在矩阵保存部1250中，取代保存表现照明方向和入射至摄像元件的光的关系的矩阵，而预先保存表示移动方向、移动距离和入射至摄像元件的光的关系的矩阵。本构成的标本像获取装置1110通过与步骤S110～步骤S114大致相同的处理，能够实现获取任意倍率的图像的功能。其中，在步骤S110中，取代变更平行光的照射角度，而使被放置于标本支承部的标本移动。在本构成中，照射至病理标本的平行光的方向一定为好。步骤S111～步骤S114利用与第三实施方式的处理完全相同的处理，从而能够根据多个低倍率图像来生成高倍率的图像。
根据本公开的图像获取装置，能够在不利用焦点对准花费时间的显微镜的情况下获得高倍率的图像，因此被摄体即便是具有微细组织的病理标本，也能够短时间地获得高倍率的图像数据。
本公开的一形态的图像获取方法包括：以被摄体为基准而从多个不同的光源方向依次射出照明光，以所述照明光来照射所述被摄体的步骤；利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像装置，根据所述不同的光源方向来获取不同的多个图像的步骤；和合成所述多个图像来形成分辨率比所述多个图像的各个图像高的所述被摄体的高分辨率图像的步骤。
此外，本公开的图像获取装置也可以构成为具备上述的照明装置以及摄像元件、和通用的计算机，该计算机利用照明装置以被摄体为基准而从多个不同的光源方向依次射出照明光并以照明光来照射所述被摄体，利用配置在透过了被摄体的所述照明光所入射的位置处的摄像装置并根据所述不同的光源方向来获取不同的多个图像，合成所述多个图像来形成分辨率比所述多个图像的各个图像高的所述被摄体的高分辨率图像。这样的动作可通过记录介质所记录的计算机程序来执行。
产业上的可利用性
本公开所涉及的图像获取装置、图像获取方法以及图像处理程序能够节省焦点调整的工夫，获取高倍率的图像。
符号说明
1 图像获取装置
10 光源
11 摄像处理部
12 图像处理部
13 存储装置
30 被摄体
40 光电二极管
42 遮光膜
44 垂直电荷转移路径
46 水平电荷转移路径
50 像素
60a～60d 低分辨率图像
111 照明
112 被摄体支承部
113 摄像元件
114 显示器
115 输出部
121 照明条件调整部
122 图像信息获取部
123 光源位置决定部
124 图像构成处理部
131 光源位置信息服务器
132 低分辨率图像服务器
300a～300d 低分辨率图像的像素
400 半导体基板
402 布线层
406 透明层
600 高分辨率图像

Claims (26)

1.一种图像获取装置，具备：
照明系统，其以被摄体为基准而从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体；
摄像元件，其被配置在透过了所述被摄体的所述照明光所入射的位置，并根据所述不同的照射方向来获取不同的多个图像；和
图像处理部，其对所述多个图像进行合成来形成分辨率比所述多个图像的各个图像高的所述被摄体的高分辨率图像，
从所述摄像元件的摄像面至所述被摄体为止的距离为100μm以下。
2.根据权利要求1所述的图像获取装置，其中，
所述被摄体被配置为靠近所述摄像元件，
所述被摄体与所述摄像元件以透镜不介于其间的状态来对置。
3.根据权利要求1或2所述的图像获取装置，其中，
所述多个图像分别包含由所述被摄体的不同部分构成的像。
4.根据权利要求1或2所述的图像获取装置，其中，
所述被摄体被固定于所述摄像元件，
所述图像获取装置具备以能装卸的方式保持所述摄像元件的保持装置。
5.根据权利要求1或2所述的图像获取装置，其中，
所述照明系统以从至少四个不同的照射方向射出的照明光来照射所述被摄体，
所述摄像元件分别获取所述被摄体的不同部分的像即至少四个不同的图像，
所述图像处理部对所述至少四个不同的图像进行合成来形成所述被摄体的高分辨率图像。
6.根据权利要求1或2所述的图像获取装置，其中，
所述图像获取装置具备：照明角度调整部，其调整所述照明光入射至所述被摄体的角度，
所述照明角度调整部调整所述照明光相对于所述被摄体的入射角度，使得所述照明系统的从所述不同的照射方向依次射出的所述照明光透过所述被摄体的不同部分而入射至所述摄像元件的光电变换部。
7.根据权利要求6所述的图像获取装置，其中，
所述照明角度调整部具有使所述被摄体的姿势以及位置当中的至少一者发生变化的机构。
8.根据权利要求7所述的图像获取装置，其中，
所述机构包含角度机构以及移动台当中的至少一者。
9.根据权利要求7所述的图像获取装置，其中，
所述机构具有提高所述照明光的平行度的光学系统。
10.根据权利要求7所述的图像获取装置，其中，
所述照明系统具有提高所述照明光的平行度的光学系统。
11.根据权利要求1或2所述的图像获取装置，其中，
所述照明系统能够射出波段不同的光。
12.根据权利要求1或2所述的图像获取装置，其中，
所述照明系统具有依次移动至与所述多个不同的照射方向对应的不同的位置来射出所述照明光的光源。
13.根据权利要求1或2所述的图像获取装置，其中，
所述照明系统具有被配置在与所述多个不同的照射方向对应的不同的位置且依次射出所述照明光的多个光源。
14.一种图像获取方法，包括：
以被摄体为基准而从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体的步骤；
利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像元件，根据所述不同的照射方向来获取不同的多个图像的步骤；和
对所述多个图像进行合成来形成分辨率比所述多个图像的各个图像高的所述被摄体的高分辨率图像的步骤，
从所述摄像元件的摄像面至所述被摄体为止的距离为100μm以下。
15.一种图像获取装置，具备照明装置、摄像元件和计算机，
所述计算机利用所述照明装置，以被摄体为基准而从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体，
所述计算机利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像元件，根据所述不同的照射方向来获取不同的多个图像，
所述计算机对所述多个图像进行合成来形成分辨率比所述多个图像的各个图像高的所述被摄体的高分辨率图像，
从所述摄像元件的摄像面至所述被摄体为止的距离为100μm以下。
16.一种计算机可读取的记录介质，记录有程序，是具备照明装置、摄像元件和计算机的图像获取装置用的程序，该程序被构成为：
利用所述照明装置，以被摄体为基准而从多个不同的照射方向依次射出照明光，以所述照明光来照射所述被摄体，
利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像元件，根据所述不同的照射方向来获取不同的多个图像，
对所述多个图像进行合成来形成分辨率比所述多个图像的各个图像高的所述被摄体的高分辨率图像。
17.一种图像获取装置，具备：
光源，其向被摄体照射光且姿势以及位置被固定；
倾斜机构，其使所述被摄体倾斜为多个倾斜角度；
摄像元件，其被配置在透过了所述被摄体的所述光所入射的位置，并且通过所述倾斜机构而与所述被摄体一体地倾斜，根据所述多个倾斜角度来获取多个图像；和
图像处理部，其对所述多个图像进行合成来形成分辨率比所述多个图像的各个图像高的所述被摄体的高分辨率图像。
18.根据权利要求17所述的图像获取装置，其中，
所述被摄体被配置为靠近所述摄像元件，
所述被摄体与所述摄像元件以透镜不介于其间的状态来对置，
从所述摄像元件的摄像面至所述被摄体为止的距离为10mm以下。
19.根据权利要求18所述的图像获取装置，其中，
从所述摄像元件的摄像面至所述被摄体为止的距离为100μm以下。
20.根据权利要求17～19中任一项所述的图像获取装置，其中，
所述多个图像分别包含由所述被摄体的不同部分构成的像。
21.根据权利要求17～19中任一项所述的图像获取装置，其中，
所述被摄体被固定于所述摄像元件，
所述图像获取装置具备以能装卸的方式保持所述摄像元件的保持装置。
22.根据权利要求17～19中任一项所述的图像获取装置，其中，
所述倾斜机构包含角度机构或者移动台的至少一者。
23.根据权利要求17～19中任一项所述的图像获取装置，其中，
所述倾斜机构具有提高所述光的平行度的光学系统。
24.根据权利要求17～19中任一项所述的图像获取装置，其中，
所述光源具有提高所述光的平行度的光学系统。
25.一种图像获取方法，包括：
使被摄体倾斜为多个倾斜角度，并且从被固定的光源向所述被摄体照射照明光的步骤；
利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像元件，根据所述多个倾斜角度来获取多个图像的步骤；和
对所述多个图像进行合成来形成分辨率比所述多个图像的各个图像高的所述被摄体的高分辨率图像的步骤。
26.一种计算机可读取的记录介质，记录有程序，使计算机执行以下步骤：
使被摄体倾斜为多个倾斜角度，并且从被固定的光源向所述被摄体照射照明光的步骤；
利用被配置在透过了所述被摄体的所述照明光所入射的位置处的摄像元件，根据不同的照射方向来获取不同的多个图像的步骤；和
对所述多个图像进行合成来形成分辨率比所述多个图像的各个图像高的所述被摄体的高分辨率图像的步骤。
CN201480031560.1A 2013-06-06 2014-06-05 图像获取装置、图像获取方法以及记录介质 Active CN105308949B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013-119692 2013-06-06
JP2013119692 2013-06-06
JP2013121123 2013-06-07
JP2013-121123 2013-06-07
PCT/JP2014/002987 WO2014196203A1 (ja) 2013-06-06 2014-06-05 画像取得装置、画像取得方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN105308949A CN105308949A (zh) 2016-02-03
CN105308949B true CN105308949B (zh) 2018-11-09

Family

ID=52007860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480031560.1A Active CN105308949B (zh) 2013-06-06 2014-06-05 图像获取装置、图像获取方法以及记录介质

Country Status (5)

Country Link
US (1) US9426363B2 (zh)
EP (1) EP3007428A4 (zh)
JP (2) JP5789766B2 (zh)
CN (1) CN105308949B (zh)
WO (1) WO2014196203A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6627083B2 (ja) * 2014-08-22 2020-01-08 パナソニックＩｐマネジメント株式会社 画像取得装置および画像形成システム
EP3225975A4 (en) * 2014-11-27 2017-11-29 Panasonic Intellectual Property Management Co., Ltd. Image acquisition device, image formation system, and image formation method
US11308601B2 (en) * 2015-04-29 2022-04-19 Emhart Glass S.A. Container inspection system with individual light control
JP6268563B2 (ja) * 2015-08-28 2018-01-31 パナソニックＩｐマネジメント株式会社 撮像装置、及び固体撮像装置
AT518019A1 (de) * 2015-12-01 2017-06-15 Bernecker + Rainer Industrie-Elektronik Ges M B H Beleuchtung für industrielle Bildverarbeitung
CA2925791C (en) * 2016-03-31 2017-09-12 Cae Inc Image generator for suppressing a gap between two adjacent reflective surfaces
CN106060506B (zh) * 2016-05-19 2018-03-13 深圳市金立通信设备有限公司 一种图像处理方法及终端
JP6698451B2 (ja) * 2016-07-11 2020-05-27 オリンパス株式会社 観察装置
JP6817566B2 (ja) * 2016-07-22 2021-01-20 パナソニックＩｐマネジメント株式会社 画像生成装置及び画像生成方法
CN107645625B (zh) * 2016-07-22 2020-10-09 松下知识产权经营株式会社 图像生成装置以及图像生成方法
JP6739060B2 (ja) 2017-01-24 2020-08-12 パナソニックＩｐマネジメント株式会社 画像生成装置及び画像生成方法
JP7026333B2 (ja) 2017-03-01 2022-02-28 パナソニックＩｐマネジメント株式会社 画像生成装置及び画像生成方法
CN107734272B (zh) * 2017-09-30 2020-02-11 京东方科技集团股份有限公司 掩模板检测设备、掩模板检测方法以及相应的光源控制方法
KR102472924B1 (ko) * 2017-12-07 2022-12-01 삼성전기주식회사 촬상 광학계
KR102486426B1 (ko) 2018-02-23 2023-01-09 엘지이노텍 주식회사 카메라 모듈
JP7213466B2 (ja) * 2019-03-28 2023-01-27 パナソニックＩｐマネジメント株式会社 カメラシステム、搭乗者監視システム、移動装置、撮像方法及びプログラム
JP6708862B1 (ja) * 2019-12-09 2020-06-10 株式会社 アルステクネ 画像処理方法、プログラム、及び画像処理装置
US11950000B2 (en) * 2022-09-07 2024-04-02 Microsoft Technology Licensing, Llc Resolution enhancement in spatial-frequency space
CN119027412B (zh) * 2024-10-24 2025-01-28 山东龙拓新材料有限公司 基于图像识别的塑料母粒检测系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316434A (ja) * 1992-05-12 1993-11-26 Olympus Optical Co Ltd 高分解能撮像装置
US5453617A (en) * 1993-06-21 1995-09-26 Hitachi, Ltd. Electron microscope for specimen composition and strain analysis and observation method thereof
CN1212104A (zh) * 1996-12-26 1999-03-24 索尼公司 高分辨率图像捕获装置及其方法
CN1254261A (zh) * 1997-04-01 2000-05-24 约翰斯霍普金斯大学 以高分辨率和大视野对眼底半自动成象用的系统
CN101447018A (zh) * 2007-11-27 2009-06-03 索尼株式会社 摄像设备及其方法
CN101461249A (zh) * 2006-06-05 2009-06-17 符号技术有限公司 用于在扩展观看范围内投影观看的图像的设备和方法
CN102256057A (zh) * 2010-05-19 2011-11-23 索尼公司 信息处理装置、方法及程序，以及摄像设备
CN102449659A (zh) * 2009-05-29 2012-05-09 毫微光电子影像公司 利用已知背景的独特数字成像方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62137037A (ja) 1985-12-11 1987-06-19 株式会社東芝 Ｘ線撮影装置
JPH052033A (ja) 1990-11-15 1993-01-08 Fujitsu Ltd 電流センサ及びその検出電流範囲の設定方法
JPH1132256A (ja) * 1997-07-09 1999-02-02 Sony Corp 撮像装置
JP2000295639A (ja) * 1999-04-08 2000-10-20 Nikon Corp 固体撮像素子検査用照明装置及びそれに用いる調整工具
JP2003319146A (ja) * 2002-04-22 2003-11-07 Pentax Corp フィルムスキャナ
JP3975133B2 (ja) 2002-08-26 2007-09-12 株式会社エスアールエル タグ書込装置
US6895076B2 (en) * 2003-06-03 2005-05-17 Ge Medical Systems Global Technology Company, Llc Methods and apparatus for multiple image acquisition on a digital detector
JP4172416B2 (ja) * 2004-04-22 2008-10-29 国立大学法人東京工業大学 超解像処理に適するサブピクセルモーション画像を撮影するための移動決定方法及びそれを用いた撮像装置、並びに移動方向の評価方法
WO2008137746A1 (en) * 2007-05-04 2008-11-13 Aperio Technologies, Inc. Rapid microscope scanner for volume image acquisition
JP2009129364A (ja) * 2007-11-27 2009-06-11 Sony Corp 撮像装置およびその方法
JP5497386B2 (ja) * 2009-09-11 2014-05-21 浜松ホトニクス株式会社 画像取得装置
JP5311664B2 (ja) 2009-09-30 2013-10-09 富士フイルム株式会社 検体管理システム、検体管理方法、検体管理プログラム
EP2550522B1 (en) * 2010-03-23 2016-11-02 California Institute of Technology Super resolution optofluidic microscopes for 2d and 3d imaging
US20120092480A1 (en) * 2010-05-28 2012-04-19 Putman Matthew C Unique digital imaging method employing known background
JP5738564B2 (ja) * 2010-09-30 2015-06-24 オリンパス株式会社 画像処理システム
JP2012185384A (ja) * 2011-03-07 2012-09-27 Nikon Corp 撮像装置
US8866063B2 (en) * 2011-03-31 2014-10-21 The Regents Of The University Of California Lens-free wide-field super-resolution imaging device
JP5350532B2 (ja) * 2011-12-27 2013-11-27 キヤノン株式会社 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316434A (ja) * 1992-05-12 1993-11-26 Olympus Optical Co Ltd 高分解能撮像装置
US5453617A (en) * 1993-06-21 1995-09-26 Hitachi, Ltd. Electron microscope for specimen composition and strain analysis and observation method thereof
CN1212104A (zh) * 1996-12-26 1999-03-24 索尼公司 高分辨率图像捕获装置及其方法
CN1254261A (zh) * 1997-04-01 2000-05-24 约翰斯霍普金斯大学 以高分辨率和大视野对眼底半自动成象用的系统
CN101461249A (zh) * 2006-06-05 2009-06-17 符号技术有限公司 用于在扩展观看范围内投影观看的图像的设备和方法
CN101447018A (zh) * 2007-11-27 2009-06-03 索尼株式会社 摄像设备及其方法
CN102449659A (zh) * 2009-05-29 2012-05-09 毫微光电子影像公司 利用已知背景的独特数字成像方法
CN102256057A (zh) * 2010-05-19 2011-11-23 索尼公司 信息处理装置、方法及程序，以及摄像设备

Also Published As

Publication number Publication date
JP5789766B2 (ja) 2015-10-07
EP3007428A4 (en) 2016-05-11
WO2014196203A1 (ja) 2014-12-11
JP2015128322A (ja) 2015-07-09
EP3007428A1 (en) 2016-04-13
US20150172575A1 (en) 2015-06-18
JPWO2014196203A1 (ja) 2017-02-23
JP6307770B2 (ja) 2018-04-11
CN105308949A (zh) 2016-02-03
US9426363B2 (en) 2016-08-23

Similar Documents

Publication Publication Date Title
CN105308949B (zh) 图像获取装置、图像获取方法以及记录介质
US10838192B2 (en) Method and device for high-resolution color imaging using merged images from holographic and lens-based devices
JP6265153B2 (ja) 撮像素子
US8743195B2 (en) Whole slide fluorescence scanner
EP1785714B1 (en) Lens evaluation device
US11614363B2 (en) Digital pathology color calibration and validation
JP2021193459A (ja) 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像
US11106026B2 (en) Scanning microscope for 3D imaging using MSIA
US11828927B2 (en) Accelerating digital microscopy scans using empty/dirty area detection
JP6940696B2 (ja) 二次元および三次元の固定式ｚ走査
JP7004808B2 (ja) スライドガラスの走査および処理のための対向縁部システム
JP2017122614A (ja) 画像生成方法及び検査装置
AU2015351876B2 (en) Image acquisition device, image formation system, and image formation method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220714

Address after: Room 01, 6 / F, Mituo Road, 45 Singapore

Patentee after: Bingxi FUCE Private Ltd.

Address before: Japan Osaka

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.