CN107764779B - 一种共聚焦系统的超分辨成像方法及系统 - Google Patents
一种共聚焦系统的超分辨成像方法及系统 Download PDFInfo
- Publication number
- CN107764779B CN107764779B CN201710891789.8A CN201710891789A CN107764779B CN 107764779 B CN107764779 B CN 107764779B CN 201710891789 A CN201710891789 A CN 201710891789A CN 107764779 B CN107764779 B CN 107764779B
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- value
- interpolation
- scanned image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 35
- 230000008707 rearrangement Effects 0.000 claims abstract description 23
- 230000001419 dependent effect Effects 0.000 claims abstract description 13
- 230000005284 excitation Effects 0.000 claims description 14
- 238000000034 method Methods 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract description 3
- 238000000386 microscopy Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004621 scanning probe microscopy Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
Landscapes
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
- Image Input (AREA)
Abstract
本发明提供了一种共聚焦系统的超分辨成像方法及系统,包括:通过sCMOS相机获取共聚焦系统的原始扫描图像,并进行三次插值;通过对获取的原始扫描图像的像素数据进行重排,获取经过像素重排后的扫描图像;建立位置相关的减法成像系数,将像素重排后的像素点与三次插值后的像素点相应位置进行相减,得到新的图像;对新的图像进行反卷积处理获得去卷积后的图像。本发明能够有效地利用每个像素的位置信息,避免传统的直接将扫描点的图像相加从而损失细节的缺点,有效地提高了共聚焦系统的分辨率。
Description
技术领域
本发明涉及生物光子显微成像技术领域,具体地,涉及一种共聚焦系统的超分辨成像方法及系统。
背景技术
在工业和生物学领域,激光扫描显微镜可以分为反射式共聚焦系统和荧光共聚焦系统两种。目前提出了很多突破光学衍射极限的方法,例如受激发射损耗(STED)方法,它可以通过使用第二束激光抑制远离激励中心的荧光基团的荧光发射,从而改变激发光束的有效点扩散函数。随机光学重建显微法(STORM)和PALM显微方法聚焦于荧光分子所在区域,结构光显微镜(SIM)将高空间频率的信息转换到直流变频,使其能够通过低通滤波器。图像扫描显微镜已经由Muller等人提出并且提供了理论依据,该技术用能够记录位置信息的CCD取代了物理针孔和探测器。然而,传统的共聚焦系统的超分辨成像方法直接将扫描点的图像相加,从而带来了损失细节的缺点。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种共聚焦系统的超分辨成像方法及系统。
根据本发明提供的一种共聚焦系统的超分辨成像方法,包括
图像获取步骤:通过sCMOS相机获取共聚焦系统的原始扫描图像,并进行三次插值;
像素重排步骤:通过对获取的原始扫描图像的像素数据进行重排,获取经过像素重排后的扫描图像;
减法成像系数建立步骤:建立位置相关的减法成像系数,将像素重排后的扫描图像与三次插值后的扫描图像相应位置进行相减,得到新的图像;
反卷积处理步骤:对新的图像进行反卷积处理获得去卷积后的图像。
优选的,所述三次插值为线性插值,插值点为原相邻像素点的中点。
优选的,对像素数据进行重排包括:
以激发光中心(u,v)为中心轴,像素向激发光中心靠拢,坐标为(i1,j1)的像素被分配到坐标(i2,j2),则:
优选的,所述建立位置相关的减法成像系数包括:
在k扫描点形成的三次插值后的扫描图像上在位置(i,j)有值为I2(i,j)的像素点,进行像素重分配后位置(i,j)处有值为I1(i,j)的像素点,经过相减后
Isub(i,j)=I1(i,j)-k(I2(i,j)-I1(i,j))k≥0
系数k的取值保证减法成像的图像像素的非负性以及信息的完整性。
根据本发明提供的一种共聚焦系统的超分辨成像系统,包括:
图像获取模块:通过sCMOS相机获取共聚焦系统的原始扫描图像,并进行三次插值;
像素重排模块:通过对获取的原始扫描图像的像素数据进行重排,获取经过像素重排后的扫描图像;
减法成像系数建立模块:建立位置相关的减法成像系数,将像素重排后的扫描图像与原始扫描图像相应位置进行相减,得到新的图像;
反卷积处理模块:对新的图像进行反卷积处理获得去卷积后的图像。
优选的,所述三次插值为线性插值,插值点为原相邻像素点的中点。
优选的,对像素数据进行重排包括:
以激发光中心(u,v)为中心轴,像素向激发光中心靠拢,坐标为(i1,j1)的像素被分配到坐标(i2,j2),则:
优选的,所述建立位置相关的减法成像系数包括:
在k扫描点形成的三次插值后的扫描图像上在位置(i,j)有值为I2(i,j)的像素点,进行像素重分配后位置(i,j)处有值为I1(i,j)的像素点,经过相减后
Isub(i,j)=I1(i,j)-k(I2(i,j)-I1(i,j))k≥0
系数k的取值保证减法成像的图像像素的非负性以及信息的完整性。
与现有技术相比,本发明具有如下的有益效果:
本发明能够有效地利用每个像素的位置信息,避免传统的直接将扫描点的图像相加从而损失细节的缺点,有效地提高了共聚焦系统的分辨率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明共聚焦超分辨成像的流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示,本发明提供的一种共聚焦系统的超分辨成像方法,包括
图像获取步骤:通过sCMOS相机获取共聚焦系统的原始扫描图像,并进行三次插值;
像素重排步骤:通过像素重分配理论对获取的原始扫描图像的像素数据进行重排,获取经过像素重排后的扫描图像;
减法成像系数建立步骤:建立位置相关的减法成像系数,将像素重排后的扫描图像与原始扫描图像相应位置进行相减,得到新的图像;
反卷积处理步骤:对新的图像进行反卷积处理获得去卷积后的图像。
假设共扫描了N个点,每个扫描点在sCMOS上成像的像元个数为N1×N2,则共获取了N×N1×N2个像素值
对像素数据进行重排包括:
以激发光中心(u,v)为中心轴,其他像素向激发光中心靠拢,坐标为(i1,j1)的像素被分配到坐标(i2,j2),则:
建立位置相关的减法成像系数包括:
在k扫描点形成的三次插值后的扫描图像上在位置(i,j)有值为I2(i,j)的像素点,进行像素重分配后位置(i,j)处有值为I1(i,j)的像素点,经过相减后
Isub(i,j)=I1(i,j)-k(I2(i,j)-I1(i,j))k≥0
系数k的取值保证减法成像的图像像素的非负性以及信息的完整性。
反卷积处理包括:
假设K通过标定测得的点扩散函数,It为第t次迭代的图像。具体地,运用Richardson-lucy算法进行去卷积:
在上述共聚焦系统的超分辨成像方法的基础上,本发明还提供的一种共聚焦系统的超分辨成像系统,包括:
图像获取模块:通过sCMOS相机获取共聚焦系统的原始扫描图像,并进行三次插值;
像素重排模块:通过像素重分配理论对获取的原始扫描图像的像素数据进行重排,获取经过像素重排后的扫描图像;
减法成像系数建立模块:建立位置相关的减法成像系数,将像素重排后的扫描图像与原始扫描图像相应位置进行相减,得到新的图像;
反卷积处理模块:对新的图像进行反卷积处理获得去卷积后的图像。
对像素数据进行重排包括:
以激发光中心(u,v)为中心轴,像素向激发光中心靠拢,坐标为(i1,j1)的像素被分配到坐标(i2,j2),则:
建立位置相关的减法成像系数包括:
在k扫描点形成的三次插值后的扫描图像上在位置(i,j)有值为I2(i,j)的像素点,进行像素重分配后位置(i,j)处有值为I1(i,j)的像素点,经过相减后
Isub(i,j)=I1(i,j)-k(I2(i,j)-I1(i,j))k≥0
系数k的取值保证减法成像的图像像素的非负性以及信息的完整性。
反卷积处理包括:
假设K通过标定测得的点扩散函数,It为第t次迭代的图像。具体地,运用Richardson-lucy算法进行去卷积:
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (2)
1.一种共聚焦系统的超分辨成像方法,其特征在于,包括
图像获取步骤:通过sCMOS相机获取共聚焦系统的原始扫描图像,并进行三次插值;
像素重排步骤:通过对获取的原始扫描图像的像素数据进行重排,获取经过像素重排后的扫描图像;
减法成像系数建立步骤:建立位置相关的减法成像系数,将像素重排后的扫描图像与三次插值后的原始扫描图像相应位置进行相减,得到新的图像;
反卷积处理步骤:对新的图像进行反卷积处理获得去卷积后的图像;
所述三次插值为线性插值,插值点为原相邻像素点的中点;
对像素数据进行重排包括:
以激发光中心(u,v)为中心轴,像素向激发光中心靠拢,坐标为(i1,j1)的像素被分配到坐标(i2,j2),则:
所述建立位置相关的减法成像系数包括:
在k扫描点形成的三次插值后的扫描图像上在位置(i,j)有值为I2(i,j)的像素点,进行像素重排后位置(i,j)处有值为I1(i,j)的像素点,经过与三次插值后的像素点相减后
Isub(i,j)=I1(i,j)-k(I2(i,j)-I1(i,j))k≥0
系数k的取值保证减法成像的图像像素的非负性以及信息的完整性;
反卷积处理包括:
假设K通过标定测得的点扩散函数,It为第t次迭代的图像;具体地,运用Richardson-lucy算法进行去卷积:
2.一种共聚焦系统的超分辨成像系统,其特征在于,包括:
图像获取模块:通过sCMOS相机获取共聚焦系统的原始扫描图像,并进行三次插值;
像素重排模块:通过对获取的原始扫描图像的像素数据进行重排,获取经过像素重排后的扫描图像;
减法成像系数建立模块:建立位置相关的减法成像系数,将像素重排后的扫描图像与三次插值后的原始扫描图像相应位置进行相减,得到新的图像;
反卷积处理模块:对新的图像进行反卷积处理获得去卷积后的图像;
所述三次插值为线性插值,插值点为原相邻像素点的中点;
对像素数据进行重排包括:
以激发光中心(u,v)为中心轴,像素向激发光中心靠拢,坐标为(i1,j1)的像素被分配到坐标(i2,j2),则:
所述建立位置相关的减法成像系数包括:
在k扫描点形成的三次插值后的扫描图像上在位置(i,j)有值为I2(i,j)的像素点,进行像素重排后位置(i,j)处有值为I1(i,j)的像素点,经过与三次插值后的像素点相减后
Isub(i,j)=I1(i,j)-k(I2(i,j)-I1(i,j))k≥0
系数k的取值保证减法成像的图像像素的非负性以及信息的完整性;
反卷积处理包括:
假设K通过标定测得的点扩散函数,It为第t次迭代的图像;具体地,运用Richardson-lucy算法进行去卷积:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710891789.8A CN107764779B (zh) | 2017-09-27 | 2017-09-27 | 一种共聚焦系统的超分辨成像方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710891789.8A CN107764779B (zh) | 2017-09-27 | 2017-09-27 | 一种共聚焦系统的超分辨成像方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107764779A CN107764779A (zh) | 2018-03-06 |
CN107764779B true CN107764779B (zh) | 2020-09-15 |
Family
ID=61266185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710891789.8A Active CN107764779B (zh) | 2017-09-27 | 2017-09-27 | 一种共聚焦系统的超分辨成像方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107764779B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109557653B (zh) * | 2018-12-20 | 2021-06-29 | 浙江大学 | 一种基于算法恢复的差分共聚焦显微成像方法和装置 |
CN111257227B (zh) * | 2020-01-18 | 2023-01-31 | 南京恒锐精密仪器有限公司 | 基于偏振自相关的暗场共焦显微测量装置和方法 |
CN111257226B (zh) * | 2020-01-18 | 2022-10-28 | 南京恒锐精密仪器有限公司 | 基于偏振自相关的暗场共焦显微测量装置和方法 |
CN112653834B (zh) * | 2020-12-01 | 2022-04-08 | 广东鼎诚电子科技有限公司 | 超分辨率扫描成像方法、系统和存储介质 |
CN117369106B (zh) * | 2023-12-05 | 2024-03-08 | 北京大学 | 一种多点共聚焦图像扫描显微镜及成像方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6160584A (en) * | 1997-05-21 | 2000-12-12 | Sony Corporation | Motion detection and motion compensative prediction circuit |
CN1901602A (zh) * | 2006-07-10 | 2007-01-24 | 宁波大学 | 用于图像放大处理过程中的快速双线性插值方法 |
US7262892B1 (en) * | 2006-06-19 | 2007-08-28 | Fuji Xerox Co., Ltd. | Hologram reconstruction method and device |
CN101521741A (zh) * | 2009-04-08 | 2009-09-02 | 中国科学院长春光学精密机械与物理研究所 | Ccd图像传感器的数字相关双采样电路 |
CN101777193A (zh) * | 2010-02-03 | 2010-07-14 | 中国人民解放军国防科学技术大学 | 基于双向映射精确插值的折反射全向图柱面全景展开方法 |
CN102800047A (zh) * | 2012-06-20 | 2012-11-28 | 天津工业大学 | 一种单帧图像超分辨率重构方法 |
CN103268599A (zh) * | 2013-04-19 | 2013-08-28 | 中国科学院长春光学精密机械与物理研究所 | 多线阵ccd亚像元错位成像超分辨率重构方法 |
CN103903235A (zh) * | 2014-01-27 | 2014-07-02 | 西安理工大学 | 细胞图像超分辨率重构方法 |
CN103929570A (zh) * | 2013-01-16 | 2014-07-16 | 富士通株式会社 | 图像处理方法和系统 |
JP5779967B2 (ja) * | 2011-05-12 | 2015-09-16 | 株式会社リコー | 光書き込み装置、画像形成装置及び補正値情報生成方法 |
CN106327437A (zh) * | 2016-08-10 | 2017-01-11 | 大连海事大学 | 一种彩色文本图像校正方法及系统 |
CN107144551A (zh) * | 2017-04-12 | 2017-09-08 | 上海戴泽光电科技有限公司 | 基于sCMOS的共聚焦超分辨成像系统和方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9459201B2 (en) * | 2014-09-29 | 2016-10-04 | Zyomed Corp. | Systems and methods for noninvasive blood glucose and other analyte detection and measurement using collision computing |
US9722758B2 (en) * | 2015-05-20 | 2017-08-01 | Hong Kong Applied Science and Technology Research Institute Company Limited | Channel-quality estimation for a wireless channel |
-
2017
- 2017-09-27 CN CN201710891789.8A patent/CN107764779B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6160584A (en) * | 1997-05-21 | 2000-12-12 | Sony Corporation | Motion detection and motion compensative prediction circuit |
US7262892B1 (en) * | 2006-06-19 | 2007-08-28 | Fuji Xerox Co., Ltd. | Hologram reconstruction method and device |
CN1901602A (zh) * | 2006-07-10 | 2007-01-24 | 宁波大学 | 用于图像放大处理过程中的快速双线性插值方法 |
CN101521741A (zh) * | 2009-04-08 | 2009-09-02 | 中国科学院长春光学精密机械与物理研究所 | Ccd图像传感器的数字相关双采样电路 |
CN101777193A (zh) * | 2010-02-03 | 2010-07-14 | 中国人民解放军国防科学技术大学 | 基于双向映射精确插值的折反射全向图柱面全景展开方法 |
JP5779967B2 (ja) * | 2011-05-12 | 2015-09-16 | 株式会社リコー | 光書き込み装置、画像形成装置及び補正値情報生成方法 |
CN102800047A (zh) * | 2012-06-20 | 2012-11-28 | 天津工业大学 | 一种单帧图像超分辨率重构方法 |
CN103929570A (zh) * | 2013-01-16 | 2014-07-16 | 富士通株式会社 | 图像处理方法和系统 |
CN103268599A (zh) * | 2013-04-19 | 2013-08-28 | 中国科学院长春光学精密机械与物理研究所 | 多线阵ccd亚像元错位成像超分辨率重构方法 |
CN103903235A (zh) * | 2014-01-27 | 2014-07-02 | 西安理工大学 | 细胞图像超分辨率重构方法 |
CN106327437A (zh) * | 2016-08-10 | 2017-01-11 | 大连海事大学 | 一种彩色文本图像校正方法及系统 |
CN107144551A (zh) * | 2017-04-12 | 2017-09-08 | 上海戴泽光电科技有限公司 | 基于sCMOS的共聚焦超分辨成像系统和方法 |
Non-Patent Citations (9)
Title |
---|
Channel correlated refinement for color interpolation with quincuncial patterns containing the white channel;Sang Wook Park;《Digital Signal Processing》;20130930;第23卷(第5期);全文 * |
Compact image capturing system based on compound imaging and digital reconstruction;Jun Tanida;《Proceedings of Spie the International Society》;20010731;全文 * |
Image interpolation using across-scale pixel correlation;Tao Chen;《IEEE International Conference on Acoustics, Speech, and Signal Processing》;20010511;全文 * |
Moving object recognition under simulated prosthetic vision;Jing Wang;《Information Sciences》;20140930;第277卷;全文 * |
低对比度显微图像的颜色增强方法研究;朱美娇;《中国优秀硕士学位论文全文数据库信息科技辑》;20140930(第9期);全文 * |
基于亚像素位移的超分辨率图像重建算法;张东晓;《自动化学报》;20141231;第40卷(第12期);全文 * |
用双层重建法实现单幅图像的超分辨率重建;龚卫国;《光学精密工程》;20140331;第22卷(第3期);全文 * |
视觉修复系统模型建立与信息处理;夏鹏;《上海交通大学学报》;20140228;第48卷(第2期);全文 * |
超分辨率图像重建算法研究;侯鲜桃;《中国优秀硕士学位论文全文数据库信息科技辑》;20120515(第5期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN107764779A (zh) | 2018-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107764779B (zh) | 一种共聚焦系统的超分辨成像方法及系统 | |
Zuo et al. | Adaptive step-size strategy for noise-robust Fourier ptychographic microscopy | |
Sivaguru et al. | Capturing the surface texture and shape of pollen: a comparison of microscopy techniques | |
Biggs | 3D deconvolution microscopy | |
JP7009619B2 (ja) | 2回通過式マクロ画像 | |
US20130250144A1 (en) | Imaging apparatus and method of controlling same | |
CN109425978B (zh) | 具有改进的截面厚度的高分辨率2d显微镜检查 | |
EP1602065A2 (en) | Extended depth of focus microscopy | |
US20140098213A1 (en) | Imaging system and control method for same | |
CN114155340B (zh) | 扫描光场数据的重建方法、装置、电子设备及存储介质 | |
US11409095B2 (en) | Accelerating digital microscopy scans using empty/dirty area detection | |
CN110349237B (zh) | 基于卷积神经网络的快速体成像方法 | |
JP6061619B2 (ja) | 顕微鏡システム | |
CN107667310B (zh) | 荧光成像系统 | |
WO2023284637A1 (zh) | 一种基于图像梯度方差分析的序列图像超分辨修正方法 | |
CN105243677B (zh) | 一种保证精度的实时单分子定位方法及系统 | |
Mazzella et al. | Extended-depth of field random illumination microscopy, EDF-RIM, provides super-resolved projective imaging | |
Conchello et al. | Extended depth-of-focus microscopy via constrained deconvolution | |
JP7119085B2 (ja) | 衝撃再走査システム | |
JP6195253B2 (ja) | 検査装置、検査方法、及びプログラム | |
JP6997312B2 (ja) | カラーモニタ設定の更新 | |
US11256078B2 (en) | Continuous scanning for localization microscopy | |
JP5466142B2 (ja) | リニア・アレイを用いたマイクロスコープ・スライド・スキャナにおけるデータ管理システムおよび方法 | |
Doan et al. | A fast image enhancement technique using a new scanning path for critical dimension measurement of glass panels | |
CN111279242B (zh) | 双处理器图像处理 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |