CN103874951B - 对焦控制装置、内窥镜系统和对焦控制方法 - Google Patents
对焦控制装置、内窥镜系统和对焦控制方法 Download PDFInfo
- Publication number
- CN103874951B CN103874951B CN201280050221.9A CN201280050221A CN103874951B CN 103874951 B CN103874951 B CN 103874951B CN 201280050221 A CN201280050221 A CN 201280050221A CN 103874951 B CN103874951 B CN 103874951B
- Authority
- CN
- China
- Prior art keywords
- multiplying power
- image
- variation
- zoom
- timing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract 29
- 230000003287 optical effect Effects 0.000 claims abstract 30
- 238000012360 testing method Methods 0.000 claims abstract 17
- 238000011156 evaluation Methods 0.000 claims abstract 13
- 238000001514 detection method Methods 0.000 claims abstract 10
- 238000003384 imaging method Methods 0.000 claims abstract 4
- 230000000007 visual effect Effects 0.000 claims 3
- 238000012545 processing Methods 0.000 claims 1
- 238000012797 qualification Methods 0.000 claims 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
- A61B1/00096—Optical elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2423—Optical details of the distal end
- G02B23/243—Objectives for endoscopes
- G02B23/2438—Zoom objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2461—Illumination
- G02B23/2469—Illumination using optical fibres
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Surgery (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Astronomy & Astrophysics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automatic Focus Adjustment (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Studio Devices (AREA)
Abstract
提供在利用1组驱动透镜进行AF的情况下抑制由于AF评价值取得时产生的倍率变动而导致的不良影响的对焦控制装置、内窥镜系统和对焦控制方法等。对焦控制装置包括:对焦控制部(330),其对摄像光学系统的驱动进行控制,其中该摄像光学系统的对焦物体位置伴随着摄像倍率的变更而变更;图像取得部(310),其通过借助于摄像光学系统的摄像,取得以不同的摄像倍率进行摄像而得到的多个图像;以及倍率变动检测部(320),其检测倍率变动,该倍率变动是摄像倍率和图像中的被摄体的尺寸中的至少一方的变动,对焦控制部(330)根据基于图像和倍率变动而计算出的表示摄像光学系统的焦点状态的AF评价值对摄像光学系统进行驱动,从而进行摄像光学系统的对焦控制。
Description
技术领域
本发明涉及对焦控制装置、内窥镜系统和对焦控制方法等。
背景技术
以往,广泛使用对体腔内的组织照射照明光、并使用根据它们的反射光生成的图像信号进行诊断和处置的内窥镜装置。内窥镜光学系统一般被设计成被摄场深度较宽的全景对焦,所以,在通常观察时能够取得从被摄体的远点到近点进行了对焦的图像。
但是,由于在放大观察时被摄场深度变浅,所以,未对焦的频度提高。用户为了在对焦后的内窥镜图像中观察被摄体,用户需要手动进行对焦操作,带来较大负担。
现有技术文献
专利文献
专利文献1:日本特开2002-258164号公报
非专利文献
非专利文献1:回転不変位相限定相関による画像の回転角度計測について映像情報メディア学会技術報告22(45),55-60,1998-09-14
非专利文献2:David G.Lowe,“Distinctive image features from scale-invariantkeypoints”,Journal of Computer Vision,60,2,pp.91-110,2004.
非专利文献3:M.A.Fischler and R.C.Bolles,"Random sample consensus:Aparadigm for model fitting with applications to image analysis and automatedcartography,"Commun.ACM,no.24,vol.6,pp.381-395,June1981.
发明内容
发明要解决的课题
作为在放大观察时不容易对焦的课题的解决策略,考虑自动对焦(以下表记为AF)的导入。通过导入AF,用户从手动的对焦作业中解放出来。例如专利文献1的内窥镜装置在通常观察和放大观察的任意状态下均进行AF。
这里,为了实现AF,考虑图19(A)、图19(B)所示的光学系统的结构。在图19(A)所示的1组驱动透镜中,由于通过对变焦透镜进行驱动来控制对焦物体位置,所以,当变更对焦物体位置时,倍率也同时发生变化。另一方面,在图19(B)所示的2组驱动透镜中,由于能够驱动变焦透镜和对焦透镜,所以,存在能够独立控制倍率和对焦物体位置的优点。但是,2组驱动透镜的结构比1组驱动透镜的结构复杂。因此,与1组驱动透镜相比,存在安装困难、内窥镜的直径更粗的问题。
根据以上的理由,在内窥镜镜体中,优选安装图19(A)所示的1组驱动透镜。
但是,在1组驱动透镜的情况下,如上所述,由于当变更对焦物体位置时,倍率也同时发生变化,所以,存在无法在对比度AF中稳定地计算对比度值(图像的高频成分)的课题。在对比度AF中,根据对焦时图像的高频成分极大这样的前提,驱动透镜,使得在滤波处理中从图像中提取出的高频成分取极大值。但是,当伴随着1组驱动透镜的AF动作而使倍率发生变化时,图像的频率特性本身也发生变化,对比度值的极大值搜索变得困难。
根据本发明的若干个方式,能够提供在利用1组驱动透镜进行AF的情况下抑制由于AF评价值取得时产生的倍率变动而导致的不良影响的对焦控制装置、内窥镜系统和对焦控制方法等。
用于解决课题的手段
本发明的一个方式涉及一种对焦控制装置,其中,该对焦控制装置包括:对焦控制部,其对摄像光学系统的驱动进行控制,其中该摄像光学系统的对焦物体位置伴随着摄像倍率的变更而变更;图像取得部,其通过借助于所述摄像光学系统的摄像,取得以不同的所述摄像倍率进行摄像而得到的多个图像;以及倍率变动检测部,其检测倍率变动,该倍率变动是所述摄像倍率和所述图像中的被摄体的尺寸中的至少一方的变动,所述对焦控制部根据所述图像和所述倍率变动,计算表示所述摄像光学系统的焦点状态的AF评价值,根据计算出的所述AF评价值对所述摄像光学系统进行驱动,从而进行所述摄像光学系统的对焦控制。
在本发明的一个方式中,在对焦物体位置伴随着摄像倍率的变更而变更的摄像光学系统中,检测倍率变动,该倍率变动是摄像倍率和图像中的被摄体的尺寸中的至少一方的变动,根据检测到的倍率变动计算AF评价值。由此,在不同的对焦物体位置计算AF评价值时,能够抑制由于伴随着对焦物体位置的变更的摄像倍率的变更而导致的影响,能够稳定地计算AF评价值等。
并且,本发明的另一个方式涉及一种内窥镜系统,其中,该内窥镜系统包括:对焦控制部,其对摄像光学系统的驱动进行控制,其中该摄像光学系统的对焦物体位置伴随着摄像倍率的变更而变更;图像取得部,其通过借助于所述摄像光学系统的摄像,取得以不同的所述摄像倍率进行摄像而得到的多个图像;以及倍率变动检测部,其检测倍率变动,该倍率变动是所述摄像倍率和所述图像中的被摄体的尺寸中的至少一方的变动,所述对焦控制部根据所述图像和所述倍率变动,计算表示所述摄像光学系统的焦点状态的AF评价值,根据计算出的所述AF评价值对所述摄像光学系统进行驱动,从而进行所述摄像光学系统的对焦控制。
并且,本发明的另一个方式涉及一种对焦控制方法,对摄像光学系统的驱动进行控制,其中该摄像光学系统的对焦物体位置伴随着摄像倍率的变更而变更,在该对焦控制方法中,通过借助于所述摄像光学系统的摄像,取得以不同的所述摄像倍率进行摄像而得到的多个图像,检测倍率变动,该倍率变动是所述摄像倍率和所述图像中的被摄体的尺寸中的至少一方的变动,根据取得的所述图像和检测到的所述倍率变动,计算表示所述摄像光学系统的焦点状态的AF评价值,根据计算出的所述AF评价值对所述摄像光学系统进行驱动,从而进行所述摄像光学系统的对焦控制。
附图说明
图1是第1实施方式的对焦控制装置和包含该对焦控制装置的内窥镜系统的结构例。
图2是摄像元件的结构例。
图3是第1实施方式的对焦控制部的结构例。
图4是说明与倍率变动对应的滤波器频率特性的变更方法的图。
图5是第2实施方式的对焦控制装置和包含该对焦控制装置的内窥镜系统的结构例。
图6是第2实施方式的倍率变动检测部的结构例。
图7是第2实施方式的倍率变动检测部的其他结构例。
图8是第2实施方式的对焦控制部的结构例。
图9(A)、图9(B)是说明与倍率变动对应的评价区域的设定方法的图。
图10是第2实施方式的对焦控制部的其他结构例。
图11(A)、图11(B)是说明初始评价区域的设定方法的图。
图12是第3实施方式的对焦控制装置和包含该对焦控制装置的内窥镜系统的结构例。
图13是第3实施方式的倍率变动检测部的结构例。
图14(A)~图14(C)是伴随着倍率变动的内窥镜图像的变动例,图14(D)、图14(E)是根据倍率变动而取得的变倍图像的例子。
图15(A)~图15(E)是倍率变动在容许变倍率的范围内的情况下的内窥镜图像和变倍图像的例子。
图16(A)~图16(E)是倍率变动小于容许变倍率的情况下的内窥镜图像和变倍图像的例子。
图17(A)~图17(E)是倍率变动大于容许变倍率的情况下的内窥镜图像和变倍图像的例子。
图18是第3实施方式的对焦控制部的结构例。
图19(A)是1组驱动透镜的例子,图19(B)是2组驱动透镜的例子。
图20是第4实施方式的对焦控制装置和包含该对焦控制装置的内窥镜系统的结构例。
图21是第4实施方式的图像变倍部的结构例。
图22是第4实施方式的显示倍率调整部的结构例。
图23是检测到的倍率变动的例子。
图24是以低频倍率变动为基准的情况下的、基于高频倍率变动的变动的例子。
图25是从检测到的倍率变动中降低高频成分的影响的例子。
图26是说明由于摆动而引起的视场角区域的变动的图。
图27是第4实施方式的图像调整部的结构例。
图28(A)是进行了放大处理作为图像变倍处理的例子,图28(B)是进行了缩小处理作为图像变倍处理的例子。
图29是第4实施方式的变形例的目标视场角区域的说明图。
图30是说明第4实施方式的变形例的处理的图。
具体实施方式
下面,对本实施方式进行说明。另外,以下说明的本实施方式并不是不当限定权利要求范围所记载的本发明的内容。并且,本实施方式中说明的全部结构不一定是本发明的必要结构要件。
1.本实施方式的方法
首先,对本实施方式的方法进行说明。在1组驱动透镜(图19(A))中,通过使变焦透镜移动来变更对焦物体位置。即,在对焦物体位置的移动中,伴有摄像倍率的变动。由此,在使用1组驱动透镜进行AF(AutoFocus)的情况下,AF中使用的AF评价值(例如对比度值)的计算成为问题。
另外,对焦物体位置是指在包含物体、摄像光学系统、像面等的系统处于对焦状态的情况下该物体相对于基准位置的相对位置(物点)。具体而言,在给定位置设定像面并设摄像光学系统为给定状态的情况下,表示通过该摄像光学系统在所述像面上所成的像对焦的情况下该物体的位置。在本实施方式的对焦控制装置(或内窥镜系统)等中,由于假设像面与摄像部中包含的摄像元件的表面一致,所以,在摄像元件的表面固定的情况下,如果决定光学系统的状态,则能够决定对焦物体位置。
在对比度AF中,假设改变对焦物体位置并在各个位置计算对比度值,在AF中求出多个AF评价值的关系,以求出所计算出的对比度值的极大值。但是,在1组驱动透镜中,如上所述,当改变对焦物体位置时,摄像倍率也发生变化。因此,与某个定时的AF评价值计算中使用的图像相比,其他定时的图像的被摄体的倍率发生变化,无法稳定地计算AF评价值。例如,在AF动作中摄像倍率增加(放大)的情况下,图像中包含的高频成分向低频侧位移(边缘钝化),在放大前和放大后,AF评价值的计算条件不同。由此,无法适当判断AF评价值的大小,妨碍AF动作。
因此,本申请人提出对倍率变动(倍率变动信息)进行补偿的AF评价值的计算方法。具体而言,提出3个方法,在第1实施方式中,根据倍率变动,对AF评价值的计算时使用的滤波器的频率特性进行变更。在第2实施方式中,根据倍率变动,对表示作为AF评价值的计算对象的像素的范围的评价区域的尺寸进行变更。在第3实施方式中,根据倍率变动对图像本身实施变倍处理,使用变倍处理后的变倍图像计算AF评价值。
并且,考虑2种倍率变动的取得方法,在第1实施方式中,根据来自摄像光学系统的控制信息(例如与变焦透镜位置有关的透镜控制信号),取得倍率变动。并且,在第2实施方式中,根据进行摄像而得到的图像上的被摄体尺寸取得倍率变动。另外,根据控制信息取得的倍率变动是表示摄像倍率的变动的信息,与此相对,根据图像中的被摄体尺寸取得的倍率变动是除了表示摄像倍率的变动以外、还表示摄像光学系统与被摄体的相对距离的变动的信息。
在以下的实施方式中,作为AF评价值计算方法和倍率变动检测方法的组合,在第1实施方式中记载了滤波器处理和透镜控制信号的组合,在第2实施方式中记载了评价区域和被摄体尺寸的组合,但是不限于此。3个AF评价值计算方法和2个倍率变动检测方法的组合是任意的。并且,可以取得基于透镜控制信号的倍率变动和基于被摄体尺寸的倍率变动双方,特别是在使用变倍处理作为AF评价值计算方法的情况下是有用的。详细情况在第3实施方式及其变形例中详细叙述。
并且,由于AF评价值计算时的变焦透镜的驱动(摆动)而使摄像倍率变动,由此,向用户(医生)提示的显示图像的倍率(视场角)也高频度地变化。但是,在根据显示图像进行诊断时,显示图像的视场角的高频度变化容易使医生紧张,成为妨碍适当诊断的主要原因。由此,也可以通过对进行摄像而得到的图像进行适当的变倍处理,生成用户容易观察的显示图像并进行显示。具体方法在第3实施方式和第4实施方式中进行说明。另外,在第4实施方式中,AF评价值计算方法可以使用上述任意一种方法。
另外,在以下的说明中,在多个地方,相邻的2个定时之间的摄像倍率或被摄体尺寸的比为倍率变动Z,Z的直积即累积倍率A是与给定的2个定时之间(可以相邻,也可以不相邻)的摄像倍率等的比相当的值。但是,虽然倍率变动Z和累积倍率A的计算方法不同,但是,均表示不同的2个定时之间的摄像倍率等的变动,本质上具有相同的意思。由此,在本实施方式中,广义地讲,累积倍率A也包含在倍率变动中。因此,在能够区分的地方,如上所述,将相邻2个定时之间的比设为倍率变动Z,将Z的直积设为A,利用不同用语进行说明,但是,在很难区分(或不需要区分)的地方,“倍率变动”这样的用语可以指Z和A中的任意一方。
2.第1实施方式
参照图1对包含本实施方式的对焦控制装置的内窥镜装置进行说明。内窥镜装置具有光源部100、插入部200、信号处理部300、显示部400、外部I/F部500。
光源部100具有白色光源110和会聚透镜120。白色光源110发出白色光。会聚透镜120使由白色光源110发出的光会聚到后述光导纤维210。
插入部200例如形成为细长且能够弯曲,使得能够插入到体腔内。插入部200具有光导纤维210、照明透镜220、摄像部230。光导纤维210将由光源部100会聚后的光引导到插入部200的前端。照明透镜220使通过光导纤维210引导到前端的光扩散并对观察对象进行照射。摄像部230具有物镜231、摄像元件232、A/D转换部233。物镜231使从观察对象返回的反射光会聚到摄像元件232。并且,物镜231具有同时变更倍率和对焦物体位置的功能。摄像元件232将基于检测到的反射光的模拟信号输出到A/D转换部233。A/D转换部233根据后述控制部340输出的控制信号,将从摄像元件232输出的模拟信号转换为数字信号,作为RAW图像输出到信号处理部300。这里,摄像元件232具有原色拜耳排列,由摄像元件232取得的图像是原色拜耳图像。如图2所示,原色拜耳图像是各像素呈方格状具有RGB中的任意一方的信号的图像。
信号处理部300具有图像取得部310、倍率变动检测部320、对焦控制部330、控制部340。由摄像部230输出的RAW图像被输出到图像取得部310。图像取得部310与对焦控制部330和显示部400连接。倍率变动检测部320与对焦控制部330连接。对焦控制部330与物镜231连接,根据基于透镜控制信号的物镜231的控制,对倍率和对焦物体位置进行控制。该透镜控制信号还输出到倍率变动检测部320。控制部340与摄像部230、倍率变动检测部320、对焦控制部330、图像取得部310、显示部400、外部I/F部500双向连接,通过控制信号对它们进行相互控制。控制信号包含表示自动对焦到被摄体的自动对焦(以下表记为AF)功能的开始/结束的AF触发信号。以下,通过控制信号检测AF动作的开始/结束,从而对与控制部340连接的各结构要件进行说明。
图像取得部310对从摄像部230输出的RAW图像进行白平衡处理、去马赛克处理等现有图像处理,取得内窥镜图像。取得的内窥镜图像被输出到对焦控制部330和显示部400。这里,内窥镜图像是RGB彩色图像。
倍率变动检测部320根据由后述对焦控制部330输出的透镜控制信号,检测经时的物镜231的倍率变动。例如,在时刻t(当前)的物镜231的倍率为zt、时刻t-1的物镜231的倍率为zt-1的情况下,倍率变动检测部320将Zt=zt/zt-1作为倍率变动而输出到对焦控制部330。这里,时刻t和t-1是控制信号输出到倍率变动检测部320的时刻,时刻t-1是控制信号在时刻t之前输出到倍率变动检测部320的时刻。
对焦控制部330根据控制信号检测到AF动作的开始时,根据由图像取得部310输出的内窥镜图像和由倍率变动检测部320输出的倍率变动,进行物镜231的控制,对对焦物体位置进行控制。在本实施方式中,在对对焦物体位置进行变更的同时,摄像倍率也变动,但是,这里,为了进行说明,仅表记为对对焦物体位置进行控制。
参照图3对对焦控制部330的具体结构进行说明。对焦控制部330具有滤波器选择部331、对比度值计算部332、透镜控制部333。由图像取得部310输出的内窥镜图像被输出到对比度值计算部332。由倍率变动检测部320输出的倍率变动被输出到滤波器选择部331。滤波器选择部331与对比度值计算部332连接。对比度值计算部332与透镜控制部333连接。透镜控制部333与物镜231连接,通过输出透镜控制信号而对其进行控制。并且,透镜控制信号还被输出到倍率变动检测部320。
滤波器选择部331根据由倍率变动检测部320输出的倍率变动,从规定的滤波器组中选择后述对比度值计算中利用的滤波器。这里,滤波器是公知的高通滤波器。并且,为了简化说明,设滤波器组中包含的滤波器为3个。关于具体的滤波器选择方法,首先,当根据控制信号检测到AF动作的开始时,利用下式(1)计算累积倍率。
【数学式1】
其中,t表示当前时刻,At表示当前时刻的累积倍率,s表示AF动作开始的时刻。并且,i是表示时刻的索引,Z是倍率变动的值(倍率变动值)。即,累积倍率是从AF动作开始时到当前的倍率变动的值的直积。参照图4对基于累积倍率的高通滤波器选择进行说明。图4示出高通滤波器的频率特性。在累积倍率大于1.0的情况下、即倍率高于AF动作开始时的倍率的情况下,与AF动作开始时相比,选择通过更低频信号的高通滤波器。在累积倍率小于1.0的情况下、即倍率低于AF动作开始时的倍率的情况下,与AF动作开始时相比,选择通过更高频信号的高通滤波器。并且,在本实施方式中,对滤波器组由3个滤波器构成的情况进行了说明,但是,也可以是更多的滤波器。该情况下,累积倍率的高低程度越强,通过越低频或越高频信号。并且,针对规定的高通滤波器,也可以根据累积倍率变更其频率特性进行使用。该情况下,设计下式(2)的频率特性的滤波器。
【数学式2】
Gt(u)=Go(At×u)·····(2)
其中,Gt(u)是时刻t的滤波器的频率特性。u是空间频率。Go(u)是规定的滤波器的频率特性。
并且,在本实施方式中,利用高通滤波器作为滤波器,但是,也可以利用带通滤波器。该情况下,与高通滤波器同样,在倍率高于AF动作开始时的倍率的情况下,选择具有通过更低频信号的频率特性的滤波器,在倍率低于AF动作开始时的倍率的情况下,选择具有通过更高频信号的频率特性的滤波器。
对比度值计算部332对由图像取得部310输出的内窥镜图像进行由滤波器选择部331选择出的滤波器的滤波处理,计算对比度值。具体而言,对比度值是指位于内窥镜图像中央的规定尺寸的矩形区域中的进行了滤波处理后的内窥镜图像的像素值的总和。这里,仅对内窥镜图像的G信号进行滤波处理,来计算对比度值。这是因为,作为内窥镜图像中的主要被摄体的体腔内的局部像素值的变化在G信号中最大,适合于计算对比度值。计算出的对比度值被输出到透镜控制部333。并且,在本实施方式中,仅通过G信号计算对比度值,但是,也可以按照每个通道对RGB全部信号进行滤波处理,对每个RGB信号的总和进行合计来进行计算。
透镜控制部333根据由对比度值计算部332输出的对比度值,输出对物镜231进行控制的透镜控制信号。基于对比度值的具体的对焦控制方法作为AF技术是公知的,所以省略详细的技术说明。透镜控制信号被输出到物镜231和倍率变动检测部320。
显示部400将由图像取得部310输出的内窥镜图像输出到内窥镜监视器等图像显示装置上。
外部I/F部500是用于供用户对对焦控制装置进行输入等的接口,构成为包括用于进行电源的接通/断开的电源开关、用于开始进行拍摄操作的快门按钮、用于切换拍摄模式和其他各种模式的模式切换按钮、开始进行自动对焦到被摄体上的自动对焦动作的AF按钮等。
在本发明的一个方式中,通过倍率变动和对焦物体位置变动联动的内窥镜摄像光学系统取得内窥镜图像。根据内窥镜摄像光学系统的控制信号检测内窥镜摄像光学系统的倍率变动。根据检测到的倍率变动选择高通滤波器的频率特性。通过该高通滤波器对内窥镜图像进行滤波处理,从而计算对比度值。通过控制摄像光学系统以使得计算出的对比度值取极大值,实现AF功能。也可以根据倍率变动进行使用适当频率特性的滤波器的对比度值计算,从而能够相对于倍率变动而稳定地进行AF动作。
在以上的本实施方式中,如图1所示,对焦控制装置包括对摄像光学系统的驱动进行控制的对焦控制部330、通过经由摄像光学系统的摄像取得以不同摄像倍率进行摄像而得到的多个图像的图像取得部310、以及检测倍率变动的倍率变动检测部320。对焦控制部330根据图像取得部310取得的图像和倍率变动检测部320检测到的倍率变动,计算表示摄像光学系统的焦点状态的AF评价值,根据AF评价值对摄像光学系统进行驱动,从而进行对焦控制。
这里,摄像光学系统构成为伴随着摄像倍率的变更而变更对焦物体位置。即,以图19(A)所示的1组驱动透镜为前提。并且,倍率变动表示摄像倍率的变动和图像上的被摄体的尺寸的变动中的至少一方。在摄像倍率的例子中,在摄像倍率从2倍变化为3倍的情况下,设该变化程度(如果是比,则为3/2=1.5,如果是差,则为3-2=1)为倍率变动。在被摄体的尺寸的例子中,在被摄体上的2点间的距离在图像中从10像素变化为20像素的情况下,设该变化程度(如果是比,则为2,如果是差,则为10)为倍率变动。广义地讲,倍率变动不限于比或差,也可以是表示摄像倍率等的变动程度的其他信息(倍率变动信息),但是,在本实施方式中,狭义地用表示比的信息来进行说明。并且,AF评价值是指执行AF时作为评价对象的值,例如可以是对比度AF中的对比度值。
由此,在使用1组驱动透镜的情况下,也能够适当计算AF评价值,所以,能够适当执行AF。为了使对比度AF中的对比度值如上述那样,假设在对焦物体位置的不同的多个定时分别取得AF评价值,对所取得的多个AF评价值进行比较。但是,如上所述,在1组驱动透镜中,伴随着对焦物体位置的变更,摄像倍率变更,所以,AF评价值的计算状况发生变化。具体而言,如果摄像倍率变大,则成为放大处理,所以,图像的高频成分向低频侧移动。图像的频率成分的变化对AF评价值造成影响,使得作为对比度值的一例,考虑使用图像的高频成分。由此,在本实施方式中,在根据图像计算AF评价值时,进行基于倍率变动(例如摄像倍率的变动)的处理(具体而言为对伴随着倍率变动的影响进行补偿的处理)。这样,由于能够稳定地计算AF评价值,所以,能够适当执行AF。
并且,对焦控制部330也可以包括滤波器处理部,该滤波器处理部对图像实施使用了具有与倍率变动对应的频率特性的滤波器的滤波器处理(进行由滤波器选择部331选择出的滤波器的处理,在上述说明中,对应于图3中的对比度值计算部332)。
由此,作为基于倍率变动的AF评价值的计算处理,能够对该计算处理中使用的滤波器的频率特性进行变更。如上所述,伴随着倍率变动,图像的频率特性发生变化。由此,认为在使滤波器的频率特性恒定的情况下,即使对焦状态恒定,在倍率变动前通过滤波器的信号成分在倍率变动后也不通过滤波器。如果对焦状态恒定,则通过滤波器的信号成分(信号值)应该为相同程度,所以,需要对应于由于倍率变动而引起的图像的频率成分的变动来变更滤波器特性。
并且,滤波器处理部可以进行使用了倍率变动越大则截止频率越低的高通滤波器的滤波器处理。并且,也可以进行使用了倍率变动越小则所述截止频率越高的高通滤波器的滤波器处理。
另外,这里,如上所述,作为倍率变动,使用2个摄像倍率的比作为摄像倍率(或被摄体的尺寸)的变化程度。即,倍率变动较大是指,与变动前相比、变动后的摄像倍率变大(放大)的状况,倍率变动较小是指,与变动前相比、变动后的摄像倍率变小(缩小)的状况。但是,倍率变动在放大的情况下变大、在缩小的情况下减小即可,也可以是摄像倍率的差(放大时为正值,缩小时为负值),还可以是其他值。
由此,能够对应于伴随着倍率变动的图像的频率成分的变化,对滤波器的频率特性进行变更。如上所述,在倍率变动较大、即放大的情况下,边缘成分钝化,本来应该通过滤波器的高频成分向低频侧位移。由于在AF评价值的计算中也需要使用位移到该低频侧的信号成分,所以,这种情况下,将高通滤波器的截止频率设定为较低。相反,在倍率变动较小、即缩小的情况下,本来在AF评价值的计算中不使用的低频成分也向高频侧位移。由于需要在滤波器中截止该信号成分,所以,将高通滤波器的截止频率设定为较高。
并且,滤波器处理部也可以进行使用了倍率变动越大则通过频带是越低的频带的带通滤波器的滤波器处理。并且,还可以进行使用了倍率变动越小则通过频带是越高的频带的带通滤波器的滤波器处理。
由此,AF评价值的计算中还可以使用带通滤波器。另外,由于按照伴随着倍率变动的图像的频率成分的变化而对滤波器的频率特性进行变更这点与高通滤波器的例子相同,所以省略详细说明。
并且,倍率变动检测部320也可以检测第2定时的倍率评价值相对于第1定时的倍率评价值的比,作为第2定时的倍率变动。在本实施方式中,倍率评价值也可以是摄像倍率。
这里,第2定时在时间上不同于第1定时。并且,倍率评价值是上述摄像倍率和图像中的被摄体的尺寸中的至少一方。
由此,能够检测不同的2个定时之间的倍率评价值(摄像倍率)的比作为倍率变动。该情况下,倍率评价值不变动的情况下的倍率变动为1,如果倍率变动大于1,则对应于放大,如果小于1,则对应于缩小。
并且,上述第1定时也可以是开始计算AF评价值的定时。
另外,第2定时在时间上位于第1定时之后,并且对应于AF评价值的计算定时。在本实施方式的说明中,第2定时表示当前的处理定时。
由此,能够求出倍率评价值相对于开始计算AF评价值的定时的变动(狭义地讲为倍率评价值的比)。开始计算AF评价值的定时也可以是开始进行AF动作的定时。如上所述,为了稳定地计算AF评价值,需要进行对倍率变动的影响进行补偿的处理。此时,必须存在以何种程度进行补偿(如果是本实施方式,则为以何种程度变更滤波器的频率特性)的基准。即,如果使用开始计算AF评价值的定时作为第1定时,则在对从第1定时起的倍率变动进行补偿后,进行之后的AF评价值计算定时中的计算处理,所以,能够在与第1定时相同的条件下计算AF评价值。另外,该情况下,计算出的倍率变动相当于本实施方式的说明中的式(1)的累积倍率At。
但是,倍率变动不限于累积倍率,如本实施方式中说明的那样,第1定时和第2定时也可以是时间上相邻的AF评价值的取得定时。
由此,能够求出时间上相邻的定时的倍率评价值的变动(狭义地讲为倍率评价值的比)。当然能够进行补偿相邻定时之间的倍率变动的处理,但是,通过求出相邻定时之间的倍率变动之积,得到任意定时之间的倍率变动,所以,还能够进行补偿这期间的倍率变动的处理。例如,从AF动作开始时起的倍率变动的直积就是上述累积倍率。
并且,以上的本实施方式能够应用于包括对摄像光学系统的驱动进行控制的对焦控制部330、通过经由摄像光学系统的摄像取得以不同摄像倍率进行摄像而得到的多个图像的图像取得部310、以及检测倍率变动的倍率变动检测部320的内窥镜系统。对焦控制部330根据图像取得部310取得的图像和倍率变动检测部320检测到的倍率变动,计算表示摄像光学系统的焦点状态的AF评价值,根据AF评价值对摄像光学系统进行驱动,从而进行对焦控制。
另外,如图1所示,内窥镜系统也可以包括光源部100、插入部200、显示部400、外部I/F部500等。
由此,能够实现在使用了1组驱动透镜的情况下也能够适当计算AF评价值的内窥镜系统。在内窥镜系统中,由于插入部200被插入活体内,所以优选小型化,因此,考虑简化插入部200中包含的摄像光学系统的结构。由此,假设采用图19(A)所示的1组驱动透镜,该情况下,需要对上述倍率变动所导致的影响进行补偿。
3.第2实施方式
参照图5对包含本实施方式的对焦控制装置的内窥镜装置进行说明。内窥镜装置具有光源部100、插入部200、信号处理部300、显示部400、外部I/F部500。除了信号处理部300和显示部400以外,与第1实施方式相同,所以省略说明。
信号处理部300具有图像取得部310、倍率变动检测部320、对焦控制部330、控制部340。图像取得部310与倍率变动检测部320、对焦控制部330、显示部400连接。倍率变动检测部320与对焦控制部330连接。对焦控制部330与物镜231连接,根据基于透镜控制信号的物镜231的控制,对倍率和对焦物体位置进行控制。控制部340与摄像部230、倍率变动检测部320、对焦控制部330、图像取得部310、显示部400、外部I/F部500双向连接,通过控制信号对它们进行相互控制。
图像取得部310与第1实施方式相同,所以省略说明。由图像取得部310取得的内窥镜图像被输出到倍率变动检测部320。
倍率变动检测部320根据由图像取得部310输出的内窥镜图像的像素值,检测内窥镜图像中的被摄体的尺寸变化作为倍率变动。检测到的倍率变动被输出到对焦控制部330。参照图6对本实施方式的倍率变动检测部320的结构进行说明。倍率变动检测部320具有帧存储器321、RIPOC计算部322。由图像取得部310输出的内窥镜图像被输出到帧存储器321和RIPOC计算部322。帧存储器321与RIPOC计算部322连接。RIPOC计算部322与对焦控制部330连接。
帧存储器321使由图像取得部310输出的内窥镜图像延迟1帧后输出到RIPOC计算部322。
RIPOC计算部322根据由图像取得部310输出的内窥镜图像和由帧存储器321输出的内窥镜图像,计算各内窥镜图像中的被摄体的尺寸变化作为倍率变动。以下,为了进行说明,将前者的内窥镜图像表记为当前图像,将后者的内窥镜图像表记为过去图像。这里,由于根据当前图像和过去图像计算倍率变动的技术、旋转不变相位限定相关法(以下表记为RIPOC法)是公知技术,所以省略详细的技术说明。技术详细记载于非专利文献1中。在RIPOC法中,能够以过去图像为基准来检测当前图像中的被摄体的平行移动/尺寸变化/旋转。其中,将尺寸变化作为倍率变动而输出到对焦控制部330。
接着,参照图7对本实施方式的倍率变动检测部320的变形例进行说明。倍率变动检测部320具有帧存储器321、特征点对应部323。由图像取得部310输出的内窥镜图像被输出到帧存储器321和特征点对应部323。帧存储器321与特征点对应部323连接。特征点对应部323与对焦控制部330连接。
帧存储器321使由图像取得部310输出的内窥镜图像延迟1帧后输出到特征点对应部323。
特征点对应部323根据由图像取得部310输出的当前图像和由帧存储器321输出的过去图像检测特征点,根据其对应关系检测当前图像和过去图像的倍率变动。这里,由于根据当前图像和过去图像检测特征点的技术是公知技术,所以省略详细的技术说明。这里,根据公知技术的SIFT特征量来检测特征点。SIFT特征量是在图像的旋转、比例尺变化、照明变化中明显的特征量。与SIFT特征量有关的详细情况在非专利文献2中详细叙述。接着,使从当前图像和过去图像中检测到的特征点在各图像之间对应起来。特征点之间的对应也是公知技术,所以省略说明。这里,通过被称为RANSAC的方法来检测特征点之间的对应关系。RANSAC是如下方法:通过反复进行使随机提取并组合多个特征点而计算出的对应关系候选自适应于未提取的特征点并评价其妥当性这样的运算,决定满足大多数特征点之间的对应关系。与RANSAC有关的详细情况在非专利文献3中详细叙述。这里,对应关系是作为坐标转换之一而公知的仿射变换。但是,这里,坐标转换是从过去图像到当前图像的转换。由于是公知技术,所以省略详细说明,但是,仿射变换由并进、旋转、变倍这样的项目构成,将该变倍的项目作为倍率变动而输出到对焦控制部330。
对焦控制部330根据控制信号检测到AF动作的开始时,根据由图像取得部310输出的内窥镜图像和由倍率变动检测部320检测到的倍率变动,进行物镜231的控制,对对焦物体位置进行控制。参照图8对本实施方式的对焦控制部330的具体结构进行说明。对焦控制部330具有对比度值计算部332、透镜控制部333、评价区域设定部334。由图像取得部310输出的内窥镜图像被输出到对比度值计算部332。由倍率变动检测部320输出的倍率变动被输出到评价区域设定部334。评价区域设定部334与对比度值计算部332连接。对比度值计算部332与透镜控制部333连接。透镜控制部333与物镜231连接并对其进行控制。
评价区域设定部334根据由倍率变动检测部320输出的倍率变动,在内窥镜图像上设定评价区域。具体而言,首先,在根据控制信号检测到AF动作的开始时,设定初始评价区域。初始评价区域是位于内窥镜图像的中央的矩形区域,其尺寸是通过对内窥镜图像的尺寸乘以规定的比率来计算的。然后,以评价区域倍率对初始评价区域进行变倍,设为评价区域。这里,评价区域倍率与通过上述式(1)计算出的累积倍率相等。参照图9对根据评价区域倍率设定的评价区域进行说明。图9(A)是AF动作开始时的内窥镜图像和初始评价区域。图9(B)是时刻t的内窥镜图像和评价区域。此时,图9(A)中的初始评价区域的尺寸和图9(B)中的评价区域的尺寸的比率是评价区域倍率Vt(与式(1)的At相等)。即,评价区域倍率越大,则评价区域的尺寸越大。计算出的评价区域倍率被输出到对比度值计算部332。
对比度值计算部332根据由评价区域设定部334输出的评价区域倍率,使用由图像取得部310输出的内窥镜图像上设定的评价区域的像素值计算对比度值。具体而言,在评价区域内对进行了高通滤波器的滤波处理的内窥镜图像的像素值进行求和,将其设为对比度值。计算出的对比度值被输出到透镜控制部333。并且,也可以将评价区域内的最大像素值和最小像素值的差设为对比度值。
透镜控制部333与第1实施方式相同,所以省略说明。
这样,通过设定用于计算对比度值的评价区域以对倍率变动进行补偿,能够降低倍率变动对对比度值的影响,能够稳定地进行AF动作。
并且,初始评价区域的尺寸是通过对内窥镜图像乘以规定的比率来计算的,但是,该规定的比率也可以根据AF动作开始时的物镜231的倍率而可变。为了进行说明,将该规定的比率设为初始评价区域倍率。图10示出该情况下的对焦控制部330的结构。与参照图9说明的对焦控制部330的不同之处在于,透镜控制信号还被输出到评价区域设定部334。评价区域设定部334根据透镜控制信号取得AF动作开始时的物镜231的倍率。参照图11对初始评价倍率与AF动作开始时的倍率的关系进行说明。与图11(A)相比,图11(B)为高倍率,所以将初始评价倍率设定为较大。通过这样设定初始评价倍率,能够通过倍率变动来减少评价区域倍率超过1.0或接近0.0的频度。这是因为,在以低倍率开始进行AF动作的情况下,从当前其成为高倍率来进行观察的可能性高,在以高倍率开始进行AF动作的情况下,与此相反。接着,对应该避免这些状况的理由进行说明。这是因为,当评价区域倍率超过1.0时,出现必须超越内窥镜图像全体来计算对比度值的可能性。但是,由于图像信号仅存在于内窥镜图像上,所以,根据对比度值来降低倍率变动的影响的效果有限。并且,这是因为,当评价区域倍率接近0.0时,根据对比度值极小的评价区域进行计算,AF动作不稳定。
显示部400将由图像取得部310输出的内窥镜图像输出到内窥镜监视器等图像显示装置上。
在本发明的一个方式中,通过倍率变动和对焦物体位置变动联动的内窥镜摄像光学系统取得内窥镜图像。根据内窥镜图像检测内窥镜摄像光学系统的倍率变动。在内窥镜图像内设定尺寸可变以补偿检测到的倍率变动的评价区域,通过对该评价区域内的像素进行高通滤波器的滤波处理,计算对比度值。通过控制摄像光学系统使得计算出的对比度值取极大值,实现AF功能。根据对尺寸进行了变更以补偿倍率变动的评价区域来计算对比度值,从而能够相对于倍率变动稳定地进行AF动作。
在以上的本实施方式中,如图8所示,对焦控制部330包括评价区域设定部334,该评价区域设定部334在图像中设定包含AF评价值的计算中使用的像素的区域即评价区域。然后,评价区域设定部334根据倍率变动,对要设定的评价区域的尺寸进行变更。
这里,如上所述,评价区域是包含AF评价值的计算中使用的像素的区域,对与该计算中使用的像素对应的被摄体进行对焦。因此,评价区域优选设定为图像上的希望对焦的位置,但是,由于很难从图像内自动识别希望对焦的区域,并且认为在放大观察中多数情况下关注图像中央,所以,在本实施方式中,在图像的中央设定评价区域。并且,在图9(A)等中使用矩形区域进行说明,但是,评价区域的形状不限于此。
由此,由于能够根据倍率变动来设定适当尺寸的评价区域,所以,能够进行稳定的AF评价值的计算。在存在倍率变动(如果为比,则倍率变动的值不是1)的状况下,由摄像光学系统摄像并显示在图像上的区域发生变化。即,也可以说被摄像的被摄体的尺寸发生变更。由此,评价区域中包含的被摄体的范围发生变化(如果是放大,则与放大前相比,在放大后的评价区域中仅包含被摄体的较窄范围)。这样,图像中包含的边缘的量等也变化,是不理想的。因此,在本实施方式中,以补偿倍率变动的形式对评价区域的尺寸进行变更。
并且,也可以是,倍率变动越大,则评价区域设定部334将评价区域的尺寸设定得越大。并且,也可以是,倍率变动越小,则评价区域设定部334将评价区域的尺寸设定得越小。
由此,能够设定与倍率变动对应的评价区域的尺寸。如上所述,在图像上的被摄体的尺寸发生了变化的情况下,评价区域中包含的边缘的量等发生变化而成为问题。由此,为了使评价区域中包含的被摄体的范围不变,只要对评价区域的尺寸进行变更即可。即,在倍率变动较大(放大)的情况下,增大评价区域的尺寸,在倍率变动较小(缩小)的情况下,减少评价区域的尺寸。
并且,也可以是,倍率变动检测部320检测第1定时与第2定时之间的倍率变动,评价区域设定部334通过对第1定时的评价区域即基准评价区域实施使用了倍率变动的值的变倍处理,设定第2定时的评价区域。
这里,第1定时也可以是AF动作的开始定时,该情况下,基准评价区域就是上述初始评价区域。
由此,能够设定与倍率变动对应的评价区域的尺寸。如上所述,为了使评价区域中包含的被摄体的范围不变,只要设定评价区域的尺寸即可。这里,如果倍率变动表示图像上的被摄体的尺寸的比(图9中的Vt),则被摄体尺寸成为Vt倍,所以,评价区域的尺寸也为Vt倍即可。如图9(A)、图9(B)那样,如果评价区域为矩形,则只要使纵长和横长分别为Vt倍,就能够求出评价区域的尺寸。另外,如果设第1定时的被摄体的尺寸为c1(单位例如为像素)、第2定时的被摄体的尺寸为c2,则Vt=c2/c1。该Vt可以根据c1、c2直接求出,但是,在本实施方式的方法中,求出相邻定时之间的倍率变动Z的直积即累积倍率At(At=Vt)。
并且,也可以是,在第1定时,摄像倍率或图像中的被摄体的尺寸越大,则评价区域设定部334将基准评价区域的尺寸设定得越大。并且,也可以是,摄像倍率或图像中的被摄体的尺寸越小,则将基准评价区域的尺寸设定得越小。
由此,能够适当设定第1定时的评价区域(基准评价区域、狭义地讲也可以是初始评价区域)的尺寸。在考虑摄像倍率的变动作为倍率变动时,容易理解。例如,使用摄像倍率能够在1倍~100倍之间变更的摄像光学系统。此时,在第1定时的摄像倍率为接近100倍的高倍率的情况下,在以后的定时(第2定时等),认为摄像倍率不怎么上升而下降的可能性高。由此,假设倍率变动为较小的值,评价区域也设定为比基准评价区域小的区域。这种情况下,为了抑制评价区域小到难以计算AF评价值,增大基准评价区域即可。相反,如果是接近1倍的低倍率,则倍率变动变大,能够想到评价区域也设定为较大区域。这种情况下,减小基准评价区域即可,使得不会设定超过图像(摄像图像、内窥镜图像)的大小的评价区域。另外,在根据图像上的被摄体的尺寸决定倍率变动的情况下,由于变动幅度(在上述例子中为1倍~100倍等)不像摄像倍率那样明确,所以,需要通过某种方法设定用于判断第1定时的被摄体尺寸较大还是较小的基准。作为一例,可以从图像中识别绝对尺寸明确的被摄体(例如给定部位的血管的粗细等),作为该被摄体在图像上的尺寸的基准。
并且,倍率变动检测部320也可以检测第2定时的被摄体的尺寸相对于第1定时的被摄体的尺寸的比,作为第2定时的倍率变动。具体而言,也可以对第1定时的图像和第2定时的图像使用相位限定相关法。并且,也可以对第1定时的图像和第2定时的图像设定多个特征点,根据所设定的多个特征点的位置检测倍率变动。
这里,第2定时在时间上不同于第1定时。
由此,能够检测不同的2个定时之间的被摄体的尺寸的比作为倍率变动。如果设第1定时的被摄体的尺寸为d1(例如像素)、第2定时的被摄体尺寸为d2,则第2定时的倍率变动Zt由Zt=d2/d1表现。例如,可以使用RIPOC法,也可以设定SIFT特征量并通过RANSAC评价对应关系来求出。
此时,各定时的被摄体尺寸不需要是绝对值。例如,考虑不同于第1、第2定时的第3定时。此时,如果求出各定时的被摄体尺寸d1、d2、d3,则求出第1与第2定时之间的倍率变动为d2/d1、第2与第3定时之间的倍率变动为d3/d2、第1与第3定时之间的倍率变动为d3/d1。但是,这样,需要始终求出被摄体的同一部分的尺寸。例如,如果在第1定时设被摄体上的第1特征点与第2特征点之间的距离为表示尺寸的信息,则在第2、第3定时,也需要求出与第1特征点对应的第1对应点和与第2特征点对应的第2对应点。但是,求出尺寸的被摄体的部分不需要始终恒定,也可以在第1、第2定时之间求出倍率变动Z12=d2/d1,在第2、第3定时之间求出倍率变动Z23=d3’/d2’。即,在求解Z12时和求解Z23时,求解被摄体的尺寸的部分可以不同。该情况下,不根据d1和d3’求出第1、第3定时之间的倍率变动,但是,能够通过Z12×Z23作为累积倍率而求出。
4.第3实施方式
参照图12对包含本实施方式的对焦控制装置的内窥镜装置进行说明。内窥镜装置具有光源部100、插入部200、信号处理部300、显示部400、外部I/F部500。除了信号处理部300以外,与第1实施方式相同,所以省略说明。
信号处理部300具有图像取得部310、倍率变动检测部320、对焦控制部330、控制部340、图像变倍部350。由摄像部230输出的RAW图像被输出到图像取得部310。图像取得部310与倍率变动检测部320和图像变倍部350连接。倍率变动检测部320与图像变倍部350连接。图像变倍部350与对焦控制部330和显示部400连接。对焦控制部330与物镜231连接,根据基于透镜控制信号的物镜231的控制,对倍率和对焦物体位置进行控制。透镜控制信号还被输出到倍率变动检测部320。控制部340与摄像部230、图像取得部310、倍率变动检测部320、对焦控制部330、图像变倍部350、显示部400、外部I/F部500双向连接,通过控制信号对它们进行相互控制。
图像取得部310与第1实施方式相同,所以省略说明。取得的内窥镜图像被输出到倍率变动检测部320和图像变倍部350。
倍率变动检测部320根据由后述对焦控制部330输出的透镜控制信号检测透镜倍率变动,根据透镜倍率变动和由图像取得部310输出的内窥镜图像检测被摄体距离变动。这里,透镜倍率变动是物镜231的倍率变动。并且,被摄体距离变动是物镜231与被摄体的相对距离变动。参照图13对本实施方式的倍率变动检测部320的具体结构进行说明。本实施方式的倍率变动检测部320具有透镜倍率变动检测部324、距离变动检测部325。由后述对焦控制部330输出的透镜控制信号被输出到透镜倍率变动检测部324。由图像取得部310输出的内窥镜图像被输出到距离变动检测部325。透镜倍率变动检测部324与距离变动检测部325和图像变倍部350连接。距离变动检测部325与图像变倍部350连接。
透镜倍率变动检测部324根据由后述对焦控制部330输出的透镜控制信号,检测伴随着物镜231的移动的倍率变动、透镜倍率变动。该动作与第1实施方式的倍率变动检测部320相同,所以省略说明。并且,透镜倍率变动与第1实施方式的倍率变动相同,但是,以下为了进行说明,对表记进行变更。检测到的透镜倍率变动被输出到距离变动检测部325和图像变倍部350
距离变动检测部325根据由图像取得部310取得的内窥镜图像和由透镜倍率变动检测部324输出的透镜倍率变动,检测被摄体与内窥镜的相对距离的变动、距离变动。具体而言,首先,检测经时的内窥镜图像的倍率变动即图像倍率变动。这与第2实施方式的倍率变动检测部320的动作相同,所以省略说明。经时的内窥镜图像的倍率变动包含基于光学系统的倍率变动的主要原因以及基于内窥镜与被摄体的相对距离变动的主要原因,能够利用它们的积来表现。即,图像倍率变动是透镜倍率变动与距离变动之积,通过将图像倍率变动除以透镜倍率变动,能够检测距离变动。检测到的距离变动被输出到图像变倍部350。
图像变倍部350在根据控制信号检测到AF动作的开始时,根据由倍率变动检测部320输出的倍率变动对由图像取得部310输出的内窥镜图像进行放大或缩小。之后,将放大缩小处理合记为变倍处理。首先,根据倍率变动,通过下式(3)计算变倍率(图像变倍率)。
【数学式3】
其中,t表示当前时刻,Mt表示当前时刻的变倍率,s表示AF动作开始的时刻。并且,i是表示时刻的索引,Z是倍率变动,A与式(1)同样是累积倍率。即,变倍率是从AF动作开始时到当前的倍率变动的直积(累积倍率)的倒数。
根据图14(A)~图14(E)对变倍处理(图像变倍处理)进行说明。图14(A)是AF开始时的内窥镜图像。在如图14(B)那样变倍率大于1.0的情况下(即累积倍率小于1.0的情况下),如图14(D)那样放大内窥镜图像,成为变倍图像。并且,在如图14(C)那样变倍率小于1.0的情况下(累积倍率大于1.0的情况下),如图14(E)那样缩小内窥镜图像,成为变倍图像。变倍处理后的内窥镜图像作为变倍图像而输出到对焦控制部330和显示部400。由此,在AF动作中,被摄体的大小没有变化的图像被输出到对焦控制部330和显示部400。对焦控制部能够降低由于倍率变动而导致的影响,能够计算后述对比度值。并且,显示部400能够抑制伴随着倍率变动而使被摄体的显示倍率频繁变动、从而使用户引起影像眼晕的现象。进行变倍处理,直到AF动作结束为止。并且,在不是AF动作中的情况下,直接将所输入的内窥镜图像输出到显示部400。
并且,图像变倍部350也可以在输出到对焦控制部330的变倍图像和输出到显示部400的变倍图像中进行不同的变倍处理。具体而言,也可以使用根据通过上式(3)求出的变倍率而计算出的基准倍率,对输出到显示部400的变倍图像进行变倍处理。根据下式(4)计算基准倍率。另一方面,与上述说明同样,对输出到对焦控制部330的变倍图像进行变倍处理。
【数学式4】
其中,Bt是当前时刻的基准倍率。即,基准倍率是从时刻s到当前时刻的变倍率的平均。以基准倍率进行变倍处理后的变倍图像被输出到显示部400。在不使用基准倍率的情况下,在AF动作中,显示被摄体的大小不变的图像,但是,由于变倍处理会使图像的分辨率发生变化,所以,用户可能感觉到不舒适。这是因为,变倍处理需要进行插值处理,由于该插值处理而使图像的频率特性发生变化。通过使用基准倍率,能够抑制被摄体的显示倍率变动,并且还能够减小分辨率的变化。
并且,也可以根据规定的容许变倍率对输出到显示部400的变倍图像进行变倍处理。通过下式(5)计算该情况下的变倍率。
【数学式5】
其中,R是容许变倍率,取0.0~1.0的值。即,将被摄体的显示倍率的变动抑制在由容许变倍率表现的范围内,计算变倍率。以下为了进行说明,将由容许变倍率表现的范围表记为容许变倍范围。并且,针对倍率变动值和被摄体显示倍率变动(例如图15(B)与图15(E)之间的被摄体尺寸的比)的双方定义容许变倍范围,但是,由于规定范围的值相等,所以,不特意区分来进行说明。参照图16(A)~图16(E)对利用了容许变倍范围的变倍处理进行说明。图16(A)~图16(E)是时刻t的倍率变动值高于容许变倍范围的情况。图16(A)是时刻t-1取得的内窥镜图像。图16(B)是时刻t-1进行变倍处理后的变倍图像。图16(C)是时刻t取得的内窥镜图像。图16(D)是图16(B)所示的内窥镜图像以及以被摄体的显示倍率相等的方式进行变倍处理后的变倍图像。图16(E)是容许被摄体的显示倍率变动到达容许变倍范围的上限的变倍图像。图17(A)~图17(E)是时刻t的倍率变动值低于容许变倍范围的情况。图17(A)是时刻t-1取得的内窥镜图像。图17(B)是时刻t-1进行变倍处理后的变倍图像。图17(C)是时刻t取得的内窥镜图像。图17(D)是图17(B)所示的内窥镜图像以及以被摄体的显示倍率相等的方式进行变倍处理后的变倍图像。图17(E)是容许被摄体的显示倍率变动到达容许变倍范围的下限的变倍图像。由此,能够在容许变倍范围内抑制显示倍率的变动,使得不会使用户引起影像眼晕,并且,还能够减小分辨率的变化。
并且,也可以在输出到对焦控制部330的变倍图像和输出到显示部400的变倍图像中,根据不同的倍率变动值计算变倍率,进行变倍处理。具体而言,也可以根据由透镜倍率变动检测部324输出的透镜倍率变动与由距离变动检测部325输出的距离变动之积,对输出到对焦控制部330的变倍图像进行变倍处理。但是,以仅补偿透镜倍率变动的方式,对输出到显示部400的变倍图像进行变倍处理。由此,针对由于与被摄体之间的相对距离变动而引起的内窥镜图像的频率特性变化,能够稳定地进行AF动作。另一方面,通过仅补偿透镜倍率变动而不补偿距离变动,能够减少由于内窥镜操作而引起的与被摄体之间的相对距离变动和所显示的图像的偏移。
并且,也可以在AF动作结束后继续进行针对输出到显示部400的变倍图像的变倍处理。具体而言,在AF动作结束后,继续进行变倍处理,直到上式(5)所示的Mt满足下式(6)为止。
【数学式6】
其中,与倍率变动值无关,仅通过上式(6)计算AF动作结束后的变倍率Mt。或者,也可以继续进行变倍处理,直到经过规定的时间为止。
在AF动作结束后,当突然结束针对输出到显示部400的变倍图像的变倍处理时,在AF动作结束前后,被摄体的显示倍率大幅变化,用户可能感觉到不舒适。由此,能够缓和AF动作结束前后的显示倍率变化,能够减少用户的不舒适感。
对焦控制部330在根据控制信号检测到AF动作的开始时,根据由后述图像变倍部350输出的变倍图像的像素值,进行物镜231的控制,对对焦物体位置进行控制。参照图18对对焦控制部330的具体结构进行说明。对焦控制部330具有对比度值计算部332和透镜控制部333。由图像变倍部350输出的变倍图像被输出到对比度值计算部332。对比度值计算部332与透镜控制部333连接。透镜控制部333与物镜231连接,通过输出透镜控制信号,对其进行控制。并且,透镜控制信号还被输出到倍率变动检测部320。
对比度值计算部332对由图像变倍部350输出的变倍图像进行滤波处理,计算对比度值。具体而言,对比度值是进行滤波处理后的变倍图像的像素值在位于变倍图像中央的规定尺寸的矩形区域中的总和。这里,滤波处理中利用的滤波器是公知的高通滤波器。计算出的对比度值被输出到透镜控制部333。
透镜控制部333根据由对比度值计算部332输出的对比度值,输出对物镜231进行控制的透镜控制信号。基于对比度值的具体的对焦控制方法作为AF技术是公知的,所以省略详细的技术说明。透镜控制信号被输出到物镜231和倍率变动检测部320。
显示部400将由图像变倍部350输出的变倍图像输出到内窥镜监视器等图像显示装置上。但是,在变倍图像的尺寸比可显示的图像尺寸大的情况下,仅从变倍图像的中央提取可显示的图像尺寸进行显示。并且,在变倍图像的尺寸比可显示的图像尺寸小的情况下,在中央显示变倍图像,周围的显示区域显示黑电平。并且,也可以始终对所输出的图像(在AF动作中以外是内窥镜图像,在AF动作中是变倍图像)进行些许变倍(放大)处理,显示其中央部。由此,能够降低在显示区域中显示黑电平的频度。
并且,在本实施方式的距离变动检测部325中,根据光学系统的倍率变动和图像的倍率变动来计算距离变动,但是,在内窥镜本身具有某种测距单元例如双眼结构的三角测量等的情况下,也可以通过该测距单元直接进行计算。
在本发明的一个方式中,通过倍率变动和对焦物体位置变动联动的内窥镜摄像光学系统取得内窥镜图像。根据内窥镜摄像光学系统的控制信号和内窥镜图像,检测内窥镜摄像光学系统的倍率变动以及内窥镜与被摄体的相对距离变动。根据检测到的倍率变动,对内窥镜图像进行变倍处理以补偿倍率变动。通过对变倍处理后的内窥镜图像进行高通滤波器的滤波处理,计算对比度值。通过对摄像光学系统进行控制使得计算出的对比度值取极大值,实现AF功能。根据进行变倍处理以补偿倍率变动的内窥镜图像计算对比度值,从而能够相对于倍率变动稳定地进行AF动作。并且,通过伴随着倍率变动而对显示给用户的图像进行变倍,能够减少由于被摄体的显示倍率的频繁变动而引起的影像眼晕。并且,对内窥镜光学系统的倍率变动和与被摄体之间的相对距离变动进行补偿来计算AF的对比度值,通过仅补偿内窥镜光学系统的倍率变动而对显示图像进行变倍处理,能够使AF动作稳定,并且,通过在显示图像中不补偿相对距离变动,能够减少由于操作而引起的内窥镜移动和显示图像的不舒适感。
在以上的本实施方式中,如图12所示,对焦控制装置包括图像变倍部350,该图像变倍部350根据倍率变动,对图像实施图像变倍处理,取得变倍图像。然后,对焦控制部330根据变倍图像计算表示摄像光学系统的焦点状态的AF评价值。
由此,由于能够根据倍率变动取得适当尺寸的变倍图像,所以,能够进行稳定的AF评价值的计算。在存在倍率变动的情况下,图像中包含的边缘的量等发生变化,妨碍AF评价值的计算,所以,在进行对其进行补偿的处理的方面与第2实施方式相同。本实施方式与第2实施方式的不同之处在于,设评价区域恒定,对图像本身的大小进行变更。
并且,也可以是,倍率变动越大,图像变倍部350取得越小的所述变倍图像。并且,也可以是倍率变动越小,取得越大的变倍图像。
由此,能够取得与倍率变动对应的大小的变倍图像。在倍率变动较大的情况下,可以说是图像(内窥镜图像)被放大,所以,进行缩小处理作为图像变倍处理,取得较小的变倍图像。这相当于,在内窥镜图像从图14(A)放大到图14(C)的情况下,通过对图14(C)进行缩小处理,取得图14(E)所示的变倍图像。由此,在图14(A)和图14(E)中,被摄体尺寸相同,所以,抑制了评价区域(在本实施方式中为固定尺寸的区域)中包含的边缘的量等的变动。相反,在如图14(A)到图14(B)那样倍率变动较小(缩小)的情况下,对图14(B)实施放大处理作为图像变倍处理,取得图14(D)的变倍图像即可。
并且,倍率变动检测部320也可以检测第1定时与第2定时之间的倍率变动,图像变倍部350通过对图像取得部在第2定时取得的图像实施使用了倍率变动的值的倒数的图像变倍处理,取得变倍图像。
由此,作为图像变倍处理的具体例,能够进行使用了倍率变动的值的倒数的处理。这里,倍率变动是第1定时的被摄体的尺寸(或摄像倍率)与第2定时的被摄体的尺寸之比。即,在设第1定时的被摄体的尺寸为e1(单位例如为像素)、设第2定时的被摄体尺寸为e2的情况下,倍率变动Z为Z=e2/e1。此时,当设图像变倍处理中使用的倍率(图像变倍率)为M时,M=1/Z。使用具体数字示出例子。设第1定时的被摄体尺寸e1=10(例如对应于图14(A)),设第2定时的被摄体尺寸e2=5(例如对应于图14(B))。该情况下,倍率变动Z=5/10=0.5。此时,实施使减小的被摄体尺寸返回10的图像变倍处理即可,所以,设图像变倍率M为M=1/0.5=2即可。在第2定时,为了对该定时取得的图像(内窥镜图像,图14(B))进行图像变倍处理,对第2定时的变倍图像进行2倍的放大处理(变倍图像对应于图14(D))。由此,在第2定时的内窥镜图像中,通过对被摄体尺寸为5的图像进行2倍的图像变倍处理,被摄体尺寸放大到10。由此,能够使第1定时的被摄体尺寸(e1=10)和第2定时的变倍图像的被摄体尺寸相同。另外,在倍率变动大于1的情况下(放大的情况下),处理也相同,能够对增大的被摄体尺寸进行缩小。
并且,图像变倍部350也可以将所取得的变倍图像输出到对焦控制部330,并且输出到显示装置(对应于图12的显示部400)。
由此,能够在显示装置中显示通过图像变倍处理而取得的变倍图像。在第1、第2实施方式中,进行了能够稳定地计算AF评价值的处理,但是,作为显示装置(显示部400)中显示的显示图像,直接使用图像取得部310取得的图像。由此,由于伴随着对焦动作时引起的对焦物体位置的变动(例如对比度AF的摆动等)的倍率变动,无法避免在显示图像中产生闪烁。例如,如果以时间序列取得图14(A)~图14(C),则被摄体减小或增大。因此,将由图像变倍部350取得的变倍图像输出到显示装置。这样,由于显示进行了补偿倍率变动(例如摄像倍率的变动)的图像变倍处理后的图像,所以能够抑制闪烁。例如,如果以时间序列取得图14(A)~图14(C),则按照图14(A)、图14(D)、图14(E)的顺序显示显示图像。
并且,图像变倍部350也可以将对图像进行了第1图像变倍处理后的第1变倍图像输出到对焦控制部330,并且,将对图像进行了第2图像变倍处理后的第2变倍图像输出到显示装置。
这里,第1图像变倍处理和第2图像变倍处理是不同的处理,例如,可以是图像变倍处理中使用的图像变倍率不同的处理。
由此,能够使输出到对焦控制部330的变倍图像和输出到显示装置的变倍图像不同。由此,在适于对焦控制部330中的AF评价值计算处理的变倍图像和适于显示装置的显示的变倍图像不同的情况下,也能够输出分别合适的变倍图像。
并且,倍率变动检测部320也可以检测图像中的被摄体的尺寸的变动即第1倍率变动和摄像倍率的变动即第2倍率变动,作为倍率变动。而且,作为第1图像变倍处理,图像变倍部350进行基于第1倍率变动的图像变倍处理,取得第1变倍图像并将其输出到对焦控制部330。并且,作为第2图像变倍处理,进行基于第2倍率变动的图像变倍处理,取得第2变倍图像并将其输出到显示装置。
由此,针对输出到对焦控制部330的变倍图像,能够进行使用了被摄体尺寸的变动作为倍率变动的图像变倍处理。并且,针对输出到显示装置的变倍图像,能够进行使用了摄像倍率的变动作为倍率变动的图像变倍处理。这里,摄像倍率的变动(第2倍率变动)是由于摄像光学系统的变化而引起的,与此相对,图像中的被摄体尺寸的变动(第1倍率变动)除了包含基于摄像倍率的变动以外,还包含摄像部(插入部200)与被摄体的相对距离的变动等多个主要原因。由于本实施方式中的图像变倍处理是对倍率变动的影响进行补偿的处理,所以,在第1图像变倍处理和第2图像变倍处理中,通过切换要使用的倍率变动,能够进行在一方中对某个倍率变动主要原因进行补偿、在另一方中不进行补偿的处理。
此时,通过针对图像的图像处理(例如高频成分的提取等),进行对焦控制部330中的AF评价值计算处理。由此,在与针对对焦控制部330的输出对应的第1图像变倍处理中,对图像赋予变动的主要原因无论是摄像倍率还是相对距离优选全部进行补偿。因此,第1图像变倍处理中使用的倍率变动(第1倍率变动)使用图像中的被摄体的尺寸的变动。与此相对,考虑在显示装置的显示图像中不优选补偿的倍率变动主要原因。例如,当对摄像部与被摄体的相对距离进行补偿时,进行抑制由于该相对距离的变动而导致的图像的变动的方向的图像变倍处理。于是,即使用户操作摄像部而前后移动,也能够抑制所显示的图像的变动。很难判断用户的操作是否反映给设备,根据情况,可能使摄像部过于接近被摄体而发生碰撞。由此,第2图像变倍处理中使用的倍率变动(第2倍率变动)使用摄像倍率的变动。
并且,当在第1~第N(N为2以上(包含该值)的整数)定时的期间内进行图像变倍部350中的图像变倍处理的情况下,倍率变动检测部320也可以在第i(1≦i≦N)定时检测第i倍率变动。然后,作为第k(1≦k≦N)定时的第2图像变倍处理,图像变倍部350可以通过进行基于第1~第k倍率变动的处理,取得第2变倍图像并将其输出到显示装置。
由此,能够抑制显示装置中显示的图像的分辨率的变动,能够提供自然的图像。在本实施方式中,在设给定的基准定时的摄像倍率为g0、第k定时的摄像倍率为gk的情况下,设第k倍率变动Ak为Ak=gk/g0。另外,Ak相当于上述说明中的累积倍率,该累积倍率可以通过相邻的定时之间的倍率变动(摄像倍率的比)的直积而求出。此时,所谓第k定时的图像变倍处理是指:对该定时取得的图像(内窥镜图像)实施1/Ak倍的变倍处理,抑制由于基准定时与第k定时之间的摄像倍率的变动而导致的影响。但是,基于图像变倍处理的补偿伴有图像的放大缩小,产生分辨率的变动。例如,在放大处理中,由于进行像素值的插值处理,所以边缘钝化。当分辨率这样变动时,可能成为用户不好观察的图像而妨碍观察等。由此,这里,不是直接使用1/Ak作为图像变倍处理的倍率(图像变倍率),也使用过去的定时(第1~第k-1定时)的倍率变动A1~Ak-1。具体而言,如上述式(4)的方法那样,可以求出某个定时t的图像变倍率Bt作为从某个定时s到定时t的图像变倍率的平均值(倍率变动A的倒数的平均值)。由此,虽然残留有某个程度的倍率变动的影响(摄像倍率的变动的影响),但是能够抑制分辨率的变动,能够对用户提供自然的图像。
并且,当在第1~第N(N为2以上(包含该值)的整数)定时的期间内进行图像变倍部350中的图像变倍处理的情况下,倍率变动检测部320也可以在第i(1≦i≦N)定时检测第i倍率变动。然后,图像变倍部350判定第m(1≦m≦N)定时的倍率变动是否包含在给定的容许变倍范围内,当包含在容许变倍范围内的情况下,作为第m定时的第2图像变倍处理,进行与第m定时之前的第m-1定时的第2图像变倍处理相同的图像变倍处理。并且,当未包含在容许变倍范围内的情况下,作为第m定时的第2图像变倍处理,进行使用了比第m倍率变动的值的倒数更接近1的值的图像变倍处理。
能够抑制显示装置中显示的图像的分辨率的变动并提供自然的图像。在倍率变动的影响的补偿处理中,通过勉强减弱处理的强度,虽然多少残留有倍率变动的影响,但是抑制了分辨率的变动,这点与上述例子相同。
具体而言,考虑上式(5)和图15(A)~图15(E)等所示的方法。在上式(5)中,Mt是定时t的图像变倍率,1.0-R~1.0+R是容许变倍率(如果设R=0.1,则为0.9~1.1;R是小于1的正数),Zt是定时t的倍率变动,例如是定时t的摄像倍率相对于定时t-1的摄像倍率的比。在1.0-R≦Zt≦1.0+R的情况下、即倍率变动(也可以是摄像倍率的变动,但是,为了易于理解说明,使用图像中的被摄体尺寸的变动进行叙述)在容许变倍率的范围内的情况下,定时t的图像变倍率Mt使用定时t-1的图像变倍率Mt-1。由于倍率变动为Zt,所以,相对于图15(A),图15(C)的图像的被摄体尺寸成为Zt倍。并且,由于定时t-1的图像变倍率为Mt-1,所以,相对于图15(A),定时t-1的显示图像(变倍图像)即图15(B)的图像的被摄体尺寸成为Mt-1倍。这里,由于用于稳定地计算AF评价值的图像变倍处理是使图像中的被摄体尺寸保持相同的处理,所以,需要使定时t的变倍图像的被摄体尺寸与图15(B)相同。由于图15(C)相对于图15(A)的比率为Zt、图15(B)相对于图15(A)的比率为Mt-1,所以,对图15(C)实施了Mt-1/Zt倍的图像变倍处理后的图15(D)应该被输出到显示装置。但是,这里,由于容许某种程度的倍率变动的影响(被摄体尺寸的变动),所以,设为Mt=Mt-1,将对图15(C)实施了Mt-1倍的图像变倍处理后的图15(E)作为输出到显示装置的输出图像。即,显示图像从图15(B)变化为图15(E),被摄体尺寸相差Zt倍。
与此相对,在倍率变动为容许变倍率的范围外、例如Zt<1.0-R的情况下,如图16(A)~图16(E)所示。在定时t-1和定时t不对变倍图像中的被摄体尺寸进行变更的情况下,定时t的变倍图像如图16(D)所示。但是,在使用图16(D)的情况下,由于Zt小到脱离容许变倍率的程度,所以,进行某种程度的较大的图像变倍率的放大处理,在图16(B)~图16(D)之间,分辨率大幅变化。因此,通过设为Mt=(1.0-R)Mt-1/Zt,求出作为变倍图像的图16(E)。由此,能够使图16(E)相对于图16(B)的被摄体尺寸的比为1.0-R。即,在倍率变动小于容许变倍率的下限值的情况下,进行使显示图像的被摄体尺寸的变动收敛于该下限值的图像变倍处理。
同样,如图17(A)~图17(E)所示,在倍率变动大于容许变倍率的上限值的情况下,进行使显示图像的被摄体尺寸的变动收敛于该上限值的图像变倍处理。即,输出与倍率变动对应的变倍图像,但是,如果相邻定时之间的显示图像上的被摄体尺寸变动为容许变倍率的范围内,则能够容许该变动。由此,虽然残留有某种程度的倍率变动的影响,但是能够抑制分辨率的变动,能够对用户提供自然的图像。
并且,如图13所示,倍率变动检测部320也可以包括距离变动检测部325,该距离变动检测部325检测从摄像光学系统到被摄体的距离信息的变动。然后,距离变动检测部325根据摄像倍率的变动和被摄体的尺寸的变动,检测距离信息的变动。
由此,能够检测表示从摄像光学系统到被摄体的相对距离的距离信息的变动。作为图像中的被摄体尺寸的变动主要原因,考虑摄像倍率的变动和距离信息的变动。由此,如果能够忽略其他主要原因,则在设摄像倍率的变动为N、距离信息的变动为M的情况下,摄像倍率的变动即第1倍率变动由N表现,被摄体尺寸的变动即第2倍率变动由N×M表现。由此,通过将第2倍率变动除以第1倍率变动而求出M。另外,由于M是距离信息的变动(例如2个定时之间的距离信息的比),所以,在求解各定时的距离的情况下,认为还需要进行某些处理。
5.第4实施方式
在第3实施方式中,如上所述,为了不妨碍用户的诊断,优选在利用显示部400进行显示时也使用图像变倍处理后的图像。但是,在第3实施方式的方法中,没有考虑倍率变动中包含由于摆动以外的主要原因而引起的变动的情况。
具体而言,在进行AF评价值计算用的变焦透镜的驱动(摆动)、并且以改变摄像倍率为目的(例如以放大被摄体进行观察为目的)对变焦透镜进行驱动的情况下,对由于摆动而引起的高频的倍率变动和伴随着有意的倍率变更的低频的倍率变动进行合成后的倍率变动(例如图23所示的变动)成为倍率变动检测部320中检测到的倍率变动。
该情况下,如上所述,由于摆动而引起的高频的倍率变动妨碍观察和诊断,所以,优选进行抑制该倍率变动的图像变倍处理。另一方面,由于低频的倍率变动是反映了用户意图的基于变焦透镜的驱动的变动,所以,优选不抑制该倍率变动。这是因为,例如,虽然用户要放大被摄体而指示了变焦透镜的驱动,但是,该指示未反映给显示部400中显示的图像(被摄体尺寸未变)。
由此,在本实施方式中,使用如下方法:根据由倍率变动检测部320输出的倍率变动(这里包含Z[t]和累积倍率A[t])检测由于摆动而引起的高频的倍率变动,通过与低频的倍率变动进行分离,抑制高频的倍率变动对显示图像的影响,并且维持低频的倍率变动对显示图像的影响。
并且,在根据被摄体的尺寸检测倍率变动的情况下,进行摆动,并且在摄像部230自身接近被摄体的情况下(广义地讲,摄像部230的光轴方向上的被摄体与摄像部230之间的距离发生变化的情况下),也产生同样的问题。这是因为,由于距离变化而使图像上的被摄体尺寸变动,所以,对由于摆动而引起的高频的倍率变动和伴随着距离变化的低频的倍率变动进行合成后的倍率变动成为倍率变动检测部320中检测到的倍率变动。另外,在根据来自摄像光学系统的控制信息检测倍率变动的情况下,由于检测到的倍率变动不受距离变化的影响,所以,不会进行过度的图像变倍处理(抑制期望视场角变动的处理)。
参照图20对包含本实施方式的对焦控制装置的内窥镜装置进行说明。内窥镜装置具有光源部100、插入部200、信号处理部300、显示部400、外部I/F部500。除了信号处理部300以外,与第1实施方式相同,所以省略说明。
信号处理部300具有图像取得部310、倍率变动检测部320、对焦控制部330、控制部340、图像变倍部350。由摄像部230输出的RAW图像被输出到图像取得部310。图像取得部310与倍率变动检测部320、图像变倍部350、对焦控制部330连接。倍率变动检测部320与图像变倍部350和对焦控制部330连接。图像变倍部350与显示部400连接。对焦控制部330与物镜231连接,根据基于透镜控制信号的物镜231的控制,对倍率和对焦物体位置进行控制。控制部340与摄像部230、图像取得部310、倍率变动检测部320、对焦控制部330、图像变倍部350、显示部400、外部I/F部500双向连接,通过控制信号对它们进行相互控制。
与第2实施方式同样,假设本实施方式的倍率变动检测部320检测内窥镜图像中的被摄体的尺寸变化作为倍率变动。但是,也可以构成为,与第1实施方式同样,根据透镜控制信号检测物镜231的倍率变动,还可以使用被摄体的尺寸变化和物镜231的倍率变动双方。
并且,在图12所示的第3实施方式的图像变倍部350中,对对焦控制部330和显示部400双方输出图像变倍处理后的变倍图像。但是,本实施方式的图像变倍部350至少对显示部400输出变倍图像(显示图像)。本实施方式的对焦控制部330中的处理可以使用第1~第3实施方式中的任意一种方法,所以,如果是第1或第2实施方式的方法,则不需要对对焦控制部330输出变倍图像,但是,如果是第3实施方式的方法,则需要对对焦控制部330输出变倍图像。
参照图21对本实施方式的图像变倍部350的结构进行说明。图像变倍部350具有变动倍率蓄积部351、显示倍率调整部352和图像调整部353。倍率变动检测部320与变动倍率蓄积部351和显示倍率调整部352连接。变动倍率蓄积部351经由显示倍率调整部352和图像调整部353而与显示部400连接。图像取得部310与图像调整部353连接。控制部340与变动倍率蓄积部351、显示倍率调整部352和图像调整部353双向连接,通过控制信号对它们进行相互控制。
倍率变动检测部320将倍率变动输出到变动倍率蓄积部351和显示倍率调整部352。并且,将累积倍率输出到显示倍率调整部352。
变动倍率蓄积部351使与当前时刻对应的图像的倍率变动延迟1帧,将其输出到显示倍率调整部352。
显示倍率调整部352根据由倍率变动检测部320输出的倍率变动和累积倍率以及由变动倍率蓄积部351输出的前1帧的倍率变动,根据累积倍率对由于摆动而引起的高频的变倍成分进行平滑,计算与由于伴随着变焦控制的移动而引起的低频成分对应的显示倍率。
参照图22对本实施方式的显示倍率调整部352的结构进行说明。显示倍率调整部352具有倍率差分计算部520、倍率差分平均计算部521、校正倍率计算部522、显示倍率校正部523。倍率变动检测部320与倍率差分计算部520连接。变动倍率蓄积部351与倍率差分计算部520和倍率差分平均计算部521连接。倍率差分计算部520经由倍率差分平均计算部521、校正倍率计算部522和显示倍率校正部523而与图像调整部353连接。控制部340与倍率差分计算部520、倍率差分平均计算部521、校正倍率计算部522、显示倍率校正部523双向连接,通过控制信号对它们进行相互控制。
倍率差分计算部520通过下式(7),计算从倍率变动检测部320输出的与当前时刻对应的图像的倍率变动和从变动倍率蓄积部351输出的时间上为前1帧的图像的倍率变动的差分值,将其结果转送到倍率差分平均计算部521。
C[t]=Z[t]-Z[t-1]·····(7)
其中,t表示当前时刻,Z[t]表示与当前时刻对应的图像的倍率变动,Z[t-1]表示时间上紧挨着的之前的图像(前1帧的图像)的倍率变动,C[t]表示当前时刻的倍率变动差分值。另外,由于倍率变动Z[t]和累积倍率A[t]是表示倍率的值,所以取正值,与此相对,由于C[t]表示倍率变动的差分值,所以还可以取负值。
倍率差分平均计算部521根据下式(8)计算倍率差分平均值,将其转送到校正倍率计算部522。
【数学式7】
其中,t表示当前时刻,s表示AF动作开始的时刻,AvC表示倍率差分平均值,N表示从AF动作开始的时刻到当前时刻进行摄像而得到的图像的张数,C[i]表示倍率变动差分值。
这里,本申请人确认到,根据下式(9)求出的D[t]是从累积倍率A[t]中除去高频的倍率变动成分后的值(广义地讲为从累积倍率A[t]中减去高频的倍率变动成分后的值),例如相当于图23的F1。由此,校正倍率计算部522根据下式(9)计算除去了由于摆动而引起的高频成分后的倍率变动,将其转送到显示倍率校正部523。
D[t]=A[t]-(C[t]-AvC)·····(9)
其中,t表示当前时刻,A[t]表示当前时刻的累积倍率,C[t]表示当前时刻的倍率变动差分值,AvC表示倍率差分平均值,D[t]表示除去了由于摆动而引起的高频成分后的倍率变动。在图23中,使用定时t1和定时t2作为具体例说明该处理。另外,与其说D[t]和后述E[t]是时刻t与其之前的定时之间的倍率的比,不如说是相当于其直积(相当于时刻t与给定的基准定时之间的倍率的比)的值。由此,D[t]和E[t]的值的意思是:不是Z[t],而是接近累积倍率A[t]。
并且,图24示出(C[t]-AvC)的时间变化的例子,图25示出D[t]的时间变化的例子。如上所述,优选使相当于D[t]的倍率变动反映到显示图像中。由此,将D[t]设定为目标倍率变动进行图像变倍处理,使得显示图像成为相对于基准倍率(例如AF控制开始时的倍率等)为D[t]倍的图像即可。
具体而言,显示倍率校正部523使用下式(10)计算用于对显示倍率进行校正的显示倍率校正系数,将其转送到图像调整部353。
E[t]=A[t]/D[t]·····(10)
其中,t表示当前时刻,A[t]表示当前时刻的累积倍率,D[t]表示除去了由于摆动而引起的高频成分后的倍率变动,E[t]表示显示倍率校正系数。这里,由于A[t]包含高频和低频双方,D[t]是除去了高频后的倍率变动(相当于低频),所以,E[t]对应于与由于摆动而引起的高频成分相当的倍率变动。
当假设对图像取得部310取得的图像进行使用了A[t]的图像变倍处理时(例如进行将第3实施方式所示的B[t]=1/A[t]作为变倍系数的处理时),如上所述,对应该反映到显示图像中的低频的倍率变动也进行校正。这是由于根据上式(10)在校正系数中使用D[t]和E[t]双方而引起的。即,如果进行使用了通过上式(10)求出的E[t]的图像变倍处理(具体而言为将1/E[t]作为变倍系数的图像变倍处理),则能够生成期望的显示图像。
由此,图像调整部353使用由显示倍率校正部523输入的显示倍率校正系数,针对由图像取得部310输入的图像调整图像尺寸。
图26示出调整图像尺寸以对由于摆动而引起的影响进行校正的结构。另外,图26的各视场角区域表示被摄像的被摄体的范围,假设由摄像部230进行摄像并由图像取得部310取得的图像的尺寸本身相同。即,视场角区域越大,则越宽范围的被摄体收敛于给定大小的图像,所以,换成倍率描述时,对应于低倍率(缩小的状态)。
如图26所示,沿着摄像视场角区域的大小的升序,存在实际摄像视场角区域1(存在摆动)、目标摄像视场角区域(没有摆动)和实际摄像视场角区域2(存在摆动)。实际摄像视场角区域1(存在摆动)对应于由于物镜231的摆动的影响、物镜231的位置比未产生摆动时的透镜位置在Z方向(垂直方向)上更远离对象物时的摄像视场角区域。与此相对,实际摄像视场角区域2(存在摆动)对应于由于物镜231的摆动的影响、物镜231比未产生摆动时的透镜位置在Z方向上更接近对象物时的摄像视场角区域。另一方面,目标摄像视场角区域(没有摆动)对应于未产生摆动时的摄像视场角区域。在本实施例中,对图像尺寸进行调整,使得即使由于摆动的影响而使视场角区域发生变化,显示部400中显示的显示图像所包含的被摄体的范围也对应于目标摄像视场角区域(没有摆动)(狭义地讲为相同)。由此,能够抑制摆动对显示图像的影响。当存在低频的倍率变动的情况下,由于目标摄像视场角区域(没有摆动)的大小也随其变化,所以,如果将目标摄像视场角区域(没有摆动)作为目标,则不会校正低频的倍率变动。
参照图27对本实施方式的图像调整部353的结构进行说明。图像调整部353具有放大缩小部720、图像尺寸控制部721。显示倍率调整部352经由放大缩小部720、图像尺寸控制部721而与显示部400连接。图像取得部310与放大缩小部720连接。控制部340与放大缩小部720、图像尺寸控制部721双向连接,通过控制信号对它们进行相互控制。
放大缩小部720根据控制部340的控制,针对来自图像取得部310的图像(图像尺寸:横宽imgWidth、纵宽imgHeight),使用来自显示倍率调整部352的显示倍率校正系数E[t]进行放大缩小处理。
在实际摄像视场角区域1(存在摆动)的情况下,通过上式(10)计算出的显示倍率校正系数E[t]小于1,与目标相比,成为倍率较低(缩小)的状态。由此,通过公知的插值技术,对来自图像取得部310的图像进行放大处理。
另一方面,在实际摄像视场角区域2(存在摆动)的情况下,通过上式(10)计算出的显示倍率校正系数E[t]大于1,与目标相比,成为倍率较高(放大)的状态。由此,通过公知的插值技术,对来自图像取得部310的图像进行缩小处理。放大缩小部720将放大缩小处理后的图像转送到图像尺寸控制部721。
图像尺寸控制部721根据控制部340的控制,对来自放大缩小部720的图像进行用于将其显示在显示部400中的图像尺寸控制处理。图28(A)、图28(B)示出处理的具体例。另外,图28(A)、图28(B)示出对图像取得部310取得的图像进行了图像变倍处理后的变倍图像的尺寸。具体而言,示出进行了所述图像变倍处理使得在假设利用摄像部230对目标摄像视场角区域进行摄像时的假想图像和图像变倍处理后的图像中被摄体的尺寸相同时的图像变倍处理后的图像尺寸。
如图28(A)所示,在实际摄像视场角区域1(存在摆动)的情况下,通过放大处理,从放大缩小部720输出的图像尺寸比图像取得部310取得的图像尺寸(横宽imgWidth、纵宽imgHeight)大。因此,在本实施例中,图像尺寸控制部721对来自放大缩小部720的图像实施切出处理。具体而言,对放大后的图像实施如下处理:以位于图像的纵宽、横宽中心的像素为中心,按照目标摄像视场角区域的图像尺寸,上下左右对称地切出图像。
另一方面,如图28(B)所示,在实际摄像视场角区域2(存在摆动)的情况下,通过缩小处理,从放大缩小部720输出的图像尺寸比图像取得部310取得的图像尺寸(横宽imgWidth、纵宽imgHeight)小。因此,在本实施例中,图像尺寸控制部721对来自放大缩小部720的图像实施周边插值处理。具体而言,由于缩小后的图像比目标摄像视场角区域的图像尺寸小,所以,针对缩小图像,以位于图像的纵宽、横宽中心的像素为中心,上下左右对称地对不满足横宽imgWidth、纵宽imgHeight的周边区域(图28(B)所示的虚线和实线所包围的部分)附加像素进行插值。例如,将位于该周边区域的像素的像素值全部设定为固定值(例如0)即可。将插值处理后的图像输出到显示部400进行显示。
另外,关于图像插值处理,公知有各种方法,例如可以使用公知的反射镜方式或复制方式等插值方法。
这样,通过根据由图像取得部310输入的内窥镜图像检测倍率变动并对用于显示的图像尺寸进行调整,能够抑制由于摆动而引起的高频成分。
另外,在本实施方式中,如图26所示,例示将没有摆动的状态下的视场角作为目标摄像视场角区域对图像尺寸进行调整的结构例,但是不限于此。作为本实施方式的变形例,也可以构成为将所述实际摄像视场角区域2(存在摆动)作为目标摄像视场角区域。
例如,显示倍率校正部523也可以通过下式(11)或(12)计算用于除去由于摆动而引起的高频成分的图像变倍处理中使用的显示倍率校正系数,并将其转送到图像调整部353。
E’[t]=(A[t]*A[t])/(D[t]*D[t])*P1·····(11)
E’[t]=(A[t]*A[t])/(D[t]*D[t])+P2·····(12)
其中,t表示当前时刻,A[t]表示当前时刻的累积倍率,D[t]表示除去了由于摆动而引起的高频成分后的倍率变动,E’[t]表示显示倍率校正系数,P1、P2表示常数。
放大缩小部720根据控制部340的控制,在来自图像取得部310的图像对应于图29所示的实际摄像视场角区域2(存在摆动)的情况下,不对图像进行处理(由于构成为将所述实际摄像视场角区域2(存在摆动)作为目标摄像视场角区域),而将其转送到图像尺寸控制部721。
另一方面,放大缩小部720根据控制部340的控制,在来自图像取得部310的图像对应于图29所示的实际摄像视场角区域1(存在摆动)的情况下,使用来自显示倍率调整部352的显示倍率校正系数E’[t],对来自图像取得部310的图像(图像尺寸:横宽imgWidth、纵宽imgHeight)进行放大处理(例如进行使图像尺寸为1/E’[t]倍的处理即可)。放大缩小部720将处理后的放大图像转送到图像尺寸控制部721。
与上述例子同样,图像尺寸控制部721进行图像尺寸的控制处理。但是,在本变形例中,将实际摄像视场角区域2作为目标,在放大缩小部720中,仅在实际摄像视场角区域1(存在摆动)的情况下进行放大处理。即,图像尺寸控制部721在与实际摄像视场角区域1对应的定时实施切出图像的处理,并将其输出到显示部400。另一方面,在实际摄像视场角区域2的情况下,不对来自放大缩小部720的图像进行处理,而将其输出到显示部400即可。
图30示出以上的变形例的处理的说明图。在D[t]的计算之前,与图23的例子相同。在图23的例子中,通过使用A[t]/D[t](=E[t])进行变倍处理,增加位于低频的倍率变动(G1)下方的点的值(例如时刻t1的值),减少位于G1上方的点的值(例如时刻t2的值),由此,进行使处理对象期间内的显示图像的倍率接近G1所示的低频的倍率变动的处理。
不同于此,在上述变形例中,不是以低频的倍率变动(G1)为基准,G1上方的点保持不变,增加G1下方的点的值,由此,将处理对象期间内的倍率变动校正为不同于G1的低频的倍率变动(例如图30中的G2)。
具体而言,如果考虑均通过基于A[t]/D[t]的处理来校正以低频的倍率变动(G1)为基准的情况下的、由于高频的倍率变动而引起的上侧变动(图30的F3等)和下侧变动(图30的F4等),则如果对下侧的点进行2次基于A[t]/D[t]的处理,则认为能够将与下侧变动对应的点提高到与上侧变动对应的点(即与G2对应的点)。
即,在t1和t3等下侧的点的定时进行使用了{A[t]/D[t]}2的处理,在t2等上侧的点的定时跳过处理即可。也就是根据定时进行使用了上式(11)、(12)的E’[t]的图像变倍处理。但是,在A[t]/D[t]存在误差的情况下,通过使用2次,蓄积了误差,可能导致最终的图像变倍处理的精度成为问题。由此,在上式(11)和(12)中,考虑精度的提高等,使用系数P1、P2。
通过使用变形例的方法,放大缩小部720中的处理被限定为放大处理,所以,图像尺寸控制部721中的控制处理也能够限定为切出处理。在放大缩小部720进行缩小处理的情况下,由于在图像尺寸控制部721中进行插值处理,所以,如上所述,有时无法在周边区域中取得有用信息(包含固定值),但是,在变形例中,可以不考虑这种问题。
但是,由于需要分为进行使用了E’[t]的图像变倍处理的定时和不进行该处理的定时,所以,在图像变倍部中,需要适当判定是否应该在处理对象定时进行图像变倍处理。例如,如果是图30的t1、t2、t3是分别相邻的定时的情况(即按照摆动的变动来取得图像的情况),则除去无法取得图像等的例外,按照每1个定时切换是否进行图像变倍处理即可。
在以上的本实施方式中,如图20所示,对焦控制装置包括图像变倍部350,该图像变倍部350对图像实施图像变倍处理,取得显示部400中显示的显示图像。然后,图像变倍部350求出检测到的倍率变动中的表示大局变动的大局倍率变动作为目标倍率变动,根据所求出的目标倍率变动进行图像变倍处理。
这里,大局是与局部成对的用语,用于将比较大的范围作为对象的情况。由此,在将倍率变动分为大范围的变动和小范围的变动(局部的变动)的情况下,大局的变动即大局倍率变动是指大范围的变动。这里的“范围”可以是时间上的跨度,也可以是值本身的变动程度。如果是图23的例子,则能够考虑将实线所示的倍率变动分为图24的要素和图25的要素。此时,在图24中,纵轴方向的值的变动较小,与图24相比,在图25中,纵轴方向的值的变动较大,也可以将图25所示的D[t]作为大局倍率变动。或者,在假设图24和图25的值的变动具有周期性的情况下,也可以考虑该1个周期的长度。该情况下,在图24中,由于频繁引起上下移动,所以周期较短,与此相对,在图25中,至少在图示范围内未识别到周期性,认为周期非常长。即,在考虑时间轴上的范围的情况下,图24是局部的变动,图25的D[t]为大局倍率变动。换言之,在将倍率变动分为高频的倍率变动和低频的倍率变动的情况下,考虑将低频的倍率变动作为大局倍率变动的一例。
由此,由于能够在显示部400中显示通过适当的图像变倍处理而取得的显示图像,所以,能够对用户提示易于观察等的图像。特别是在考虑将低频的倍率变动作为大局倍率变动的情况下,由于倍率变动中的非大局倍率变动的要素(高频的倍率变动)成为高频度变更显示图像的视场角的主要原因,所以,显著损害用户对图像的观察。关于这点,如果将大局倍率变动作为目标,则能够抑制这种问题。
并且,在以上的本实施方式中,如图20所示,对焦控制装置包括图像变倍部350,该图像变倍部350对图像实施图像变倍处理,取得显示部400中显示的显示图像。然后,图像变倍部350求出检测到的倍率变动中的、除去了由于伴随着对焦控制的摄像光学系统的驱动而引起的变动以外的变动作为目标倍率变动,根据目标倍率变动进行图像变倍处理,由此,消除由于伴随着对焦控制的摄像光学系统的驱动而引起的视场角的变动。
这里,具体而言,认为伴随着对焦控制的摄像光学系统的驱动是伴随着对比度AF的摆动动作。一般而言,AF动作从开始到结束的时间越短,用户越容易使用,是理想的。由此,假设高速进行基于摆动的摄像光学系统(狭义地讲为变焦透镜)的驱动,假设与基于其他主要原因的倍率变动相比,以非常高的频度(高频)进行基于该驱动的倍率变动。
由此,由于能够将除去了由于摆动等而引起的高频度的倍率变动以外的倍率变动作为目标来取得显示图像,所以,能够对用户提示易于观察等的图像。具体而言,检测到的倍率变动为图23,由于摆动而引起的倍率变动为图24,除去了摆动的影响后的倍率变动(目标倍率变动)为图25。通过使用本实施方式的方法,能够抑制由于摆动的影响而不容易观察显示图像,能够将基于其他主要原因的倍率变动(图25)反映到显示图像中。即,在有意变更摄像倍率的情况下、或摄像部230接近被摄体的情况下等,用户能够根据显示图像的变化掌握它们的结果。
另外,大局倍率变动、或除去了由于伴随着对焦控制的摄像光学系统的驱动而引起的变动以外的变动不限于图25(图23的F1和图30的G1),在变形例中,也可以是上述图30的G2。
并且,如图22所示,图像变倍部350也可以包括计算第1定时与不同于第1定时的第2定时之间的倍率变动的差分信息即倍率变动差分信息的倍率差分计算部520、以及计算表示倍率变动差分信息的平均值的倍率差分平均信息的倍率差分平均计算部521。然后,图像变倍部350根据检测到的倍率变动、倍率变动差分信息、倍率差分平均信息求出目标倍率变动。
这里,倍率变动差分信息也可以是上述C[t],倍率差分平均信息也可以是上述AvC。
由此,能够根据倍率变动差分信息和倍率差分平均信息求出目标倍率变动。具体而言,可以使用倍率变动(特别是累积倍率A[t])、C[t]、AvC,使用上式(9)求出目标倍率变动D[t]。
并且,图像变倍部350可以根据检测到的倍率变动和目标倍率变动求出图像变倍系数,使用所求出的图像变倍系数进行图像变倍处理。而且,图像变倍部350通过对图像进行使用了图像变倍系数的放大缩小处理,取得所述显示图像。
由此,能够求出图像变倍系数并进行基于所求出的图像变倍系数的图像变倍处理。这里,本实施方式的目标倍率变动D[t]具有如下意思:通过将相对于基准倍率为D[t]倍的图像作为显示图像,能够对用户提示易于观察的图像。与此相对,图像取得部310取得的图像成为A[t](=D[t]×E[t])倍的状态,被施加了E[t]的额外的倍率变动。即,为了与目标一致,需要进行根据A[t]和D[t]求出E[t]的处理,而不是求出D[t]本身,这相当于对上式(10)求解的处理。关于实际的图像变倍处理,进行消除过剩量的E[t]的处理即可,例如可以是将1/E[t]作为系数进行相乘的图像变倍处理。
并且,倍率变动检测部320也可以检测图像中的被摄体的尺寸的变动作为倍率变动。然后,图像变倍部350根据被摄体的尺寸的变动即倍率变动,求出目标倍率变动。
由此,在检测被摄体的尺寸的变动作为倍率变动(特别是不根据控制信号等取得摄像倍率的变动)的情况下,也能够使用本实施方式的方法。如上所述,在将被摄体的尺寸的变动作为倍率变动的情况下,在摄像部230与被摄体的距离发生了变化的情况下,该变化也反映到倍率变动中。即,将检测到的倍率变动直接用于针对显示图像的图像变倍处理时,可能会产生如下的状况:虽然摄像部230与被摄体的距离发生变化,但是显示图像上被摄体尺寸不变。该情况下,用户无法掌握与被摄体之间的距离,摄像部230和被摄体碰撞的可能性高,特别是在使用内窥镜装置作为对焦控制装置的情况下,会损伤活体,非常危险。由此,可以说,在检测被摄体的尺寸的变动作为倍率变动的情况下,本实施方式的方法是有用的。
以上对应用了本发明的4个实施方式1~4及其变形例进行了说明,但是,本发明不限于各实施方式1~4及其变形例,能够在实施阶段在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且,通过对上述各实施方式1~4和变形例所公开的多个结构要素进行适当组合,能够形成各种发明。例如,可以从各实施方式1~4和变形例所记载的全部结构要素中删除若干个结构要素。进而,也可以对不同实施方式和变形例中说明的结构要素进行适当组合。并且,在说明书或附图中,至少一次与更加广义或同义的不同用语一起记载的用语能够在说明书或附图的任意地方置换为该不同用语。这样,能够在不脱离发明主旨的范围内进行各种变形和应用。
标号说明
100:光源部;110:白色光源;120:会聚透镜;200:插入部;210:光导纤维;220:照明透镜;230:摄像部;231:物镜;232:摄像元件;233:转换部;300:信号处理部;310:图像取得部;320:倍率变动检测部;321:帧存储器;322:RIPOC计算部;323:特征点对应部;324:透镜倍率变动检测部;325:距离变动检测部;330:对焦控制部;331:滤波器选择部;332:对比度值计算部;333:透镜控制部;334:评价区域设定部;340:控制部;350:图像变倍部;351:变动倍率蓄积部;352:显示倍率调整部;353:图像调整部;400:显示部;500:外部I/F部;520:倍率差分计算部;521:倍率差分平均计算部;522:校正倍率计算部;523:显示倍率校正部;720:放大缩小部;721:图像尺寸控制部。
Claims (23)
1.一种对焦控制装置,其特征在于,该对焦控制装置包括:
对焦控制部,其对摄像光学系统的驱动进行控制,其中该摄像光学系统的对焦物体位置伴随着摄像倍率的变更而变更;
图像取得部,其通过借助于所述摄像光学系统的摄像,取得以不同的所述摄像倍率进行摄像而得到的多个图像;
倍率变动检测部,其检测倍率变动,该倍率变动是所述摄像倍率和所述图像中的被摄体的尺寸中的至少一方的变动;以及
图像变倍部,其根据所述倍率变动对所述图像实施图像变倍处理,取得变倍图像,
所述对焦控制部根据所述图像和所述倍率变动,计算表示所述摄像光学系统的焦点状态的自动对焦评价值,根据计算出的所述自动对焦评价值对所述摄像光学系统进行驱动,从而进行所述摄像光学系统的对焦控制,
所述图像变倍部求出检测到的所述倍率变动中的、除去了由于所述摄像光学系统伴随着所述对焦控制的所述驱动而引起的变动以外的变动作为目标倍率变动,通过根据所述目标倍率变动进行所述图像变倍处理,消除由于所述摄像光学系统伴随着所述对焦控制的所述驱动而引起的视场角的变动。
2.根据权利要求1所述的对焦控制装置,其特征在于,
所述倍率变动越大,则所述图像变倍部取得越小的所述变倍图像,所述倍率变动越小,则所述图像变倍部取得越大的所述变倍图像。
3.根据权利要求2所述的对焦控制装置,其特征在于,
所述倍率变动检测部检测第1定时与不同于所述第1定时的第2定时之间的所述倍率变动,
所述图像变倍部通过对所述图像取得部在所述第2定时取得的所述图像实施使用了所述倍率变动的值的倒数的所述图像变倍处理,取得所述变倍图像。
4.根据权利要求1所述的对焦控制装置,其特征在于,
所述图像变倍部将所取得的所述变倍图像输出到所述对焦控制部,并且输出到显示装置。
5.根据权利要求4所述的对焦控制装置,其特征在于,
所述图像变倍部将对所述图像进行了第1图像变倍处理后的第1变倍图像输出到所述对焦控制部,并且,将对所述图像进行了不同于所述第1图像变倍处理的第2图像变倍处理后的第2变倍图像输出到所述显示装置。
6.根据权利要求5所述的对焦控制装置,其特征在于,
作为所述倍率变动,所述倍率变动检测部检测所述图像中的所述被摄体的所述尺寸的变动即第1倍率变动以及所述摄像倍率的变动即第2倍率变动,
作为所述第1图像变倍处理,所述图像变倍部进行基于所述第1倍率变动的图像变倍处理而取得所述第1变倍图像,作为所述第2图像变倍处理,所述图像变倍部进行基于所述第2倍率变动的图像变倍处理而取得所述第2变倍图像。
7.根据权利要求5所述的对焦控制装置,其特征在于,
当在第1~第N定时的期间内进行所述图像变倍部中的所述图像变倍处理的情况下,
所述倍率变动检测部在第i定时检测第i倍率变动,
作为第k定时的所述第2图像变倍处理,所述图像变倍部通过进行基于第1~第k倍率变动的处理,取得所述第2变倍图像并将其输出到所述显示装置,
其中,N为2以上的整数,1≦i≦N,1≦k≦N。
8.根据权利要求5所述的对焦控制装置,其特征在于,
当在第1~第N定时的期间内进行所述图像变倍部中的所述图像变倍处理的情况下,
所述倍率变动检测部在第i定时检测第i倍率变动,
所述图像变倍部判定第m定时的所述倍率变动是否包含在给定的容许变倍范围内,当包含在所述容许变倍范围内的情况下,作为所述第m定时的所述第2图像变倍处理,进行与所述第m定时之前的第m-1定时的所述第2图像变倍处理相同的图像变倍处理,当未包含在所述容许变倍范围内的情况下,作为所述第m定时的所述第2图像变倍处理,进行使用了比第m倍率变动的值的倒数更接近1的值的图像变倍处理,
其中,N为2以上的整数,1≦i≦N,1≦m≦N。
9.根据权利要求1所述的对焦控制装置,其特征在于,
在将所述摄像倍率和所述图像中的被摄体的尺寸中的至少一方作为倍率评价值的情况下,
所述倍率变动检测部检测不同于第1定时的第2定时的所述倍率评价值相对于所述第1定时的所述倍率评价值的比,作为所述第2定时的所述倍率变动。
10.根据权利要求9所述的对焦控制装置,其特征在于,
所述倍率变动检测部检测不同于第1定时的第2定时的所述摄像倍率相对于所述第1定时的所述摄像倍率的比,作为所述第2定时的所述倍率变动。
11.根据权利要求9所述的对焦控制装置,其特征在于,
所述倍率变动检测部检测不同于第1定时的第2定时的所述被摄体的所述尺寸相对于所述第1定时的所述被摄体的所述尺寸的比,作为所述第2定时的所述倍率变动。
12.根据权利要求11所述的对焦控制装置,其特征在于,
所述倍率变动检测部通过对所述第1定时的所述图像和所述第2定时的所述图像使用相位限定相关法,检测所述倍率变动。
13.根据权利要求11所述的对焦控制装置,其特征在于,
所述倍率变动检测部对所述第1定时的所述图像和所述第2定时的所述图像设定多个特征点,根据所设定的多个所述特征点的位置检测所述倍率变动。
14.根据权利要求9所述的对焦控制装置,其特征在于,
所述第1定时是开始计算所述自动对焦评价值的定时。
15.根据权利要求9所述的对焦控制装置,其特征在于,
所述第1定时和所述第2定时是时间上相邻的所述自动对焦评价值的取得定时。
16.根据权利要求1所述的对焦控制装置,其特征在于,
所述倍率变动检测部包括距离变动检测部,该距离变动检测部检测从所述摄像光学系统到所述被摄体的距离信息的变动,
所述距离变动检测部根据所述摄像倍率的变动和所述被摄体的所述尺寸的变动,检测所述距离信息的变动。
17.根据权利要求1所述的对焦控制装置,其特征在于,
所述图像变倍部求出检测到的所述倍率变动中的表示大局变动的大局倍率变动作为所述目标倍率变动,根据所求出的所述目标倍率变动进行所述图像变倍处理。
18.根据权利要求1或17所述的对焦控制装置,其特征在于,
所述图像变倍部包括:
倍率差分计算部,其计算倍率变动差分信息,该倍率变动差分信息是第1定时与不同于所述第1定时的第2定时之间的所述倍率变动的差分信息;以及
倍率差分平均计算部,其计算表示所述倍率变动差分信息的平均值的倍率差分平均信息,
所述图像变倍部根据检测到的所述倍率变动、所述倍率变动差分信息、所述倍率差分平均信息,求出所述目标倍率变动。
19.根据权利要求18所述的对焦控制装置,其特征在于,
所述图像变倍部根据检测到的所述倍率变动和所述目标倍率变动求出图像变倍系数,使用所求出的所述图像变倍系数进行所述图像变倍处理。
20.根据权利要求19所述的对焦控制装置,其特征在于,
所述图像变倍部通过对所述图像进行使用了所述图像变倍系数的放大缩小处理,取得显示图像。
21.根据权利要求1或17所述的对焦控制装置,其特征在于,
所述倍率变动检测部检测所述图像中的所述被摄体的尺寸的变动作为所述倍率变动,
所述图像变倍部根据所述被摄体的尺寸的变动即所述倍率变动,求出所述目标倍率变动。
22.一种内窥镜系统,其特征在于,该内窥镜系统包括:
对焦控制部,其对摄像光学系统的驱动进行控制,其中该摄像光学系统的对焦物体位置伴随着摄像倍率的变更而变更;
图像取得部,其通过借助于所述摄像光学系统的摄像,取得以不同的所述摄像倍率进行摄像而得到的多个图像;
倍率变动检测部,其检测倍率变动,该倍率变动是所述摄像倍率和所述图像中的被摄体的尺寸中的至少一方的变动;以及
图像变倍部,其根据所述倍率变动对所述图像实施图像变倍处理,取得变倍图像,
所述对焦控制部根据所述图像和所述倍率变动,计算表示所述摄像光学系统的焦点状态的自动对焦评价值,根据计算出的所述自动对焦评价值对所述摄像光学系统进行驱动,从而进行所述摄像光学系统的对焦控制,
所述图像变倍部求出检测到的所述倍率变动中的、除去了由于所述摄像光学系统伴随着所述对焦控制的所述驱动而引起的变动以外的变动作为目标倍率变动,通过根据所述目标倍率变动进行所述图像变倍处理,消除由于所述摄像光学系统伴随着所述对焦控制的所述驱动而引起的视场角的变动。
23.一种对焦控制方法,对摄像光学系统的驱动进行控制,其中该摄像光学系统的对焦物体位置伴随着摄像倍率的变更而变更,所述对焦控制方法的特征在于,
通过借助于所述摄像光学系统的摄像,取得以不同的所述摄像倍率进行摄像而得到的多个图像,
检测倍率变动,该倍率变动是所述摄像倍率和所述图像中的被摄体的尺寸中的至少一方的变动,
根据所述倍率变动对所述图像实施图像变倍处理,取得变倍图像,
根据取得的所述图像和检测到的所述倍率变动,计算表示所述摄像光学系统的焦点状态的自动对焦评价值,根据计算出的所述自动对焦评价值对所述摄像光学系统进行驱动,从而进行所述摄像光学系统的对焦控制,
求出检测到的所述倍率变动中的、除去了由于所述摄像光学系统伴随着所述对焦控制的所述驱动而引起的变动以外的变动作为目标倍率变动,通过根据所述目标倍率变动进行所述图像变倍处理,消除由于所述摄像光学系统伴随着所述对焦控制的所述驱动而引起的视场角的变动。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-224204 | 2011-10-11 | ||
JP2011224204 | 2011-10-11 | ||
JP2012193932A JP5953187B2 (ja) | 2011-10-11 | 2012-09-04 | 合焦制御装置、内視鏡システム及び合焦制御方法 |
JP2012-193932 | 2012-09-04 | ||
PCT/JP2012/076158 WO2013054797A1 (ja) | 2011-10-11 | 2012-10-10 | 合焦制御装置、内視鏡システム及び合焦制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103874951A CN103874951A (zh) | 2014-06-18 |
CN103874951B true CN103874951B (zh) | 2016-08-24 |
Family
ID=48081852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280050221.9A Active CN103874951B (zh) | 2011-10-11 | 2012-10-10 | 对焦控制装置、内窥镜系统和对焦控制方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9621781B2 (zh) |
EP (1) | EP2767857A4 (zh) |
JP (1) | JP5953187B2 (zh) |
CN (1) | CN103874951B (zh) |
WO (1) | WO2013054797A1 (zh) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5507376B2 (ja) * | 2010-07-28 | 2014-05-28 | 三洋電機株式会社 | 撮像装置 |
US10215977B1 (en) * | 2011-03-30 | 2019-02-26 | Designs For Vision, Inc. | Magnification device and assembly |
WO2014175223A1 (ja) * | 2013-04-22 | 2014-10-30 | ローム株式会社 | 癌診断装置、診断システム、診断装置 |
EP3067727A4 (en) * | 2013-10-31 | 2017-11-22 | Olympus Corporation | Imaging system and imaging system operation method |
WO2015093412A1 (ja) | 2013-12-16 | 2015-06-25 | オリンパス株式会社 | 内視鏡装置 |
JP2015195845A (ja) * | 2014-03-31 | 2015-11-09 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法 |
CN107005647B (zh) * | 2014-12-02 | 2020-08-11 | 奥林巴斯株式会社 | 对焦控制装置、内窥镜装置以及对焦控制装置的控制方法 |
JP6616071B2 (ja) * | 2014-12-22 | 2019-12-04 | 富士フイルム株式会社 | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム |
JP6633917B2 (ja) * | 2016-01-15 | 2020-01-22 | オリンパス株式会社 | 顕微鏡システムおよび顕微鏡の倍率推定方法 |
GB2546329A (en) * | 2016-01-15 | 2017-07-19 | Barco Nv | System and method for endoscope calibration |
JP6753081B2 (ja) * | 2016-03-09 | 2020-09-09 | ソニー株式会社 | 内視鏡手術システム、画像処理方法及び医療用観察システム |
JP6556076B2 (ja) * | 2016-03-10 | 2019-08-07 | 富士フイルム株式会社 | 内視鏡画像信号処理装置および方法並びにプログラム |
CN108780209B (zh) | 2016-03-18 | 2021-01-26 | 富士胶片株式会社 | 对焦位置检测装置及对焦位置检测方法 |
CN105704384B (zh) * | 2016-03-23 | 2019-02-05 | 浙江东方光学眼镜有限公司 | 一种电子放大镜系统 |
CN106341594A (zh) * | 2016-08-23 | 2017-01-18 | 上海集光安防科技股份有限公司 | 一种摄像机辅助聚焦的方法 |
JP6581952B2 (ja) * | 2016-09-30 | 2019-09-25 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
CN110461209B (zh) * | 2017-03-30 | 2021-10-29 | 富士胶片株式会社 | 内窥镜系统及处理器装置 |
CN109151299B (zh) * | 2017-06-27 | 2021-03-19 | 虹软科技股份有限公司 | 一种用于对焦的方法和装置 |
JP7160042B2 (ja) * | 2017-09-08 | 2022-10-25 | ソニーグループ株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP6543875B2 (ja) * | 2017-09-28 | 2019-07-17 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 制御装置、撮像装置、飛行体、制御方法、プログラム |
CN110225235B (zh) * | 2018-03-01 | 2021-03-09 | 浙江宇视科技有限公司 | 变倍跟随方法及电动镜头 |
JP7210185B2 (ja) * | 2018-07-30 | 2023-01-23 | キヤノン株式会社 | 撮像装置及びその制御方法 |
US11857151B2 (en) * | 2018-09-12 | 2024-01-02 | Steris Instrument Management Services, Inc. | Systems and methods for standalone endoscopic objective image analysis |
EP3626161A1 (en) * | 2018-09-24 | 2020-03-25 | Christie Medical Holdings, Inc. | Ir/nir imaging with discrete scale comparator objects |
JP7047713B2 (ja) | 2018-11-05 | 2022-04-05 | オムロン株式会社 | ロボットアーム及びロボットアームの製造方法 |
US10740901B2 (en) * | 2018-12-17 | 2020-08-11 | Nvidia Corporation | Encoder regularization of a segmentation model |
JP6798072B2 (ja) * | 2019-04-24 | 2020-12-09 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 制御装置、移動体、制御方法、及びプログラム |
JP2021015417A (ja) * | 2019-07-11 | 2021-02-12 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像配信システム、および画像処理方法 |
JP7369935B2 (ja) * | 2019-09-05 | 2023-10-27 | パナソニックIpマネジメント株式会社 | 撮像装置 |
US11736819B2 (en) | 2019-09-05 | 2023-08-22 | Panasonic Intellectual Property Management Co., Ltd. | Imaging apparatus and image scaling timing in relation to thinned-out frame |
US11719925B2 (en) | 2020-04-21 | 2023-08-08 | Designs For Vision, Inc. | User wearable fluorescence enabled visualization system |
US11547302B2 (en) | 2020-04-21 | 2023-01-10 | Designs For Vision, Inc. | User wearable fluorescence enabled visualization system |
US10895735B1 (en) | 2020-05-05 | 2021-01-19 | Designs For Vision, Inc. | Magnification devices with filtering and method for selection of said filters |
CN112835172A (zh) * | 2020-12-31 | 2021-05-25 | 华兴源创(成都)科技有限公司 | 一种定倍率成像的自动对焦方法及系统 |
JP2023173415A (ja) * | 2022-05-26 | 2023-12-07 | 株式会社キーエンス | 産業用カメラ |
US12038630B1 (en) | 2022-11-18 | 2024-07-16 | Designs For Vision, Inc. | Telescopic image capture/recording device |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005043792A (ja) * | 2003-07-25 | 2005-02-17 | Pentax Corp | 内視鏡の自動焦点調節装置 |
JP2006215105A (ja) * | 2005-02-01 | 2006-08-17 | Fuji Photo Film Co Ltd | 撮像装置 |
JP2006343496A (ja) * | 2005-06-08 | 2006-12-21 | Hitachi Maxell Ltd | 自動合焦装置 |
CN101750847A (zh) * | 2008-12-15 | 2010-06-23 | 索尼株式会社 | 图像拾取装置和聚焦控制方法 |
CN101918893A (zh) * | 2007-12-27 | 2010-12-15 | 高通股份有限公司 | 具有深度图产生的方法和设备 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3925751B2 (ja) * | 1997-06-30 | 2007-06-06 | フジノン株式会社 | 撮影レンズの画角補正装置 |
JP4338331B2 (ja) | 2001-03-02 | 2009-10-07 | Hoya株式会社 | 内視鏡装置 |
JP4574913B2 (ja) * | 2001-08-27 | 2010-11-04 | 富士フイルム株式会社 | 変倍機能を有する電子内視鏡装置 |
JP4708967B2 (ja) * | 2005-11-11 | 2011-06-22 | キヤノン株式会社 | 撮像装置及び撮像方法 |
JP4655991B2 (ja) * | 2006-04-21 | 2011-03-23 | カシオ計算機株式会社 | 撮像装置及び電子ズーム方法と、プログラム |
JP4849988B2 (ja) * | 2006-07-31 | 2012-01-11 | 三洋電機株式会社 | 撮像装置及び出力画像生成方法 |
US20080284900A1 (en) | 2007-04-04 | 2008-11-20 | Nikon Corporation | Digital camera |
JP5251215B2 (ja) * | 2007-04-04 | 2013-07-31 | 株式会社ニコン | デジタルカメラ |
JP5604160B2 (ja) * | 2010-04-09 | 2014-10-08 | パナソニック株式会社 | 撮像装置 |
KR101720192B1 (ko) * | 2011-01-19 | 2017-03-27 | 삼성전자주식회사 | 자동 초점 조절 장치 |
JP2013076823A (ja) * | 2011-09-30 | 2013-04-25 | Olympus Corp | 画像処理装置、内視鏡システム、画像処理方法及びプログラム |
-
2012
- 2012-09-04 JP JP2012193932A patent/JP5953187B2/ja active Active
- 2012-10-10 WO PCT/JP2012/076158 patent/WO2013054797A1/ja active Application Filing
- 2012-10-10 CN CN201280050221.9A patent/CN103874951B/zh active Active
- 2012-10-10 EP EP12839972.2A patent/EP2767857A4/en not_active Withdrawn
-
2014
- 2014-03-26 US US14/226,571 patent/US9621781B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005043792A (ja) * | 2003-07-25 | 2005-02-17 | Pentax Corp | 内視鏡の自動焦点調節装置 |
JP2006215105A (ja) * | 2005-02-01 | 2006-08-17 | Fuji Photo Film Co Ltd | 撮像装置 |
JP2006343496A (ja) * | 2005-06-08 | 2006-12-21 | Hitachi Maxell Ltd | 自動合焦装置 |
CN101918893A (zh) * | 2007-12-27 | 2010-12-15 | 高通股份有限公司 | 具有深度图产生的方法和设备 |
CN101750847A (zh) * | 2008-12-15 | 2010-06-23 | 索尼株式会社 | 图像拾取装置和聚焦控制方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2767857A1 (en) | 2014-08-20 |
CN103874951A (zh) | 2014-06-18 |
US20140210972A1 (en) | 2014-07-31 |
JP2013101314A (ja) | 2013-05-23 |
EP2767857A4 (en) | 2015-07-08 |
US9621781B2 (en) | 2017-04-11 |
JP5953187B2 (ja) | 2016-07-20 |
WO2013054797A1 (ja) | 2013-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103874951B (zh) | 对焦控制装置、内窥镜系统和对焦控制方法 | |
CN103415240B (zh) | 内窥镜系统 | |
JP5856733B2 (ja) | 撮像装置 | |
JP5864880B2 (ja) | 内視鏡装置及び内視鏡装置の作動方法 | |
JP5112104B2 (ja) | 画像処理装置及び画像処理プログラム | |
CN103312970B (zh) | 图像合成设备和图像合成方法 | |
EP2760209A1 (en) | Image processing device, method, program and recording medium, stereoscopic image capture device, portable electronic apparatus, printer, and stereoscopic image player device | |
CN105378534B (zh) | 摄像装置、摄像装置的工作方法 | |
CN105245867B (zh) | 图像拾取装置、系统和控制方法以及图像处理装置 | |
KR20110105345A (ko) | 카메라 | |
JP2008271241A (ja) | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 | |
CN101753779A (zh) | 图像处理装置及摄像装置 | |
JP2015231220A (ja) | 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム | |
US20160080727A1 (en) | Depth measurement apparatus, imaging apparatus, and depth measurement method | |
JP2012145840A (ja) | 撮像装置 | |
JP6422967B2 (ja) | 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム | |
CN105555180A (zh) | 内窥镜装置和内窥镜装置的控制方法 | |
CN109255810A (zh) | 图像处理装置及图像处理方法 | |
JP2018137648A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP6300670B2 (ja) | 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置 | |
JP2016142999A (ja) | 撮像装置及びその制御方法 | |
JP5144724B2 (ja) | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 | |
WO2016067425A1 (ja) | 画像処理装置、内視鏡装置及び画像処理方法 | |
JP2009047734A (ja) | 撮像装置及び画像処理プログラム | |
JP2014077976A (ja) | 焦点調節装置及びそれを用いた撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |