[go: up one dir, main page]

CN114651275B - 全视场参考图像的图像拼接 - Google Patents

全视场参考图像的图像拼接 Download PDF

Info

Publication number
CN114651275B
CN114651275B CN202180006350.7A CN202180006350A CN114651275B CN 114651275 B CN114651275 B CN 114651275B CN 202180006350 A CN202180006350 A CN 202180006350A CN 114651275 B CN114651275 B CN 114651275B
Authority
CN
China
Prior art keywords
image
fov
telephoto
tele
scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202180006350.7A
Other languages
English (en)
Other versions
CN114651275A (zh
Inventor
帕斯·伊兰
夏伊·发斯曼
露丝·卡茨
爱迪·泰特尔
哈盖·萨夫里尔
加尔·沙伯泰
奥德·吉古辛斯基
伊塔马尔·阿祖莱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Corephotonics Ltd
Original Assignee
Corephotonics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Corephotonics Ltd filed Critical Corephotonics Ltd
Priority to CN202311281852.8A priority Critical patent/CN117372249A/zh
Priority to CN202311282328.2A priority patent/CN117372250A/zh
Priority to CN202311274373.3A priority patent/CN117372248A/zh
Publication of CN114651275A publication Critical patent/CN114651275A/zh
Application granted granted Critical
Publication of CN114651275B publication Critical patent/CN114651275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/02—Telephoto objectives, i.e. systems of the type + - in which the distance from the front vertex to the image plane is less than the equivalent focal length
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

用于获得无缝、高分辨率、大视场图像的系统和方法包括:使用一扫描长焦摄影机在一场景中拍摄多个长焦图像，每个拍摄的长焦图像具有相关联的长焦视场FOVT；拮取具有视场大于FOVT的个别参考图像场景的一参考图像；分析所述参考图像以定义扫描位置的顺序，折叠式长焦摄影机根据所述顺序扫描一场景以拍摄所述多个长焦图像；将所述多个长焦图像与所述参考图像对齐，以获得对齐的长焦图像；以及将对齐的长焦图像合成为一输出图像。所述输出图像可包括所述参考图像的至少一部分且可为输出图像流之一。

Description

全视场参考图像的图像拼接
相关申请
本申请是有关于并要求2020年5月17日提交的美国临时专利申请第63/026,097号的优先权，其内容整体通过引用的方式并入本文。
技术领域
在此所公开的主题整体涉及图像拼接，且尤其是涉及在存在大FOV图像的情况下，拼接用小型FOV摄影机拍摄的图像的方法。
背景技术
多光圈摄影机(或多摄影机)是高端移动手持装置(“移动装置”，例如智能手机、平板电脑等)的标准。多摄影机通常包括宽视场(wide field of view)(FOVW)或“广角”摄影机(“Wide”摄影机或“W摄影机”)，以及一个或多个具有相同FOV和窄FOV的附加摄影机(长焦(Telephoto)或“Tele”摄影机或具有长焦FOVT的“T”摄影机)、或具有FOVUW>FOVW的极广角(ultra-wide)摄影机(“UW摄影机”)。
长焦-广角(Tele-Wide)或长焦-极广角(Tele-Ultra-Wide)多摄影机(以下可称为长焦-参考“Tele-Reference”多摄影机)结合了两种摄影机的优点以克服缺点。它使用参考摄影机(reference camera)(“R摄影机”)拍摄场景的大型参考摄影机FOVR，所述参考摄影机提供具有参考摄影机分辨率(“RESR”)和参考信噪比(SNRR)的参考(R)图像，并使用更高的长焦摄影机分辨率(“REST”)和信噪比(SNRT)以放大具有FOVT的场景。然而，随着长焦摄影机分辨率的提高，FOVT变窄，因此只能拍摄到场景的一小部分。
最近的发展是有一种扫描长焦摄影机，它可以扫描具有常规(原生)FOVT的场景，因此它可以有效地涵盖比原生FOVT还大的扫描FOVT。例如，在共有的美国专利10,578,948中描述了一扫描长焦摄影机的例子。
有必要并且有利于使用参考图像(R图像)数据和长焦(T)图像数据来创建具有满足FOVT<FOVN≤FOVR的“新”视场FOVN的新图像的方法，其中，所述新图像的图像分辨率RESN>RESR和/或其中所述新图像的信噪比SNRN>SNRR。
发明内容
在各种实施例中，提供了使用参考图像数据和长焦图像数据来创建具有满足FOVT<FOVN≤FOVR的“新”视场FOVN的“新”图像的系统和方法。新图像是无缝、高分辨率、大FOV图像。新图像具有大于REST的分辨率RESN和/或大于SNRR的信噪比SNRN。新图像可以是“超级图像”(“SI”)，通过拍摄和拼接两个或多个长焦图像获得，也可以是“超广角图像”(“SW”)，通过拍摄和使用一个或多个长焦图像，以使用一超分辨率演算法改进R图像或其片段(segments)而获得。
图1示出了已知全景图像(panorama image)(a)(或简称为“全景”)和本文公开的一超级图像(super image)(b)之间的一个差异。全景图像在校正形成它的不同图像的视点(POV)时由于缺乏“地面实况(ground truth)”而具有固有的透视失真，而本文公开的超级图像没有失真。
一个超级图像包括至少两个高分辨率的长焦图像和一个具有相同场景的大FOV(例如FOVW或FOVUW)的一参考图像(RESR<REST)，参见图1(b)。也就是说，超级图像使用来自较大FOV参考图像的关于相同场景的信息。相反地，对于创建本领域已知的一全景图，通常没有参考图像可用。在超级图像中，每个拍摄的长焦图像都经过处理，并匹配到在较大FOV参考图像中的相应的位置，从而消除了正常的全景图像的透视失真。此外，可检查每个长焦图像是否存在失焦、大量噪声、临时遮挡等拍摄问题，如有必要，之后会重新拍摄。
图2示出了一参考图像(a)和如本文所公开获得的一超级图像(c)之间的另一个差异。图2(b)示出了用来组成超级图像的单个长焦图像。由于使用具有大的有效焦距(EFL)的一长焦摄影机来拍摄图像，因此可以在所述超级图像(c)中实现“自然”散景效果(Bokeheffect)。自然散景定义为未对焦的FOV片段的图像数据中存在的模糊量(blurring)。
图3示出了一已知全景和如本文所公开获得的一超级图像之间的又一个差异。可以看到两个长焦图像(长焦1和长焦2)在重叠的FOV区域中没有信息的场景，但这些图像并非完全没有信息。在这种情况下，已知全景将无法对齐图像，而所述超级图像将能够使用一参考图像与它们对齐。
一已知全景和一超级图像间的其他差异包括所述超级图像获取中自动扫描的能力，从而能够以根据经验的方式决定长焦摄影机的扫描位置和顺序；检测和校正不良图像的能力；以及由于与地面实况更高的重叠而不是不同长焦图像之间的重叠而增加了鲁棒性(robustness)，这需要更少量的图像来覆盖所需的FOV，因为长焦图像之间的重叠大小需求减少了。
在各种实施例中，提供了一种方法，包括：提供一折叠式长焦摄影机，配置以扫描和拍摄多个长焦图像，每个拍摄的图像具有一长焦图像分辨率(REST)、一长焦图像信噪比(SNRT)及一长焦视场(FOVT)；获得并分析具有一参考视场(FOVR)大于FOVT及一参考图像分辨率(RESR)小于REST的一参考图像，和/或具有一信噪比(SNRR)小于SNRT的一参考图像；决定一个或多个扫描FOVT位置的一顺序，用于连续拍摄所述多个长焦图像；在各个扫描FOVT位置拍摄一长焦图像；将拍摄的多个长焦图像与所述参考图像的多个片段对齐，以获得对齐的长焦图像；以及使用所述对齐的长焦图像和所述参考图像创建具有一视场(FOVN)小于或等于FOVR的一新图像，其中，所述新图像的图像分辨率(RESN)大于RESR和/或所述新图像的信噪比(SNRN)大于SNRR。
在一些实施例中，所述参考图像是具有一FOVW大于FOVT的一广角图像，所述广角图像是由包含在一多摄影机中的一广角摄影机和所述折叠式长焦摄影机所拍摄。
在一些实施例中，所述参考图像是具有一FOVUW>FOVW>FOVT的一极广角图像，所述极广角图像是由包含在一多摄影机中的一极广角摄影机和所述折叠式长焦摄影机所拍摄。
在一些实施例中，方法更包括在拍摄所述参考图像后及拍摄紧随的下一个长焦图像之前，立即将每个长焦图像与所述参考图像对齐，分析每个长焦图像的缺陷，如果在所述长焦图像中检测到缺陷，则在相同的FOVT位置重新拍摄长焦图像，或者，如果在所述长焦图像中未检测到缺陷，则在各自的FOVT位置继续拍摄紧随的下一个长焦图像。
在一些实施例中，方法更包括分析所述对齐的长焦图像的缺陷，如果在一特定的长焦图像中检测到缺陷，则在相同的FOVT位置重新拍摄所述特定的长焦图像，或者，如果未检测到缺陷，则使用对齐的长焦图像和所述参考图像创建所述新图像。
在一些实施例中，所述折叠式长焦摄影机在FOVR内的两个或多个各自的FOVT位置拍摄两个或多个的长焦图像，所述方法还包括组合所述的对齐的长焦图像，以创建一超级图像。
在一些实施例中，所述对齐的长焦图像和所述参考图像被输入至一演算法，以创建具有一视场FOVSW的一超广角图像，其中被包含在拍摄的长焦图像的至少一个FOVT中的FOVR内的一FOV段具有一视场集合-FOVT，其中集合-FOVT<FOVSW≤FOVR。
在一些实施例中，所述折叠式长焦摄影机是具有不同变焦状态的一多变焦长焦摄影机，用于拍摄具有不同变焦系数的长焦图像。
在一些实施例中，获得所述参考图像包括从互联网、一云数据库或一物联网设备获得所述参考图像。
在一些实施例中，输出由一连串的多个新图像所形成的一视频流，而不是输出单个新图像。
在一些实施例中，一用户或一演算法选择包含在FOVR中的一场景中的FOVN的大小和FOVN的位置。
在一些实施例中，分析所述参考图像包括使用所述参考图像的显著图来自动选择所述扫描FOVT位置和/或自动选择FOVN。
在一些实施例中，对齐拍摄的长焦图像以获得与所述参考图像的片段对齐的多个对齐的长焦图像包括:相对于参考图像数据定位长焦图像数据。
在一些实施例中，所述长焦摄影机具有7-10mm、10-20mm或20-40mm的有效焦距。
在一些实施例中，所述决定一个或多个扫描FOVT位置的顺序被执行，以便一个及多个长焦图像中的每一个都呈现特定量的自然散景。
在一些实施例中，所述决定一个或多个扫描FOVT位置的顺序被执行，以便根据扫描的机械限制，使构成的新图像涵盖最大的FOV。
在一些实施例中，所述决定一个或多个扫描FOVT位置的顺序被执行，以便所述新图像涵盖一用户或一演算法所选择的一感兴趣区域。
在一些实施例中，所述决定一个或多个扫描FOVT位置的顺序被执行，以便每个长焦图像中包括具有一特定深度范围的多个场景片段或包括不超过一特定深度临界值的多个场景片段。
在一些实施例中，所述决定一个或多个扫描FOVT位置的顺序被执行，以便先拍摄移动物体，且在拍摄所述移动物体后，再拍摄静止物体。
在一些实施例中，所述决定一个或多个扫描FOVT位置的顺序被执行，以便以最快的方式执行具有多个FOVT的FOVR的一期望涵盖范围。
在一些实施例中，所述决定一个或多个扫描FOVT位置的顺序包括:使用一物体跟踪器决定跟随一移动物体的顺序。
在一些实施例中，所述决定一个或多个扫描FOVT位置的顺序包括:拍摄具有特定FOVT的长焦图像中的一对象，以改善包含在FOVN中但未包含在特定FOVT中的一类似对象的RES或SNR。
在一些实施例中，所述决定一个或多个扫描FOVT位置的顺序包括:在两个明显不同的时间点拍摄具有超过一个FOVT的一移动物体。
在一些实施例中，FOVN>FOVT。
在一些实施例中，所述长焦图像另外相对于彼此对齐，以获得对齐的长焦图像，对齐的长焦图像彼此对齐且与所述参考图像对齐。
在一些实施例中，所述参考图像包含多个广角图像。
在一些实施例中，扫描长焦摄影机涵盖大于FOVW和/或FOVUW的25％、或大于FOVW和/或FOVUW的50％的一扫描范围。
在一些实施例中，扫描长焦摄影机分辨率REST>2xRESW和/或SNRT>2xSNRW、或者REST>4xRESW和/或SNRT>4xSNRW。
在一些实施例中，所述缺陷是选自于由运动模糊、电子噪声、卷帘快门、散焦模糊和不正确的图像对齐所组成的群组或障碍物。在一些实施例中，所述缺陷为机械故障。
在一些实施例中，将所述对齐的长焦图像构成为所述超级图像包括:将所述对齐的长焦图像与所述参考图像一起合成至所述超级图像。
在一些实施例中，所述决定一个或多个扫描FOVT位置的顺序被执行，以便需要拍摄最少数量的长焦图像。
在一些实施例中，所述决定一个或多个扫描FOVT位置的顺序被执行，以便连续拍摄包括其各自FOVT中的特定场景特征的长焦图像，其中所述场景特征可为诸如纹理的视觉数据或诸如场景的亮度、深度或光谱组成的物理数据。
在一些实施例中，所述决定一个或多个扫描FOVT位置的顺序被执行，以便从包含在FOVR中的一场景移除一移动物体。
在一些实施例中，所述决定一个或多个扫描FOVT位置的顺序被执行，以便在包含在FOVR中的一场景中创建一移动物体的一副本。
在一些实施例中，所述决定一个或多个扫描FOVT位置的顺序被执行，以便每个长焦图像与另一个长焦图像重叠。
在一些实施例中，所述决定一个或多个扫描FOVT位置的顺序被执行，以便一个或多个感兴趣的对象位于FOVT的中心区域而不是重叠区域。
在一些实施例中，所述多变焦长焦摄影机是一连续变焦长焦摄影机。在一些实施例中，所述多变焦长焦摄影机是一双变焦状态远摄影机。
在一些实施例中，所述参考图像为具有第一变焦系数(ZF1)的一长焦图像，其中按顺序连续拍摄的长焦图像具有第二变焦系数(ZF2)，其中ZF1≤1.25xZF2。
本文公开的方法不限于一特定的多摄影机模块，且可以用于摄影机的任意组合，只要所述组合由至少一个具有一些扫描能力的摄影机组成，不限于2D扫描。
附图说明
以下参考在此段落之后列出的附图描述本文公开的实施例的非限制性示例。出现在不止一个图中的相同结构、元件或部件通常在它们出现的所有图中用相同的数字标号。如果显示相同的元件但仅在一个图中编号，则假定它们在出现的所有图中具有相同的编号。附图和说明意在解释和阐明本文公开的实施例，且不应以任何方式被认为是限制性的。在附图中:
图1示出了(a)常规全景图像和(b)超级图像之间的关键差异；
图2示出了常规全景图像和本文公开获得的超级图像之间的另一个关键差异；
图3示出了常规全景图像和本文公开获得的超级图像之间的又一个关键差异；
图4A示出了本文公开的用于获取新图像的方法实施例的流程图；
图4B示出了用于获得新图像的SWM实施例的流程图，其中新图像是本文公开的SW；
图5是双摄影机输出图像的FOV；
图6示出了参考图像检索流程的一实施例；
图7示出了参考图像检索流程的另一实施例；
图8A说明了决定用于创建SI或SW的长焦扫描顺序的实施例；
图8B说明了决定用于创建SI或SW的长焦扫描顺序的另一实施例；
图9示出了根据特定标准决定长焦FOV位置；
图10A示出了长焦摄影机扫描顺序，其是基于场景中的移动物体的侦测来决定长焦扫描顺序的一实施例；
图10B示出了图10A扫描的超级图像结果；
图11A示出了长焦摄影机扫描顺序，其是基于场景中的移动物体的侦测来决定长焦扫描顺序的另一实施例；
图11B示出了图11A扫描的超级图像结果；
图12A示出了长焦摄影机扫描顺序，其是基于场景中的移动物体的侦测来决定长焦扫描顺序的又一实施例；
图12B示出了图12A中扫描的超级图像结果；
图12C示出了优先于拍摄移动物体而不是静止物体的T扫描顺序的第一示例；
图12D示出了图12C扫描顺序的SW结果；
图13是显示图像对齐步骤的典型设置的细节的流程图；
图14说明了缺陷检测步骤中发生错误的几种情形；
图15A示出了SI合成方法的步骤的流程图；
图15B示出了SWM的步骤的流程图；
图16A示出了没有使用任何颜色校正步骤的超级图像；
图16B示出了具有颜色校正步骤的超级图像；
图17示意性地示出包括具有至少一个扫描长焦摄影机的多光圈摄影机的行动装置的实施例。
具体实施方式
现在回到附图，图4A示出了用于获得本文公开的RESN>RESR和/或SNRN>SNRR的一新图像的方法实施例的流程图。第一种方法可以称为超级图像方法(Super-Image method或“SIM”)，用于创建如本文所述的一超级图像(超级图像的合成参见图15A)。第二种方法可以称为超广角图像方法(Super-Wide image method或“SWM”)，用于创建如本文所述的一超广角图像(超广角图像的合成参见图15B)。执行这些方法的一演算法可以在诸如应用处理器(AP)1740之类的处理器上运行，所述处理器可操作地耦合到一第一(参考)摄影机和一第二(长焦)摄影机，如图17所示。在获得一超级图像的一些实施例中，在步骤402中拍摄在一初始扫描位置的一初始长焦图像。在步骤404中检索一参考图像。在一些实施例中，所述参考图像是用各自的摄影机所拍摄的一广角图像或一极广角图像。在一些实施例中，所述参考图像是在与在步骤402和/或步骤408中拍摄的长焦图像明显不同的时间拍摄的，例如，在拍摄所述长焦图像之前的几秒、几小时甚至几年。在其他实施例中，使用所述初始长焦图像作为查询，从一外部数据库检索所述参考图像，见下文。在步骤406中拍摄初始和每个后续的长焦图像之后，选择或更新长焦摄影机的下一个(也称为“随后的”、“顺序的”或“连续的”)扫描位置，决定各自的FOVT。
在步骤408中，使用在步骤406中选择或更新的扫描位置来获取(拍摄)一后续的长焦图像。对于超级图像方法，在步骤410中，所述后续的长焦图像与先前找到的具有一些共享FOV的长焦图像对齐，并与的所述参考图像对齐，以获得一对齐的长焦图像。对于超广角图像方法，在步骤410中，所述获取的长焦图像与所述参考图像对齐，以获得一对齐的长焦图像。在步骤412中，分析所述对齐的长焦图像的缺陷，并基于检测到的缺陷，通过回到步骤406来更新后续扫描位置。重复步骤406至步骤412，直到已经实现了对所述参考图像的期望涵盖范围。之后，如图15A所述的超级图像方法和图15B中所述的超广角图像方法来合成所述超级图像或超广角图像，以形成一个具备FOVN>FOVT和RESN>REST和/或SNRN>SNRT的具有凝聚力的新图像，其可为超级图像或超广角图像。
在一些实施例中，图像合成步骤414可以在如上所述获取和对齐所有长焦图像之后执行。在其他实施例中，图像合成步骤414可以在长焦图像获取和图像对齐步骤406至步骤412的每次迭代之后执行，以执行具有中间可行结果的“动态(on the fly)”混合。在这样的实施例中，在步骤406至步骤412的每次迭代之后存在一超级图像。
图4B示出了用于获得具备RESN>RESR和/或SNRN>SNRR的一新图像的一超广角图像方法实施例的流程图，其中所述新图像是本文公开的超广角图像。如图17所示，执行所述方法的一演算法可操作地耦合到一第一(参考)摄影机和一第二(长焦)摄影机的处理器(AP)1740上运行。在步骤422中，检索一参考图像。在步骤424中，所述参考图像中存在的特征如本领域已知的那样被提取，且在步骤426中被聚集。特征可以通过它们与移动装置1700的距离，或者通过它们在所述参考图像的FOV内的位置或其他方式来聚集，例如，通过它们在语义上的相似性，例如通过半图像分割，例如由Radhakrishna Achanta、Appu Shaji、KevinSmith、Aure-lien Lucchi、Pascal Fua和Sabine Susstrunk等人描述的“SLICSuperpixels”、SLIC Superpixels，EPFL TechnicalReport 149300，2010年6月。基于聚集的结果，在步骤428中决定长焦扫描顺序。可选地并且在长焦摄影机1710是具有不同变焦状态的一多变焦长焦摄影机的情况下，可以另外决定合适的变焦系数(ZF)。图12C至图12D给出了一长焦扫描顺序的示例。在步骤430中，根据步骤428中决定的长焦扫描顺序拍摄长焦图像。
步骤432至步骤440描述了将步骤430所拍摄的长焦图像与步骤422检索到的所述参考图像对齐的过程。图13描述了有关图像对齐的更多细节。如本领域已知的，基于1光路折叠元件(OPFE)使用一扫描长焦摄影机所拍摄的长焦图像受到一“滚动效果(Rolleffect)”，因此它们在步骤432中被矫正。在步骤434中提取所述长焦图像中的特征。对于每个长焦图像，在步骤434中提取的特征与在步骤424中提取的参考图像中的特征相匹配。步骤438至步骤440描述了对齐步骤的微调。在步骤438中，如果在步骤436中发现在步骤432中执行的校正不充分，则在所述图像在变形方面进行了额外调整，以减少滚动效果。在步骤440，执行长焦图像数据相对参考图像数据的定位。例如，可以执行本领域已知的互相关计算，以将所述长焦图像数据定位在所述参考图像内。作为示例且通常地，在定位之前，例如同一目标点的图像点在所述参考和长焦图像之间的偏差可能超过25个像素、或超过50个像素、或超过100个像素。我们假设一像素大小约为1μm。在定位之后，同一目标点的图像点可以例如所述参考和长焦图像之间的偏差小于20像素、或小于10像素，甚至小于2像素。对于超广角图像方法，可能不需要将所述长焦图像相互对齐，但每个长焦图像可仅与所述参考图像对齐。
在步骤442中，将所述参考图像和对齐的长焦图像输入到一超分辨率演算法中。相关的超分辨率演算法在Daniel Glasner等人的“单一图像的超分辨率(Super-Resolutionfrom a Single Image)”，ICCV，2009年、Tamar Rott Shaham等人的“SinGAN：从单一自然图像中学习生成模型(Learning a Generative Model from a Single Natural Image)”,ICCV,2019,arXiv:1905.01164、或Assaf Shocher等人的“使用深度内部学习的零样本超分辨率(Zero-Shot Super-Resolution using Deep Internal Learning)”，2017，arXiv:1712.06087中描述。
在步骤444中，输出具有RESN>RESR和/或SNRN>SNRR的一新图像。通常，FOVN大于在步骤442中输入至所述超分辨率算法的所有FOVT的集合，即FOVN>集合-FOVT。集合-FOVT表示FOVR内的FOV，其包含在步骤428中所拍摄的长焦图像之一的至少一个FOVT中。
FOVT扫描可以通过启动(例如用于旋转)扫描长焦摄影机的一个或多个光路折叠元件(OPFE)来执行。可能需要快速启动。可以在2-20毫秒内执行启动以進行例如2°-5°扫描，及在10-70毫秒内進行15-25°扫描。扫描长焦摄影机可具有60°的最大对角线扫描范围。“最大对角线扫描范围”是由一中心FOV的最大状态左下角的FOV中心和一中心FOV的最大状态右上角的FOV中心所定义。例如并参考FOV对角线，具有FOVT＝20°和60°扫描范围的一扫描长焦摄影机涵盖80°的整体FOV。40°的对角线扫描范围可能涵盖FOVW的约60-100％。所述扫描长焦摄影机的有效焦距EFL＝7mm-40mm。相对于在同一移动装置中的广角摄影机，典型的变焦系数(ZF)可为2x至10x变焦，这意味着以相同距离拍摄的相同物体的图像在所述长焦摄影机的图像传感器上投影的尺寸比所述广角摄影机大2到10倍。假设参考摄影机和长焦摄影机使用相同的传感器，图像分辨率随着所述变焦系数线性变化。对于相同的传感器，通常REST>2x RESW。在一些示例中，REST>5x RESW。
图5示出了一双摄影机图像的示例性FOV，用于一双摄影机，其包括例如一广角摄影机(作为一参考摄影机)和一扫描长焦摄影机。长焦FOV 0示出了叠加在广角视场(WideFOV)上的一个示例性长焦扫描位置，而长焦FOV 1示出了叠加在广角FOV上的另一个示例性长焦扫描位置。这样的设置使步骤404中能够使用所述广角图像作为所述参考图像。
图6示出了一参考图像检索过程的一实施例。在步骤402和/或步骤408中获取三个长焦图像(长焦1、长焦2和长焦3)。然后使用这些图像在一外部数据库(例如使用Google)中搜索相似图像，然后检索所述图像并将其用作所述参考图像。
图7示出了一参考图像检索过程的另一实施例。在此，检索是使用来自移动装置的GPS位置执行的。图7显示了当前移动装置的GPS位置和在步骤402和/或步骤408中所拍摄的两个长焦图像(长焦1和长焦2)，以及使用GPS位置作为查询，从一外部数据库检索的“GPS”参考图像。
图8A示出了决定用于创建超级图像或超广角图像的长焦(T)扫描顺序的一实施例(分别为步骤406或步骤428)。所述扫描顺序由1-9的图像编号表示，即具有长焦FOV 1的长焦图像1是拍摄的第一个长焦图像，具有长焦FOV 2的长焦图像2是拍摄的第二个长焦图像..等等。在此，所述扫描位置是根据所述长焦摄影机扫描范围的最大涵盖范围来决定的。图8A示出了所述长焦摄影机叠加在一广角FOV上的最大可能扫描范围涵盖范围、以及选择的从FOV1到FOV9的具有长焦FOV的长焦图像，以实现最大覆盖范围。对于创建超广角图像，单个长焦图像1-9之间的重叠是可选择的。
图8B示出了决定用于创建超级图像或超广角图像的长焦扫描顺序的另一个实施例(分别为步骤406或步骤428)。如图8A所示，扫描顺序由编号表示。在此，所述扫描位置是基于所述扫描范围的所述最大涵盖范围以及另外基于在最短的总拍摄时间内拍摄此最大涵盖范围来决定的。所述拍摄时间包括将FOVT连续移动到目标扫描位置并在该位置拍摄一个或多个长焦图像。在此实施例中，通过最小化具有长焦FOV 3的长焦图像3和长焦图像4之间以及长焦图像6和长焦图像7之间的FOVT移动，与图8A中所示的扫描顺序相比，实现了更短的总拍摄时间。
要注意的是，决定扫描顺序包括决定各自的FOVT位置，这意味着决定了FOVT位置及其扫描顺序。
图9示出了根据用户感兴趣区域(region of interest，ROI)选择的最大涵盖范围的标准来决定用于创建超级图像和/或超广角图像的长焦FOV位置。图9将用户要求的感兴趣区域在广角(作为参考)图像FOV上显示为一虚线矩形，并决定了长焦图像，以实现此感兴趣区域选择的最大涵盖范围。
在超级图像方法和超广角图像方法的其他实施例中，可以基于从一演算法获得的感兴趣对象或感兴趣区域的最大涵盖范围来决定扫描位置，例如从显著图，例如Jiang等人在“显著对象检测：一种判别区域特征集成方法(Salient Object Detection:ADiscriminative Regional Feature Integration Approach)”中所述，或者如Redmon等人的“你只看一次：统一的、实时的对象检测(You Only Look Once:Unified,Real-TimeObject Detection)”。可以基于显著图选择超级图像或超广角图像的FOV。
在超级图像方法的其他实施例中，可以决定扫描位置，使得感兴趣区域内的特定特征位于FOVT的中心区域中而不是重叠区域中。特定特征可以是例如人的脸。在一中心区域定位特定的特征可以避免在感兴趣区域所在的超级图像的FOV片段中出现拼接伪影(stitching artifacts)，例如在通过在所述特定的特征覆盖的FOV中应用“拼接接缝(stitching seams)”。
超级图像方法和超广角图像方法的其他实施例中，可以决定扫描位置，使得用于涵盖大于FOVT的特定FOV的一给定选定的感兴趣区域需要最少数量的长焦图像拍摄，例如用于降低功耗和拍摄时间。
超级图像方法和超广角图像方法的其他实施例中，用于决定扫描位置顺序的标准可基于艺术或视觉效果，例如所需数量的自然散景。自然散景的数量取决于前景物体(对焦)和背景物体(离焦)的物镜距离差。一扫描位置标准可以例如为具有均匀自然散景的一图像背景。
超级图像方法和超广角图像方法的其他实施例中，用于决定扫描位置顺序的标准可基于计算摄影所需的数据。这样的数据可例如是包括长焦图像数据和来自所述参考图像的图像数据的立体图像数据。从单个FOVT的立体图像数据和FOVR的重叠图像FOV片段，可以计算覆盖FOVT的一立体深度图，如本领域已知的，例如通过三角测量。所述立体深度图可以将人工散景演算法应用至所述参考图像或超级图像。在一些实施例中，步骤414中的超级图像输出可能不是包括视觉数据的图像，而是包括立体深度数据的输出。
在其他实施例中，一扫描顺序标准可以包括期望的艺术的超级图像效果。这样的效果可以通过同步长焦图像拍摄和FOV扫描来创建，其中拍摄发生在FOV移动期间，从而实现长焦图像中的运动模糊效果。为此，一扫描顺序标准可为特定的场景片段的一期望运动模糊量。
超级图像方法和超广角图像方法的其他实施例中，用于决定扫描位置的标准可基于包括在所述图像中的场景的一深度评估。例如，可以选择扫描位置，使得单个长焦图像包括具有一特定的深度范围(即特定摄影机-目标距离范围)的场景片段或包括不超过一特定的深度临界值的场景片段。在另一示例中，可以选择扫描位置，使得单个长焦图像包括覆盖一特定的FOV大小的感兴趣区域。作为示例，一扫描顺序标准可为连续拍摄具有相似深度或包括特定FOV大小的感兴趣区域的场景片段。这对于可能没有一个固定FOV(即变焦状态)但具有不同FOV(变焦状态)的一扫描摄影机可能是有益的。对于快速拍摄超级图像或超广角图像，可能更喜欢连续(依序地)拍摄具有相同变焦状态的FOV片段，因为它可能例如希望将变焦状态切换的数量(耗时)最小化。作为另一个示例，一扫描顺序标准可以是连续拍摄具有相似深度的场景片段，因为这可使在单张长焦图像拍摄之间重新聚焦长焦摄影机的所需时间最小化，且还可帮助长焦图像的对齐。
超级图像方法和超广角图像方法的其他实施例中，一扫描顺序标准可以是连续拍摄在其各自的FOVT内包含特定场景特征的长焦图像。在一些实施例中，可以连续拍摄在其各自的FOVT内具有相似场景特征的长焦图像。场景特征可以是例如纹理的视觉数据。场景特征可以是例如一场景的亮度、深度或光谱组成的物理数据。光谱组成可以由所述场景中存在的所有波长的强度值来定义。
图10A、图10B、图11A、图11B、图12A和图12B示出了根据与场景中的一移动物体(一跑步者，图11A中的箭头指示她的移动方向)相关的信息来决定用于创建超级图像的长焦扫描顺序的标准的三个示例。每个图中的视图A示出了流程图中的长焦扫描顺序(箭头1、2、3)。每个图中的视图B示出了生成的超级图像。有几种用于决定长焦扫描顺序的选项，如下所示。
可以决定拍摄长焦图像的顺序，使得移动物体根本不会出现在场景中，如图10A所示。或者，可以决定长焦扫描顺序，使得所述移动物体将仅出现在场景中一次，如图11A所示。又或者，可以决定长焦扫描顺序以在所述场景中创建移动物体的副本，如图12A所示。
或者，所述长焦扫描顺序(即所述扫描顺序标准)可基于所述摄影机或场景的属性。在一些实施例中，一扫描顺序标准可基于快速的超级图像拍摄。在一些实施例中，步骤414中的超级图像输出或步骤444中的超广角图像输出可能不是包含视觉数据的图像，但它可以是包含光谱数据、立体深度数据或通过计算摄影或物理分析生成的其他图像数据的输出。
在一些实施例中，可以在一参考图像的FOV中同时拍摄形成单个超级图像的多个子超级图像，即在如图4中描述的单个拍摄过程。子超级图像被定义为单个超级图像的一部分，其中单个超级图像涵盖比子超级图像更大的场景FOV。子超级图像没有与其他子超级图像重叠的FOV。用于拍摄所述单个超级图像的扫描顺序标准可以是快速的拍摄超级图像。可以通过将由光路折叠元件驱动引起的单个长焦图像的拍摄之间的延迟时间最小化，来实现快速的超级图像拍摄。在其他实施例中，用于拍摄所述单个超级图像的一扫描顺序标准可以是快速拍摄特定的子超级图像，其包含所述单个超级图像的场景中的最快的移动物体。
图12C-12D示出了图10A、11A和12A中所示的相同场景。图12C出了长焦扫描顺序的流程。图12D示出了超广角图像结果。
与超级图像方法相比，在用于增加FOVR片段中的RES或SNR的超广角图像方法中，不一定要拍摄具有包含FOVR片段的FOVT的长焦图像。拍摄包含在相同场景中存在的相似特征的长焦图像可能就足够了。作为示例并参考图12C，为了增加包括长凳2(在图12C中标记为“2”)的FOVR片段中的RES或SNR，使用包括长凳1(标记为图12C中的“1”)可能就足够了，因为长凳1是类似于长凳2的物体。类似地，可以使用包含出现在长焦FOV 3中的草地片段的长焦图像来增加新图像的一位置的分辨率，所述位置包含在长焦FOV4中但不包含在长焦FOV3中。
此外，对于超广角图像方法，所述长焦图像不一定需要相互对齐，而只与所述参考图像对齐。因此，拍摄的长焦图像不一定包含超级图像方法所需的重叠FOV。
有几种用于决定长焦扫描顺序的选项，如下所示。
图12C示出了一长焦扫描顺序的第一示例，其优先拍摄移动物体(例如跑步者)而不是静止对象(例如城市景观)。在其他示例中，可以拍摄例如在此所示的第一个长焦FOV1，但可以在明显更晚的时间拍摄可能仍包括所述跑步者的腿的第二个长焦FOV2，例如当所述跑步者已经移动到另一个位置时。“明显更晚的时间”可以是例如晚100ms或晚250ms或晚500ms或甚至更晚的时间，例如1秒后。在此示例中，可以使用物体跟踪器决定跟随一移动物体，以拍摄长焦图像。
在另一示例中，决定一长焦扫描顺序，以便以最快的方式执行具有多个FOVT的FOVR的一期望涵盖范围。
在又一个示例中，对于长焦摄影机为多变焦摄影机而言，决定长焦扫描顺序，以便以最快的方式执行具有一期望变焦系数(ZF)的FOVR的一期望涵盖。用户或演算法可选择所需的变焦系数。用于选择变焦系数的一个标准可以是所需的REST/RESR和/或SNRT/SNRR的比率，另一标准可以是所需的FOVT。在一些实施例中，所述参考图像可以是使用第一变焦系数(ZF1)拍摄的长焦图像，且根据所述顺序连续拍摄的长焦图像具有第二变焦系数(ZF2)，其中ZF1<ZF2，例如ZF1≤1.1xZF2，ZF1≤1.25xZF2，ZF1≤2xZF2。
在又一个示例中，对于长焦摄影机为多变焦摄影机而言，决定长焦扫描顺序，以便连续拍摄具有相同变焦系数的长焦图像。例如，首先拍摄具有一特定的第一变焦系数(ZF1)的所有长焦图像，然后拍摄具有一特定的第二变焦系数(ZF2)的所有长焦图像。
图13示出用于创建超级图像的图像对齐步骤410或用于创建超广角图像的步骤432至步骤440的一典型设置细节的流程图。这些步骤的输入是新拍摄的长焦图像、目前为止所拍摄的所有长焦图像中先前发现的特征、及参考图像(子步骤1302至子步骤1304)。一特征提取子步骤1306紧跟在一特征匹配子步骤1308之后。这些流程例如但不限于Rublee等人在2011年国际计算机科学会议上的“ORB：对SIFT或SURF的一种有效替代方案(ORB:anefficient alternative to SIFT or SURF)”中描述的，或在任何其他特征方案中描述的。接下来是单应性评估(homography estimation)子步骤1310，例如但不限于Li等人的“使用RANSAC演算法计算单应性：一种新的配准方法(Computing homography with RANSACalgorithm:A novel method of registration)”，國際光電工程學會(SPIE-TheInternational Society for Optical Engineering)，2004年1月，或任何其他单应性评估演算法所描述的。在一些实施例中，可以不使用单应性评估，而是使用一些其他几何变换(geometric transformation)，例如仿射变换(affine transformation)或非仿射变换(non-affine transformation)。子步骤1312根据在子步骤1310中找到的单应性执行图像变形，以对齐长焦图像结果。在一些实施例中，首先在长焦图像之间完成图像对齐，同时在对齐之后使用参考图像进行微调。在其他实施例中，图像对齐可以用每个长焦图像对齐参考图像来完成，同时使用不同的长焦图像匹配进行微调，或者通过不同图像之间的图像对齐的其他组合来完成。在一些实施例中，可以执行诸如在步骤440中描述的定位步骤。
图14示出了缺陷检测步骤412将引发错误的几种情况。这些情况包括但不限于(a)运动模糊，(b)电子噪声，(c)散焦模糊，(d)卷帘快门伪影，(e)不正确的图像对齐(由于任何原因，在步骤410中的图像对齐失败)和(f)场景的障碍物。当用户想要拍摄第二个对象时，如果第一物体覆盖了第二物体的FOV片段，则会发生障碍。一参考图像可用于检测运动模糊或不正确的图像对齐或场景中的障碍物，一长焦图像分析可用于检测电子噪声。缺陷检测步骤412中的错误也可能由于通常会出现的其他原因而引发，例如在单个图像的上下文中不称为“缺陷”，但仍可能导致在步骤414中合成的超级图像或超广角图像质量的预期下降。此类引发错误的原因可能与用于拍摄长焦图像的摄影机规格有关。其中一些规格可能例如与曝光、摄影机镜头模式或图像传感器模式有关。
一些原因可能与所述参考图像分析中未识别的场景特征有关。例如，考虑FOVN中的明亮振荡光源。拍摄所述参考图像时，所述光源可能已“关闭”，但拍摄各自的长焦图像时可能已“打开”，导致与之前或连续的长焦图像相比，为此长焦图像配置的长焦摄影机参数存在很大差异。在这种情况下，可能需要在光源“关闭”的情况下重新拍摄长焦图像。
另一个缺陷原因可能与机械缺陷有关，例如光路折叠元件未准确地到达期望的位置，因此可能会出现图像对齐问题，需要重新拍摄图像。
图15A是示出用于超级图像合成方法的步骤流程图，即一图像合成步骤414的典型设置的细节。输入是两个或更多对齐的长焦图像以及先前从所有长焦图像和参考图像中找到的特征(子步骤1502至子步骤1504)。第一个演算法子步骤是颜色校正子步骤1506。子步骤1506使用基于参考图像而不是其他长焦图像的颜色校正，因此优于本领域已知的在全景图像中使用的其他相关颜色校正过程，其仅使用来自图像重叠的信息来执行颜色校正。颜色校正子步骤本身可以被执行，例如，如Xiong等人的“用于手机全景图像的颜色校正算法(Color Correction for Mobile Panorama Imaging)”，ICIMCS'09：第1次互联网多媒体计算与服务国际会议记录，2009(Proceedings of the First International Conferenceon Internet Multimedia Computing and Service)，第219–226页。
颜色校正步骤1506对超级图像的影响如图16A和16B所示。图16A示出了不使用任何颜色校正步骤的超级图像。显示不同FOVT的图像彼此之间表现出显著的颜色差异。长焦颜色差异是不自然的，即它们并非来自于场景中的差异。图16B示出了包括颜色校正步骤的超级图像。颜色校正可确保无缝输出图像。接缝评估子步骤1508沿着想在重叠区域合并两张相邻的长焦图像，找到最佳接缝。此步骤可以使用接缝，例如但不限于Liao等人的“用于图像拼接的从粗到细的接缝评估”。图像混合步骤1510可以如本领域已知的那样进行，例如根据Burt等人的“应用于图像马赛克的多分辨率样条(Amultiresolution spline withapplication to image)”。美国计算机学会图形学汇刊(ACM Transactions onGraphics)，卷2第4期，1983年1月，第217至236页。
图15B是示出超广角图像方法的步骤的流程图，即步骤442和步骤444的典型设置的细节。在步骤1522中，与参考图像对齐的一个或多个的每个长焦图一参考图像被输入至超分辨率演算法1526。在步骤1528中输出一新图像。
图17示意性地示出了编号为1700且包括具有至少一个扫描长焦摄影机的多摄影机的移动装置的实施例。移动装置1700包括一第一扫描长焦摄影机模块1710及一第一镜头模块1714，所述第一扫描长焦摄影机模块1710包括用于FOV扫描的光路折叠元件1712，所述第一镜头模块1714形成由一第一图像传感器1716记录的一第一图像。在其他实施例中，摄影机模块1710可以包括两个用于FOV扫描的光路折叠元件。第一镜头致动器1718可以移动镜头模块1714，以用于聚焦和/或光学图像稳定(optical image stabilization，OIS)。光路折叠元件致动器1720可以移动光路折叠元件以进行扫描(其他的不提)。在一些实施例中，摄影机模块1710可以是一扫描长焦多变焦摄影机，其可以在具有不同变焦系数(ZF)的长焦镜头状态之间切换。随着变焦系数的变化，FOVT也会发生变化。例如，在共同拥有的国际专利申请案PCT/IB2020/051405中描述了具有两个离散变焦系数的一长焦多变焦摄影机。
移动装置1700可进一步包括具有比摄影机模块1710的FOV还要大的FOV的一参考(例如广角或极广角)摄影机模块1730。摄影机模块1730包括形成由一第二图像传感器1734记录的一图像的一第二镜头模块1732。第二镜头致动器1736可以移动镜头模块1732以聚焦和/或光学图像稳定。
在一些实施例中，第一校准数据可以存储在一摄影机模块的一第一存储器1722中，例如在EEPROM(带电可擦可编程只读存储器)中。在其他实施例中，第一校准数据可以存储在一第三存储器1750中，例如移动装置1700的NVM(非易失性存储器)。所述第一校准数据可以包括用于参考摄影机模块1730和长焦摄影机模块1710的传感器之间的校准数据。在一些实施例中，第二校准数据可以存储在一第二存储器1738中。在一些实施例中，所述第二校准数据可以存储在第三存储器1750中。所述第二校准数据可包括参考摄影机模块1730和长焦摄影机模块1710的传感器之间的校准数据。
移动装置1700还可以包括应用处理器(AP)1740。在使用中，应用处理器1740可从摄影机模块1710和1730接收各自的第一和第二(参考)图像数据，并向摄影机模块1710和1730提供摄影机控制信号。在一些实施例中，应用处理器1740可以接收来自应用处理器模块1710的第一图像数据和来自第三存储器1750的参考图像数据。在其他实施例中，应用处理器1740可以接收存储在位于摄影机模块1710上的一第一存储器和位于摄影机模块1730中的一第二存储器中的校准数据。在又一个实施例中，应用处理器1740可以接收存储在第三存储器1750中的参考图像数据。在又一个实施例中应用处理器1740可以从一外部数据库检索参考图像。应用处理器1740包括用于分析参考图像(例如用于场景理解和定义长焦扫描顺序)和长焦图像(例如用于缺陷检测)的一图像分析器1742、用于计算光路折叠元件控制信号(例如用于实现长焦扫描顺序)的一FOV扫描器1744、及用于合成新图像，如步骤402至步骤414和步骤1502至步骤1510(用于超级图像方法)、以及步骤422至步骤444和步骤1522至步骤1528(用于超广角图像方法)中所述的一图像生成器1744。
尽管已经根据某些实施例和通常相关联的方法描述了本公开，但是实施例和方法的改变和排列组合对于本领域技术人员来说是显而易见的。本公开应理解为不受本文描述的具体实施例的限制。
本申请中提及的所有参考文献整体通过引用并入本文。要强调的是，本申请中任何参考文献的引用或标识不应被解释为承认此类参考文献是可用的或被承认为现有技术。

Claims (14)

1.一种方法，其特征在于：所述方法包含︰
提供一折叠式长焦摄影机，配置以扫描和拍摄多个长焦图像，每个拍摄的图像具有一长焦图像分辨率REST、一长焦图像信噪比SNRT及一长焦视场FOVT；
获得并分析具有一参考视场FOVR大于FOVT及一参考图像分辨率RESR小于REST的一参考图像，和/或具有一信噪比SNRR小于SNRT的一参考图像；
决定一个或多个扫描FOVT位置的一顺序，用于连续拍摄所述多个长焦图像，其中一个或多个扫描FOVT位置包括在FOVR内相对于彼此水平和垂直移动的多个位置；
在各个扫描FOVT位置拍摄一长焦图像；
将拍摄的所述多个长焦图像与所述参考图像的多个片段对齐，以获得对齐的多个长焦图像；以及
使用所述对齐的所述多个长焦图像和所述参考图像创建具有一视场FOVN小于或等于FOVR的一新图像，其中，所述新图像的图像分辨率RESN大于RESR和/或所述新图像的信噪比SNRN大于SNRR；
其中所述决定一个或多个扫描FOVT位置的顺序被执行，以便以最快的方式执行具有多个FOVT的FOVR的一期望涵盖范围。
2.如权利要求1所述的方法，其特征在于：所述方法更包括在拍摄所述参考图像后及拍摄紧随的下一个长焦图像之前，立即将每个长焦图像与所述参考图像对齐，分析每个长焦图像的缺陷，如果在所述长焦图像中检测到缺陷，则在相同的FOVT位置重新拍摄长焦图像，或者，如果在所述长焦图像中未检测到缺陷，则在各自的FOVT位置继续拍摄紧随的下一个长焦图像。
3.如权利要求1所述的方法，其特征在于：所述方法更包括分析所述对齐的所述多个长焦图像的缺陷，如果在一特定的长焦图像中检测到缺陷，则在相同的FOVT位置重新拍摄所述特定的长焦图像，或者，如果未检测到缺陷，则使用所述对齐的所述多个长焦图像和所述参考图像创建所述新图像。
4.如权利要求1所述的方法，其特征在于：所述决定一个或多个扫描FOVT位置的顺序被执行，以便一个及多个长焦图像中的每一个都呈现一自然散景。
5.如权利要求1所述的方法，其特征在于：所述决定一个或多个扫描FOVT位置的顺序被执行，以便所述新图像涵盖一用户所选择的一感兴趣区域。
6.如权利要求1所述的方法，其特征在于：所述决定一个或多个扫描FOVT位置的顺序被执行，以便所述新图像涵盖一演算法所定义的一感兴趣区域。
7.如权利要求1所述的方法，其特征在于：所述决定一个或多个扫描FOVT位置的顺序被执行，以便每个长焦图像中包括具有一深度范围的多个场景片段或包括不超过一深度临界值的多个场景片段。
8.如权利要求1所述的方法，其特征在于：所述决定一个或多个扫描FOVT位置的顺序被执行，以便先拍摄移动物体，且在拍摄所述移动物体后，再拍摄静止物体。
9.如权利要求1所述的方法，其特征在于：所述决定一个或多个扫描FOVT位置的顺序被执行，以便连续拍摄包括其各自FOVT中的场景特征的多个长焦图像，其中所述场景特征包含纹理的视觉数据或场景的亮度、深度或光谱组成的物理数据。
10.如权利要求2或3所述的方法，其特征在于：所述缺陷是选自于由运动模糊、电子噪声、卷帘快门、散焦模糊和不正确的图像对齐所组成的群组或障碍物。
11.如权利要求2或3所述的方法，其特征在于：所述缺陷为机械故障。
12.如权利要求1所述的方法，其特征在于：所述折叠式长焦摄影机在FOVR内的两个或多个各自的FOVT位置拍摄两个或多个的长焦图像，其中所述决定一个或多个扫描FOVT位置的顺序被执行，以便从包含在FOVR中的一场景移除一移动物体。
13.一种方法，其特征在于：所述方法包含:
提供一折叠式长焦摄影机，配置以扫描和拍摄多个长焦图像，每个拍摄的图像具有一长焦图像分辨率REST、一长焦图像信噪比SNRT及一长焦视场FOVT；
获得并分析具有一参考视场FOVR大于FOVT及一参考图像分辨率RESR小于REST的一参考图像，和/或具有一信噪比SNRR小于SNRT的一参考图像；
决定一个或多个扫描FOVT位置的一顺序，用于连续拍摄所述多个长焦图像；
在各个扫描FOVT位置拍摄一长焦图像；
将拍摄的长焦图像与所述参考图像的片段对齐，以获得对齐的长焦图像；以及
使用所述对齐的长焦图像和所述参考图像创建具有一视场FOVN小于或等于FOVR的一新图像，其中，所述新图像的图像分辨率RESN大于RESR和/或所述新图像的信噪比SNRN大于SNRR；
其中所述决定一个或多个扫描FOVT位置的顺序被执行，以便根据扫描的机械限制，使构成的新图像涵盖最大的FOV。
14.一种方法，其特征在于：所述方法包含:
提供一折叠式长焦摄影机，配置以扫描和拍摄多个长焦图像，每个拍摄的图像具有一长焦图像分辨率REST、一长焦图像信噪比SNRT及一长焦视场FOVT；
获得并分析具有一参考视场FOVR大于FOVT及一参考图像分辨率RESR小于REST的一参考图像，和/或具有一信噪比SNRR小于SNRT的一参考图像；
决定一个或多个扫描FOVT位置的一顺序，用于连续拍摄所述多个长焦图像；
在各个扫描FOVT位置拍摄一长焦图像；
将拍摄的长焦图像与所述参考图像的片段对齐，以获得对齐的长焦图像；以及
使用所述对齐的长焦图像和所述参考图像创建具有一视场FOVN小于或等于FOVR的一新图像，其中，所述新图像的图像分辨率RESN大于RESR和/或所述新图像的信噪比SNRN大于SNRR；且其中所述决定一个或多个扫描FOVT位置的顺序被执行，以便需要拍摄最少数量的长焦图像。
CN202180006350.7A 2020-05-17 2021-05-12 全视场参考图像的图像拼接 Active CN114651275B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202311281852.8A CN117372249A (zh) 2020-05-17 2021-05-12 全视场参考图像的图像拼接
CN202311282328.2A CN117372250A (zh) 2020-05-17 2021-05-12 全视场参考图像的图像拼接
CN202311274373.3A CN117372248A (zh) 2020-05-17 2021-05-12 全视场参考图像的图像拼接

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063026097P 2020-05-17 2020-05-17
US63/026,097 2020-05-17
PCT/IB2021/054070 WO2021234515A1 (en) 2020-05-17 2021-05-12 Image stitching in the presence of a full field of view reference image

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN202311274373.3A Division CN117372248A (zh) 2020-05-17 2021-05-12 全视场参考图像的图像拼接
CN202311281852.8A Division CN117372249A (zh) 2020-05-17 2021-05-12 全视场参考图像的图像拼接
CN202311282328.2A Division CN117372250A (zh) 2020-05-17 2021-05-12 全视场参考图像的图像拼接

Publications (2)

Publication Number Publication Date
CN114651275A CN114651275A (zh) 2022-06-21
CN114651275B true CN114651275B (zh) 2023-10-27

Family

ID=78708180

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202311274373.3A Pending CN117372248A (zh) 2020-05-17 2021-05-12 全视场参考图像的图像拼接
CN202311282328.2A Pending CN117372250A (zh) 2020-05-17 2021-05-12 全视场参考图像的图像拼接
CN202311281852.8A Pending CN117372249A (zh) 2020-05-17 2021-05-12 全视场参考图像的图像拼接
CN202180006350.7A Active CN114651275B (zh) 2020-05-17 2021-05-12 全视场参考图像的图像拼接

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202311274373.3A Pending CN117372248A (zh) 2020-05-17 2021-05-12 全视场参考图像的图像拼接
CN202311282328.2A Pending CN117372250A (zh) 2020-05-17 2021-05-12 全视场参考图像的图像拼接
CN202311281852.8A Pending CN117372249A (zh) 2020-05-17 2021-05-12 全视场参考图像的图像拼接

Country Status (5)

Country Link
US (3) US11832018B2 (zh)
EP (2) EP4407976A3 (zh)
KR (3) KR102674601B1 (zh)
CN (4) CN117372248A (zh)
WO (1) WO2021234515A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11832018B2 (en) * 2020-05-17 2023-11-28 Corephotonics Ltd. Image stitching in the presence of a full field of view reference image
CN111818262B (zh) * 2020-07-08 2021-12-03 杭州萤石软件有限公司 图像重建方法及装置
KR20230096698A (ko) * 2021-12-23 2023-06-30 삼성전자주식회사 고해상도 영상을 위한 단말의 동작 방법 및 단말
US20220174213A1 (en) * 2022-02-14 2022-06-02 Mallari Hanchate Camera fusion architecture to enhance image quality in the region of interest
EP4350278B1 (en) * 2022-08-17 2025-03-05 Contemporary Amperex Technology (Hong Kong) Limited Calibration ruler, calibration method and apparatus, and detection method and apparatus

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989647A (zh) * 2013-06-13 2018-12-11 核心光电有限公司 双孔径变焦数字摄影机

Family Cites Families (426)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3085354A (en) 1957-01-31 1963-04-16 Westinghouse Electric Corp Multi-gimbal flight simulator
US3584513A (en) 1969-01-06 1971-06-15 Singer General Precision Self-calibrating system for navigational instruments
US3941001A (en) 1973-11-09 1976-03-02 Lear Siegler, Inc. Gimbal control mechanism
US4199785A (en) 1979-01-05 1980-04-22 Honeywell Inc. Electronic zoom system
JPS59191146A (ja) 1983-04-13 1984-10-30 Hitachi Ltd 光学走査装置
US5099263A (en) 1984-11-10 1992-03-24 Minolta Camera Kabushiki Kaisha Variable focal length camera
JPH0690350B2 (ja) 1986-12-15 1994-11-14 富士写真光機株式会社 カメラ
EP0342419B1 (de) 1988-05-19 1992-10-28 Siemens Aktiengesellschaft Verfahren zur Beobachtung einer Szene und Einrichtung zur Durchführung des Verfahrens
DE3927334C1 (zh) 1989-08-18 1991-01-10 Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De
JP2703105B2 (ja) 1989-10-20 1998-01-26 富士写真フイルム株式会社 手振れ補正装置
US5032917A (en) 1990-03-12 1991-07-16 Rca Licensing Corporation Video signal blending apparatus
JPH0443773A (ja) 1990-06-11 1992-02-13 Matsushita Electric Ind Co Ltd 演算回路
US5041852A (en) 1990-10-18 1991-08-20 Fjui Photo Film Co., Ltd. Camera shake correction system
JP3261152B2 (ja) 1991-03-13 2002-02-25 シャープ株式会社 複数の光学系を備えた撮像装置
US5394520A (en) 1991-09-26 1995-02-28 Hughes Aircraft Company Imaging apparatus for providing a composite digital representation of a scene within a field of regard
US5657402A (en) 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
JP3103166B2 (ja) 1991-11-26 2000-10-23 富士写真光機株式会社 射出瞳の遠いマクロレンズ
US5248971A (en) 1992-05-19 1993-09-28 Mandl William J Method and apparatus for multiplexed oversampled analog to digital modulation
JP3218730B2 (ja) 1992-10-19 2001-10-15 株式会社ニコン 予測機能を有する焦点調節装置
JPH06177706A (ja) 1992-12-08 1994-06-24 Sony Corp 信号処理装置
EP0605045B1 (fr) 1992-12-29 1999-03-31 Laboratoires D'electronique Philips S.A.S. Procédé et dispositif de traitement d'images pour construire une image à partir d'images adjacentes
US5682198A (en) 1993-06-28 1997-10-28 Canon Kabushiki Kaisha Double eye image pickup apparatus
US5805140A (en) 1993-07-16 1998-09-08 Immersion Corporation High bandwidth force feedback interface using voice coils and flexures
US6128416A (en) 1993-09-10 2000-10-03 Olympus Optical Co., Ltd. Image composing technique for optimally composing a single image from a plurality of digital images
JP3355787B2 (ja) 1994-05-20 2002-12-09 ソニー株式会社 光軸補正機構
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
CA2155719C (en) 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
JPH08271976A (ja) 1995-03-29 1996-10-18 Canon Inc カメラ
JPH0995194A (ja) 1995-09-29 1997-04-08 Aisin Seiki Co Ltd 車両前方の物体検出装置
US5768443A (en) 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
US5982951A (en) 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US5926190A (en) 1996-08-21 1999-07-20 Apple Computer, Inc. Method and system for simulating motion in a computer graphics application using image registration and view interpolation
JPH10126796A (ja) 1996-09-12 1998-05-15 Eastman Kodak Co デュアル・モード・ソフトウェア処理を用いた動画・静止画像用デジタル・カメラ
US5960218A (en) 1997-02-18 1999-09-28 Mobi Corporation Dual focal length camera
US5940641A (en) 1997-07-10 1999-08-17 Eastman Kodak Company Extending panoramic images
GB9720911D0 (en) 1997-10-03 1997-12-03 Britax Rainsfords Pty Ltd Hall effect sensor system
US6148120A (en) 1997-10-30 2000-11-14 Cognex Corporation Warping of focal images to correct correspondence error
US6341180B1 (en) 1997-12-18 2002-01-22 Cellavision Ab Image content autofocus for microscopy using a noise-insensitive focus filter
JP3695119B2 (ja) 1998-03-05 2005-09-14 株式会社日立製作所 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体
US6208765B1 (en) 1998-06-19 2001-03-27 Sarnoff Corporation Method and apparatus for improving image resolution
GB9823689D0 (en) 1998-10-30 1998-12-23 Greenagate Limited Improved methods and apparatus for 3-D imaging
US6211668B1 (en) 1998-12-09 2001-04-03 Cts Magnetic position sensor having opposed tapered magnets
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
JP3861855B2 (ja) 1999-01-21 2006-12-27 日本電気株式会社 画像入力装置
US20020063711A1 (en) 1999-05-12 2002-05-30 Imove Inc. Camera system with high resolution image inside a wide angle view
US20020075258A1 (en) 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
US6738073B2 (en) 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US6346950B1 (en) 1999-05-20 2002-02-12 Compaq Computer Corporation System and method for display images using anamorphic video
US6222359B1 (en) 1999-06-18 2001-04-24 Cts Corporation Non-contacting position sensor using radial bipolar tapered magnets
US7038716B2 (en) 1999-07-30 2006-05-02 Pixim, Inc. Mobile device equipped with digital image sensor
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6650368B1 (en) 1999-10-26 2003-11-18 Hewlett-Packard Development Company, Lp. Digital camera and method of enhancing zoom effects
US6643416B1 (en) 1999-11-30 2003-11-04 Eastman Kodak Company Method for determining necessary resolution for zoom and crop images
US20020005902A1 (en) 2000-06-02 2002-01-17 Yuen Henry C. Automatic video recording system using wide-and narrow-field cameras
JP2002010276A (ja) 2000-06-22 2002-01-11 Olympus Optical Co Ltd 撮像装置
JP4501239B2 (ja) 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
US7002583B2 (en) 2000-08-03 2006-02-21 Stono Technologies, Llc Display of images and image transitions
US6778207B1 (en) 2000-08-07 2004-08-17 Koninklijke Philips Electronics N.V. Fast digital pan tilt zoom video
US7345277B2 (en) 2000-08-09 2008-03-18 Evan Zhang Image intensifier and LWIR fusion/combination system
JP2002099014A (ja) 2000-09-22 2002-04-05 Nikon Corp 信号予測装置及びこれを具えたカメラ
JP2002214662A (ja) 2001-01-23 2002-07-31 Olympus Optical Co Ltd 光学装置の振れ補正装置
US6741250B1 (en) 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
GB2372659A (en) 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
US7346217B1 (en) 2001-04-25 2008-03-18 Lockheed Martin Corporation Digital image enhancement using successive zoom images
JP2002341220A (ja) 2001-05-14 2002-11-27 Olympus Optical Co Ltd 光学機器
GB0116877D0 (en) 2001-07-10 2001-09-05 Hewlett Packard Co Intelligent feature selection and pan zoom control
US6680748B1 (en) 2001-09-27 2004-01-20 Pixim, Inc., Multi-mode camera and method therefor
US20030093805A1 (en) 2001-11-15 2003-05-15 Gin J.M. Jack Dual camera surveillance and control system
US7339621B2 (en) 2001-12-13 2008-03-04 Psion Teklogix Systems, Inc. Imager output signal processing
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2003298920A (ja) 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
JP2003304024A (ja) 2002-04-12 2003-10-24 Nippon Telegr & Teleph Corp <Ntt> 駆動回路内蔵光モジュール
JP4657564B2 (ja) 2002-04-30 2011-03-23 イーストマン コダック カンパニー 電子スチルカメラ及び画像処理方法
GB2388265B (en) 2002-04-30 2005-10-12 Hewlett Packard Co Improvements in and relating to processing of images
CA2386560A1 (en) 2002-05-15 2003-11-15 Idelix Software Inc. Controlling optical hardware and dynamic data viewing systems with detail-in-context viewing tools
JP3870124B2 (ja) 2002-06-14 2007-01-17 キヤノン株式会社 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US6839067B2 (en) 2002-07-26 2005-01-04 Fuji Xerox Co., Ltd. Capturing and producing shared multi-resolution video
US20040061788A1 (en) 2002-09-26 2004-04-01 Logitech Europe S.A. Multiple mode capture button for a digital camera
US7321470B2 (en) 2002-10-08 2008-01-22 Olympus Corporation Camera
JP4481560B2 (ja) 2002-10-08 2010-06-16 オリンパス株式会社 レンズ鏡筒
GB2394852B (en) 2002-10-31 2006-12-20 Hewlett Packard Co Image capture systems using motion detection
JP2004219569A (ja) 2003-01-10 2004-08-05 Olympus Corp 電子撮像装置
JP3861815B2 (ja) 2003-01-17 2006-12-27 コニカミノルタフォトイメージング株式会社 手振れ補正機能付きカメラ
JP4055599B2 (ja) 2003-02-13 2008-03-05 コニカミノルタオプト株式会社 撮像レンズ装置およびそれを備えた電子機器
KR101162050B1 (ko) 2003-02-14 2012-07-04 베이 센서스 앤드 시스템즈 캄파니, 인코포레이티드 선형 홀?효과 센서를 이용하고, 증가된 선형성을 위한 자기 배열을 갖는 위치 센서
WO2004084542A1 (ja) 2003-03-20 2004-09-30 Seijiro Tomita パノラマ画像生成方法及びその装置並びにこれらの方法・装置を用いた監視システム
US20040240052A1 (en) 2003-06-02 2004-12-02 Pentax Corporation Multiple-focal imaging device, and a mobile device having the multiple-focal-length imaging device
US7596284B2 (en) 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
US7619683B2 (en) 2003-08-29 2009-11-17 Aptina Imaging Corporation Apparatus including a dual camera module and method of using the same
JP2005099265A (ja) 2003-09-24 2005-04-14 Fujinon Corp 撮像装置および撮像方法、ならびに測距方法
JP2005122084A (ja) 2003-09-25 2005-05-12 Kyocera Corp 光素子モジュール
EP1536633A1 (en) 2003-11-27 2005-06-01 Sony Corporation Photographing apparatus and method, supervising system, program and recording medium
US7746396B2 (en) 2003-12-17 2010-06-29 Nokia Corporation Imaging device and method of creating image file
KR100557040B1 (ko) 2003-12-30 2006-03-03 엘지전자 주식회사 광 픽업 시스템
JP2005208194A (ja) 2004-01-21 2005-08-04 Konica Minolta Photo Imaging Inc 撮影装置
KR20050090780A (ko) 2004-03-10 2005-09-14 삼성전자주식회사 영상촬영장치
EP1594321A3 (en) 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
JP4201140B2 (ja) 2004-05-10 2008-12-24 株式会社コルグ 操作子
JP2008507229A (ja) 2004-07-19 2008-03-06 グランドアイ，エルティーディー 広角ビデオカメラのズーム機能の自動拡張
ATE524760T1 (de) 2004-07-20 2011-09-15 Five Dimension Co Ltd Elektronische bildgebungseinrichtung
US7564019B2 (en) 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
US7916180B2 (en) 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
CN101427372B (zh) 2004-08-25 2012-12-12 普罗塔里斯菲洛有限责任公司 用于多个相机装置的设备和操作该设备的方法
US7465107B2 (en) 2004-09-21 2008-12-16 Canon Kabushiki Kaisha Photographing apparatus and control method therefor
KR101054344B1 (ko) 2004-11-17 2011-08-04 삼성전자주식회사 박막 트랜지스터 표시판 및 그 제조 방법
EP1669251A1 (en) 2004-12-07 2006-06-14 IEE INTERNATIONAL ELECTRONICS &amp; ENGINEERING S.A. Child seat detection system
US7688364B2 (en) 2004-12-10 2010-03-30 Ambarella, Inc. Decimating and cropping based zoom factor for a digital camera
US20060126737A1 (en) 2004-12-15 2006-06-15 International Business Machines Corporation Method, system and program product for a camera to track an object using motion vector data
KR100636969B1 (ko) 2004-12-30 2006-10-19 매그나칩 반도체 유한회사 Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템
US7573514B2 (en) 2005-02-03 2009-08-11 Eastman Kodak Company Digital imaging system with digital zoom warning
US7663662B2 (en) 2005-02-09 2010-02-16 Flir Systems, Inc. High and low resolution camera systems and methods
US7646400B2 (en) 2005-02-11 2010-01-12 Creative Technology Ltd Method and apparatus for forming a panoramic image
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
US20060187322A1 (en) 2005-02-18 2006-08-24 Janson Wilbert F Jr Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
US7256944B2 (en) 2005-02-18 2007-08-14 Eastman Kodak Company Compact image capture assembly using multiple lenses and image sensors to provide an extended zoom range
US7236306B2 (en) 2005-02-18 2007-06-26 Eastman Kodak Company Digital camera using an express zooming mode to provide expedited operation over an extended zoom range
JP2006237914A (ja) 2005-02-24 2006-09-07 Kyocera Corp 携帯端末装置
JP2006238325A (ja) 2005-02-28 2006-09-07 Canon Inc カメラシステム
KR100658150B1 (ko) 2005-04-08 2006-12-15 삼성전기주식회사 카메라 모듈 및 이의 제작방법
WO2006137253A1 (ja) 2005-06-22 2006-12-28 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法
KR20070005946A (ko) 2005-07-05 2007-01-11 엘지전자 주식회사 휴대 단말기용 카메라 렌즈의 위치 검출 장치
JP2007033879A (ja) 2005-07-27 2007-02-08 Sony Corp 撮像レンズ装置及び撮像装置
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP4573725B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
JP4573724B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
JP4188394B2 (ja) 2005-09-20 2008-11-26 フジノン株式会社 監視カメラ装置及び監視カメラシステム
WO2007044953A2 (en) 2005-10-13 2007-04-19 Rjs Technology, Inc. System and method for a high performance color filter mosaic array
CN101310218B (zh) 2005-11-14 2011-07-13 株式会社尼康 图像模糊修正装置和相机
JP4788953B2 (ja) 2005-11-16 2011-10-05 ソニー株式会社 撮像装置及びズームレンズ
US8238695B1 (en) 2005-12-15 2012-08-07 Grandeye, Ltd. Data reduction techniques for processing wide-angle video
US7423540B2 (en) 2005-12-23 2008-09-09 Delphi Technologies, Inc. Method of detecting vehicle-operator state
US20070177025A1 (en) 2006-02-01 2007-08-02 Micron Technology, Inc. Method and apparatus minimizing die area and module size for a dual-camera mobile device
JP2009526257A (ja) 2006-02-06 2009-07-16 ノキア コーポレイション ジンバルプリズムを用いた光学像スタビライザ
JP4579842B2 (ja) 2006-02-06 2010-11-10 イーストマン コダック カンパニー 撮像装置
US20090219547A1 (en) 2006-02-06 2009-09-03 Petteri Kauhanen Method and Device for Position Sensing in an Imaging System
US9182228B2 (en) 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
JP4622882B2 (ja) 2006-02-21 2011-02-02 カシオ計算機株式会社 デジタルカメラ
US7708478B2 (en) 2006-04-13 2010-05-04 Nokia Corporation Actuator mechanism and a shutter mechanism
US7773121B1 (en) 2006-05-03 2010-08-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration High-resolution, continuous field-of-view (FOV), non-rotating imaging system
EP2016759A1 (en) 2006-05-05 2009-01-21 Nokia Corporation Optical image recording device with small height and high resolution
JP2007306282A (ja) 2006-05-11 2007-11-22 Citizen Electronics Co Ltd カメラモジュール
KR100749337B1 (ko) 2006-06-13 2007-08-14 삼성전자주식회사 복수의 카메라렌즈를 구비한 이동통신단말기를 이용한 촬영방법 및 장치
US7737379B2 (en) 2006-07-19 2010-06-15 Witdouck Calvin J System and method for sorting larvae cocoons
US8189100B2 (en) 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US7756330B2 (en) 2006-07-27 2010-07-13 Eastman Kodak Company Producing an extended dynamic range digital image
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US7667762B2 (en) 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
JP2008076485A (ja) 2006-09-19 2008-04-03 Konica Minolta Opto Inc レンズ鏡胴、及び撮像装置
JP2008096584A (ja) 2006-10-10 2008-04-24 Nikon Corp カメラ
KR101278239B1 (ko) 2006-10-17 2013-06-24 삼성전자주식회사 듀얼 렌즈 광학계 및 이를 구비하는 듀얼 렌즈 카메라
US7697053B2 (en) 2006-11-02 2010-04-13 Eastman Kodak Company Integrated display having multiple capture devices
JP4448844B2 (ja) 2006-11-22 2010-04-14 富士フイルム株式会社 複眼撮像装置
KR100871566B1 (ko) 2006-12-04 2008-12-02 삼성전자주식회사 이미지 촬상 장치의 손떨림 보상을 위한 장치 및 방법
US7533819B2 (en) 2007-01-31 2009-05-19 Symbol Technologies, Inc. Dual camera assembly for an imaging-based bar code reader
US7978239B2 (en) 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7729602B2 (en) 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US9618748B2 (en) 2008-04-02 2017-04-11 Esight Corp. Apparatus and method for a dynamic “region of interest” in a display system
US20100134621A1 (en) 2007-04-06 2010-06-03 Korea Expressway Corporation Multi-area monitoring system from single cctv having a camera quadratic curved surface mirror structure and it, and unwrapping method for the same
JP5040412B2 (ja) 2007-04-18 2012-10-03 ソニー株式会社 撮像素子パッケージ、撮像素子モジュールおよびレンズ鏡筒並びに撮像装置
US8937651B2 (en) 2007-04-19 2015-01-20 Dvp Technologies Ltd. Imaging system and method for use in monitoring a field of regard
US7918398B2 (en) 2007-06-04 2011-04-05 Hand Held Products, Inc. Indicia reading terminal having multiple setting imaging lens
US8390729B2 (en) 2007-09-05 2013-03-05 International Business Machines Corporation Method and apparatus for providing a video image having multiple focal lengths
US20090086074A1 (en) 2007-09-27 2009-04-02 Omnivision Technologies, Inc. Dual mode camera solution apparatus, system, and method
US8084969B2 (en) 2007-10-01 2011-12-27 Allegro Microsystems, Inc. Hall-effect based linear motor controller
KR101428042B1 (ko) 2007-10-08 2014-08-07 엘지이노텍 주식회사 차량 카메라 제어 시스템
US8752969B1 (en) 2007-10-15 2014-06-17 Arete Associates Method of operating a fast scanning mirror
JP2009109904A (ja) 2007-10-31 2009-05-21 Sony Corp レンズ鏡筒及び撮像装置
US20090122195A1 (en) 2007-11-09 2009-05-14 Van Baar Jeroen System and Method for Combining Image Sequences
US20090128644A1 (en) 2007-11-15 2009-05-21 Camp Jr William O System and method for generating a photograph
KR20090058229A (ko) 2007-12-04 2009-06-09 삼성전기주식회사 듀얼 카메라 모듈
US8310587B2 (en) 2007-12-04 2012-11-13 DigitalOptics Corporation International Compact camera optics
TW200928431A (en) 2007-12-26 2009-07-01 Delta Electronics Inc Optical actuator
US8824833B2 (en) 2008-02-01 2014-09-02 Omnivision Technologies, Inc. Image data fusion systems and methods
US7745779B2 (en) 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
US8115825B2 (en) 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors
CN101276415A (zh) 2008-03-03 2008-10-01 北京航空航天大学 用多定焦摄像机实现多分辨率图像采集的装置和方法
US20100097444A1 (en) 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
FI20085510L (fi) 2008-05-28 2009-11-29 Valtion Teknillinen Zoom-kamera -järjestely, joka käsittää useita alikameroita
JP4513906B2 (ja) 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
KR101477178B1 (ko) 2008-07-17 2014-12-29 삼성전자주식회사 듀얼 카메라를 구비하는 휴대 단말기 및 이를 이용한 촬영방법
US8134589B2 (en) 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
GB2462095A (en) 2008-07-23 2010-01-27 Snell & Wilcox Ltd Processing of images to represent a transition in viewpoint
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
EP2328017A4 (en) 2008-09-10 2011-11-02 Panasonic Corp Camera body and imaging device
CN101394487B (zh) 2008-10-27 2011-09-14 华为技术有限公司 一种合成图像的方法与系统
JP5230376B2 (ja) 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像方法
JP5265336B2 (ja) 2008-12-25 2013-08-14 富士フイルム株式会社 手振れ補正装置及び光学機器
US20100202068A1 (en) 2009-02-06 2010-08-12 Panasonic Corporation Lens barrel structure
JP2010204341A (ja) 2009-03-03 2010-09-16 Nikon Corp カメラ
CN101833157A (zh) 2009-03-13 2010-09-15 鸿富锦精密工业（深圳）有限公司 相机模组
CN105681633B (zh) 2009-03-19 2019-01-18 数字光学公司 双传感器照相机及其方法
JP5121769B2 (ja) 2009-03-30 2013-01-16 富士フイルム株式会社 レンズユニット
WO2010116368A1 (en) 2009-04-07 2010-10-14 Nextvision Stabilized Systems Ltd Methods for compensating for light distortions related noise in a camera system having multiple image sensors
KR101552481B1 (ko) 2009-04-13 2015-09-21 삼성전자 주식회사 줌 렌즈 모듈
WO2010122841A1 (ja) 2009-04-22 2010-10-28 コニカミノルタオプト株式会社 レンズ鏡胴、撮像装置及びレンズ鏡胴の製造方法
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
EP2437213A1 (en) 2009-06-16 2012-04-04 Intel Corporation Camera applications in a handheld device
US20100321494A1 (en) 2009-06-18 2010-12-23 Theia Technologies, Llc Compact dome camera
US9215385B2 (en) 2009-06-22 2015-12-15 Ominivision Technologies, Inc. System and method for an image sensor operable in multiple video standards
WO2011009108A2 (en) 2009-07-17 2011-01-20 Universal Robotics, Inc. System and method for automatic calibration of stereo images
JP5846346B2 (ja) 2009-08-21 2016-01-20 ミツミ電機株式会社 カメラの手振れ補正装置
JP2011055246A (ja) 2009-09-02 2011-03-17 Panasonic Corp 望遠撮像装置
CN201514511U (zh) 2009-09-08 2010-06-23 华晶科技股份有限公司 潜望式镜头结构
KR101613928B1 (ko) 2009-09-09 2016-04-20 엘지전자 주식회사 이동 단말기
US20110063446A1 (en) 2009-09-14 2011-03-17 Mcmordie David Saccadic dual-resolution video analytics camera
KR101617289B1 (ko) 2009-09-30 2016-05-02 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5513834B2 (ja) 2009-10-13 2014-06-04 台湾東電化股▲ふん▼有限公司 レンズ駆動装置
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101081630B1 (ko) 2009-11-20 2011-11-09 엘지이노텍 주식회사 보이스 코일 모터
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
JP5310539B2 (ja) 2009-12-28 2013-10-09 富士通株式会社 メール送受信装置、メール送受信方法及びメール送受信プログラム
KR20110080590A (ko) 2010-01-06 2011-07-13 삼성테크윈 주식회사 흔들림 보정 모듈 및 이를 구비하는 카메라 모듈
EP2529333A4 (en) 2010-01-28 2013-10-23 Pathway Innovations And Technologies Inc DOCUMENT IMAGING SYSTEM WITH A CAMERA SCANNER DEVICE AND A PC-BASED PROCESSING SOFTWARE
WO2011112633A1 (en) 2010-03-09 2011-09-15 Flir Systems, Inc. Imager with multiple sensor arrays
JP5445235B2 (ja) 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5079836B2 (ja) 2010-03-24 2012-11-21 台灣東電化股▲ふん▼有限公司 レンズのオートフォーカスモジュールの手ブレ防止構造
JP2011205374A (ja) 2010-03-25 2011-10-13 Fujifilm Corp 表示装置
JP4783465B1 (ja) 2010-03-26 2011-09-28 富士フイルム株式会社 撮像装置及び表示装置
TWI478828B (zh) 2010-03-26 2015-04-01 Hon Hai Prec Ind Co Ltd 車載影像系統及安裝有該車載影像系統的汽車
US8456518B2 (en) 2010-03-31 2013-06-04 James Cameron & Vincent Pace Stereoscopic camera with automatic obstruction removal
US9001227B2 (en) 2010-04-05 2015-04-07 Qualcomm Incorporated Combining data from multiple image sensors
US8547389B2 (en) 2010-04-05 2013-10-01 Microsoft Corporation Capturing image structure detail from a first image and color from a second image
CN102215373B (zh) 2010-04-07 2014-12-24 苹果公司 会议中的显示调整
US8446484B2 (en) 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
US20130250150A1 (en) 2010-05-03 2013-09-26 Michael R. Malone Devices and methods for high-resolution image and video capture
WO2011159401A1 (en) 2010-05-03 2011-12-22 Invisage Technologies, Inc. Devices and methods for high-resolution image and video capture
US8547394B2 (en) 2010-05-21 2013-10-01 Seiko Epson Corporation Arranging and processing color sub-pixels
DE102010017057B4 (de) 2010-05-21 2015-03-19 Jena-Optronik Gmbh Kamera mit mehreren Festbrennweiten
CN103154816A (zh) 2010-07-13 2013-06-12 R·S·米尔拉伊 用于静态摄影的可变三维照相机组件
JP2012027263A (ja) 2010-07-23 2012-02-09 Sony Corp 撮像装置、その制御方法およびプログラム
US8493482B2 (en) 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
JP5609467B2 (ja) 2010-09-15 2014-10-22 株式会社リコー 撮像装置及び撮像方法
US8780251B2 (en) 2010-09-20 2014-07-15 Canon Kabushiki Kaisha Image capture with focus adjustment
US20120075489A1 (en) 2010-09-24 2012-03-29 Nishihara H Keith Zoom camera image blending technique
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9204026B2 (en) 2010-11-01 2015-12-01 Lg Electronics Inc. Mobile terminal and method of controlling an image photographing therein
JP5719148B2 (ja) 2010-11-10 2015-05-13 キヤノン株式会社 撮像装置及びその制御方法、プログラム
KR101731346B1 (ko) 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
US9900522B2 (en) 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
JP5589823B2 (ja) 2010-12-21 2014-09-17 株式会社リコー ステレオカメラの校正装置および校正方法
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP5654867B2 (ja) 2010-12-27 2015-01-14 パナソニックＩｐマネジメント株式会社 映像信号処理装置及び映像信号処理方法
JP2012141442A (ja) 2010-12-28 2012-07-26 Sony Corp レンズ保護装置、レンズユニット及び撮像装置
US8803990B2 (en) 2011-01-25 2014-08-12 Aptina Imaging Corporation Imaging system with multiple sensors for producing high-dynamic-range images
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
JP5814566B2 (ja) 2011-02-28 2015-11-17 オリンパス株式会社 撮像装置、撮像方法及び撮像装置の制御プログラム
US20120229663A1 (en) 2011-03-08 2012-09-13 Spectral Instruments Imaging , Llc Imaging system having primary and auxiliary camera systems
JP5708097B2 (ja) 2011-03-18 2015-04-30 株式会社リコー 撮像装置、撮像方法、及び撮像プログラム
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
CN102739949A (zh) 2011-04-01 2012-10-17 张可伦 多镜头相机和多镜头装置的控制方法
US8553129B2 (en) 2011-05-10 2013-10-08 Htc Corporation Handheld electronic device with two lens modules, dual image capturing method applying for the handheld electronic device, and computer program product for load into the handheld electronic device
EP2523450B1 (en) 2011-05-10 2014-05-14 HTC Corporation Handheld electronic device with dual image capturing method and computer program product
KR101224790B1 (ko) 2011-06-14 2013-01-21 삼성전기주식회사 영상 촬상 장치
US8605199B2 (en) 2011-06-28 2013-12-10 Canon Kabushiki Kaisha Adjustment of imaging properties for an imaging assembly having light-field optics
JP5821356B2 (ja) 2011-07-15 2015-11-24 ミツミ電機株式会社 レンズ駆動装置
US9270875B2 (en) 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP6103840B2 (ja) 2011-07-28 2017-03-29 キヤノン株式会社 補正光学装置及び撮像装置
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
EP2592823A3 (en) 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
US8947627B2 (en) 2011-10-14 2015-02-03 Apple Inc. Electronic devices having displays with openings
JP5809936B2 (ja) 2011-11-08 2015-11-11 オリンパス株式会社 撮像装置
JP5884421B2 (ja) 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP5741395B2 (ja) 2011-11-16 2015-07-01 コニカミノルタ株式会社 撮像装置
JP2013120262A (ja) 2011-12-07 2013-06-17 Panasonic Corp 撮像装置
AU2011253982B9 (en) * 2011-12-12 2015-07-16 Canon Kabushiki Kaisha Method, system and apparatus for determining a subject and a distractor in an image
US8970655B2 (en) 2011-12-16 2015-03-03 Polycom, Inc. Reflective and refractive solutions to providing direct eye contact videoconferencing
KR101300353B1 (ko) 2011-12-22 2013-08-28 삼성전기주식회사 손떨림 보정장치
US8619148B1 (en) 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
JP2013143753A (ja) 2012-01-12 2013-07-22 Olympus Corp 撮像装置
KR101993222B1 (ko) 2012-01-19 2019-06-26 엘지전자 주식회사 디스플레이 장치
KR20130090225A (ko) 2012-02-03 2013-08-13 삼성전자주식회사 카메라 이미지 센서의 동작 모드 변경 방법
GB2499200B (en) 2012-02-07 2014-12-17 Canon Kk Method and device for transitioning between an image of a first video sequence and an image for a second video sequence
JP2013183353A (ja) 2012-03-02 2013-09-12 Toshiba Corp 画像処理装置
US8866943B2 (en) 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
KR20130104764A (ko) 2012-03-15 2013-09-25 엘지전자 주식회사 이동단말기
JP2013205550A (ja) 2012-03-28 2013-10-07 Olympus Corp 位置検出装置及び位置制御装置
US20130258044A1 (en) 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
US9029759B2 (en) 2012-04-12 2015-05-12 Nan Chang O-Film Optoelectronics Technology Ltd Compact camera modules with features for reducing Z-height and facilitating lens alignment and methods for manufacturing the same
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
US9008460B2 (en) 2012-04-27 2015-04-14 Adobe Systems Incorporated Automatic adjustment of images using a homography
IL219639A (en) 2012-05-08 2016-04-21 Israel Aerospace Ind Ltd Remote object tracking
CN102722321A (zh) 2012-05-22 2012-10-10 中兴通讯股份有限公司 双摄像头切换的方法及装置
US8953084B2 (en) 2012-05-30 2015-02-10 Digimarc Corporation Plural focal-plane imaging
CN104520898A (zh) 2012-06-08 2015-04-15 诺基亚公司 多帧图像校准器
CN104350734B (zh) 2012-06-11 2017-12-12 索尼电脑娱乐公司 图像生成设备以及图像生成方法
KR101991719B1 (ko) 2012-06-29 2019-06-21 엘지이노텍 주식회사 카메라 모듈
DE102012211383A1 (de) 2012-06-29 2014-01-02 Continental Automotive Gmbh Magnetfelderzeuger und Sensorvorrichtung für den Einsatz beim Ermitteln eines Rotationswinkels
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
US9733717B2 (en) 2012-07-12 2017-08-15 Dual Aperture International Co. Ltd. Gesture-based user interface
JP6444733B2 (ja) 2012-07-12 2018-12-26 ソニー株式会社 像振れ補正装置と像振れ補正方法および撮像装置
KR102051501B1 (ko) 2012-07-26 2019-12-03 엘지이노텍 주식회사 카메라 모듈
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
WO2014070927A2 (en) 2012-10-31 2014-05-08 Invisage Technologies, Inc. Expanded-field-of-view image and video capture
CN102982518A (zh) 2012-11-06 2013-03-20 扬州万方电子技术有限责任公司 红外与可见光动态图像的融合方法及装置
TWI525802B (zh) 2012-11-08 2016-03-11 威動光私人有限公司 變焦透鏡、光學裝置、用以製造其之方法及包含其之手持式電子器件
CN104106002B (zh) 2012-11-16 2017-10-13 松下电器（美国）知识产权公司 相机驱动装置
KR101960493B1 (ko) 2012-12-12 2019-07-15 삼성전자주식회사 광학조절장치
CN103024272A (zh) 2012-12-14 2013-04-03 广东欧珀移动通信有限公司 移动终端的双摄像头控制装置、方法、系统以及移动终端
KR102013928B1 (ko) * 2012-12-28 2019-08-23 삼성전자주식회사 영상 변형 장치 및 그 방법
US9568713B2 (en) 2013-01-05 2017-02-14 Light Labs Inc. Methods and apparatus for using multiple optical chains in parallel to support separate color-capture
US20140313316A1 (en) 2013-01-30 2014-10-23 SeeScan, Inc. Adjustable variable resolution inspection systems and methods using multiple image sensors
US20140218587A1 (en) 2013-02-07 2014-08-07 Motorola Mobility Llc Double sided camera module
US20190215440A1 (en) 2018-01-10 2019-07-11 Duelight Llc Systems and methods for tracking a region using an image sensor
WO2014152855A2 (en) 2013-03-14 2014-09-25 Geerds Joergen Camera system
US9851803B2 (en) 2013-03-15 2017-12-26 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
JP6214206B2 (ja) 2013-05-13 2017-10-18 キヤノン株式会社 撮像装置、制御方法及びプログラム
JP6100089B2 (ja) 2013-05-17 2017-03-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
DE102013209829B4 (de) 2013-05-27 2016-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optische Struktur mit daran angeordneten Stegen und Verfahren zur Herstellung derselben
CN203406908U (zh) 2013-06-03 2014-01-22 王傲立 手机用旋转摄像头
KR102166262B1 (ko) 2013-06-10 2020-10-15 삼성전자주식회사 카메라 렌즈 어셈블리
JP6227294B2 (ja) 2013-06-20 2017-11-08 惠州市大亜湾永昶電子工業有限公司 手振れ抑制機能付きレンズ駆動装置
US9432575B2 (en) 2013-06-28 2016-08-30 Canon Kabushiki Kaisha Image processing apparatus
TWI546570B (zh) 2013-07-01 2016-08-21 台灣東電化股份有限公司 可切換光路徑之光學防震機構
JP6103503B2 (ja) 2013-07-31 2017-03-29 パナソニックＩｐマネジメント株式会社 撮像装置
US9285566B2 (en) 2013-08-08 2016-03-15 Apple Inc. Mirror tilt actuation
US9494769B2 (en) 2013-09-12 2016-11-15 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Multi-lens imaging module and actuator with auto-focus adjustment
CN105579902B (zh) 2013-09-23 2019-06-28 Lg伊诺特有限公司 一种制造相机模块的方法
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
WO2015102704A2 (en) * 2013-10-08 2015-07-09 Sri International Iris biometric recognition module and access control assembly
US10038691B2 (en) * 2013-10-08 2018-07-31 Princeton Identity, Inc. Authorization of a financial transaction
US20150103147A1 (en) 2013-10-14 2015-04-16 Etron Technology, Inc. Image calibration system and calibration method of a stereo camera
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
KR101528626B1 (ko) 2013-11-04 2015-06-17 서경진 원형베일러의 개량형 롤베일 입상배출장치
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
US9509979B2 (en) 2013-11-26 2016-11-29 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
CN104680501B (zh) 2013-12-03 2018-12-07 华为技术有限公司 图像拼接的方法及装置
US9215377B2 (en) 2013-12-04 2015-12-15 Nokia Technologies Oy Digital zoom with sensor mode change
US9736391B2 (en) 2013-12-06 2017-08-15 Huawei Device Co., Ltd. Photographing method of dual-lens device, and dual-lens device
EP3062509B1 (en) 2013-12-06 2020-06-03 Huawei Device Co., Ltd. Terminal and image processing method
US9973672B2 (en) 2013-12-06 2018-05-15 Huawei Device (Dongguan) Co., Ltd. Photographing for dual-lens device using photographing environment determined using depth estimation
CN105340267A (zh) 2013-12-06 2016-02-17 华为终端有限公司 一种生成图片的方法及一种双镜头设备
US9538096B2 (en) 2014-01-27 2017-01-03 Raytheon Company Imaging system and methods with variable lateral magnification
KR102128468B1 (ko) 2014-02-19 2020-06-30 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
DE102014203189A1 (de) 2014-02-21 2015-08-27 Carl Zeiss Smt Gmbh Spiegel-Array
TW201533514A (zh) 2014-02-27 2015-09-01 Tdk Taiwan Corp 相機模組的反射鏡結構
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
CN103841404A (zh) 2014-03-18 2014-06-04 江西省一元数码科技有限公司 一种新型三维影像拍摄模组
US20150271471A1 (en) 2014-03-19 2015-09-24 Htc Corporation Blocking detection method for camera and electronic apparatus with cameras
KR102214193B1 (ko) 2014-03-25 2021-02-09 삼성전자 주식회사 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
KR101771778B1 (ko) 2014-04-11 2017-08-25 삼성전기주식회사 카메라 모듈
US9618770B2 (en) 2014-04-11 2017-04-11 Samsung Electro-Mechanics Co., Ltd. Camera module with function of auto-focus and image stabilize
CN105024516B (zh) 2014-04-30 2017-12-01 光宝电子(广州)有限公司 音圈马达阵列模块
WO2015172366A1 (zh) 2014-05-15 2015-11-19 华为技术有限公司 用于多帧降噪的方法和终端
US20150334309A1 (en) 2014-05-16 2015-11-19 Htc Corporation Handheld electronic apparatus, image capturing apparatus and image capturing method thereof
US9360671B1 (en) 2014-06-09 2016-06-07 Google Inc. Systems and methods for image zoom
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
WO2016033452A1 (en) 2014-08-29 2016-03-03 Ioculi Inc. Image diversion to capture images on a portable electronic device
JP2016057468A (ja) 2014-09-10 2016-04-21 Hoya株式会社 屈曲撮像装置
US10129455B2 (en) 2014-09-30 2018-11-13 Huawei Technologies Co., Ltd. Auto-focus method and apparatus and electronic device
WO2016061738A1 (en) 2014-10-20 2016-04-28 Schott Glass Technologies (Suzhou) Co. Ltd. Optical arrangement for a camera module, camera module with optical arrangement and method of manufacturing the optical arrangement
WO2016081567A1 (en) 2014-11-19 2016-05-26 Orlo James Fiske Thin optical system and camera
JP6622503B2 (ja) 2014-11-25 2019-12-18 日本放送協会 カメラモデルパラメータ推定装置及びそのプログラム
KR102287013B1 (ko) 2014-11-25 2021-08-06 삼성디스플레이 주식회사 박막 트랜지스터, 이를 포함하는 유기 발광 표시 장치 및 그 제조 방법
JP6483418B2 (ja) 2014-11-27 2019-03-13 エイブリック株式会社 ホールセンサおよびホールセンサの温度によるオフセットの補償方法
US10634867B2 (en) 2014-11-28 2020-04-28 Samsung Electro-Mechanics Co., Ltd. Camera module
EP3240182B1 (en) 2014-12-22 2025-03-12 Nidec Corporation Position estimation method and position control device
US9286680B1 (en) 2014-12-23 2016-03-15 Futurewei Technologies, Inc. Computational multi-camera adjustment for smooth view switching and zooming
US11019330B2 (en) 2015-01-19 2021-05-25 Aquifi, Inc. Multiple camera system with auto recalibration
US9800798B2 (en) 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
US9798135B2 (en) 2015-02-16 2017-10-24 Apple Inc. Hybrid MEMS scanning module
US9591237B2 (en) 2015-04-10 2017-03-07 Qualcomm Incorporated Automated generation of panning shots
CN112305833A (zh) 2015-04-16 2021-02-02 核心光电有限公司 紧凑型折叠式相机中的自动对焦和光学图像稳定
US9485432B1 (en) 2015-04-29 2016-11-01 Uurmi Systems Private Limited Methods, systems and apparatuses for dual-camera based zooming
US20160353012A1 (en) 2015-05-25 2016-12-01 Htc Corporation Zooming control method for camera and electronic apparatus with camera
US9866752B2 (en) * 2015-06-02 2018-01-09 Qualcomm Incorporated Systems and methods for producing a combined view from fisheye cameras
CN105847662A (zh) 2015-06-19 2016-08-10 维沃移动通信有限公司 一种基于移动终端的运动物体拍摄方法和移动终端
US10291842B2 (en) 2015-06-23 2019-05-14 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of operating the same
WO2016207754A1 (en) 2015-06-24 2016-12-29 Corephotonics Ltd. Low profile tri-axis actuator for folded lens camera
CN105827903A (zh) 2015-06-26 2016-08-03 维沃移动通信有限公司 摄像头模组和移动终端
US9863789B2 (en) 2015-06-30 2018-01-09 Ford Global Technologies, Llc Rotating camera systems and methods
CN106709899B (zh) 2015-07-15 2020-06-02 华为终端有限公司 双摄像头相对位置计算方法、装置和设备
KR102143309B1 (ko) * 2015-08-13 2020-08-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
WO2017028023A1 (en) 2015-08-14 2017-02-23 SZ DJI Technology Co., Ltd. Gimbal having parallel stability mechanism
US20170070731A1 (en) 2015-09-04 2017-03-09 Apple Inc. Single And Multi-Camera Calibration
KR101993077B1 (ko) 2015-09-06 2019-06-25 코어포토닉스 리미티드 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지
US10382698B2 (en) 2015-09-30 2019-08-13 Apple Inc. Mobile zoom using multiple optical image stabilization cameras
KR101858694B1 (ko) 2015-11-03 2018-06-27 엘지전자 주식회사 차량 및 그 제어방법
US9762893B2 (en) * 2015-12-07 2017-09-12 Google Inc. Systems and methods for multiscopic noise reduction and high-dynamic range
KR20170075442A (ko) 2015-12-23 2017-07-03 삼성전자주식회사 촬상 장치 모듈, 이를 포함하는 사용자 단말 장치 및 촬상 장치 모듈의 작동 방법
CN109946832B (zh) 2015-12-29 2021-01-19 核心光电有限公司 具有自动可调节长焦视场的双孔径变焦数字摄影机
CN205301703U (zh) 2016-01-19 2016-06-08 西安励德微系统科技有限公司 一种激光光幕投影扫描装置
JP6508532B2 (ja) 2016-02-17 2019-05-08 新シコー科技株式会社 レンズ駆動装置、カメラ装置及び電子機器
US9843736B2 (en) 2016-02-26 2017-12-12 Essential Products, Inc. Image capture with a camera integrated display
KR20170105236A (ko) 2016-03-09 2017-09-19 엘지전자 주식회사 손떨림 보정 장치
KR20170113066A (ko) 2016-03-24 2017-10-12 삼성전자주식회사 디스플레이를 가진 전자 장치 및 그의 이미지 표시 방법
KR20170112491A (ko) 2016-03-31 2017-10-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR102063411B1 (ko) 2016-05-30 2020-01-07 코어포토닉스 리미티드 회전식 볼-가이드 음성 코일 모터
KR102226315B1 (ko) 2016-07-07 2021-03-12 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 음성 코일 모터
CN107608052B (zh) 2016-07-12 2020-07-03 台湾东电化股份有限公司 镜头驱动模块
US10303042B2 (en) 2016-07-12 2019-05-28 Tdk Taiwan Corp. Lens driving module
TWM533229U (en) 2016-08-26 2016-12-01 Largan Precision Co Ltd Optical path folding element, imaging lens module and electronic device
WO2018071138A2 (en) 2016-09-19 2018-04-19 Tau Technologies, LLC Multi-camera imaging systems
US10516773B2 (en) 2016-10-13 2019-12-24 Samsung Electro-Mechanics Co., Ltd. Camera module and portable electronic device including the same
KR102609464B1 (ko) 2016-10-18 2023-12-05 삼성전자주식회사 영상을 촬영하는 전자 장치
CN106603765B (zh) 2016-12-20 2020-03-17 Oppo广东移动通信有限公司 支架组件及移动终端
CN106534655B (zh) 2017-01-11 2019-04-16 Oppo广东移动通信有限公司 摄像头模组及移动终端
KR102365926B1 (ko) 2017-01-12 2022-02-23 코어포토닉스 리미티드 컴팩트 폴디드 카메라
KR102140582B1 (ko) 2017-04-28 2020-08-03 자화전자(주) 다축 구조의 반사계 구동장치
US10334149B2 (en) 2017-02-23 2019-06-25 Qualcomm Incorporated Adjustment for cameras for low power mode operation
KR20250028499A (ko) 2017-03-15 2025-02-28 코어포토닉스 리미티드 파노라마 스캐닝 범위를 갖는 카메라
KR102426728B1 (ko) 2017-04-10 2022-07-29 삼성전자주식회사 포커스 제어 방법 및 이를 지원하는 전자 장치
JP6967715B2 (ja) 2017-04-18 2021-11-17 パナソニックＩｐマネジメント株式会社 カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
KR102390184B1 (ko) 2017-04-26 2022-04-25 삼성전자주식회사 전자 장치 및 전자 장치의 영상 표시 방법
WO2018217951A1 (en) 2017-05-24 2018-11-29 Camplex, Inc. Surgical visualization systems and displays
JP7103361B2 (ja) 2017-09-05 2022-07-20 ソニーグループ株式会社 撮像装置
US20190100156A1 (en) 2017-09-29 2019-04-04 GM Global Technology Operations LLC System and method for controlling a display
CN107682489B (zh) 2017-11-20 2019-11-19 珠海市魅族科技有限公司 一种移动终端和移动终端的显示屏控制方法
US11333955B2 (en) 2017-11-23 2022-05-17 Corephotonics Ltd. Compact folded camera structure
US10600157B2 (en) 2018-01-05 2020-03-24 Qualcomm Incorporated Motion blur simulation
EP3518016B1 (en) 2018-01-25 2024-06-12 Tdk Taiwan Corp. Optical system
EP4303653A1 (en) 2018-04-23 2024-01-10 Corephotonics Ltd. An optical-path folding-element with an extended two degree of freedom rotation range
US11291285B2 (en) 2018-09-07 2022-04-05 LTHR, Inc. Wireless hot shaving cream dispenser
US11055866B2 (en) * 2018-10-29 2021-07-06 Samsung Electronics Co., Ltd System and method for disparity estimation using cameras with different fields of view
CN109729266A (zh) 2018-12-25 2019-05-07 努比亚技术有限公司 一种图像拍摄方法、终端及计算机可读存储介质
US11832018B2 (en) * 2020-05-17 2023-11-28 Corephotonics Ltd. Image stitching in the presence of a full field of view reference image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989647A (zh) * 2013-06-13 2018-12-11 核心光电有限公司 双孔径变焦数字摄影机

Also Published As

Publication number Publication date
KR102674601B1 (ko) 2024-06-11
KR20240096759A (ko) 2024-06-26
EP4058978C0 (en) 2024-07-03
CN117372250A (zh) 2024-01-09
KR20220053678A (ko) 2022-04-29
EP4407976A3 (en) 2024-10-09
CN114651275A (zh) 2022-06-21
US11832018B2 (en) 2023-11-28
KR102495627B1 (ko) 2023-02-06
WO2021234515A1 (en) 2021-11-25
EP4058978A4 (en) 2022-12-28
EP4407976A2 (en) 2024-07-31
US12096150B2 (en) 2024-09-17
EP4058978A1 (en) 2022-09-21
CN117372248A (zh) 2024-01-09
EP4058978B1 (en) 2024-07-03
KR20230020585A (ko) 2023-02-10
US20230412755A1 (en) 2023-12-21
US20230065883A1 (en) 2023-03-02
CN117372249A (zh) 2024-01-09
US20250008049A1 (en) 2025-01-02

Similar Documents

Publication Publication Date Title
CN114651275B (zh) 全视场参考图像的图像拼接
JP5972969B2 (ja) パノラマ写真のための位置センサ支援型画像位置合わせ
US20090303343A1 (en) Low-light video frame enhancement
WO2014023231A1 (zh) 宽视场超高分辨率光学成像系统及方法
US20190289207A1 (en) Fast scan-type panoramic image synthesis method and device
CN101336439A (zh) 数字全景相机
JP2008306651A (ja) 撮像システムおよびプログラム
JP7174120B2 (ja) 撮像装置、プログラム、記録媒体、及び制御方法
JPH11196319A (ja) 撮像装置
CN110276714B (zh) 快速扫描式全景图图像合成方法及装置
CN110784642B (zh) 图像处理装置及其控制方法以及存储介质、摄像装置
JPH11196299A (ja) 撮像装置
JP2011041041A (ja) 撮像装置、撮像方法及びプログラム
JP2020160773A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP7458769B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JPH11196317A (ja) 撮像装置
JP3725606B2 (ja) 撮影装置
JP6953594B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP7409604B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP6828069B2 (ja) 撮像装置、撮像方法およびプログラム
JPH11196318A (ja) 撮像装置
JP6833772B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2024060611A (ja) 撮像システム、撮像システムの制御方法、および撮像システムの制御プログラム
JP2024036872A (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
CN117294937A (zh) 图像处理装置、摄像装置、图像处理方法和记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant