CN106462766B - 在预览模式中进行图像捕捉参数调整 - Google Patents
在预览模式中进行图像捕捉参数调整 Download PDFInfo
- Publication number
- CN106462766B CN106462766B CN201580028756.XA CN201580028756A CN106462766B CN 106462766 B CN106462766 B CN 106462766B CN 201580028756 A CN201580028756 A CN 201580028756A CN 106462766 B CN106462766 B CN 106462766B
- Authority
- CN
- China
- Prior art keywords
- text
- image
- text filed
- parameter
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本发明揭示一种用于在预览模式中调整至少一个图像捕捉参数的由电子装置执行的方法。所述方法可包含基于一组图像捕捉参数,捕捉包含至少一个文本对象的场景的预览图像。所述方法也可识别所述预览图像中的多个文本区域。从所述多个文本区域,可选择目标焦点区域。基于所述目标焦点区域,可调整所述至少一个图像捕捉参数。
Description
优先权主张
本申请案主张来自2014年6月9日申请的题目为“在预览模式中的图像捕捉参数调整”的美国申请案第14/300,023号的优先权,所述申请案的内容被以引用的方式全部并入。
技术领域
本发明大体涉及在电子装置中捕捉图像,且更具体地说,涉及在电子装置的预览模式中调整图像捕捉参数。
背景技术
例如相机、智能电话、平板计算机等的现代电子装置通常装备有图像传感器(例如,相机模块)。图像传感器用以捕捉用于在电子装置中存储和/或显示的各种场景的相片。在相片已被捕捉和存储后,此类电子装置中的图像处理功能可允许用户根据他或她的偏好来增强或改善相片。举例来说,一些电子装置可允许用户查看相片和从例如自动增强、裁剪、旋转、红眼减少等的多种功能当中选择所要的编辑功能。
装备有图像传感器的常规电子装置通常用以捕捉多种类型的场景和目标的相片。举例来说,此类电子装置可用以对包含文本对象(例如,文档)或具有文本和非文本对象(例如,花、墙壁、门、光源等)的标牌的场景拍照。然而,由于场景包含非文本对象,所以此类电子装置的图像传感器可能不能够捕捉针对场景中的文本对象优化的相片。
此外,常规电子装置可被配置以聚焦于场景的预定部分,例如,场景的中心部分,而非包含所要的文本对象的部分。因此,捕捉到的场景的相片中的文本对象可能不具有足够的图像质量。一些电子装置也可允许用户手动指定场景的所要的部分聚焦于显示屏上。然而,在拿着电子装置时手动选择场景的所要的部分可能对用户并不非常方便。
发明内容
本发明提供用于基于包含至少一个文本对象的场景的预览图像调整用于图像传感器的至少一个图像捕捉参数以捕捉包含所述至少一个文本对象的图像的方法和设备。
根据本发明的一个方面,揭示一种用于在预览模式中调整至少一个图像捕捉参数的方法(其由电子装置执行)。所述方法可包含基于一组图像捕捉参数,捕捉包含至少一个文本对象的场景的预览图像。所述方法也可识别所述预览图像中的多个文本区域。从所述多个文本区域,可选择目标焦点区域。基于所述目标焦点区域,可调整所述至少一个图像捕捉参数。本发明还描述涉及此方法的设备、装置、系统、装置组合和计算机可读媒体。
根据本发明的另一方面,揭示一种用于在预览模式调整至少一个图像捕捉参数的电子装置。所述电子装置可包含:图像传感器,其被配置以基于一组图像捕捉参数捕捉包含至少一个文本对象的场景的预览图像;和文本区域检测单元,其被配置以识别所述预览图像中的多个文本区域。所述电子装置还可包含目标焦点区域检测单元,其被配置以从所述多个文本区域选择目标焦点区域。所述电子装置中的图像传感器控制单元可被配置以基于所述目标焦点区域调整所述至少一个图像捕捉参数。
附图说明
当结合附图理解时,参考以下详细描述将理解本发明的发明性方面的实施例。
图1说明根据本发明的一个实施例的被配置以在预览模式中操作以显示包含多个文本对象的场景的预览图像以用于调整至少一个图像捕捉参数的电子装置。
图2为根据本发明的一个实施例的被配置以基于包含多个文本区域的场景的预览图像调整至少一个图像捕捉参数的电子装置的框图。
图3说明根据本发明的一个实施例的被配置以存储多个相机模式以用于响应于模式选择输入将图像传感器设定到所述相机模式中的一个的存储单元的框图。
图4为根据本发明的一个实施例的被配置以识别预览图像中的多个文本区域的文本区域检测单元的框图。
图5为根据本发明的一个实施例的用于通过在预览模式中调整用于图像传感器的至少一个图像捕捉参数来捕捉场景的图像的方法的流程图。
图6说明根据本发明的一个实施例的用于基于在处于比预览图像高的分辨率下的场景的另一预览图像中的多个候选文本区域识别场景的预览图像中的多个文本区域的方法的流程图。
图7为根据本发明的一个实施例的包含如在电子装置的显示屏上显示的多个文本对象的场景的预览图像。
图8为根据本发明的一个实施例的用于基于在预览模式中的场景的多个预览图像调整用于图像传感器的焦点参数的方法的流程图。
图9说明根据本发明的一个实施例的包含如在电子装置的显示屏上显示的多个车辆的场景的预览图像。
图10说明根据本发明的一个实施例的包含如在电子装置的显示屏上显示的光源和文档的一部分的室内场景的预览图像。
图11为根据本发明的一个实施例的用于基于预览图像中的目标焦点区域的亮度值调整用于图像传感器的曝光参数的方法的流程图。
图12说明根据本发明的一个实施例的可实施用于在预览模式中调整至少一个图像捕捉参数的方法和设备的示范性电子装置的框图。
具体实施方式
现在将对各种实施例详细进行参考,在附图中说明所述实施例的实例。在以下详细描述中,阐述众多具体细节以便提供对本发明的透彻理解。然而,对所属领域的一般技术人员将显而易见的是,可在无这些具体细节的情况下实践本标的物。在其它情况下,尚未详细描述众所周知的方法、程序、系统和组件,以便不会不必要地混淆各种实施例的方面。
图1说明根据本发明的一个实施例的被配置以在预览模式中操作以显示包含多个文本对象140、150和160的场景100的预览图像180以用于调整至少一个图像捕捉参数的电子装置120。如所展示,用户110可操作装备有图像传感器130的电子装置120以捕捉包含多个文本对象140、150和160的场景100的图像。如本文所使用,术语“捕捉(capture或capturing)”可指将场景的光学图像转换成数据或信号且将数据或信号存储在存储单元中,且可包含在预览模式(例如,实时预览模式)中临时存储数据或信号。文本对象140可为街道标牌,包含街道名称“第一大街”,而文本对象150和160可分别为“禁止停车”和“禁止”标牌。虽然将文本对象140、150和160说明为标牌,但其可为包含、显示或展示文本(例如,一或多个字符)的任一目标。另外,文本对象140、150和160还可包含一或多个文本区域,其中的每一个可包含类似大小、色彩、图案或类似者的文本或字符。如本文中所说明,电子装置120可为装备有图像捕捉和处理能力的任一合适装置,例如,数码相机(例如,DSLR相机)、智能电话、可佩带计算机(例如,智能眼镜、智能表等)、个人计算机、膝上型计算机、平板计算机、游戏装置等。
装备有图像传感器130的电子装置120可在预览模式中操作以为用户110捕捉和显示一或多个预览图像。举例来说,用户110可拍摄包含具有街道名称“第一大街”的文本对象140的场景100的照片以辅助导览街道或用于文本辨识。根据一个实施例,电子装置120可被配置以在用于捕捉图像中的文本的预览模式前或期间设定到文本模式。在文本模式中,可将多个图像捕捉参数设定到适合于捕捉图像中的文本的一组预定初始值。举例来说,用于图像传感器130的一组图像捕捉参数可包含焦点参数、曝光参数、白平衡参数、对比度增强参数、变焦参数、对光的敏感度参数等。
在拍摄照片前,用户110可在预览模式中操作电子装置120以查看场景100的预览图像180。从预览图像180,电子装置120可分别识别文本对象140、150和160中的多个文本区域142、152和162,且选择文本区域142、152和162中的一个作为目标焦点区域。在一个实施例中,电子装置120可确定文本区域142、152和162中的每一个的大小和选择具有最大文本大小的文本区域作为目标焦点区域。举例来说,在图1的预览图像180中,对应于文本对象140中的文本“第一大街”的文本区域142大于文本区域152和162。因此,电子装置120可将文本区域142识别为目标焦点区域。
在识别包含文本“第一大街”的目标焦点区域142后,电子装置120可确定指示目标焦点区域142的图像质量的一或多个值,例如,清晰度值、亮度值、对比度值、饱和度值和类似者。基于用于目标焦点区域142的图像质量的值,电子装置120可确定被优化以或适合于捕捉具有文本“第一AVENU”的目标焦点区域142的至少一个图像捕捉参数值,和将至少一个图像捕捉参数调整到相关联的参数值。在一个实施例中,可将至少一个图像捕捉参数中的焦点参数调整到被调适以或适合于产生用于目标焦点区域142的预定清晰度等级的值。另外或替代地,可将至少一个图像捕捉参数中的曝光参数调整到用于产生目标焦点区域142的预定亮度等级的曝光值(例如,光圈、时间和类似者)。
图2为根据本发明的一个实施例的被配置以基于包含至少一个文本对象的场景的预览图像调整用于图像传感器130的至少一个图像捕捉参数的电子装置120的较详细框图。电子装置120可包含I/O单元210、图像传感器130、存储单元220、通信单元230和处理器240。处理器240可包含文本区域检测单元242、目标焦点区域检测单元244、图像传感器控制单元246和文本辨识单元248。
I/O单元210可被配置以接收来自用户110的命令和/或输出用于用户110的信息。举例来说,I/O单元210可接收来自用户110的命令或输入以选择相机模式中的一个(例如,自动对焦模式、文本模式、夜间模式、纵向模式等)。基于选定相机模式,图像传感器130可在预览模式中操作以捕捉场景的一或多个预览图像。在预览模式中,可将捕捉的预览图像临时存储在存储单元220中,且在I/O单元210上显示。图像传感器130可为能够捕捉或感测场景或目标的图像的任一装置,例如,相机或相机模块。
当在选定相机模式中操作时,I/O单元210可从用户110接收用于捕捉场景的图像的命令或输入。响应于命令或输入,场景的图像可由图像传感器130捕捉和存储在存储单元220中和/或在I/O单元210上显示。如本文中所说明,I/O单元210可为能够接收命令和/或输出信息的任一合适装置,且包含触摸屏、拨号盘、按钮、小键盘、触摸板、显示屏或类似者。
存储单元220可被配置以临时存储在预览模式期间捕捉的预览图像。举例来说,存储单元220可存储用于预览图像中的每一个的数据,包含图像数据和图像的大小(例如,宽度和高度)。在此情况下,图像数据可包含像素信息,例如,像素的数目和用于像素的色彩值。预览图像可由处理器240存取以调整用于图像传感器130的至少一个图像捕捉参数值。
存储单元220可存储可用于识别预览图像中的一或多个文本区域的分类器数据库。在一个实施例中,分类器数据库可包含用于预定数目个语言(例如,英语、法语和类似者)中的每一个的概率模型,其可用以确定给定文本与所述语言相关联的概率。存储单元220也可存储可用于辨识与所述语言相关联的多个字符的字符信息数据库。对于语言中的每一个,字符信息数据库可包含在所述语言中使用的多个字符的图案或几何数据、表示所述语言中的多个字符的标志符号的图像和/或与所述语言中的每一个别标志符号相关联的至少一个特征。另外,存储单元220可存储语言的词典数据库,用于在辨识文本区域中的一或多个单词过程中使用。举例来说,词典数据库可包含映射到语言的多个单词。
在一些实施例中,存储单元220可存储用于可包含预定大小的一或多个文本区域的多个参照物(例如,牌照、价格标签等)的大小信息。举例来说,参照物中的每一个的大小信息可包含文本区域中的每一个或文本区域中的一或多个字符的大小。存储单元220可使用任何合适的存储装置或存储器装置来实施,例如,RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除可编程只读存储器)、快闪存储器或SSD(固态驱动器)。
处理器240可存取存储单元220中包含一或多个文本对象的场景的一或多个预览图像以确定用于图像传感器130的一或多个图像捕捉参数值。处理器240可接着调整用于图像传感器130的一或多个图像捕捉参数以确定一或多个图像捕捉参数值。配置有一或多个经调整的图像捕捉参数,图像传感器130可接着自动或响应于来自用户110的输入捕捉场景的图像。举例来说,可在调整图像捕捉参数后即刻或后自动或当用户110键入命令以通过按压快门按钮或启动用于图像传感器130的图像捕捉功能来拍摄场景的照片时手动捕捉图像。
处理器240中的文本区域检测单元242可被配置以从存储单元220接收场景的一或多个预览图像和检测预览图像中的每一个中的一或多个文本区域。在此过程中,可使用斑点聚集方法、基于边缘的方法、基于连接的组件的方法、基于纹理的方法或类似者,基于任一合适的文本候选提取方案来在预览图像中检测一或多个候选文本区域。在检测到候选文本区域后,文本区域检测单元242可从预览图像中的候选文本区域中的每一个提取一组特征。可接着基于来自存储单元220的分类器数据库针对所述一组特征产生分类评分。基于与候选文本区域相关联的分类评分,文本区域检测单元242可识别预览图像中的一或多个文本区域。可将识别的文本区域和相关联的分类评分提供到目标焦点区域检测单元244供从文本区域选择目标焦点区域。
根据一个实施例,在检测到预览图像中的候选文本区域后,文本区域检测单元242可存取按较高分辨率捕捉的场景的另一预览图像,且从较高分辨率图像获得对应于检测到的候选文本区域的候选文本区域。在此情况下,图像传感器130可被配置以基于多个图像分辨率捕捉场景的多个预览图像。举例来说,第一预览图像可按预定分辨率(例如,320×240)捕捉且临时存储在存储单元220中。另外,场景的第二预览图像还可按比预览图像高的分辨率(例如,1280×720)捕捉且临时存储在存储单元220中。在一些实施例中,两个分辨率的预览图像可存储在缓冲存储器(其可为存储单元220中的区域或专用图像缓冲器)中,用于由处理器240存取。
文本区域检测单元242可接着存取第一预览图像以识别第一预览图像中的一或多个候选文本区域和检测候选文本区域中的每一个的位置(例如,像素坐标)。文本区域检测单元242也可存取第二预览图像和确定第二预览图像中映射到检测到的候选文本区域在第一预览图像中的位置的对应的候选文本区域。文本区域检测单元242可接着从第二预览图像中的候选文本区域中的每一个提取一组特征,和产生用于所述一组特征的分类评分以用于在识别第一预览图像中的多个文本区域过程中使用。通过使用来自较高分辨率图像的候选文本区域,可更准确地检测具有较低分辨率的第一预览图像中的文本区域。
在替代性实施例中,文本区域检测单元242可基于文本辨识结果识别来自候选文本区域的文本区域。举例来说,文本区域检测单元242可将预览图像中的一或多个候选文本区域提供到文本辨识单元248,文本辨识单元248可对候选文本区域执行文本辨识。文本辨识单元248可接着将针对候选文本区域的文本辨识的结果提供到文本区域检测单元242。基于文本辨识结果,文本区域检测单元242可将一或多个候选文本区域识别为一或多个文本区域。举例来说,如果结果指示候选文本区域中的文本被辨识,那么可将候选文本区域识别为文本区域。
处理器240中的目标焦点区域检测单元244可被配置以从文本区域检测单元242接收预览图像的经识别的文本区域和相关联的分类评分,且从文本区域选择目标焦点区域。在一个实施例中,可将具有最大分类评分(其可指示为预定语言中的文本的最大可能性)的文本区域选择为目标焦点区域。在另一实施例中,目标焦点区域检测单元244可通过确定文本区域中的每一个的大小来选择目标焦点区域。在此情况下,可将具有最大大小的文本区域选择为目标焦点区域。
在一些实施例中,在选择了场景的预览图像中的目标焦点区域后,目标焦点区域检测单元244可将关于预览图像的目标焦点区域的信息临时存储在存储单元220中。目标焦点区域信息可包含预览图像中的目标焦点区域的位置和大小、目标焦点区域中的像素的色彩值等。目标焦点区域检测单元244可从文本区域检测单元242接收在场景的一或多个后续预览图像中识别的多个文本区域。通过存取存储单元220中的目标焦点区域信息,目标焦点区域检测单元244可接着基于任一合适的目标运动分析方案(例如,最大似然估计器方法、扩展的卡尔曼滤波器方法、规则化的粒子过滤器方法等)从后续预览图像中的每一个中的文本区域选择目标焦点区域。因此,当图像传感器130在文本模式(其可由用户110选择)中操作时,可追踪场景的预览图像中的每一个中的目标焦点区域。目标焦点区域检测单元244可接着将场景的预览图像中的每一个中的目标焦点区域提供到图像传感器控制单元246。
处理器240中的图像传感器控制单元246可被配置以接收用于预览图像的选定目标焦点区域,且基于目标焦点区域调整用于图像传感器130的至少一个图像捕捉参数。在一个实施例中,图像传感器控制单元246可基于目标焦点区域的亮度值调整用于图像传感器130的曝光参数。举例来说,可确定目标焦点区域的亮度值与预定亮度值之间的差。在此情况下,预定亮度值可为被优化以或适合于捕捉参考文本区域(例如,样本文本区域)中的文本(例如,字符)的值。可接着将用于图像传感器130的曝光参数调整到减小或消除目标焦点区域的亮度值与预定亮度值之间的差的曝光值。
在一些实施例中,图像传感器控制单元246可配置图像传感器130以基于多个候选焦点参数值在预览模式中依序捕捉和存储场景的多个预览图像。在此预览模式中,捕捉的预览图像中的每一个可包含一或多个文本区域,在由文本区域检测单元242和目标焦点区域检测单元244处理后,可将一或多个文本区域中的一个选择为目标焦点区域。图像传感器控制单元246可接收预览图像中的目标焦点区域且确定用于目标焦点区域中的每一个的清晰度值。在目标焦点区域当中,图像传感器控制单元246可识别具有最高清晰度值的目标焦点区域,且选择与识别的目标焦点区域相关联的候选焦点参数值。图像传感器控制单元246可接着将用于图像传感器130的焦点参数调整到选定候选者焦点参数值供在捕捉文本模式中的场景的图像过程中使用。
根据另一实施例,图像传感器控制单元246可通过确定目标焦点区域是否与具有已知大小信息的参照物相关联来调整焦点参数。在此情况下,如果将目标焦点区域确定为与存储在存储单元220中的参照物中的一个相关联,那么图像传感器控制单元246可确定目标焦点区域的大小或预览图像中的目标焦点区域中的一或多个字符的大小。给定预览图像的焦距,可基于参照物的大小信息和目标焦点区域的大小或目标焦点区域中的字符的大小计算焦点参数的值。图像传感器控制单元246可接着将用于图像传感器130的焦点参数调整到焦点参数值。另外或替代地,图像传感器控制单元246可将白平衡参数、对比度增强参数、变焦参数或对光的敏感度参数调整到被优化以或适合于在预览模式中捕捉目标焦点区域的参数值。
在调整了一或多个图像捕捉参数后,图像传感器130可自动地或响应于来自用户110的输入而捕捉至少包含目标焦点区域的场景的图像且将所述图像存储于存储单元220中。文本辨识单元248可接收所捕捉图像,且基于来自存储单元220的字符信息数据库或词典数据库对所捕捉图像中的目标焦点区域执行文本辨识。在一个实施例中,可通过叠加用于图像中的目标焦点区域的经辨识文本来将所捕捉图像显示于I/O单元210上。另外或替代地,可将经辨识文本转译成一或多个其它语言用于在I/O单元210上显示。可将经辨识或转译的文本存储在存储单元220中或经由通信单元230传输到另一电子装置。
虽然以上描述将一个目标焦点区域用于调整用于图像传感器130的至少一个图像参数,但应了解,图像传感器控制单元246可基于多个目标焦点区域调整至少一个图像捕捉参数。根据一个实施例,目标焦点区域检测单元244可从可接收自文本区域检测单元242的文本区域选择多个目标焦点区域。在一个实例中,可从接收的文本区域选择分别具有第一最大分类评分和第二最大分类评分的两个文本区域作为目标焦点区域。在另一实例中,目标焦点区域检测单元244可从接收的文本区域选择分别具有第一最大大小和第二最大大小的文本区域作为目标焦点区域。可将选定文本区域提供到图像传感器控制单元246,和用于调整至少一个图像捕捉参数。举例来说,图像传感器控制单元246可通过确定目标焦点区域的多个亮度值的算术平均值来调整用于图像传感器130的曝光参数。另外或替代地,可调整用于图像传感器130的焦点参数使得增大目标焦点区域的多个清晰度值的算术平均值。
图3为根据本发明的一个实施例的被配置以存储多个相机模式以用于在模式选择输入中将图像传感器130设定到相机模式中的一个的存储单元220的较详细框图。在一个实施例中,I/O单元210可接收来自用户110的命令或输入以选择存储在存储单元220中的相机模式中的一个,例如,自动对焦模式310、文本模式320、夜间模式330、纵向模式340等。相机模式中的每一个可特性在于被优化以或适合于根据相机模式捕捉图像的一组图像捕捉参数值。当文本模式由用户110选择时,I/O单元210可将选定文本模式提供到处理器240中的图像传感器控制单元246。
处理器240中的图像传感器控制单元246可接着从存储单元220存取与文本模式相关联的一组图像捕捉参数值,且用所述图像捕捉参数值配置图像传感器130。基于用于文本模式的图像捕捉参数值,图像传感器130可在预览模式中操作以捕捉场景的一或多个预览图像,所述场景可包含至少一个文本对象,例如,标牌或文档。在预览模式中,场景的一或多个预览图像可被捕捉和为用户110显示于I/O单元210上。预览图像中的每一个可包含用于场景中的至少一个文本对象的一或多个文本区域,且接着被处理用于调整用于图像传感器130的至少一个图像捕捉参数。
图4为根据本发明的一个实施例的被配置以识别预览图像中的多个文本区域的文本区域检测单元242的较详细框图。文本区域检测单元242可包含候选文本区域检测单元410、特征提取单元420、分类评分确定单元430和文本区域识别单元440。为了识别所述文本区域中的多个,文本区域检测单元242可分别与存储单元220和文本辨识单元248通信。
在文本区域检测单元242中,候选文本区域检测单元410可被配置以接收一或多个预览图像且检测预览图像中的一或多个候选文本区域。在一个实施例中,可通过确定在候选文本区域中具有一或多个类似性质(例如,大小、色彩、图案和类似者)的一或多个斑点来检测预览图像中的候选文本区域。在确定预览图像中的斑点后,候选文本区域检测单元410可在斑点聚集操作中聚集所述斑点。举例来说,可将具有相同色彩且位置接近的多个斑点聚集到斑点群集内。也可针对偏斜校正斑点群集中的每一个,和将其过滤以去除伪影。此外,可将有色彩的斑点群集转换成呈灰阶的斑点群集。在另一实施例中,可基于任一其它合适的文本候选提取方案(例如,基于边缘的方法、基于连接的组件的方法、基于纹理的方法或类似者)在预览图像中检测一或多个候选文本区域。在预览图像中检测到的候选文本区域可接着提供到文本区域检测单元242中的特征提取单元420和/或处理器240中的文本辨识单元248。
特征提取单元420可被配置以从候选文本区域检测单元410接收候选文本区域和从候选文本区域中的每一个提取一或多个特征。可通过使用任何合适的特征提取技术(例如,边缘检测技术、尺度不变特征变换技术、模板匹配技术、霍夫变换技术等)从候选文本区域提取特征。在一个实施例中,可将从候选文本区域提取的一或多个特征表示为特征向量。从候选文本区域提取的特征可接着提供到文本区域检测单元242中的分类评分确定单元430。
分类评分确定单元430可被配置以从特征提取单元420接收用于候选文本区域中的每一个的一或多个特征,且针对预定语言产生分类评分。从存储单元220,可存取与多种语言(例如,英语、法语、德语和类似者)相关联的分类器模型数据库460,以用于识别候选文本区域是否包含与预定语言相关联的文本(例如,字符)。分类器模型数据库460可包含与多种语言相关联的多个概率模型。可使用例如SVM(支持向量机)、神经网络、MQDF(修正的二次判别函数)等的任一合适分类方法产生概率模型。举例来说,针对语言的概率模型可由用于对应于所述语言的特征的概率分布函数(例如,多变量高斯分布)表示。
在一个实施例中,分类评分确定单元430可基于用于相关联的候选文本区域的经提取特征和用于预定语言的概率模型产生针对候选文本区域中的每一个的分类评分。举例来说,如果通过用户110的输入或命令将用于识别文本区域的语言预确定为英语,那么可基于英语的概率模型产生针对候选文本区域的分类评分。针对候选文本区域的分类评分可指示候选文本区域的一或多个特征与用于英语的概率模型相关联的概率。在另一实施例中,分类评分确定单元430可基于用于候选文本区域中的每一个的一或多个特征确定针对多个概率模型的多个分类评分以识别候选文本区域是否包含与针对概率模型的语言中的每一个相关联的文本。可接着将针对候选文本区域的分类评分提供到文本区域检测单元242中的文本区域识别单元440。
根据一些实施例,文本区域识别单元440可被配置以基于从分类评分确定单元430接收的分类评分识别来自候选文本区域的一或多个文本区域。举例来说,可通过确定针对候选文本区域的分类评分超过预定阈值评分来将候选文本区域识别为文本区域。替代地,如果接受到针对候选文本区域中的每一个的与多种语言相关联的分类评分,那么文本区域识别单元440可从分类评分选择最大分类评分且确定最大分类评分高于预定阈值评分。
在一些其它实施例中,文本区域识别单元440也可基于从文本辨识单元248接收的文本辨识结果识别来自候选文本区域的一或多个文本区域。文本辨识单元248可从候选文本区域检测单元410接收多个候选文本区域,且通过存取存储单元220中的字符信息数据库450或词典数据库470对候选文本区域中的每一个执行文本辨识。文本辨识单元248可接着将用于候选文本区域的文本辨识的结果提供到文本区域识别单元440供识别文本区域。
可使用例如矩阵匹配、特征匹配等的任何合适字符辨识方案基于用于预定数目个语言的字符信息数据库450来辨识候选文本区域中的每一个中的一或多个字符。在一些实施例中,文本辨识单元248可剖析候选文本区域中的每一个中的文本以确定候选文本区域的文本中的字符信息。字符信息可包含语言中的一或多个字符的图案或几何数据、表示语言中的一或多个字符的标志符号的图像和/或用于与语言中的个别标志符号相关联的一或多个字符的至少一个特征。
在候选文本区域中的每一个中,文本辨识单元248可通过比较从候选文本区域中的文本识别的字符信息与相关联于语言的字符信息数据库450来辨认一或多个字符。举例来说,文本辨识单元248可识别候选文本区域中的图案或符号,且将所述图案或符号与来自字符信息数据库450的多个字符的图案或几何数据比较。在此情况下,如果将一或多个识别的图案或符号与用于语言中的指定字符的图案或几何数据之间的类似性确定为超过预定阈值,那么可将所述图案或符号辨识为指定字符。如果候选文本区域中的字符被辨识,那么可将用于候选文本区域的文本辨识结果提供到文本区域识别单元440供识别文本区域。
当对候选文本区域中的每一个执行文本辨识时,文本辨识单元248也可存取存储在存储单元220中的词典数据库470。文本辨识单元248可针对从候选文本区域中的一或多个辨识的字符检测到的单词搜索词典数据库470。如果在词典数据库470中发现单词,那么文本辨识单元248可确定候选文本区域包含与所述语言相关联的文本。在此情况下,文本辨识单元248可将在候选文本区域中辨识文本的结果提供到文本区域识别单元440供识别文本区域。识别的文本区域可接着被提供到目标焦点区域检测单元244。
图5为根据本发明的一个实施例的用于通过在预览模式中调整用于图像传感器130的至少一个图像捕捉参数来捕捉场景的图像的方法的流程图500。一开始,在510,图像传感器130可基于一组图像捕捉参数捕捉包含至少一个文本对象的场景的预览图像且将预览图像提供到处理器240。在520,处理器240中的文本区域检测单元242可接收预览图像且检测预览图像中的多个候选文本区域。
在530,文本区域检测单元242可识别来自多个候选文本区域的多个文本区域。在此过程中,可通过提取用于相关联的文本区域的一组特征来产生针对文本区域中的每一个的分类评分。在540,处理器240中的目标焦点区域检测单元244可从多个文本区域选择目标焦点区域。在550,基于目标焦点区域,处理器240中的图像传感器控制单元246可调整用于图像传感器130的至少一个图像捕捉参数。根据如调整的至少一个图像捕捉参数,在560,图像传感器130可捕捉包含至少一个文本对象的图像。
图6为根据本发明的一个实施例的用于基于在于比预览图像高的分辨率下捕捉的场景的另一预览图像中的多个候选文本区域识别在场景的预览图像中的多个文本区域的详细方法530的流程图。在610,文本区域检测单元242可在识别预览图像中的多个候选文本区域时确定所述多个候选文本区域的位置。举例来说,候选文本区域中的每一个的位置可指示预览图像中的像素坐标。
在620,文本区域检测单元242可存取另一预览图像且获得另一预览图像中映射到预览图像中的候选文本区域的位置的对应的候选文本区域。在630,从另一预览图像中的候选文本区域中的每一个,文本区域检测单元242可提取一或多个特征且产生针对所述特征的分类评分。基于与候选文本区域相关联的分类评分,在640,可识别预览图像中的多个文本区域。
图7为根据本发明的一个实施例的包含如在电子装置120的显示屏125上显示的多个文本对象(例如,放在桌子710上的书本720、橡皮730和多个铅笔740)的室内场景的预览图像700。在预览图像700中,书本720包含包含“作者姓名”的文本的文本区域722、包含“书名”的文本的文本区域724和包含“任选标语或其它文本”的文本的文本区域726。预览图像700还展示橡皮730中包含“橡皮”的文本的文本区域732。
根据一些实施例,I/O单元210可在预览模式期间接收来自用户110的输入以用于从多个相机模式选择文本模式。电子装置120中的文本区域检测单元242可接着通过产生针对文本区域722、724、726和732中的每一个的分类评分(如参看以上图2和4详细地描述)来在文本模式中识别文本区域722、724、726和732。可将识别的文本区域722、724、726和732和产生的分类评分提供到电子装置120中的目标焦点区域检测单元244以用于在预览图像700选择目标焦点区域。
目标焦点区域检测单元244可基于相关联的分类评分从识别的文本区域722、724、726和732选择目标焦点区域。在一个实施例中,目标焦点区域检测单元244可从文本区域722、724、726和732将具有最大分类评分的文本区域选择为目标焦点区域。举例来说,在图7的预览图像700中,如果用于文本“橡皮”的文本区域732具有文本区域722、724、726和732当中的最大分类评分,那么可将橡皮730中的文本区域732选择为目标对象用于在调整用于图像传感器130的至少一个图像捕捉参数过程中使用。在一些实施例中,仅当针对文本区域的最大分类评分大于阈值分类评分时,才可将具有最大分类评分的文本区域选择为目标焦点区域。
目标焦点区域检测单元244可通过确定文本区域722、724、726和732中的每一个的大小来选择目标焦点区域。在一个实施例中,具有最大大小的文本区域可选自文本区域722、724、726和732,作为目标焦点区域。如图7中所展示,书本720中用于文本“书名”的文本区域724具有文本区域722、724和726当中的最大大小,且被选择为预览图像700中的目标焦点区域。接着可将选定目标焦点区域724提供到处理器240中的图像传感器控制单元246。
图8为根据本发明的一个实施例的用于基于预览模式中的场景的多个预览图像调整用于图像传感器130的焦点参数的详细方法550的流程图。一开始,在810,图像传感器130可基于多个候选焦点参数捕捉包含目标焦点区域的多个预览图像。在捕捉到预览图像后,多个文本区域可由处理器240中的文本区域检测单元242从捕捉的预览图像中的每一个识别,且目标焦点区域可由处理器240中的目标焦点区域检测单元244在识别的文本区域当中选择,如详细地参看以上图2和7所描述。在一个实施例中,目标焦点区域检测单元244可接收场景的预览图像中的目标焦点区域,且使用任一合适的目标运动分析方案(例如,最大似然估计器方法、扩展的卡尔曼滤波器方法、规则化的粒子过滤器方法等)追踪场景的后续预览图像中的目标焦点区域。
在820,图像传感器控制单元246可确定预览图像中的目标焦点区域的多个清晰度值。在830,在候选焦点参数当中,可选择与最高清晰度值相关联的候选焦点参数。在840,图像传感器控制单元246可接着将用于图像传感器130的焦点参数调整到选定候选者焦点参数。
图9说明根据本发明的一个实施例的包含如在电子装置120的显示屏125上显示的多个车辆910和920的场景的预览图像900。可在预览模式期间基于用于图像传感器130的预定焦距来捕捉预览图像900,其中图像传感器130可被配置以在如由用户110选择的文本模式中操作。在预览图像900中,展示车辆910和920分别具有牌照930(具有文本“XYZ ABCD”)和牌照940(具有文本“UVW EFGH”)。在此情况下,电子装置120中的文本区域检测单元242可分别检测牌照930和940中的多个文本区域950和960。由于文本区域950在大小上比文本区域960大,所以电子装置120中的目标焦点区域检测单元244可将文本区域950识别为预览图像900中的目标焦点区域。目标焦点区域检测单元244也可通过确定文本区域950的文本大小大于文本区域960的文本大小而将文本区域950识别为目标焦点区域。
电子装置120中的图像传感器控制单元246可接收目标焦点区域950且确定目标焦点区域950是否与参照物相关联。举例来说,图像传感器控制单元246可将目标焦点区域950与存储在电子装置120的存储单元220中的多个参照物(例如,牌照、价格标签等)比较。接着可将目标焦点区域950确定为牌照,且可从存储单元220检索用于牌照的大小信息。在一个实施例中,用于牌照的大小信息可包含牌照大小和用于牌照中的多个字符的一或多个大小中的至少一个。
如果将目标焦点区域950确定为牌照,那么图像传感器控制单元246可检测目标焦点区域950的大小或目标焦点区域950中的字符“XYZ ABCD”中的每一个的大小。图像传感器控制单元246可接着基于与预览图像900相关联的预定焦距、参考牌照的大小信息和目标焦点区域950的大小或目标焦点区域950中的字符的大小来计算焦点参数的值。接着可将用于图像传感器130的焦点参数调整到焦点参数值。由于基于目标焦点区域950的文本的实际大小确定焦点参数值,因此使用此参数值可被优化以或适合于在捕捉图像过程中的目标焦点区域950。
在一个实施例中,可基于参考牌照的实际文本大小、目标焦点区域950中的字符的检测到的大小与预览图像900的焦距的几何关系确定焦点参数值。举例来说,此关系可由如下的矩阵等式定义:
其中x和y为目标焦点区域的x和y坐标空间中的字符的检测到的大小,f为预览图像的焦距,X和Y为在参照物的x和y坐标空间中的实际文本大小,且Z为焦点参数。
图10说明根据本发明的一个实施例的包含如在电子装置120的显示屏125上显示的光源1010和文档1020的一部分的室内场景的预览图像1000。当在多个相机模式当中选择文本模式时,电子装置120可捕捉预览图像1000且将其在显示屏125上为用户110显示。在预览图像1000中,光源1010位于天花板1005中且发射光。预览图像1000还展示包含多个文本区域1030和1040的文档1020的部分。文本区域1030包含“论文题目”的文本,且文本区域1040包含“作者”的文本。
当捕捉到预览图像1000时,电子装置120的文本区域检测单元242可检测预览图像1000中的文本区域1030和1040。目标焦点区域检测单元244可比较文本区域1030与1040中的字符的大小,且选择具有较大字符大小的文本区域1030作为目标焦点区域。接送可将目标焦点区域1030提供到电子装置120中的图像传感器控制单元246。
在接收到目标焦点区域1030后,图像传感器控制单元246可确定目标焦点区域1030的亮度值。在一个实施例中,可基于目标焦点区域1030中的多个像素的色彩值来计算亮度值。举例来说,图像传感器控制单元246可通过平均化目标焦点区域1030中的多个像素的多个亮度值来确定目标焦点区域1030的亮度值。在此情况下,可将亮度值计算为每个像素的色彩值(例如,红、绿和蓝值)的算术平均值。
当确定目标焦点区域1030的亮度值时,图像传感器控制单元246可计算目标焦点区域1030的亮度值与预定亮度值之间的差。可从存储单元220中存取的预定亮度值为被优化以或适合于捕捉文档中的文本的亮度值。图像传感器控制单元246可接着将用于图像传感器130的曝光参数调整到减小或消除目标焦点区域1030的亮度值与预定亮度值之间的差的曝光参数值。
在说明的预览图像1000中,文档1020位于电子装置120附近使得光源1010从文档1020后且上方的位置发射光。因此,目标焦点区域1030的亮度值可比预览图像1000中的其它区域低,且因此显得比其它区域暗。在此情况下,图像传感器控制单元246可确定曝光参数值(例如,曝光时间、光圈等),所述曝光参数值被调适以将目标焦点区域1030的亮度值增大目标焦点区域1030的亮度值与预定亮度值之间的差。接着可将用于图像传感器130的曝光参数调整到确定曝光参数值且提供到图像传感器130以用于在捕捉文档1020的图像过程中使用。
图11为根据本发明的一个实施例的用于基于预览图像中的目标焦点区域的亮度值调整用于图像传感器130的曝光参数的详细方法550的流程图。在1110,图像传感器控制单元246可确定目标焦点区域的亮度值,目标焦点区域可选自预览图像中的多个文本区域。包含目标焦点区域的预览图像可基于包含曝光参数的一组图像捕捉参数在文本模式中捕捉。
在1120,从存储单元220,图像传感器控制单元246可获得参考文本区域的预定亮度值,所述预定亮度值可指示被优化以或适合于捕捉文本对象中的文本的亮度值。在1130,可确定目标焦点区域的亮度值与预定亮度值之间的差。在1140,图像传感器控制单元246可接着基于目标焦点区域的亮度值与预定亮度值之间的差调整用于图像传感器130的曝光参数。
图12为根据本发明的一个实施例的可实施用于在预览状态中调整至少一个图像捕捉参数的方法和设备的示范性电子装置1200的框图。可根据参看图1到11描述的以上实施例在电子装置中实施电子装置1200的配置。电子装置1200可为蜂窝式电话、智能电话、平板计算机、膝上型计算机、终端、手持机、个人数字助理(PDA)、无线调制解调器、无绳电话等。无线通信系统可为分码多重存取(CDMA)系统、用于移动通信的广播系统(GSM)系统、宽带CDMA(WCDMA)系统、长期演进(LTE)系统、高级LTE系统等。另外,电子装置1200可直接与另一移动装置通信,例如,使用Wi-Fi Direct或蓝牙。
电子装置1200能够经由接收路径和发射路径提供双向通信。在接收路径上,基站发射的信号被天线1212接收且提供到接收器(RCVR)1214。接收器1214调节且数字化所接收的信号且将样本(例如,经调节且经数字化的数字信号)提供到数字区段以用于进一步处理。在发射路径上,发射器(TMTR)1216从数字区段1210接收待发射的数据,处理并调节所述数据,且生成经调制信号,所述经调制信号经由天线1212发射到基站。接收器1214和发射器1216可为可支持CDMA、GSM、LTE、高级LTE等的收发器的部分。
数字区段1210包含各种处理、接口和存储器单元,例如,调制解调器处理器1222、精简指令集计算机/数字信号处理器(RISC/DSP)1224、控制器/处理器1226、内部存储器1228、一般化音频/视频编码器1232、一般化音频解码器1234、图形/显示处理器1236和外部总线接口(EBI)1238。调制解调器处理器1222可执行供数据发射和接收的处理,例如,编码、调制、解调和解码。RISC/DSP 1224可执行针对电子装置1200的一般和专业化处理。控制器/处理器1226可执行数字区段1210内的各种处理和接口单元的操作。内部存储器1228可将用于各种单元的数据和/或指令存储在数字区段1210内。
一般化音频/视频编码器1232可执行对来自音频/视频源1242、麦克风1244、图像传感器1246等的输入信号的编码。一般化音频解码器1234可执行对经译码音频数据的解码且可将输出信号提供到扬声器/耳机1248。图形/显示处理器1236可执行对可呈现给显示单元1250的图形、视频、图像和文本的处理。EBI 1238可促进数字区段1210与主存储器1252之间的数据传送。
数字区段1210可用一或多个处理器、DSP、微处理器、RISC等来实施。数字区段1210还可制造于一或多个专用集成电路(ASIC)和/或某一其它类型的集成电路(IC)上。
一般来说,本文中描述的任一装置可表示各种类型装置,例如,无线电话、蜂窝式电话、膝上型计算机、无线多媒体装置、无线通信个人计算机(PC)、卡、PDA、外部或内置调制解调器、通过无线频道通信的装置等。装置可具有各种名称,例如,接入终端(AT)、存取单元、订户单元、移动台、移动装置、移动单元、移动电话、移动、远程站、远程终端、远程单元、用户装置、用户装备、手持式装置等。本文中描述的任一装置可具有用于存储指令和数据的存储器,以及硬件、软件、固件或其组合。
本文中描述的技术可通过各种装置来实施。举例来说,这些技术可以硬件、固件、软件或其组合来实施。所属领域的技术人员将进一步了解,结合本文中的揭示内容描述的各种说明性逻辑块、模块、电路和算法步骤可以实施为电子硬件、计算机软件或两者的组合。为清楚地说明硬件与软件的此可互换性,上文已大体上关于其功能性描述了各种说明性组件、块、模块、电路和步骤。此功能性是实施为硬件还是软件取决于特定应用和强加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以变化方式实施所描述的功能性,但此类实施决策不应被解释为引起偏离本发明的范围。
对于硬件实施方案,用以执行所述技术的处理单元可实施在以下各者内:一或多个ASIC、DSP、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述的功能的其它电子单元、计算机或其组合。
因此,结合本文中的揭示内容描述的各种说明性逻辑块、模块和电路可以用通用处理器、DSP、ASIC、FPGA或经设计以执行本文所述的功能的其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行。通用处理器可以是微处理器,但在替代方案中,处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合,例如,DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心或任何其它此类配置。
如果以软件实施,那么可将功能作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体传输。计算机可读媒体包含计算机存储媒体和通信媒体两者,所述通信媒体包含促进将计算机程序从一处传送到另一处的任何媒体。存储媒体可以是可由计算机存取的任何可用媒体。通过实例且不受限制,此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用以携载或存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。此外,任何连接都恰当地称为计算机可读媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波的无线技术从网站、服务器或其它远程源发射软件,那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
提供本发明的前述描述以使所属领域的技术人员能够制造或使用本发明。所属领域的技术人员将易于显而易见对本发明的各种修改,且在不脱离本发明的精神或范围的情况下,将本文中定义的一般原理应用于其它变化。因此,本发明并不希望限于本文中所描述的实例,而应符合与本文中所揭示的原理和新颖特征相一致的最广泛范围。
尽管称示范性实施方案利用在一或多个独立计算机系统的情况下的目前揭示的标的物的方面,但所述标的物不受如此限制,而是相反地,可结合任何计算环境(例如,网络或分散式计算环境)来实施。此外,目前揭示的标的物的方面可以在多个处理芯片或装置中或跨多个处理芯片或装置实施,且可类似地跨多个装置实现存储。此类装置可包含PC、网络服务器和手持式装置。
尽管已经以具体针对结构特征和/或方法动作的语言来描述标的物,但应理解,所附权利要求书中定义的标的物未必限于上文所描述的具体特征或动作。相反地,揭示以上描述的具体特征和动作作为实施权利要求的实例形式。
Claims (24)
1.一种用于捕捉至少一个图像的由具有图像传感器的电子装置执行的方法,所述方法包括:
捕捉包含至少一个文本对象的场景的预览图像;
识别所述预览图像中的多个文本区域;
从所述多个文本区域选择目标焦点区域;
确定与所述目标焦点区域相关联的至少一个亮度值;
将所述至少一个亮度值与阈值相比较;以及
基于所述比较,调整所述图像传感器的至少一个图像捕捉参数。
2.根据权利要求1所述的方法,其中识别所述多个文本区域包括:
检测所述预览图像中的多个候选文本区域;以及
识别来自所述多个候选文本区域的所述多个文本区域。
3.根据权利要求1所述的方法,其进一步包括基于所述至少一个图像捕捉参数,捕捉包含所述至少一个文本对象的图像。
4.根据权利要求1所述的方法,其中所述至少一个图像捕捉参数包括焦点参数、曝光参数、白平衡参数、对比度增强参数、变焦参数或对光的敏感度参数中的至少一个。
5.根据权利要求4所述的方法,其中调整所述至少一个图像捕捉参数包括:
基于至少一个候选焦点参数,捕捉包含所述目标焦点区域的至少一个预览图像;
选择与所述目标焦点区域相关联的具有最高清晰度值的候选焦点参数;以及
将所述至少一个图像捕捉参数中的所述焦点参数调整到所选择的所述候选焦点参数。
6.根据权利要求1所述的方法,其中从所述多个文本区域选择所述目标焦点区域包括:
确定所述多个文本区域的多个大小;以及
基于所述多个大小,从所述多个文本区域选择所述目标焦点区域。
7.根据权利要求2所述的方法,其中识别来自所述多个候选文本区域的所述多个文本区域包括:
从所述多个候选文本区域提取多个特征;
基于所述多个特征,确定多个分类评分;以及
基于所述多个分类评分,识别来自所述多个候选文本区域的所述多个文本区域。
8.根据权利要求7所述的方法,其中从所述多个文本区域选择所述目标焦点区域包括:
识别所述多个文本区域中具有最大分类评分的一个;以及
将所述识别的文本区域选择为所述目标焦点区域。
9.根据权利要求2所述的方法,其中识别来自所述多个候选文本区域的所述多个文本区域包括:
确定所述预览图像中的候选文本区域的位置;
基于所述预览图像中的所述候选文本区域的所述位置,从所述场景的另一预览图像获得多个候选文本区域,其中所述场景的所述另一预览图像具有比所述预览图像高的分辨率;以及
基于从所述另一预览图像获得的所述多个候选文本区域,识别所述多个文本区域。
10.一种用于捕捉至少一个图像的由具有图像传感器的电子装置执行的方法,所述方法包括:
至少基于多个图像捕捉参数中的焦点参数,捕捉包括至少一个文本对象的场景的至少一个预览图像;
识别所述至少一个预览图像中的多个文本区域;
从所述多个文本区域中选择目标焦点区域;
基于所述目标焦点区域,识别参照物;
确定所述目标焦点区域与所述参照物之间的几何关系;以及
基于所述几何关系,调整所述焦点参数。
11.一种用于捕捉至少一个图像的具有图像传感器的电子装置,其包括:
图像传感器,其被配置以捕捉包含至少一个文本对象的场景的预览图像;
文本区域检测单元,其被配置以识别所述预览图像中的多个文本区域;
目标焦点区域检测单元,其被配置以从所述多个文本区域选择目标焦点区域;以及
图像传感器控制单元,其被配置以
确定与所述目标焦点区域相关联的至少一个亮度值;
将所述至少一个亮度值与阈值相比较;以及
基于所述比较,调整所述图像传感器的至少一个图像捕捉参数。
12.根据权利要求11所述的电子装置,其中所述文本区域检测单元被配置以:
检测所述预览图像中的多个候选文本区域;以及
识别来自所述多个候选文本区域的所述多个文本区域。
13.根据权利要求11所述的电子装置,其中所述图像传感器被进一步配置以基于所述至少一个图像捕捉参数,捕捉包含所述至少一个文本对象的图像。
14.根据权利要求11所述的电子装置,其中所述至少一个图像捕捉参数包括焦点参数、曝光参数、白平衡参数、对比度增强参数、变焦参数或对光的敏感度参数中的至少一个。
15.根据权利要求14所述的电子装置,其中所述图像传感器被进一步配置以基于至少一个候选焦点参数,捕捉包含所述目标焦点区域的至少一个预览图像。
16.根据权利要求14所述的电子装置,其中所述图像传感器控制单元被配置以:
选择与所述目标焦点区域相关联的具有最高清晰度值的候选焦点参数;以及
将所述至少一个图像捕捉参数中的所述焦点参数调整到所选择的所述候选焦点参数。
17.根据权利要求11所述的电子装置,其中所述目标焦点区域检测单元被配置以:
确定所述多个文本区域的多个大小;以及
基于所述多个大小,从所述多个文本区域选择所述目标焦点区域。
18.根据权利要求12所述的电子装置,其中所述文本区域检测单元被配置以:
从所述多个候选文本区域提取多个特征;
基于所述多个特征,确定多个分类评分;以及
基于所述多个分类评分,识别来自所述多个候选文本区域的所述多个文本区域。
19.根据权利要求18所述的电子装置,其中所述目标焦点区域检测单元被配置以:
识别所述多个文本区域中具有最大分类评分的一个,以及
将所述识别的文本区域选择为所述目标焦点区域。
20.根据权利要求12所述的电子装置,其中所述文本区域检测单元被配置以:
确定所述预览图像中的候选文本区域的位置;
基于所述预览图像中的所述候选文本区域的所述位置,从所述场景的另一预览图像获得多个候选文本区域,所述场景的所述另一预览图像具有比所述预览图像高的分辨率;以及
基于从所述另一预览图像获得的所述多个候选文本区域,识别所述多个文本区域。
21.一种用于捕捉至少一个图像的具有图像传感器的电子装置,其包括:
图像传感器,其经配置以基于多个图像捕捉参数中的焦点参数捕捉包括至少一个文本对象的场景的至少一个预览图像;
文本区域检测单元,其经配置以识别所述至少一个预览图像中的多个文本区域;
目标焦点区域检测单元,其经配置以从所述多个文本区域中选择目标焦点区域;
图像传感器控制单元,其经配置以基于所述目标焦点区域来识别参照物,并确定所述目标焦点区域与所述参照物之间的几何关系,其中,所述图像传感器控制单元经配置以基于所述几何关系调整所述焦点参数。
22.一种用于捕捉至少一个图像的具有图像传感器的电子装置,其包括:
用于捕捉包含至少一个文本对象的场景的预览图像的装置;
用于识别所述预览图像中的多个文本区域的装置;
用于从所述多个文本区域选择目标焦点区域的装置;
用于确定与所述目标焦点区域相关联的至少一个亮度值的装置;
用于将所述至少一个亮度值与阈值相比较的装置;以及
用于基于所述比较调整所述图像传感器的至少一个图像捕捉参数的装置。
23.根据权利要求22所述的电子装置,其中所述至少一个图像捕捉参数包括焦点参数、曝光参数、白平衡参数、对比度增强参数、变焦参数或对光的敏感度参数中的至少一个。
24.根据权利要求23所述的电子装置,其中所述用于调整所述至少一个图像捕捉参数的装置被配置以:
基于至少一个候选焦点参数,捕捉包含所述目标焦点区域的至少一个预览图像;
确定所述至少一个预览图像中的所述目标焦点区域的至少一个清晰度值;
从所述至少一个候选焦点参数选择具有最高清晰度值的候选焦点参数;以及
将所述至少一个图像捕捉参数中的所述焦点参数调整到所选择的所述候选焦点参数。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/300,023 US9602728B2 (en) | 2014-06-09 | 2014-06-09 | Image capturing parameter adjustment in preview mode |
US14/300,023 | 2014-06-09 | ||
PCT/US2015/034497 WO2015191397A1 (en) | 2014-06-09 | 2015-06-05 | Image capturing parameter adjustment in preview mode |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106462766A CN106462766A (zh) | 2017-02-22 |
CN106462766B true CN106462766B (zh) | 2018-06-01 |
Family
ID=53404959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580028756.XA Active CN106462766B (zh) | 2014-06-09 | 2015-06-05 | 在预览模式中进行图像捕捉参数调整 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9602728B2 (zh) |
EP (1) | EP3152706B1 (zh) |
JP (1) | JP6208383B2 (zh) |
CN (1) | CN106462766B (zh) |
WO (1) | WO2015191397A1 (zh) |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8520069B2 (en) | 2005-09-16 | 2013-08-27 | Digital Ally, Inc. | Vehicle-mounted video system with distributed processing |
US8503972B2 (en) | 2008-10-30 | 2013-08-06 | Digital Ally, Inc. | Multi-functional remote monitoring system |
US10272848B2 (en) | 2012-09-28 | 2019-04-30 | Digital Ally, Inc. | Mobile video and imaging system |
WO2014052898A1 (en) | 2012-09-28 | 2014-04-03 | Digital Ally, Inc. | Portable video and imaging system |
US10075681B2 (en) | 2013-08-14 | 2018-09-11 | Digital Ally, Inc. | Dual lens camera unit |
US9253452B2 (en) | 2013-08-14 | 2016-02-02 | Digital Ally, Inc. | Computer program, method, and system for managing multiple data recording devices |
US9159371B2 (en) | 2013-08-14 | 2015-10-13 | Digital Ally, Inc. | Forensic video recording with presence detection |
US10390732B2 (en) | 2013-08-14 | 2019-08-27 | Digital Ally, Inc. | Breath analyzer, system, and computer program for authenticating, preserving, and presenting breath analysis data |
US9667880B2 (en) | 2014-08-22 | 2017-05-30 | Qualcomm Incorporated | Activating flash for capturing images with text |
US11567626B2 (en) * | 2014-12-17 | 2023-01-31 | Datalogic Usa, Inc. | Gesture configurable floating soft trigger for touch displays on data-capture electronic devices |
KR102328098B1 (ko) * | 2015-02-13 | 2021-11-17 | 삼성전자주식회사 | 전자장치의 초점 검출 장치 및 방법 |
US9841259B2 (en) | 2015-05-26 | 2017-12-12 | Digital Ally, Inc. | Wirelessly conducted electronic weapon |
US10013883B2 (en) | 2015-06-22 | 2018-07-03 | Digital Ally, Inc. | Tracking and analysis of drivers within a fleet of vehicles |
CN106998423A (zh) * | 2016-01-26 | 2017-08-01 | 宇龙计算机通信科技(深圳)有限公司 | 图像处理方法及装置 |
WO2017136646A1 (en) | 2016-02-05 | 2017-08-10 | Digital Ally, Inc. | Comprehensive video collection and storage |
KR102462644B1 (ko) * | 2016-04-01 | 2022-11-03 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
US10432849B2 (en) * | 2016-04-22 | 2019-10-01 | Ebay Inc. | Image modification based on objects of interest |
US10395356B2 (en) * | 2016-05-25 | 2019-08-27 | Kla-Tencor Corp. | Generating simulated images from input images for semiconductor applications |
US10521675B2 (en) * | 2016-09-19 | 2019-12-31 | Digital Ally, Inc. | Systems and methods of legibly capturing vehicle markings |
IL300095A (en) | 2016-11-23 | 2023-03-01 | Translational Drug Dev Llc | Benzamide and tumor necrosis factor receptor superfamily agonist compositions and uses thereof |
CN108171231A (zh) * | 2016-12-07 | 2018-06-15 | 中兴通讯股份有限公司 | 一种基于图像识别的通信方法和装置 |
US10911725B2 (en) | 2017-03-09 | 2021-02-02 | Digital Ally, Inc. | System for automatically triggering a recording |
US10430649B2 (en) * | 2017-07-14 | 2019-10-01 | Adobe Inc. | Text region detection in digital images using image tag filtering |
KR101909022B1 (ko) * | 2017-09-12 | 2018-10-17 | 만도헬라일렉트로닉스(주) | 카메라 자동 초점 조절장치 및 방법 |
CN107979728A (zh) * | 2017-11-30 | 2018-05-01 | 珠海格力电器股份有限公司 | 一种确定拍摄焦点的方法及终端设备 |
GB2570792B (en) | 2017-12-26 | 2020-09-30 | Canon Kk | Image capturing apparatus, method of controlling the same, and storage medium |
CN108235816B (zh) * | 2018-01-10 | 2020-10-16 | 深圳前海达闼云端智能科技有限公司 | 图像识别方法、系统、电子设备和计算机程序产品 |
JP7197981B2 (ja) * | 2018-01-24 | 2022-12-28 | キヤノン株式会社 | カメラ、端末装置、カメラの制御方法、端末装置の制御方法、およびプログラム |
US11024137B2 (en) | 2018-08-08 | 2021-06-01 | Digital Ally, Inc. | Remote video triggering and tagging |
CN110163810B (zh) * | 2019-04-08 | 2023-04-25 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置以及终端 |
CN110059678A (zh) * | 2019-04-17 | 2019-07-26 | 上海肇观电子科技有限公司 | 一种检测方法、装置及计算机可读存储介质 |
CN113826445B (zh) * | 2019-04-30 | 2024-05-14 | 昕诺飞控股有限公司 | 基于相机的照明控制 |
JP7279533B2 (ja) | 2019-06-14 | 2023-05-23 | ソニーグループ株式会社 | センサ装置、信号処理方法 |
US11386473B2 (en) | 2019-10-24 | 2022-07-12 | Shopify Inc. | Systems and methods for providing product image recommendations |
CN110971820B (zh) * | 2019-11-25 | 2021-03-26 | Oppo广东移动通信有限公司 | 拍照方法、拍照装置、移动终端及计算机可读存储介质 |
CN115380524A (zh) * | 2020-04-14 | 2022-11-22 | 三星电子株式会社 | 用于实时捕捉增强的媒体的方法和系统 |
CN111832568B (zh) * | 2020-06-12 | 2024-01-12 | 北京百度网讯科技有限公司 | 车牌识别方法、车牌识别模型的训练方法和装置 |
CN115442512B (zh) * | 2021-06-04 | 2024-09-06 | 北京小米移动软件有限公司 | 对焦控制方法、装置、终端及存储介质 |
CN114286004A (zh) * | 2021-12-28 | 2022-04-05 | 维沃移动通信有限公司 | 对焦方法、拍摄装置、电子设备及介质 |
US11950017B2 (en) | 2022-05-17 | 2024-04-02 | Digital Ally, Inc. | Redundant mobile video recording |
US20230377338A1 (en) * | 2022-05-17 | 2023-11-23 | Honeywell International Inc. | Methods and systems for improving video analytic results |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101442617A (zh) * | 2008-12-23 | 2009-05-27 | 北京中星微电子有限公司 | 一种分块曝光的方法及其装置 |
CN101753846A (zh) * | 2008-12-05 | 2010-06-23 | 三星电子株式会社 | 使用照相机自动调整字符大小的装置和方法 |
CN101904166A (zh) * | 2007-12-19 | 2010-12-01 | 伊斯曼柯达公司 | 使用预览图像选择曝光的摄像装置 |
US8289403B2 (en) * | 2009-03-13 | 2012-10-16 | Kabushiki Kaisha Toshiba | Image processing system |
US8537236B2 (en) * | 2010-10-07 | 2013-09-17 | Hewlett-Packard Development Company, L.P. | Automatic adjustment of capture parameters based on reference data |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3634334B2 (ja) * | 2002-12-02 | 2005-03-30 | 沖電気工業株式会社 | 拡張用fifo回路及び送受信装置 |
JP2007121654A (ja) | 2005-10-27 | 2007-05-17 | Eastman Kodak Co | 撮像装置 |
US8098934B2 (en) * | 2006-06-29 | 2012-01-17 | Google Inc. | Using extracted image text |
JP5169641B2 (ja) * | 2008-09-02 | 2013-03-27 | 富士通株式会社 | 画像解析装置および画像解析プログラム |
JP5910252B2 (ja) * | 2012-03-31 | 2016-04-27 | 富士通株式会社 | 撮像設定制御システムおよび撮像設定制御方法 |
US20140111542A1 (en) * | 2012-10-20 | 2014-04-24 | James Yoong-Siang Wan | Platform for recognising text using mobile devices with a built-in device video camera and automatically retrieving associated content based on the recognised text |
-
2014
- 2014-06-09 US US14/300,023 patent/US9602728B2/en active Active
-
2015
- 2015-06-05 WO PCT/US2015/034497 patent/WO2015191397A1/en active Application Filing
- 2015-06-05 CN CN201580028756.XA patent/CN106462766B/zh active Active
- 2015-06-05 EP EP15729723.5A patent/EP3152706B1/en active Active
- 2015-06-05 JP JP2016571692A patent/JP6208383B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101904166A (zh) * | 2007-12-19 | 2010-12-01 | 伊斯曼柯达公司 | 使用预览图像选择曝光的摄像装置 |
CN101753846A (zh) * | 2008-12-05 | 2010-06-23 | 三星电子株式会社 | 使用照相机自动调整字符大小的装置和方法 |
CN101442617A (zh) * | 2008-12-23 | 2009-05-27 | 北京中星微电子有限公司 | 一种分块曝光的方法及其装置 |
US8289403B2 (en) * | 2009-03-13 | 2012-10-16 | Kabushiki Kaisha Toshiba | Image processing system |
US8537236B2 (en) * | 2010-10-07 | 2013-09-17 | Hewlett-Packard Development Company, L.P. | Automatic adjustment of capture parameters based on reference data |
Also Published As
Publication number | Publication date |
---|---|
WO2015191397A1 (en) | 2015-12-17 |
US20150358549A1 (en) | 2015-12-10 |
EP3152706A1 (en) | 2017-04-12 |
JP6208383B2 (ja) | 2017-10-04 |
US9602728B2 (en) | 2017-03-21 |
EP3152706B1 (en) | 2024-05-01 |
CN106462766A (zh) | 2017-02-22 |
JP2017517980A (ja) | 2017-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106462766B (zh) | 在预览模式中进行图像捕捉参数调整 | |
US9418304B2 (en) | System and method for recognizing text information in object | |
US10007841B2 (en) | Human face recognition method, apparatus and terminal | |
US20160307045A1 (en) | Systems and methods for generating composite images of long documents using mobile video data | |
CN106576142B (zh) | 用于使用闪光照明捕捉具有文字的场景图像的设备和方法 | |
CN106295638A (zh) | 证件图像倾斜校正方法和装置 | |
KR101992153B1 (ko) | 문서 영상 인식 방법, 장치 및 이를 이용한 사진 촬영 방법 | |
WO2020062804A1 (zh) | 自然场景中行驶证拍照影像的识别方法、装置及电子设备 | |
CN110869944B (zh) | 使用移动设备读取测试卡 | |
CN106228556B (zh) | 图像质量分析方法和装置 | |
KR102383129B1 (ko) | 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치 | |
CN110569835B (zh) | 一种图像识别方法、装置和电子设备 | |
CN105678242B (zh) | 手持证件模式下的对焦方法和装置 | |
EP3040884A1 (en) | Method and device for classifying pictures | |
CN108959462A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
WO2018184260A1 (zh) | 文档图像的校正方法及装置 | |
WO2023115911A1 (zh) | 对象重识别方法及装置、电子设备、存储介质和计算机程序产品 | |
US20160104052A1 (en) | Text-based thumbnail generation | |
CN104268512A (zh) | 基于光学字符识别的图像中字符识别方法及装置 | |
CN106485246B (zh) | 字符识别方法及装置 | |
CN113269730A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN104881149B (zh) | 基于视频流的输入方法及装置 | |
CN113744172A (zh) | 文档图像的处理方法及装置、训练样本的生成方法及装置 | |
CN111723627A (zh) | 一种图像处理方法、装置和电子设备 | |
CN106126234B (zh) | 一种锁屏方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |