CN110896444B - 一种双摄像头切换方法和设备 - Google Patents
一种双摄像头切换方法和设备 Download PDFInfo
- Publication number
- CN110896444B CN110896444B CN201811068083.2A CN201811068083A CN110896444B CN 110896444 B CN110896444 B CN 110896444B CN 201811068083 A CN201811068083 A CN 201811068083A CN 110896444 B CN110896444 B CN 110896444B
- Authority
- CN
- China
- Prior art keywords
- image
- area
- resolution
- region
- aspect ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004364 calculation method Methods 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 4
- 230000002035 prolonged effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种双摄像头切换方法,短焦摄像头采集一场景的第一分辨率输入图像,长焦摄像头采集所述场景的第二分辨率输入图像,第一分辨率和第二分辨率大于显示画面分辨率;计算第二分辨率输入图像在第一分辨率输入图像中的像素区域为第一区域;根据第一区域计算第一分辨率输入图像的初始显示画面区域,初始显示画面区域为在第一分辨率输入图像中与第一区域中心点坐标相同,且宽高比相同的最大化区域;当显示画面区域与第一区域重合或在第一区域之内时,输出长焦摄像头的画面,当显示画面区域在第一区域之外时,输出短焦摄像头的画面。采用两个焦距不同的摄像头,通过接力的方式延长摄像头的变焦倍数,达到与光学变焦相同甚至更好的无损变焦效果。
Description
技术领域
本发明涉及双摄像头设备领域,具体涉及一种双摄像头切换方法和设备。
背景技术
装配光学变焦镜头的摄像机拥有比定焦镜头摄像机更出色的成像质量。因为它在变焦时利用镜片组的光学特性直接“拉近”远处的场景,藉此达到放大的目的,这种放大没有信号损失,可以获得非常理想的成像质量。
与光学变焦不同,数码变焦是通过数码相机内的处理器,把图片内的每个象素面积增大,从而达到放大目的,实际上数码变焦并没有改变镜头的焦距,而是利用软件对已有像素周边的色彩进行判断,并根据周边的色彩情况插入经特殊算法加入的像素。由于焦距没有变化,所以,图像质量是相对于正常情况下较差。通过数码变焦,拍摄的景物放大了,但它的清晰度会有一定程度的下降。定焦镜头的摄像机只能通过拉伸图像的方法放大图像,放大变数越大,成像质量越差。
光学变焦镜头相比普通的数字变焦虽然有更好的变焦效果,但在远焦端受杂光影响也会有轻微画质损失,且光学变焦镜头体积大,价格昂贵。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种双摄像头切换方法和设备,克服数码变焦图像质量差,光学变焦体积大、价格昂贵的缺陷。
本发明解决其技术问题所采用的技术方案是:提供一种双摄像头切换方法,包括:S1:短焦摄像头采集一场景的第一分辨率的输入图像,长焦摄像头采集所述场景的第二分辨率的输入图像,第一分辨率和第二分辨率大于显示画面分辨率;S2:计算第二分辨率输入图像在第一分辨率输入图像中的像素区域,该区域为第一区域;S3:根据第一区域的起始点坐标和图像大小计算第一分辨率输入图像的初始显示画面区域,所述初始显示画面区域为在第一分辨率输入图像中与第一区域中心点坐标相同,且宽高比相同的最大化区域;S4:当显示画面区域按照初始显示画面区域成比例缩放时,当显示画面区域变化至与第一区域重合或在第一区域之内时,输出长焦摄像头的画面;当显示画面区域变化至第一区域之外时,输出短焦摄像头的画面。
当显示画面区域变化至与第一区域重合或在所述第一区域之内时,输出短焦摄像头的画面。
短焦摄像头和长焦摄像头采用超采样方式分别采集第一分辨率和第二分辨率的输入图像。
所一分辨率与所分辨率相等。
所述S2还包括:利用图像匹配算法计算第二分辨率输入图像在第一分辨率输入图像中的像素区域。
所述图像匹配算法包括:S2.1:提取第一分辨率输入图像和第二分辨率输入图像中的特征点;S2.2:对第一分辨率输入图像和第二分辨率输入图像中的特征点做特征点匹配计算;S2.3:根据第一分辨率输入图像和第二分辨率输入图像中特征点的匹配强度筛选匹配的特征点;S2.4:根据筛选的匹配的特征点计算出单应性矩阵;S2.5:根据单应性矩阵计算第二分辨率输入图像四个角坐标分别在所述第一分辨率输入图像中的坐标。
所述S3中的根据第一区域的起始坐标和图像大小计算第一分辨率输入图像的初始显示画面区域包括:S3.1:根据第一分辨率的输入图像的大小和中心点坐标和第一区域的起始点坐标和图像大小计算初始显示画面区域的图像大小;S3.2:根据第一区域的图像大小计算第一区域的图像宽高比(r1);S3.3:根据初始显示画面区域的图像大小计算初始显示画面区域的图像宽高比(r2);S3.4:根据第一区域的图像宽高比(r1)和初始显示画面区域的图像宽高比(r2)修正初始显示画面区域的图像大小;S3.5:根据修正的初始显示画面区域的图像大小和第一区域的中心点坐标计算初始显示画面区域的起始点坐标。
所述S3.4包括:当初始显示画面区域的图像宽高比(r2)大于第一区域的图像宽高比(r1)时,初始显示画面区域的图像的宽为初始显示画面区域的图像高与第一区域的图像宽高比(r1)的乘积;当初始显示画面区域的图像宽高比(r2)小于第一区域的图像宽高比(r1)时,初始显示画面区域的图像的高为初始显示画面区域的图像宽除以第一区域的图像宽高比(r1)。
本发明还提供一种双摄像头切换设备,包括短焦摄像模块、长焦摄像模块、图像匹配模块、显示区域确定模块和输出控制模块,短焦摄像模块采集一场景的第一分辨率的输入图像,所述第一分辨率大于所述双摄像头切换设备的显示画面分辨率;长焦摄像模块采集所述场景的第二分辨率的输入图像,所述第二分辨率大于所述双摄像头切换设备的显示画面分辨率;图像匹配模块,用于计算所述第二分辨率输入图像在所述第一分辨率输入图像中的像素区域,该区域为第一区域;显示区域确定模块根据所述第一区域的起始点坐标和图像大小计算所述第一分辨率输入图像的初始显示画面区域,所述初始显示画面区域为在所述第一分辨率输入图像中与所述第一区域中心点坐标相同,且宽高比相同的最大化区域;当所述显示画面区域按照所述初始显示画面区域成比例缩放时,当所述显示画面区域变化至与所述第一区域重合或在所述第一区域之内时,输出控制模块控制输出所述长焦摄像模块的画面,当所述显示画面区域变化至所述第一区域之外时,输出控制模块控制输出所述短焦摄像头的画面。
当显示画面区域变化至与第一区域重合时,输出控制模块还可输出短焦摄像模块的画面。
短焦摄像模块和长焦摄像模块均为超采样模块。
第一分辨率与第二分辨率相等。
所述图像匹配模块包括特征点提取单元、特征点匹配计算单元、单应性矩阵计算单元和坐标计算单元,特征点提取单元提取所述第一分辨率输入图像和所述第二分辨率输入图像中的特征点;特征点匹配计算单元对所述第一分辨率输入图像和所述第二分辨率输入图像中的特征点做特征点匹配计算;单应性矩阵计算单元根据所述第一分辨率输入图像和所述第二分辨率输入图像特征点的匹配强度筛选匹配的特征点,并根据所述筛选的匹配的特征点计算单应性矩阵;坐标计算单元根据所述单应性矩阵计算第二分辨率输入图像四个角坐标分别在所述第一分辨率输入图像中的坐标。
所述显示区域确定模块包括显示画面区域计算单元、图像宽高比计算单元、图像大小修正单元和坐标计算单元,显示画面区域计算单元根据所述第一分辨率的输入图像的大小和中心点坐标和所述第一区域的起始坐标和图像大小计算所述初始显示画面区域的图像大小;图像宽高比计算单元根据所述第一区域的图像大小计算所述第一区域的图像宽高比(r1),并根据所述初始显示画面区域的图像大小计算所述初始显示画面区域的图像宽高比(r2);图像大小修正单元根据所述图像宽高比计算单元计算的所述第一区域的图像宽高比(r1)和所述初始显示画面区域的图像宽高比(r2)修正所述初始显示画面区域的图像大小;坐标计算单元根据所述图像大小修正单元计算的初始显示画面区域的图像大小和所述第一区域的中心点坐标计算所述初始显示画面区域的起始点坐标。
所述图像大小修正单元包括宽高比比较单元和修正计算单元,宽高比比较单元判断所述第一区域的图像宽高比(r1)和所述初始显示画面区域的图像宽高比(r2)的大小;修正计算单元根据所述宽高比比较单元的比较结果修正所述初始显示画面区域的图像大小,当所述初始显示画面区域的图像宽高比(r2)大于所述第一区域的图像宽高比(r1)时,所述初始显示画面区域的图像的宽为所述初始显示画面区域的图像高与所述第一区域的图像宽高比(r1)的乘积;当所述初始显示画面区域的图像宽高比(r2)小于所述第一区域的图像宽高比(r1)时,所述初始显示画面区域的图像的高为所述初始显示画面区域的图像宽除以所述第一区域的图像宽高比(r1)。
本发明的有益效果在于,采用两个焦距不同的摄像头,一短焦,一长焦,两摄像头以高于输出分辨率的原始分辨率进行采样,并不断检测显示画面区域(显示画面)的大小,低倍数下使用短焦摄像头成像,当显示画面变化时,当显示画面区域与第一区域重合或在第一区域之内时,输出长焦摄像头的画面,当显示画面区域在第一区域之外时,输出短焦摄像头的画面,通过这样接力的方式延长摄像头的变焦倍数,达到与光学变焦相同甚至更好的无损变焦效果。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明一实施例的双摄像头切换方法流程图;
图2是本发明一实施例的长焦摄像头采集的输入图像与短焦摄像头采集的输入图像的关系示意图;
图3是本发明图1所示双摄像头切换方法中S300的一实施例的流程图;
图4是本发明图1所示双摄像头切换方法中S500的一实施例的流程图;
图5是本发明图1所示双摄像头切换方法中S500的另一实施例的流程图;
图6是本发明一实施例的双摄像头切换设备的框图;
图7是本发明图6所示双摄像头切换设备图像匹配模块403的框图;
图8是本发明图6所示双摄像头切换设备显示区域确定模块405的框图;
图9是本发明图8所示显示区域确定模块405的图像大小修正单元4053的框图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
现在将详细说明本发明的实施例,其实施例由附图示出,其中,相同的标号始终指的是相同的部件。下面示例性实施例被描述以参考附图解释本发明。
根据本发明的示例性实施例,参照方法的流程图在下文中描述本发明。应理解流程图的每个方框、以及流程图中的方框的结合能够由计算机程序指令实现。这些计算机程序指令可被提供给适用计算机、专用计算机、或者其它可编程数据处理设备以生产机器的处理器,从而,这些指令通过计算机或其它可编程数据处理设备的处理器执行以实现流程方框或方框结合中的指定的功能。这些计算机程序指令也可被存储在计算机可用或计算机可读的存储器中,其可指示计算机或其它可编程数据处理设备以特定的方式运行,从而,存储在计算机可用或计算机可读存储器中的指令产生制造物以实现流程方框或方框结合中的指定的功能。计算机程序指令也可被加载到计算机或其它可编程数据处理设备上以使一系列操作步骤在计算机或其它可编程设备上被执行以产生计算机执行的处理,从而在计算机或其它可编程设备上执行的指令提供实现流程方框或方框结合中的指定的功能。
另外,流程图的每一方框可表示模块、程序段或部分代码,其包括一个或多个可执行指令以实现特定的逻辑功能。同样应注意到,在某些替代的实现中,方框中示出的功能可异常发生。例如,连续所示的两方框实际上可实质上同时被执行或者方框有时可被以相反的顺序执行,这取决于有关的功能性。
如图1所示,是本发明一实施例的双摄像头切换方法的流程图,S100:短焦摄像头采集一场景的第一分辨率的输入图像,长焦摄像头采集所述场景的第二分辨率的输入图像,第一分辨率和第二分辨率大于显示画面分辨率;S300:计算长焦摄像头采集的第二分辨率输入图像在短焦摄像头采集的第一分辨率输入图像中的像素区域,可定义该区域为第一区域,记录第一区域的起始点坐标和图像大小;在具体实施方式中,第一区域的起始点坐标通常指第一区域左上点的坐标,也可以是其他点的坐标,本发明不限制。S500:根据第一区域的起始点坐标和图像大小计算短焦摄像头采集的第一分辨率输入图像的初始显示画面区域,初始显示画面区域为在第一分辨率输入图像中与第一区域中心点坐标相同,且宽高比相同的最大化区域,以尽可能将第一分辨率输入图像的画面全部显示;S700:当显示画面区域按照初始显示画面区域成比例缩放时,当显示画面区域变化至与第一区域重合或在第一区域之内时,输出长焦摄像头的画面;当显示画面区域变化至第一区域之外时,输出短焦摄像头的画面。
在其他实施方式中,也可以在显示画面区域与第一区域重合时,输出短焦摄像头的画面。例如,双摄像头设备在显示画面区域与第一区域重合之前,显示的是短焦摄像头输出的画面,那么在显示画面区域与第一预设值确定的阈值区域重合时,仍然输出短焦摄像头输出的画面。
本发明所述的显示画面是指短焦摄像头或长焦摄像头采集输入图像并经图像处理之后在显示界面呈现的画面,显示画面区域是指显示界面呈现的画面在短焦摄像头或长焦摄像头采集的输入图像中的画面区域。
本方法采用两个焦距不同的摄像头,一短焦,一长焦,两摄像头以高于输出分辨率的原始分辨率对同一场景进行采样,并不断检测显示画面区域的大小,当显示画面变化时,当显示画面区域变化至与第一区域重合或在第一区域之内时,输出长焦摄像头的画面,当显示画面区域变化至第一区域之外时,输出短焦摄像头的画面,通过这样接力的方式延长摄像头的变焦倍数,达到与光学变焦相同甚至更好的无损变焦效果。
在一实施方式中,S100中的短焦摄像头和长焦摄像头均可采用超采样的方式采集输入图像,即,短焦摄像头和长焦摄像头均可采用分辨率远超过最终输出分辨率的传感器采集输入图像,在最终输出时,进行下采样转换为输出分辨率的图像信号进行输出,在保证图像清晰度的同时,确保在短焦摄像头和长焦摄像头切换时不会出现图像跳变。
本发明的方法也因为长焦摄像头应用了超采样后无损变焦技术,避免了光学变焦镜头在远焦端受杂光影响也会有轻微画质损失的问题,可以获得比光学变焦摄像头更好的成像质量。
下采样就是从内存中找到显示画面区域中像素的数据。已知输入图像数据在内存中的源地址为p,分辨率为w1x h1,图像行宽为s;显示画面区域中的像素分辨率为w2x h2,显示画面区域的起始点相对于输入图像的像素坐标为(x,y),那么显示画面区域中的像素第n行地址为Pn=p+(y+n)*s+x,数据长度为w2,h2行数据即组成显示画面。当对显示画面区域进行放大时,缩小摄像头前端采样区域,当对显示画面区域进行缩小时,扩大摄像头前端采样区域。只要前端采样分辨率保持高于显示画面的分辨率,就几乎不会有画质损失。
在具体实施方式中,短焦摄像头采样时的第一分辨率和长焦摄像头采样时的第二分辨率可以相同,也可以不同,但都需要大于最终显示图像分辨率。
双摄像头切换的要点在于确定切换的时间点,也就是显示图像在放大或缩小到什么位置时执行双摄像头显示画面的切换。在本发明中可采用图1中的S300和S500完成。
如图2所示,左图为短焦摄像头采集的输入图像,右图为长焦摄像头采集的输入图像,图中201区域为短焦摄像头的采集的原始输入图像,204区域为长焦摄像头的采集的原始输入图像,203区域为长焦摄像头采集的输入图像在短焦摄像头采集的输入图像中对应的位置,即,第一区域,第一区域的起始点坐标为203区域的左上点的坐标;图中202区域为根据第一区域的起始坐标和图像大小确定的短焦摄像头采集的第一分辨率输入图像的初始显示画面区域,区域202为在区域201中与区域203中心点相同、宽高比相同的最大化区域。
在使用双摄像头切换设备时,双摄像头切换设备首先根据初始显示画面区域值确定初始显示画面,即,双摄像头切换设备显示202区域;当显示画面区域按照202区域成比例缩放时,当显示画面区域与第一区域203重合或在第一区域203之内时,双摄像头切换设备输出长焦摄像头的画面,当显示画面区域在第一区域203之外时,双摄像头切换设备输出短焦摄像头的画面。
在一实施方式中,S300可以利用图像匹配算法确定长焦摄像头采集的第二分辨率输入图像在短焦摄像头采集的第一分辨率输入图像中的像素区域,该区域为第一区域203。例如,可以借助PS等软件完成图像匹配计算,也可以借助OpenCV库做图像匹配计算,本发明不限制。
图3是图1所示双摄像头切换方法中S300的一实施例,在短焦摄像头采集一场景的第一分辨率的输入图像,长焦摄像头采集所述场景的第二分辨率的输入图像后,步骤S3011提取短焦摄像头采集的输入图像和长焦摄像头采集的输入图像的特征点,特征点包含像素点的坐标、尺寸、强度等信息;步骤S3013对短焦摄像头采集的输入图像的特征点和长焦摄像头采集的输入图像的特征点做匹配计算;步骤S3015根据匹配强度筛选匹配点;步骤S3017根据筛选的匹配点计算单应性矩阵;步骤S3019根据单应性矩阵获取长焦摄像头采集的输入图像在短焦摄像头采集的输入图像中的坐标,即长焦摄像头采集第二分辨率的输入图像四个角坐标分别在短焦摄像头采集第一分辨率的输入图像中的坐标。
在具体实施方式中,可调用OpenCV库中的图像处理函数做图像匹配计算,例如,步骤S3011可调用OpenCV库中的SURF等算法提取短焦摄像头采集的输入图像和长焦摄像头采集的输入图像的特征点;步骤S3013可调用OpenCV库中的Brute-force算法对短焦摄像头采集的输入图像的特征点和长焦摄像头采集的输入图像的特征点做匹配计算;步骤S3015可使用OpenCV库中的DMatch类,DMatch类描述的是匹配点信息,匹配点信息中的distance字段描述匹配程度,这个值越接近0,匹配度越高,可以设置一个阈值,比如保留distance<0.1的匹配点,即,特征点对;对于步骤S3017,单应性矩阵可以由OpenCV库中的findHomography()函数获得;对于步骤S3019,可借助OpenCV库中perspectiveTransform()函数计算得到长焦摄像头采集第二分辨率的输入图像四个角坐标分别在短焦摄像头采集第一分辨率的输入图像中的坐标。
图4是图1所示双摄像头切换方法中S500的一实施例,S5011:根据S100中短焦摄像头采集的第一分辨率的输入图像201的大小和中心点坐标和第一区域203的起始点坐标和图像大小计算初始显示画面区域202的图像大小;S5013:根据第一区域203的图像大小计算第一区域203的图像宽高比(r1);S5015:根据初始显示画面区域202的图像大小计算显示画面区域202的图像宽高比(r2);S5017:根据第一区域203的图像宽高比(r1)和初始显示画面区域202的图像宽高比(r2)修正初始显示画面区域202的图像大小;S5019:根据修正的初始显示画面区域202的图像大小和第一区域203的中心点坐标计算初始显示画面区域202的起始点坐标。按照此方法计算完成,初始显示画面区域为在第一分辨率输入图像中与第一区域中心点坐标相同,且宽高比相同的最大化区域。
优选的,在一实施方式中,可采用图5所述的方法完成图1所示双摄像头切换方法中的步骤S500,其中,S5021至S5023分别与S5011至S5015相同,S5024判断初始显示画面区域202的图像宽高比(r2)是否大于或等于第一区域203的图像宽高比(r1),当r2大于r1时,也就是初始显示画面区域202在形状上比第一区域203更长,那么要根据第一区域203的宽高比重新计算初始显示画面区域202的宽度,所以初始显示画面区域202的图像的宽为初始显示画面区域202的图像高与第一区域203的图像宽高比(r1)的乘积;当r2小于r1时,也就是初始显示画面区域202在形状上比第一区域203更高,那么要根据第一区域203的宽高比重新计算初始显示画面区域202的高度,所以初始显示画面区域202的图像的高为初始显示画面区域202的图像宽除以第一区域203的图像宽高比(r1);如果显示画面区域的图像宽高比(r2)等于第一区域的图像宽高比(r1),则无需重新计算显示画面区域的图像宽和高。S5027与S5019相同。
初始显示画面区域的宽高比与第一区域的宽高比相同,并且两区域同中点,这样可保证两摄像头切换时不会出现画面跳动。在具体实施方式中,可采用如下算法:已知短焦摄像头采集的输入图像201像素宽高w x h;第一区域203起始点(左上点)坐标(x1,y1),宽高w1 x h1,则,输入图像中点坐标:
mx=w/2
my=h/2
第一区域203中点坐标:
mx1=(x1+w1)/2
my1=(y1+h1)/2
第一区域203宽高比:
r1=w1/h1
则初始显示画面区域202宽度和高度可以如此计算:
w2=(w/2-|mx-mx1|)*2
h2=(h/2-|my-my1|)*2
初始显示画面区域202宽高比为:
r2=w2/h2
初始显示画面区域202宽高修正如下:
则,初始显示画面区域202的起始点(左上点)坐标就是:
x2=mx1-w2/2,
y2=my1-h2/2。
当显示画面区域按照初始显示画面区域202成比例缩放时,当显示画面区域变化至与第一区域重合或在第一区域之内时,输出长焦摄像头的画面,当显示画面区域变化至第一区域之外时,输出短焦摄像头的画面。
本发明还提供一种双摄像头切换设备,如图6所示,包括短焦摄像头模块401、长焦摄像头模块402、图像匹配模块403、显示区域确定模块405和输出控制模块407,短焦摄像头模块401采集一场景的第一分辨率的输入图像,第一分辨率大于双摄像头切换装置显示画面分辨率;长焦摄像头模块402采集所述场景的第二分辨率的输入图像,第二分辨率大于双摄像头切换装置显示画面分辨率;图像匹配模块403计算长焦摄像头模块采集的第二分辨率输入图像在短焦摄像模块采集的第一分辨率输入图像中的像素区域,该区域为第一区域;显示区域确定模块405根据第一区域的起始点坐标和图像大小计算短焦摄像头采集的第一分辨率输入图像的初始显示画面区域,初始显示画面区域为在第一分辨率输入图像中与第一区域中心点坐标相同,且宽高比相同的最大化区域,以尽可能将第一分辨率输入图像的画面全部显示;输出控制模块407在双摄像头切换装置的显示画面变化时,即,当显示画面区域按照初始显示画面区域成比例缩放时,当显示画面区域变化至与第一区域重合或在第一区域之内时,输出长焦摄像模块402的画面,当显示画面区域变化至第一区域之外时,输出短焦摄像头401的画面。
在其他实施方式中,也可以在显示画面区域与第一区域重合时,输出短焦摄像模块401的画面。例如,双摄像头切换设备在显示画面区域与第一区域重合之前,显示的是短焦摄像模块401输出的画面,那么在显示画面区域与第一区域重合时,仍然输出短焦摄像头401的画面。
本发明的双摄像头切换设备包括两个焦距不同的定焦摄像头模块,一短焦模块,一长焦模块,两摄像头模块以高于输出分辨率的原始分辨率进行采样,低倍数下输出短焦摄像头模块的画面,在放大到一定大小后输出长焦摄像头的画面,通过这样接力的方式延长摄像头的变焦倍数,达到与光学变焦相同甚至更好的无损变焦效果。
本发明的双摄像头切换设备可以包括任何的双摄像头电子设备,例如,双摄像头切换的视频展台、双摄像头高拍仪、双摄像头大屏、双摄像头白板、双摄像头笔记本、双摄像头手机等等。
在一实施方式中,短焦摄像模块401和长焦摄像模块402也均可采用超采样的方式采集输入图像,在保证图像清晰度的同时,确保在短焦摄像头和长焦摄像头切换时不会出现图像跳变。
在具体实施方式中,短焦摄像头采样时的第一分辨率和长焦摄像头采样时的第二分辨率可以相同,也可以不同,但都需要大于最终显示图像分辨率。
在一实施方式中,图像匹配模块403可以借助PS等软件完成图像匹配计算,也可以借助OpenCV库做图像匹配计算所述长焦摄像头采集的第二分辨率输入图像在所述短焦摄像头采集的第一分辨率输入图像中的像素区域,本发明不限制。
在一实施方式中,如图7所示,图像匹配模块403包括特征点提取单元4031、特征点匹配计算单元4032、单应性矩阵计算单元4033和坐标计算单元4034。特征点提取单元4031提取第一分辨率输入图像和第二分辨率输入图像中的特征点;特征点匹配计算单元4032对第一分辨率输入图像和第二分辨率输入图像中的特征点做特征点匹配计算;单应性矩阵计算单元4033根据第一分辨率输入图像和第二分辨率输入图像特征点的匹配强度筛选匹配的特征点,并根据筛选的匹配的特征点计算单应性矩阵;坐标计算单元4034根据单应性矩阵计算第二分辨率输入图像四个角坐标分别在所述第一分辨率输入图像中的坐标。
在具体实施方式中,特征点提取单元4031、特征点匹配计算单元4032、单应性矩阵计算单元4033和坐标计算单元4034可使用OpenCV库中的图像处理函数做图像匹配计算,例如,特征点提取单元4031可使用OpenCV库中的SURF算法提取短焦摄像头采集的输入图像和长焦摄像头采集的输入图像的特征点;特征点匹配计算单元4032可使用OpenCV库中的Brute-force算法对短焦摄像头采集的输入图像的特征点和长焦摄像头采集的输入图像的特征点做匹配计算;单应性矩阵计算单元4033可使用OpenCV库中的DMatch类,DMatch类描述的是匹配点信息,匹配点信息中的distance字段描述匹配程度,这个值越接近0,匹配度越高,可以设置一个阈值,比如保留distance<0.1的匹配点,即,特征点对,单应性矩阵可以使用OpenCV库中的findHomography()函数获得;坐标计算单元4034可使用OpenCV库中perspectiveTransform()函数计算得到长焦摄像头采集第二分辨率的输入图像四个角坐标分别在短焦摄像头采集第一分辨率的输入图像中的坐标。
在一实施方式中,如图8所示,显示区域确定模块405包括显示画面区域计算单元4051、图像宽高比计算单元4052、图像大小修正单元4053、坐标计算单元4054,显示画面区域计算单元4051根据短焦摄像模块401采集的第一分辨率的输入图像的大小和中心点坐标和第一区域的起始点坐标和图像大小计算初始显示画面区域的图像大小;图像宽高比计算单元4052根据第一区域的图像大小计算第一区域的图像宽高比(r1),并根据初始显示画面区域的图像大小计算初始显示画面区域的图像宽高比(r2);图像大小修正单元4053根据第一区域的图像宽高比(r1)和初始显示画面区域的图像宽高比(r2)修正初始显示画面区域的图像大小;坐标计算单元4054根据图像大小修正单元4053计算的初始显示画面区域的图像大小和第一区域的中心点坐标计算初始显示画面区域的起始点坐标。显示画面区域202是在第一分辨率输入图像中的与第一区域203中心点相同,且宽高比相同的最大区域。
在一实施方式中,如图9所示,图像大小修正单元4053可以包括宽高比比较单元4053-1和修正计算单元4053-2,宽高比比较单元4053-1判断第一区域的图像宽高比(r1)和初始显示画面区域的图像宽高比(r2)的大小;修正计算单元4053-2根据宽高比比较单元4053-1的比较结果修正初始显示画面区域的大小,当初始显示画面区域的图像宽高比(r2)大于第一区域的图像宽高比(r1)时,也就是初始显示画面区域在形状上比第一区域更长,那么要根据第一区域的宽高比重新计算初始显示画面区域的宽度,初始显示画面区域的图像的宽为初始显示画面区域的图像高与第一区域的图像宽高比(r1)的乘积;当初始显示画面区域的图像宽高比(r2)小于第一区域的图像宽高比(r1)时,也就是初始显示画面区域在形状上比第一区域更高,那么要根据第一区域的宽高比重新计算初始显示画面区域的高度,初始显示画面区域的图像的高为初始显示画面区域的图像宽除以第一区域的图像宽高比(r1);如果显示画面区域的图像宽高比(r2)等于第一区域的图像宽高比(r1),则无需重新计算显示画面区域的图像宽和高。初始显示画面区域的宽高比与第一区域的宽高比相同,并且两区域同中点,这样才能保证两摄像头切换时不会出现画面跳动。
如本文中所使用,术语“单元”、“模块”以及各种器件,可以是指执行固件程序的专用集成电路(ASIC)、电子电路、组合逻辑电路、和/或提供所述功能性的其它适当组件、作为它们的部分或者包括它们。
本发明不限制双摄像头切换设备中的各个模块之间和/或模块内部完成功能的执行顺序,可根据实际需求调整各个模块之间和/或模块内部的执行顺序,可实现本发明的技术方案即可。
应当理解的是,以上实施例仅用以说明本发明的技术方案,而非对其限制,对本领域技术人员来说,可以对上述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而所有这些修改和替换,都应属于本发明所附权利要求的保护范围。
Claims (8)
1.一种双摄像头切换方法,其特征在于,包括:
S1:短焦摄像头采集一场景的第一分辨率的输入图像,长焦摄像头采集所述场景的第二分辨率的输入图像,所述第一分辨率和所述第二分辨率大于显示画面分辨率;
S2:利用图像匹配算法计算所述第二分辨率输入图像在所述第一分辨率输入图像中的像素区域,该区域为第一区域,包括:
S2.1:提取所述第一分辨率输入图像和所述第二分辨率输入图像中的特征点;
S2.2:对所述第一分辨率输入图像和所述第二分辨率输入图像中的特征点做特征点匹配计算;
S2.3:根据所述第一分辨率输入图像和所述第二分辨率输入图像中特征点的匹配强度筛选匹配的特征点;
S2.4:根据所述筛选的匹配的特征点计算出单应性矩阵;
S2.5:根据所述单应性矩阵计算第二分辨率输入图像四个角坐标分别在所述第一分辨率输入图像中的坐标;
S3:根据所述第一区域的起始点坐标和图像大小计算所述第一分辨率输入图像的初始显示画面区域,所述初始显示画面区域为在所述第一分辨率输入图像中与所述第一区域中心点坐标相同,且宽高比相同的最大化区域,包括:
S3.1:根据所述第一分辨率的输入图像的大小和中心点坐标和所述第一区域的起始点坐标和图像大小计算所述初始显示画面区域的图像大小;
S3.2:根据所述第一区域的图像大小计算所述第一区域的图像宽高比(r1);
S3.3:根据所述初始显示画面区域的图像大小计算所述初始显示画面区域的图像宽高比(r2);
S3.4:根据所述第一区域的图像宽高比(r1)和所述初始显示画面区域的图像宽高比(r2)修正所述初始显示画面区域的图像大小;
S3.5:根据所述修正的初始显示画面区域的图像大小和所述第一区域的中心点坐标计算所述初始显示画面区域的起始点坐标;
S4:当显示画面区域按照所述初始显示画面区域成比例缩放时,当所述显示画面区域变化至与所述第一区域重合或在所述第一区域之内时,输出所述长焦摄像头的画面;当所述显示画面区域变化至所述第一区域之外时,输出所述短焦摄像头的画面。
2.如权利要求1所述的双摄像头切换方法,其特征在于,所述短焦摄像头和所述长焦摄像头采用超采样方式分别采集所述第一分辨率和所述第二分辨率的输入图像。
3.如权利要求1或2任一项所述的双摄像头切换方法,其特征在于,所述第一分辨率与所述第二分辨率相等。
4.如权利要求1所述的双摄像头切换方法,其特征在于,所述S3.4包括:
当所述初始显示画面区域的图像宽高比(r2)大于所述第一区域的图像宽高比(r1)时,所述初始显示画面区域的图像的宽为所述初始显示画面区域的图像高与所述第一区域的图像宽高比(r1)的乘积;
当所述初始显示画面区域的图像宽高比(r2)小于所述第一区域的图像宽高比(r1)时,所述初始显示画面区域的图像的高为所述初始显示画面区域的图像宽除以所述第一区域的图像宽高比(r1)。
5.一种双摄像头切换设备,其特征在于,包括:
短焦摄像模块,用于采集一场景的第一分辨率的输入图像,所述第一分辨率大于所述双摄像头切换设备的显示画面分辨率;
长焦摄像模块,用于采集所述场景的第二分辨率的输入图像,所述第二分辨率大于所述双摄像头切换设备的显示画面分辨率;
图像匹配模块,用于计算所述第二分辨率输入图像在所述第一分辨率输入图像中的像素区域,该区域为第一区域;所述图像匹配模块包括:
特征点提取单元,用于提取所述第一分辨率输入图像和所述第二分辨率输入图像中的特征点;
特征点匹配计算单元,用于对所述第一分辨率输入图像和所述第二分辨率输入图像中的特征点做特征点匹配计算;
单应性矩阵计算单元,用于根据所述第一分辨率输入图像和所述第二分辨率输入图像特征点的匹配强度筛选匹配的特征点,并根据所述筛选的匹配的特征点计算单应性矩阵;
坐标计算单元,用于根据所述单应性矩阵计算第二分辨率输入图像四个角坐标分别在所述第一分辨率输入图像中的坐标;
显示区域确定模块,用于根据所述第一区域的起始点坐标和图像大小计算所述第一分辨率输入图像的初始显示画面区域,所述初始显示画面区域为在所述第一分辨率输入图像中与所述第一区域中心点坐标相同,且宽高比相同的最大化区域;所述显示区域确定模块包括:
显示画面区域计算单元,用于根据所述第一分辨率的输入图像的大小和中心点坐标和所述第一区域的起始坐标和图像大小计算所述初始显示画面区域的图像大小;
图像宽高比计算单元,用于根据所述第一区域的图像大小计算所述第一区域的图像宽高比(r1),并根据所述初始显示画面区域的图像大小计算所述初始显示画面区域的图像宽高比(r2);
图像大小修正单元,用于根据所述图像宽高比计算单元计算的所述第一区域的图像宽高比(r1)和所述初始显示画面区域的图像宽高比(r2)修正所述初始显示画面区域的图像大小;
坐标计算单元,用于根据所述图像大小修正单元计算的初始显示画面区域的图像大小和所述第一区域的中心点坐标计算所述初始显示画面区域的起始点坐标;
输出控制模块,用于当显示画面区域按照所述初始显示画面区域成比例缩放时,当所述显示画面区域变化至与所述第一区域重合或在所述第一区域之内时,输出所述长焦摄像模块的画面,当所述显示画面区域变化至所述第一区域之外时,输出所述短焦摄像头的画面。
6.如权利要求5所述的双摄像头切换设备,其特征在于,所述短焦摄像模块和所述长焦摄像模块均为超采样模块。
7.如权利要求5或6任一项所述的双摄像头切换设备,其特征在于,所述第一分辨率与所述第二分辨率相等。
8.如权利要求5所述的双摄像头切换设备,其特征在于,所述图像大小修正单元包括:
宽高比比较单元,用于判断所述第一区域的图像宽高比(r1)和所述初始显示画面区域的图像宽高比(r2)的大小;
修正计算单元,用于根据所述宽高比比较单元的比较结果修正所述初始显示画面区域的图像大小,
当所述初始显示画面区域的图像宽高比(r2)大于所述第一区域的图像宽高比(r1)时,所述初始显示画面区域的图像的宽为所述初始显示画面区域的图像高与所述第一区域的图像宽高比(r1)的乘积;
当所述初始显示画面区域的图像宽高比(r2)小于所述第一区域的图像宽高比(r1)时,所述初始显示画面区域的图像的高为所述初始显示画面区域的图像宽除以所述第一区域的图像宽高比(r1)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811068083.2A CN110896444B (zh) | 2018-09-13 | 2018-09-13 | 一种双摄像头切换方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811068083.2A CN110896444B (zh) | 2018-09-13 | 2018-09-13 | 一种双摄像头切换方法和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110896444A CN110896444A (zh) | 2020-03-20 |
CN110896444B true CN110896444B (zh) | 2022-01-04 |
Family
ID=69785274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811068083.2A Active CN110896444B (zh) | 2018-09-13 | 2018-09-13 | 一种双摄像头切换方法和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110896444B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111444815B (zh) * | 2020-03-24 | 2024-05-14 | 中国南方电网有限责任公司 | 变电站身份认证方法、系统、装置和计算机设备 |
CN112529778B (zh) * | 2020-11-24 | 2023-05-30 | 展讯通信(上海)有限公司 | 多摄像头设备的图像拼接方法及装置、存储介质、终端 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008016474A2 (en) * | 2006-08-01 | 2008-02-07 | Eastman Kodak Company | Producing digital image with different resolution portions |
CN101902572A (zh) * | 2009-05-04 | 2010-12-01 | 弗莱克斯电子有限责任公司 | 双镜头数字变焦 |
CN105527702A (zh) * | 2015-08-11 | 2016-04-27 | 浙江舜宇光学有限公司 | 组合式变焦镜头 |
CN105556944A (zh) * | 2012-11-28 | 2016-05-04 | 核心光电有限公司 | 高分辨率薄多孔径成像系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4787906B1 (ja) * | 2010-03-30 | 2011-10-05 | 富士フイルム株式会社 | 撮像装置、方法およびプログラム |
-
2018
- 2018-09-13 CN CN201811068083.2A patent/CN110896444B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008016474A2 (en) * | 2006-08-01 | 2008-02-07 | Eastman Kodak Company | Producing digital image with different resolution portions |
CN101902572A (zh) * | 2009-05-04 | 2010-12-01 | 弗莱克斯电子有限责任公司 | 双镜头数字变焦 |
CN105556944A (zh) * | 2012-11-28 | 2016-05-04 | 核心光电有限公司 | 高分辨率薄多孔径成像系统 |
CN105527702A (zh) * | 2015-08-11 | 2016-04-27 | 浙江舜宇光学有限公司 | 组合式变焦镜头 |
Non-Patent Citations (1)
Title |
---|
Image Quality of Oversampling cameras;Juha Alakarhu,Samu Koskinen,etl;《Image Sensor 2013》;20130630;第1页第1栏简介部分第1-2段 * |
Also Published As
Publication number | Publication date |
---|---|
CN110896444A (zh) | 2020-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110622497B (zh) | 具备具有不同焦距的相机的设备及实现相机的方法 | |
CN111353948B (zh) | 一种图像降噪方法、装置及设备 | |
CN103428427B (zh) | 影像尺寸重新调整方法以及影像尺寸重新调整装置 | |
US9591237B2 (en) | Automated generation of panning shots | |
US8189960B2 (en) | Image processing apparatus, image processing method, program and recording medium | |
TWI531852B (zh) | 影像擷取裝置及數位變焦方法 | |
JP5299488B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN112367459B (zh) | 图像处理方法、电子装置及非易失性计算机可读存储介质 | |
JP2008078945A (ja) | 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、および、手ぶれ補正処理プログラム | |
US20240284045A1 (en) | Lossless photographing method and apparatus for mobile terminal, terminal device and storage medium | |
CN109040596B (zh) | 一种调整摄像头的方法、移动终端及存储介质 | |
WO2018076460A1 (zh) | 一种终端的拍照方法和终端 | |
JP2015148532A (ja) | 距離計測装置、撮像装置、距離計測方法、およびプログラム | |
CN105491267A (zh) | 影像撷取装置及数位变焦方法 | |
CN110691192B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
JP5212046B2 (ja) | デジタルカメラおよび画像処理装置並びに画像処理プログラム | |
CN110896444B (zh) | 一种双摄像头切换方法和设备 | |
CN110896443B (zh) | 一种用于双摄像头切换的区域值预设方法及双摄像头切换设备 | |
JP6541501B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
US20140240346A1 (en) | Image displaying device | |
US8462259B2 (en) | Focusing image display device and method for displaying same | |
CN105491278B (zh) | 影像撷取装置及数字变焦显示方法 | |
JP2012235198A (ja) | 撮像装置 | |
JPWO2019176804A1 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
JP2017182668A (ja) | データ処理装置、撮像装置、及びデータ処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |