发明内容
本发明的目的是判定图像的方向,使其旋转到适于显示的方向进行显示。
本发明的第1项所述的图像显示控制装置特征是:使包括在对象图像内的检索区域内的图像分别从一定角度旋转到不同的规定角度的区域内图像旋转装置;利用检索面部图像的数据,计算由所述区域内图像旋转装置分别旋转了特定角度的各自角度的所述检索区域内的图像表示近似面部图像的评价值的评价值计算装置;利用所述评价值计算装置,根据得到的各自角度中具有表示近似面部图像的评价值的最大值的角度,确定旋转校正角度的旋转校正角度确定装置;和利用由所述旋转校正角度确定装置确定的旋转校正角度,旋转所述对象图像,在显示窗口进行显示的控制显示装置的显示控制装置。
发明的第1项也提供了适合上述图像显示控制装置的方法。即,这个方法是把包括在对象图像中的检索区域内的图像,分别按不同角度旋转到不同的规定角度;利用面部图像检索用数据,计算各自旋转特定角度后的各个角度的所述检索区域内的图像表示近似面部图像的评价值;根据各个角度中赋予了表示所述近似面部图像的评价值的最大值的角度,确定旋转校正角度;利用确定的旋转校正角度,旋转所述对象图像,在显示窗口进行显示的方法。
利用发明的第1项,把应该显示的对象图像中所包含的检索区域(检索区域的大小,可以比对象图像小,也可以和对象图像相同)内的图像分别从每个一定的角度(例如每个15度)旋转到规定的角度(例如用360度减去一定的角度=345度)。利用检索面部图像的检索用数据,在每个被旋转一定角度的检索区域内,计算表示检索区域内的图像近似面部图像的评价值。根据赋予表示近似面部评价值的最大值的角度,确定旋转校正角度。利用确定的旋转校正角度,旋转对象图像。把旋转的对象图像显示在显示窗口。摄影时不管照相机的方向,对象图像都可以在适合欣赏的方向被显示出来。
本发明的第2项的图像显示控制装置的特征是配备有:利用检索面部图像的检索用数据,计算包括在对象图像内的检索区域内的图像表示近似面部图像的评价值的评价值计算装置;对所述检索用数据进行角度转换处理,使所述检索用数据按不同角度分别旋转到不同的规定角度,利用经过角度转换处理后的检索用数据,进行评价值计算处理的控制所述评价值计算装置的评价值计算控制装置;根据利用分别旋转了不同角度的检索用数据进行评价值计算处理所获得的具有最大评价值的角度,确定旋转校正角度的旋转校正角度确定装置;和利用由所述旋转校正角度确定装置确定的旋转校正角度,旋转所述对象图像,在显示窗口进行显示的控制显示装置的显示控制装置。
本发明的第2项还提供了适于上述显示控制装置的方法。这种方法是利用面部图像检索用数据,计算包含在对象图像中的检索区域内的图像表示近似面部图像的评价值;对所述面部图像检索用数据进行角度转换处理,使所述面部图像检索用数据按不同角度分别旋转到不同的规定角度,利用经过角度转换处理后的检索用数据,进行评价值计算处理;根据利用分别旋转了不同角度的面部图像检索用数据进行评价值计算处理所获得的具有最大评价值的角度,确定旋转校正角度;利用确定的旋转校正角度,旋转所述对象图像,在显示窗口进行显示的方法。
按照本发明的第2项,利用检索面部图像的检索数据,计算出表示对象图像中包含的检索区域内的图像表示近似面部图像的评价值。上述检索数据进行角度转换处理,按不同角度分别旋转到规定的角度,利用每个角度经过角度转换处理后的检索数据,进行计算评价值处理。根据在上述不同角度的评价值计算处理中获得的赋予的评价值中最大值的角度,确定旋转校正角度。用确定的旋转校正角度,旋转对象图像,在显示窗口进行显示。摄影时不管照相机的方向,对象图像都可以在适合欣赏的方向被显示出来。
本发明的第3项的图像显示装置的特征是配备有:在每个对象图像分别按不同角度旋转到不同的规定角度的情况下,分别适合于每个不同角度的用于检索面部图像的检索用数据,与所述每个不同角度相对应存储的检索用数据存储装置;利用所述每个不同角度存储的检索用数据,在所述每个不同角度计算包括在所述对象图像内的检索区域内的图像的表示近似面部图像的评价值的评价值计算装置;由所述评价值计算装置,根据所述每个不同角度中具有表示近似面部图像的评价值的最大值的角度,确定旋转校正角度的旋转校正角度确定装置;利用由所述旋转校正角度确定装置确定的旋转校正角度,旋转所述对象图像,在显示窗口进行显示的控制显示装置的显示控制装置。
本发明的第3项也提供了适于上述图像显示控制装置的方法。即,这个方法是在每个对象图像分别按不同角度旋转到不同的规定角度的情况下,把分别适合于每个不同角度的面部检索用数据,与所述每个不同角度相对应存储;利用所述每个不同角度存储的检索用数据,计算所述每个不同角度的所述对象图像中包括的检索区域内的图像的表示近似面部图像的评价值;根据所述每个不同角度中具有表示近似面部图像的评价值的最大值的角度,确定旋转校正角度;利用确定的旋转校正角度,旋转所述对象图像,在显示窗口进行显示的方法。
按照本发明的第3项,存储按不同角度旋转到规定角度的检索用数据。利用这些存储的检索用数据,计算每个不同角度表示对象图像的检索区域内的图像表示近似面部图像的评价值。根据给予评价值中最大值的角度,确定旋转校正角度。利用确定的旋转校正角度,旋转对象图像,在显示窗口进行显示。摄影时不管照相机的方向,对象图像都可以在适合欣赏的方向被显示出来。
上述对象图像被旋转后,在上述显示窗口显示时,还可以进一步配备把旋转后的对象图像收藏在上述显示窗内,对上述对象图像调整大小的调整大小装置。
另外,上述显示窗口是矩形的情况下,上述旋转校正角度确定装置,优选使上述矩形的一边成水平状态,确定上述对象图像的旋转校正角度的。
具体实施方式
利用本实施例中的数字照相机,拍摄获得的被拍摄物体图像可以重放。特别是在本实施例中,可以从被拍摄的图像(对象图像)中,找出面部图像,根据找出的面部图像,把被拍摄的图像进行旋转,使被拍摄图像中的人物像正放之后显示出来。从而使拍摄获得的被拍摄图像,即使在数字照相机是纵向拍摄的情况下,人物像也能正放显示。
图1为表示在本实施例中,生成检索用面部图像的学习结果(检索用数据)的情况。
作为事先学习用的图像数据,采用面部数据和非面部数据。面部图像数据中,采用各种各样的面部图像FI1、FI2、FI3等进行表示。而非面部图像数据采用不是面部图像的非面部图像(象不象面部图像都可以)FN1、FN2、FN3等进行表示。
利用这些事先学习用图像数据,按照规定的学习步骤,得到判定是否面部图像的学习结果。获得的学习结果被保存在数字照相机中。
图2为表示学习结果的图表的一个例子。
作为学习结果,是学习检索区域内的图像的设定位置的像素值、学习检索区域内的图像,经过筛选处理后的检索区域内的设定位置的像素值、像素值的差等和它们的得分。由某个像素值等数值得到对应的得分(正负都可以),所获得的分数累积起来得到的数值,就成为表示其检索区域内的图像类似面部图像的评价值。
图3为表示数字照相机的电气部分的结构框图。
在说明重放之前,就摄影时的处理进行说明。
数字照相机的全部工作由控制电路20集中控制。
控制电路20中包括互相通过总线进行连接的CPU21、ROM22及RAM23。在ROM22中保存着表示上述学习结果的数据。当然,不用说,在ROM22中也可以保存不是上述那样具有图表等形态的学习结果,而是表示面部图像的模板图像数据。RAM23保存表示检索区域内的图像数据及其它的图像数据。
在数字照相机中包含有快门释放按钮、方式设定字盘等操作器15。从操作器15输出的操作信号输入到控制电路20。
可变焦距镜头(不是可变焦距镜头也可以)1的变焦位置由镜头驱动电路11控制。而且,光圈2的开口由光圈驱动电路12控制。由可变焦距镜头1把表现被拍摄物体影像的光线集中,通过光圈2入射到CCD那样的摄影元件3中。表现被拍摄物体影像的光线在摄影元件3的受光面上成像。
由方式设定字盘设定摄影方式时,摄影元件3就被摄影元件控制电路13控制,表现被拍摄物体影像的图像信号就从摄影元件3输出。图像信号在模拟信号处理电路4进行相关双重采样等的模拟信号处理。从模拟信号处理电路4输出的图像信号,在模拟/数字转换电路4转换成数字图像数据,输入控制电路20及数字信号处理电路6。在数字信号处理电路6进行γ校正、白平衡校正等数字信号处理。
从数字信号处理电路6输出的图像数据,通过存储器7送给显示控制电路10。由显示控制电路10把被拍摄物体影像显示在显示装置16的显示画面上。
当按下快门释放按钮时,和上述的同样,被拍摄物体又被拍摄得到表示被拍摄物体影像的图像数据。图像数据从数字信号处理电路6送给存储器7,被暂时存储。从存储器7读出图像数据,通过记录/读出控制电路8,保存到存储卡9。当然,还得根据需要对数据进行压缩。
当由方式设定字盘设定重放方式时,由记录/读出控制电路8,从存储卡9读出表示被拍摄物体影像的图像数据。读出的图像数据,通过存储器7及数字信号处理电路6(根据需要进行数据解压缩处理),输入到面部检索处理电路14。在面部检索处理电路14,从读取的图像数据中找出面部图像。把表示找到的面部图像的图像数据送给RAM23,被暂时保存。再把表示被拍摄物体影像的图像数据也暂时保存在控制电路20内的RAM23中,进行表示被拍摄物体影像的图像数据的显示角度校正处理(根据旋转校正角度的校正处理),使面部图像正放。这个校正处理,由于有图像数据的寻址操作,很容易进行。
经过显示角度校正处理的被拍摄物体影像数据,通过数字信号处理电路6及存储器7送到显示控制电路10。使人物像正放的被拍摄物体影像被显示在显示装置16的显示画面上。
图4为表示把对象图像旋转显示的处理步骤的流程框图;图5表示对象图像和检索区域的关系。
这个处理是在对象图像上对检索区域进行扫描,进行检索区域内的图像和上述学习结果(检索用数据)的一致程度的评价。然后,如后面将叙述的那样,把检索区域内的图像,分别旋转规定的角度,在旋转后的规定角度再进行评价值的计算处理。根据获得最大评价值的检索区域的位置等,把规定部分的图像判定为面部图像。
首先,评价值的最大值设置为0(步骤31)。然后,检索区域AS移动到对象图像I的前端(步骤32)。在这个实施例中,对象图像的大小是逐渐变小,直至对象图像变到规定的最小图像尺寸。在各种尺寸的情况下,就检索区域AS内的图像计算出类似面部的评价值。由此,判定出对象图像的图像大小是否符合规定的最小图像尺寸(步骤32)。
变成最小图像尺寸时(步骤32中的YES),因为在各种尺寸进行了计算评价值处理,所以根据获得的最大评价值,对象图像被旋转后,显示出来。如果没有变成最小图像尺寸(步骤32中的NO),确认检索区域是否在对象图像I的终端(步骤33)。
当检索区域处在对象图像I的终端时(步骤33中的YES),因为就其对象图像I的计算评价值处理结束,接着要对尺寸小的对象图像进行评价值计算处理,所以进行对于对象图像I的调整大小处理(步骤34)。再把检索区域移动到调整大小后的对象图像的前端。检索区域如果不处在对象图像I的终端(步骤33中的NO),计算检索区域AS内的图像的表示近似面部的评价值(步骤34)。关于这个评价值计算处理,将在后面详述。评价值计算处理完成时,检索区域稍微向水平方向及垂直方向移动(步骤35)。再重复步骤33及34的处理。
这样,当对开头的对象图像I,在检索区域AS内的图像的近似面部的评价值计算结束时,对尺寸小的对象图像I1,进而对尺寸小的对象图像I2,如此一直到最小图像尺寸为止,反复进行评价值计算处理。
图6为表示评价值计算处理(图4步骤34)的处理步骤的流程框图。
在这个实施例中检索区域AS内的图像以检索区域AS的中心为中心,各自旋转15度,对旋转后的检索区域AS内的图像,利用学习结果,计算出表示近似面部的评价值。
首先,把表示检索区域AS内的图像旋转角度的旋转操作量θ设置为0(步骤41)。当旋转操作量θ为360度时,检索区域AS内的图像旋转了一圈。因此,当旋转操作量θ为360度以上时(步骤42中的NO),其检索区域AS的位置上的评价值计算处理完成。旋转操作量θ不到360度时(步骤42中的YES),在检索区域AS内的图像只旋转了旋转操作量θ(逆时针旋转为正),利用学习结果,计算其检索区域AS内的图像评价值(步骤43)。
如果获得的评价值比最大值还大(步骤44中的YES),其评价值成为新的最大值,旋转操作量θ、检索区域的位置、对象图像大小的信息被存储(步骤45)。如果获得的评价值不比最大值大(步骤44中的NO),步骤44的处理被跳过。旋转操作量θ增加15度(步骤46),利用增加的旋转操作量θ,检索区域AS内的图像旋转到特定的角度。对于旋转后的检索区域AS内的图像,利用学习结果,反复进行同样的评价值计算处理。
这样,旋转操作量θ依次增加15度,对于分别按旋转操作量θ(=15度、30度、45度…)旋转后的检索区域AS内的图像计算近似面部的评价值,记录获得的评价值的最大值。如上述那样,对不同大小的许多的对象图像的所有范围,进行评价值计算处理,得到的最大的评价值的旋转操作量θ等被保存。例如,在图7所示的例子中,当对象图像I检索区域AS内的图像的旋转操作量θ为0的情况下,根据学习结果得到的近似面部的评价值最大。这时候,对象图像I内的面部的倾斜角α(=360度-θ)为0。
图7表示检索区域AS1内的图像和检索近似面部的学习结果R。为了易懂,学习结果R以模板图像表示。
检索区域AS1内的图像i11是没有倾斜度的。
利用学习结果,计算旋转操作量θ为0的检索区域AS1内的图像i11的近似面部的评价值。接着,旋转操作量θ增加15度,计算旋转操作量θ=15的检索区域AS1内的图像i12(用i12等表示旋转后的图像)的近似面部的评价值。同样,计算旋转操作量θ再增加15度的旋转操作量θ=30,进而再增加15度的旋转操作量θ=45的图像i13、i14的近似面部的评价值。一直把评价值计算处理继续到旋转操作量θ=345度的图像i1n,如上述那样得到评价值的最大值。
从旋转操作量θ为15度到345度之间,如代表性的用旋转操作量θ=15度来表示那样,设想检索区域AS1只旋转旋转操作量θ=15度而得到框F1。然后,设想这个框F1内接,而且旋转操作量θ为0度那样的框F2。把这个框F2的大小规定为和框F1是同样大小的框F12(这个框F12与检索区域AS1同样大小,同样方向)。根据学习结果计算框F12内的图像i12的近似面部的评价值。对其余的从旋转操作量θ=30度到θ=345度,也同样计算,得到从框F13到框Fin(和后面将要叙述的图8中的框F22~F2n同样)内的图像的近似面部的评价值。
图7的示例中,因为图像i11没有倾斜,所以对于旋转操作量θ为0的图像i11的近似面部的评价值最大。旋转操作量θ=0和检索区域AS1的位置等同时被保存。
因为旋转操作量θ为0,在显示对象图像I1时,如上述那样校正角度β为0,对象图像I1不进行旋转校正而直接显示。
图8表示检索区域内的图像和检索近似面部的学习结果的另外的示例。
对象图像I中包含的检索区域AS2内的图像AF2向左(逆时针方向)倾斜30度。
和上述同样,对检索区域AS2内的图像i21的旋转操作量θ从0度至345度依次增加15度旋转而得到的图像i21~i2n,利用近似面部的学习结果进行计算。因为图像i21向左倾斜30度,利用学习结果,对于旋转操作量θ=330度时的图像i21近似面部的评价值最大。旋转操作量θ=330度和检索区域AS2的位置同时被保存。
因为旋转操作量θ为330度,所以显示对象图像I2时校正角度β也为0。
图9为表示对象图像的显示处理步骤的流程框图,图10为针对对象图像的,表示在对象图像的显示处理中进行对象图像的调整大小处理的作法。
对象图像的显示处理是利用获得最大评价值的检索区域AS内的图像的面部倾斜。面部的倾斜利用上述的旋转操作量θ,用α=360度-θ表示。
面部的倾斜α为0度以上、不到45度或者315度以上、不到360度时(步骤51中的YES),因为不进行显示角度校正,人物接近正放的状态,所以不进行显示角度的校正,照原样显示对象图像(步骤52)。
面部的倾斜角α为45度以上不到135度时(步骤53中的YES),校正角度β设定为270度(步骤54)。对象图像被旋转270度。由于对象图像被旋转,横向的图像变成纵向显示。因此,进行对象图像的大小调整(步骤55)。
参照图10(A),横向的对象图像I被显示在显示窗口(也可以是显示画面)w内。这个显示窗口w,高h1,宽w1。这样的对象图像I逆时针旋转270度时,旋转后的对象图像在显示窗口w内无法显示。因此,把横向显示时的对象图像的宽W2变成高h1把对象图像的大小进行调整。由于大小调整,对象图像的大小,如(B)所示,横向显示时,变成高h2,宽w2。大小调整处理后的对象图像即使旋转270度显示,如(C)所示那样,仍然能放进显示窗口w内。可以看见整个对象图像。
返回图9中,面部倾斜α为135度以上、不到225度时(步骤57中的YES),校正角度β设定为180度(步骤58)。设定的校正角度为180度的角度,对象图像被旋转后显示(步骤59)。
面部的倾斜角为225度以上、不到315度时(步骤57中的NO)校正角度β设定为90度(步骤61)。因为在这种情况下,对象图像从横向显示变成纵向,所以和面部倾斜角为45度以上、不到135度的情形一样,进行对象图像的调整大小处理(步骤62)。调整大小后的对象图像,旋转校正角度β=90度的角度显示出来(步骤63)。
根据面部的倾斜,旋转对象图像的显示角度,使其便于观看。
从图11到图13表示其它的实施例。
在上述实施例中,把检索区域内的图像依次从一定角度旋转到规定的角度,在各自的角度,进行近似面部的评价值计算,但在下面所示的实施例中,不使检索区域内的图像旋转,而使学习结果依次从一定角度旋转到规定的角度(相当于对能检索出依次被旋转的一定角度的面部图像的学习结果的计算处理),进行各自角度上近似面部的评价值计算处理。
图11为表示评价值计算处理(与图6相对应的处理)的流程框图。
学习结果的倾斜角度α(由于这个学习结果的倾斜角度相当于上述的面部的倾斜,所以用和面部的倾斜角α同样的符号α)设定为0(步骤71)。确认学习结果的倾斜角度α是否到达360度,如果不到360度(步骤72的YES),使学习结果旋转倾斜角α的角度,用旋转后的学习结果,计算检索区域AS内的图像近似面部的评价值(步骤73)。
确认算出的评价值是否比评价值的最大值大(步骤74)。如果算出的评价值比评价值的最大值大(步骤74中的YES),则其最大值的学习结果的旋转角度(倾斜度α)、在检索区域内的对象图像的位置、对象图像的大小和其最大值同时被保存。(步骤75)。把倾斜度增加15度,(步骤76),再重复进行从步骤72至75的处理。
图12表示检索区域AS1内的图像与学习结果的关系。
对象图像I1的检索区域AS1内的面部图像i11是没有倾斜度的。
利用倾斜度α=0的学习结果r1,计算检索区域AS1内的图像i11的近似面部的评价值。接着,增加15度倾斜度,用倾斜度α=15的学习结果r2,计算检索区域AS1内的图像i11的近似面部的评价值。同样,利用倾斜度再增加15度的倾斜度α=30,进而再增加15度的α=45的学习结果r3、r4,计算检索区域AS内的图像i11的近似面部的评价值。直到利用倾斜度α=345度的学习结果进行评价值计算处理为止,得到上述那样的评价值的最大值。
在图12的示例中,由于检索区域AS1中包含的面部图像i11没有倾斜度,当利用倾斜角度α为0的学习结果r1时,获得的评价值最大。如上述那样,学习结果r1的倾斜度等被保存。
因为倾斜度为0,在显示对象图像I1时,如上述那样校正角度β为0,对象图像不旋转而显示出来。
图13表示检索区域AS2内的图像i21与学习结果的关系。
对象图像I2的检索区域AS2内的图像i21向左倾斜30度(逆时针方向)。
和上述同样,利用倾斜角度α=0的学习结果r1、倾斜角度α=15的学习结果r2等,计算检索区域AS2内的图像i21近似面部的评价值。因为检索区域AS2内的面部图像i21倾斜度是30度,所以利用倾斜角度α=30的学习结果r3的近似面部的评价值最大。如上述那样,学习结果r3的倾斜度等被保存。
由于倾斜角度α是30,所以在显示对象图像I2时,校正角度β也为0。
这样,由于头稍微有点歪的情况下不校正显示角度,就可以避免因校正造成对象图像看不清楚。
图14也是表示检索区域AS3内的图像i31与学习结果的关系。
对象图像I3是把数字照相机竖起来进行拍摄获得的图像。
和上述同样利用倾斜角α从0至345度每增加15度的学习结果r1至rn,计算对象图像I3的检索区域AS内的图像的近似面部的评价值。
由于对象图像I3是数字照相机竖起来拍摄获得的图像,用倾斜角度α=90的学习结果r8得到的近似面部的评价值最大。因此对象图像I3的校正角度β为270度,对象图像I3被旋转270度显示出来。在适合欣赏的方向显示出对象图像。
当通过对象图像I3旋转90度,上述的显示窗口内没有收进对象图像I3的情况下,当然要进行对象图像I3的调整大小。不过也不一定非进行调整图像大小不可。
在上述实施例中,每次只计算学习结果的倾斜角度α的倾斜,但也可以预先进行计算处理,只把倾斜角α倾斜的学习结果事先保存下来。这样,比如被保存的学习结果保存在ROM22中,再用于进行上述的近似面部的评价值计算处理。