[go: up one dir, main page]

CN100365657C - 图像显示控制装置及方法、控制图像显示控制装置的程序 - Google Patents

图像显示控制装置及方法、控制图像显示控制装置的程序 Download PDF

Info

Publication number
CN100365657C
CN100365657C CNB2005100597009A CN200510059700A CN100365657C CN 100365657 C CN100365657 C CN 100365657C CN B2005100597009 A CNB2005100597009 A CN B2005100597009A CN 200510059700 A CN200510059700 A CN 200510059700A CN 100365657 C CN100365657 C CN 100365657C
Authority
CN
China
Prior art keywords
image
evaluation
estimate
object images
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005100597009A
Other languages
English (en)
Other versions
CN1677441A (zh
Inventor
杉本雅彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN1677441A publication Critical patent/CN1677441A/zh
Application granted granted Critical
Publication of CN100365657C publication Critical patent/CN100365657C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明的目的是把显示对象的图像,旋转到适宜显示的方向。为此,把对象图像(I2)的检索区域(AS2)内的图像(i21),从0度开始分别以15度递增旋转,直到旋转345度为止。利用学习结果,计算出旋转后的各个图像的近似面部图像的评价值。根据赋予计算出的评价值的最大值的旋转角度(旋转操作量θ)计算校正角度。根据计算出的校正角度,使对象图像(I2)旋转后显示。这样,对象图像在适合欣赏的方向显示出来。

Description

图像显示控制装置及方法、控制图像显示控制装置的程序
技术领域
本发明涉及图像显示控制装置及其方法和控制图像显示装置的程序。
背景技术
用数字照相机等拍摄被摄物体时,照相机一般采用适于横向拍摄的构造,但是,照相机也经常有不一定适合横向拍摄的情况,因此会采取纵向拍摄的方式。但在显示图像时,一般是设定为横向显示。因此,为了把纵向拍摄的图像以纵向方式进行显示,需要指定图像,将横向显示的图像进行旋转。
考虑以上的情况,有这样一种技术方案:当被拍摄物体是人物时,根据构成身体的各部分的位置关系,判定图像的方向(专利文献1)。
[专利文献1]日本专利特开平8-138024号公报
但是对于肖像摄影等不包括面部以外的身体构成部分的图像,有时不能判定图像的方向。
发明内容
本发明的目的是判定图像的方向,使其旋转到适于显示的方向进行显示。
本发明的第1项所述的图像显示控制装置特征是:使包括在对象图像内的检索区域内的图像分别从一定角度旋转到不同的规定角度的区域内图像旋转装置;利用检索面部图像的数据,计算由所述区域内图像旋转装置分别旋转了特定角度的各自角度的所述检索区域内的图像表示近似面部图像的评价值的评价值计算装置;利用所述评价值计算装置,根据得到的各自角度中具有表示近似面部图像的评价值的最大值的角度,确定旋转校正角度的旋转校正角度确定装置;和利用由所述旋转校正角度确定装置确定的旋转校正角度,旋转所述对象图像,在显示窗口进行显示的控制显示装置的显示控制装置。
发明的第1项也提供了适合上述图像显示控制装置的方法。即,这个方法是把包括在对象图像中的检索区域内的图像,分别按不同角度旋转到不同的规定角度;利用面部图像检索用数据,计算各自旋转特定角度后的各个角度的所述检索区域内的图像表示近似面部图像的评价值;根据各个角度中赋予了表示所述近似面部图像的评价值的最大值的角度,确定旋转校正角度;利用确定的旋转校正角度,旋转所述对象图像,在显示窗口进行显示的方法。
利用发明的第1项,把应该显示的对象图像中所包含的检索区域(检索区域的大小,可以比对象图像小,也可以和对象图像相同)内的图像分别从每个一定的角度(例如每个15度)旋转到规定的角度(例如用360度减去一定的角度=345度)。利用检索面部图像的检索用数据,在每个被旋转一定角度的检索区域内,计算表示检索区域内的图像近似面部图像的评价值。根据赋予表示近似面部评价值的最大值的角度,确定旋转校正角度。利用确定的旋转校正角度,旋转对象图像。把旋转的对象图像显示在显示窗口。摄影时不管照相机的方向,对象图像都可以在适合欣赏的方向被显示出来。
本发明的第2项的图像显示控制装置的特征是配备有:利用检索面部图像的检索用数据,计算包括在对象图像内的检索区域内的图像表示近似面部图像的评价值的评价值计算装置;对所述检索用数据进行角度转换处理,使所述检索用数据按不同角度分别旋转到不同的规定角度,利用经过角度转换处理后的检索用数据,进行评价值计算处理的控制所述评价值计算装置的评价值计算控制装置;根据利用分别旋转了不同角度的检索用数据进行评价值计算处理所获得的具有最大评价值的角度,确定旋转校正角度的旋转校正角度确定装置;和利用由所述旋转校正角度确定装置确定的旋转校正角度,旋转所述对象图像,在显示窗口进行显示的控制显示装置的显示控制装置。
本发明的第2项还提供了适于上述显示控制装置的方法。这种方法是利用面部图像检索用数据,计算包含在对象图像中的检索区域内的图像表示近似面部图像的评价值;对所述面部图像检索用数据进行角度转换处理,使所述面部图像检索用数据按不同角度分别旋转到不同的规定角度,利用经过角度转换处理后的检索用数据,进行评价值计算处理;根据利用分别旋转了不同角度的面部图像检索用数据进行评价值计算处理所获得的具有最大评价值的角度,确定旋转校正角度;利用确定的旋转校正角度,旋转所述对象图像,在显示窗口进行显示的方法。
按照本发明的第2项,利用检索面部图像的检索数据,计算出表示对象图像中包含的检索区域内的图像表示近似面部图像的评价值。上述检索数据进行角度转换处理,按不同角度分别旋转到规定的角度,利用每个角度经过角度转换处理后的检索数据,进行计算评价值处理。根据在上述不同角度的评价值计算处理中获得的赋予的评价值中最大值的角度,确定旋转校正角度。用确定的旋转校正角度,旋转对象图像,在显示窗口进行显示。摄影时不管照相机的方向,对象图像都可以在适合欣赏的方向被显示出来。
本发明的第3项的图像显示装置的特征是配备有:在每个对象图像分别按不同角度旋转到不同的规定角度的情况下,分别适合于每个不同角度的用于检索面部图像的检索用数据,与所述每个不同角度相对应存储的检索用数据存储装置;利用所述每个不同角度存储的检索用数据,在所述每个不同角度计算包括在所述对象图像内的检索区域内的图像的表示近似面部图像的评价值的评价值计算装置;由所述评价值计算装置,根据所述每个不同角度中具有表示近似面部图像的评价值的最大值的角度,确定旋转校正角度的旋转校正角度确定装置;利用由所述旋转校正角度确定装置确定的旋转校正角度,旋转所述对象图像,在显示窗口进行显示的控制显示装置的显示控制装置。
本发明的第3项也提供了适于上述图像显示控制装置的方法。即,这个方法是在每个对象图像分别按不同角度旋转到不同的规定角度的情况下,把分别适合于每个不同角度的面部检索用数据,与所述每个不同角度相对应存储;利用所述每个不同角度存储的检索用数据,计算所述每个不同角度的所述对象图像中包括的检索区域内的图像的表示近似面部图像的评价值;根据所述每个不同角度中具有表示近似面部图像的评价值的最大值的角度,确定旋转校正角度;利用确定的旋转校正角度,旋转所述对象图像,在显示窗口进行显示的方法。
按照本发明的第3项,存储按不同角度旋转到规定角度的检索用数据。利用这些存储的检索用数据,计算每个不同角度表示对象图像的检索区域内的图像表示近似面部图像的评价值。根据给予评价值中最大值的角度,确定旋转校正角度。利用确定的旋转校正角度,旋转对象图像,在显示窗口进行显示。摄影时不管照相机的方向,对象图像都可以在适合欣赏的方向被显示出来。
上述对象图像被旋转后,在上述显示窗口显示时,还可以进一步配备把旋转后的对象图像收藏在上述显示窗内,对上述对象图像调整大小的调整大小装置。
另外,上述显示窗口是矩形的情况下,上述旋转校正角度确定装置,优选使上述矩形的一边成水平状态,确定上述对象图像的旋转校正角度的。
附图说明
图1表示计算近似面部的评价值学习结果的计算方法。
图2为学习结果的一个例子。
图3为表示数字照相机的电气部分的结构框图。
图4为表示对象图像旋转显示处理流程的框图。
图5表示利用检索区域检索对象图像的情形。
图6为表示评价值计算处理流程的框图。
图7表示旋转后的检索区域内的图像和学习结果。
图8表示旋转后的检索区域内的图像和学习结果。
图9为表示进行校正角度计算处理的流程框图。
图10中从(A)至(C)表示显示的对象图像的调整大小处理过程。
图11为表示评价值计算处理的流程框图。
图12表示旋转后的检索区域内的图像和学习结果。
图13表示旋转后的检索区域内的图像和学习结果。
图14表示旋转后的检索区域内的图像和学习结果。
具体实施方式
利用本实施例中的数字照相机,拍摄获得的被拍摄物体图像可以重放。特别是在本实施例中,可以从被拍摄的图像(对象图像)中,找出面部图像,根据找出的面部图像,把被拍摄的图像进行旋转,使被拍摄图像中的人物像正放之后显示出来。从而使拍摄获得的被拍摄图像,即使在数字照相机是纵向拍摄的情况下,人物像也能正放显示。
图1为表示在本实施例中,生成检索用面部图像的学习结果(检索用数据)的情况。
作为事先学习用的图像数据,采用面部数据和非面部数据。面部图像数据中,采用各种各样的面部图像FI1、FI2、FI3等进行表示。而非面部图像数据采用不是面部图像的非面部图像(象不象面部图像都可以)FN1、FN2、FN3等进行表示。
利用这些事先学习用图像数据,按照规定的学习步骤,得到判定是否面部图像的学习结果。获得的学习结果被保存在数字照相机中。
图2为表示学习结果的图表的一个例子。
作为学习结果,是学习检索区域内的图像的设定位置的像素值、学习检索区域内的图像,经过筛选处理后的检索区域内的设定位置的像素值、像素值的差等和它们的得分。由某个像素值等数值得到对应的得分(正负都可以),所获得的分数累积起来得到的数值,就成为表示其检索区域内的图像类似面部图像的评价值。
图3为表示数字照相机的电气部分的结构框图。
在说明重放之前,就摄影时的处理进行说明。
数字照相机的全部工作由控制电路20集中控制。
控制电路20中包括互相通过总线进行连接的CPU21、ROM22及RAM23。在ROM22中保存着表示上述学习结果的数据。当然,不用说,在ROM22中也可以保存不是上述那样具有图表等形态的学习结果,而是表示面部图像的模板图像数据。RAM23保存表示检索区域内的图像数据及其它的图像数据。
在数字照相机中包含有快门释放按钮、方式设定字盘等操作器15。从操作器15输出的操作信号输入到控制电路20。
可变焦距镜头(不是可变焦距镜头也可以)1的变焦位置由镜头驱动电路11控制。而且,光圈2的开口由光圈驱动电路12控制。由可变焦距镜头1把表现被拍摄物体影像的光线集中,通过光圈2入射到CCD那样的摄影元件3中。表现被拍摄物体影像的光线在摄影元件3的受光面上成像。
由方式设定字盘设定摄影方式时,摄影元件3就被摄影元件控制电路13控制,表现被拍摄物体影像的图像信号就从摄影元件3输出。图像信号在模拟信号处理电路4进行相关双重采样等的模拟信号处理。从模拟信号处理电路4输出的图像信号,在模拟/数字转换电路4转换成数字图像数据,输入控制电路20及数字信号处理电路6。在数字信号处理电路6进行γ校正、白平衡校正等数字信号处理。
从数字信号处理电路6输出的图像数据,通过存储器7送给显示控制电路10。由显示控制电路10把被拍摄物体影像显示在显示装置16的显示画面上。
当按下快门释放按钮时,和上述的同样,被拍摄物体又被拍摄得到表示被拍摄物体影像的图像数据。图像数据从数字信号处理电路6送给存储器7,被暂时存储。从存储器7读出图像数据,通过记录/读出控制电路8,保存到存储卡9。当然,还得根据需要对数据进行压缩。
当由方式设定字盘设定重放方式时,由记录/读出控制电路8,从存储卡9读出表示被拍摄物体影像的图像数据。读出的图像数据,通过存储器7及数字信号处理电路6(根据需要进行数据解压缩处理),输入到面部检索处理电路14。在面部检索处理电路14,从读取的图像数据中找出面部图像。把表示找到的面部图像的图像数据送给RAM23,被暂时保存。再把表示被拍摄物体影像的图像数据也暂时保存在控制电路20内的RAM23中,进行表示被拍摄物体影像的图像数据的显示角度校正处理(根据旋转校正角度的校正处理),使面部图像正放。这个校正处理,由于有图像数据的寻址操作,很容易进行。
经过显示角度校正处理的被拍摄物体影像数据,通过数字信号处理电路6及存储器7送到显示控制电路10。使人物像正放的被拍摄物体影像被显示在显示装置16的显示画面上。
图4为表示把对象图像旋转显示的处理步骤的流程框图;图5表示对象图像和检索区域的关系。
这个处理是在对象图像上对检索区域进行扫描,进行检索区域内的图像和上述学习结果(检索用数据)的一致程度的评价。然后,如后面将叙述的那样,把检索区域内的图像,分别旋转规定的角度,在旋转后的规定角度再进行评价值的计算处理。根据获得最大评价值的检索区域的位置等,把规定部分的图像判定为面部图像。
首先,评价值的最大值设置为0(步骤31)。然后,检索区域AS移动到对象图像I的前端(步骤32)。在这个实施例中,对象图像的大小是逐渐变小,直至对象图像变到规定的最小图像尺寸。在各种尺寸的情况下,就检索区域AS内的图像计算出类似面部的评价值。由此,判定出对象图像的图像大小是否符合规定的最小图像尺寸(步骤32)。
变成最小图像尺寸时(步骤32中的YES),因为在各种尺寸进行了计算评价值处理,所以根据获得的最大评价值,对象图像被旋转后,显示出来。如果没有变成最小图像尺寸(步骤32中的NO),确认检索区域是否在对象图像I的终端(步骤33)。
当检索区域处在对象图像I的终端时(步骤33中的YES),因为就其对象图像I的计算评价值处理结束,接着要对尺寸小的对象图像进行评价值计算处理,所以进行对于对象图像I的调整大小处理(步骤34)。再把检索区域移动到调整大小后的对象图像的前端。检索区域如果不处在对象图像I的终端(步骤33中的NO),计算检索区域AS内的图像的表示近似面部的评价值(步骤34)。关于这个评价值计算处理,将在后面详述。评价值计算处理完成时,检索区域稍微向水平方向及垂直方向移动(步骤35)。再重复步骤33及34的处理。
这样,当对开头的对象图像I,在检索区域AS内的图像的近似面部的评价值计算结束时,对尺寸小的对象图像I1,进而对尺寸小的对象图像I2,如此一直到最小图像尺寸为止,反复进行评价值计算处理。
图6为表示评价值计算处理(图4步骤34)的处理步骤的流程框图。
在这个实施例中检索区域AS内的图像以检索区域AS的中心为中心,各自旋转15度,对旋转后的检索区域AS内的图像,利用学习结果,计算出表示近似面部的评价值。
首先,把表示检索区域AS内的图像旋转角度的旋转操作量θ设置为0(步骤41)。当旋转操作量θ为360度时,检索区域AS内的图像旋转了一圈。因此,当旋转操作量θ为360度以上时(步骤42中的NO),其检索区域AS的位置上的评价值计算处理完成。旋转操作量θ不到360度时(步骤42中的YES),在检索区域AS内的图像只旋转了旋转操作量θ(逆时针旋转为正),利用学习结果,计算其检索区域AS内的图像评价值(步骤43)。
如果获得的评价值比最大值还大(步骤44中的YES),其评价值成为新的最大值,旋转操作量θ、检索区域的位置、对象图像大小的信息被存储(步骤45)。如果获得的评价值不比最大值大(步骤44中的NO),步骤44的处理被跳过。旋转操作量θ增加15度(步骤46),利用增加的旋转操作量θ,检索区域AS内的图像旋转到特定的角度。对于旋转后的检索区域AS内的图像,利用学习结果,反复进行同样的评价值计算处理。
这样,旋转操作量θ依次增加15度,对于分别按旋转操作量θ(=15度、30度、45度…)旋转后的检索区域AS内的图像计算近似面部的评价值,记录获得的评价值的最大值。如上述那样,对不同大小的许多的对象图像的所有范围,进行评价值计算处理,得到的最大的评价值的旋转操作量θ等被保存。例如,在图7所示的例子中,当对象图像I检索区域AS内的图像的旋转操作量θ为0的情况下,根据学习结果得到的近似面部的评价值最大。这时候,对象图像I内的面部的倾斜角α(=360度-θ)为0。
图7表示检索区域AS1内的图像和检索近似面部的学习结果R。为了易懂,学习结果R以模板图像表示。
检索区域AS1内的图像i11是没有倾斜度的。
利用学习结果,计算旋转操作量θ为0的检索区域AS1内的图像i11的近似面部的评价值。接着,旋转操作量θ增加15度,计算旋转操作量θ=15的检索区域AS1内的图像i12(用i12等表示旋转后的图像)的近似面部的评价值。同样,计算旋转操作量θ再增加15度的旋转操作量θ=30,进而再增加15度的旋转操作量θ=45的图像i13、i14的近似面部的评价值。一直把评价值计算处理继续到旋转操作量θ=345度的图像i1n,如上述那样得到评价值的最大值。
从旋转操作量θ为15度到345度之间,如代表性的用旋转操作量θ=15度来表示那样,设想检索区域AS1只旋转旋转操作量θ=15度而得到框F1。然后,设想这个框F1内接,而且旋转操作量θ为0度那样的框F2。把这个框F2的大小规定为和框F1是同样大小的框F12(这个框F12与检索区域AS1同样大小,同样方向)。根据学习结果计算框F12内的图像i12的近似面部的评价值。对其余的从旋转操作量θ=30度到θ=345度,也同样计算,得到从框F13到框Fin(和后面将要叙述的图8中的框F22~F2n同样)内的图像的近似面部的评价值。
图7的示例中,因为图像i11没有倾斜,所以对于旋转操作量θ为0的图像i11的近似面部的评价值最大。旋转操作量θ=0和检索区域AS1的位置等同时被保存。
因为旋转操作量θ为0,在显示对象图像I1时,如上述那样校正角度β为0,对象图像I1不进行旋转校正而直接显示。
图8表示检索区域内的图像和检索近似面部的学习结果的另外的示例。
对象图像I中包含的检索区域AS2内的图像AF2向左(逆时针方向)倾斜30度。
和上述同样,对检索区域AS2内的图像i21的旋转操作量θ从0度至345度依次增加15度旋转而得到的图像i21~i2n,利用近似面部的学习结果进行计算。因为图像i21向左倾斜30度,利用学习结果,对于旋转操作量θ=330度时的图像i21近似面部的评价值最大。旋转操作量θ=330度和检索区域AS2的位置同时被保存。
因为旋转操作量θ为330度,所以显示对象图像I2时校正角度β也为0。
图9为表示对象图像的显示处理步骤的流程框图,图10为针对对象图像的,表示在对象图像的显示处理中进行对象图像的调整大小处理的作法。
对象图像的显示处理是利用获得最大评价值的检索区域AS内的图像的面部倾斜。面部的倾斜利用上述的旋转操作量θ,用α=360度-θ表示。
面部的倾斜α为0度以上、不到45度或者315度以上、不到360度时(步骤51中的YES),因为不进行显示角度校正,人物接近正放的状态,所以不进行显示角度的校正,照原样显示对象图像(步骤52)。
面部的倾斜角α为45度以上不到135度时(步骤53中的YES),校正角度β设定为270度(步骤54)。对象图像被旋转270度。由于对象图像被旋转,横向的图像变成纵向显示。因此,进行对象图像的大小调整(步骤55)。
参照图10(A),横向的对象图像I被显示在显示窗口(也可以是显示画面)w内。这个显示窗口w,高h1,宽w1。这样的对象图像I逆时针旋转270度时,旋转后的对象图像在显示窗口w内无法显示。因此,把横向显示时的对象图像的宽W2变成高h1把对象图像的大小进行调整。由于大小调整,对象图像的大小,如(B)所示,横向显示时,变成高h2,宽w2。大小调整处理后的对象图像即使旋转270度显示,如(C)所示那样,仍然能放进显示窗口w内。可以看见整个对象图像。
返回图9中,面部倾斜α为135度以上、不到225度时(步骤57中的YES),校正角度β设定为180度(步骤58)。设定的校正角度为180度的角度,对象图像被旋转后显示(步骤59)。
面部的倾斜角为225度以上、不到315度时(步骤57中的NO)校正角度β设定为90度(步骤61)。因为在这种情况下,对象图像从横向显示变成纵向,所以和面部倾斜角为45度以上、不到135度的情形一样,进行对象图像的调整大小处理(步骤62)。调整大小后的对象图像,旋转校正角度β=90度的角度显示出来(步骤63)。
根据面部的倾斜,旋转对象图像的显示角度,使其便于观看。
从图11到图13表示其它的实施例。
在上述实施例中,把检索区域内的图像依次从一定角度旋转到规定的角度,在各自的角度,进行近似面部的评价值计算,但在下面所示的实施例中,不使检索区域内的图像旋转,而使学习结果依次从一定角度旋转到规定的角度(相当于对能检索出依次被旋转的一定角度的面部图像的学习结果的计算处理),进行各自角度上近似面部的评价值计算处理。
图11为表示评价值计算处理(与图6相对应的处理)的流程框图。
学习结果的倾斜角度α(由于这个学习结果的倾斜角度相当于上述的面部的倾斜,所以用和面部的倾斜角α同样的符号α)设定为0(步骤71)。确认学习结果的倾斜角度α是否到达360度,如果不到360度(步骤72的YES),使学习结果旋转倾斜角α的角度,用旋转后的学习结果,计算检索区域AS内的图像近似面部的评价值(步骤73)。
确认算出的评价值是否比评价值的最大值大(步骤74)。如果算出的评价值比评价值的最大值大(步骤74中的YES),则其最大值的学习结果的旋转角度(倾斜度α)、在检索区域内的对象图像的位置、对象图像的大小和其最大值同时被保存。(步骤75)。把倾斜度增加15度,(步骤76),再重复进行从步骤72至75的处理。
图12表示检索区域AS1内的图像与学习结果的关系。
对象图像I1的检索区域AS1内的面部图像i11是没有倾斜度的。
利用倾斜度α=0的学习结果r1,计算检索区域AS1内的图像i11的近似面部的评价值。接着,增加15度倾斜度,用倾斜度α=15的学习结果r2,计算检索区域AS1内的图像i11的近似面部的评价值。同样,利用倾斜度再增加15度的倾斜度α=30,进而再增加15度的α=45的学习结果r3、r4,计算检索区域AS内的图像i11的近似面部的评价值。直到利用倾斜度α=345度的学习结果进行评价值计算处理为止,得到上述那样的评价值的最大值。
在图12的示例中,由于检索区域AS1中包含的面部图像i11没有倾斜度,当利用倾斜角度α为0的学习结果r1时,获得的评价值最大。如上述那样,学习结果r1的倾斜度等被保存。
因为倾斜度为0,在显示对象图像I1时,如上述那样校正角度β为0,对象图像不旋转而显示出来。
图13表示检索区域AS2内的图像i21与学习结果的关系。
对象图像I2的检索区域AS2内的图像i21向左倾斜30度(逆时针方向)。
和上述同样,利用倾斜角度α=0的学习结果r1、倾斜角度α=15的学习结果r2等,计算检索区域AS2内的图像i21近似面部的评价值。因为检索区域AS2内的面部图像i21倾斜度是30度,所以利用倾斜角度α=30的学习结果r3的近似面部的评价值最大。如上述那样,学习结果r3的倾斜度等被保存。
由于倾斜角度α是30,所以在显示对象图像I2时,校正角度β也为0。
这样,由于头稍微有点歪的情况下不校正显示角度,就可以避免因校正造成对象图像看不清楚。
图14也是表示检索区域AS3内的图像i31与学习结果的关系。
对象图像I3是把数字照相机竖起来进行拍摄获得的图像。
和上述同样利用倾斜角α从0至345度每增加15度的学习结果r1至rn,计算对象图像I3的检索区域AS内的图像的近似面部的评价值。
由于对象图像I3是数字照相机竖起来拍摄获得的图像,用倾斜角度α=90的学习结果r8得到的近似面部的评价值最大。因此对象图像I3的校正角度β为270度,对象图像I3被旋转270度显示出来。在适合欣赏的方向显示出对象图像。
当通过对象图像I3旋转90度,上述的显示窗口内没有收进对象图像I3的情况下,当然要进行对象图像I3的调整大小。不过也不一定非进行调整图像大小不可。
在上述实施例中,每次只计算学习结果的倾斜角度α的倾斜,但也可以预先进行计算处理,只把倾斜角α倾斜的学习结果事先保存下来。这样,比如被保存的学习结果保存在ROM22中,再用于进行上述的近似面部的评价值计算处理。

Claims (8)

1.一种图像显示控制装置,其特征在于包括:
使包括在对象图像内的检索区域内的图像分别从一定角度旋转到不同的规定角度的区域内图像旋转装置;
利用检索面部图像的数据,计算由所述区域内图像旋转装置分别旋转了特定角度的各自角度的所述检索区域内的图像表示近似面部图像的评价值的评价值计算装置;
利用所述评价值计算装置,根据得到的各自角度中具有表示近似面部图像的评价值的最大值的角度,确定旋转校正角度的旋转校正角度确定装置;和
利用由所述旋转校正角度确定装置确定的旋转校正角度,旋转所述对象图像,在显示窗口进行显示的控制显示装置的显示控制装置。
2.一种图像显示控制装置,其特征在于包括:
利用检索面部图像的检索用数据,计算包括在对象图像内的检索区域内的图像表示近似面部图像的评价值的评价值计算装置;
对所述检索用数据进行角度转换处理,使所述检索用数据按不同角度分别旋转到不同的规定角度,利用经过角度转换处理后的检索用数据,进行评价值计算处理的控制所述评价值计算装置的评价值计算控制装置;
根据利用分别旋转了不同角度的检索用数据进行评价值计算处理所获得的具有最大评价值的角度,确定旋转校正角度的旋转校正角度确定装置;和
利用由所述旋转校正角度确定装置确定的旋转校正角度,旋转所述对象图像,在显示窗口进行显示的控制显示装置的显示控制装置。
3.一种图像显示控制装置,其特征在于包括:
在每个对象图像分别按不同角度旋转到不同的规定角度的情况下,分别适合于每个不同角度的用于检索面部图像的检索用数据,与所述每个不同角度相对应存储的检索用数据存储装置;
利用所述每个不同角度存储的检索用数据,在所述每个不同角度计算包括在所述对象图像内的检索区域内的图像的表示近似面部图像的评价值的评价值计算装置;
由所述评价值计算装置,根据所述每个不同角度中具有表示近似面部图像的评价值的最大值的角度,确定旋转校正角度的旋转校正角度确定装置;
利用由所述旋转校正角度确定装置确定的旋转校正角度,旋转所述对象图像,在显示窗口进行显示的控制显示装置的显示控制装置。
4.如权利要求1至3中任意一项所述的图像显示控制装置,其特征在于进一步包括:
当所述对象图像被旋转显示在所述显示窗口时,把旋转后的对象图像收进所述显示窗口内,调整所述对象图像大小的调整大小装置。
5.如权利要求1至3中任意一项所述的图像显示控制装置,其特征在于:
所述显示窗口是矩形的;
所述旋转校正角度确定装置在使所述矩形的一边成水平的状态下,确定所述对象图像的旋转校正角度。
6.一种控制显示装置的图像显示控制方法,其特征在于:
把包括在对象图像中的检索区域内的图像,分别按不同角度旋转到不同的规定角度;
利用面部图像检索用数据,计算各自旋转特定角度后的各个角度的所述检索区域内的图像表示近似面部图像的评价值;
根据各个角度中赋予了表示所述近似面部图像的评价值的最大值的角度,确定旋转校正角度;
利用确定的旋转校正角度,旋转所述对象图像,在显示窗口进行显示。
7.一种控制显示装置的图像显示控制方法,其特征在于:
利用面部图像检索用数据,计算包含在对象图像中的检索区域内的图像表示近似面部图像的评价值;
对所述面部图像检索用数据进行角度转换处理,使所述面部图像检索用数据按不同角度分别旋转到不同的规定角度,利用经过角度转换处理后的检索用数据,进行评价值计算处理;
根据利用分别旋转了不同角度的面部图像检索用数据进行评价值计算处理所获得的具有最大评价值的角度,确定旋转校正角度;
利用确定的旋转校正角度,旋转所述对象图像,在显示窗口进行显示。
8.一种控制显示装置的图像显示控制方法,其特征在于:
在每个对象图像分别按不同角度旋转到不同的规定角度的情况下,把分别适合于每个不同角度的面部检索用数据,与所述每个不同角度相对应存储;
利用所述每个不同角度存储的检索用数据,计算所述每个不同角度的所述对象图像中包括的检索区域内的图像的表示近似面部图像的评价值;
根据所述每个不同角度中具有表示近似面部图像的评价值的最大值的角度,确定旋转校正角度;
利用确定的旋转校正角度,旋转所述对象图像,在显示窗口进行显示。
CNB2005100597009A 2004-03-31 2005-03-31 图像显示控制装置及方法、控制图像显示控制装置的程序 Expired - Fee Related CN100365657C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004101784A JP4177779B2 (ja) 2004-03-31 2004-03-31 画像表示制御装置および方法ならびに画像表示制御装置を制御するプログラム
JP101784/2004 2004-03-31

Publications (2)

Publication Number Publication Date
CN1677441A CN1677441A (zh) 2005-10-05
CN100365657C true CN100365657C (zh) 2008-01-30

Family

ID=35049937

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100597009A Expired - Fee Related CN100365657C (zh) 2004-03-31 2005-03-31 图像显示控制装置及方法、控制图像显示控制装置的程序

Country Status (3)

Country Link
US (1) US9230184B2 (zh)
JP (1) JP4177779B2 (zh)
CN (1) CN100365657C (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4683339B2 (ja) 2006-07-25 2011-05-18 富士フイルム株式会社 画像トリミング装置
US8615112B2 (en) 2007-03-30 2013-12-24 Casio Computer Co., Ltd. Image pickup apparatus equipped with face-recognition function
JP2009032022A (ja) * 2007-07-26 2009-02-12 Seiko Epson Corp 画像処理装置、画像処理方法、およびコンピュータプログラム
JP5453717B2 (ja) * 2008-01-10 2014-03-26 株式会社ニコン 情報表示装置
JP4539729B2 (ja) * 2008-02-15 2010-09-08 ソニー株式会社 画像処理装置、カメラ装置、画像処理方法、およびプログラム
CN101465116B (zh) * 2009-01-07 2013-12-11 北京中星微电子有限公司 一种显示设备控制方法及一种显示设备
JP5226570B2 (ja) * 2009-03-19 2013-07-03 グローリー株式会社 画像検出装置、画像検出方法、及び画像検出プログラム
CN101639933B (zh) * 2009-07-16 2013-03-27 上海合合信息科技发展有限公司 图像旋转校正方法及系统、电子设备
JP5397081B2 (ja) * 2009-08-12 2014-01-22 富士通モバイルコミュニケーションズ株式会社 携帯端末
US8971613B2 (en) 2010-07-07 2015-03-03 Nec Corporation Image processing learning device, image processing learning method, and image processing learning program
US9514297B2 (en) * 2011-03-28 2016-12-06 Htc Corporation Systems and methods for gesture lock obfuscation
JP5879217B2 (ja) * 2012-06-29 2016-03-08 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 検出装置、医用装置、およびプログラム
CN104732225B (zh) * 2013-12-24 2018-12-18 中国科学院深圳先进技术研究院 图像旋转处理方法
CN103714327B (zh) * 2013-12-30 2017-02-01 上海合合信息科技发展有限公司 一种图像方向校正方法及系统
CN104836978B (zh) * 2014-03-10 2019-01-22 腾讯科技(北京)有限公司 视频处理的方法及装置
US9942464B2 (en) * 2014-05-27 2018-04-10 Thomson Licensing Methods and systems for media capture and seamless display of sequential images using a touch sensitive device
JP6032252B2 (ja) * 2014-09-09 2016-11-24 カシオ計算機株式会社 画像補正装置、画像補正方法及びプログラム
KR101733288B1 (ko) * 2015-06-16 2017-05-08 중앙대학교 산학협력단 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법
US10891019B2 (en) * 2016-02-29 2021-01-12 Huawei Technologies Co., Ltd. Dynamic thumbnail selection for search results
US10347218B2 (en) * 2016-07-12 2019-07-09 Qualcomm Incorporated Multiple orientation detection
CN115941859A (zh) * 2021-08-16 2023-04-07 广州视源电子科技股份有限公司 图像方向调整方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08138024A (ja) * 1994-11-04 1996-05-31 Konica Corp 画像の向き判定方法
US6295088B1 (en) * 1997-02-17 2001-09-25 Nikon Corporation Portable display device
JP2002342789A (ja) * 2001-05-17 2002-11-29 Sharp Corp 3次元キャラクタ画像を生成する画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体
WO2003088147A1 (en) * 2002-04-16 2003-10-23 Koninklijke Philips Electronics N.V. Image rotation correction for video or photographic equipment
CN1480786A (zh) * 2002-06-18 2004-03-10 ����ŷ�������ʽ���� 电子相机和摄影方向的取得方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680481A (en) * 1992-05-26 1997-10-21 Ricoh Corporation Facial feature extraction method and apparatus for a neural network acoustic and visual speech recognition system
US5835616A (en) * 1994-02-18 1998-11-10 University Of Central Florida Face detection using templates
JP3452685B2 (ja) * 1995-05-10 2003-09-29 三菱電機株式会社 顔画像の処理装置
JPH08339437A (ja) 1995-06-13 1996-12-24 Sony Corp 画像編集装置
JP3355068B2 (ja) 1995-07-14 2002-12-09 三菱電機株式会社 顔画像処理装置
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
US5802220A (en) * 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
JPH09171560A (ja) 1995-12-20 1997-06-30 Oki Electric Ind Co Ltd 顔の傾き検出装置
JP3279913B2 (ja) * 1996-03-18 2002-04-30 株式会社東芝 人物認証装置、特徴点抽出装置及び特徴点抽出方法
JP3361980B2 (ja) * 1997-12-12 2003-01-07 株式会社東芝 視線検出装置及びその方法
US5973664A (en) * 1998-03-19 1999-10-26 Portrait Displays, Inc. Parameterized image orientation for computer displays
JP3600755B2 (ja) * 1999-05-13 2004-12-15 三菱電機株式会社 顔画像処理装置
JP2001290820A (ja) * 2000-01-31 2001-10-19 Mitsubishi Electric Corp 映像収集装置、映像検索装置および映像収集検索システム
US6671391B1 (en) * 2000-05-26 2003-12-30 Microsoft Corp. Pose-adaptive face detection system and process
US7155036B2 (en) * 2000-12-04 2006-12-26 Sony Corporation Face detection under varying rotation
US7239726B2 (en) * 2001-12-12 2007-07-03 Sony Corporation System and method for effectively extracting facial feature information
JP2003296713A (ja) * 2002-04-04 2003-10-17 Mitsubishi Electric Corp 顔画像合成装置、顔画像合成方法およびその方法を実行するプログラムならびに顔画像合成装置を備えた通信用端末およびその通信用端末による通信方法
TW569148B (en) * 2002-04-09 2004-01-01 Ind Tech Res Inst Method for locating facial features in an image
JP3913604B2 (ja) 2002-04-26 2007-05-09 富士フイルム株式会社 証明写真の作成方法
US7120279B2 (en) * 2003-01-30 2006-10-10 Eastman Kodak Company Method for face orientation determination in digital color images
JP4305000B2 (ja) * 2003-02-19 2009-07-29 コニカミノルタホールディングス株式会社 画像処理方法、画像処理装置、記憶媒体及びプログラム
US7920725B2 (en) * 2003-09-09 2011-04-05 Fujifilm Corporation Apparatus, method, and program for discriminating subjects
JP2006107366A (ja) * 2004-10-08 2006-04-20 Fujitsu Ltd 生体情報入力装置,生体認証装置,生体情報処理方法,生体情報処理プログラムおよび同プログラムを記録したコンピュータ読取可能な記録媒体
US20060222264A1 (en) * 2005-03-31 2006-10-05 Siemens Ag Method for vertically orienting a face shown in a picture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08138024A (ja) * 1994-11-04 1996-05-31 Konica Corp 画像の向き判定方法
US6295088B1 (en) * 1997-02-17 2001-09-25 Nikon Corporation Portable display device
JP2002342789A (ja) * 2001-05-17 2002-11-29 Sharp Corp 3次元キャラクタ画像を生成する画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体
WO2003088147A1 (en) * 2002-04-16 2003-10-23 Koninklijke Philips Electronics N.V. Image rotation correction for video or photographic equipment
CN1480786A (zh) * 2002-06-18 2004-03-10 ����ŷ�������ʽ���� 电子相机和摄影方向的取得方法

Also Published As

Publication number Publication date
JP2005285035A (ja) 2005-10-13
US9230184B2 (en) 2016-01-05
JP4177779B2 (ja) 2008-11-05
US20050234324A1 (en) 2005-10-20
CN1677441A (zh) 2005-10-05

Similar Documents

Publication Publication Date Title
CN100365657C (zh) 图像显示控制装置及方法、控制图像显示控制装置的程序
CN1678032B (zh) 数字照相机及其控制方法
US7561718B2 (en) Image search apparatus for images to be detected, and method of controlling same
EP1785914B1 (en) Image processing for object detection
US7583858B2 (en) Image processing based on direction of gravity
EP1500045B1 (en) Image rotation correction for video or photographic equipment
US20060078215A1 (en) Image processing based on direction of gravity
US8077216B2 (en) Image pickup apparatus with a human face detecting function, method and program product for detecting a human face
JP2005210288A (ja) 撮像装置および方法並びにプログラム
CN103985103A (zh) 一种生成全景图片的方法和装置
US12231800B2 (en) Method and device of image processing, imaging system and storage medium
CN105847666A (zh) 摄像设备及其控制方法
CN109819169A (zh) 全景拍摄方法、装置、设备和介质
CN113841376B (zh) 拍摄控制方法和装置
KR102131369B1 (ko) 천체를 촬영한 복수의 이미지를 합성하는 방법 및 장치
JP2017060091A (ja) 姿勢推定装置、姿勢推定方法及びプログラム
CN113287297A (zh) 控制方法、手持云台、系统及计算机可读存储介质
JP2006279135A (ja) 星空撮影装置及び星空撮影方法並びにプログラム
US11934089B2 (en) Bidirectional compensation method and apparatus for projection thermal defocusing, and readable storage medium
CN114466143A (zh) 一种拍摄角度校准方法、装置、终端设备以及存储介质
JP4629740B2 (ja) 撮像装置および方法並びにプログラム
CN116246085B (zh) 用于ar望远镜的方位角生成方法和装置
US20190295284A1 (en) Imaging Device, Imaging Method And Storage Medium
JP3393462B2 (ja) モデル画像作成方法および装置
CN116668830B (zh) 设置水位观测摄像头预置点的方法、系统、设备和介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: FUJI PHOTO FILM CO., LTD.

Free format text: FORMER OWNER: FUJIFILM HOLDINGS CORP.

Effective date: 20070629

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20070629

Address after: Tokyo, Japan, West Port, Western linen, two Ding mu, 26 times, No. 30

Applicant after: Fuji Film Corp.

Address before: Kanagawa

Applicant before: Fuji Photo Film Co., Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080130

Termination date: 20210331

CF01 Termination of patent right due to non-payment of annual fee