[go: up one dir, main page]

CN102576461B - 评估数字图像的美学质量 - Google Patents

评估数字图像的美学质量 Download PDF

Info

Publication number
CN102576461B
CN102576461B CN201080042531.7A CN201080042531A CN102576461B CN 102576461 B CN102576461 B CN 102576461B CN 201080042531 A CN201080042531 A CN 201080042531A CN 102576461 B CN102576461 B CN 102576461B
Authority
CN
China
Prior art keywords
aesthetic quality
image
cameraman
digital
quality parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080042531.7A
Other languages
English (en)
Other versions
CN102576461A (zh
Inventor
C·D·塞罗萨莱蒂
A·C·卢伊
A·C·加拉格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mau new gate Venture Capital Co., Ltd.
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of CN102576461A publication Critical patent/CN102576461A/zh
Application granted granted Critical
Publication of CN102576461B publication Critical patent/CN102576461B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种评估输入数字图像的美学质量的方法,包括采用数字图像处理器执行下列步骤:通过自动分析数字图像确定与输入数字图像相关的一个或多个灭点;至少根据灭点的位置计算组分模型;回应组分模型产生输入数字图像的美学质量参数,其中,美学质量参数是输入数字图像的美学质量的估计。

Description

评估数字图像的美学质量
技术领域
本发明涉及数字图像处理领域,更具体地涉及自动确定媒体资产的美学质量。
背景技术
对用户来说,数字成像技术已经大大地提高了收集大量静态图像、视频图像序列、结合一幅或多幅图像和其他内容的多媒体记录的能力。(这里,静态图像、录音、视频序列、多媒体记录都涉及到术语“媒体资产”)。对于数量很大的媒体资产,组织变得困难。
已经做出了努力以帮助用户组织利用媒体资产,即通过分派元数据给个人媒体资产,其为用户指示了期望值的测度。例如,Rochester,New York的EastmanKodak Company出售的V-550数字相机包括标记为“共享”的用户控件,用户可以启用这种控件指定各个图像用于优先打印和发电子邮件。这种方法有用,但是被二进制测度限制了。
Cottrell等人的发明名称为“System and method for automatically processingimage data to provide images of optimal perceptual quality”的美国专利No.5,694,484描述了涉及几个图像处理模块的系统和利用关于图像采集装置和预期的图像输出装置的信息选择会最优化给定数字图像的图像质量的图像处理参数的方法。该方法涉及可以表示为一系列数学变换的图像质量测度的计算。用来控制图像处理模块的参数是变化的,针对控制参数的每个排列计算图像质量测度,产生图像质量测度的最优值的控制参数设定用来处理数字图像。Cottrell等人的方法是在单个图像基础上执行的,因此不包括相对于其他数字图像的相对或绝对基础上的数字图像质量的评价。
Savakis等人的发明名称为“Method for automatic assessment of emphasis andappeal in consumer images”的美国专利No.6,671,405,公开了不需要用户介入计算图像的“重点和吸引力”的测度的方法。第一测度建立在许多因素的基础上,所述因素包括:图像语义内容(比如,人,脸),客观特征(比如,色彩度和锐度),主题特征(比如,主题的尺寸)。第二测度比较与一个集合中的其他图像相关的各种因素。利用训练过的推理机将这些因素整合。Chantani等人的发明名称为“System and method for digital image selection”的美国专利申请公布No.2004/0075743中描述的方法有点相似,公开了基于图像中的语义内容或者客观特征的用户选择的参数的图像分类。这些方法的优点是基于图像本身,缺点是计算量大。
Parulski等人的发明名称为“Image revising camera and method”的美国专利No.6,516,154和发明名称为“Revised recapture camera and method”的美国专利No.6,930,718公开了一种数码相机系统,其允许用户相对于一组编辑建议而对采集的图像进行校正,这些编辑建议包括图像主题的修剪和重新置中。在美国专利No.6,930,718的方法中,针对优选的编辑建议提供了用户输入。然后基于用户优选的建议编辑图像,或者记录优选的参数留作以后用。在美国专利No.6,516,154的方法中,基于针对优选编辑建议的用户输入而将数码相机设定到相应的采集组态。这些方法的缺点是需要用户输入并且不是完全自动进行的。
Fedorovskaya等人的发明名称为“Value index from incomplete data”的美国专利申请公布No.2007/0263092,公开了根据采集数据、固有图像数据、图像使用数据和用户反应数据的不同组合计算价值指标的图像管理系统和方法。这种方法的优点是利用组合数据计算价值测度,但缺点是不利用与美学价值相关的数据。
Datta等人的发明名称为“Studying aesthetics in photographic images using acomputational approach”的美国专利申请公布No.2008/0285860,公开了计算图像美学质量的方法,该方法中使用一维支持向量机以找到与用户审美等级有着显而易见的相关性的特征。然后,利用简单的启发式特征选择构建自动分类器。推知数字美学等级。该发明的特征是自动计算美学等级。
Toyama的发明名称为“Computerized aesthetic judgment of images”的美国专利No.6,816,847,公开了通过利用基于图像特征训练过的自动分类器计算图像的美学质量的方法。采用该方法可以产生提高基于分类器选择的同样特征的美学分数的建议。
Ke等人在他们的名为“The design of high-level features for photo qualityassessment”(Proc.Computer Vision and Pattern Recognition,pp.419-426,2006)的文章中公开了一种将图像分类成“高质量专业照片”或“用户快照”的方法。提出许多特征:边缘空间分布、颜色分布、色相总数、模糊度、对比度和亮度。这种方法有用,但是被二进制测度限制。
发明内容
本发明描绘了评估输入数字图像的美学质量的方法,包括利用数字图像处理器执行下列步骤:
a)通过自动分析数字图像确定与输入数字图像相关的一个或多个灭点;
b)至少根据灭点的位置计算组分模型;
c)回应于组分模型而产生输入数字图像的美学质量参数,其中,美学质量参数是输入数字图像的美学质量的估计。
更广泛地,本发明提供了一种图像处理方法和系统,该方法和系统自动评价诸如数字图像和数字视频的媒体资产的美学质量。通过分析媒体资产确定组分模型的方法确定美学质量参数,组分模型包括人物特征和灭点位置。计算美学质量时可以包括其他图像特征,这些特征包括颜色特征、结构特征和采集特征。
本发明的优点是通过利用包括灭点位置的组分模型确定改善的美学质量参数。
本发明的另一优点是确定的美学质量参数可以用于测量摄影者朝创作具有高水平美学质量图像随时间的进展。
本发明的另一个优点是确定的美学质量参数可以用于提供多个摄影者的美学质量分布之间的比较。
附图说明
图1是能够利用本发明的系统的图;
图2是示出根据本发明的一个实施方式确定美学质量参数的流程图;
图3A是示出水平线灭点和竖直线灭点的图;
图3B是示出表示灭点位置的坐标系统的图;
图4A是示出脸部尺寸类别的图;
图4B是示出组分模板的图;
图4C是示出脸部位置类别的图;
图4D是示出结合脸部尺寸和脸部位置类别的图;
图4E是示出结合灭点位置和脸部尺寸和脸部位置类别的图;
图5是示出Bayes网络的图;
图6是示出与本发明的一个实施方式相联系的用户界面的图;
图7是示出与本发明的一个实施方式相联系的信息显示的图;
图8是示出根据本发明的一个实施方式使用美学质量参数的流程图;
图9是示出与本发明的一个实施方式相联系的信息显示的另一图;
图10是示出与本发明的一个实施方式相联系的信息显示的又一图;
图11是示出与本发明的一个实施方式相联系的用户界面的图。
具体实施方式
数字采集装置已经使消费者可以采集并保存大量媒体资产。媒体资产的数量激增,使得消费者难于找到恰当的资产与他们的家人或朋友分享。本发明的实施方式提供有效计算测度的方式,所述测度在这里称作“美学质量参数”,其提供了媒体资产美学质量的量度。为了基于媒体资产的美学质量评价媒体资产的期望值,美学质量参数是自动计算的测度。通过提取与人、灭点、颜色和结构相关的特征确定美学质量参数。
这里采用的短语“媒体资产”涉及到任何媒体资产,比如数字静态图像,或者数字视频文件。进一步地,应该注意的是,除了上下文明确指出或者需要,本公开中用到的词“或者”都是非排他的。
下面的描述中,将会用通常以软件程序实现的术语描述本发明的一些实施方式。本领域的技术人员容易认可这种软件的等价形式也可以以硬件构建。由于图像处理算法和系统是众所周知的,现在的描述特别指的是形成依照本发明的方法的一部分的算法和系统,或者指的是更直接地与依照本发明的方法协作的算法和系统。这样的算法和系统的其他方面,以及用于产生和另外处理其中涉及的图像信号的硬件和/或软件(这里没有明确显示或描述的),可以选自本领域熟知的这样的系统、算法、组件和单元。考虑到根据下述发明描述的系统,对本发明的执行有用处的这里没有明确显示、提出或描述的软件是传统的、是本领域的普通技能。
图1是可以用于执行本发明的基于数码相机手机10的成像系统的方块图。数码相机手机10是一种数码相机。采用任何其他类型的数字成像装置,比如其他类型的数码静物相机或数码摄像机,或采用接收数字图像的任何系统,都可以实现本发明。
优选地,数码相机手机10是可便携的电池供电设备,足够小到用户采集浏览图像时可以容易地握住。数码相机手机10产生利用图像/数据存储器20存储的数字图像,图像/数据存储器20例如可以是内部的快闪EPROM存储器,或者是可移除的存储卡。其他类型的数字图像存储介质比如磁盘驱动器、磁带、或者光盘可以选择地用于提供图像/数据存储器20。
数码相机手机10包括将景色(未示出)的光线聚焦到CMOS图像传感器50的图像传感器阵列40上的镜头30。图像传感器阵列40利用众所周知的Bayer滤色模式可以提供彩色图像信息。时序发生器60控制图像传感器阵列40,当周围的光线比较暗时为了照亮景色时序发生器60也控制闪光灯70。例如,图像传感器阵列40可以具有1280列×960行个像素。
一些实施方式中,数码相机手机10也可以采集并存储视频片段。通常生成视频片段的过程包括对图像传感器阵列40的多重像素进行求和(比如,对图像传感器阵列40的每一个4列×4行区域内具有相同颜色的像素进行求和)以创建低分辨率的视频图像帧。然后以规律间隔从图像传感器阵列40读取视频图像帧,例如采用每秒24帧的读出速率。
将来自图像传感器阵列40的模拟输出信号放大,并通过CMOS传感器50上的模/数(A/D)转换器80将模拟输出信号转换成数字数据。将数字数据存储在DRAM缓存器90中,随后采用由存储在固件存储器110内的固件控制的数字处理器100处理数字数据,固件存储器110可以是快闪EPROM存储器。数字处理器100包括实时时钟120,甚至当数码相机手机10和数字处理器100处于低功耗状态时其也可以保持日期和时间。
处理过的数字图像文件存储在图像/数据存储器20中。图像/数据存储器20也能用于存储利用本发明的方法确定的美学质量参数。图像/数据存储器20也能存储其他类型的数据,比如摄影者ID号,摄影者的图像,摄影者的排名,电话号码。
静态图像模式中,为了产生着色的图像数据,典型地是在众所周知的sRGB色彩空间中,数字处理器100进行色彩插补,进行色彩及色调校正。数字处理器100也可以提供各种用户选择的图像尺寸。然后对着色的sRGB图像数据进行JPEG压缩,以JPEG图像文件存储在图像/数据存储器20中。典型地,JPEG图像文件采用众所周知的EXIF(可交换图像文件格式)图像格式。这种格式包括利用各种TIFF标记保存详细的图像元数据的EXIF应用片段。例如,单独的TIFF标记可以用于保存采集照片的日期和时间、镜头F/#和其他的相机设置,以及保存图像标题。特别地,“图像描述”标记可以用于存储标签。实时时钟120提供采集日期/时间值,采集日期/时间值作为日期/时间元数据存储在每个Exif图像文件中。
位置确定器130提供与图像采集相联系的地理位置。位置确定器130可以利用许多确定图像位置的方法中的任意一种。比如,可以根据附近的手机塔的位置确定地理位置,或者可以通过接收来自于众所周知的全球卫星定位系统(GPS)的通信确定地理位置。优选地,位置以经纬度为单元进行存储。应该注意的是,位置确定器130可以在与图像采集时间稍不同的时间确定地理位置。在那种情况下,位置确定器130可以利用最近时间的地理位置作为与图像相联系的地理位置。或者,位置确定器130可以利用图像采集时间之前或之后确定的地理位置估计图像采集时的地理位置。这可能是必要的,因为位置确定器130不总是能确定地理位置。例如,在室内时,GPS接收器常常不能检测到信号。在那种情况下,位置确定器130可以利用上一次成功的地理位置(也就是,进入建筑物之前)估计与具体的图像采集相联系的地理位置。或者,可以通过对图像采集时间之前或者之后确定的地理位置之间进行插补估计地理位置。
数字处理器100也可以像共同转让的Kuchta等人的发明名称为“Electronic StillCamera Providing Multi-Format Storage of Full and Reduced Resolution Images”的美国专利NO.5,164,831中描述的那样,创建低分辨率“缩略图”大小的图像,上述美国专利的公开内容以引用的方式并入本文。可以将缩略图图像存储在随机存取存储器(RAM)140中,并且可以将缩略图图像提供给彩色显示器150,彩色显示器150例如可以是有源阵列LCD或者有机发光二级管(OLED)。采集图像之后,可以利用缩略图图像数据迅速地在彩色显示器150上浏览图像。
显示在彩色显示器150上的图形用户界面由用户控件160控制。用户控件160可以包括拨打电话号码的专用按钮(比如电话键盘),设定模式的控件(比如,“电话”模式,“相机”模式),包括4路控制(上,下,左,右)的操纵杆控制器和按钮中心“确定”开关,诸如此类。
连接到数字处理器100上的音频编解码器170接收来自于麦克风180的音频信号,并且给扬声器190提供音频信号。这些组件可以用于电话交谈,以及用于记录并回放伴随视频序列或静态图像的音轨。扬声器190也可以用于通知用户有电话。可以采用存储在固件存储器110中的标准的铃声实现,或者采用从移动电话网络200下载的存储在图像/数据存储器20中的自定义的铃声实现。另外,可以采用震动装置(未示出)提供无声(比如,不可听到的)电话通知。
坞接口210可以用于将数码相机手机10连接到坞/充电器220上,坞/充电器220转而连接到通用计算机230上。例如,坞接口210可以符合众所周知的USB接口规格。或者,数码相机手机10和通用计算机230之间的接口可以是无线接口,比如众所周知的蓝牙无线接口或者众所周知的802.11b无线接口。坞接口210可以用于从图像/数据存储器20中下载图像到通用计算机230上。坞接口210也可以用于从通用计算机230向数码相机手机10上的图像/数据存储器中传输信息(比如日历数据)。坞/充电器220也可以用于给数码相机手机10中的电池(未示出)再充电。
应该注意的是,本发明可以采用软硬件结合的方式实现,并且不局限于物理上连接的或者放置在同一物理位置的装置。数字处理器100耦合到无线调制解调器240上,使得数码相机手机10可以通过RF通道250发送接收信息。无线调制解调器240通过射频(比如,无线)链路与移动电话网络200通信,比如3GSM网络。移动网络200可以与照片服务提供商260通信,照片服务提供商260可以存储从数码相机手机10上载的数字图像。其他的装置包括通用计算机230可以通过因特网270访问这些图像。为了提供正常的电话服务移动电话网络200也连接到标准电话网络(未示出)。
本发明包含这里描述的实施方式的组合。提到“具体实施方式”等等涉及到本发明至少一个实施方式中存在的特征。单独提到“实施方式”或者“多个具体实施方式”之类未必涉及同样的实施方式;然而这些实施方式不相互排斥,除非这样指明或者这对本领域的技术人员来说是显而易见的。涉及“方法”等等时采用单复数不受限制。
现在参考图2,描述了根据本发明的实施方式确定媒体资产310的美学质量参数390的方法。根据这个实施方式,存在媒体资产310的集合,为每一个媒体资产确定美学质量参数390。本领域的技术人员都知道多种不同的人物和主题特征(比如,脸部位置,脸部尺寸,脸部对比度,脸部亮度,主题位置,和主题尺寸)并且依照本发明针对媒体资产310可以成功计算多种不同的人物和主题特征。在图2的实施方式中,利用人物检测器320在媒体资产310中找到待检人322。优选地,利用人脸检测算法找到待检人322。检测人脸的方法在数字图像处理领域是众所周知的。例如,Viola等人在文章“Robust real-time face detection”(Int.Journalof Computer Vision,Vol.57,pp.137-154,2004)中描述了找到图像中的人脸的人脸检测方法。这种方法利用了“积分图像”表示,“积分图像”表示由一个具体的像素位置以上的水平紧邻和竖直紧邻的像素总和组成。然后,对任意数量的阵列引用进行连续求和计算得到全积分图像。将这些矩形特征输入给利用AdaBoost学习算法建立的分类器以选择少量临界特征。最后,将分类器“分级”组合从而丢弃图像的背景区域,以便算法可以仅仅对类似人脸的区域进行操作。
人物特征检测器324用于提取待检人322的人物特征326。一旦检测到人脸,也就可以采用众所周知的方法定位脸部特征(例如,眼睛,鼻子,嘴巴,等等),比如Yuille等人在文章“Feature extraction from faces using deformable templates”(Int.Journal of Computer Vision,Vol.8,pp.99-111,1992)中描述的方法。这种方法采用能量最小化模板匹配方法定位嘴巴、眼睛和虹膜/巩膜边界。也可以采用Cootes等人在文章“Constrained active appearance models”(8th InternationalConference on Computer Vision,Vol.1,pp.748-754,2001)中描述的主动外观模型找到脸部特征。
优选的实施方式中,采用Bolin和Chen在文章“An Automatic facial featurefinding system for portrait images”(Proceedings of IS&T PICS Conference,2002)中描述的基于人脸的主动形状模型定位脸部特征点的方法。
众所周知,脸部尺寸的标准度量是两只眼睛之间的距离,两只眼睛之间的距离是大部分脸部检测器的常规输出。也可以通过采用眼睛的x,y位置定位整个脸。典型人脸检测器的其他常规输出是包围检测到的脸的矩形包围盒的顶点的x,y图像坐标。可以通过包围盒的面积估计脸部尺寸。
对包围盒包围的像素值执行分析以确定脸部对比度和亮度。计算脸部对比度首先将图像变换到一个视域内,比如CIELAB(众所周知的国际照明委员会定义的色彩空间,缩写是CIE)。这种色彩空间由一个亮度通道(L*)和两个色度通道a*和b*组成。基于包围盒面积包含的图像的亮度通道计算亮度和对比度。利用亮度值(L*)的平均值计算脸部亮度的简单表示。利用亮度值(L*)的标准差计算脸部对比度。
或者,可以采用其他方法计算复杂图像的对比度和亮度,比如Peli在“Contrastin Complex Images”(J.Opt.Soc.Am.,Vol A7,pp.2032-2040,1990)中描述的方法。
本发明的优选实施方式中,检测到的人物特征326包括:脸部尺寸,脸部位置,脸部对比度和脸部亮度。
也可以采用比如Luo等人的发明名称为“Method for automatic determination ofmain subjects in consumer images”的美国专利No.6,282,317中公开的主题检测算法代替人物检测器320计算任何主题的位置和尺寸。这种方法提取实际物体定义的任意形状和尺寸的区域。然后将区域组合成与物理上连贯的物体对应的更大的部分,提取结构显著特征和语义显著特征,并且采用概率推理机制将显著特征集成到一个信任估计,该信任估计是每个区域的主题。主题信任表由作为x,y图像坐标的函数的概率值P(x,y)组成,其中信任估计表示成概率值并被分派给灰度值。
通过用概率加权的主题质心估计整个主题的位置。主题的质心(Cx,Cy)由下式计算:
C x C y = Σ n x n ( P ( x n , y n ) ) N Σ n y n ( P ( x n , y n ) ) N - - - ( 1 )
其中,xn和yn是第n个图像像素的x,y图像坐标,N是图像像素的总数。
通过统计P(x,y)>0.50的像素的个数,计算可能的主题尺寸。为了实现不变的缩放比例,主题尺寸应该测量为整个图像的分数:
灭点检测器330用于找到媒体资产310中的灭点位置332。本发明的优选实施方式中,灭点检测器330采用Gallagher的发明名称为“Method of determiningvanishing point location from an image”美国专利No.6,778,699中公开的方法检测灭点位置332,该美国专利以引用的方式并入本文。该方法包括检测线段,计算成对线段的交叉点,确定对应于多个概率的局部最大值,输出估计的与确定的局部最大值对应的灭点向量VE,以便确定估计的关于估计的灭点向量VE的灭点位置332。
本发明的优选实施方式中,组分建模工具334用于利用人物特征326和灭点位置332创建组分模型336。组分模型336是媒体资产310的组分类型的代表。
图像组分可以表示成一组数字,从而使得组分建模工具334能够直接利用人物特征326(比如脸部尺寸和脸部位置)和灭点位置332以创建组分模型336。或者,作为创建组分模型336的预备步骤,组分建模工具334能够将人物特征326、灭点位置332或者两者转换为描述类别。例如,可以将灭点位置332映射成一组灭点位置类别,例如:水平、竖直、上、下和中心。
图3A图解了通过图像404中检测到的交叉线确定的竖直线灭点400和水平线灭点402。图3B示出了表示x,y坐标系中的灭点类别的图,其中x和y的范围都是从-1.0到1.0。当把图像表示成单位矢量时,基于主灭点的位置将图像放置在坐标系里。x轴代表了主灭点的x分量,y轴代表了主灭点的y分量。如图3B所示,将坐标空间分成5个灭点区域,5个灭点区域代表了不同的基于灭点分析的组分模型。顶部的灭点区域410包括灭点位置在图像的顶部的图像。右侧的灭点区域415包括灭点位置在图像的右侧的图像。底部的灭点区域420包括灭点位置在图像的底部的图像。左侧的灭点区域425包括灭点位置在图像的左侧的图像。中心的灭点区域430包括具有中心灭点位置的图像。
相似地,如图4A所示,脸部尺寸人物特征326可以映射到一组人物尺寸类别,比如中小类别440和中大类别445。尽管对于本发明可以成功地采用其他的脸部尺寸定义,但是根据Cerosaletti等人在2009年公布在QOMEX Workshop会议录上的文章“Measuring the Perceived Aethetic Quality of Photograhic Images”中的描述,可以将中小脸部尺寸定义为脸部占用小于等于图像面积的10%,并且可以将中大脸部尺寸定义为占用大于图像面积的10%。
如图4B所示,同样地,作为人物特征326,脸部位置可以通过指定图像组分模板450被映射到一组人物位置类别。可以通过经由x维将图像的面积分成线性部分而将图像近似分成三部分,以创建x值在xL范围内的左侧区域455,x值在xc范围内的中心区域460,x值在xR范围内的右侧区域465。依照本发明,也可以有效地实施通过不同值进行的或者在x和y维上都进行的其它图像分割。图4C示出了脸部位置在左侧区域455的左侧人物位置图像470,脸部位置在中间区域460的中间人物位置图像475以及脸部位置在左侧区域465的右侧人物位置图像480。
脸部尺寸类别和脸部位置类别可以组合形成合并类别。例如,图4D示出了落在通过合并图4A的脸部尺寸类别、图4B和4C的脸部位置类别形成的6个类别的图像:中小/左侧类别图像482、中小/中间类别图像484、中小/右侧类别图像486、中大/左侧类别图像488、中大/中间类别图像490、中大/右侧类别图像492。对于本发明可以成功地采用其他脸部位置映射图。相似地,图像组分模板也可以用于映射媒体资产中的主题位置和尺寸或者其他物体的位置和尺寸。
脸部尺寸类别、脸部位置类别和灭点类别可以单独或者一起用在组分建模工具334中。通过以组合方式映射脸部位置和尺寸人物特征326以及灭点位置332来描述媒体资产310的性质,组分模型可以创建另外的类别。如图4E所示,这些类别的例子是:上、下、大开的、特写的、远离的。“上”类别494对应这样的情况:灭点在位于图像的顶部的人的附近。这种情况下,相机向上指向人。“下”类别495对应这样的情况:灭点在位于图像的底部的人的附近。这种情况下,相机向下指向人。对于“特写的”类别496、“远离的”类别497和“大开的”类别498,灭点位于图像的中心附近,相机视线平行于地平面。“特写的”类别496对应这样的情况:脸部尺寸为中大。“远离的”类别497对应这样的情况:脸部尺寸为中小。“大开的”类别498对应这样的情况:拍摄包括一群人的照片并且脸部尺寸为中小。
本领域的技术人员应该知道,依照本发明,组分建模工具334可以采用多种不同的方法,通过组合人物特征326和灭点位置332而确定媒体资产310的组分模型336。
颜色特征检测器340用于检测媒体资产310中的颜色特征342。本领域的技术人员知道多种不同的颜色特征342,比如:色彩度、色相数和颜色分布,并且依照本发明可以计算媒体资产310的上述多种不同的颜色特征。Savakis等人的美国专利No.6,671,405描述了计算媒体资产310的色彩度的方法,该美国专利通过引用的方式并入本文。该方法中,把媒体资产310的图像像素值转换到亮度-色度色彩空间,并且色度平面量化成十二个色品平面楔或槽。图像像素与基于像素色度分量值的具体槽相关。对于高饱和度像素的个数超过指定阈值的活跃槽,色彩度C由下式计算:
Ke等人在文章“The design of high-level features for photo quality assessment”(Proc.Computer Vision and Pattern Recognition,419-426,2006)中描述了可以用于本发明实施方式中的计算色相数的方法。该方法中,计算色相数首先将媒体资产310的图像像素值转换到HSV色彩空间,然后采用饱和度大于0.2、亮度在0.15到0.95范围内的H值计算20槽直方图。灰度图像的色相数是1。
Ke等人在上述的文章“The design of high-level features for photo qualityassessment”中描述了可以用于本发明实施方式中的计算彩色分布的方法。该方法中,图像由红、绿、蓝通道组成。红、绿、蓝通道量化成16个值。考虑图像中存在的每个量化的颜色创建一个由4096=163个槽构成的直方图。为了能在媒体资产之间进行绝对比较应该将直方图归一化到单位长度。众所周知的L1统计测度可以用于计算直方图之间的距离。或者,直方图值可以直接用作彩色特征。
结构特征检测器350用于检测媒体资产310中的结构特征352。本领域的技术人员知道多种不同的结构特征,比如:锐度和边缘空间分布,并且依照本发明可以计算媒体资产310的上述多种不同的结构特征。Ke等人在上述文章“The designof high-level features for photo quality assessment”中描述了计算边缘空间分布的方法。该方法中,实现边缘空间分布特征提取器。α=0.2的3×3的Laplacian滤波器分别应用于红、绿和蓝通道的每一个。然后取三个通道的平均值。将Laplacian图像调整大小到100×100个像素,并将图像总数归一化到1,以允许图像之间的以及媒体资产内容类别组内的绝对比较,诸如有人图像和无人图像。L1统计测度可以用于计算Laplacian图像对之间的距离。或者,Laplacian图像可以用于通过计算包围特定百分比(例如,最大96.04%)边缘能量的包围盒的面积通过测量边缘占用的面积计算图像结构特征。
本发明的优选实施方式中,采用了计算锐度特征的方法,其利用Savakis等人在美国专利No.6,535,636中详细描述的锐度检测器,该美国专利以引用的方式并入本文。通过将图像转换成灰度,检测图像边缘,创建边缘直方图,找到最强边缘区域,计算最强边缘的统计值,并且采用最强边缘的平均值作为锐度估计找到媒体资产310的锐度。
采集信息提取器370用于识别媒体资产310的采集特征372。采集信息提取器370确定与媒体资产310采集相关的采集特征372,并且输出产生的采集特征372。例如,采集特征372可以包括媒体资产310的采集时间,焦距,物距,放大率,是否打开闪光灯,是否激活自身定时器,和图像分辨率。本领域的技术人员会识别多种不同的用于采集信息提取器370确定采集特征372的可能方法。时常地,采集特征372嵌入在媒体资产310的文件头中。例如,媒体采集设备可以采用EXIF元数据存储与媒体资产310采集相联系的信息。例如,“日期/时间”元数据入口与采集媒体资产310的日期和时间联系在一起。采集信息提取器370采用提取媒体资产310的采集特征372的最适当的方法。本发明的优选实施方式中,图像分辨率(也就是图像像素的行数和列数)采集特征用作采集特征372。
质量计算器380用于计算美学质量参数390作为对组分模型336、彩色特征342、结构特征352和采集特征372的响应,组分模型336、彩色特征342、结构特征352和采集特征372被质量计算器380处理以输出美学质量参数390。尽管这里已经这样描述了特定的实施方式,但是本发明不排除对于媒体资产310可以计算的其他不同形式的组分模型336、彩色特征342、结构特征352和采集特征372。本领域的技术人员会识别多种不同的组分模型336、彩色特征342、结构特征352和采集特征372可以输入给质量计算器380以计算美学质量参数。进一步地,对质量计算器380来说计算美学质量参数时没必要利用所有这些不同特征类型。例如,本发明的一个实施方式中,仅仅采用组分模型336计算美学质量参数390。
本发明的优选实施方式中,美学质量参数390是单个一维数值,因为这允许媒体资产之间的较简单的比较。产生的美学质量参数390可以利用数据库与媒体资产310联系在一起或者可以作为元数据存储在媒体资产数字文件中。
质量计算器380可以用来确定美学质量参数390的简化方法是简单地对数值上或重量上相等的输入求和。然而,优选地,采用更精细的方法确定美学质量参数390。一种具体的实施方式中,质量计算器380是经过训练以通过分类过程产生美学质量参数390的推理机。该实施方式中,针对组分模型336中表示的每个组分训练一个独立的模型。该推理机中,各个输入口识别的不同的输入值可以根据来源于真实的美学质量值结果的知识彼此竞争或加强,真实的美学质量值来自于实际图像的人类观察者评价。通过推理机的推理网络解决竞争和加强。目前优选的推理机是Bayes网络。
真实的美学质量值搜集于实际图像的人类观察者评价。通过采用实验数据收集方法,可以实施心理测量实验,其中,人类观察者评价多种不同的图像。例如,采用以美观度“最低可想象的”和“最高可想象的”双重固定的0到100点比例尺,可以将图像分级。然后对于所有图像可以计算上述特征。图像级别被认为是真实的美学质量值,然后可以作为训练数据组被提供给推理机。也可以通过利用技术的人类观察者反应模式对图像级别聚类,所述技术比如是Duda等人在“PatternClassification”(John Wiley and Sons,New York,2001)中描述的k均值聚类。这些聚类也可以作为训练数据组被提供给推理机。
Bayes网络是有向无环图,其表示图表中各种实体之间的因果关系,其中,链接的方向表示图表中的各种实体之间的因果关系。对于Bayes网络的讨论,参见例如,J.Pearl的“Causality:models,reasoning,and inference”(Cambridge UniversityPress,Cambridge,2000)。评价是基于各种实体之间的联合概率分布函数(PDF)知识的。
采用Bayes网络的优点包括:明确的不确定性特征,高效计算,容易构建、维护,快速训练,和快速适应网络结构及其参数的变化。Bayes网络由四个组成部分组成:
(1)先验:关于Bayes网络中的各种节点的初始信任。
(2)条件概率矩阵(CPMs):关于Bayes网络中的两个连接节点之间的关系的专家知识。
(3)证据:来自于输入至Bayes网络的特征检测器的观测。
(4)后验:通过Bayes网络传播证据之后最终计算的信任。针对每个图像记录有一个激活的Bayes网络。预期简单的两级Bayes网络可以用在本系统中。
对于训练而言,最重要的组成部分是CPMs组,因为CPMs代表即将进行的具体应用的领域知识。尽管CPMs的来历为熟练使用推理机的人熟悉,推理机比如是Bayes网络,但是图5中示出了示例性的Bayes网络500。在该两级Bayes网络500中,倘若各种特征作为叶子节点510处的输入,在根节点530确定美学质量参数(AQP)。针对每个特征表示条件概率矩阵520。
应该注意的是,通常假设每个链接条件独立于同级的其他链接,其导致通过单独训练每个链接方便地训练整个网络,也就是可以独立于所有其他链接推理出给定链接的CPM。实践中经常违背该假设,然而,独立性简化使得实施更简单而且可以容忍一些错误。这也提供了与其他分类器或推理机比较的基线,比如多于两级的Bayes网络。
X5概率分布(其是美学质量的量度)可以采用下式计算:
P(X1,X2,X3,X4,X5)=P(X5)P(X1|X5)P(X2|X5)P(X3|X5)P(X4|X5)  (4)
Bayes网络将一组变量(该情况下,特征X1,X2,X3,X4和代表美学质量X5的类变量)之间的联合概率分布表示成条件概率因素(上述的CPMs)的乘积。根据该表示,当变量的其他子集被观察的时候可以发现任何变量的边缘概率分布。例如,根据输入图像计算特征X1,X2,X3,X4,并且根据如下的Bayes准则发现X5的后验概率分布:
P ( X 5 | X 1 , X 2 , X 3 , X 4 ) = P ( X 1 , X 2 , X 3 , X 4 , X 5 ) P ( X 1 , X 2 , X 3 , X 4 ) - - - ( 5 )
该等式中,根据Bayes网络的条件独立断言简化分数的分子。同时,因为观测所有特征值(X1,X2,X3,X4),所以分母仅服务于规格化(确保总和是1.0)产生的X5的后验概率分布。因此,可以写成:
P(X5|X1,X2,X3,X4)∝P(X5)P(X1|X5)P(X2|X5)P(X3|X5)P(X4|X5)   (6)
通过寻找X5的后验概率分布的最大值将美学质量参数390取为X5的最可能值。或者,美学质量参数390可以取为X5的期望值,可以根据X5的后验概率分布计算该期望值,如下式:
AQP=<X5>=∫X5P(X5|X1,X2,X3,X4)dX5    (7)
Bayes网络结合所有输入产生美学质量参数390。不同的输入可能相互竞争或者彼此矛盾。另一方面,不同的输入可能根据典型摄影场景的先验模型或知识彼此相互加强。通过基于Bayes网络的推理机可以解决竞争和加强。
Bayes网络的一个优点是可以假设每个链接独立于同级的链接。因此,通过单独训练每个链接训练整个网络是方便的。通常,针对每个根特征节点对采用两种方法获得CPM:
(1)利用专家知识:这是一种特别方法。对于高感染力图像,咨询专家获得产生高或低输出的每个特征检测器的条件概率。
(2)利用列联表:这是一种采样相关方法。与关于重点或吸引力的信息一起记录每个特征检测器的多个观测结果。然后将这些观测结果编写在一起以创建列联表,当规格化时可以采用列联表。这种方法与神经网络训练(学习)类型相似。
可以采用其他推理机代替Bayes网络。例如,上文Duda等人的“PatternClssification”中描述了多种不同的可以用于解决模式识别问题的分类器,其中模式识别问题中,具有正确的特征组通常是最重要的考虑。这样的分类器包括支持向量机(SVM),AdaBoost,线性判别分析法,柔性判别,(前馈)神经网络,非参数化方法,和树形结构分类器。在这样的方法中,对于本领域普通技术人员来说显而易见的是,对于本发明的实施,可以采用这些分类器中的任何一个用作推理机。
图6显示了可能的用户界面呈现区600,其示出了一个针对根据本发明的方法确定的美学质量参数390(图2)的应用。获得媒体资产的集合并且采用图2中的方法确定相应的美学质量参数390(图2)。媒体资产集合可以提供在数字存储设备上,比如,硬盘,光盘或者固态存储设备。或者,可以采用数字通信网络提供媒体资产集合。从用于显示在用户界面呈现区600上的媒体资产集合中选择图像。图像可以既包括静态图像又包括提取自视频序列的帧。为了在软拷贝显示器上呈现,产生了用户界面呈现区600,软拷贝显示器例如是个人计算机。一种实施方式中,以下拉菜单形式的用户界面小工具620用于指出媒体资产310应该根据美学质量由最好到最坏分类。然后与媒体资产310关联的媒体质量参数390以数字形式进行排序,以对媒体资产310进行分类。该实施方式中,一组分类的图像640以从最高的美学质量值到最低的美学质量值的顺序显示在用户界面呈现区600上,每幅图像以与其相联系的美学质量值660标记。本领域技术人员将会认识到,针对本发明可以成功地采用其他的用户界面小工具,比如,刻度盘、从左到右的箭头和图标表示。
针对用户界面小工具620也可以提供其他选择。例如,可以采用按照从最旧到最新的年代顺序分类图像的选择以显示一组以时间顺序分类的图像640。如以前,每个图像可以以与它相联系的美学质量值660标记。这可以提供关于时间的美学质量的视觉表示。通过在视觉上比较分类图像640和相关的美学质量值660,摄影者可以评价他/她朝生成高水平美学质量图像的进步。
作为显示美学质量值660的另一种手段,图7显示了曲线图700,其是作为时间函数的美学质量图。描绘作为时间函数的美学质量的曲线720显示美学质量通常随时间增加。为了减少曲线720中的随机性,描绘指定时间间隔(比如,数月)中的图像的平均美学质量,而不是描绘单个图像的美学质量。选择的时间间隔的美学质量的变化迹象可以由变化条740表示,该实施方式中,变化条740表示每6个月的变化系数。也可以显示选择的时间间隔的代表性图像760。作为时间函数的该美学质量图可以是为一个具体摄影者的媒体资产创建的,也可以作为任意数量的摄影者的媒体资产的组合,或者作为显示在图像共享网址上的媒体资产的组合或者通过在线社交网络显示的媒体资产的组合。
社交网络是由称作“节点”的个人(或者成群的个人)形成的社交结构,其通过一种或多种具体的相依性类型链接,比如,友谊、亲属关系或信仰关系、学识或声望。有些情况下,采用图形表示示出社交网络中的人们(或者成群的人们)之间的社会关系是方便的。在这样的图形表示中,人们典型地由顶点代表、社会关系由顶点之间的连接代表。如果代表人的顶点之间有连接,社交网络中的两个人被说成是“被链接”。
最近许多因特网网站由于为社交网络成员提供彼此交流共享信息的方式变得受欢迎。这些因特网网站有时被称为在线社交网络。
为了提供摄影者随时间的进展测度,可以计算进展分数。可以计算任何期望时间范围期间采集的美学资产的平均美学质量。然后,计算按时间分开的平均美学质量值之间的偏差以创建进展分数。连续平均美学质量值之间的正偏差说明正进展,连续平均美学质量值之间的负偏差说明具体摄影者缺乏进展。应该注意的是,这里可以采用其他的统计度量,比如,中值或范围。另一个实施方式中,通过在一些时间间隔上对作为时间函数的美学质量值执行线性回归而计算进展分数。然后,回归线的斜率可以用作进展分数。
根据本发明的方法确定的美学质量参数在为具有高美学质量的图像建议可能的用途和针对用途类型选择具体的媒体资产的过程中是有用的,用途类型比如打印、共享、显示。媒体资产也可以用于产生专业摄影产品。专业摄影产品包括:杯子、日历、鼠标垫、贺卡、装饰品和相册。
图8显示了基于识别符合阈值美学质量标准的图像选择用于共享的图像的方法流程图。首先,采用上面描述的相对于图2的方法计算媒体资产集合800的美学质量参数810。接着,资产选择器830将美学质量参数810与指定的美学质量阈值820进行比较以确定一组选择的媒体资产840,选择的媒体资产840具有比美学质量阈值820高的美学质量参数810。例如,一个实施方式中,美学质量阈值820可以是美学质量值“83”。然后,资产选择器830在媒体资产集合800中选择媒体资产,选择的媒体资产具有大于“83”的美学质量参数810。最后,采用图像共享器850共享选择的媒体资产840。本发明的一个实施方式中,资产选择器830将选择的媒体资产840放到保存区,保存区比如是图像数据存储器。图像共享器850可以采用用于电子共享的任意数量不同方法来共享选择的媒体资产840,比如将它们发邮件给特定的用户或者用户群,或者将选择的媒体资产840上传到图像共享网站。图像共享网站包括在线社交网络。本领域的技术人员将会识别可以针对本发明成功地采用的共享图像的其他手段。
可选地,资产选择器830中将用户等级860和美学质量参数810结合以修改美学质量参数810以考虑直接来源于用户的等级。示例等级是100值比例尺上的数字等级,其中100=优秀的,0=低劣的,或者是星值比例尺上的数字等级,星值比例尺显示任意个星,其中,很多星是优秀的,很少星是低劣的。可以将资产选择器830配置成不管什么时间指定美学质量参数,总是覆盖自动确定的包括用户等级860的美学质量参数810,或者能够通过对它们进行平均或采用两个值中的较大值而对其进行组合。
当采用数码相机采集输入数字图像时,可以通过在数码相机的用户界面上显示质量指示器给摄像者提供关于输入数字图像的美学质量的反馈。当摄影者对数字图像进行取景时也可以以质量指示器的形式提供连续的反馈,以便摄影者可以动态修改取景以创建最美观的图像。
在给具体的摄影者提供关于可以改进他/她的数字图像的的美学质量的方式的反馈过程中,根据本发明的方法确定的美学质量参数是有用处的。同样地,也可以识别对美学质量有最积极的影响的数字图像的具体的特征,以给摄影者以提供积极的反馈。
本发明的一个实施方式中,通过确定可以改变哪些特征以对计算的美学质量参数产生最大的改进,给摄影者提供针对具体图像的反馈。例如,考虑具体的被分析的图像以确定一组特征值(例如,灭点位置,脸部位置,脸部尺寸,色彩度和锐度),然后其被用作确定相应的美学质量参数。贯穿其相应的可能值范围每个特征值可以改变以确定产生的美学质量参数怎么变化。可以将能被修改以对美学质量产生最大改善的重要特征识别给摄影者,以提供关于可以怎么改善图像的美学质量的反馈。
本发明的另一个实施方式中,可以分析一个具体的摄影者采集的一组图像以确定最经常对美学质量具有消极或积极影响的因素。例如,可以确定通过调节图像组成可以改善很大一部分图像,但是大多数图像关于锐度是非常优秀的。该方法的变化中,可以分析具有最低美学质量参数值的图像以确定可以怎么改善它们。同样地,可以分析具有最高美学质量参数值的图像以提供关于摄影者什么做得好的积极反馈。
本发明的方法也可以用于比较不同摄影者采集的照片的质量。例如,图9显示了一个图900实例,图900可以用于比较两个不同的摄影者朝产生具有高水平美学质量图像的进展。图9内容上与图7相似,然而,图9包含比较两个不同摄影者的美学质量等级的附加特征。曲线910示出了针对摄影者A的平均美学质量与时间的关系,曲线920示出了针对摄影者B的平均美学质量与时间的关系。可以看出,相对于摄影者B,摄影者A在改善他/她的图像的美学质量方面进步更快。以相似的方式,可以针对任何个数的不同摄影者比较美学质量随时间的进步。例如,摄影教师可以采用该方法比较他的学生学期期间的进步。
为了提供多于一个摄影者的随时间的进步比较,可以就像上面针对多个摄影者描述的那样计算进步分数。可以比较摄影者之间的进步分数。一个实施方式中,采用摄影者所属的在线社交网络将一组摄影者的进步分数共享。例如,属于摄影俱乐部或者一起上摄影课的一组摄影者可以形成在线社交网络中的特定的兴趣组。可以采用在线社交网络共享这组摄影者的进步分数以提供同行评议机制。
相似地,图10显示了图950,其比较两个不同摄影者的美学质量值分布。分布960显示摄影者C的美学质量分布,分布970显示摄影者D的美学质量分布。美学质量分布代表摄影者指定时间间隔中采集的图像的美学质量参数的直方图或概率密度函数(PDFs)。该例子中,可以看出摄影者D产生的图像的美学质量比摄影者C产生的图像的美学质量大体上具有更高水平。以相似的方式,可以针对任何个数的不同摄影者比较媒体资产的美学质量分布。
可以在多个时间间隔内针对每个摄影者确定美学质量分布,作为比较摄影者随时间进步的方式。例如,可以针对一系列连续月确定美学质量分布。可以采用图形用户界面显示每个月的美学质量分布,作为每个摄影者朝产生具有高水平美学质量图像的进步的指示器。或者,可以根据美学质量分布确定诸如均值和方差的统计值,并且统计值可以用于提供每个摄影者进步的标志。针对每个摄影者的统计值可以以图像或者表格的形式显示。
图11显示了另一个用户界面975,该界面中美学质量参数390用于比较摄影者。这种情况下,用户界面975包括根据平均美学质量等级分类的摄影者980的图像。摄影者980的每个图像被美学质量标签985标记,美学质量标签表明摄影者的平均美学质量等级。用户界面975描述了采用滚动箭头990滚动摄影者980的图像的能力。对本领域技术人员显而易见的是,可以设计许多其他的用户界面以允许一组摄影者的平均美学质量值之间的比较。例如,用户界面可以显示每个摄影者拍摄的代表性图像,而不是显示摄影者980的图像。
元件清单:
10数码相机手机
20图像/数据存储器
30镜头
40图像传感器阵列
50COMS传感器
60时序发生器
70闪光灯
80A/D转换器
90DRAM缓存器
100数字处理器
110固件存储器
120实时时钟
130位置确定器
140RAM
150彩色显示器
160用户控件
170音频编解码器
180麦克风
190扬声器
200移动电话网络
210坞接口
220坞/充电器
230通用计算机
240无线调制解调器
250RF通道
260照片服务提供商
270因特网
310媒体资产
320人物检测器
322待检人
324人物特征检测器
326人物特征
330灭点检测器
332灭点位置
334组分建模工具
336组分模型
340彩色特征检测器
342彩色特征
350结构特征检测器
352结构特征
370采集信息提取器
372采集特征
380质量计算器
390美学质量参数
400竖直线灭点
402水平线灭点
404图像
410顶部的灭点区域
415右侧的灭点区域
420底部的灭点区域
425左侧的灭点区域
430中心的灭点区域
440中小类别
445中大类别
450图像组分模板
455左侧区域
460中心区域
465右侧区域
470左侧人物位置图像
475中心人物位置图像
480右侧人物位置图像
482中小/左侧类别图像
484中小/中心类别图像
486中小/左侧类别图像
488中大/左侧类别图像
490中大/中心类别图像
492中大/右侧类别图像
494上类别
495下类别
496特写的类别
497远离的类别
498大开的类别
500Bayes网络
510叶子节点
520条件概率矩阵
530根节点
600用户界面呈现区域
620用户界面小工具
640分类的图像
660美学质量值
700图
720曲线
740变化条
760代表图像
800媒体资产集合
810美学质量参数
820美学质量阈值
830资产选择器
840选择的媒体资产
850图像共享器
860用户等级
900图
910曲线
920曲线
950图
960分布
970分布
975用户界面
980摄影者的图像
985美学质量标签
990滚动箭头

Claims (13)

1.一种评估输入数字图像的美学质量的方法,包括采用数字图像处理器执行下列步骤:
i.针对训练组中的每个数字图像建立真实的美学质量值,真实的美学质量值来自于所述训练组中的数字图像的人类观察者评价;
ii通过自动分析所述训练组中的数字图像确定与所述训练组中的每个数字图像相关的一个或更多个灭点;
iii.至少基于所述一个或更多个灭点的位置计算针对所述训练组中的每个数字图像的组分模型;
iv.采用为所述训练组确定的真实的美学质量值和组分模型来训练分类器,以预测基于所述组分模型的美学质量参数;
v.基于与所述输入数字图像相关的组分模型,采用训练过的分类器以产生所述输入数字图像的美学质量参数,其中,所述美学质量参数是所述输入数字图像的美学质量的估计。
2.根据权利要求1所述的方法,其中,产生的美学质量参数进一步地基于根据所述输入数字图像计算的下列附加特征中的至少一个:脸部位置、脸部对比度、脸部亮度、脸部尺寸、色彩度、色相数、彩色分布、锐度、边缘空间分布、主题位置、或者主题尺寸。
3.根据权利要求1所述的方法,还包括步骤:针对美学质量参数高于指定的美学质量阈值的图像,建议所述图像的用途。
4.根据权利要求3所述的方法,其中,所述用途包括下列之一或更多:打印、共享、显示或者用于产生专业摄影产品。
5.根据权利要求1所述的方法,还包括:分析一个摄影者的一组输入数字图像,并且建议该摄影者能够改善他/她的数字图像的美学质量的方式。
6.根据权利要求1所述的方法,其中,针对摄影者采集的一组数字图像确定美学质量参数,每个数字图像具有相关的采集时间,所述方法还包括:采用该组中的每个数字图像的美学质量参数以及相应的相关采集时间,产生该摄影者朝产生具有高水平美学质量的图像的进步的指示,所述高水平美学质量的图像的美学质量参数高于指定的美学质量阈值。
7.根据权利要求6所述的方法,其中,摄影者的进步的指示是根据摄影者采集的数字图像的美学质量参数而创建的进步分数。
8.根据权利要求6所述的方法,其中,摄影者的进步的指示是通过显示图像的图形用户界面对美学质量的显示。
9.根据权利要求6所述的方法,其中,摄影者的进步的指示是美学质量作为时间函数的曲线。
10.根据权利要求1所述的方法,其中,针对多个摄影者采集的多组数字图像确定美学质量参数,所述方法还包括:提供摄影者的美学质量分布之间的比较,所述美学质量分布代表摄影者在指定时间间隔中采集的数字图像的美学质量参数的直方图或概率密度函数。
11.根据权利要求1所述的方法,其中,所述输入数字图像是采用数码相机采集的,所述方法还包括:通过在数码相机的用户界面上显示质量指示器而提供关于所述输入数字图像的美学质量的反馈给摄影者。
12.根据权利要求1所述的方法,其中,数字图像是视频序列的一帧。
13.根据权利要求1所述的方法,其中,采用数字通信网络提供数字图像。
CN201080042531.7A 2009-09-25 2010-09-20 评估数字图像的美学质量 Expired - Fee Related CN102576461B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/566,706 2009-09-25
US12/566,706 US8311364B2 (en) 2009-09-25 2009-09-25 Estimating aesthetic quality of digital images
PCT/US2010/049473 WO2011037862A1 (en) 2009-09-25 2010-09-20 Estimating aesthetic quality of digital images

Publications (2)

Publication Number Publication Date
CN102576461A CN102576461A (zh) 2012-07-11
CN102576461B true CN102576461B (zh) 2015-10-07

Family

ID=43333331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080042531.7A Expired - Fee Related CN102576461B (zh) 2009-09-25 2010-09-20 评估数字图像的美学质量

Country Status (5)

Country Link
US (1) US8311364B2 (zh)
EP (1) EP2481025B1 (zh)
JP (1) JP5818799B2 (zh)
CN (1) CN102576461B (zh)
WO (1) WO2011037862A1 (zh)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8238615B2 (en) * 2009-09-25 2012-08-07 Eastman Kodak Company Method for comparing photographer aesthetic quality
US8330826B2 (en) * 2009-09-25 2012-12-11 Eastman Kodak Company Method for measuring photographer's aesthetic quality progress
ES2392292B1 (es) * 2010-09-07 2013-10-16 Telefónica, S.A. Método de clasificación de imágenes.
US9185469B2 (en) 2010-09-30 2015-11-10 Kodak Alaris Inc. Summarizing image collection using a social network
US8861870B2 (en) * 2011-02-25 2014-10-14 Microsoft Corporation Image labeling with global parameters
US8712157B2 (en) * 2011-04-19 2014-04-29 Xerox Corporation Image quality assessment
CN103020947B (zh) * 2011-09-23 2016-04-06 阿里巴巴集团控股有限公司 一种图像的质量分析方法及装置
US8831360B2 (en) 2011-10-21 2014-09-09 Intellectual Ventures Fund 83 Llc Making image-based product from digital image collection
US20140250110A1 (en) * 2011-11-25 2014-09-04 Linjun Yang Image attractiveness based indexing and searching
US9336442B2 (en) 2012-01-18 2016-05-10 Intellectual Ventures Fund 83 Llc Selecting images using relationship weights
US8917943B2 (en) 2012-05-11 2014-12-23 Intellectual Ventures Fund 83 Llc Determining image-based product from digital image collection
US8837820B2 (en) * 2012-05-25 2014-09-16 Xerox Corporation Image selection based on photographic style
US9104701B1 (en) * 2012-05-29 2015-08-11 A9.Com, Inc. Determining similarity using human generated data
US20130322705A1 (en) * 2012-05-30 2013-12-05 Google Inc. Facial and fingerprint authentication
US8862584B2 (en) 2012-06-28 2014-10-14 Pic Me First, Llc Method for privately filtering and partitioning a set of photographs of a social media site user
US8897485B2 (en) * 2012-06-29 2014-11-25 Intellectual Ventures Fund 83 Llc Determining an interest level for an image
US9111547B2 (en) * 2012-08-22 2015-08-18 Kodak Alaris Inc. Audio signal semantic concept classification method
US8897560B2 (en) * 2012-09-24 2014-11-25 Eastman Kodak Company Determining the estimated clutter of digital images
US8731291B2 (en) 2012-09-24 2014-05-20 Eastman Kodak Company Estimating the clutter of digital images
EP2741488A1 (en) * 2012-12-10 2014-06-11 Alcatel Lucent A method of extracting the most significant frames out of a video stream based on aesthetical criterions
US9552374B2 (en) * 2013-08-19 2017-01-24 Kodak Alaris, Inc. Imaging workflow using facial and non-facial features
KR102125525B1 (ko) * 2013-11-20 2020-06-23 삼성전자주식회사 이미지 처리 방법 및 그 전자 장치
JPWO2015145769A1 (ja) * 2014-03-28 2017-04-13 富士通株式会社 撮像装置、情報処理装置、撮影補助システム、撮影補助プログラム及び撮影補助方法
US10026010B2 (en) 2014-05-14 2018-07-17 At&T Intellectual Property I, L.P. Image quality estimation using a reference image portion
US10140517B2 (en) * 2014-08-06 2018-11-27 Dropbox, Inc. Event-based image classification and scoring
US10290019B2 (en) 2014-10-24 2019-05-14 Dropbox, Inc. User re-engagement with online photo management service
CN104834898B (zh) * 2015-04-09 2018-05-15 华南理工大学 一种人物摄影图像的质量分类方法
WO2016201324A1 (en) * 2015-06-10 2016-12-15 Lieberman Stevan H Online image search technology with integrated licensing marketplace and digital rights management
KR20170013555A (ko) * 2015-07-28 2017-02-07 엘지전자 주식회사 이동단말기 및 그 제어방법
US9769367B2 (en) 2015-08-07 2017-09-19 Google Inc. Speech and computer vision-based control
US9942472B2 (en) 2015-11-27 2018-04-10 International Business Machines Corporation Method and system for real-time image subjective social contentment maximization
CN105528757B (zh) * 2015-12-08 2019-01-29 华南理工大学 一种基于内容的图像美学质量提升方法
US10229324B2 (en) 2015-12-24 2019-03-12 Intel Corporation Video summarization using semantic information
US9836484B1 (en) * 2015-12-30 2017-12-05 Google Llc Systems and methods that leverage deep learning to selectively store images at a mobile image capture device
US10225511B1 (en) 2015-12-30 2019-03-05 Google Llc Low power framework for controlling image sensor mode in a mobile image capture device
US10732809B2 (en) 2015-12-30 2020-08-04 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US9836819B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US9838641B1 (en) 2015-12-30 2017-12-05 Google Llc Low power framework for processing, compressing, and transmitting images at a mobile image capture device
CN105787966B (zh) * 2016-03-21 2019-05-31 复旦大学 一种计算机图像的美学评估方法
US10002415B2 (en) * 2016-04-12 2018-06-19 Adobe Systems Incorporated Utilizing deep learning for rating aesthetics of digital images
US9940551B1 (en) * 2016-06-17 2018-04-10 Google Llc Image generation using neural networks
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
US10110868B2 (en) 2016-12-22 2018-10-23 Aestatix LLC Image processing to determine center of balance in a digital image
CN107153838A (zh) * 2017-04-19 2017-09-12 中国电子科技集团公司电子科学研究院 一种照片自动分级方法及装置
JP7149692B2 (ja) 2017-08-09 2022-10-07 キヤノン株式会社 画像処理装置、画像処理方法
CN107590445B (zh) * 2017-08-25 2019-05-21 西安电子科技大学 基于脑电信号的美学图像质量评价方法
CN107610123A (zh) * 2017-10-11 2018-01-19 中共中央办公厅电子科技学院 一种基于深度卷积神经网络的图像美学质量评价方法
US10929655B2 (en) 2018-07-13 2021-02-23 Futurewei Technologies, Inc. Portrait image evaluation based on aesthetics
US11222208B2 (en) 2018-07-13 2022-01-11 Futurewei Technologies, Inc. Portrait image evaluation based on aesthetics
US11403664B2 (en) 2019-03-11 2022-08-02 International Business Machines Corporation Generating aesthetics and safety information for billboard marketing
US11086889B2 (en) * 2019-09-27 2021-08-10 Adobe Inc. Content-aware tutorial recommendation
CN111144497B (zh) * 2019-12-28 2023-04-28 天津大学 基于美学分析的多任务深度网络下的图像显著性预测方法
US11290640B2 (en) 2020-06-10 2022-03-29 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
CN112381083A (zh) * 2020-06-12 2021-02-19 杭州喔影网络科技有限公司 一种基于潜在区域对的显著性感知图像裁剪方法
CN111738141B (zh) * 2020-06-19 2023-07-07 首都师范大学 一种硬笔书法作品评判方法
CN111818363A (zh) * 2020-07-10 2020-10-23 携程计算机技术(上海)有限公司 短视频提取方法、系统、设备及存储介质
US20230069079A1 (en) * 2021-08-30 2023-03-02 International Business Machines Corporation Statistical K-means Clustering
CN115601772B (zh) * 2022-12-15 2023-05-02 南京邮电大学 一种基于多模态学习的美学质量评价模型和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778699B1 (en) * 2000-03-27 2004-08-17 Eastman Kodak Company Method of determining vanishing point location from an image
CN101019151A (zh) * 2004-07-23 2007-08-15 松下电器产业株式会社 图像处理装置以及图像处理方法
CN101192269A (zh) * 2006-11-29 2008-06-04 佳能株式会社 从图像估计消失点的方法和装置、计算机程序及其存储介质
CN101248457A (zh) * 2005-07-28 2008-08-20 英国电讯有限公司 图像分析

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164831A (en) * 1990-03-15 1992-11-17 Eastman Kodak Company Electronic still camera providing multi-format storage of full and reduced resolution images
US5694484A (en) * 1995-05-15 1997-12-02 Polaroid Corporation System and method for automatically processing image data to provide images of optimal perceptual quality
JP3063073B2 (ja) * 1995-06-30 2000-07-12 富士ゼロックス株式会社 画像解析表現付加装置
US6282317B1 (en) * 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images
US6535636B1 (en) 1999-03-23 2003-03-18 Eastman Kodak Company Method for automatically detecting digital images that are undesirable for placing in albums
US6816847B1 (en) * 1999-09-23 2004-11-09 Microsoft Corporation computerized aesthetic judgment of images
US6671405B1 (en) * 1999-12-14 2003-12-30 Eastman Kodak Company Method for automatic assessment of emphasis and appeal in consumer images
US6516154B1 (en) * 2001-07-17 2003-02-04 Eastman Kodak Company Image revising camera and method
US6930718B2 (en) * 2001-07-17 2005-08-16 Eastman Kodak Company Revised recapture camera and method
US6832006B2 (en) * 2001-07-23 2004-12-14 Eastman Kodak Company System and method for controlling image compression based on image emphasis
JP2003087442A (ja) * 2001-09-14 2003-03-20 Fuji Photo Film Co Ltd 画像評価方法および装置並びにプログラム
US20040075743A1 (en) * 2002-05-22 2004-04-22 Sony Computer Entertainment America Inc. System and method for digital image selection
US8498452B2 (en) * 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
JP2005354606A (ja) * 2004-06-14 2005-12-22 Fuji Photo Film Co Ltd デジタルカメラ
JP2007006165A (ja) * 2005-06-24 2007-01-11 Fujifilm Holdings Corp 撮像装置、撮像方法、及び撮像プログラム
JP2007188283A (ja) * 2006-01-13 2007-07-26 Seiko Epson Corp 画像評価装置、画像評価方法、画像評価プログラム、記録媒体、及び画像サーバシステム
US8135684B2 (en) * 2006-04-13 2012-03-13 Eastman Kodak Company Value index from incomplete data
US20080285860A1 (en) * 2007-05-07 2008-11-20 The Penn State Research Foundation Studying aesthetics in photographic images using a computational approach
JP2010062853A (ja) * 2008-09-03 2010-03-18 Fujifilm Corp 情報処理装置、方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778699B1 (en) * 2000-03-27 2004-08-17 Eastman Kodak Company Method of determining vanishing point location from an image
CN101019151A (zh) * 2004-07-23 2007-08-15 松下电器产业株式会社 图像处理装置以及图像处理方法
CN101248457A (zh) * 2005-07-28 2008-08-20 英国电讯有限公司 图像分析
CN101192269A (zh) * 2006-11-29 2008-06-04 佳能株式会社 从图像估计消失点的方法和装置、计算机程序及其存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Measuring the perceived aesthetic quality of photographic images;Cerosaletti, C.D.等;《Quality of Multimedia Experience, 2009. QoMEx 2009. International Workshop on》;20090731;47-52 *
The Design of High-Level Features for Photo Quality Assessment;Yan Ke等;《2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition》;20060622;第1卷;419-426 *
面向信息隐藏的图像复杂度研究;郭云彪等;《电子学报》;20060630;第34卷(第6期);1048-1052 *

Also Published As

Publication number Publication date
US8311364B2 (en) 2012-11-13
US20110075917A1 (en) 2011-03-31
JP5818799B2 (ja) 2015-11-18
EP2481025B1 (en) 2014-02-12
JP2013506198A (ja) 2013-02-21
EP2481025A1 (en) 2012-08-01
CN102576461A (zh) 2012-07-11
WO2011037862A1 (en) 2011-03-31

Similar Documents

Publication Publication Date Title
CN102576461B (zh) 评估数字图像的美学质量
US11182590B2 (en) Imaging workflow using facial and non-facial features
US8238615B2 (en) Method for comparing photographer aesthetic quality
US8330826B2 (en) Method for measuring photographer&#39;s aesthetic quality progress
US6738494B1 (en) Method for varying an image processing path based on image emphasis and appeal
US6671405B1 (en) Method for automatic assessment of emphasis and appeal in consumer images
US6748097B1 (en) Method for varying the number, size, and magnification of photographic prints based on image emphasis and appeal
US8995725B2 (en) On-site composition and aesthetics feedback through exemplars for photographers
US6847733B2 (en) Retrieval and browsing of database images based on image emphasis and appeal
US6832006B2 (en) System and method for controlling image compression based on image emphasis
Yao et al. Oscar: On-site composition and aesthetics feedback through exemplars for photographers
US8675960B2 (en) Detecting skin tone in images
EP3249562A1 (en) Method for obtaining care information, method for sharing care information, and electronic apparatus therefor
JP2008538998A (ja) 画像に含まれる人物を認識する際の時刻の利用
CN101390128B (zh) 脸部器官的位置的检测方法及检测系统
CN102043965A (zh) 信息处理设备,信息处理方法和程序
Wei et al. How smart does your profile image look? Estimating intelligence from social network profile images
Liu et al. A database for perceptual evaluation of image aesthetics
Nachlieli et al. Skin-sensitive automatic color correction
Wang et al. Aesthetic feature design and aesthetic quality assessment for group photograph
KR102634477B1 (ko) 머신러닝기반 2d 피부영상정보 진단 시스템 및 그 방법
Li et al. Visual aesthetic quality assessment of digital images
Park et al. Digital Image Quality Assessment Based on Standard Normal Deviation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: GAOZHI 83 FOUNDATION LLC

Free format text: FORMER OWNER: EASTMAN KODAK COMPANY (US) 343 STATE STREET, ROCHESTER, NEW YORK

Effective date: 20130410

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20130410

Address after: Nevada, USA

Applicant after: Gaozhi 83 Foundation Co.,Ltd.

Address before: American New York

Applicant before: Eastman Kodak Co.

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180517

Address after: Texas, USA

Patentee after: Mau new gate Venture Capital Co., Ltd.

Address before: Nevada, USA

Patentee before: Gaozhi 83 Foundation Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151007

Termination date: 20180920