CN101652784A - 模拟面部皮肤老化和去老化的方法及装置 - Google Patents
模拟面部皮肤老化和去老化的方法及装置 Download PDFInfo
- Publication number
- CN101652784A CN101652784A CN200880006904A CN200880006904A CN101652784A CN 101652784 A CN101652784 A CN 101652784A CN 200880006904 A CN200880006904 A CN 200880006904A CN 200880006904 A CN200880006904 A CN 200880006904A CN 101652784 A CN101652784 A CN 101652784A
- Authority
- CN
- China
- Prior art keywords
- image
- facial image
- contrast
- texture
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Dermatology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种逼真地模拟促成皮肤的总体外观和状况的面部皮肤特征的进展或恶化的新方法及系统。所述方法利用面部的两种特写照片,一种是用数字照相机以标准白光采集,另一种是用同一个照相机以紫外光采集。接着,所述方法处理这些图像以模拟下列主要皮肤特征的进展或恶化:色素沉着斑点、皱纹和小纹理特征。这些特征的恶化将模拟由于长时间地暴露于阳光下而产生的面部皮肤老化、生物性老化或皮肤健康的恶化。这些特征的进展模拟在总体外观和健康方面面部皮肤的改善,如同患者已经经过治疗一样。因此,本发明公开了用于皮肤病学、化妆品和计算机动画的一系列方法。
Description
发明领域
本发明涉及图像处理和模拟领域,具体地讲涉及用于描绘模拟皮肤老化或去老化的图像生成。
发明背景
皮肤老化对人脸外观的影响在皮肤病学中已得到很好的研究和证明。每个人的皮肤老化进展取决于内在和外在两种因素。内在因素例如性别、种族和肤色是由遗传所控制并且对于每个人是独一无二的,并可影响表皮变薄的速率、机械弹性的丧失和随着年龄而发生的其它具有鲜明特征的组织学变化和生物机械变化。内在因素影响阳光照不到的和暴露于阳光下的身体部位。外在因素包括个体的饮食、生活方式、皮肤护理习惯和日晒历史。已熟知长期日晒会加速皮肤老化的起始时间和严重程度。包括面部在内的所有暴露的身体部位均具有某种程度的皮肤光老化。(Gilchrest.,B.Photodamage,Blackwell Science,Inc.1995年)。
光老化的皮肤的视觉上最突出的特征之一是斑点纹状和不规则色素沉着,此在皮肤上表现为具有深棕色的斑点(Griffiths C.E.M.,“Theclinical identification and quantification of photodamage”,Brit.J.Derm.,第127卷(增刊41),第37至42页,1992年;K.Miyamoto等人的“Utilization of a high-resolution digitalimaging system for the objective and quantitative assessment ofhyperpigmented spots on the face”,Skin Research andTechnology,第8卷,第2期,第73至78页,2002年5月,后文称为“Miyamoto参考文献”)。这些色素沉着损害称为老年斑、肝斑、老年斑痣或光化痣。采用会显示出在标准白光下不可见的亚表面色素沉着的方法可较好地观测光损坏的皮肤上的色素沉着过度。一种称为紫外激发荧光照相术的方法,其最初由Kollias提出(ollias等人的“Fluorescencephotography in the evaluation of hyperpigmentation inphotodamaged skin”,J Am Acad Dermatol.,第36卷,第226至230页,1997年),涉及在中心为365nm的窄波段UVA下对皮肤进行成像。表皮黑素在这个UVA范围内强烈吸收,约为它在可见光谱中吸收性的3至5倍。未被表皮黑素所吸收的任何UVA进入真皮,在此处它被胶原和弹性蛋白纤维散射和吸收,所述胶原和弹性蛋白纤维将所吸收的一些能量转换成荧光。最大胶原放射的波长发生在中心为420nm的可见光谱中。黑素在420nm处的体内吸收性比在540nm处大一倍。因此,进入皮肤并达到真皮的UVA的总量被表皮黑素衰减5折并且可见荧光的量被同一表皮黑素衰减约2折。换句话讲,与可见光相比,利用紫外激发荧光的表皮黑素检测敏感约10倍。敏感性上的这种增强为检测在正常白光成像方法下不能看见的色素沉着点创造了条件。用可见光不能观察的色素沉着点在生命的后半段在正常可见光下将不受干预地变得更暗并更明显可见。
老化的皮肤的其它突出特征是部分地由真皮结缔组织例如胶原的逐渐蚀变和损失引起的粗糙纹理和皮肤皱纹(Leyden J.J.“Clinicalfeatures of ageing skin”,Br.J.Dermatol.第122卷,增刊35,第1至3页,1990年),特别是在身体的日晒区域(Bailey,Molecularmechanisms of aging in connective tissues,Mech.Aging Dev.,第112卷,第7期,第735至755页,2001年)。色素沉着过度、皱纹和粗糙纹理是可见的皮肤特征,其对皮肤的总体外观和健康起着重要的作用。
能够准确地模拟老化过程具有实际价值。老化模拟具有几种有用的应用,例如计算机动画、面部识别、失踪人员鉴定、娱乐、医药和化妆品。已经利用各种模型来实现老化面部的逼真模拟,包括几何模型、基于物理的模型、基于图像的模型或生物-机械模型(Hussein,K.H,Towardrealistic facial modeling and re-rendering of human skin aginganimation,Proceedings of the Shape Modeling International2002,IEEE计算机协会,2002年)。已经进行了尝试来定制老化模拟,以便它更准确地描绘特定个人将来的老化的外观。例如,已经根据图像的人群队列结合与老化有关的有关面部变化的公布数据开发了老化算法以模拟个体的老化的外观(Hysert PE等人的“At Face Value”:ageprogression software provides personalized demonstration of theeffects of smoking on appearance”,Tobacco Control,第12卷,第238至240页,2003年)。这种方法的局限性在于,老化的图像是人群标准的反映,并且不一定反映个体独特的老化过程。
Boissiux等人开发了一种基于图像的模型以模拟皮肤老化,其中用预先计算好皱纹的一般蒙版作为在个人面部的3D模型上的纹理。利用了八个基本蒙版并且所用的具体蒙版与人的性别、面部形状和要模拟的表情种类相匹配(Boissiux等人的“Simulation of skin aging andwrinkle with cosmetic insight”,Computer Animation andSimulation,第15至27页,2000年)。因为它依赖于人群平均值,这种方法在其准确预报每个人独特的将随年龄显现的皮肤特征方面受到限制。
Zhang等人描述了一种用于将老年脸的几何细节转移到年轻脸的几何细节上以便使年轻脸看起来年老的方法(Zhang等人的“System andmethod for image-based surface detail transfer”,US7020347B2,2006年)。反过来,可将年轻脸的表面细节转移到年老的几何细节上使年老脸看起来年轻。这种方法受以下事实限制,即年老脸的老化特征将与年轻脸所将实际显示的特征不是完全一样。
发明概述
本发明涉及处理面部图像以检测和操纵皮肤特征例如色素沉着斑点、皱纹和细小纹理特征以便克服前述限制性的处理方法和装置。在本发明的一个方面,提供了可计算机执行的方法来检测和描绘在其中检测前述皮肤特征的数字面部图像的相关部分。此外,采用可计算机执行的方法来检测皮肤特征并用来操纵它们,例如通过强调或者和不再强调它们的外观,以模拟皮肤的老化和/或去老化。
在本发明的又一方面,处理在紫外照射下所采集的数字图像以检测在标准光照条件下不可见的斑点的存在以及预报它们的生长和潜在的可见性。
提供了用于辨别各种类型的面部特征(例如,斑点-皱纹-纹理-其它特征)并根据面部特征的类型正确地模拟面部特征的老化和去老化的方法。
根据下面的附图和详细说明,本发明的以上和其它方面及特征将显而易见。
附图概述
图1为显示根据本发明的用于面部皮肤的斑点、皱纹和纹理的老化、去老化模拟的示例性方法的高级流程图。
图2为显示根据本发明的示例性面部皮肤检测方法的流程图。
图3A显示基于整个面部斜视图图像生成的示例性面部皮肤蒙版;图3B显示示例性的斑点/皱纹老化蒙版(在黑线条内的区域);以及图3C显示根据本发明的示例性实施方案所生成的示例性的纹理老化蒙版(在水平黑线下方以及到垂直黑线左侧的区域)。
图4为根据本发明的示例性实施方案的斑点老化模拟过程的流程图。
图5为根据本发明的检测紫外斑点并计算对比度的示例性过程的流程图。
图6为根据本发明的示例性斑点去老化过程的流程图。
图7A和7B显示根据本发明的示例性斑点检测算法的流程图。
图8为根据本发明的示例性皱纹老化和去老化模拟过程的流程图。
图9为根据本发明的示例性皱纹检测过程的流程图。
图10为根据本发明的示例性棱线检测过程的流程图。
图11为用于执行本发明的系统的示例性实施方案的方框图。
图12为根据本发明的示例性纹理老化过程的流程图。
图13为根据本发明的示例性纹理去老化过程的流程图。
图14为根据本发明的用于结合由斑点、皱纹和纹理所指示的面部皮肤老化模拟的示例性过程的流程图。
图15为根据本发明的用于结合由斑点、皱纹和纹理所指示的面部皮肤去老化模拟的示例性过程的流程图。
发明详述
示例性实施方案综述
图1为显示根据本发明的用于面部皮肤的斑点、皱纹和纹理的老化/去老化模拟的示例性方法的高级流程图。在101中,提供在标准光照下例如用常规的数字照相机采集的特写面部照片作为输入。在111中,在紫外光照模态下(在照相机前面的具有紫外滤光器的紫外光源)采集的同一对象的照片也被提供作为输入。为了提供标准化的和可重复产生的照明条件和图像基准,这两个图像优选地用自动控制的面部图像采集系统例如购自Canfield Scientific,Inc.的VISIA Complexion Analysis System(后文称为VISIA)进行采集。此外,这两个图像优选地应当由斜视图采集以更好地显示具有大皮肤斑点的脸颊区。
一般来讲,101中的标准光照图像输入将表示成RGB(红、绿、蓝)彩色图像。然而请注意,本发明并非仅限于任何特定格式。在步骤105中,将RGB图像转换成1976CIE L*a*b*颜色空间。这样一种颜色转换在本领域中通常用来分离图像的亮度和色度分量。后文中L*a*b*转换将称作LAB转换,并且转换的图像将称为LAB图像。LAB图像的L通道代表亮度,而A和B分量代表色度。本文所述的几种皮肤特征分析和再合成运算在LAB图像上执行。尽管所述的各种实施方案显示使用LAB颜色空间格式,但采用包括亮度和色度分量的其它颜色空间格式来执行本发明也是可能的。
在103中,执行面部皮肤检测,其要求确定来自整个面部图像的代表皮肤(而不是毛发、眼睛、嘴唇、鼻唇沟等)的那些像素。面部皮肤检测过程如下所述。
根据在103中确定的皮肤像素,操作然后前进到107,在此处描绘面部的具体区域或“蒙版”以执行斑点、皱纹和纹理的老化模拟。针对斑点和皱纹模拟生成覆盖面部的某些部分的第一蒙版,以及针对纹理模拟生成覆盖面部的某些部分的第二蒙版。下面详细描述了蒙版生成过程。
在113、115和117中分别进行斑点、皱纹和纹理的老化和去老化模拟。在113中的斑点老化/去老化模拟接收经LAB转换的标准图像(来自105)和在RGB域中的紫外图像(来自111)以及“斑点和皱纹老化蒙版”(来自107),并在121中生成斑点老化的图像以及在122中生成斑点去老化的图像。
115中的皱纹老化/去老化模拟接收经LAB转换的图像(来自105)以及“斑点和皱纹老化蒙版”(来自107),并分别在123和124中生成皱纹老化的图像和去老化的图像。
117中的纹理老化/去老化模拟接收经LAB转换的图像(来自105)以及纹理老化蒙版(来自107),并分别在125和126中生成纹理老化的图像和去老化的图像。
下面非常详细地描述了斑点(113)、皱纹(115)和纹理(117)的老化和去老化模拟的具体实施以及其中将个体老化的图像和去老化的图像相结合的复合图像的生成。下面也描述了用于在计算机监视器上演示老化的图像和去老化的图像之间的过渡的一个交互式滑块应用软件。
图11是可用来执行本发明的一种系统1100的示例性实施方案的方框图。如图11所示,系统1100包括图像采集子系统1110例如前述的VISIA Complexion Analysis System等,其连接到通用计算机1120上,继而又连接到输出装置1130上。计算机1120可为被编程用于依照本发明进行操作的个人计算机等。输出装置1130可包括多种装置中的一种或多种,例如:常规计算机监视器等,计算机1120控制其显示图像例如依照本发明执行的各种模拟的结果;打印装置;存储装置;和通信装置等等。应当理解,可用各种各样的硬件配置实施本发明,并且不受图11系统的限制。
面部皮肤检测
基于皮肤特征的老化模拟应当在面部的皮肤区域上执行。在本发明的示例性实施方案中,面部的非皮肤区域例如嘴唇、毛发、眼睛、眉毛、鼻孔等被排除于模拟之外。由标准面部图像确定面部的皮肤区域。已经开发了几种皮肤检测算法用于各种用途,包括面部检测在内。(参见例如R.L.Hsu等人的“Face detection in color images”,IEEE Transactionson Pattern Analysis and Machine Intelligence,第24卷,第5期,第696至707页,2002年5月)。如果此类皮肤检测算法提供合适的颗粒性级别,则它们可用于根据本发明的面部皮肤老化模拟。
作为备选方案,可手工即用使用者输入执行皮肤检测(和随后的蒙版生成)。在给定一个面部图像的情况下,使用者可采用常规的基于计算机的绘图技术描绘面部的皮肤区域的轮廓。轮廓因此将限定老化/去老化模拟所要用的蒙版。尽管计算上简单,这种方法具有几个缺点。它具有在模拟过程中会包括面部的非皮肤部分的危险,并且也引入了人本身固有的主观性,可能导致结果上的巨大变化。
在一个优选的实施方案中,采用了新的皮肤检测算法,其根据斜视图或正视图仅截取面部皮肤的均匀亮度部分并排除非皮肤区域(眼睛、眉毛、毛发、髭和胡须)以及阴影皮肤区域(例如颈部区域)。皮肤检测根据从L、A和B测量值计算出的Individual Typology Angle(ITA)量度执行。(参见G.N.Stamatas等人的“Non-Invasive Measurements ofSkin Pigmentation In Situ”。Pigment Cell Research,第17卷,第618至626页,2004年)。ITA对于每个图像像素(i,j)被定义为arctan((L[i,j]-50)/B[i,j])并且其与皮肤上的黑素浓度有关。假设皮肤像素的ITA值将绕着某个值聚拢而非皮肤像素的ITA值明显远离皮肤像素的ITA值。
图2为显示说明根据本发明的示例性面部皮肤检测过程的流程图,其利用前述的ITA制。在皮肤检测之前,执行粗略的面部检测来从包含面部、毛发、颈部和背景的整个图像截取面部区域。所检测的面部区域应当包括面部的所有皮肤区域,但也可包括所有的面部特征(眼睛、眉毛、鼻孔、嘴唇、毛发)。为此,利用LUX颜色空间由特写图像分割面部区域。(参见M.Levin等人的“Nonlinear color space and spatiotemporalMRF for hierarchical segmentation of face features in video”,IEEE Transactions in Image Processing,第13卷,第1期,2004年1月)。
如图2所示,处理开始于标准的RGB全头部图像,例如以上在101中所提供的。在203中用以上在Levin参考文献中所描述的技术将所述图像由RGB转换到LUX空间。
在205中,分割面部区域。例如,这可通过在LUX图像的U通道上应用Otsu阈值法来进行。(参见N.Otsu的“A Threshold SelectionMethod from Gray-Level Histograms”。IEEE Transactions onSystems,Man,and Cybernetics,第9卷,第1期,第62至66页,1979年,后文“Otsu参考文献”)。在205中生成描绘面部区域的面部蒙版。面部皮肤检测过程的其余部分然后可仅在面部区域执行,从而减少搜索空间并降低计算成本。
在207中,根据在205中执行的分割所遮罩的原始RGB图像被转换到LAB空间。因此,在面部区域内执行随后的ITA制计算以进一步分割面部非皮肤部分。因为ITA制计算的除法和反切运算对噪声敏感,首先平滑L和B通道是优选的。如图所示,此类平滑可通过用二维Gaussian滤波器或其它类似技术过滤L和B图像而分别在209L和209B中进行。对于220PPI的工作分辨率,该滤波器的L通道方差被选为5,B通道方差被选为1.5。
在211中,根据以下公式在面部区域内计算每个像素的ITA:arctan((L[i,j]-50)/B[i,j])。ITA图像为处于[090]范围内的灰度图像,其中较小的ITA值与皮肤像素相对应以及较大的值与非皮肤像素相对应。将这个灰度图像在213中用Otsu阈值法分割成两个区域。为此,仅在面部区域中计算ITA图像的直方图。根据直方图,Otsu阈值算法返回一个阈值,其将把这个图像分割成具有最小类间差异的两类。此外,在这种阈值法中可加入与皮肤区域相对于整个面部图像的比率有关的先验信息。(参见Q.Hu等人的“Supervised range-constrainedthresholding”,IEEE Transactions in Image Processing,第15卷,第1期,第228至240页,2006年1月,后文称为“Hu参考文献”)。对于典型的斜视图图像,面部像素的至少25%应当属于皮肤像素。Hu参考文献描述了如何将该信息引入到基于Otsu的分割方法中。在由阈值法算法计算出最佳阈值之后,ITA值小于该阈值的像素被归类为皮肤像素。这以后,生成二元(黑和白)图像,其中用白色显示皮肤像素以及用黑色显示非皮肤像素。
在213中生成的分割皮肤区域可包括形成小岛的孤立的非皮肤像素。此类非皮肤岛屿可在215中通过采用盘结构元素的形态学闭运算或其它此类技术而消除。例如,对于220PPI的图像分辨率,选择这个盘的周长为10。作为另外一种选择,可具有在非皮肤面部特征(例如眉毛、毛发等)中所检测的皮肤碎片。这些小碎片也通过采用相同的盘结构元素用形态学开运算而消除。此外,由于独特的皮肤特征例如大色斑的缘故,一些个体可具有大的非皮肤碎片。这些也可通过应用形态学填充运算而消除。目标是要在一个包括脸颊、前额和鼻子在内但不包括鼻孔、有阴影的鼻唇沟、眼孔、眉毛和毛发(包括任何髭和胡须)的连续区域中检测面部皮肤。对于VISIA系统中采集的斜视图图像,图3A中显示了有效的面部皮肤蒙版的一个实例。这样一个面部皮肤蒙版对执行根据本发明的老化模拟是理想的。
老化模拟蒙版的设计
对每个皮肤特征(斑点、皱纹和纹理)的老化模拟可在与该特定老化模拟更为相关的面部皮肤区域的较小子集上执行。例如,对脸颊区域(在眼睛高度的下方以及嘴唇高度的上方)执行皱纹和斑点模拟比在其它面部皮肤区域这样做更加有效。为此,如图1所示,根据在103中生成的整个面部皮肤蒙版,在107中生成了两种不同的蒙版--斑点和皱纹老化蒙版和纹理老化蒙版。此类蒙版的实例示于图3B和3C中。这些蒙版根据眼睛、嘴唇和鼻子位置而设计。图3B中所示的皱纹和斑点包括从眼睛高度到嘴唇高度以及从鼻子高度到颊末的所有皮肤。图3C中所示的纹理蒙版可从眼睛高度向下延伸到颏的末端。眼睛和嘴唇区域被清晰地描绘在正面皮肤蒙版中。这些特征的位置可用该图像的垂直和水平投影进行计算。垂直投影的一个局部极小值提供眼睛的中心行,而第二局部极小值提供嘴唇的中心行。一旦确定了这些坐标,便据此修剪整个面部皮肤图像以生成两种前述的老化模拟蒙版。
斑点老化模拟
图4为根据本发明的示例性实施方案的斑点老化模拟过程的流程图。根据经L*a*b*转换的标准图像(来自105,图1)、紫外图像(来自111,图1)以及斑点和皱纹老化蒙版(来自107,图1),该过程生成斑点老化的图像。如图4所示,提供了紫外图像以及如上所述所生成的斑点/皱纹蒙版作为斑点老化模拟过程的输入。采用荧光光谱技术采集的紫外图像对于色素沉着斑点表现出清晰可辨的标记(参见Miyamoto参考文献)。这种光照模态通常用于皮肤病学中以清楚地显示在标准图像中原本不可见的色素沉着损害。有力的证据表明,仅在紫外图像下可见的这些色素沉着斑点将由于光老化的缘故,随着色素沉着变得更加严重(即,随着黑素沉积增加)而变得可见。应当注意,尽管参照紫外图像和“紫外斑点”显示示例性实施方案,但紫外光并不是使亚皮肤表面特征能够可视化的唯一光谱。一般来讲,本发明的该方面适用于不能被肉眼容易看见的任何亚皮肤表面斑点,而与其中采集它们的光照模态的光谱无关。
图4中所示的本发明的示例性过程模拟上述过程。从紫外图像检测到的色素沉着斑点以及它们的对比度信息可用来调节标准图像中对应位置的强度和颜色对比,从而模拟“老化斑点”随时间的发展。
如上所述,标准和紫外图像理想地应当在模拟之前进行校准以便在显示器中最佳实现。例如用VISIA系统顺序地按最小延迟采集标准图像和紫外图像可减轻或消除对于校准的需要。然而,可采用几种熟知的校正技术中的任何一种校正未被正确校正的图像。(参见例如B.Srinivasa等人的“An FFT-Based Technique for Translation,Rotation and Scale-Invariant Image Registration”,IEEE Transactions on ImageProcessing,第5卷,第8期,1996年8月)。
假设图像被适当地校正,在403处执行基于紫外图像的紫外斑点检测。下面详细描述了一种根据本发明的示例性紫外斑点检测算法。紫外斑点检测算法返回紫外斑点的所有像素坐标以及它们的对比度信息。斑点被加上索引并且每个斑点附连一个具体标签(例如,号码)。加索引可通过逐行或逐列扫描代表紫外斑点的黑白图像并给每个斑点按次序赋予一个号码来进行。
在405处,紫外斑点抽取过程抽取一个斑点附近相邻的斑点以便并非紫外图像中的所有斑点在标准图像中均变成可见的。这种抽取过程可通过以下事实被证明是正确的,即仅所有紫外斑点的子集将变成在标准图像中可见。抽取过程可通过在带索引斑点列表中每隔一个或每隔两个选择一个斑点来进行。这将提供所有检测过的紫外斑点的稀疏子集。
在抽取之后,生成了剩余斑点的紫外对比度图像。紫外对比度图像是一种在紫外斑点的剩余子集中具有每个像素的紫外对比度强度的强度图像。在409处,剩余的紫外斑点的紫外对比度图像被扩大以放大紫外斑点。这对在标准和紫外图像中均可见的实际的色斑点将具有放大效应。紫外斑点的扩大可通过使紫外对比度图像变模糊来执行。这种操作可通过用一个二维Gaussian滤波器过滤紫外对比度图像来进行。Gaussian滤波器对于工作分辨率的方差设定为5并可被增大或减小以调节扩大效应。作为另外一种选择,可不进行扩大,因为模拟斑点老化而不扩大是可能的。
在411A、B和L处,采用扩大的紫外斑点对比度图像来修改原始标准图像亮度分量(L通道)和颜色分量(A和B通道)。紫外斑点对比度图像因此在被加到原始图像的L、A和B分量之前被加权。众所周知,色斑的效果随着强度变化而在L、A和B中是可见的。在一个示例性实施方案中,紫外斑点对比度在被加到L通道之前被乘以1.5(即,eL=1.5),在被加到A通道之前乘以0.5以及在被加到B通道之前乘以0.5(即,eA=eB=-0.5)。这些数字的符号和绝对值根据研究发现和经验观察而确定。在将老化对比度相加之后,在413处通过执行LAB至RGB转换而合成斑点老化的图像。应当注意,如上所述,本发明并不仅限于任何特定的颜色或图像格式。例如,如果所得的图像要进行打印,则在413处的转换可为LAB至CMY转换(即,转换到熟知的典型用于打印的青-品红-黄颜色空间)。如所理解的那样,本发明所生成的图像可被打印、显示、存储、传输或经受任何进一步处理。此外,如所理解的那样,例如如果所得的图像要以LAB格式进行存储或传输,则在413处的转换可被免除或延缓。
为此,通过智能地将紫外对比度信息的因子加到强度(L)和颜色(A和B)分量中而在LAB色域中进行老化模拟。通常用色度计在LAB域中广泛研究和量化色素沉着过度(S.Alaluf等人的“The impact ofepidermal melanin on objective measurements of human skincolour”,Pigment Cell Research,第15卷,第119至126页,2002年,后文称为“Alaluf参考文献”)并在LAB域中分析图像(N.Kollias等人的“Optical Non-invasive Approaches to Diagnoses ofSkin Diseases”,Journal of Investigative DermatologyProceedings,第7卷,第1期,第64至75页,2002年)。一种研究涉及用LAB色度计对人皮肤的正常区域和色素沉着区域进行颜色测量,该研究显示所有的L、A和B值均随色素沉着程度(黑素含量)而变化。(参见Alaluf参考文献)。据报告,L值将随着黑素含量增加而变小,而A和B值将随黑素含量增加而变大。这解释了色素沉着斑点的暗棕色外观。
紫外斑点检测和对比度计算
图5为检测紫外斑点和计算对比度的示例性过程的流程图。该过程取前述紫外图像的蓝色通道(例如来自111,图1),并返回紫外斑点以及紫外对比度图像。紫外图像的蓝色通道在各通道(R、G和B)中表现出最好的对比度,因为紫外荧光在蓝色光谱中较强。图5过程的目标是要从这个灰度图像中提取紫外斑点损害。
在503处,使蓝色通道紫外图像经受噪声过滤,其中图像上的小变化得到平滑。为此,已经发现[5x5]中值滤波器对于紫外图像(具有220PPI的工作分辨率)很有效果。因为光源的不均匀强度场和面部的三维形状,不是所有的图像像素均接收到等量的光,因此促使图像在面部的不同区域具有变化的强度。这种强度上的变化使得无法使用固定阈值来分离视觉上比背景更暗的紫外斑点损害。为补偿不均匀强度,在505中估算一种缓变的背景强度并从每个像素的已过滤的强度上移除。缓变的背景强度可通过利用具有用大滤波器支持的低通滤波器进行估算。这样一种滤波器可采用Wiener滤波器,即根据局部平均和局部方差估计低频二维强度表面的自适应低通滤波器,来执行。可用于该目的的一种示例性Wiener滤波器通过一组图像像素更新公式描述于附录A-1中。例如将Wiener滤波器的支持(尺寸)选为[41x41],大得足以包封平均大尺寸的紫外斑点,假设为220PPI的工作分辨率。
当将背景强度水平从原始强度图像的噪声过滤形式移除时,便获得对比度图像。这个对比度图像包括正负两个分量。紫外斑点位于负对比度区域的子集中。因此,在507处,紫外斑点通过用固定阈值分割负对比度图像而获得。在一个示例性实施方案中,选择这个阈值处在约-3.5至-5.0的范围内。紫外斑点的判据是它的对比度值应当小于这个阈值。这种斑点分割与平均的人类感知吻合良好。
作为507中的分割运算的结果,获得了二元(黑色和白色)图像,其中白色损害代表紫外斑点以及黑像素代表背景。在509中平滑这个图像,例如用[5x5]中值滤波器。在511中,把紫外斑点加上索引并标号,并且计算与每个紫外斑点相关的面积(例如,像素的数目)。在513中,消除面积小于阈值(例如,150个像素)的小紫外斑点和面积大于阈值(例如,600个像素)的大紫外斑点。对于每个像素,即在过程506中生成的紫外斑点图像,返回剩下的紫外斑点以及对比度值。重要的是应记得这些对比度值是负值并代表深对比度。任选地,根据紫外对比度图像(ID)通过在515中进行对比度加权的评分而生成严重性评分。这个评分通过相加在有效紫外斑点内部的所有ID值进行计算。这个评分与色素沉着程度有关并可用来监测色素沉着的恶化和改善。此外,在517中计算所检测的紫外斑点周长以便可将它们重叠在紫外图像上来显示紫外斑点。
斑点去老化模拟
在一个示例性实施方案中,利用标准图像的L、A和B通道在LAB颜色空间中执行斑点去老化模拟。连同色素沉着的斑点一起,在这些通道中可辨别出红色斑点(因结疤和皮肤病例如痤疮而引起的小红肿区域)。为使模拟更加逼真,优选地根据本发明的示例性实施方案去除此类皮肤特征。
图6为根据本发明的一个示例性斑点去老化过程的流程图。采用LAB图像(例如来自105,图1)以及斑点和皱纹蒙版(例如来自107,图1),在603中执行斑点检测和对比度计算。下面参照图7A和7B详细描述了一种示例性的斑点检测和对比度计算算法。对比度是指相对于由局部邻域计算出的低通背景强度的像素强度差异。
在609L中将斑点损害内的L上的对比度值乘以值eL并在611中将它加到原始L通道上来使L的负对比度与背景水平齐平。类似地,在609A处将在斑点损害内A中的对比度值乘以值eA并在611A处将它加到原始A通道上来使A的色差与背景颜色齐平。类似地,在609B中将斑点损害内B中的对比度值乘以值eB并在611B中将它加到原始B通道上来使B的色差与背景颜色齐平。应当注意,L中的对比度用来修改斑点的暗度而A和B中的对比度用来修改斑点的颜色。在斑点损害内去除L、A和B通道中的对比度将会使斑点损害的强度和颜色与背景皮肤的强度和颜色齐平。这将具有移除斑点损害和面部皮肤外观更光滑的视觉效果。因此,斑点去老化的图像可用来预报有效治疗所期待的结果。
斑点检测算法
图7A和7B示出了一种示例性斑点检测算法。在703中,将标准RGB图像701转换到LAB颜色空间,并在705L、705A和705B中分别对L、A和B通道单独地应用噪声过滤。在所示的示例性实施方案中,用具有较小滤波器支持例如[5x5]的Wiener滤波器执行噪声过滤,如上所述。然后,在707L、707A和707B中,将具有例如[61x61]支持的Wiener滤波器分别应用到经噪声滤波的L、A和B图像上来估算在斑点和皱纹模拟蒙版中每个像素的背景强度和颜色。对于L、A和B通道的每个像素,通过分别在708L、708A和708B中用每个像素的经噪声滤波的L、A和B值减去每个像素的低通L、A和B值来计算对比度值。
对比度图像(此处“对比度图像”是指所有以对比度值作为强度的图像像素的集合)为良好的斑点指示物。在皮肤病学研究中已得到确认,斑点损害的强度小于背景皮肤的强度,并且它们在A和B中的颜色分量大于背景皮肤的颜色读数。(应当注意,背景皮肤在本文中被认为是健康的和光滑的,以及斑点损害被认为在背景里面是稀疏的)。根据这些判据,分别在709L、709A和709B中在通道L中的负对比度区域和通道A和B中的正对比度区域中选择斑点损害。此外,由708L、708A和708B获得的对比度图像通过709L、709A和709B运算被细化以产生更有意义的对比度图像。在这些运算后对比度图像被用于斑点的去老化模拟。
在711中,根据来自L、A和B通道的对比度值对于每个像素计算斑点色差制(DE)。CIE L*a*b*感知的色差制常常用于颜色学以量化人的视觉对两种色片间差异的敏感性。在示例性的实施方案中,采用这个尺度将斑点颜色与背景皮肤颜色区分开来以便斑点分割与人的感知相符。一般来讲,如果这个尺度大于3.5,则双眼可辨别颜色上的区别。
前进到图7B,在713中通过比较DE与阈值例如4.5以分割出斑点来分割斑点。根据所期望的敏感度,这个阈值可从3.5改变到5。在这个阈值运算之后,获得了斑点损害的二元(黑色和白色)图像,其中白色小岛代表斑点。在715中任选地平滑这个二元图像以具有平滑形状的斑点损害。
在717中,通过分配编号来对分割对象进行标记。
基于例如如上所述的阈值DE的斑点分割步骤一般将分割出皱纹部分和大毛孔的子群以及斑点。在719中,小对象例如毛孔(一般小于斑点)通过将最小面积约束应用到分割对象上而消除。例如,在给定分辨率(220PPI)下100个像素的面积阈值是令人满意的。
在721中,为了消除皱纹和皱纹状特征,然后计算剩余斑点损害的某些形状性质。示例性的性质可包括面积、纵横比、实心度、长轴长度、短轴长度、偏心度和范围。这些均是本领域所常用的二维形状性质并在附录A-3:Definitions of Shape Properties中加以定义。为消除皱纹和皱纹状特征,用纵横比(短轴长度/长轴长度)作为判据。例如,具有小于0.25的纵横比的对象可视为皱纹并作为斑点予以消除。例如同样可采用0.3的范围阈值来消除变形的和模糊的形状特征。(范围是密实度测量值,在[01]范围内变化,其中高值对应致密对象)。在721中应用这些形状和尺寸约束之后,记录剩下的对象和其像素位置以及前面在709L、709A和709B中对于这些斑点位置计算的对比度值。对比度值被用于斑点的去老化模拟。任选地,在723中根据在711中计算的整个对比度图像(DE)生成严重性评分。该评分通过相加有效斑点内的所有DE值进行计算。该评分与色素沉着过度和皮肤不均匀性的程度有关并且可用来监测皮肤状况的恶化和改善。此外,在725中计算所检测的斑点周长以便可将它们覆盖在图像上来显示斑点。
皱纹老化和去老化模拟
图8是根据本发明的一个示例性皱纹老化和去老化模拟过程的流程图。在801中,采用由以上生成的斑点和皱纹蒙版所遮罩的LAB图像的亮度(L)通道执行皱纹检测步骤。皱纹特征的颜色分析证明,细皱纹中的颜色并不明显不同于背景皮肤的颜色。然而皱纹的亮度明显不同于背景亮度。为此,采用L通道来检测和模拟皱纹老化/去老化。801中的皱纹检测步骤提供皱纹特征以及它们的“皱纹强度”值。“皱纹强度”是一个与对比度不同的量度并根据定向滤波器进行计算。(参见W.T.Freeman等人的“The design and use of steerable filters”,IEEE Trans.Pattern Analysis and Machine Intelligence,第13卷,第9期,第891至906页,1991年,后文称为“Freeman参考文献”)。下面详细描述了一种示例性的皱纹检测算法。
在皱纹检测之后,在803中进行伪皱纹消除步骤。801中的皱纹检测步骤所生成的候选皱纹被分割出,作为在暗皮肤背景上的白色对象。将这个黑白图像称作棱线对象图像。大多数棱线对象是由于皱纹和细纹的缘故,但有一些可来自其它面部特征例如大斑点的边界、对齐的毛孔、皮肤上的黑毛发和细血管丝等等。这些伪特征中的大部分可根据一组形状、尺寸和颜色判据进行消除。下面更详细描述了这种示例性过程。该过程返回有效皱纹以及它们的强度图像。皱纹强度图像在有效皱纹像素上取棱线图谱的值并在别处取零。该皱纹强度图像将被用于皱纹老化和去老化模拟。
对于皱纹的老化模拟,在807中扩大皱纹强度(后文称为皱纹对比度)以得到增浓效果,其将伴随老化一直发生。例如,可用例如滤波器方差为2的二维Gaussian滤波器执行扩大操作。上面相对于紫外斑点扩大描述了这个步骤。在809A中,将扩大的对比度接着乘以增强因子eL(例如,2)并加到L通道上。这些运算的净效应是在原始图像中所见的皱纹显得更暗和更密,并且在原始图像中不是清楚可见的淡皱纹变得可见。最后,在811中通过LAB至RGB转换接着合成了皱纹老化的图像。重要的是要注意到,皱纹将随年龄生长,并且这个过程的模拟可通过延伸所检测的皱纹而进行。皱纹的延伸可除了扩大运算之外或作为其另外一种选择来进行。
对于皱纹的去老化,不执行对比度扩大并且在809D处从L通道移除皱纹对比度以便将皱纹的强度水平带到周围背景皮肤的强度水平上。最后,在813中通过LAB至RGB转换合成了皱纹去老化的图像。
皱纹检测算法
现在将参照图9描述皱纹检测过程。在901中,转换被斑点和皱纹蒙版所遮罩的标准RGB图像以获得LAB图像。在示例性的实施方案中,仅L通道用来检测皱纹。在903中,在皱纹老化模拟蒙版内将采用如上所述的Wiener滤波器的噪声过滤过程应用于L通道。滤波器具有例如[3x3]的支持。在905中,将具有例如[21x21]的支持的又一个Wiener滤波器应用到噪声过滤过的L通道上以估算背景照明强度。优选地,这个滤波器的规格应当足够大以覆盖工作分辨率中的皱纹。在907中,通过在皱纹蒙版内用噪声过滤过的L值减去低通L值计算每个像素的对比度值。
在909中,选择具有负对比度值的区域(例如,暗区域)用于皱纹检测。这是因为根据观察,细皱纹比背景要暗(在L中较低)。在911中,将棱线检测步骤应用到负对比度图像上来检测细长结构。在下面更详细描述的一个示例性实施方案中,棱线检测步骤采用定向滤波器(参见Freeman参考文献以及J.Staal等人的“Ridge-based segmentation incolor images of retina”,IEEE Transaction on Medical Imaging,第23卷,第4期,第501至509页,2004年4月,后文称为“Staal参考文献”)。棱线检测步骤接受对比度图像并返回“棱线强度”和“棱线取向”图像。这两个图像在913中进行进一步处理以获得经过修改的棱线强度图像或“棱线图谱”。下面详细描述了棱线图谱计算步骤。棱线图谱为代表曲线结构的灰色亮度图像并表现出对皱纹的强烈反应。
为从棱线图谱图像中确定皱纹结构,在915中应用滞后阈限(参见F.J.Canny的“A computational approach to edge detection”,IEEETransactions on Pattern Analysis and Machine Intelligence,第8卷,第6期,第679至698页,1986年)。滞后阈值法是将弱结构连接到强结构上的更软形式的阈值法并涉及低和高阈值。这些阈值的示例性值为4和8。
棱线检测
皱纹在标准图像中将本身显示成细长的结构。它们在强度上(L通道)相对于背景皮肤强度水平大部分是可见的并且与背景皮肤颜色相比在颜色方面(A和B通道)几乎没有差别。因此,可通过利用为细长结构所设计的检测器从L通道中将它们提取出来。
高斯核的二阶方向导数通常用来在图像处理中检测细长结构。(参见例如Staal参考文献。这些导数实际上为Freeman参考文献所描述的一类导向滤波器。)这些滤波器是对棱线特征敏感的基本滤波器并具有垂直、水平和对角取向。图10是利用此类导向滤波器的示例性棱线检测步骤的流程图。
如图10所示,分别在1001A、1001B和1001C中用例如以上所述的第一、第二和第三滤波器使DE图像经受二维卷积。为了分析一个图像中结构的取向和强度,在1003中对于每个像素形成了Hessian矩阵,其元素为基础滤波器响应。接着,在1005中,对每个像素的[2x2]Hessian矩阵执行Eigen解析。Eigen解析返回两个特征值(e1,e2)和彼此正交的两个特征向量(v1,v2)。棱线强度被定义为正特征值(例如,e1)-如果它的绝对值大于第二特征值(例如,e2),并且棱线取向为第二特征向量(v2)。在这种方法的一个变型中,当e1>0和|e1|>|e2|时棱线强度被定义为(e1-e2)。已经观察到这种定义更好地强调皱纹结构。
棱线图谱计算
如上所述,示例性的棱线检测过程给每个像素返回两个有用的参数:棱线强度,为指示皱纹多深的标量值;和棱线取向,为指定皱纹在特定像素位置的方向的向量。根据这两个参数生成棱线图谱图像。在这种情况下,对于每个像素,定义新的棱线强度,其将原始棱线强度和取决于相邻像素取向的强度项考虑在内。这个强度项通过将当前像素的方向向量与当前像素的8个相连的邻域中的每个像素的方向向量的内积相加进行计算。这个过程用附录A-2中的一组公式进行描述。
伪皱纹消除
伪皱纹消除过程的目标是根据形状和尺寸性质消除伪正值(伪皱纹)。为此,把滞后阈限(915)之后的所有候选皱纹标号并且对于每个计算多个形状性质。这些形状性质可包括:短轴长度、长轴长度、面积、实心度和偏心度。这些二维形状性质的定义是标准的并在附录A-3中给出。
根据这些形状性质,将棱线对象分成四类:短皱纹、长皱纹、网络皱纹和非皱纹。要落在前三类之一中,棱线对象的性质必须满足对应的判据组。例如,对于是短皱纹的棱线形状,其长度必须介于最小(例如,30个像素)和最大长度(例如,50个像素)阈值之间;其纵横比(短轴长度/长轴长度)必须小于纵横阈值(例如,0.25);其偏心度必须大于偏心度阈值(例如,0.97),以及其实心度必须大于最小实心度阈值(例如,0.49)。类似地,对于长皱纹有一组判据以及对于网络皱纹有另一组判据。这些阈值根据检查一组训练图像上的皱纹而凭经验确定。未归类为这些皱纹类型中的一种的棱线对象被归类成非皱纹。剩余的棱线对象被称作有效皱纹并返回到皱纹检测算法。
纹理老化模拟
本文所用的术语“纹理”是指干扰皮肤总体光滑度的小皮肤特征。纹理老化和去老化模拟是根据纹理特征和对比度的检测。纹理特征包括毛孔、小白色斑和小的粗糙破坏。在纹理蒙版内执行纹理老化和去老化模拟。图3C示出了典型的纹理蒙版。
图12为根据本发明的一个示例性纹理老化过程的流程图。采用被纹理蒙版(例如,来自107的纹理蒙版,图1)所遮罩的标准面部图像(例如,来自105的标准面部图像,图1)的亮度(L)通道执行纹理老化模拟。在1201中,从L通道去除低通背景强度。为此,通过应用具有例如[21x21]的滤波器支持的例如如上所述的Wiener滤波器计算背景强度水平。从L通道减去该项以生成对比度图像。对比度图像具有正负两分量。具有负对比度值的区域被称作低纹理区域以及具有高对比度值的区域被称作高纹理区域。低纹理区域的实例为毛孔,而高纹理区域的实例为很小的白斑点。
在1203L中通过用负阈值(例如,-2.5)对对比度图像进行阈限,即通过选择对比度小于这个阈值的像素,进行低纹理区域的分割。此外,将分割纹理损害标号并且也记录下损害面积。应用小面积阈值(例如,10)来去除主要由于噪声产生的很小损害。应用大面积阈值(例如,120)来去除由于小斑点和皱纹的缘故产生的大损害。
在1205L处记录下每个像素的剩余纹理损害和它们的对比度值(低纹理对比度图像)。此外,在1207处通过采用具有方差1的二维Gaussian滤波器,扩大低纹理对比度图像。这种扩大运算的净效应是放大面部图像中的毛孔。毛孔放大随着年龄或者皮肤健康的恶化而自然地发生。可增加方差值来增加放大程度。
类似地,为分割高纹理区域,在1203H中将正阈值(一般为2.5)应用到正对比度图像上,即通过取大于这个阈值的像素。接下来,将分割纹理损害标号并记录下损害面积。应用小面积区域(一般10个像素)以去除主要因噪声的缘故产生的很小损害。应用大面积阈值(一般100个像素)来去除由于日照即过量的光照射在脸上产生的大损害。在1205H中记录下每个像素的剩余的纹理损害和它们的对比度值。
在1209L中,将扩大的低纹理对比度乘以增强因子e1并在1211中加到L通道上。类似地,将高纹理对比度图像乘以增强因子eh并在1211中加到L通道上。增强因子e1和eh的示例性值分别是1.0和0.5。在1213中,通过LAB至RGB转换合成纹理老化的图像。
纹理去老化模拟
示例性纹理去老化模拟旨在降低纹理特征例如毛孔和小白斑点的尺寸和强度。在斑点或皱纹去老化模拟中完全去除纹理特征将引起过于光滑的外观并且不会提供逼真的皮肤图像。
图13是根据本发明的示例性纹理去老化过程的流程图。也在亮度通道中执行纹理去老化。在1301中,从L通道移除低通背景强度。为此,通过应用具有例如[21x21]的滤波器支持的如上所述的Wiener滤波器计算背景强度水平。从L通道减去背景强度水平以生成对比度图像。对比度图像具有负和正两分量。具有负对比度值的区域被称作低纹理区域以及具有高对比度值的区域被称作高纹理区域。
在1303L处,为分割低纹理区域(即,大毛孔),将负阈值(为一般-2.5)应用到负对比度图像。分割纹理损害被加上索引并标号并且也记录下损害的面积。此外,应用小面积阈值(一般为50)来去除小毛孔以及应用大面积阈值(一般为120)来去除由于斑点和皱纹的缘故产生的大损害。在1305L中计算并记录下每个像素的剩余纹理损害(其大多数为大毛孔)以及它们的对比度值(低纹理对比度图像)。在1307L中,通过对具有例如周长2的盘结构元件的低纹理对比度图像应用形态学扩大运算而使低纹理区域经受收缩。这种运算的净效应是毛孔的收缩以及在面部皮肤上毛孔的颜色变深减轻,与在有效治疗后改善皮肤状况有关。
类似地,在1303H处,为分割高纹理区域(很小的白斑点),通过取大于某个阈值(例如,2.5)的像素将正阈值应用到正对比度图像。分割纹理损害被标号并也记录下损害的面积。应用小面积阈值(例如,30个像素)来去除很小的损害以及应用大面积阈值(例如,300个像素)来去除因收缩的缘故产生的大损害。在1305H处计算并记录下每个像素的剩余纹理损害以及它们的对比度值(高纹理对比度图像)。在1307H处,通过对具有例如周长2的盘结构元件的高纹理对比度图像应用形态侵蚀操作而使高纹理区域经受收缩。这种操作的净效应是明显的大白斑点毛孔的收缩以及在面部皮肤上这些特征的强度变小,同样与在有效治疗后改善皮肤状况有关。
在1309L处,将降低的低纹理对比度乘以增强因子e1并在1211处加到L通道上。类似地,将高纹理对比度图像乘以增强因子eh并在1311中加到L通道上。增强因子e1和eh的示例性值分别为1.0和1.0。在1313中,通过LAB至RGB转换合成纹理老化的图像。
总体皮肤老化和去老化模拟
可将上述对面部皮肤由于斑点、皱纹和纹理而出现的老化的模拟相组合来模拟面部皮肤的总体老化。图14为用于这样做的示例性过程的流程图。通过用斑点、皱纹和纹理的老化对比度修改L、A和B通道,在LAB色域中合成总体老化的图像。如图14所示,为了将斑点、皱纹和纹理合并进整体过程,在1401S中生成在L、A和B通道中的老化对比度图像;在1401W中生成在L通道中的皱纹老化对比度图像;以及在1401T中生成L通道中的纹理老化对比度图像。分别在1403SA、1403SB和1403SL中通过ws因子加权每个A、B和通道斑点老化图像;在1403WL中用因子ww加权L通道皱纹老化图像;以及在1403TL中用因子wt加权L通道纹理老化图像。选择三个加权因子ws、ww和wt来强调或不再强调总体老化的图像的各个分量的贡献。分别在1405SA和1405SB中将所加权过的A和B通道斑点老化的图像加到最终图像的A和B图像上。在1405L中将所加权过的L通道斑点、皱纹和纹理图像相组合并在1407L中加到最终图像的L通道上。在1409中使如此修改的L、A和B通道经受LAB至RGB转换以生成处在RGB域中的总体老化的图像。
以类似的方式,可将上述对由于斑点、皱纹和纹理而出现的面部皮肤去老化的模拟相组合以模拟面部皮肤的总体去老化。图15为用于这样做的示例性过程的流程图。分别在1501SL、1501SA、1501SB以及1501W和1501T处通过各自的斑点、皱纹和纹理去老化模拟生成在L、A和B中的去老化对比度。在1503SL、1503W和1503T中用各自的权重因子ws、ww和wt加权L中的每个对比度图像来强调或不再强调各自分量对总体去老化的图像的贡献。这些权重因子的优选值全都是1。在1505中结合所加权过的L通道斑点、皱纹和纹理对比度图像并在1507中加到最终图像的L通道上。类似地,在1503SA处对A中的斑点对比度用ws进行加权并在1507SA中加到A通道上。在1503SB处对B中的斑点对比度用ws进行加权并在1507SB加到B通道上以得到最终的A和B通道。在1509处进行的LAB至RGB转换生成处于RGB域中的总体去老化的图像。在最终的图像中,消除了突出的皮肤特征并减少了小皮肤特征(毛孔)。这样一种图像对预报在对色素沉着过度、皱纹或皮肤纹理采用治疗后受试者皮肤面部可能看起来如何非常有用。
用于皮肤老化/去老化模拟的交互工具
可在计算机监视器上通过并列显示原始图像和模拟的图像并提供交互式滑块控制以使观察者能够调节老化程度来证明根据本发明的一个示例性实施方案的皮肤老化/去老化模拟。取决于所期望的模拟(斑点、皱纹、纹理或它们的任何组合),将老化的或去老化的图像与原始图像相混合,其中混合程度取决于滑块位置。当滑块处在中间位置上时,原始图像被显示在左和右两个面板中。当使用者上移滑块时,通过将原始图像与去老化的图像进行α混合,去老化模拟图像被显示在右面板上。类似地,当使用者下移滑块时,通过将原始图像与老化的图像进行α混合,显示老化模拟图像。α混合是两个图像的线性加权并且是本领域常用来混合两个图像的标准运算。对于本专利申请而言,可用α混合离线生成斑点、皱纹和纹理的各种老化的和去老化的图像并且优选地实时执行图像渲染。
应当注意,在上述的每个老化和去老化模拟中,要进行模拟的老化或去老化的程度优选地在合适的期限内是使用者可选择的,例如,5至10年,以证明自然老化,或者几个月,以证明因治疗产生的去老化。
应当理解,上述实施方案示出了仅几个可代表本发明应用的具体实施方案。本领域的技术人员可作出很多不同的其它布置而不脱离本发明的实质和范围。
附录
A-1.WIENER滤波器
给定一个[MxN]灰度图像g,通过(i,j)给出在坐标g(i,j)处的值,下面的步骤采用中心在(i,j)处的局部[KxK]分析窗口执行Wiener滤波器,其中K是奇数。
1.在位于像素值所在之处的当前像素的[KxK]邻域中计算局部均差μ(i,j)和局部方差σ2(i,j):(i,j)g(i,j)
L=(K-1)/2
2.通过平均横跨整个图像的局部方差计算噪声方差σw 2
3.用下面的更新公式计算经过滤波的图像像素值f(i,j):如果σ2(i,j)>σw 2
否则
f(i,j)=μ(i,j)
4.对于图像中的所有像素重复步骤3。
A-2.棱线图谱生成
对于处在感兴趣区域(ROI)中的每个像素坐标(i,j)执行下面的计算步骤:
1.由棱线检测器获得下面的数量:
R(i,j):棱线强度,正实数
V(i,j):棱线取向向量,具有实数的2元向量。
2.根据这些数量,按处于八相连的邻域中的定向向量的内积之和计算方向强度:
3.将一部分方向强度加到棱线强度上来计算棱线图谱:
Rm(i,j)=R(i,j)+αDs(i,j)其中α为处在[0.20.5]范围内的权重因子。
A-3.形状性质的定义
性质 定义
面积 对象中的像素数目
长轴长度 与对象具有同一正规化二阶中心矩的椭圆的长轴长度(单位为像素)。
短轴长度 与对象具有同一正规化二阶中心矩的椭圆的短轴长度(单位为像素)。
范围 也处在对象中的像素在边框中的比例。边框是包含对象的最小的矩形。
偏心度 与对象具有同一二阶矩的椭圆的偏心度。偏心度是在椭圆焦点之间的距离和它的长轴长度的比率。
实心度 也处在对象中的像素在凸壳中的比例。凸壳是包含对象的最小凸多边形。
Claims (50)
1.一种操纵面部图像以模拟斑点老化的方法,所述方法包括:
将所述面部图像转换成具有强度分量和颜色分量的颜色空间格式;
获得所述面部图像的亚表面型式;
根据所述面部图像的亚表面型式检测亚表面斑点;
选择一组所述亚表面斑点;
生成所述一组亚表面斑点的对比度图像;和
根据所述对比度图像修改所述面部图像的强度分量和颜色分量中的至少一个,从而生成斑点老化的面部图像。
2.如权利要求1所述的方法,所述方法包括:
将蒙版应用于所述面部图像的亚表面型式。
3.如权利要求1所述的方法,所述方法包括:
对齐所述面部图像的亚表面型式和标准型式。
4.如权利要求1所述的方法,其中所述面部图像的亚表面型式和标准型式基本上相对于彼此对齐。
5.如权利要求1所述的方法,所述方法包括:
扩大所述对比度图像以放大所述一组亚表面斑点中的每一个。
6.如权利要求1所述的方法,其中检测亚表面斑点包括:
对所述面部图像的亚表面型式进行噪声过滤;
估算所述面部图像的经噪声过滤的亚表面型式的背景亮度;
从所述面部图像的经噪声过滤的亚表面型式中移除背景亮度估算值,从而生成对比度图像;
根据对比度阈值分割所述对比度图像,从而生成一组分割对象;和
消除小于最小面积阈值的分割对象。
7.如权利要求6所述的方法,其中检测亚表面斑点包括:
平滑所述一组分割对象。
8.如权利要求1所述的方法,其中选择紫外斑点的子集包括对所检测的紫外斑点进行抽样,以便所述紫外斑点的子集是稀疏的。
9.如权利要求1所述的方法,其中扩大所述对比度图像包括:
用Gaussian滤波器过滤所述对比度图像。
10.如权利要求9所述的方法,其中所述对比度图像具有约220ppi的工作分辨率,并且所述Gaussian滤波器具有约5的方差。
11.如权利要求1所述的方法,其中修改所述面部图像的强度分量和颜色分量包括:
加权所述对比度图像;和
将所加权过的对比度图像加到所述面部图像的强度分量和颜色分量中的每一个上。
12.如权利要求1所述的方法,其中具有强度分量和颜色分量的颜色空间格式为具有亮度分量L以及颜色分量A和B的LAB格式。
13.一种操纵面部图像以模拟斑点去老化的方法,所述方法包括:
将所述面部图像转换成具有强度分量和颜色分量的颜色空间格式;检测所述面部图像中的斑点;
生成所述斑点的对比度图像;和
根据所述对比度图像修改所述面部图像的强度分量,从而生成斑点去老化的面部图像。
14.如权利要求13所述的方法,所述方法包括:
在检测斑点前将蒙版应用到所述面部图像上。
15.如权利要求13所述的方法,其中检测斑点包括:
对所述面部图像进行噪声过滤;
估算经噪声过滤的面部图像的背景亮度;
从所述经噪声过滤的面部图像中移除背景亮度估算值,从而生成对比度图像;
生成色差图像;
根据阈值分割所述色差图像,从而生成一组分割对象;和
消除伪斑点。
16.如权利要求15所述的方法,其中检测斑点包括:
平滑所述一组分割对象。
17.如权利要求15所述的方法,其中消除伪斑点包括:
移除小于最小面积阈值的分割对象。
18.如权利要求15所述的方法,其中消除伪斑点包括:
根据面积、纵横比、实心度、长轴长度、短轴长度、偏心度和范围中的至少一个移除分割对象。
19.如权利要求13所述的方法,其中修改所述面部图像的强度分量包括:
加权所述对比度图像;和
将所加权过的对比度图像加到所述面部图像的强度分量上。
20.如权利要求13所述的方法,其中具有强度分量和颜色分量的颜色空间格式为具有亮度分量L以及颜色分量A和B的LAB格式。
21.一种操纵面部图像以模拟与时间有关的皱纹变化的方法,所述方法包括:
将所述面部图像转换成具有强度分量和颜色分量的颜色空间格式;
检测所述面部图像中的皱纹;
生成皱纹的对比度图像;和
根据所述对比度图像修改所述面部图像的强度分量,从而生成皱纹改变的面部图像。
22.如权利要求21所述的方法,所述方法包括:
在检测斑点之前将蒙版应用到所述面部图像上。
23.如权利要求21所述的方法,其中检测皱纹包括:
对所述面部图像进行噪声过滤;
估算经噪声过滤的面部图像的背景亮度;
从所述经噪声过滤的面部图像中移除背景亮度估算值,从而生成对比度图像;
选择所述对比度图像的暗区域;
对所述对比度图像的暗区域执行棱线检测;
根据所述棱线检测生成棱线图谱;和
对所述棱线图谱应用阈限来确定候选皱纹。
24.如权利要求23所述的方法,其中执行棱线检测包括:
用具有垂直、水平和对角方向的定向基础滤波器对所述对比度图像进行卷积;和
分析所述定向基础滤波器的响应以生成棱线强度和棱线取向。
25.如权利要求21所述的方法,所述方法包括:
消除伪皱纹。
26.如权利要求25所述的方法,其中消除伪皱纹包括:
根据面积、纵横比、实心度、长轴长度、短轴长度、偏心度和范围中的至少一个移除分割对象。
27.如权利要求21所述的方法,其中修改所述面部图像的强度分量包括:
加权所述对比度图像;和
将所加权过的对比度图像加到所述面部图像的强度分量上。
28.如权利要求27所述的方法,所述方法包括:
在加权前对所述皱纹的对比度图像进行扩大和延伸中的至少一种,其中所述加权具有正值,并且所述皱纹改变的面部图像为皱纹老化的面部图像。
29.如权利要求27所述的方法,其中所述加权具有负值,并且所述皱纹改变的面部图像为皱纹去老化的面部图像。
30.如权利要求21所述的方法,其中具有强度分量和颜色分量的颜色空间格式为具有亮度分量L以及颜色分量A和B的LAB格式。
31.一种操纵面部图像以模拟与时间有关的纹理变化的方法,所述方法包括:
将所述面部图像转换成具有强度分量和颜色分量的颜色空间格式;
从所述面部图像移除背景强度,从而生成对比度图像;
将所述对比度图像分割成低纹理和高纹理区域;
生成低纹理对比度和高纹理对比度;和
根据所述低纹理对比度和高纹理对比度修改所述面部图像的强度分量,从而生成纹理改变的面部图像。
32.如权利要求31所述的方法,所述方法包括:
在移除所述背景强度之前将蒙版应用到所述面部图像上。
33.如权利要求31所述的方法,其中修改所述面部图像的强度分量包括:
加权所述低纹理对比度和所述高纹理对比度;和
将所加权过的低纹理对比度和高纹理对比度加到所述面部图像的强度分量上。
34.如权利要求33所述的方法,所述方法包括:
在加权之前扩大所述低纹理对比度,
其中所述纹理改变的面部图像为纹理老化的面部图像。
35.如权利要求33所述的方法,所述方法包括:
在加权之前收缩所述低纹理对比度;和
在加权之前收缩所述高纹理对比度,
其中所述纹理改变的面部图像为纹理去老化的面部图像。
36.如权利要求31所述的方法,其中具有强度分量和颜色分量的颜色空间格式为具有亮度分量L以及颜色分量A和B的LAB格式。
37.一种操纵面部图像以模拟与时间有关的变化的方法,所述方法包括:
将所述面部图像转换成具有强度分量和颜色分量的颜色空间格式;
操纵所述面部图像以生成斑点变化强度分量;
操纵所述面部图像以生成皱纹变化强度分量;
操纵所述面部图像以生成纹理变化强度分量;和
根据所述斑点变化强度分量、皱纹变化强度分量和纹理变化强度分量的组合,修改所述面部图像的强度分量,从而生成斑点、皱纹和纹理改变的面部图像。
38.如权利要求37所述的方法,其中所述斑点、皱纹和纹理改变的面部图像为去老化的面部图像。
39.如权利要求37所述的方法,所述方法包括:
操纵所述面部图像以生成第一斑点变化颜色分量和第二斑点变化颜色分量;
根据所述第一斑点变化颜色分量修改所述面部图像的第一颜色分量;和
根据所述第二斑点变化颜色分量修改所述面部图像的第二颜色分量,
其中所述斑点、皱纹和纹理改变的面部图像为老化的面部图像。
40.如权利要求37所述的方法,所述方法包括:
在操纵所述面部图像之前将蒙版应用到所述面部图像上。
41.如权利要求40所述的方法,其中所述蒙版包括用于斑点和皱纹模拟的第一蒙版和用于纹理模拟的第二蒙版。
42.如权利要求37所述的方法,其中所述方法生成第一斑点、皱纹和纹理改变的面部图像以及第二斑点、皱纹和纹理改变的面部图像,所述第一斑点、皱纹和纹理改变的面部图像为老化的面部图像,所述第二斑点、皱纹和纹理改变的面部图像为去老化的面部图像,所述方法包括:
将所述老化或去老化的面部图像与所述面部图像选择性地混合以生成复合图像,
其中显示所述斑点、皱纹和纹理改变的面部图像包括显示所述复合图像。
43.如权利要求37所述的方法,其中具有强度分量和颜色分量的颜色空间格式为具有亮度分量L以及颜色分量A和B的LAB格式。
44.一种检测面部图像中的皮肤的方法,所述方法包括:
确定所述面部图像的面部区域;
将所述面部图像转换成具有强度分量和颜色分量的颜色空间格式;
确定所述面部区域内所述面部图像的多个像素中的每一个像素的色素沉着量度;
确定阈值;和
将每个像素的色素沉着量度与所述阈值进行比较,其中色素沉着量度低于所述阈值的那些像素被认定为皮肤。
45.如权利要求44所述的方法,其中所述颜色空间格式为具有亮度分量L以及颜色分量A和B的LAB格式,并且其中所述色素沉着量度为Individual Typology Angle(ITA)量度。
46.如权利要求45所述的方法,所述方法包括:
平滑所述面部区域内所述面部图像的L和B分量。
47.如权利要求44所述的方法,其中确定所述面部图像的面部区域包括:
将所述面部图像转换成LUX空间;和
采用阈限法分割出所述面部区域。
48.如权利要求47所述的方法,其中所述阈限法包括Otsu阈限法。
49.如权利要求44所述的方法,其中所述阈值将把所述面部图像分割成具有最小类间方差的两类。
50.如权利要44所述的方法,其中所述面部图像为RGB颜色格式。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/681,509 | 2007-03-02 | ||
US11/681,509 US8290257B2 (en) | 2007-03-02 | 2007-03-02 | Method and apparatus for simulation of facial skin aging and de-aging |
PCT/US2008/055250 WO2008109322A1 (en) | 2007-03-02 | 2008-02-28 | Method and apparatus for simulation of facial skin aging and de-aging |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101652784A true CN101652784A (zh) | 2010-02-17 |
CN101652784B CN101652784B (zh) | 2013-05-22 |
Family
ID=39733109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008800069048A Active CN101652784B (zh) | 2007-03-02 | 2008-02-28 | 模拟面部皮肤老化和去老化的方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8290257B2 (zh) |
CN (1) | CN101652784B (zh) |
CA (2) | CA2751549C (zh) |
HK (1) | HK1138662A1 (zh) |
WO (1) | WO2008109322A1 (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049746A (zh) * | 2012-12-30 | 2013-04-17 | 信帧电子技术(北京)有限公司 | 基于面部识别的检测打架行为的方法 |
CN106529429A (zh) * | 2016-10-27 | 2017-03-22 | 中国计量大学 | 一种基于图像识别的面部皮肤分析系统 |
US10127661B2 (en) | 2016-01-05 | 2018-11-13 | Industrial Technology Research Institute | Method for evaluating skin tissue and system using the same |
CN109063597A (zh) * | 2018-07-13 | 2018-12-21 | 北京科莱普云技术有限公司 | 人脸检测方法、装置、计算机设备和存储介质 |
CN109063774A (zh) * | 2018-08-03 | 2018-12-21 | 百度在线网络技术(北京)有限公司 | 图像追踪效果评价方法、装置、设备及可读存储介质 |
CN109427053A (zh) * | 2017-08-31 | 2019-03-05 | 丽宝大数据股份有限公司 | 皮肤老化状态评估方法与电子装置 |
CN109793498A (zh) * | 2018-12-26 | 2019-05-24 | 华为终端有限公司 | 一种皮肤检测方法及电子设备 |
CN110161027A (zh) * | 2019-03-06 | 2019-08-23 | 上海商路网络科技有限公司 | 一种基于图像分析的化妆品功效评价方法 |
CN110321802A (zh) * | 2019-06-10 | 2019-10-11 | 深圳前海达闼云端智能科技有限公司 | 面部图像生成方法和装置、存储设备和电子设备 |
CN110796617A (zh) * | 2019-10-24 | 2020-02-14 | 北京小米智能科技有限公司 | 面部图像的增强方法及装置、电子设备 |
CN111417982A (zh) * | 2018-07-16 | 2020-07-14 | 华为技术有限公司 | 一种色斑检测方法及电子设备 |
US11026581B2 (en) | 2016-09-30 | 2021-06-08 | Industrial Technology Research Institute | Optical probe for detecting biological tissue |
CN113034354A (zh) * | 2021-04-20 | 2021-06-25 | 北京优彩科技有限公司 | 一种图像处理方法、装置、电子设备和刻度存储介质 |
CN113052783A (zh) * | 2019-12-27 | 2021-06-29 | 杭州深绘智能科技有限公司 | 一种基于人脸关键点的人脸图像融合方法 |
CN113643227A (zh) * | 2020-11-30 | 2021-11-12 | 马学召 | 一种基于深度学习技术的护肤效果检测方法及检测装置 |
CN114663313A (zh) * | 2022-03-25 | 2022-06-24 | 清华大学 | 用于增强人脸斑纹特征的视觉方法、装置、设备及介质 |
CN115034911A (zh) * | 2022-07-05 | 2022-09-09 | 广州高新工程顾问有限公司 | 一种基于bim的全过程造价咨询服务方法和系统 |
Families Citing this family (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7454046B2 (en) * | 2005-09-20 | 2008-11-18 | Brightex Bio-Photonics, Llc | Method and system for analyzing skin conditions using digital images |
US8861863B2 (en) * | 2005-09-20 | 2014-10-14 | Brightex Bio-Photonics Llc | Method and system for analyzing lip conditions using digital images |
FR2891641B1 (fr) * | 2005-10-04 | 2007-12-21 | Lvmh Rech | Procede et appareil de caracterisation des imperfections de la peau et procede d'appreciation de l'effet anti-vieillissement d'un produit cosmetique. |
US8660319B2 (en) * | 2006-05-05 | 2014-02-25 | Parham Aarabi | Method, system and computer program product for automatic and semi-automatic modification of digital images of faces |
JP4289415B2 (ja) * | 2007-03-27 | 2009-07-01 | セイコーエプソン株式会社 | 画像変形のための画像処理 |
US20080263449A1 (en) * | 2007-04-20 | 2008-10-23 | Microsoft Corporation | Automated maintenance of pooled media content |
WO2008149904A1 (ja) * | 2007-06-05 | 2008-12-11 | Olympus Corporation | 画像信号処理装置および画像信号処理プログラム |
US8391639B2 (en) * | 2007-07-23 | 2013-03-05 | The Procter & Gamble Company | Method and apparatus for realistic simulation of wrinkle aging and de-aging |
US8849380B2 (en) * | 2007-11-26 | 2014-09-30 | Canfield Scientific Inc. | Multi-spectral tissue imaging |
JP5290585B2 (ja) * | 2008-01-17 | 2013-09-18 | 株式会社 資生堂 | 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体 |
WO2010082942A1 (en) * | 2008-02-01 | 2010-07-22 | Canfield Scientific, Incorporated | Automatic mask design and registration and feature detection for computer-aided skin analysis |
FR2933582B1 (fr) * | 2008-07-10 | 2011-10-07 | Oreal | Dispositif de traitement des matieres keratiniques humaines |
FR2933581B1 (fr) * | 2008-07-10 | 2011-12-02 | Oreal | Procede de maquillage et dispositif pour la mise en oeuvre d'un tel procede |
FR2933583B1 (fr) * | 2008-07-10 | 2011-10-07 | Oreal | Dispositif pour appliquer une composition sur les matieres keratiniques humaines |
FR2933611B1 (fr) * | 2008-07-10 | 2012-12-14 | Oreal | Procede de maquillage et dispositif pour la mise en oeuvre d'un tel procede. |
KR101445613B1 (ko) * | 2008-07-23 | 2014-09-29 | 삼성전자주식회사 | 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치 |
TWI417811B (zh) * | 2008-12-31 | 2013-12-01 | Altek Corp | The Method of Face Beautification in Digital Image |
US8373859B2 (en) * | 2009-03-27 | 2013-02-12 | Brightex Bio-Photonics Llc | Methods and systems for imaging skin using polarized lighting |
US8823934B2 (en) * | 2009-03-27 | 2014-09-02 | Brightex Bio-Photonics Llc | Methods and systems for imaging and modeling skin using polarized lighting |
US8401300B2 (en) * | 2009-12-14 | 2013-03-19 | Conopco, Inc. | Targeted image transformation of skin attribute |
US20110273456A1 (en) * | 2010-05-04 | 2011-11-10 | Sony Pictures Technologies Inc. | System and method for partial simulation and dynamic control of sizes of animated objects |
TW201222432A (en) * | 2010-11-26 | 2012-06-01 | Inst Information Industry | System, device, method, and computer program product for facial defect analysis using angular facial image |
US20120288168A1 (en) * | 2011-05-09 | 2012-11-15 | Telibrahma Convergent Communications Pvt. Ltd. | System and a method for enhancing appeareance of a face |
US20130058543A1 (en) | 2011-09-06 | 2013-03-07 | The Proctor & Gamble Company | Systems, devices, and methods for image analysis |
US8804122B2 (en) | 2011-09-22 | 2014-08-12 | Brightex Bio-Photonics Llc | Systems and methods for determining a surface profile using a plurality of light sources |
JP5753055B2 (ja) * | 2011-10-05 | 2015-07-22 | 花王株式会社 | 肌画像分析装置及び肌画像分析方法 |
US9019310B2 (en) | 2012-03-02 | 2015-04-28 | Adobe Systems Incorporated | Methods and apparatus for applying complex continuous gradients to images |
US9668653B2 (en) | 2012-03-15 | 2017-06-06 | Access Business Group International Llc, A Michigan Limited Liability Company | Quantification of under-eye skin color |
KR20140028415A (ko) * | 2012-08-29 | 2014-03-10 | 한국전자통신연구원 | 피부분석을 위한 3차원 얼굴 모델 생성 장치 및 그 방법 |
US9256963B2 (en) * | 2013-04-09 | 2016-02-09 | Elc Management Llc | Skin diagnostic and image processing systems, apparatus and articles |
US9101320B2 (en) * | 2013-04-09 | 2015-08-11 | Elc Management Llc | Skin diagnostic and image processing methods |
KR102153539B1 (ko) * | 2013-09-05 | 2020-09-08 | 한국전자통신연구원 | 영상 처리 장치 및 방법 |
WO2015060376A1 (ja) * | 2013-10-23 | 2015-04-30 | 日立マクセル株式会社 | 表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法 |
US10283162B2 (en) | 2014-02-05 | 2019-05-07 | Avatar Merger Sub II, LLC | Method for triggering events in a video |
US9792406B2 (en) | 2014-02-10 | 2017-10-17 | Neuronetics, Inc. | Head modeling for a therapeutic or diagnostic procedure |
US9741157B2 (en) | 2014-03-26 | 2017-08-22 | Onshape Inc. | Previewing changes on a geometric design |
US9614724B2 (en) | 2014-04-21 | 2017-04-04 | Microsoft Technology Licensing, Llc | Session-based device configuration |
US9639742B2 (en) | 2014-04-28 | 2017-05-02 | Microsoft Technology Licensing, Llc | Creation of representative content based on facial analysis |
US9773156B2 (en) | 2014-04-29 | 2017-09-26 | Microsoft Technology Licensing, Llc | Grouping and ranking images based on facial recognition data |
US9384335B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content delivery prioritization in managed wireless distribution networks |
US9384334B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content discovery in managed wireless distribution networks |
US9430667B2 (en) | 2014-05-12 | 2016-08-30 | Microsoft Technology Licensing, Llc | Managed wireless distribution network |
US10111099B2 (en) | 2014-05-12 | 2018-10-23 | Microsoft Technology Licensing, Llc | Distributing content in managed wireless distribution networks |
US9874914B2 (en) | 2014-05-19 | 2018-01-23 | Microsoft Technology Licensing, Llc | Power management contracts for accessory devices |
US10037202B2 (en) | 2014-06-03 | 2018-07-31 | Microsoft Technology Licensing, Llc | Techniques to isolating a portion of an online computing service |
US9367490B2 (en) | 2014-06-13 | 2016-06-14 | Microsoft Technology Licensing, Llc | Reversible connector for accessory devices |
US9460493B2 (en) | 2014-06-14 | 2016-10-04 | Microsoft Technology Licensing, Llc | Automatic video quality enhancement with temporal smoothing and user override |
US9373179B2 (en) * | 2014-06-23 | 2016-06-21 | Microsoft Technology Licensing, Llc | Saliency-preserving distinctive low-footprint photograph aging effect |
US10368795B2 (en) * | 2014-06-30 | 2019-08-06 | Canfield Scientific, Incorporated | Acne imaging methods and apparatus |
WO2016000040A1 (en) * | 2014-07-02 | 2016-01-07 | Resmed Limited | Custom patient interface and methods for making same |
US9251570B1 (en) * | 2014-11-06 | 2016-02-02 | Ditto Technologies, Inc. | Smart image enhancements |
US10116901B2 (en) | 2015-03-18 | 2018-10-30 | Avatar Merger Sub II, LLC | Background modification in video conferencing |
ES2590212B1 (es) * | 2015-04-16 | 2017-08-29 | Innovació Turística Balear, S.L (Innturba, S.L) | Máquina expendedora de productos cosméticos y/o de protección solar |
US9600713B2 (en) | 2015-04-27 | 2017-03-21 | AprilAge Inc. | Identification and processing of facial wrinkles in a digital image |
EP3317855B1 (en) * | 2015-06-30 | 2020-08-05 | Pirelli Tyre S.p.A. | Method and apparatus for analysing a surface of a tyre |
US9750450B2 (en) * | 2015-09-18 | 2017-09-05 | Htc Corporation | Method, electronic apparatus, and computer readable medium of constructing classifier for skin-infection detection |
KR101758825B1 (ko) * | 2015-09-22 | 2017-07-18 | 한국과학기술연구원 | 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법, 이를 수행하기 위한 기록 매체 및 장치 |
US9836669B2 (en) * | 2016-02-22 | 2017-12-05 | International Business Machines Corporation | Generating a reference digital image based on an indicated time frame and searching for other images using the reference digital image |
JP6730443B2 (ja) * | 2016-03-21 | 2020-07-29 | ザ プロクター アンド ギャンブル カンパニーThe Procter & Gamble Company | カスタマイズされた製品の推奨を提供するためのシステム及び方法 |
US20170300742A1 (en) * | 2016-04-14 | 2017-10-19 | Qualcomm Incorporated | Systems and methods for recognizing an object in an image |
US10621771B2 (en) * | 2017-03-21 | 2020-04-14 | The Procter & Gamble Company | Methods for age appearance simulation |
US10614623B2 (en) | 2017-03-21 | 2020-04-07 | Canfield Scientific, Incorporated | Methods and apparatuses for age appearance simulation |
EP3631679B1 (en) | 2017-05-31 | 2023-09-13 | The Procter & Gamble Company | Systems and methods for determining apparent skin age |
US10574883B2 (en) | 2017-05-31 | 2020-02-25 | The Procter & Gamble Company | System and method for guiding a user to take a selfie |
CN107644680B (zh) * | 2017-08-09 | 2021-05-14 | Oppo广东移动通信有限公司 | 健康状态检测方法、装置和终端设备 |
JP7108127B2 (ja) | 2018-08-21 | 2022-07-27 | ザ プロクター アンド ギャンブル カンパニー | 毛穴の色を特定する方法 |
CN109859134A (zh) * | 2019-01-30 | 2019-06-07 | 珠海天燕科技有限公司 | 一种美妆素材的处理方法及终端 |
CN111914604A (zh) * | 2019-05-10 | 2020-11-10 | 丽宝大数据股份有限公司 | 将头发颜色套用至眉毛的扩充实境显示方法 |
CN111275610B (zh) * | 2020-01-08 | 2023-08-18 | 杭州小影创新科技股份有限公司 | 一种人脸变老图像处理方法及系统 |
CN115516503A (zh) * | 2020-05-08 | 2022-12-23 | 宝洁公司 | 用于识别树突状毛孔的方法 |
CN113808027B (zh) * | 2020-06-16 | 2023-10-17 | 北京达佳互联信息技术有限公司 | 一种人体图像处理方法、装置、电子设备及存储介质 |
US10818012B1 (en) * | 2020-06-18 | 2020-10-27 | Neo Derm Group Limited | Method for facial skin age estimating and electronic device |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4276570A (en) * | 1979-05-08 | 1981-06-30 | Nancy Burson | Method and apparatus for producing an image of a person's face at a different age |
US6283858B1 (en) * | 1997-02-25 | 2001-09-04 | Bgk International Incorporated | Method for manipulating images |
US6571003B1 (en) | 1999-06-14 | 2003-05-27 | The Procter & Gamble Company | Skin imaging and analysis systems and methods |
GB2358098A (en) * | 2000-01-06 | 2001-07-11 | Sharp Kk | Method of segmenting a pixelled image |
US7221780B1 (en) * | 2000-06-02 | 2007-05-22 | Sony Corporation | System and method for human face detection in color graphics images |
US6959119B2 (en) | 2000-11-03 | 2005-10-25 | Unilever Home & Personal Care Usa | Method of evaluating cosmetic products on a consumer with future predictive transformation |
US6734858B2 (en) | 2000-12-27 | 2004-05-11 | Avon Products, Inc. | Method and apparatus for use of computer aging to demonstrate a product benefit |
JP2002304619A (ja) | 2001-04-06 | 2002-10-18 | Pola Chem Ind Inc | 視覚的皮膚形態変化のシミュレート方法 |
US7634103B2 (en) | 2001-10-01 | 2009-12-15 | L'oreal S.A. | Analysis using a three-dimensional facial image |
US6761697B2 (en) | 2001-10-01 | 2004-07-13 | L'oreal Sa | Methods and systems for predicting and/or tracking changes in external body conditions |
US6728421B2 (en) * | 2001-10-24 | 2004-04-27 | Nik Multimedia, Inc. | User definable image reference points |
US6907193B2 (en) * | 2001-11-08 | 2005-06-14 | Johnson & Johnson Consumer Companies, Inc. | Method of taking polarized images of the skin and the use thereof |
US7020347B2 (en) | 2002-04-18 | 2006-03-28 | Microsoft Corp. | System and method for image-based surface detail transfer |
US6828972B2 (en) * | 2002-04-24 | 2004-12-07 | Microsoft Corp. | System and method for expression mapping |
JP2004326488A (ja) | 2003-04-25 | 2004-11-18 | Digital Hands Co Ltd | シミュレーション画像生成サーバ、シミュレーション画像生成システム、シミュレーション画像生成方法及びプログラム |
US7248736B2 (en) * | 2004-04-19 | 2007-07-24 | The Trustees Of Columbia University In The City Of New York | Enhancing images superimposed on uneven or partially obscured background |
JP2006085678A (ja) * | 2004-08-16 | 2006-03-30 | Fuji Photo Film Co Ltd | 画像作成方法および装置並びにプログラム |
US20060274071A1 (en) * | 2004-09-29 | 2006-12-07 | L'oreal | Method of predicting the appearance of at least a portion of an individual's body |
US7689016B2 (en) * | 2005-05-27 | 2010-03-30 | Stoecker & Associates, A Subsidiary Of The Dermatology Center, Llc | Automatic detection of critical dermoscopy features for malignant melanoma diagnosis |
US7634108B2 (en) * | 2006-02-14 | 2009-12-15 | Microsoft Corp. | Automated face enhancement |
-
2007
- 2007-03-02 US US11/681,509 patent/US8290257B2/en active Active
-
2008
- 2008-02-28 CA CA2751549A patent/CA2751549C/en active Active
- 2008-02-28 WO PCT/US2008/055250 patent/WO2008109322A1/en active Application Filing
- 2008-02-28 CA CA2678551A patent/CA2678551C/en active Active
- 2008-02-28 CN CN2008800069048A patent/CN101652784B/zh active Active
-
2010
- 2010-04-28 HK HK10104129.4A patent/HK1138662A1/xx unknown
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049746A (zh) * | 2012-12-30 | 2013-04-17 | 信帧电子技术(北京)有限公司 | 基于面部识别的检测打架行为的方法 |
CN103049746B (zh) * | 2012-12-30 | 2015-07-29 | 信帧电子技术(北京)有限公司 | 基于面部识别的检测打架行为的方法 |
US10127661B2 (en) | 2016-01-05 | 2018-11-13 | Industrial Technology Research Institute | Method for evaluating skin tissue and system using the same |
US11026581B2 (en) | 2016-09-30 | 2021-06-08 | Industrial Technology Research Institute | Optical probe for detecting biological tissue |
CN106529429A (zh) * | 2016-10-27 | 2017-03-22 | 中国计量大学 | 一种基于图像识别的面部皮肤分析系统 |
CN106529429B (zh) * | 2016-10-27 | 2019-08-16 | 中国计量大学 | 一种基于图像识别的面部皮肤分析系统 |
CN109427053A (zh) * | 2017-08-31 | 2019-03-05 | 丽宝大数据股份有限公司 | 皮肤老化状态评估方法与电子装置 |
CN109063597A (zh) * | 2018-07-13 | 2018-12-21 | 北京科莱普云技术有限公司 | 人脸检测方法、装置、计算机设备和存储介质 |
US11989885B2 (en) | 2018-07-16 | 2024-05-21 | Honor Device Co., Ltd. | Speckle detection method and electronic device |
CN111417982B (zh) * | 2018-07-16 | 2022-06-21 | 荣耀终端有限公司 | 一种色斑检测方法及电子设备 |
CN111417982A (zh) * | 2018-07-16 | 2020-07-14 | 华为技术有限公司 | 一种色斑检测方法及电子设备 |
CN109063774B (zh) * | 2018-08-03 | 2021-01-12 | 百度在线网络技术(北京)有限公司 | 图像追踪效果评价方法、装置、设备及可读存储介质 |
CN109063774A (zh) * | 2018-08-03 | 2018-12-21 | 百度在线网络技术(北京)有限公司 | 图像追踪效果评价方法、装置、设备及可读存储介质 |
US11023781B2 (en) | 2018-08-03 | 2021-06-01 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus and device for evaluating image tracking effectiveness and readable storage medium |
CN109793498A (zh) * | 2018-12-26 | 2019-05-24 | 华为终端有限公司 | 一种皮肤检测方法及电子设备 |
WO2020134877A1 (zh) * | 2018-12-26 | 2020-07-02 | 华为技术有限公司 | 一种皮肤检测方法及电子设备 |
US11759143B2 (en) | 2018-12-26 | 2023-09-19 | Honor Device Co., Ltd. | Skin detection method and electronic device |
CN110161027A (zh) * | 2019-03-06 | 2019-08-23 | 上海商路网络科技有限公司 | 一种基于图像分析的化妆品功效评价方法 |
CN110321802B (zh) * | 2019-06-10 | 2021-10-01 | 达闼机器人有限公司 | 面部图像生成方法和装置、存储设备和电子设备 |
CN110321802A (zh) * | 2019-06-10 | 2019-10-11 | 深圳前海达闼云端智能科技有限公司 | 面部图像生成方法和装置、存储设备和电子设备 |
CN110796617B (zh) * | 2019-10-24 | 2022-09-02 | 北京小米智能科技有限公司 | 面部图像的增强方法及装置、电子设备 |
CN110796617A (zh) * | 2019-10-24 | 2020-02-14 | 北京小米智能科技有限公司 | 面部图像的增强方法及装置、电子设备 |
US11250547B2 (en) | 2019-10-24 | 2022-02-15 | Beijing Xiaomi Intelligent Technology Co., Ltd. | Facial image enhancement method, device and electronic device |
CN113052783A (zh) * | 2019-12-27 | 2021-06-29 | 杭州深绘智能科技有限公司 | 一种基于人脸关键点的人脸图像融合方法 |
CN113643227A (zh) * | 2020-11-30 | 2021-11-12 | 马学召 | 一种基于深度学习技术的护肤效果检测方法及检测装置 |
CN113034354B (zh) * | 2021-04-20 | 2021-12-28 | 北京优彩科技有限公司 | 一种图像处理方法、装置、电子设备和可读存储介质 |
CN113034354A (zh) * | 2021-04-20 | 2021-06-25 | 北京优彩科技有限公司 | 一种图像处理方法、装置、电子设备和刻度存储介质 |
CN114663313A (zh) * | 2022-03-25 | 2022-06-24 | 清华大学 | 用于增强人脸斑纹特征的视觉方法、装置、设备及介质 |
CN115034911A (zh) * | 2022-07-05 | 2022-09-09 | 广州高新工程顾问有限公司 | 一种基于bim的全过程造价咨询服务方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CA2678551A1 (en) | 2008-09-12 |
US20080212894A1 (en) | 2008-09-04 |
HK1138662A1 (en) | 2010-08-27 |
WO2008109322A1 (en) | 2008-09-12 |
CA2678551C (en) | 2016-12-20 |
US8290257B2 (en) | 2012-10-16 |
CA2751549A1 (en) | 2008-09-12 |
CN101652784B (zh) | 2013-05-22 |
CA2751549C (en) | 2015-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101652784A (zh) | 模拟面部皮肤老化和去老化的方法及装置 | |
US11416988B2 (en) | Apparatus and method for visualizing visually imperceivable cosmetic skin attributes | |
Senan et al. | Analysis of dermoscopy images by using ABCD rule for early detection of skin cancer | |
JP7248820B2 (ja) | 美容的皮膚属性を決定するための機器及び方法 | |
EP2174296B1 (en) | Method and apparatus for realistic simulation of wrinkle aging and de-aging | |
US20200146622A1 (en) | System and method for determining the effectiveness of a cosmetic skin treatment | |
JP2015500722A (ja) | 皮膚ゾーンにおける皮膚症状を検出して数量化する方法および装置 | |
Attia et al. | Realistic hair simulator for skin lesion images: A novel benchemarking tool | |
Malik et al. | Novel techniques for enhancement and segmentation of acne vulgaris lesions | |
Leta et al. | A study of the facial aging-a multidisciplinary approach | |
Uthayakumar et al. | Optimized Mixed-Order Relation-Aware Recurrent Neural Networks based CAD Model for Skin Cancer Detection and Classification | |
Wang et al. | Image-based facial pore detection and visualization in skin health evaluation | |
US20240398096A1 (en) | Method and system for visualizing color gradient of human face or cosmetic skin attributes based on such color gradient | |
CN113711277B (zh) | 用于确定美容皮肤属性的设备和方法 | |
Tse et al. | Skin analysis using sulcus cutic extraction | |
Shilaskar et al. | Melasma Segmentation using U-Net: A Precise Approach for Skin Pigment Disorder Assessment | |
CN119173904A (zh) | 使用热图检测皮肤迹象并将其可视化 | |
den Brinker et al. | The IDED method to measure the visual accessibility of the built environment | |
Paquit et al. | Detecting flash artifacts in fundus imagery | |
CN119677453A (zh) | 用于预测皮肤迹象随时间的发展的方法 | |
Serrano | COLOR DETECTION IN DERMOSCOPIC IMAGES OF PIGMENTED SKIN LESIONS THROUGH COMPUTER VISION TECHNIQUES | |
Mehdi | Developing a Computer System for the Generation of Unique Wrinkle Maps for Human Faces. Generating 2D Wrinkle Maps using Various Image Processing Techniques and the Design of 3D Facial Ageing System using 3D Modelling Tools. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1138662 Country of ref document: HK |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1138662 Country of ref document: HK |