CN101657155A

CN101657155A - 用于通过化妆监视提供模拟图像的系统和方法

Info

Publication number: CN101657155A
Application number: CN 200880009579
Authority: CN
Inventors: 里克·B·耶格尔; D·C·伊格尔哈特; A·D·埃德加
Original assignee: Individual
Current assignee: YEAGER RICK B (US)
Priority date: 2007-02-11
Filing date: 2008-02-11
Publication date: 2010-02-24
Also published as: EP2120709B1; WO2008098235A3; WO2008098235A2; EP2120709A2

Abstract

一种使用广角照相机(70)、高分辨率照相机(16)和差别照明过程来捕捉主体图像的自动化妆品施与器(2)。软件(26)分析这些图像以识别所述对象的较大和较小部位并使用这些部位作为界标，以在计算机存储器内创建具有有关对象颜色、亮度值以及肌理特征的像素级数据的高度精确和数据丰富的相应的图。该丰富图像可用于跟踪该皮肤上的设备，以便对皮肤进行精确修正、模拟可能的化妆美化并选择所期望的修正，以及在诸如视频游戏和动画之类的其他应用中使用。

Description

用于通过化妆监视提供模拟图像的系统和方法

相关申请的交叉引用

本专利申请涉及由本发明的发明人于2007年2月11日提交的题为“SYSTEM AND METHOD FOR PROVIDING SIMULATEDIMAGES THROUGH COSMETIC MONITORING”的美国临时专利申请No.60/889292，并要求享有该临时申请的申请日；并且涉及由本发明的发明人于2007年2月11日提交的题为“HANDHELDAPPARATUS，DISPLAY，AND SOFTWARE-BASEDPOSITIONING FOR THE AUTOMATED APPLICATION OFCOSMETICS AND OTHER SUBSTANCES”的美国临时专利申请No.60/889290；并且涉及由本发明的发明人于2007年2月11日提交的题为“SYSTEM AND METHOD FOR THE PRECISIONWHOLE-BODY APPLICATION OF COSMETICS”的美国临时专利申请No.60/889289。

本专利申请通过引用包含由本发明的发明人于2006年8月14日提交的题为“SYSTEM AND METHOD FOR APPLYING AREFLECTANCE MODIFYING AGENT TO IMPROVE THEVISUAL ATTRACTIVENESS OF HUMAN SKIN”的美国专利申请No.11/503,806的以及于2008年2月11日提交的题为“HANDHELDAPPARATUS AND METHOD FOR THE AUTOMATEDAPPLICATION OF COSMETICS AND OTHER SUBSTANCES”的共同待决美国专利申请No.12/028,835的说明书、附图和权利要求。

技术领域

本发明涉及用于获取数字图像以及用于选择性地且准确地向人类皮肤施与诸如颜料或涂料之类的一种或多种反射率修改剂(reflectance modifying agent)以改善其视觉美观度的自动化计算机控制方法。

背景技术

现有化妆技术以及它们的缺点

用于修饰皮肤外观的现有技术包括天然晒黑、人工晒黑，以及有意施与化妆品。这些现有技术中每一项技术都具有局限性。

典型地，向皮肤施与化妆品主要用手，例如，通过使用刷子、敷用管子、笔、垫，以及手指。与本发明的计算机化技术相比，这些施与方法使得现有技术的化妆不精致，费力、昂贵，并且有时是有害的。

大多数现有技术的化妆方法都是基于施与不透明的物质。存在一种对准确施与诸如透明颜料之类的反射率修改剂(RMA)以提供更有效修饰的外观的需要。

与计算机控制技术相比，人工化妆品施与方法不准确，并且这种不准确可能使它们更为低效。例如，大量施与化妆底霜(foundationbase)可以导致不美观的浓妆(caked-on)外观。另外，人工技术通常需要很长时间，正如每天早晨上班时在高速公路上所看到的那样，人们发疯似地利用停车时间来化装。此外，人工施与化装品不便宜，当需要诸如美容师之类的专业人员的帮助时，就更加昂贵了。而且，在人工技术中向皮肤施与的材料本身常常就潜在地有害。例如，化妆的底霜可能导致皮肤干燥，并可能阻碍皮肤的呼吸。用于晒黑的日光或人造光可能会导致癌症。

因此，存在一种对准确施与反射率修改剂(RMA)，以对皮肤外观进行更有效、更自动化、更快、更便宜、并且更为安全的修饰的需要。上述交叉引用的美国专利申请提供了一种针对这一需要的系统和方法。

在此说明书中，术语“反射率修改剂”或“RMA”是指对改变另一种材料的反射率有用的任何化合物。RMA的一些示例有：墨水、颜料、涂料、漂白剂、化学修改剂(chemically altering agent)，及其他可以改变人的皮肤及其他部位(feature)的反射率的物质。在此说明书中，简单地使用术语“颜料”和“透明颜料”来代表任何RMA。

化妆品的消费者也需要一种有效技术，能够允许他们选择诸如化妆浓淡之类的所期望的化妆美化，直观了解这些美化对其自身看起来怎样(例如在计算机显示器上)，以及将化妆品准确施与到其自身以进行所选的美化。诸如MaryKay.com等网站提供了允许用户在他们的家庭计算机显示器上在不同类型的女人的数字图像上并且甚至在用户提交的他们自己的数字图像上尝试不同的化妆模式的虚拟化妆功能。然而，在虚拟化妆中使用的图像不提供计算高级RMA美化的足够细节，也不允许用户向其自身自动施与在计算机显示器上数字选择的化妆美化。存在一种对能让用户利用RMA施与器和计算机显示器来查看其自身足够详细的数字图像，使得他们能够对这些图像进行虚拟化妆美化，进而能够自动准确地将RMA施与到自身以实现那些美化的方法的需要。

消费者也需要能让他们不仅对诸如面部瑕疵之类的单个区域还能对整个身体进行化妆美化的有效技术。例如，某些人进行自然或者人工晒黑以使得他们的皮肤看起来更加光滑，并由此让整个身体更为美观。东亚的消费者常常使用化妆品使他们大部分皮肤看起来更浅。消费者也可能希望进行涉及颜色和肌理(texture)的复杂化妆，以便隐藏缺陷并美化其整个身体的外观。进行这种整个身体化妆的手动技术可能会特别费力、耗时且昂贵。存在一种能让用户对其整个身体进行自动化妆美化的系统和方法的需求。

模拟数字图像

在本专利申请中，“模拟图像”是指模拟真实对象并且可以显示在计算机化设备上的数字图像。对真实对象的模拟是以任何期望的方式来描绘对象，不严格限于由有关对象捕捉的照相或视频数据所展现的各个方面。模拟图像可以表示对象的静态图像或运动中对象的视频剪辑，并且可以是三维的(3D)。例如，模拟图像广泛地用于在计算机屏幕、蜂窝电话、视频游戏上显示、在电影的动画部分中显示以及在医疗成像中显示。

一般地，消费者希望在不同媒体中显示非常逼真的模拟图像。此外，他们可能想要模拟图像表示他们选择的对象。例如，这些对象可以是消费者自己、他们的朋友、他们的家人或诸如影星之类的他们喜爱的人物。例如，男孩可能想把他自己的脸放到视频游戏中的3D战斗角色上。女人可能想要在计算机设备上显示她的面部和头部的模拟3D图像，并且对该图像进行化妆美化，由此她可以虚拟地尝试不同的化妆效果和发型。

此外，消费者可能想要以某种方式而美化的更合乎需要的模拟图像。例如，有人可能想要自己的脸以使其看起来更为年轻和美观的方式显示。

现有技术及其缺点

已经用多种方式创建模拟图像。它们可以用手画然后扫描，拍照或视频录制以及可以通过计算机图形程序创建，以上都是需要特殊技巧的费力技术。

此外，模拟图像的创建可以通过如下步骤实现：使用附接到真实对象上的多个点的传感器，通常通过多个照相机数字记录对象运动，并使用计算机图形程序来创建其移动和面部表情是基于所记录对象的移动和面部表情的模拟人物。这样，卡通人物跳舞或微笑的动画是可基于真实演员的移动和表情。

在这些过程中使用的计算机图形程序愈发能够将所记录的有关真实对象的数据转换成模拟图像。一个示例是Optasia^TM，由ImageMatrics，PLC开发的基于模型的部位识别平台。Image Mtrics网站上的“Technical White Paper(技术白皮书)”声明了“The Optasia enginecan perform rapid model-to-image matching regardless of the modeltype，including those with high-frequency elements such as texture.(Optasia引擎可以在不考虑模型类型的情况下执行快速的模型-图像匹配，其中模型类型包括带有诸如肌理的高频元素的模型)”。Optasia作为三层的体系结构可以用在多个平台上。所有系统使用1)Optasia核心，以及2)扇区专用API(例如医疗图像分析)。现有知识被包括在3)‘expert(专家)’层(或模型)中。

然而，此类现有技术具有如下缺点：

●它们都是劳动密集的并且要求特殊的技巧以及对许多消费者而言难以得到的特殊的、通常很麻烦的设备。

●它们所产生的模拟图像具有有限细节，使得它们看起来不像消费者想要的那样逼真。相反，它们趋向于看起来是人工平滑的，这通常是因为有关对象的数据集有限，使得计算机图形程序必须用基本量进行猜测和平均以填充模拟图像的较大区域。这些猜测和平均可能要求复杂的算法和大量的计算能力。例如，上述Optasia的三层方法是复杂的并且计算密集的。

●它们使得消费者难以用来让自己模拟喜欢的图像。

●它们使得消费者难以用来以合乎需要的方式美化模拟图像。

●此外，它们对许多消费者而言是难以得到的，这些消费者可能无法获得昂贵的建模和图形软件和设备。

因此，存在一种对自动化妆监视和美化系统的需要，该系统对于消费者而言是容易得到且易于使用的，并且提供高分辨率逼真图像文件，所述文件带有可用于创建模拟图像的有关真实对象的丰富数据。

发明内容

本发明满足了这些及其他需求。以下解释通过示例而非限制地描述了本发明。

本发明的一个方面是提供带有可用于创建模拟图像的有关真实对象的丰富数据的高分辨率逼真图像文件。

本发明的一个方面是提供至少一个安装在RMA施与器上用于捕捉表面(诸如人体)图像的广角照相机。

本发明的另一个方面是提供一种使用由安装在RMA施与器上的至少一个广角照相机所捕捉的图像来识别表面(诸如人体)上较大部位的软件方法。

本发明的另一个方面是提供一种使用由安装在RMA施与器上的施与器头上的至少一个高分辨率照相机所捕捉的图像来识别表面(诸如人体)上较小部位的软件方法。

本发明的再一个方面是提供一种使用从捕捉的图像中识别的较大和较小部位而在计算机存储器内创建表面(诸如人体)图的软件方法。

本发明的另一个方面是提供一种使用计算机存储器内的图来跟踪RMA施与器相对于表面(诸如人体)某一区域的位置的软件方法。

本发明的再一个方面是提供至少一个安装在RMA施与器上以识别施与器的加速度变化的加速计。

本发明的另一个方面是提供一种使用由安装在RMA施与器上的至少一个广角照相机捕捉的图像以及由安装在施与器上的加速计收集的数据来识别表面(诸如人体)上较大部位的软件方法。

本发明的另一个方面是提供一种使用由安装在RMA施与器上的施与器头上的至少一个高分辨率照相机捕捉的图像以及由安装在施与器上的加速计收集的数据来识别表面(诸如人体)上较小部位的软件方法。

本发明的另一个方面是提供一种使用计算机存储器内的图以及由安装在RMA施与器上的加速计收集的数据来跟踪施与器相对于表面(诸如人体)某一区域的位置的软件方法。

本发明的一个方面是提供一种利用RMA施与器和显示对象的图像的装置来进行化妆美化的方法。

本发明的另一个方面是提供一种让用户选择对象的数字图像的化妆美化并加以显示的方法。

本发明的再一个方面是提供一种让用户基于对计算机显示器上的图像所做出的选择而向对象自动施与RMA以实现化妆美化的方法。

这些及其他方面、特征及优点根据本发明的系统和方法而实现。依照本发明，自动化妆品施与器使用至少一个广角照相机和至少一个高分辨率照相机来捕捉表面(诸如人体)的图像。在使用高分辨率照相机捕捉图像以识别肌理期间使用差别照明过程。所得的图像包含有关对象的颜色、亮度值以及肌理特征的丰富的像素级数据。软件分析图像以识别该表面的较大和较小部位并且使用这些部位作为界标以在计算机存储器内创建相应的图。随后，软件使用该图来计算对表面各方面的化妆美化，并且确定施与器的定位，用以准确喷涂(deposition)化妆品以实现美化。一个或多个加速计被添加到施与器上以提供增加图的精度和施与器定位精度的数据。软件使用图来提供“pix-rich(像素丰富)”文件，即同样是数据丰富的有关对象的高分辨率逼真图像文件。Pix-rich文件可以被显示和进一步修改，以例如在视频游戏和动画中用作模拟的静态和视频3D图像。

依照本发明，反射率修改剂(RMA)施与器上的施与器头扫描用户的某一区域，诸如面部。它使用软件来感测颜色和肌理的各个方面、绘制区域图，并自动计算化妆美化。表示扫描、绘图和化妆美化的一个和多个数字图像被存储在计算机存储器内。用户利用计算机控件在计算机显示器上查看原始扫描的一个或多个图像以及可能的化妆美化，并且选择和修改所期望的虚拟化妆美化。接着，用户利用RMA施与器上的施与器头来向实际区域自动施与RMA以实现指定的美化。在该过程期间，区域上的界标被用于对齐(registration)，以创建区域的图，跟踪虚拟美化并能够精确定位施与器头，以便随后用于向该区域准确施与RMA。

附图说明

参考附图仅通过示例的方式对本发明的下述实施例进行描述，在附图中：

图1是例示RMA施与器头的各个元件以及带有显示器和控件的计算机的框图；

图2A是例示安装在RMA施与器上的广角照相机和加速计的代表性图示；

图2B是例示RMA施与器的顶视图的代表性图示，其中示出了RMA施与器的广角照相机的视野；

图3是例示用于确定表面(诸如人体)上各部位位置以用于绘图和喷涂化妆品的一般步骤的流程图；

图4是例示施与器头在皮肤区域上移动的路径，由此可以捕捉多个重叠图像的代表性图示；

图5是例示要求对齐的与本发明相关联的各方面的代表性图示；以及

图6是例示使用施与器头、计算机显示器和计算机控件来选择视觉化妆美化并施与RMA以便在实际区域上实现它们的一般步骤的流程图。

具体实施方式

实施例的详细描述-通过跟踪较大和较小部位来确定头的位置

引用的美国专利申请No.11/503,806描述了一种计算机控制系统和方法，所述系统和方法用于扫描人类皮肤和其他部位的区域并自动识别该区域中的不美观属性，计算化妆美化，并且典型地通过喷墨打印自动施与RMA以便对该区域进行所述美化。

题为“HANDHELD APPARATUS AND METHOD FOR THEAUTOMATED APPLICATION OF COSMETICS AND OTHERSUBSTANCES”的美国专利申请No.12/028,835描述了具有用于在表面上移动RMA施与器的凸起接触装置(诸如施粉轮(pounce wheel))的施与器头。

本发明的一个方面是创建可被显示并进一步修改以用作模拟的静态和视频3D图像(例如在视频游戏和动画中)的丰富图像文件。在本专利申请中，pix-rich^TM文件是包含有关对象的颜色、亮度值以及肌理特征的丰富像素级数据的文件。

本发明包括对系统和方法的革新，所述系统和方法提供对人体上较大部位和皮肤区域上较小部位的定位以及化妆品施与器相对于这些部位的的定位的有效跟踪。

用于扫描和施与化妆品的仪器

以下部分解释了一种扫描表面，计算化妆美化并施与反射率修改剂(RMA)，同时还可用于提供有关pix-rich文件的数据的仪器的一个实施例。

在图1中示出的施与器头2覆盖了约等于单个电动剃须刀头的皮肤区域。这种大小被证实适合日常与人类面部密切接触。在有关施与速度的实施例中，可以在浮动支架(floating mount)上装配多个施与器头2，就像有多个浮动头组合成单个电动剃须刀那样。

元件

施与器头2包括以下元件。

塑料外壳

模塑外壳4A和4B具有防水的“O”型橡皮环，以使得施与器头2可以象剃须刀那样在水龙头下运转以方便清洁。喷墨打印机头8可以用这种方式维护，而这不是普通打印机的一个可选项。在一个实施例中，施与器头2可以“停放”在台座上以供存储，该台座可以盖在施与器头2顶上。

浮动环

在一个示例中，施与器头2通过带有施粉轮7的浮动环6在皮肤上移动，所述施粉轮7是带有围绕其外轮缘的点的轮。

点的高度维持与表面的适当距离，用于扫描和喷墨喷涂。施粉轮7还减少外部光进入施与器基座周围的量，以避免扫描精度的失准。此外，施粉轮7上的点限制了施与器头2与所喷涂的化妆品的接触，以免弄脏。由此，当施粉轮7在表面上移动时，它们通常会留下最少的RMA喷涂物。

施粉轮7应由例如硅橡胶或Teflon(特富龙)之类的耐久、无吸收性的憎水材料制成，这样使得它们耐用且不吸收RMA。其高度也应较低，例如3/16英寸(4.8mm)。使用低高度使得系统接近表面，这样不会有太多的光进入到系统下面。施粉轮7还可以被涂成黑色，以有助于光的吸收。其宽度应较窄，以进一步减小与RMA接触的区域。它们的点应该不是非常尖锐的，这样它们将不容易刺破表面，诸如皮肤。

在一个实施例中，可以将施粉轮7安装在用作轴的薄线(thinwire)上。

在一个实施例中，可以在浮动环6的每个边上安装十二个施粉轮。

在一个实施例中，使用非接触静电擦拭(未示出)来从施粉轮7上吹掉RMA。

喷墨头

非常薄的喷墨头8适于与皮肤垂直地放入外壳凹槽10。

物镜

带有LED组件13的物镜12提供了远心观察，使得大小与距离无关，且视野恰好在喷墨头周围。它放入外壳凹槽14并有助于保护镜头后的电子元件免受水和污垢。

照相机

带有电子元件的高分辨率照相机模块16放入外壳凹槽18。在一个实施例中，高分辨率照相机模块16可以是用于诸如蜂窝电话的移动设备的模块。这些模块中较新的模块具有3兆像素及以上。当覆盖跨半英寸的区域时，仅1兆像素的照相机在10英寸处(25cm)就具有四倍于人眼分辨率的分辨率。

化妆品容器

可替换的化妆品容器20和墨水仅被示为一个块，但是它应该具有视觉吸引力和可保护的设计，因为它就象剃须刀片一样是消费者实际上重复购买的东西。在一个实施例中，化妆品容器20可以包含多种单独的RMA颜色，这些颜色可以被混合以实现期望的效果。在另一个实施例中，它可以包含单种预先混合的RMA颜色以实现期望的目标颜色或效果。

附件

在一个实施例中，施与器头2被附接到以下给出的各个元件。

线缆

在一个实施例中，需要数据和电源线缆22。可以使用USB 2.0线缆。

计算机

需要消费者计算机24。可以使用几乎任何正确配置有足够的磁盘存储器、可以用的显示器和USB端口的较新计算机。

计算机24还可以包括显示器28和控件29，两者是本领域技术人员公知的。

软件

需要在计算机24上运行的软件26，并且软件26提供用于扫描人类部位(诸如皮肤)某一区域，计算化妆美化，跟踪对齐以及施与RMA的功能，这在交叉引用的申请和以下概述中有详细解释。

在一个实施例中，软件26还能让用户利用RMA施与器头2、显示器28以及控件29来查看所存储的有关扫描表面的数字图像，这样用户就能够对这些图像进行虚拟化妆美化并且能够向该表面自动精确地施与RMA以实现那些美化。

广角照相机

在图2A中的实施例中示出的一个或多个广角照相机70可以附接到施与器3上。

在一个实施例中，可以使用六个微型广角照相机70，每个广角照相机70如图2B所示覆盖一片视野74，即在施与器头2以下或周围可视区域的大约60°或更大，由此覆盖要扫描的360°表面。

在该实施例中，广角照相机70被安装在施与器3的边上，在一个或多个图1所示的施与器头2周围并且向外向下看，类似于狼蛛的提供周围视觉的八只眼睛的拓扑。图2A所示的广角照相机70由此可以被认为类似于可视元件并用于识别诸如身体表面上的骨结构、嘴唇和眼睛的较大部位的位置以及施与器3相对于该表面的定位。这种较慢的移动可以被表征为提供低频数据。

广角照相机70所捕捉图像中的某些重叠可以用于识别较大部位的位置以及施与器3相对于表面的定位。

在一个实施例中，照相机可以聚焦在反射镜上以扩展照相机的可视区域。例如，360°反射镜能让照相机如本领域技术人员公知的那样用作广角照相机。

加速计

一个或多个加速计72可用于测量加速度，以便给出对施与器3的快速移动的极为准确的跟踪。这种快速移动可以被表征为提供高频数据。使用加速计72使得能够相对于正扫描表面的各方面逐帧地跟踪施与器3的位置。

例如，可以使用本领域技术人员所公知的piezo(压电)加速计。在一个实施例中，可以在施与器3的边的周围使用六个piezo加速计72，以便提供有关沿着施与器的X、Y和Z轴移动的数据，来表示俯仰(pitch)、侧转(yaw)和侧滚，(roll)。

加速计72由此可以被认为类似于内部定位感知，诸如人类内耳的定位感知。

操作方法

本发明需要复杂的软件方法来管理整个身体表面的准确绘图，类似于已经在游戏和现代动画中解决的问题。该方法的一般步骤在图3中示出。

图3中的步骤1000-使用一个或多个广角照相机来捕捉图像

在一个实施例中，用户将图2A所示的施与器3朝向身体移动以便与皮肤接触，并且图1所示的计算机24从图2A所示的广角照相机70接收表示身体表面的区域的扩展视图的曝光。这些曝光向图1所示的计算机24馈送示出了诸如眼睛、嘴唇、胸部之类的较大附近部位以及诸如膝盖之类的骨骼结构的方向和接近度的地表数据(landscapedata)，并监视肢体的部署和运动。在图1示出的施与器头2接触皮肤之后，图2A示出的广角照相机70继续向计算机馈送有关较大部位的所述地表数据。

于是，广角照相机70由此起到类似于Lunar Lander(月球登录舱)上绘制月球表面上较大界标的传感器的作用。

图3中的步骤1010-使用一个或多个高分辨率照相机来捕捉图像

在一个实施例中，在图1示出的施与器头2接触皮肤之后，用户在皮肤上任何地方上移动施与器头2，非常类似于使用电动剃须刀。例如，用户可以如图4所示在皮肤区域302上沿着移动路径30移动施与器头2。

图1所示的照相机模块16于是优选地至少每10秒捕捉来自图1所示的施与器头2下的图4所示的皮肤区域302的重叠图像。每次捕捉的图像的大部分是前次捕捉的重复。例如，捕捉图4所示的图像42、44和46。

在一个实施例中，来自例如图1所示蜂鸣器21的声源的可听信号引导用户完成每个区域。

在另一个实施例中，在计算机显示器28上跟踪施与器头2的运动和动作。

在另一个实施例中，用户总是在诸如前额的上心(top center)之类的固定点处开始施与器会话、等待蜂音来证实数据的采集，并且以规定模式从接触点开始扫描，例如每遍将施与器头2下移约1/8宽度以左右来回移动的模式。这样，软件26只有保持锁定位置的简化任务，而非跟踪复杂且任意的无重叠移动的任务。

图3中的步骤1020-识别较大部位

在一个实施例中，图1所示的软件26分析来自图2A所示的广角照相机70的曝光，与先前存储在计算机存储器中(诸如图1所示的计算机24的非易失性存储器中)的较大人类部位的至少一个通配图(generic map)相比较。

如本领域技术人员所公知的，这类人类部位通配图用于游戏和动画行业中。一个示例是Optasia^TM，由Image Metrics，Plc开发的基于模型的部位识别平台。Image Metrics网站上的“Technical WhitePaper(技术白皮书)”声明了“The Optasia engine can perform rapidmodel-to-image matching regardless of the model type，includingthose with high-frequency elements such as texture.(Optasia引擎可以在不考虑模型类型的情况下执行快速的模型-图像匹配，其中模型类型包括带有诸如肌理的高频元素的模型。)”。

于是，软件26可以从图2A所示的广角照相机70接收的数据来识别较大部位的位置。

图3中的步骤1030-跟踪施与器相对于较大部位的定位

图1所示的软件26也计算图2A所示的施与器3相对于其已识别的较大部位的位置的定位。

由图2A所示的广角照相机70得到的视觉定位感知在低频是精确的。实际上，由于可以使用平均，所以它在低频处更为精确。广角照相机70可以找出定位并且精确监视极为缓慢的移动。

使用加速计

在包括一个或多个图2A所示的加速计72的实施例中，图1所示的软件26还基于图2A所示的施与器3的快速移动计算较大部位的定位以及施与器3的定位。

在该跟踪过程中，所有的传感器由此在每次施与器会话期间随着视觉测量的精确运动训练传感器的增益和偏移量而不断地细化校准。这是人类视觉传感器和定位传感器之间的关系。

图2A所示的加速计72对于查找绝对定位(DC)是无用的，但是它可以精确地跟踪快速运动，最高到音频频率(此处视觉是无用的)并且实际上可用作话筒。其间存在来自广角照相机70和来自加速计72的两种测量可以交叉的交叉频率，如同低音用扩音器和高音用扩音器那样。在该频率范围附近，视觉定位被用于调整和不断细化加速计72的增益和偏移量。在一个实施例中，在该施与器3中，该交叉可以在约1Hz处。

图3中的步骤1040-识别较小部位

图1所示的软件26分析从高分辨率照相机16捕捉的诸如图4所示的图像42、44和46之类的图像，并且识别在这些图像中的界标或“皮肤标志”。人类部位的许多方面可以用作皮肤标志，例如毛孔、痣、疤痕、细纹、皱纹、老年斑、晒伤、雀斑、颜色变化、部位的轮廓和诸如肿块等肌理变化。例如，所捕捉图像42的扩展视图42′表示一个皮肤标志的区别模式：毛孔50、在不同位置的另一毛孔52、疤痕54、皱纹56和在再一位置的第三毛孔58。所捕捉图像46的扩展视图46’表示一个不同的区别模式：毛孔60、另一毛孔62、第三毛孔64、痣66和皱纹68。

一般地，基于所扫描的皮肤标志的经验性研究，每种类型的皮肤标志具有可以从扫描数据中识别的区别特征。这些特征的示例在交叉引用的专利申请中有所解释。

在一个实施例中，图2A所示的施与器3可以包括多个图1所示的施与器头2，并因此利用多个高分辨率照相机16来捕捉可以被分析以识别皮肤标志的图像。

图3中的步骤1050-跟踪施与器头相对于较小部位的定位

由上述皮肤标志提供的定位信息能够让图1所示的软件26保持施与器头2、图4所示的皮肤区域302以及寄存器中的计算机模型。由此，无论图1所示的施与器头2是否放置在皮肤上，软件26都可以跟踪施与器头2相对于以下描述的全局图上的皮肤标记定位在哪里，而所述全局图是使用所识别的皮肤标志并且在完成包含所有皮肤标志的整个图之后组装而成的。

在最差的情况下，软件26可能必须处理皮肤的较大区域以找到皮肤标志的非冗余集合以便用于跟踪。

使用加速计

在包括一个或多个图2A所示的加速计72的实施例中，图1所示的软件26还基于图2A所示的施与器3的快速移动计算较小部位的定位和施与器头2的定位。

如上所述，在该跟踪过程中，所有传感器由此在每次施与器会话期间随着由视觉测量的准确运动训练传感器的增益和偏移量不断细化校准。这是人类视觉和定位传感器之间的关系。

图3中的步骤1060-在计算机存储器中创建较大和较小部位的图

如在图5中所示，本发明的方法需要知道相对于真实皮肤36和其它部位的施与器头2的定位，以及从真实皮肤36和其它部位到计算机存储器中的抽象层38的映射，即

●对该皮肤和其它部位建模

●描述美观选择

●引导执行策略，以及

●跟踪皮肤和其它部位的外观的长期改变。

图1所示的软件26使用它已识别的较大和较小部位相对于图2A所示的施与器3的定位来组合扫描表面的全局图并将其存储在计算机存储器内，例如图1所示的计算机24上。此外，可以在每次移动图2A所示的施与器3来扫描皮肤或其它部位的额外区域时不断修订全局图，这样使得皮肤的整个期望区域的全局图可以被组装并通过进一步的扫描来修订。

在一个实施例中，以周期性的间隔自动存储全局图。在另一个实施例中，在每次图1所示的施与器头2从扫描表面抬离时存储全局图。由此，全局图能够实现在应用程序会话之间甚至几天之间施与器定位、扫描表面和计算机策略层的对齐。

如果给定一座包括许多街道、房屋和树木的城市图片，那么就可以跟踪该区域是城市中的什么地方，即使有些房屋改变了并且树叶换上的秋天的颜色。类似地，在诸如活体皮肤的人类部位的改变(例如颜色改变和新皱纹的出现)不会妨碍通过全局图的总体跟踪的精度。

在一个实施例中，计算机图从由图2A所示的广角照相机70捕捉的图像中逐骨且逐关节地跟踪人体的骨骼结构。在皮肤表面上的较小部位由其相对于基本骨骼结构的位置来参考而不论骨结构如何移动，这使得即使在身体主动活动期间frexel--或皮肤区域--相对于该复杂的系统保持恒定定位。

Frexel

在该专利说明书中，术语“frexel”被定义为皮肤的较小的类像素区域。frexel可能对应于雀斑或其他皮肤部位的小部分，或者可以对应于没有特殊特征的皮肤区域。frexel由此是指皮肤而非指独立的坐标系。术语frexel可用于暗示在3-D表面上而非平坦表面上测量的对象。

图3中的步骤1070-计算对部位各方面的化妆美化作用

自动美化

在一个实施例中，图1所示的软件26可以使用在交叉引用的专利申请中描述的方法来自动计算并(在一个实施例中)显示对部位的化妆美化。例如，这些美化作用可用于平滑皮肤、增亮皮肤、遮盖瑕疵以及使得雀斑更轮廓鲜明(crisper)。

此外，软件26可以基于设计者面容(如晚妆面容或NicoleKidman的面容)的输入来执行整体美化。在所引用的临时专利申请中描述了该技术的一个实施例。

这些自动美化可以自动地或响应于用户选择完成。

用户输入

在一个实施例中，用户可以指定全部或部分的美化，包括对自动美化的修改。

图3中的步骤1080-确定施与器相对于实际部位的定位

在已计算美化之后，用户再次将图2A所示的施与器3移动到要化妆美化的表面上。图2A所示的广角照相机70和图1所示的高分辨率照相机16再次捕捉表面的图像。

软件26再次识别扫描表面的较大和较小部位以及图2A所示的施与器3相对于扫描表面的全局图中的界标和皮肤标志的定位。由此，软件26可以确定施与器相对于实际部位的定位。

在包括一个或多个图2A中所示的加速计72的实施例中，图1中所示的软件26进一步基于图2A中所示的施与器3的快速移动来计算较大和较小部位的定位以及施与器3的定位。

图3中的步骤1090-向实际部位施与RMA以实现化妆美化

当图1所示的软件26确定已为其指定美化的皮肤或其他部位的某一区域在喷墨头8下面时，软件26就指令喷墨头8施与包含在化妆品容器20内的RMA以便完成美化。

在一个实施例中，可以将施与器头2在皮肤上移动多遍来喷涂RMA，直至完成所选的美化。接着在后续遍数中不再喷涂RMA。

可以重复扫描、进行虚拟美化以及施与RMA的整个过程直到用户满意为止。

详细描述-创建Pix-Rich文件

在对上述系统和方法的革新中，为化妆美化创建的详细的高度精确的全局图可以保存为pix-rich文件。这些pix-rich文件接着可以被移到任何计算机设备上并且可以作为用于任何虚拟显示的数字图像而被使用，例如在游戏、动画、蜂窝电话或医疗应用中使用。例如，如本领域技术人员所公知的，全局图中的数据平面可以被部分或全部保存为经压缩的JPEG文件。

用于逼真模拟的更为丰富、更为可操作的数据

Pix-Rich文件是一种新的媒体，因为比起扫描图像或照片的先前文件中的数据，pix-Rich文件提供的有关扫描表面的数据在定位信息、反射率(RGB)和地形(肌理)数据方面更为丰富。例如，在交叉引用的专利申请中解释的差别照明技术提供了有关扫描表面拓扑的大量增加的数据，这些数据示出了有关较大和较小部位的更多信息，从眼睛和颧骨级直到皮肤毛孔级。此外，因为有关表面小片断的扫描数据的许多不同帧被放在一起以组装成全局图，所以获取了更多的数据。这进一步提供了有关表面的极高分辨率的数据。

结果，pix-Rich文件可以提供有关人类的逼真得多的图像以用于模拟图像，大大减少了过平滑的问题。

因为它们提供了更为丰富的数据，所以它们也是电子可动态操作的。也就是说，由诸如游戏或动画应用之类的软件操纵它们要容易得多，因为这种软件不必为许多缺少的信息进行猜测和计算，也无需努力工作辨认部位以创建模拟图像。

可用性

Pix-Rich图像潜在地通过上述化妆扫描和应用系统的家庭扫描实施例而更加可用。

用户美化

用户将能够使用上述化妆扫描和应用系统的家庭扫描实施例来化妆美化可被保存为pix-rich文件的其自身的图像。这将有助于用户能够呈现他们想要看到的其自身的模拟图像。

详细描述-替换实施例

其他硬件配置

图1所示的施与器头2被附接到带有显示器28和控件29的单独的计算机26上。在另一个实施例中，施与器头2可以包括其自身是带有非易失性存储器、显示器和控件的计算机化设备的RMA施与器元件，由此就不需要单独的计算机作为附件。

施与RMA之外的其他物质

本发明的施与器头2可用于施与RMA之外的其他物质，例如有医疗效果的化合物或活体皮肤。

向皮肤之外的其他区域施与

本发明的施与器头2可用于向人类皮肤之外的其他区域施与RMA和其他物质。例如，它可以向织物、水果、墙、树叶和花施与物质。

全局图的其他用途

为化妆美化创建的详细的、高度精确的全局图可以作为用于任何虚拟显示的数字图像使用，例如在游戏、动画、蜂窝电话和医疗应用中使用。

实施例的描述-整个身体的化妆美化

操作方法

本发明的典型用途是对人的面部进行化妆美化，但是也可以向人体或其他表面的任何其他区域进行类似的美化。在以下给出的本发明的解释中，面部被用作特定示例并且进一步表示人体皮肤的任何区域、任何人类部位或要美化的任何其他表面。在图6中示出了该方法的一般步骤。

图6中的步骤2000-扫描真实面部

在一个实施例中，用户将图1所示的施与器头2移动到面部的任何地方，非常类似于使用电动剃须刀。例如，用户可以如图4所示在皮肤区域302上沿着移动路径30移动施与器头2。面部可以是该用户或任何其他人的脸。

图1所示的照相机模块16于是至少每10秒捕捉来自图1所示的施与器头2下的图4所示的皮肤区域302的重叠图像。每次捕捉的图像的大部分是前次捕捉的重复。例如，捕捉图4所示的图像42、44和46。

在另一个实施例中，用户总是在诸如前额的上心之类的固定点处开始施与器会话、等待蜂音来证实数据的采集，并且以规定模式从接触点开始扫描，例如每遍将施与器头2下移约1/8宽度以左右来回移动的模式。这样，软件26只有保持锁定位置的简化任务，而非跟踪复杂且任意的无重叠移动的任务。

图6中的步骤2002-创建面部全局图

如在图5中所示，本发明的方法需要知道相对于真实皮肤36的施与器头2的定位，以及从真实皮肤36到计算机存储器中的抽象层38的映射，即对该皮肤建模，描述美观选择，引导执行策略，以及跟踪皮肤的外观的长期改变。

为了跟踪定位，软件26分析诸如图4所示的图像42、44和46之类的面部的捕捉图像，并且识别这些图像中的界标或“皮肤标志”。人类部位的许多方面可以用作皮肤标志，例如毛孔、痣、疤痕、细纹、皱纹、老年斑、晒伤、雀斑、颜色变化、部位的轮廓和诸如肿块等肌理变化。例如，所捕捉图像42的扩展视图42′表示一个皮肤标志的区别模式：毛孔50、在不同位置的另一毛孔52、疤痕54、皱纹56和在再一位置的第三毛孔58。所捕捉图像46的扩展视图46’表示一个不同的区别模式：毛孔60、另一毛孔62、第三毛孔64、痣66和皱纹68。

图1所示的软件26识别诸如图4所示的42、44、46的每个捕捉图像内的界标的这种区别模式并且使用它们来组合面部全局图。此外，可以在每次移动施与器头2来扫描皮肤或其它部位的额外区域时不断修订全局图，这样使得面部的整个期望区域的全局图可以被组合并通过进一步的扫描来修订。

图6中的步骤2004-使用全局图来确定施与器头2的位置

由上述皮肤标志提供的定位信息能够让图1所示的软件26保持施与器头2、图4所示的皮肤区域302以及寄存器中的计算机模型。由此，无论施与器头2是否放置在面部，图1所示的软件26都可以跟踪施与器头2相对于全局图上的皮肤标记定位在哪里，而所述全局图是使用所识别的皮肤标志并且在完成包含所有皮肤标志的整个图之后组装而成的。

在最差的情况下，软件26可能必须处理面部的较大区域以找到皮肤标志的非冗余集合以便用于跟踪。

图6中的步骤2006-存储全局图

一个革新是图1所示的软件26将全局图存储在计算机24上的非易失性存储器中。在一个实施例中，以周期性的间隔自动存储全局图。在另一个实施例中，在每次施与器头2从面部抬离时存储全局图。

由此，全局图能够实现在应用程序会话之间甚至几天之间施与器头2的定位、皮肤和计算机策略层的对齐。

如果给定一座包括许多街道、房屋和树木的城市图片，那么就可以跟踪该区域是城市中的什么地方，即时有些房屋改变了并且树叶换上的秋天的颜色。类似地，诸如颜色改变和新皱纹出现的活体皮肤的改变不会妨碍通过全局图的总体跟踪的精度。

图6的步骤2008-显示面部数字图像

在已存储全局图之后，用户可以使用图1所示的计算机控件29在计算机显示器28上显示面部的高级代表性图像。所显示的图像是丰富详细的数字图像。

图6的步骤2010-数字地美化所显示的面部

用户于是可以利用图1所示的计算机控件29对面部的显示图像进行虚拟化妆美化，例如改变着色区域或实现整体“面容”。软件26将虚拟美化与全局图中适当的皮肤标志相关联。

在不同的实施例中，可以自动地以及通过特定的用户输入进行虚拟美化。

自动美化

在一个实施例中，软件26可以使用在交叉引用的专利申请中描述的方法来自动计算并显示对皮肤区域302的虚拟化妆美化。例如，这些美化作用可用于平滑皮肤、增亮皮肤、遮盖瑕疵以及使得雀斑更轮廓鲜明。

此外，软件26可以基于设计者面容(如晚妆面容或NicoleKidman的面容)的输入来执行整体美化。在所引用的临时申请中描述了该技术的一个实施例。

这些自动美化可以自动地或响应于用户选择完成。

用户输入

在一个实施例中，用户可以指定全部或部分的虚拟美化，包括对自动美化的修改。

图6中的步骤2012-再次扫描人的真实面部

当用户已选择了一个或多个所期望的虚拟美化之后，用户再次将图1所示的施与器头2移动到面部。施与器头2再次捕捉面部图像。

图6中的步骤2014-使用全局图来确定施与器头2的位置

图1所示的软件26分析捕捉图像中的皮肤标志并将这些皮肤标志与存储在全局图中的皮肤标志相关联以确定施与器头2相对于面部已指定了虚拟美化的位置的定位。

图6中的步骤2016-向真实面部施与RMA以完成指定的美化

当图1所示的软件26确定已为其指定虚拟美化的面部某一区域在喷墨头8下面时，软件26就指令喷墨头8施与包含在化妆品容器20内的RMA以便完成美化。

在一个实施例中，可以将施与器头2在面部移动多趟以喷涂RMA，直至完成所选的美化。接着在后续各遍中不再喷涂RMA。

其他硬件配置

施与RMA之外的其他物质

向皮肤之外的其他区域施与

将对本领域技术人员显而易见的是本发明的不同实施例可以利用各种各样可能的硬件和软件技术。本发明的范围不受上述特定实施例的限制。

Claims

1.一种用于仪器的施与器，用于通过施与反射率修改剂改善区域人类皮肤的视觉美观，所述施与器包括：

反射率修改剂施与器头，包括

外壳，

喷墨打印机头，

遥测物镜，

多个广角照相机，

至少一个高分辨率照相机，以及

反射率修改剂容器。

2.如权利要求1所述的施与器，还包括：

包括多个凸起触点的浮动环。

3.如权利要求1所述的施与器，其中所述遥测物镜还包括：

LED组件。

4.如权利要求1所述的施与器，其中多个广角照相机还包括：

六个微型广角照相机，相对于外壳向外和向下瞄准，使得每个广角照相机具有在所述施与器之下及周围可视区域的约60°的视野。

5.如权利要求1所述的施与器，还包括：

至少一个加速计。

6.一种扫描皮肤区域的方法，所述方法包括

提供一种设备，所述设备包括

多个广角照相机；以及

高分辨率照相机；

在所述皮肤区域上移动所述设备；

使用所述高分辨率照相机捕捉第一组图像；

使用所述广角照相机捕捉第二组图像；

从所述第二组图像识别较大部位；

从所述第一组图像识别较小部位；

跟踪所述设备相对于所述较大部位和所述较小部位的定位；以及

创建所述较大部位和较小部位的图。

7.如权利要求6所述的方法，还包括：

计算所述皮肤区域内的化妆美化；

确定所述施与器相对于所述较小部位和较大部位的定位；以及

在所述皮肤区域内选择性地施与反射率修改剂。

8.如权利要求6所述的方法，其中识别较大部位还包括：

基于较大人类部位的通配图，利用软件来分析使用一个或多个广角照相机捕捉的图像。

9.如权利要求6所述的方法，还包括：

在第一时间生成图；以及

在第二时间修订所述图。

10.如权利要求6所述的方法，还包括：

基于骨骼模型来创建所述图。

11.如权利要求6所述的方法，还包括：

使用至少一个加速计来跟踪所述设备的移动。

12.如权利要求6所述的方法，其中从所述第一组图像识别较小部位还包括：

识别从包含毛孔、痣、疤痕、细纹、皱纹、老年斑、晒伤、雀斑、颜色变化、部位轮廓和诸如肿块的肌理变化的组中选出的较小部位。

13.如权利要求6所述的方法，还包括：

将全局图保存为包括像素级反射和地形数据的pix-rich文件。

14.如权利要求6所述的方法，还包括：

操纵所述pix-rich文件。

15.如权利要求6所述的方法，其中操纵所述pix-rich文件还包括：

将所述pix-rich文件用于游戏或动画。

16.如权利要求6所述的方法，其中操纵所述pix-rich文件还包括：

化妆美化图像。

17.如权利要求6所述的方法，其中在所述主体的一部分上移动所述设备还包括：

在所述主体的一部分上多遍移动所述设备。

18.如权利要求6所述方法，还包括

存储所述图；以及

使用所述图将所述设备的位置与所述皮肤上的界标相关联。