CN110597384A - 信息沟通方法及其系统 - Google Patents

Abstract

本发明提供一种信息沟通方法及其系统，应用于具备相机的移动装置，该方法包括步骤：输入沟通信息；撷取装置所属用户的当前面部图像；根据该当前面部图像选择相应的预设动作；执行该预设动作并应用于该沟通信息，以发送该沟通信息。本发明在用户输入沟通信息后，即时撷取用户当前的面部图像，从而根据面部图像分析得出用户当前的表情和/或情绪，再由该用户当前的表情和/或情绪选择相应的预设动作，执行该预设动作以应用于沟通消息。通过上述方法及其系统能够准确有效的得知用户在输入或是发送沟通消息时的真实表情和/或情绪，提升发送方与接收方的沟通效率，加强了沟通过程的生动性。

Description

信息沟通方法及其系统

技术领域

本发明涉及电子通信领域，尤其涉及一种信息沟通方法及其系统。

背景技术

目前远距离的信息沟通方式已深入大部分人的生活之中，而正因其便捷性以及实时性，使得每人几乎每天都使用信息沟通系统以方便与数据传输系统中的其它使用者联络。

而以现今几种信息沟通方式而言，大多使用者能够以特定符号与信息作为相互交谈时的一种情绪互动表达方式，以与其它使用者进行通信，然而这种方式仍属于一种平面化且较单调的互动，且无法将使用者的实时情绪表现地更加生动化，更甚者还会造成双方沟通上的误会。

因此，有必要设计一种新型的信息沟通方法及其系统，以克服上述缺陷。

发明内容

本发明的目的在于提供一种信息沟通方法及其系统，其能够在生成沟通信息的同时确定发送方的实时情绪，并根据实时情绪执行相应的预设动作。

为达到上述目的，本发明提供了一种信息沟通方法，应用于具备相机的移动装置，该方法包括步骤：输入沟通信息；撷取装置所属用户的当前面部图像；根据该当前面部图像选择相应的预设动作；执行该预设动作并应用于该沟通信息，以发送该沟通信息。

较佳的，该沟通信息包括文字信息、数字信息、影像信息、符号信息以及声音信息的其中之一或组合。

较佳的，所述“根据该当前面部图像选择相应的预设动作”包括：分析与该当前面部图像相关联的表情参数，以根据该表情参数选择相应的该预设动作。

较佳的，该预设动作包括：根据该表情参数以控制该沟通信息进行动态显示；及/或根据该表情参数添加对应的表情标签，将该表情标签与该沟通信息相结合以进行显示。

较佳的，所述“输入沟通信息”之前，还包括：采集多种表情所对应的多种表情参数，统计该多种表情参数以预设有表情参数数据库。

较佳的，该表情参数包括：面部图像中眉毛、眼睛及嘴巴之间的相对坐标、距离、大小及形状中的其中一种或组合。

较佳的，所述“将该预设动作应用于该沟通信息，以发送该沟通信息”之后，包括：该用户选择是否将该预设动作应用于该沟通信息并发送该沟通信息。

较佳的，若该用户选择不将该预设动作应用于该沟通信息，则再次撷取该用户的该当前面部图像以重新选择相应的该预设动作。

此外，本发明还提供一种信息沟通系统，应用于具备相机的移动装置，该信息沟通系统包括：输入模块，该输入模块用以输入沟通信息；影像撷取模块，耦接于该输入模块，该影像撷取模块用以撷取该信息沟通系统所属用户的当前面部图像；处理模块，耦接于该影像撷取模块，该处理模块用以根据该当前面部图像选择相应的预设动作；执行模块，耦接于该执行模块，该执行模块用以执行该预设动作并应用于该沟通信息，以发送该沟通信息。

较佳的，该移动装置包括智能手机、笔记本电脑及可穿戴式设备中的任意一种。

与现有技术相比，本发明提供的信息沟通方法及其系统在输入沟通信息后即时撷取所属用户的当前面部图像，根据该当前面部图像以执行相应的预设动作并应用于沟通信息，使得沟通信息更加生动化，从而改善了传递沟通信息时发送方和/或接受者情绪的效率及精度。

附图说明

图1为本发明实施例提供的信息沟通系统的功能模块图；

图2为本发明实施例提供的影像撷取模块的功能模块图；

图3为本发明实施例提供的预设动作的应用示意图；

图4为本发明另一实施例提供的预设动作的应用示意图；

图5为本发明实施例提供的信息沟通方法的流程示意图；

图6为本发明另一实施例提供的信息沟通方法的流程示意图；

图7为本发明另一实施例提供的信息沟通方法的流程示意图。

具体实施方式

为使对本发明的目的、构造、特征及其功能有进一步的了解，兹配合实施例详细说明如下。

在说明书及权利要求书当中使用了某些词汇来指称特定的元件。所属领域中具有通常知识者应可理解，制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异来作为区分元件的方式，而是以元件在功能上的差异来作为区分的准则。在通篇说明书及权利要求当中所提及的「包括」为开放式的用语，故应解释成「包括但不限定于」。

请参见图1、图2、图3、图4、图5、图6及图7，图1为本发明实施例提供的信息沟通系统的功能模块图，图2为本发明实施例提供的影像撷取模块的功能模块图，图3为本发明实施例提供的预设动作的应用示意图，图4为本发明另一实施例提供的预设动作的应用示意图，图5为本发明实施例提供的信息沟通方法的流程示意图，图6为本发明另一实施例提供的信息沟通方法的流程示意图，图7为本发明另一实施例提供的信息沟通方法的流程示意图。

如图1至图7所示，本发明提供一种信息沟通方法及其系统，应用于具备相机的移动装置，所述装置可以是智能手机、笔记本电脑及可穿戴设备中的任意一种，但是并不局限于上述设备。本发明基于信息沟通系统10中的硬件及软件模块实现，如图1所示，这些模块可以包括输入模块100、与输入模块100耦接的影像撷取模块200、与影像撷取模块200耦接的处理模块300及与处理模块300耦接的执行模块400。

上述输入模块100包括数据输入装置，例如，其能够输入文字信息、数字信息、影像信息、符号信息以及声音信息等数据信息。具体而言，输入模块100可以包括有实体或虚拟的键盘单元、相机单元及麦克风单元的其中之一或组合。

如图2所示，上述影像撷取模块200可包括摄影镜头201、摄像元件202及面部检测单元203，其中，上述摄影镜头201用以使被摄体像成像，上述摄像元件202用以接收利用上述摄影镜头201成像的被摄体像进行光电转换处理，并输出图像信号，面部检测单元203用以根据从上述摄像元件202输出的图像信号来检测被摄体的脸。优选地，上述面部检测单元203还能够捕捉被拍摄者的面部表情及动作，此外，摄影镜头201较佳地采用视角较大的摄像头，以便完整地得到用户的面部图像，并且该摄影镜头201的帧率应足够大，以获得拍摄者完整的面部动作。需要说明的是，其具体可根据实际需求而定，本发明并不以此为限。其中，由于影像撷取模块200耦接于上述该输入模块100，以使影像撷取模块200在接收到输入模块100的输入信号，或是输入模块100完成沟通信息的输入后，影像撷取模块200开启以进行工作，可以理解的是，本实施例中所提到的用于撷取用户当前面部图像的相机较优地为信息沟通系统10中面向于用户一侧的相机；例如，智能手机中的前置摄像头。

上述处理模块300可包括具备计算/分析的处理器，例如以微控制单元(Microcontroller Unit；MCU)为中心的运算与控制电路模块，配置对应的外围电路模块即可，其能够根据上述所属用户的当前面部图像分析得出与所属用户当前面部图像相关联的表情参数，并根据所得出的表情参数以选择相应的预设动作。较优地，上述处理模块300还应具有存储功能，其用以采集多种表情所对应的的多种表情参数，从而统计上述多种表情参数并预设有表情参数数据库。

进一步地说，处理模块300通过预先依据不同类型的面部表情的架构建立对应的多个表情参数，并且每一个面部表情通过多个相近或相似的表情参数来加以描述。换言之，一种面部表情可对应于多个相近或相似的表情参数。可以理解的是，一种面部表情则对应于相应的一种或多种预设动作。

一般来说，人的面部表情可以分为五个状态，即中性、厌恶、愉悦、惊讶与愤怒，而人的面部表情可由上述其中一个状态任意变化到其他四个状态的其中之一。因此，本实施例中，表情参数数据库可以依据上述五种表情变化状态来设置，所述多个表情参数可例如包括有对应于中性、厌恶、愉悦、惊讶及愤怒各表情的表情参数。

具体而言，处理模块300能够对面部图像进行影像处理分析与面部特征提取演算方法，以辨识面部表情，换言之，处理模块300能够对面部图像作影像处理分析与面部特征提取演算方法，以获取对应的多个面部表情参数，例如，面部图像中眉毛、眼睛及嘴巴之间的相对坐标、相对距离、大小与形状等。请参见表1-1及表1-2，相对坐标即包括上述面部五官的坐标点，而相对距离则为相对坐标进行计算后所得出的距离。处理模块300由当前面部图像得到当前的表情参数后，可比对得出该表情参数所对应的面部表情和/或情绪，最终根据当前的面部表情和/或情绪选择相应的预设动作。

表1-1

坐标点
	眉毛(cx<sub>1</sub>,cy<sub>1</sub>)(cx<sub>2</sub>,cy<sub>2</sub>)…眼睛(cx<sub>7</sub>,cy<sub>7</sub>)(cx<sub>8,</sub>cy<sub>8</sub>)…嘴巴(cx<sub>15</sub>,cy<sub>15</sub>)…

表1-2

表情	坐标点	相对距离
			愉快	眉毛(x<sub>1</sub>,y<sub>1</sub>)(x<sub>2</sub>,y<sub>2</sub>)…眼睛(x<sub>7</sub>,y<sub>7</sub>)(x<sub>8</sub>,y<sub>8</sub>)…嘴巴(x<sub>15</sub>,y<sub>15</sub>)…	10
愤怒	眉毛(x<sub>1</sub>,y<sub>1</sub>)(x<sub>2</sub>,y<sub>2</sub>)…眼睛(x<sub>7</sub>,y<sub>7</sub>)(x<sub>8</sub>,y<sub>8</sub>)…嘴巴(x<sub>15</sub>,y<sub>15</sub>)…	20
			…	……	…

在一个具体实施例中，不同的表情和/或情绪对应于不同的表情参数，对应的表情参数可包括眉毛、眼睛及嘴巴之间的相对坐标(如：各自的x、y值)。在影像撷取模块200撷取移动装置所属用户的当前面部图像后，处理模块即时分析面部图像中的眉毛、眼睛及嘴巴之间的相对坐标，进而根据该相对坐标求得眉毛、眼睛及嘴巴之间的相对距离。举例而言，当相对距离较短时，可推测用户当前的表情及/或情绪为愉悦状态，当相对距离较长时，可推测用户当前的表情及/或情绪为愤怒。

特别说明的是，所述的影像处理分析方式包括影像处理方法以及面部特征提取演算方法，用以识别使用者的面部表情。影像处理方法可包括灰阶转换、滤波处理、影像二值化(Image Binarization)、边缘撷取、特征撷取、影像压缩以及影像切割等影像处理技术。在实际应用时，可依照影像辨识的方式，选用适合的影像处理技术作为处理模块300的影像处理方式。

面部特征提取演算方法包括类神经网络(neural network)、支持向量机(SupportVector Machine)、模板配对(template matching)、特征定位方法(active appearancemodel)、条件随机域(conditional random field)、隐马尔可夫模型(Hidden MarkovModel，HMM)或几何模型(geometrical modeling)等。本发明所属技术领域的普通技术人员可推知面部特征提取演算方法的运用与实施方式，故不在此赘述。

在一个实施例中，预设动作包括：根据表情参数以控制沟通信息进行动态显示。可以理解的是，由当前面部图像所得出的表情参数对应于不同的表情和/或情绪，因此，不同表情和/或情绪所对应的表情参数也对应有不同的预设动作。举例而言，当沟通信息包括文字信息、数字信息或符号信息的其中之一或组合时，其可根据表情参数以控制沟通信息的动态显示，如图3所示，当根据用户的当前面部图像分析得出用户的表情参数代表其心情愉悦时，则沟通信息中的文字、数字或符号信息可以波浪式、动态跳跃或动态浮动等方式进行显示，其还可以其它方式将上述信息进行动态显示，只要其能够表达用户相应的表情和/或情绪即可，本发明并不以此为限。

在另一个实施例中，预设动作还包括：根据表情参数添加对应的表情标签，以将表情标签与沟通信息相结合进行显示。举例而言，当沟通信息包括文字信息、数字信息、影像信息、符号信息以及声音信息的其中之一或组合时，其可根据表情参数以添加对应的表情标签，以将表情标签与沟通信息相结合进行显示。如图4所示，当根据用户的当前面部图像分析得出用户的表情参数代表其心情愤怒时，则可添加“火焰”状的表情标签于沟通信息的背景处，其还可以相同或相似意义的表情标签与沟通信息结合进行显示，其中，表情标签可以为对应于用户当前表情和/或情绪的动画、影像或是由该当前面部图像抽象化所形成的表情符号等等，只要其能够表达用户相应的表情和/或情绪即可，本发明并不以此为限。

上述执行模块400用以执行预设动作以应用于沟通信息，以供用户操作。具体而言，用户可根据当前所显示的沟通信息是否能够精准表达出自己当前的表情和/或情绪以决定是否将预设动作应用于沟通信息当中，或者，可以根据用户自身的实际需求决定是否发送该沟通信息。

进一步地，若用户认为当前所显示的沟通信息能够精准表达出自己当前的表情和/或情绪，则可以直接发送该条沟通信息；若用户认为当前所显示的沟通信息不能够精准表达出自己当前的表情和/或情绪，则可取消当前的预设动作，不将其应用于此条沟通信息，优选地，影像撷取模块200在收到指令后再次撷取用户的当前面部图像以重新选择相应的预设动作。

要说明的是，输入模块100、影像撷取模块200、处理模块300以及执行模块400的种类、实体架构、实施方式和/或连接方式可依据信息沟通系统10的实际方式而定，故本实施例并不限制。此外，上述实施例中所提到的各类表情及对应的预设动作，并非用以限定本实施例，其仅是用以举例以进行描述。

由上述的实施例，本发明可以归纳出一种信息沟通方法，适用于上述实施例所述的信息沟通系统10。请参照图5并同时参照图6。

首先，于步骤S100之前，本方法较优地包括步骤S101，采集多种表情所对应的的多种表情参数，从而统计上述多种表情参数并预设有表情参数数据库。

于步骤S100中，移动装置的所属用户通过上述输入模块100以输入沟通信息，其中，沟通信息可为文字信息、数字信息、影像信息、符号信息以及声音信息的其中之一或组合。

其次，于步骤S200中，由于影像撷取模块200耦接于上述该输入模块100，以使影像撷取模块200在接收到输入模块100的输入信号，或是输入模块100完成沟通信息的输入后，影像撷取模块200开启以进行工作。在用户同意的情况下(例如，借由用户/发送方开启相机的自动撷取模式或者明确同意撷取其图像并且潜在可用于传输至服务器以便在社交软件、文本或者电子邮件消息等中共享)，影像撷取模块200自动撷取装置所属用户的当前面部图像。

接着，于步骤S300中，由于处理模块300已预设有不同表情参数与预设动作之间的对应关系，在影像撷取模块200撷取得到所属用户的当前面部图像后，处理模块300能够根据当前面部图像分析得出与所述用户当前面部图像相关联的表情参数，从而根据所得出的表情参数以选择相应的预设动作。

在一个实施例中，预设动作包括：根据表情参数以控制沟通信息进行动态显示。可以理解的是，由当前面部图像所得出的表情参数对应于不同的表情和/或情绪，因此，不同表情和/或情绪所对应的表情参数也对应有不同的预设动作。举例而言，当沟通信息包括文字信息、数字信息或符号信息的其中之一或组合时，其可根据表情参数以控制沟通信息的动态显示，例如，当根据用户的当前面部图像分析得出用户的表情参数代表其心情愉悦时，则沟通信息中的文字、数字或符号信息可以波浪式、动态跳跃或动态浮动等方式进行显示，其还可以其它方式将上述信息进行动态显示，只要其能够表达用户相应的表情和/或情绪即可，本发明并不以此为限。

在另一个实施例中，预设动作还包括：根据表情参数添加对应的表情标签，以将表情标签与沟通信息相结合进行显示。举例而言，当沟通信息包括文字信息、数字信息、影像信息、符号信息以及声音信息的其中之一或组合时，其可根据表情参数以添加对应的表情标签，以将表情标签与沟通信息相结合进行显示。例如，当根据用户的当前面部图像分析得出用户的表情参数代表其心情愤怒时，则可添加“火焰”状的表情标签于沟通信息的背景处，其还可以相同或相似意义的表情标签与沟通信息结合进行显示，只要其能够表达用户相应的表情和/或情绪即可，本发明并不以此为限。

最后，于步骤S400中，执行预设动作以应用于沟通信息，以供用户操作。具体而言，用户可根据当前所显示的沟通信息是否能够精准表达出自己当前的表情和/或情绪以决定是否将预设动作应用于沟通信息当中，或者，可以根据用户自身的实际需求决定是否发送该沟通信息。

此外，如图7所示，本方法还包括步骤S401：判断用户是否愿意将当前预设动作应用于当前的沟通消息。

进一步地，于步骤S402中，若用户认为当前所显示的沟通信息能够精准表达出自己当前的表情和/或情绪，则可以直接发送该条沟通信息；及

于步骤S403中，若用户认为当前所显示的沟通信息不能够精准表达出自己当前的表情和/或情绪，则可取消当前的预设动作，不将其应用于此条沟通信息，优选地，影像撷取模块200在收到指令后再次撷取用户的当前面部图像以重新选择相应的预设动作。

综上所述，本发明实施例提供一种信息沟通方法及其系统，此方法及其系统在用户输入沟通信息后，即时撷取用户当前的面部图像，从而根据面部图像分析得出用户当前的表情和/或情绪，再由该用户当前的表情和/或情绪选择相应的预设动作，执行该预设动作以应用于沟通消息。通过上述方法及其系统能够准确有效的得知用户在输入或是发送沟通消息时的真实表情和/或情绪，提升发送方与接收方的沟通效率，加强了沟通过程的生动性。

本发明已由上述相关实施例加以描述，然而上述实施例仅为实施本发明的范例。必需指出的是，已揭露的实施例并未限制本发明的范围。相反地，在不脱离本发明的精神和范围内所作的更动与润饰，均属本发明的专利保护范围。

Claims (10)

1.一种信息沟通方法，应用于具备相机的移动装置，其特征在于，该方法包括步骤：

输入沟通信息；

撷取装置所属用户的当前面部图像；

根据该当前面部图像选择相应的预设动作；

执行该预设动作并应用于该沟通信息，以发送该沟通信息。

2.如权利要求1所述的信息沟通方法，其特征在于，该沟通信息包括文字信息、数字信息、影像信息、符号信息以及声音信息的其中之一或组合。

3.如权利要求1所述的信息沟通方法，其特征在于，所述“根据该当前面部图像选择相应的预设动作”包括：

分析与该当前面部图像相关联的表情参数，以根据该表情参数选择相应的该预设动作。

4.如权利要求3所述的信息沟通方法，其特征在于，该预设动作包括：

根据该表情参数以控制该沟通信息进行动态显示；及/或

根据该表情参数添加对应的表情标签，将该表情标签与该沟通信息相结合以进行显示。

5.如权利要求1所述的信息沟通方法，其特征在于，所述“输入沟通信息”之前，还包括：

采集多种表情所对应的多种表情参数，统计该多种表情参数以预设有表情参数数据库。

6.如权利要求3或5所述的信息沟通方法，其特征在于，该表情参数包括：

面部图像中眉毛、眼睛及嘴巴之间的相对坐标、距离、大小及形状中的其中一种或组合。

7.如权利要求1所述的信息沟通方法，其特征在于，所述“将该预设动作应用于该沟通信息，以发送该沟通信息”之后，包括：

该用户选择是否将该预设动作应用于该沟通信息并发送该沟通信息。

8.如权利要求7所述的信息沟通方法，其特征在于，若该用户选择不将该预设动作应用于该沟通信息，则再次撷取该用户的该当前面部图像以重新选择相应的该预设动作。

9.一种信息沟通系统，应用于具备相机的移动装置，其特征在于，该信息沟通系统包括：

输入模块，该输入模块用以输入沟通信息；

影像撷取模块，耦接于该输入模块，该影像撷取模块用以撷取装置所属用户的当前面部图像；

处理模块，耦接于该影像撷取模块，该处理模块用以根据该当前面部图像选择相应的预设动作；

执行模块，耦接于该执行模块，该执行模块用以执行该预设动作并应用于该沟通信息，以发送该沟通信息。

10.如权利要求9所述的信息沟通系统，其特征在于，该移动装置包括智能手机、笔记本电脑及可穿戴式设备中的任意一种。