CN105068930A - 移动终端测试生成数据的智能分析方法及装置 - Google Patents

Abstract

本发明提出一种移动终端测试生成数据的智能分析方法，包括如下步骤：(1)移动终端接入自动化测试系统进行测试，生成执行日志和错误图片，同步到智能分析服务器上；(2)智能分析服务器通过特征图识别、OCR文字识别、日志分析，分析定位移动终端问题并上报；(3)智能分析服务器生成的问题数据进行数据挖掘，生成各类统计报表。本发明采用特征图识别定位问题方法和OCR文字识别定位问题方法，代替了人工80％-85％的工作，除了提供效率、节约成本外，使得测试结果分析更具备时效性，结合测试日志分析定位问题方法，使得测试结果智能分析定位更准确、完整，避免遗漏。本发明在时间上节约了2/3的时间，节约人力成本也非常可观。

Description

移动终端测试生成数据的智能分析方法及装置

技术领域

本发明属于移动终端设备测试领域，特别是涉及到一种移动终端测试生成数据的智能分析方法及装置。

背景技术

现代社会中，移动终端已成为人们生活中不可或缺的必需品，尤其是近年来，智能化移动终端更是呈现了爆发式的增长，但是随之而来的，由于智能化移动终端规格繁多，而且各种系统版本频繁发布，必须要对智能化移动终端进行系统和兼容性测试。

随着移动终端的功能越来越多，终端的复杂度相应的也越来越高，终端测试工作量越来越大，通过测试产生的数据(终端Log、测试工具Log、图片Log)相应的也越来越多。在企业内部，人工对于数据分析的时间、效率、准确性等等问题，逐步体现。

现有技术的问题和缺点如下：

1、人工分析数据成本高。

2、人工分析数据周期长。

3、人工分析数据效率低下。

4、人工分析数据容易出现人为错误。

发明内容

本发明要解决的问题是提出一种移动终端测试生成数据的智能分析方法及装置，解决移动终端测试过程中发生问题需要通过人工进行分析定位、花费大量人力和时间的现象，提高效率、节约成本。

为实现上述目的，本发明采取的技术方案为：一种移动终端测试生成数据的智能分析方法，包括如下步骤：

(1)移动终端接入自动化测试系统进行测试，生成执行日志和错误图片，同步到智能分析服务器上；

(2)智能分析服务器通过特征图识别、OCR文字识别、日志分析，分析定位移动终端问题并上报；

(3)智能分析服务器生成的问题数据进行数据挖掘，生成各类统计报表。

优选的，所述步骤(2)中，特征图识别的方法为：

a、从长期运行的测试系统中，不断收集并建立错误图片样集库；

b、移动终端测试生成的错误图片，上传到智能分析服务器的特征图分析模块；

c、先做重复图片过滤，减少重复运算；

d、去重后，将错误图片样集库中的特征图一一与错误图片比较，做图像匹配工作；

e、如果匹配图库中的样例图，则将此测试测试失败原因初步设定为图片样集定义的失败类型，以供测试人员后期再次分析确认；如果不匹配则进行OCR文字识别。

进一步的，所述步骤c中，重复图像过滤的方法为：首先计算问题图片的md5值，如果md5值与已经处理过的图片md5值相同，则此图片为重复图片，否则进行全图图像比对比对算法设置默认相似度为0.8，如果相似度大于0.8，则图片重复，否则图片视为一个新错误图片，重复之前的过程，直到将所有图片都过滤完成。

进一步的，所述步骤d中，图像匹配方法为：利用图形的像素统计信息、纹理特征以及角点分布来进行分析，并综合多个信息权值来确定图片的相似程度，如果匹配相似度值大于0.9，则表示此图片为此特征的问题图片。

优选的，所述步骤(2)中，OCR文字识别的方法为：在样例库中设定样例字符或者字符串，移动终端测试生成的错误图片，上传到智能分析服务器，经过特征图识别后，未匹配的图片再由OCR文字识别模块进行筛选，如果OCR识别出来的字符或者字符串匹配样例库中字符或字符串，则将此图片初步设定为样例库定义失败类型，以供测试人员后期再次分析确认。

优选的，所述步骤(2)中，日志分析包括移动终端日志分析和测试日志分析；所述移动终端日志分析方法为：定期抓取移动终端的日志，并发送到日志分析服务器进行分析过滤；日志分析系统根据预定义的程序错误异常集进行分析过滤，提取日志中的各种异常，并根据场景信息进行汇总，以备测试人员后期分析问题所引用；所述测试日志分析方法为：分析测试日志，提取各个测试用例的运行情况，帮助测试人员后期更好地分析定位问题。

本发明还提供了一种移动终端测试生成数据的智能分析装置，其特征在于：包括智能分析服务器系统，用于同步接收和分析移动终端接入自动化测试系统进行测试所生成的执行日志和错误图片；

所述智能分析服务器系统包括特征图识别模块、OCR文字识别模块、日志分析模块，报表模块；

所述特征图识别模块、OCR文字识别模块用于分析错误图片；

所述日志分析模块用于分析日志；

所述报表模块用于对问题数据进行数据挖掘，生成各类统计报表。

优选的，所述特征图识别模块包括错误图片样集库单元，去重单元，匹配单元；所述错误图片样集库单元用于收集错误图片，建立错误图片样集库；所述去重单元用于错误图片的重复图片过滤；所述匹配单元用于去重后的错误图片与错误图片样集库的图片进行匹配。

优选的，所述OCR文字识别模块包括样例库单元和文字匹配单元，所述样例库单元用于建立样例库，设定样例字符或者字符串；所述文字匹配单元用于识别字符或者字符串匹配样例库中字符或字符串。

优选的，所述日志分析模块包括移动终端日志分析单元和测试日志分析单元；所述移动终端日志分析单元用于定期抓取移动终端的日志并分析；所述测试日志分析单元用于分析测试日志，提取各个测试用例的运行情况。

本发明的有益效果为：

本发明采用特征图识别定位问题方法，代替了人工10％-15％的工作，采用OCR文字识别定位问题方法，代替了人工80％-85％的工作，以上两种方式除了提供效率、节约成本外，使得测试结果分析更具备时效性，结合测试日志分析定位问题方法，使得测试结果智能分析定位更准确、完整，避免遗漏；本发明定时移动终端日志抓取方法，完全替代了人工抓取、分类日志的工作，同时避免日志大导致的日志覆盖现象，定时移动终端日志的抓取方法保证了日志的有效性、精确性和完整性。本发明在时间上节约了2/3的时间，节约人力成本也非常可观。

附图说明

图1是本发明的系统原理图。

其中：

①为智能分析服务器系统；

②为智能分析服务器系统中特征图分析模块；

③为智能分析服务器系统中OCR文字分析模块；

④为智能分析服务器中日志分析模块，其中包含移动终端日志和测试日志两部分；

⑤为数据来源之图片数据；

⑥为数据来源之日志数据；

⑦为输出报表。

具体实施方式

下面结合具体实施例对本发明做进一步的说明。

如图1所示，本发明采用特征图识别定位问题方法、采用OCR文字识别定位问题方法、采用测试日志分析定位问题方法，将测试生成的日志和错误图片进行分析并定位出问题，生成问题集并通过邮件等通知方式发送给测试人员。定时移动终端日志抓取方法，为分析、修正问题提供了有效、完整的数据源。

1、图像识别：通过长期的运行测试系统，不断收集并建立错误图片样集库，比如测试设备重启、花屏样图、PIN码样图等。当测试有失败，系统会自动获取被测设备的屏幕截图，并将截图视为疑似问题图片，上传到图像分析识别节点(特征图分析模块)进行筛选，如果匹配图库中的样例图，则将此测试测试失败原因初步设定为图片样集定义的失败类型，以供测试人员后期再次分析确认。

详细说明：

测试生成的错误图片先做重复图片过滤，减少重复运算；首先计算问题图片的md5值，如果md5值与已经处理过的图片md5值相同，则此图片为重复图片，否则进行全图图像比对(比对算法设置默认相似度为0.8)，如果相似度大于0.8，则图片重复，否则图片视为一个新错误图片，重复之前的过程，直到将所有图片都过滤完成。一般情况下经过此处理图片数量会减少百分之60％以上。去重后，将错误图片样集库中的特征图一一与错误图片比较，做图像匹配工作。匹配比对算法主要利用图形的像素统计信息、纹理特征以及角点分布来进行分析，并综合多个信息权值来确定图片的相似程度，如果匹配相似度值大于0.9，则表示此图片为此特征的问题图片。由于此部分会利用错误图片样集库的信息，此步骤需要配置较强运算能力的服务器来处理。

2、OCR文字识别：设定样例字符或者字符串，比如“失败”、“连接错误”、“不响应”等等，当测试有失败，系统会自动获取被测设备的屏幕截图，并将截图视为疑似问题图片，上传到OCR分析节点(OCR文字处理服务器)进行筛选，如果OCR识别出来的字符或者字符串匹配样例库中字符或字符串，则将此图片初步设定为样例库定义失败类型，以供测试人员后期再次分析确认。

详细说明：

测试生成的错误图片先做重复图片过滤，再经过图像识别将可定位的图片移除，减少重复运算，剩下部分进行OCR文字识别。OCR处理会利用问题关键词集合对所有图片的OCR结果进行匹配，如果有发现包含关键词，则将此图片归为该关键词所属问题分类。

3、移动终端日志准实时分析：定期抓取移动终端的日志，并发送到日志分析服务器进行分析过滤。日志分析系统根据预定义的程序错误异常集进行分析过滤，提取日志中的各种异常，并根据场景信息进行汇总，以备测试人员后期分析问题所引用。

详细说明：

根据测试终端自身生成的各类日志(ModemLog、MobileLog、NetworkLog等)进行问题分析，比如ANR、重启、Crash等等；整个测试终端测日志记录着终端被操作内容，终端当前网络、电量、CUP、内存等状态信息，本发明通过搜索异常关键字的方式来判断终端是否发生异常，发生了什么异常，参看下面Crash的终端日志，红色部分为异常信息：

4、测试日志准实时分析：测试日志是测试系统每次运行测试生成的测试步骤日志，此日志包括整个测试流程的每一步操作、状态日志。通过分析这些日志，可以提取各个测试用例的运行情况，比如成功次数、失败次数、用例运行时长分布、测试错误时间分布等等情况，这些数据有助于测试人员后期更好地分析定位问题。

详细说明：

整个测试运行的步骤、case状态等信息都会被记录，并且图文并茂的显示在日志中，方便测试人员分析和定位问题发生时间点、发生问题时执行动作以及前后终端状态。

本发明的另一优势是在大数据分析方向的应用，通过长期的数据积累，这些数据能反应移动终端厂商某系列产品、芯片厂商某芯片等维度的性能、质量情况。

以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (10)

1.一种移动终端测试生成数据的智能分析方法，其特征在于，包括如下步骤：

(1)移动终端接入自动化测试系统进行测试，生成执行日志和错误图片，同步到智能分析服务器上；

(2)智能分析服务器通过特征图识别、OCR文字识别、日志分析，分析定位移动终端问题并上报；

(3)智能分析服务器生成的问题数据进行数据挖掘，生成各类统计报表。

2.根据权利要求1所述的一种移动终端测试生成数据的智能分析方法，其特征在于，所述步骤(2)中，特征图识别的方法为：

a、从长期运行的测试系统中，不断收集并建立错误图片样集库；

b、移动终端测试生成的错误图片，上传到智能分析服务器的特征图分析模块；

c、先做重复图片过滤，减少重复运算；

d、去重后，将错误图片样集库中的特征图一一与错误图片比较，做图像匹配工作；

e、如果匹配图库中的样例图，则将此测试测试失败原因初步设定为图片样集定义的失败类型，以供测试人员后期再次分析确认；如果不匹配则进行OCR文字识别。

3.根据权利要求2所述的一种移动终端测试生成数据的智能分析方法，其特征在于，所述步骤c中，重复图像过滤的方法为：首先计算问题图片的md5值，如果md5值与已经处理过的图片md5值相同，则此图片为重复图片，否则进行全图图像比对比对算法设置默认相似度为0.8，如果相似度大于0.8，则图片重复，否则图片视为一个新错误图片，重复之前的过程，直到将所有图片都过滤完成。

4.根据权利要求2所述的一种移动终端测试生成数据的智能分析方法，其特征在于，所述步骤d中，图像匹配方法为：利用图形的像素统计信息、纹理特征以及角点分布来进行分析，并综合多个信息权值来确定图片的相似程度，如果匹配相似度值大于0.9，则表示此图片为此特征的问题图片。

5.根据权利要求1所述的一种移动终端测试生成数据的智能分析方法，其特征在于，所述步骤(2)中，OCR文字识别的方法为：在样例库中设定样例字符或者字符串，移动终端测试生成的错误图片，上传到智能分析服务器，经过特征图识别后，未匹配的图片再由OCR文字识别模块进行筛选，如果OCR识别出来的字符或者字符串匹配样例库中字符或字符串，则将此图片初步设定为样例库定义失败类型，以供测试人员后期再次分析确认。

6.根据权利要求1所述的一种移动终端测试生成数据的智能分析方法，其特征在于，所述步骤(2)中，日志分析包括移动终端日志分析和测试日志分析；所述移动终端日志分析方法为：定期抓取移动终端的日志，并发送到日志分析服务器进行分析过滤；日志分析系统根据预定义的程序错误异常集进行分析过滤，提取日志中的各种异常，并根据场景信息进行汇总，以备测试人员后期分析问题所引用；所述测试日志分析方法为：分析测试日志，提取各个测试用例的运行情况，帮助测试人员后期更好地分析定位问题。

7.一种移动终端测试生成数据的智能分析装置，其特征在于：包括智能分析服务器系统，用于同步接收和分析移动终端接入自动化测试系统进行测试所生成的执行日志和错误图片；

所述智能分析服务器系统包括特征图识别模块、OCR文字识别模块、日志分析模块，报表模块；

所述特征图识别模块、OCR文字识别模块用于分析错误图片；

所述日志分析模块用于分析日志；

所述报表模块用于对问题数据进行数据挖掘，生成各类统计报表。

8.根据权利要求7所述的一种移动终端测试生成数据的智能分析装置，其特征在于：所述特征图识别模块包括错误图片样集库单元，去重单元，匹配单元；所述错误图片样集库单元用于收集错误图片，建立错误图片样集库；所述去重单元用于错误图片的重复图片过滤；所述匹配单元用于去重后的错误图片与错误图片样集库的图片进行匹配。

9.根据权利要求7所述的一种移动终端测试生成数据的智能分析装置，其特征在于：所述OCR文字识别模块包括样例库单元和文字匹配单元，所述样例库单元用于建立样例库，设定样例字符或者字符串；所述文字匹配单元用于识别字符或者字符串匹配样例库中字符或字符串。

10.根据权利要求7所述的一种移动终端测试生成数据的智能分析装置，其特征在于：所述日志分析模块包括移动终端日志分析单元和测试日志分析单元；所述移动终端日志分析单元用于定期抓取移动终端的日志并分析；所述测试日志分析单元用于分析测试日志，提取各个测试用例的运行情况。