CN110704440A - 一种基于智能电网调度控制系统的自动评分系统及方法 - Google Patents

Abstract

本公开提供了一种基于智能电网调度控制系统的自动评分系统及方法，包括多个考试系统和至少一个裁判系统，所述裁判系统中部署有得分点及得分依据，裁判系统与考试系统之间通信连接并能够进行相互远程数据调阅；所述考试系统生成的考生操作的实际结果通过实时库对比、标准配置文件及系统参数对比、非标准文件对比、关系库对比和将文件上传到裁判系统后由裁判人工判断的方式进行评分；实现了对考生操作的全面评价，从而极大的提高了评分的准确性和全面性，省了大量人力、物力和时间成本，避免了资源浪费，提高了考试的公平公正性。

Description

一种基于智能电网调度控制系统的自动评分系统及方法

技术领域

本公开涉及智能电网调度控制系统技术领域，特别涉及一种基于智能电网调度控制系统的自动评分系统及方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

随着智能电网调度控制系统的推广应用，自动化系统的运维方式发生较大变化，培养大运行体系下智能调度控制系统复合型人才的需求日益增长，对智能调度自动化相关人员的能力要求日益提高。目前，智能电网调度控制系统已在国网公司下属的省级及以上调控中心推广应用，大量的相关专业人才急需现代化的培训工具开展高效实训。现如今，针对调度主站侧的调度员、监控员、主站运维人员的培训或实训技术已陆续展开，对自动化运维等相关专业人员提出了更高的技术技能要求。通过考评系统实现对学员的考核就显得尤为重要，亟需一套行之有效的评估系统，以确保实操考试成绩的公平、公正、公开。

本公开发明人发现，目前智能调度自动化培训的实操评估方法，主要是采取主观评价法，考评员根据学员的操作步骤或操作记录对学员进行人工评价。这种评估方法存在以下问题：一是工作量大，缺乏细致性、客观性、标准性的评估手段，主要依赖考评员的经验和知识，可能存在着漏判和误判的情况；二是主观评价法需要很多考评人员，且花费大量考评纸张，造成资源浪费，成本较高。

发明内容

为了解决现有技术的不足，本公开提供了一种基于智能电网调度控制系统的自动评分系统及方法，根据评分标准对学员试卷自动批量评价并生成学员考评报告和学员成绩汇总表，节省了大量人力、物力和时间成本，避免了资源浪费，提高了考试的公平公正性。

为了实现上述目的，本公开采用如下技术方案：

第一方面，本公开提供了一种基于智能电网调度控制系统的自动评分系统，包括多个考试系统和至少一个裁判系统，所述裁判系统中部署有得分点及得分依据，裁判系统与考试系统之间通信连接并能够进行相互远程数据调阅；

所述考试系统生成的考生操作的实际结果通过实时库对比、标准配置文件及系统参数对比、非标准文件对比、关系库对比和将文件上传到裁判系统后由裁判人工判断的方式进行评分。

作为可能的一些实现方式，包括多台考试机和至少一台裁判机，每台考试机上搭载有独立的考试系统，裁判机上搭载有裁判系统；

所述考试系统中至少包括后台扫描系统，所述后台扫描系统每间隔设定时间根据调取到的裁判系统中的标准答案对考试答题状态进行计分，形成得分文件并上传到裁判机中；

当答题时间结束后，后台扫描系统将最后一次的得分文件提交到裁判系统，同时将需要人工判断的文件提交到裁判系统，以供裁判评分；

裁判系统的评分界面设有评分结果确认信息和人工评分信息，用于供裁判进行自动评分结果的确认和对人工判断得分点进行评分，全部评分结束后，将所有参赛结果数据导出形成最终得分文件提供给裁判。

作为进一步的限定，所述后台扫描系统上运行有后台服务程序，每间隔设定时间远程调取裁判系统中的预期结果，并根据取得的预期结果在本地扫描一次，找到相应得分点所在表或所在的配置文件，对比考生答案与标准答案，得出每一个得分点的分值，答题结束后将标准答案、选手答案和分值写入得分文件，同时将得分文件和需人工评分的文件打包上传到裁判系统；

作为进一步的限定，所述裁判机中存储有配置文件，裁判系统在配置文件中读取考试轮次数目、每轮次考试持续时间和每轮次考试开始时间，并在裁判机上的conf目录下建立每一轮次、每一套考试系统的目录，不同考试系统的后台服务系统将得分文件上传到对应目录下；

作为进一步的限定，所述裁判机运行有裁判系统界面程序，用于自动评分结果的查看以及人工修改和录入分数。

作为可能的一些实现方式，通过实时库对比的方式进行评分，具体为：将考生表域中的实际结果与考试前在裁判系统的实时库答案计分表中定义好的预期结果对比，一致则得到该故障点分值。

作为可能的一些实现方式，通过标准配置文件及系统参数对比的方式进行评分，具体为：将裁判系统中存储的标准答案配置文件中所有参数全部取出，对比预期结果，一致则得分。

作为可能的一些实现方式，通过非标准文件对比的方式进行评分，具体为：将考生配置文件与裁判系统中存储的标准答案配置文件在忽略空格和换行后对比，一致则得分。

作为可能的一些实现方式，通过关系库对比的方式进行评分，具体为：通过考试前配置在裁判系统的配置文件中的sql语句，查找试题在关系库中对应的表、域、约束和索引，与考生的预期结果对比，一致则得分。

作为可能的一些实现方式，通过将文件上传到裁判系统后由裁判人工判断的评分方式，具体为：无法由程序对比判断的试题，直接将考生操作结果上传到裁判系统，由裁判直接评分。

第二方面，本公开提供了一种基于智能电网调度控制系统的自动方法，利用本公开所述的基于智能电网调度控制系统的自动评分系统，如果裁判系统中得到的某个得分点同时存在自动打分结果和人工打分结果，以人工打分结果高优先级；

当裁判员需对某一得分点自动打分结果进行修正，在裁判机评分界面的人工打分结果栏输入分值，此时以人工打分结果为该得分点最终打分结果。

作为可能的一些实现方式，考试试题根据得分点拆分成若干记录并录入在记录表中，每个得分点一条记录；

后台服务系统扫描记录表后，根据题号到存储有预期结果裁判系统的表或文件中查找相应答案。

与现有技术相比，本公开的有益效果是：

1、本公开创新性地将考生操作的过程记录转化为可以量化评判的结果来考核，考试试题可能包含若干故障点或操作步骤，每个故障点或操作步骤均设计有预期结果，需要考生完成正确的操作步骤或者排除预设的若干故障点，才能达到最终的预期结果，通过将实际操作结果与预期结果进行对比得到相应的评价分数，极大的提高了评分的公正性和客观性。

2、本公开所述的自动评分系统不关注考生解决某个具体问题的方法或者过程，将操作的过程记录转化为可以量化评判的结果，创新性地通过预期结果的存储方式，将故障点或操作步骤分成通过实时库、标准配置文件及系统参数、非标准文件、关系库和将文件上传到裁判系统后由裁判人工评分五种评分方式，实现了对考生操作的全面评价，从而极大的提高了评分的准确性和全面性。

3、本公开所述的内容根据评分标准对学员试卷自动批量评价并生成学员考评报告和学员成绩汇总表，节省了大量人力、物力和时间成本，避免了资源浪费，提高了考试的公平公正性。

4、本公开所述的系统成功应用于国家电网公司举办的调度自动化专业技能竞赛中，面对来自27个省市的54名调度自动化人员，自动评分系统得到充分应用，高效稳定、安全可靠的完成了自动评分任务。

5、本公开所述的系统开发完成标志着国网公司自动化水平的再度提高，自动评分系统投入使用后，调控自动化人员能够更好的学习、练习专业技能，有利于调控自动化人员专业技能水平的提升，进一步加强自动化专业队伍建设，为调控自动化专业的发展提供了坚实的人才基础。

附图说明

图1为本公开实施例1所述的基于智能电网调度控制系统的自动评分系统的自动评分工作流程图。

图2为本公开实施例1所述的配置文件答案及评分表。

图3为本公开实施例1所述的评分界面示意图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1：

如图1-3所示，本公开实施例1提供了一种基于智能电网调度控制系统的自动评分系统，包括多个考试系统和至少一个裁判系统，所述裁判系统中部署有得分点及得分依据，裁判系统与考试系统之间通信连接并能够进行相互远程数据调阅；所述考试系统生成的考生操作的实际结果通过实时库对比、标准配置文件及系统参数对比、非标准文件对比、关系库对比和将文件上传到裁判系统后由裁判人工判断的方式进行评分。

本实施例依托国网技术学院已建成的智能电网调度控制系统(D5000)实训平台，为主站自动化运维人员的实操培训考试提供一套行之有效的评估技术，以满足目前日益庞大的培训需求，同时提高技能培训效率，缩短培训周期，提高培训质量，保证智能电网安全稳定、经济高效运行，还可以为国家电网公司开展各种竞赛活动、高技能人才培训考核提供评估依据。本发明的研究成果可进一步推广应用到省级电科院、调控中心、培训中心和大专院校等。

具体设计如下：

(1)考试系统和裁判系统设计

本实施例以D5000系统作为考试系统，所述的D5000系统包含基础平台、稳态监控、网络分析、自动发电控制、自动电压控制、综合智能分析与告警、在线安全稳定分析等应用模块，每位考生使用单独的D5000系统进行考试。

为保证竞赛的公平性，使考生无法在本地系统中看到或搜索到评分依据及得分点，同时方便人工裁判评分及核对，需额外部署一套D5000系统作为裁判系统，所有得分点及得分依据均部署在裁判系统中。

裁判系统可包含多个客户端，所述客户端均部署D5000应用，并下装考试所需所有应用模块的实时库，但不需要启动各应用的执行程序，裁判系统与考试系统间使用远程调阅连接，以便运行在考试系统中的后台评分程序能够读取到评分依据。

(2)预期结果录入和评分方式

考试试题可能包含若干故障点或操作步骤，每个故障点或操作步骤均设计有预期结果(得分点)，需要考生完成正确的操作步骤或者排除预设的若干故障点，达到最终的预期结果。自动评分系统不关注考生解决某个具体问题的方法或者过程，将操作的过程记录转化为可以量化评判的结果来考核。

预期结果(得分点)存储在相应的实体位置，例如实时库、商用库对应的表域的值，配置文件、日志文件对应的值等，不同的实操题型考试结果对应的存储方式和位置也不一样。根据预期结果的存储方式，将故障点或操作步骤分成通过实时库、标准配置文件及系统参数、非标准文件、关系库和将文件上传到裁判系统后由裁判人工判断共五种判断方式。

1)通过实时库对比的方式评分：

评分方法：将考生表域中的实际结果与考试前在实时库答案计分表中定义好的预期结果对比，一致则得到该故障点分值。

预期结果录入位置：public应用下rtdb_answer表，表结构及录入方法如下：

表1：rtdb_answer表

2)通过标准配置文件及系统参数对比的方式评分：

评分方法：将配置文件中所有参数全部取出，对比预期结果，一致则得分，配置文件答案及评分表如图2所示。

预期结果录入位置：public应用下file_answer表，表结构及录入方法如下：

表2：file_answer表

3)通过非标准文件对比的方式评分：

评分方法：将考生配置文件与标准答案配置文件在忽略空格、换行后对比。

预期结果录入位置：public应用下file_compare表，表结构及录入方法如下：

表3：file_compare表

4)过关系库判断

评分方法：通过考试前配置在配置文件中的sql语句(最大1024)，查找试题在关系库中对应的表、域、约束、索引等，与预期结果对比，一致则得到该故障点分值。预期结果录入位置：conf目录下database_sql.conf文件，文件格式如下：

5)通过将文件上传到裁判系统后由裁判人工判断

评分方法：部分试题无法由程序对比判断，如需对接线图进行改动等，将改动的图形传送到裁判组使用的评分客户端上，由裁判评分。一般包含**.g图形、数据库dmp文件、截图或者要求选手生成的文件。上传文件录入位置：conf目录下uploadfile.conf文件。

(3)自动评分系统流程设计

本实施例所述的自动评分系统的工作流程如图1所示，具体为：

自动评分系统包括两个部分，后台扫描系统和裁判系统。后台扫描系统部署在竞赛系统中，在比赛开始以后，每5分钟根据标准答案对答题状态进行计分，形成得分文件并上传到裁判机中，以保证在系统失效的情况下保留计分；

当答题时间结束后，后台扫描系统将最后一次的得分文件提交到裁判系统，同时按照配置将需要人工判断的文件提交到裁判系统，以供裁判评分；

裁判系统部署在裁判机上，在后台扫描系统将得分文件及需要人工判断的文件提交到评分系统后，裁判在评分界面确认评分结果并对人工判断得分点进行评分，并将评分结果写入数据库，同时将所有参赛结果数据导出形成最终得分文件提供给裁判。

(4)程序及配置文件

自动评分程序包含后台服务程序scan_score_server、评分界面程序score及自动评分系统配置文件conf/marking.conf，其中评分后台程序运行在选手操作的D5000系统中，评分界面程序及配置文件部署在裁判机上。

具体分析如下：

1)marking.conf

评分系统在配置文件marking.conf中读取考试轮次数目、每轮次考试持续时间、每轮次考试开始时间，并在裁判机上conf目录下建立每一轮次、每一套考试系统的目录(如conf/round_1/192.1.13.1)，不同考试系统的后台扫描程序会将得分文件等上传到对应目录下。

配置文件格式如下：

2)scan_score_server

该程序为自动系统评分系统后台服务程序，需要启动在考试系统中除his机外的每一台机器上(sca服务器、wh工作站、pas服务器)；

程序每5分钟远程调取裁判系统中的得分点(预期结果)，并根据取得的预期结果在本地扫描一次，找到相应得分点所在表或所在的配置文件，对比考生答案与标准答案，得出每一个得分点分值，并将标准答案、选手答案、分值写入得分文件(如score_scada.conf)，同时将工作站及pas服务器上需人工评分的文件和score_workstation.conf、score_pas.conf上传到本系统scada服务器中，再由scada服务器的该程序将文件打包上传到裁判系统上。

程序用法：

scan_score_server上级IP或节点名本节点类型DOMAIN—NAME

其中上级IP或节点名：如为sca服务器，则为裁判机IP或节点名，如为wh工作站或pas服务器，则为sca服务器IP或节点名；

本节点类型：与file_answer及file_compare表中的“是否工作站文件”域对应，一般0为sca服务器，1为wh工作站，2为pas服务器。

DOMAIN—NAME：远程调阅配置文件中配置的裁判系统domain名，用以远程读取得分点。

3)score

该程序为自动系统评分系统界面程序，启动在裁判机上，提供给裁判员进行查看自动评分结果以及人工修改、录入分数等，评分界面如图3所示。

在裁判员选择某一桌时，自动调取conf下相对应轮次下的相对应的IP地址目录如(conf/round_1/192.1.13.2)中的score_scada.conf、score_workstation.conf、score_pas.conf文件，将分值读取到界面上。

本实施例所述的系统已经成功应用于国家电网公司举办的调度自动化专业技能竞赛中，面对来自27个省市的54名调度自动化人员，自动评分系统得到充分应用，高效稳定、安全可靠的完成了自动评分任务。

本实施例所述的系统开发完成标志着国网公司自动化水平的再度提高，自动评分系统投入使用后，调控自动化人员能够更好的学习、练习专业技能，有利于调控自动化人员专业技能水平的提升，进一步加强自动化专业队伍建设，为调控自动化专业的发展提供了坚实的人才基础。

实施例2：

本公开实施例2提供了一种基于智能电网调度控制系统的自动评分方法，利用实施例1所述的基于智能电网调度控制系统的自动评分系统，如某得分点同时存在自动打分结果和人工打分结果，则以人工打分结果优先级为高，因此，如裁判员需对某一得分点自动打分结果进行修正，可在人工打分结果栏输入分值，点击提交成绩按钮后，程序将最终打分结果写入数据库。

录入考试试题的具体方法为：考试试题需根据得分点拆分成若干记录并录入在question_desc表中，其中每个得分点一条记录，表结构及录入方法如下：

表4：question_desc表

题号	得分点内容	题目内容	分值
				如：10.1或10	录入得分点	允许为空	支持浮点数，如0.5分

自动评分程序扫描question_desc表后，根据题号至其它录入预期结果的表或文件中查找相应答案。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种基于智能电网调度控制系统的自动评分系统，其特征在于，包括多个考试系统和至少一个裁判系统，所述裁判系统中部署有得分点及得分依据，裁判系统与考试系统之间通信连接并能够进行相互远程数据调阅；

所述考试系统生成的考生操作的实际结果通过实时库对比、标准配置文件及系统参数对比、非标准文件对比、关系库对比和将文件上传到裁判系统后由裁判人工判断的方式进行评分。

2.如权利要求1所述的基于智能电网调度控制系统的自动评分系统，其特征在于，包括多台考试机和至少一台裁判机，每台考试机上搭载有独立的考试系统，裁判机上搭载有裁判系统；

所述考试系统中至少包括后台扫描系统，所述后台扫描系统每间隔设定时间根据调取到的裁判系统中的标准答案对考试答题状态进行计分，形成得分文件并上传到裁判机中；

当答题时间结束后，后台扫描系统将最后一次的得分文件提交到裁判系统，同时将需要人工判断的文件提交到裁判系统，以供裁判评分；

裁判系统的评分界面设有评分结果确认信息和人工评分信息，用于供裁判进行自动评分结果的确认和对人工判断得分点进行评分，全部评分结束后，将所有参赛结果数据导出形成最终得分文件提供给裁判。

3.如权利要求2所述的基于智能电网调度控制系统的自动评分系统，其特征在于，所述后台扫描系统上运行有后台服务程序，每间隔设定时间远程调取裁判系统中的预期结果，并根据取得的预期结果在本地扫描一次，找到相应得分点所在表或所在的配置文件，对比考生答案与标准答案，得出每一个得分点分值，答题结束后将标准答案、选手答案和分值写入得分文件，同时将得分文件和需人工评分的文件打包上传到裁判系统；

或，所述裁判机中存储有配置文件，裁判系统在配置文件中读取考试轮次数目、每轮次考试持续时间和每轮次考试开始时间，并在裁判机上的conf目录下建立每一轮次、每一套考试系统的目录，不同考试系统的后台服务系统将得分文件上传到对应目录下；

或，所述裁判机运行有裁判系统界面程序，用于自动评分结果的查看以及人工修改和录入分数。

4.如权利要求1所述的基于智能电网调度控制系统的自动评分系统，其特征在于，通过实时库对比的方式进行评分，具体为：将考生表域中的实际结果与考试前在裁判系统的实时库答案计分表中定义好的预期结果对比，一致则得到该故障点分值。

5.如权利要求1所述的基于智能电网调度控制系统的自动评分系统，其特征在于，通过标准配置文件及系统参数对比的方式进行评分，具体为：将裁判系统中存储的标准答案配置文件中所有参数全部取出，对比预期结果，一致则得分。

6.如权利要求1所述的基于智能电网调度控制系统的自动评分系统，其特征在于，通过非标准文件对比的方式进行评分，具体为：将考生配置文件与裁判系统中存储的标准答案配置文件在忽略空格和换行后对比，一致则得分。

7.如权利要求1所述的基于智能电网调度控制系统的自动评分系统，其特征在于，通过关系库对比的方式进行评分，具体为：通过考试前配置在裁判系统的配置文件中的sql语句，查找试题在关系库中对应的表、域、约束和索引，与考生的预期结果对比，一致则得分。

8.如权利要求1所述的基于智能电网调度控制系统的自动评分系统，其特征在于，通过将文件上传到裁判系统后由裁判人工判断的评分方式，具体为：无法由程序对比判断的试题，直接将考生操作结果上传到裁判系统，由裁判直接评分。

9.一种基于智能电网调度控制系统的自动方法，其特征在于，利用权利要求1-8任一项所述的基于智能电网调度控制系统的自动评分系统，如果裁判系统中得到的某个得分点同时存在自动打分结果和人工打分结果，以人工打分结果高优先级；

当裁判员需对某一得分点自动打分结果进行修正，在裁判机评分界面的人工打分结果栏输入分值，此时以人工打分结果为该得分点最终打分结果。

10.如权利要求9所述的基于智能电网调度控制系统的自动方法，其特征在于，考试试题根据得分点拆分成若干记录并录入在记录表中，每个得分点一条记录；

后台服务系统扫描记录表后，根据题号到存储有预期结果裁判系统的表或文件中查找相应答案。

Images