[go: up one dir, main page]

CN108304648B - 一种基于大数据机器学习的能源互联网仿真方法 - Google Patents

一种基于大数据机器学习的能源互联网仿真方法 Download PDF

Info

Publication number
CN108304648B
CN108304648B CN201810092011.5A CN201810092011A CN108304648B CN 108304648 B CN108304648 B CN 108304648B CN 201810092011 A CN201810092011 A CN 201810092011A CN 108304648 B CN108304648 B CN 108304648B
Authority
CN
China
Prior art keywords
data
region
network
database table
energy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810092011.5A
Other languages
English (en)
Other versions
CN108304648A (zh
Inventor
方琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ronghe Star Power Technology Co ltd
Original Assignee
Beijing Ronghe Star Power Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ronghe Star Power Technology Co ltd filed Critical Beijing Ronghe Star Power Technology Co ltd
Priority to CN201810092011.5A priority Critical patent/CN108304648B/zh
Publication of CN108304648A publication Critical patent/CN108304648A/zh
Application granted granted Critical
Publication of CN108304648B publication Critical patent/CN108304648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明提供了一种基于大数据机器学习的能源互联网仿真方法,包括:获取第一时间内第一地区的综合能源网络中的设备的第一数据;根据变化周期,将第一数据中的周期性变化的数据分别存储在不同的第一数据库表中;根据预设的数据量阈值,从第一数据库表中确定数据量超过数据量阈值的第一数据库表,并将数据量超过数据量阈值的第一数据库表分别存储在第一地区的数据服务器和第二地区的数据服务器中;第二地区和第一地区相邻;根据变化间隔的期望值,将第一数据中的随机变化的数据存储在第二数据库表中;根据第一数据库表和第二数据库表,利用仿真软件对第一地区的综合能源网络进行仿真。由此,实现对大量分布式能源网络同时仿真。

Description

一种基于大数据机器学习的能源互联网仿真方法
技术领域
本发明涉及大数据处理领域,具体涉及一种基于大数据机器学习的能源互联网仿真方法。
背景技术
综合能源包括电、热、冷、水、气等多品类能源,综合能源网络是指由多品类综合能源组成的新型能源网络,可以理解为综合运用先进的电力电子技术,信息技术和智能管理技术,将大量由分布式能量采集装置,分布式能量储存装置和各种类型负载构成的新型电力网络、石油网络、天然气网络等能源节点互联起来,以实现能量双向流动的能量对等交换与共享网络。海量分布式综合能源网络是指地理上分布于各地的数量众多的综合能源网络。
传统能源领域仿真大多针对单一品类能源,即电、热或气中的一类网络的仿真,不能满足电、热、冷、水、气各种能源的综合仿真需要。另一方面,传统的仿真只能针对单个网络进行仿真分析,不能满足大量分布式能源网络同时仿真的要求。
发明内容
本发明的目的在于提供一种基于大数据机器学习的能源互联网仿真方法,以实现对大量分布式能源网络同时仿真的要求。
本发明提供了一种基于大数据机器学习的能源互联网仿真方法,所述基于大数据机器学习的能源互联网仿真方法包括:
获取第一时间内第一地区的综合能源网络中的设备的第一数据;其中,所述第一地区、所述第一地区的综合能源网络、所述第一地区的综合能源网络中的设备、所述第一地区的综合能源网络中的设备的数据均为编码格式;
根据变化周期,将所述第一数据中的周期性变化的数据分别存储在不同的第一数据库表中;
根据预设的数据量阈值,从所述第一数据库表中确定数据量超过数据量阈值的第一数据库表,并将所述数据量超过数据量阈值的第一数据库表分别存储在第一地区的数据服务器和第二地区的数据服务器中;其中,所述第二地区和所述第一地区相邻;
根据变化间隔的期望值,将所述第一数据中的随机变化的数据存储在第二数据库表中;
根据所述第一数据库表和所述第二数据库表,利用仿真软件对第一地区的综合能源网络进行仿真。
优选的,所述第一地区按照国家-省份-地市-区县-乡镇的顺序,进行编码。
优选的,所述第一地区的综合能源网络按照国家-省份-地市-区县-乡镇-网络编号的顺序,进行编码。
优选的,所述第一地区的综合能源网络中的设备按照国家-省份-地市-区县-乡镇-网络编号-能源品类-设备类型-设备子类-设备编号的顺序,进行编码。
优选的,所述第一地区的综合能源网络中的设备的数据按照国家-省份-地市-区县-乡镇-网络编号-能源品类-设备类型-设备子类-设备编号-数据类型-数据类型子类-数据的顺序,进行编码。
优选的,所述仿真软件为TensorFlowOnSpark。
优选的,在所述TensorFlowOnSpark中,第一TensorFlow Core对第一地区的综合能源网络中的设备的第一数据、第二地区的综合能源网络中的设备的第二数据进行仿真。
本发明具有如下优点:满足能源互联网背景下综合能源网络仿真和多个网络同时仿真的需要,支持对海量分布式综合能源网络的统一建模管理,支持对海量分布式综合能源网络实时运行数据的分层分布式采集,支持对海量分布式综合能源网络历史数据的统一管理和分布式存储,支持对海量分布式综合能源网络的分布式并行仿真,从而达到灵活可扩展的目的,满足能源互联网包含的能源品类和网络数量不断发展,以及仿真业务需求的不断增长需求。
附图说明
图1为本发明实施例提供的基于大数据机器学习的能源互联网仿真方法流程图。
具体实施方式
以下实施例用于说明本发明,但不用来限制本发明的范围。
实施例1
需要说明的是,文中的第一、第二,仅是为了区分,并无实际含义。
图1为本发明实施例提供的基于大数据机器学习的能源互联网仿真方法流程图。如图1所示,所述方法包括以下步骤:
步骤110,获取第一时间内第一地区的综合能源网络中的设备的第一数据;其中,所述第一地区、所述第一地区的综合能源网络、所述第一地区的综合能源网络中的设备、所述第一地区的综合能源网络中的设备的数据均为编码格式。
首先,对地区进行编码。所述第一地区按照国家-省份-地市-区县-乡镇的顺序,进行编码。比如,对某一地区进行编码,每一级编码用两位数字表示,各级之间用英文字符“:”隔开,从而地区编码格式为“00:00:00:00:00”。
其次,对综合能源网络进行编码。所述第一地区的综合能源网络按照国家-省份-地市-区县-乡镇-网络编号的顺序,进行编码。比如,综合能源网络编码采用地区编码与网络编号的组合编码格式,中间用英文字符“.”隔开,网络编号采用五位数字表示,从而综合能源网络编码为“00:00:00:00:00.00000”。
再次,对综合能源网络中的设备进行编码。所述第一地区的综合能源网络中的设备按照国家-省份-地市-区县-乡镇-网络编号-能源品类-设备类型-设备子类-设备编号的顺序,进行编码。设备编码采用综合能源网络编码与设备编号的组合编码格式,中间用英文字符“.”隔开,设备编号采用五位数字表示,同时为了区分不同品类能源的设备和同一品类能源下的不同设备类型,增加能源品类和设备类型编码,能源品类用一位数字表示,设备类型用两位数字表示,中间用英文字符“.”隔开,同时考虑到同一设备类型可能包含多个子类,增加设备子类编码,用两位数字表示,设备类型编码和设备子类编码之间用英文字符“:”隔开,从而设备编码格式为“00:00:00:00:00.00000.0.00:00.00000”。
最后,对综合能源网络中的设备的数据进行编码。所述第一地区的综合能源网络中的设备的数据按照国家-省份-地市-区县-乡镇-网络编号-能源品类-设备类型-设备子类-设备编号-数据类型-数据类型子类-数据的顺序,进行编码。采用五位数字表示,考虑到设备包含多种不同类型的数据,需要对数据类型进行编码,采用两位数字表示,同时考虑到同一数据类型可能根据应用需要分为多个子类,增加数据子类编码,用两位数字表示,数据类型编码和数据子类编码之间用英文字符“:”隔开,从而数据编码格式为“00:00:00:00:00.00000.0.00:00.00000.00:00.00000”
由此,形成对海量分布式综合能源网络的统一建模管理。由于是采用多层次进行采集,比如,采集到中国-x省-x市-x县-x镇的多种综合能源网络的设备数据,比如,同时采集到电力设备的数据、气体管道设备的数据、自来水设备的数据等。由此,当后续对第一地区的综合能源网络的设备数据进行仿真时,可以同时对中国-x省-x市-x县-x镇的电力设备的数据、气体管道设备的数据、自来水设备的数据等同时进行仿真。步骤120,根据变化周期,将所述第一数据中的周期性变化的数据分别存储在不同的第一数据库表中。
步骤130,根据预设的数据量阈值,从所述第一数据库表中确定数据量超过数据量阈值的第一数据库表,并将所述数据量超过数据量阈值的第一数据库表分别存储在第一地区的数据服务器和第二地区的数据服务器中;其中,所述第二地区和所述第一地区相邻。
其中,数据量阈值是提前设定的,比如,数据量阈值可以是数据的大小,比如10M。
相应的,在第一地区的数据服务器中,也存储有第二地区的数据量大于数据量阈值的第二数据库表。第二数据库表的确定方法,和第一数据库表的确定方法相同,此处不再赘述。
由此,由于数据的分布式存储的原因,在后续利用第一组件对第一地区的综合能源网络进行仿真时,该第一组件同时也可以对第二地区的综合能源网络设备的数据进行仿真。实现了海量综合能源网络的同时仿真。
步骤140,根据变化间隔的期望值,将所述第一数据中的随机变化的数据存储在第二数据库表中。
综合能源网络的设备的数据有其时间属性,即其值随时间而变化,但是不同类型的数据,其变化周期也不同,还存在一些没有固定时间周期变化特征的数据,即数据变化间隔有一定的随机性。本申请按照数据的时间变化特征建立统一的数据库结构,实现对海量分布式综合能源网络的设备的数据的统一管理,同时在数据存储方式上,为了提高数据的易用性和安全性,本申请提出采用分布式存储架构。
首先是周期性变化的数据,这里周期划分为年、月、周、日、时、分、秒、毫秒,对于不同变化周期的数据,分别建立数据库表进行存储。对于每一个周期的数据,当数据量较大时,为了保证业务应用对数据查询的性能要求,按照地区进行分布式存储,即不同地区的数据分别存储于不同数据库服务器,同时为了提高数据的安全性,同一个地区的数据在存储于本地区数据库服务器时,也存储于相邻地区数据库服务器,相邻规则与海量分布式综合能源网络实时运行数据的分层分布式采集架构中所述规则相同。
其次是随机变化间隔的数据,这里按照数据变化间隔的期望值,按照超长间隔、长间隔、短间隔和超短间隔对数据分别建立数据库表存储,其中,变化间隔的期望值达到一年以上为超长间隔,变化间隔的期望值达到一月以上为长间隔,变化间隔的期望值达到一日以上为短间隔,变化间隔的期望值在一日以内为超短间隔。同时类似地,对于每一个变化间隔的数据,可采用分布式存储方式。
分布于各地的综合能源网络在生产运行过程中都将持续地产生实时数据,这些数据需要持续不断地上传到能源互联网仿真平台。由于能源互联网仿真平台需要采集海量的综合能源网络实时运行数据,为了保证数据采集的稳定性和可靠性,避免发生全部综合能源网络实时运行数据同时不能成功采集的现象,本申请提出采用五级地区分层分布式采集架构,即以国家->省份->地市->区县->乡镇五级地区划分为五个层级,同一层级内不同地区之间采用分布式采集架构,即该层级内各综合能源网络的实时运行数据不是由该层级的采集服务器集中采集,而是由该层级内各地区的采集服务器分别采集相应地区的综合能源网络实时运行数据,同时为了提高可靠性,引入冗余机制,即某一个地区的采集服务器除了采集该地区的综合能源网络实时运行数据外,还同时采集相邻地区的综合能源网络实时运行数据,地区之间的相邻关系按其编码顺序确定,如某地区编码为“05”,其相邻地区编码为“06”,如果该地区编码为该层级内最后一个,那么该地区的相邻地区为该层级内的第一个地区。
步骤150,根据所述第一数据库表和所述第二数据库表,利用仿真软件对第一地区的综合能源网络进行仿真。
由于在第一数据库表中存储有第二地区的
仿真平台需满足海量分布式综合能源网络的并发仿真需求,本申请基于TensorFlowOnSpark的海量分布式综合能源网络的分布式并行仿真架构。TensorFlowOnSpark将TensorFlow与Spark结合在一起使用,为Spark集群带来可扩展的深度学习功能,使Spark能够利用TensorFlow拥有深度学习和GPU加速计算的能力。ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎,同时Spark利用内存计算,可大大提高运算效率。在本发明专利中,Spark为TensorFlow提供分布式运算的平台。TensorFlow是一个采用数据流图(data flow graphs),用于数值计算的开源软件库,是目前广泛流行的机器学习工具。
TensorFlowOnSpark在内部实现了与TensorFlow集群类似的可扩展性。SparkDriver端程序并不会参与TensorFlow内部相关的计算和处理,其思路像是一个TensorFlow集群运行在了Spark上,在每个Spark Executor中启动TensorFlow组件,然后通过gRPC或RDMA方式进行数据传递与交互。
本申请采用组件式设计,每一类业务分析仿真功能设计为一个组件,该组件部署于所有的TensorFlow Core中,同时按照地区分类,由不同的TensorFlow Core负责执行指定地区的分布式综合能源网络仿真请求。为了提高能源互联网仿真平台的可靠性,每一个TensorFlow Core可执行其相邻地区的分布式综合能源网络仿真请求,相邻地区与前述判断相邻地区的规则相同。需具备可扩展性,能够适应能源互联网业务的不断发展。由此,满足大量分布式能源网络同时仿真的要求。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。

Claims (7)

1.一种基于大数据机器学习的能源互联网仿真方法,其特征在于,所述基于大数据机器学习的能源互联网仿真方法包括:
获取第一时间内第一地区的综合能源网络中的设备的第一数据;其中,所述第一地区、所述第一地区的综合能源网络、所述第一地区的综合能源网络中的设备、所述第一地区的综合能源网络中的设备的第一数据均为编码格式;
根据变化周期,将所述第一数据中的周期性变化的数据分别存储在不同的第一数据库表中;
根据预设的数据量阈值,从所述第一数据库表中确定数据量超过数据量阈值的第一数据库表,并将所述数据量超过数据量阈值的第一数据库表分别存储在第一地区的数据服务器和第二地区的数据服务器中;其中,所述第二地区和所述第一地区相邻;
根据变化间隔的期望值,将所述第一数据中的随机变化的数据存储在第二数据库表中;
根据所述第一数据库表和所述第二数据库表,利用仿真软件对第一地区的综合能源网络进行仿真。
2.根据权利要求1所述的基于大数据机器学习的能源互联网仿真方法,其特征在于,所述第一地区按照国家-省份-地市-区县-乡镇的顺序,进行编码。
3.根据权利要求1所述的基于大数据机器学习的能源互联网仿真方法,其特征在于,所述第一地区的综合能源网络按照国家-省份-地市-区县-乡镇-网络编号的顺序,进行编码。
4.根据权利要求1所述的基于大数据机器学习的能源互联网仿真方法,其特征在于,所述第一地区的综合能源网络中的设备按照国家-省份-地市-区县-乡镇-网络编号-能源品类-设备类型-设备子类-设备编号的顺序,进行编码。
5.根据权利要求1所述的基于大数据机器学习的能源互联网仿真方法,其特征在于,所述第一地区的综合能源网络中的设备的数据按照国家-省份-地市-区县-乡镇-网络编号-能源品类-设备类型-设备子类-设备编号-数据类型-数据类型子类-数据的顺序,进行编码。
6.根据权利要求1所述的基于大数据机器学习的能源互联网仿真方法,其特征在于,所述仿真软件为TensorFlowOnSpark。
7.根据权利要求6所述的基于大数据机器学习的能源互联网仿真方法,其特征在于,在所述TensorFlowOnSpark中,第一TensorFlow Core对第一地区的综合能源网络中的设备的第一数据库表、第二地区的综合能源网络中的设备的第二数据库表进行仿真。
CN201810092011.5A 2018-01-30 2018-01-30 一种基于大数据机器学习的能源互联网仿真方法 Active CN108304648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810092011.5A CN108304648B (zh) 2018-01-30 2018-01-30 一种基于大数据机器学习的能源互联网仿真方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810092011.5A CN108304648B (zh) 2018-01-30 2018-01-30 一种基于大数据机器学习的能源互联网仿真方法

Publications (2)

Publication Number Publication Date
CN108304648A CN108304648A (zh) 2018-07-20
CN108304648B true CN108304648B (zh) 2022-01-28

Family

ID=62867117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810092011.5A Active CN108304648B (zh) 2018-01-30 2018-01-30 一种基于大数据机器学习的能源互联网仿真方法

Country Status (1)

Country Link
CN (1) CN108304648B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368443A (zh) * 2020-03-06 2020-07-03 北京旷视机器人技术有限公司 设备仿真方法、装置及电子设备
CN112948440A (zh) * 2021-03-09 2021-06-11 北京小米移动软件有限公司 页面数据的处理方法及装置、终端、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010139020A1 (en) * 2009-06-03 2010-12-09 Ember Technologies Pty Ltd Power monitoring system
CN103987056A (zh) * 2014-05-30 2014-08-13 南京华苏科技有限公司 基于大数据统计模型的无线网络话务量预测方法
CN104822162A (zh) * 2015-05-14 2015-08-05 北京邮电大学 一种混合能源网络中的绿色基站分流方法及装置
CN106534264A (zh) * 2016-10-14 2017-03-22 国网上海市电力公司 一种基于资源及负荷匹配的能源互联网组网方法
CN107038297A (zh) * 2017-04-07 2017-08-11 山东大学 全球能源互联网运行特性仿真的自适应变步长积分方法
CN107133255A (zh) * 2017-03-15 2017-09-05 中国电力科学研究院 一种大电网全景安全防御方法和系统
CN107134774A (zh) * 2017-05-08 2017-09-05 中国南方电网有限责任公司电网技术研究中心 含分布式电源的配电网可靠性分析方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3032442B1 (en) * 2014-12-08 2018-12-26 Tata Consultancy Services Limited Modeling and simulation of infrastructure architecture for big data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010139020A1 (en) * 2009-06-03 2010-12-09 Ember Technologies Pty Ltd Power monitoring system
CN103987056A (zh) * 2014-05-30 2014-08-13 南京华苏科技有限公司 基于大数据统计模型的无线网络话务量预测方法
CN104822162A (zh) * 2015-05-14 2015-08-05 北京邮电大学 一种混合能源网络中的绿色基站分流方法及装置
CN106534264A (zh) * 2016-10-14 2017-03-22 国网上海市电力公司 一种基于资源及负荷匹配的能源互联网组网方法
CN107133255A (zh) * 2017-03-15 2017-09-05 中国电力科学研究院 一种大电网全景安全防御方法和系统
CN107038297A (zh) * 2017-04-07 2017-08-11 山东大学 全球能源互联网运行特性仿真的自适应变步长积分方法
CN107134774A (zh) * 2017-05-08 2017-09-05 中国南方电网有限责任公司电网技术研究中心 含分布式电源的配电网可靠性分析方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
智能电网大数据技术发展研究;张东霞等;《中国电机工程学报》;20150105;第35卷(第1期);第2-12页 *

Also Published As

Publication number Publication date
CN108304648A (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
Monserrate The cloud is material: On the environmental impacts of computation and data storage
Fukuyama et al. A parallel genetic algorithm for generation expansion planning
CN107977744B (zh) 一种基于传统Benders分解法的电力系统日前鲁棒调度方法
CN107194533B (zh) 一种配电网全信息模型构建方法及系统
CN106407201A (zh) 一种数据处理方法及装置
CN104462222A (zh) 一种卡口车辆通行数据的分布式存储方法及系统
CN106503276A (zh) 一种用于实时监控系统的时间序列数据库的方法与装置
CN111586091A (zh) 一种实现算力组配的边缘计算网关系统
CN108304648B (zh) 一种基于大数据机器学习的能源互联网仿真方法
CN108074022A (zh) 一种基于集中运维的硬件资源分析与评估方法
CN102298716A (zh) 一种识别码的生成方法和装置以及识别码应用方法
CN113033089B (zh) 用电量异常用户识别方法和装置
CN105302915A (zh) 基于内存计算的高性能数据处理系统
CN117893358A (zh) 一种融合大数据和云计算的城市供水系统智慧管控方法
CN116975778A (zh) 一种基于信息级联的社交网络信息传播影响力预测方法
CN109104301A (zh) 一种基于深度学习模型针对综艺节目进行网络热度预测的方法和系统
Müller‐Kirchenbauer et al. A Network Modeling Systematics for Transition Paths Toward Climate Neutral Gas Networks—NeMoSys ['nεmɒsIs]–
CN116610731A (zh) 一种大数据分布式存储方法、装置、电子设备及存储介质
CN114996535A (zh) 电网中电力设备的数据检索方法、系统及电子设备
CN112925834B (zh) 数据导入的方法和装置
CN112613733A (zh) 一种园区能源的智能管控方法及系统
Liu et al. Secure and controllable data management mechanism for multi‐sensor fusion in internet of things
CN111190907A (zh) 专利网格方法及地球区块链和介质调度节点及网格系统
Younes et al. On the choice genetic parameters with Taguchi method applied in economic power dispatch
CN110083577B (zh) 一种智能家居云平台的数据收集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant