CN103366022B - 信息处理系统及其处理方法 - Google Patents
信息处理系统及其处理方法 Download PDFInfo
- Publication number
- CN103366022B CN103366022B CN201310055438.5A CN201310055438A CN103366022B CN 103366022 B CN103366022 B CN 103366022B CN 201310055438 A CN201310055438 A CN 201310055438A CN 103366022 B CN103366022 B CN 103366022B
- Authority
- CN
- China
- Prior art keywords
- data
- data collection
- transacter
- handling system
- collection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 167
- 230000008569 process Effects 0.000 claims abstract description 142
- 238000012545 processing Methods 0.000 claims abstract description 92
- 238000012217 deletion Methods 0.000 claims abstract description 13
- 230000037430 deletion Effects 0.000 claims abstract description 13
- 238000004891 communication Methods 0.000 claims description 5
- 238000009790 rate-determining step (RDS) Methods 0.000 claims 2
- 238000013480 data collection Methods 0.000 abstract description 232
- 238000004886 process control Methods 0.000 abstract description 111
- 230000010365 information processing Effects 0.000 abstract description 63
- 238000003672 processing method Methods 0.000 abstract description 8
- 238000007726 management method Methods 0.000 description 85
- 230000002688 persistence Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000004044 response Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5011—Pool
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5018—Thread allocation
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
提供一种信息处理系统及其处理方法,能够分散数据收集装置的负荷,实现负荷的均匀化,动态地并且方便地提高处理性能。该信息处理系统具有:保持包括当前值数据、时序数据或者履历数据的过程数据的过程控制装置群;和从过程控制装置群收集过程数据并对其进行处理的数据收集装置群。数据收集装置的第一动态管理单元负责管理数据收集装置向系统的加入或者从系统的脱离以及已经加入了系统的所有的数据收集装置的运行状态,第二动态管理单元负责管理过程控制装置群在系统中的追加或者删除,担当决定单元根据分配给数据收集装置群的第一识别信息以及分配给过程控制装置群的第二识别信息,决定担当的过程控制装置。
Description
技术领域
本发明涉及一种对包括当前值数据、时序数据或者履历数据的过程数据进行收集、加工以及保存等的信息处理系统及其处理方法。
背景技术
作为对过程数据进行收集、加工以及保存等的信息处理系统,在图13中示出了现有技术中的一般的系统结构(第一现有例)。如图13所示,数据收集装置52经由网络53以规定的频率收集在N个过程控制装置(数据源)51-1~51-N中收集到的或者生成的一次过程数据。接着,在数据收集装置52中为了二次利用而对一次过程数据进行加工后,作为二次过程数据(应用数据)存储在数据持久化装置(Persistencedevice)54中。在数据显示装置55中,利用该二次过程数据提供业务应用功能和人机接口功能。
在具有上述一般系统结构的信息处理系统中,由于通过数据收集装置52统一进行数据的收集、从一次过程数据到二次过程数据的加工和在数据持久化装置54中的保存,所以负荷容易集中在数据收集装置52中。例如,在数据收集装置52因故障而不能进行处理时,会导致二次过程数据损坏,使得数据显示装置55无法进行显示。
另一方面,除了以规定的频率收集过程数据外,数据收集装置52通常还需要在过程控制装置51-1~51-N和数据显示装置55之间进行其他的处理。例如,将从数据显示装置55输入的控制指令发送给过程控制装置51-1~51-N,根据数据显示装置55的要求从过程控制装置51-1~51-N获取实时数据,或者以小时~天或者天~月等为单位定期地将收集到的二次过程数据加工成三次过程数据并对其进行保存等。在此情况下,在进行规定频率的过程数据收集处理时,如果因负荷集中在数据收集装置52而导致数据收集装置52的CPU和存储器等资源都被过程数据收集处理占用,则可能使得数据收集装置52无法进行过程数据收集以外的处理。
此外,由于通过数据收集装置52统一进行数据的收集、从一次过程数据到二次过程数据的加工和在数据持久化装置54中的保存,所以有必要提高数据收集装置52的处理性能。此时,一般需要使数据收集装置52停止,并在这一状态下强化资源(CPU和存储器等),所以系统整体的性能的提高无法在运行状态下动态地进行。在此,处理性能是指能够以多快的频率从过程控制装置51-1~51-N中收集数据以及对数据进行加工和保存。
也就是说,为了不让系统停止运行,作为数据收集对象即过程控制装置的数量增加时的应对措施,需要在数据收集装置52中预先安装足够的资源(CPU和存储器等),使得在过程控制装置达到最大数量时也能够满足预期的处理性能。因此,在数据收集装置52中,无法根据作为数据收集对象的过程控制装置(数据源)的数量的增减来动态地进行性能调整。
图14表示将专利文献1所公开的方法应用于上述一般系统(图13)时的结构(第二现有例)。在该现有的方法中,使数据收集装置62实现多重化,并预先对所有的数据收集装置62-1~62-M设定优先度。将处于运行状态的所有的数据收集装置中的优先度最高的数据收集装置作为主数据收集装置(图中的数据收集装置62-1),将优先度第二高的数据收集装置作为副数据收集装置(图中的数据收集装置62-M),以此对所有的过程数据进行收集和保存。在该现有的方法中,主数据收集装置和副数据收集装置以外的处于运行状态的数据收集装置进入待机状态,当主数据收集装置和副数据收集装置中的任一个出现了故障时,再次根据优先度选择主数据收集装置和副数据收集装置。
图15表示将专利文献2所公开的方法应用于上述一般系统(图13)时的结构(第三现有例)。在该现有的方法中,将数据收集装置和数据持久化装置形成一体化和多重化,将各个数据收集装置以及作为该等数据收集装置的数据收集对象的过程控制装置(节点装置)作为构成信息76,在所有的数据收集装置中实现构成信息76的共有化。在该现有的方法中,数据收集装置根据构成信息76,针对作为自身的数据收集对象的过程控制装置(节点装置),进行数据的收集和保存。此外,数据显示装置75也根据构成信息76来判断所需的二次过程数据(应用数据)保持在哪一个数据收集装置72-A或者72-B(数据持久化装置74-A或者74-B)中,并在这一基础上询问对象数据收集装置(数据持久化装置)。
在先技术文献
专利文献
专利文献1日本国专利特开平9-34540号公报
专利文献2日本国专利特开2010-198434号公报
发明内容
可是,在所述专利文献1所公开的技术中,虽然其根据优先度从实现了多重化的所有的数据收集装置中确定实际进行处理的数据收集装置,但其无法实现负荷的分散和负荷的均匀化。另外,在所述专利文献2所公开的技术中,表示数据收集装置和作为该数据收集装置的数据收集对象的过程控制装置(节点装置)之间关系的构成信息是预先设定的,是静态的和固定的。因此,该技术无法应对数据收集装置和过程控制装置(节点装置)的动态的增减。
本发明是鉴于上述现有技术中所存在的问题而作出的,本发明的目的在于提供一种信息处理系统及其处理方法,其能够使进行过程数据的收集、加工和保存的数据收集装置的负荷分散,并且能够实现负荷的均匀化。
此外,本发明的其他目的在于提供一种信息处理系统及其处理方法,其能够动态地并且方便地提高过程数据的收集、加工和保存时的处理性能。
解决方案
为了解决上述问题,本发明提供一种信息处理系统,其具有多个过程控制装置和多个数据收集装置,所述多个过程控制装置保持包括当前值数据、时序数据或者履历数据的过程数据,所述多个数据收集装置经由网络从所述多个过程控制装置收集所述过程数据并对所述过程数据实施处理,所述信息处理系统的特征在于,所述数据收集装置具有第一动态管理单元、第二动态管理单元以及担当决定单元,所述第一动态管理单元负责管理所述数据收集装置向所述信息处理系统的加入或者所述数据收集装置从所述信息处理系统的脱离以及已经加入了所述信息处理系统的所有的所述数据收集装置的运行状态,所述第二动态管理单元负责管理所述多个过程控制装置在所述信息处理系统中的追加或者从所述信息处理系统的删除,所述担当决定单元根据分别分配给所述多个数据收集装置的第一识别信息以及分别分配给所述多个过程控制装置的第二识别信息,决定自身装置所担当的过程控制装置。
发明效果
根据本发明,能够实现一种信息处理系统及其处理方法,其能够使进行过程数据的收集、加工和保存的数据收集装置的负荷分散,并且能够实现负荷的均匀化。此外,还能够动态地并且方便地提高过程数据的收集、加工和保存时的处理性能。
附图说明
图1是本发明一实施方式所涉及的信息处理系统的结构图。
图2是表示实施方式所涉及的信息处理系统的整体结构的示例的结构图。
图3是数据收集装置管理表的示例的说明图。
图4是过程控制装置管理表的示例的说明图。
图5是说明将数据收集装置加入信息处理系统时的步骤的流程图。
图6是说明使数据收集装置从信息处理系统脱离时的步骤的流程图。
图7是说明决定数据收集装置所担当的过程控制装置时的步骤的流程图。
图8是说明如何来决定数据收集装置的担当的示例说明图。
图9是说明将任务分配给线程(thread)时的步骤的流程图。
图10是说明任务的执行步骤和对线程的分配的解除步骤的流程图。
图11是说明执行控制单元将任务分配给线程时的情况的示例的说明图。
图12是说明根据处理履历信息执行任务时的控制步骤的流程图。
图13是表示现有的进行数据收集的信息处理系统的一般结构(第一现有例)的示例的结构图。
图14是第二现有例的信息处理系统的结构图。
图15是第三现有例的信息处理系统的结构图。
具体实施方式
以下参照附图对本发明的信息处理系统及其处理方法的实施方式进行详细的说明。
实施方式
图1是本发明一实施方式所涉及的信息处理系统的结构图,图中主要示出了数据收集装置的内部结构。图2是本实施方式所涉及的信息处理系统的整体结构图。
如图1和图2所示,本实施方式的信息处理系统构造成通过网络3将过程控制装置群1(N个过程控制装置1-1~1-N,N为2以上的正整数)和数据收集装置群2(M个数据收集装置2-1~2-M,M为2以上的正整数)彼此连接起来,M个数据收集装置群2与数据持久化装置4连接,并且数据持久化装置4上还连接有数据显示装置5。在以下的说明中,将过程控制装置的数量N和数据收集装置的数量M设定为满足N>M或者N>>M的关系。
过程控制装置群1是数据收集装置群2的数据源,收集或者生成包括过程控制装置内的各种当前值数据、时序数据或者履历数据的过程数据。另一方面,数据收集装置群2经由网络3以规定的频率收集在过程控制装置群1中收集到的或生成的一次过程数据,并且为了进行二次利用而对一次过程数据进行加工。在此,规定的频率根据过程数据的种类确定。由数据收集装置群2收集到的一次过程数据和通过对一次过程数据进行加工而得到的二次过程数据(应用数据)保存在数据持久化装置4中。在数据显示装置5中,利用该二次过程数据,提供业务应用功能和人机接口功能。
也就是说,使数据收集装置实现多重化,并且由各个数据收集装置以分担的方式经由网络3分别收集过程控制装置(数据源)1-1~1-N所保持的一次过程数据,并通过数据显示装置5加工成可供利用的二次过程数据(应用数据)后将其保存在数据持久化装置4中。以下将过程数据的一系列步骤即收集、加工和保存称为“过程数据的处理”。
在图1中,数据收集装置2-k(k=1~M)构造成具有控制部分11、执行部分12、存储部分13以及输入输出部分14,15。其中,存储部分13具有数据收集装置管理表31和过程控制装置管理表32,控制部分11具有第一动态管理单元21、第二动态管理单元22、担当决定单元23、任务管理单元24、执行控制单元25以及数据处理履历管理单元26。执行部分12用于执行过程数据的处理,通过MPU(微处理单元,Micro-ProcessingUnit)等的处理器来实现,具有Q个处理资源35-1~35-Q(Q为任意的正整数)。此外,输入输出部分14主要掌管经由网络3与过程控制装置群1进行通信的通信接口,输入输出部分15主要掌管与数据持久化装置4进行通信的通信接口。
以下对控制部分11和储存部分13的各构成要素的功能进行说明。
首先,第一动态管理单元21负责管理数据收集装置2-k向该信息处理系统的加入或者数据收集装置2-k从该信息处理系统的脱离以及已经加入了该信息处理系统的所有的数据收集装置的运行状态。在此,数据收集装置2-k的加入或者脱离分别通过相关数据在各个数据收集装置管理表31中的追加或者删除来进行。也就是说,数据收集装置的运行状态是包括对所有的数据收集装置2-1~2-M的运行/非运行管理的运行或非运行的状态,其通过在数据收集装置管理表31中进行登录并依序进行更新来进行管理。
如图3所示,在数据收集装置管理表31中,针对已经加入了该信息处理系统的所有的数据收集装置2-1~2-M,保持数据收集装置ID(第一识别信息)、在网络3中的地址以及表示该数据收集装置的运行状态(运行或非运行)的状态信息。在以下的说明中,作为数据收集装置ID直接使用数据收集装置的参考符号2-1~2-M来对第一识别信息进行说明,但第一识别信息并不仅限于数据收集装置ID,可以是任何名称和编号等能够以唯一的方式对装置进行定义的称呼。
第一动态管理单元21经由网络3周期性地向其他数据收集装置进行询问,并依序对数据收集装置管理表31中的登录内容进行更新,由此对所有的数据收集装置的运行状态进行管理。例如,在有数据收集装置2-1~2-M以外的新的数据收集装置要加入到该信息处理系统时,根据来自该数据收集装置的追加要求追加新的数据。另一方面,在数据收集装置2-1~2-M中的任何一个数据收集装置要从该信息处理系统脱离时,根据来自该数据收集装置的删除要求删除与该数据收集装置相关的数据。
第二动态管理单元22负责管理过程控制装置1-j(j=1~N)在该信息处理系统中的追加或者删除。在此,过程控制装置1-j的追加或者删除分别通过在过程控制装置管理表32中追加或者删除与该过程控制装置相关的数据来进行。
如图4所示,在过程控制装置管理表32中,针对该信息处理系统所具有的所有的过程控制装置1-1~1-N,分别保持过程控制装置ID(第二识别信息)、在网络3中的地址以及该过程控制装置所具有的作为各种数据的处理履历信息的序列/时间戳记(TimeStamp)信息。在以下的说明中,与第一识别信息的场合一样,作为过程控制装置ID直接使用过程控制装置的参考符号1-1~1-N来对第二识别信息进行说明,但第二识别信息并不仅限于过程控制装置ID,可以是任何名称和编号等能够以唯一的方式对装置进行定义的称呼。
第二动态管理单元22经由网络3周期性地向所有的过程控制装置进行询问,依序对过程控制装置管理表32中的登录内容进行更新,由此对该信息处理系统所具有的所有的过程控制装置进行管理。
担当决定单元23根据分别分配给M个数据收集装置2-1~2-M的第一识别信息(数据收集装置管理表31中的数据收集装置ID)以及分别分配给N个过程控制装置1-1~1-N的第二识别信息(过程控制装置管理表32中的过程控制装置ID),自主地决定该数据收集装置2-k(自身装置)所担当的过程控制装置。
决定担当时的规则针对所有的数据收集装置2-1~2-M均相同,在数据收集装置加入该信息处理系统时,从指定的数据收集装置将其与数据收集装置的构成信息一起通知该信息处理系统。在本实施方式中,采用将按照过程控制装置ID(第二识别信息)的顺序排列的过程控制装置群1依序分配给按照数据收集装置ID(第一识别信息)的顺序排列的数据收集装置群2的按序分配算法。
任务管理单元24将对过程数据的处理作为任务进行排列(Queue)管理。也就是说,将对过程控制装置(数据源)1-j的一次数据的收集、一次数据向二次数据的加工以及在数据持久化装置4中的保存作为一个任务进行管理,对该任务进行排列管理。作为任务的管理方法,在本实施方式中采用先进先出(FIFO)方式,但并不仅限于此,可以采用任何按照规定的规则每次取出规定数量的数据的方式。
执行控制单元25对执行部分12所具有的线程(Thread)内的规定数量的可执行的线程进行池管理(Poolmanagement),将从任务管理单元24依序取出的任务分配给可执行的线程。在此,执行部分12的处理单位并不仅限于线程,也可以是过程(Process)。
数据处理履历管理单元26针对过程数据内的时序数据或者履历数据,按照每种数据的种类,将表示数据的处理(数据的收集、加工和保存这一系列的处理)在时序上已经实施到哪里的处理履历信息作为序列/时间戳记信息保持在过程控制装置管理表32中。此外,在执行任务时,根据该处理履历信息,进行在时间上不会出现矛盾的延续处理,并在任务结束时对该处理履历信息进行更新。
以下参照图5至图12对具有上述构成要素的信息处理系统的处理方法进行说明。
首先,参照图5所示的流程图,对数据收集装置2-k加入该信息处理系统时的步骤进行说明。在此,假定要加入该信息处理系统的数据收集装置2-k已经获取了在当前时间点已经加入了该信息处理系统的数据收集装置群2中的至少一个数据收集装置的在网络3中的地址。作为该地址的获取方法,例如可以采用由该数据收集装置2-k的操作员对于第一动态管理单元21进行指定的方法,通过第一动态管理单元21询问数据持久化装置4而进行获取的方法或者通过数据显示装置5由系统管理员进行指定和通知的方法等各种方法。
数据收集装置2-k的第一动态管理单元21将具有通过上述方法获取的地址的数据收集装置确定为构成信息的获取对象,并开始加入该信息处理系统(步骤S101)。首先,要求被指定为获取对象的数据收集装置发送该数据收集装置所具有的该信息处理系统的构成信息(步骤S102)。在此,所谓的构成信息是指数据收集装置管理表31的内容。
另一方面,在被指定为构成信息的获取对象的数据收集装置侧,在接收到来自数据收集装置2-k的要求后,应答自身所具有的与该信息处理系统的数据收集装置有关的构成信息即数据收集装置管理表31的内容(步骤S111)。
此外,在数据收集装置2-k侧,在提出构成信息的发送要求后,判断是否在规定的时间内收到了来自被指定为获取对象的数据收集装置侧的应答(步骤S103)。如果没有在规定的时间内接收到应答,则判断为加入失败,并通知操作员加入失败(步骤S107)。
另一方面,当在规定的时间内收到了来自被指定为获取对象的数据收集装置侧的应答时,在接收到的构成信息上添加自身的数据收集装置ID(第一识别信息)和在网络3中的地址数据后,将其保持在数据收集装置2-k的数据收集装置管理表31中(步骤S104)。
接着,经由网络3,将自身的数据收集装置ID(第一识别信息)、地址以及表示运行状态(表示正在运行的信息)的数据发送到已经加入了该信息处理系统的所有其他的数据收集装置,要求将其追加到各个数据收集装置所具有的数据收集装置管理表31中(步骤S105)。
另一方面,在已经加入了该信息处理系统的所有其他的数据收集装置侧,在从数据收集装置2-k接收到追加要求后,将与数据收集装置2-k有关的运行状态信息追加到自身所具有的数据收集装置管理表31中,并应答已经将装置信息追加到了自身的构成信息中(步骤S112和步骤S121)。
此外,在数据收集装置2-k侧,在提出追加要求后,判断是否在规定的时间内收到了来自所有其他的数据收集装置侧的应答(步骤S106)。如果在规定的时间内接收到来自其他的数据收集装置侧的应答,直接结束处理,在没有接收到应答时,判断为构成信息的同步失败,并通知操作员动态的数据收集装置的追加失败(步骤S107)。
以下参照图6所示的流程图,对数据收集装置2-k脱离该信息处理系统时的步骤进行说明。数据收集装置2-k的第一动态管理单元21通过网络3将自身的数据收集装置ID(第一识别信息)发送到已经加入了该信息处理系统的所有其他的数据收集装置,要求从各个数据收集装置所具有的数据收集装置管理表31中删除与数据收集装置2-k有关的运行状态信息(步骤S201)。
另一方面,在已经加入了该信息处理系统的所有其他的数据收集装置侧,在接收到来自数据收集装置2-k的删除要求后,从自身所具有的数据收集装置管理表31中删除与数据收集装置2-k有关的运行状态信息,并应答已经从自身的构成信息中删除了装置信息(步骤S211)。
此外,在数据收集装置2-k侧,在提出了删除要求后,判断是否在规定的时间内收到了来自所有其他的数据收集装置侧的应答(步骤S202)。如果在规定的时间内收到了来自其他的数据收集装置侧的应答,直接结束处理,在没有接收到应答时,判断为构成信息的同步失败,并通知操作员动态的数据收集装置的删除失败(步骤S203)。
以下参照图7所示的流程图和图8对决定由数据收集装置2-k担当的过程控制装置时的步骤进行说明。其中,图8是说明如何来决定数据收集装置的担当的示例说明图。在图中,圆表示过程控制装置,椭圆表示数据收集装置,圆和椭圆中的数字分别表示ID(识别信息)。
首先,数据收集装置2-k的担当决定单元23从其保持的数据收集装置的构成信息(也就是数据收集装置管理表31)中提取包括其自身在内的所有运行中的数据收集装置,并按照数据收集装置ID(第一识别信息)的从小到大的顺序进行排序,由此来构成数据收集装置群2的列表(步骤S301)。在图8的示例中,数据收集装置2-3和2-5为非运行,数据收集装置2-1,2-2,2-4按照顺序排列。
接着,从过程控制装置的构成信息(也就是过程控制装置管理表32)中提取所有已经加入了该信息处理系统的过程控制装置,并按照过程控制装置ID(第二识别信息)的从小到大的顺序进行排序,由此来构成过程控制装置群1的列表(步骤S302)。在图8的示例中,过程控制装置1-1~1-10,……按照顺序排列。
此后,将过程控制装置群1的列表中的过程控制装置按序分配给数据收集装置群2的列表中的数据收集装置(步骤S303)。在图8的示例中,过程控制装置1-1,1-4,1-7,1-10,……分配给了数据收集装置2-1,过程控制装置1-2,1-5,1-8,……分配给了数据收集装置2-2,而过程控制装置1-3,1-6,1-9,……则分配给了数据收集装置2-4。
以下参照图9和图10所示的流程图以及图11分别说明将任务分配给线程时的步骤、任务的执行步骤以及解除线程的分配时的步骤。其中,图11是说明通过执行控制单元25将任务分配给线程时的情况的示例的说明图。任务管理单元24具有任务排列器24a,执行控制单元25具有线程池25a,执行部分12具有处理资源35-1~35-4(Q=4)。
在图9所示的流程图中,首先,数据收集装置2-k的任务管理单元24将由担当决定单元23分配的对各个过程控制装置的处理(对过程数据的处理)作为任务追加到任务排列器24a中(步骤S401)。也就是说,各个任务是对分配给自身的过程控制装置(数据源)进行的一系列的处理即数据读入、加工以及保存处理。此外,任务排列器24a采用先进先出方式,按照进入任务排列器24a时的顺序取出。
接着,判断任务排列器24a内是否存在任务(步骤S402),在任务排列器24a内存在任务时,进入步骤S403,在任务排列器24a内不存在任务时,进入步骤S406。
另一方面,数据收集装置2-k的执行控制单元25通过线程池25a对执行部分12所具有的线程内的规定数量的可执行线程进行池管理。因此,当在步骤S402中判断为任务排列器24a内存在任务时,判断线程池25a内是否存在可用于分配的线程(步骤S403),在判断为线程池25a内存在可用于分配的线程时,进入步骤S404,在判断为线程池25a内没有可用于分配的线程时,返回步骤S402。
在任务排列器24a内存在任务,并且线程池25a内存在可用于分配的线程时(步骤S403的判断为有),依序从任务排列器24a中提取任务,并依序分配给可以利用的线程(步骤S404)。此时,将已进行了分配的任务从任务排列器24a中删除,在已用于分配的线程上标注表示已用于分配的标记(表示不能将该线程分配给其他的任务),并将其从线程池25a中取出(步骤S405)。例如,在图11的示例中,任务Tas4被从任务排列器24a中取出,可以利用的线程Thr4被从线程池25a中取出,任务Tas4被分配给线程Thr4后,例如在执行部分12的处理资源35-1上被执行。
此外,在线程池25a内不存在可用于分配的线程时(步骤S403的判断为无),反复进行步骤S402和步骤S403,执行控制单元25等待一个以上的可用于分配的线程返回线程池25a。
在任务排列器24a中的所有的任务均分配给了线程从而任务排列器24a为空时(步骤S402的判断为无),等待所有的线程作为可用于分配的线程返回到线程池25a中(步骤S406),并结束处理。
以下参照图10所示的流程图说明被分配了任务的线程在执行任务后,作为能够再次用于分配任务的线程返回到线程池25a为止的处理步骤。线程在分配了任务后,对与其分配到的任务相对应的过程控制装置(数据源)进行一系列的数据收集、加工和保存处理,以此来执行任务(步骤S501)。
在任务执行结束后,也就是在成功地执行了任务后,或者在任务的执行失败后(与作为数据收集对象的过程控制装置(数据源)的通信失败等)后,在该线程上标注表示对该线程的分配已经解除(表示能够将该线程分配给其他任务)的标记,并使该线程返回到线程池25a(步骤S502)。例如,在图11的示例中,当在实行部分12的处理资源35-4上完成了任务Tas1的执行后,向线程Thr1的任务Tas1的分配解除,线程Thr1作为可用于分配的线程返回到线程池25a中。
如上所述,将任务分配给线程后,由线程执行任务,在执行任务结束后,解除对线程的分配,当任务排列器24a成为空时,所有的线程均作为可用于分配的线程返回到线程池25a中,此后处理结束。但是,优选在经过一定时间后,再次进行通过担当决定单元23决定该数据收集装置2-k所担当的过程控制装置的处理。
例如,在分配给数据收集装置2-k的过程控制装置(数据源)的数量与线程池25a内的线程的数量相比较少时,通过如上所述设定一定的等待时间,可以避免连续地向对象过程控制装置(数据源)发送数据收集要求,由此可以避免产生过度的负荷。该一定的时间可以根据对象过程控制装置(数据源)的性能和作为处理对象的过程数据所需的实时性进行调整(在某些场合也可以设定为零)。
以下参照图12所示的流程图对根据处理履历信息执行任务时的控制步骤进行说明。在以下的说明中,将时序数据或者履历数据称为趋势/历史数据(Trend/Historicaldata)。在图4中,按照每种趋势/历史数据的种类分别进行管理的最终序列/时间戳记是从过程控制装置(数据源)起动时起算的序列编号(连续编号)和时间戳记(时间)等。该等数据与收集到的趋势/历史数据中所具有的处理履历信息(以唯一的方式确定数据的生成顺序的信息)相对应,是表示数据的处理(数据收集、加工和保存的一系列处理)在时序上已经实施到哪里的数据。
首先,在图10的步骤S501中,被分配了任务的线程开始进行任务的处理,此时,数据收集装置2-k的数据处理履历管理单元26参照过程控制装置管理表32判断有无接下来应获取的趋势/历史数据种类(步骤S601)。在判断为没有接下来应获取的趋势/历史数据种类时,结束处理。另一方面,在判断为有接下来应获取的趋势/历史数据种类时,数据处理履历管理单元26针对每一种趋势/历史数据,获取最终序列/时间戳记(步骤S602)。
接着,数据处理履历管理单元26指定所取得的最终序列/时间戳记,并要求对象过程控制装置(数据源)发送位于该最终序列/时间戳记后的趋势/历史数据(步骤S603)。另一方面,接收到该数据发送要求的过程控制装置(数据源)返送在时序上比该指定的最终序列/时间戳记新的数据(步骤S611)。
此外,在该信息处理系统起动后执行最初的任务时等,可能会出现在过程控制装置管理表32中不存在该数据种类的最终序列/时间戳记的情况(图12中未对其进行图示)。此时,数据收集装置2-k将序列/时间戳记的指定设定为序列0/系统起点的时刻等,使过程控制装置返送所有的数据。
在数据收集装置2-k侧,在提出数据发送要求后,数据处理履历管理单元26判断在规定的时间内是否从过程控制装置侧收到了应答(步骤S604)。在判断为在规定的时间内没有从过程控制装置侧收到应答时,返回到步骤S601,判断有无接下来应获取的趋势/历史数据种类。
在判断为在规定的时间内收到了步骤S611中的应答时,数据收集装置2-k将接收到的一次过程数据加工为二次过程数据后,将其保存在数据持久化装置4中(步骤S605)。
在以上的任务处理结束后,数据处理履历管理单元26将过程控制装置管理表32中的作为更新对象的趋势/历史数据的最终序列/时间戳记更新为所收到的一次过程数据中的最新的序列/时间戳记(步骤S606)。由此,在下一次进行任务处理时,数据处理履历管理单元26能够向过程控制装置要求在时序上连续的数据,从而能够进行在时序上不会出现矛盾的延续处理。
如上所述,本实施方式的信息处理系统具有过程控制装置群1(N个过程控制装置1-1~1-N)和数据收集装置群2(M个数据收集装置2-1~2-M),该过程控制装置群1保持包括当前值数据、时序数据或者履历数据的过程数据,该数据收集装置群2经由网络从过程控制装置群1中收集过程数据并对其进行处理。数据收集装置2-k(k=1~M)的第一动态管理单元21负责管理数据收集装置2-k向该信息处理系统的加入或者数据收集装置2-k从该信息处理系统的脱离以及已经加入了该信息处理系统的所有的数据收集装置的运行状态(第一动态管理步骤)。此外,第二动态管理单元22负责管理过程控制装置群1在该信息处理系统中的追加或者删除(第二动态管理步骤)。担当决定单元23根据分别分配给数据收集装置群2的第一识别信息以及分别分配给过程控制装置群1的第二识别信息,决定自身装置所担当的过程控制装置(担当决定步骤)。
具体来说是,数据收集装置2-k具有数据收集装置管理表31,该数据收集装置管理表31按照每个数据收集装置2-k分别保持该数据收集装置的第一识别信息和地址以及表示该数据收集装置的运行状态的状态信息。第一动态管理单元21通过与其他的数据收集装置进行通信来更新数据收集装置管理表31,对所有的数据收集装置的运行状态进行管理。数据收集装置2-k具有过程控制装置管理表32,该过程控制装置管理表32按照每个过程控制装置分别保持该过程控制装置的第二识别信息和地址以及该过程控制装置所具有的每种数据的所述处理履历信息,通过第二动态管理单元与所有的过程控制装置进行通信来更新过程控制装置管理表32,对所有的过程控制装置的追加或删除进行管理。
如此,通过将对N个过程控制装置1-1~1-N的过程数据的处理分配给M个数据收集装置2-1~2-M,能够方便地在各个数据收集装置之间分散处理负荷。
此外,能够自主地从数据收集装置2-k侧进行数据收集装置2-k向信息处理系统的加入或者数据收集装置2-k从信息处理系统的脱离。处理性能(指能够以多快的频率从过程控制装置中收集数据以及对数据进行加工和保存)被置换为过程控制装置的数量N与数据收集装置的数量M的比(平衡)。因此,通过增加数据收集装置的数量M,能够动态地并且方便地提高处理性能,能够缩短数据收集的频率。也就是说,在信息处理系统中的过程控制装置的数量增加时,通过动态地增加数据收集装置的数量M,能够根据过程控制装置的数量N动态地进行性能调整。
并且,在决定自身装置所担当的过程控制装置时,不是由特定的装置集中进行管理,而是由各个数据收集装置2-k自主地决定其应该担当的过程控制装置,所以不会形成瓶颈,能够确保高可靠性。
另外,在本实施方式的信息处理系统中,通过任务管理单元24将对过程数据的处理作为任务来进行管理(任务管理步骤)。由执行控制单元25对在数据收集装置2-k中执行对过程数据的处理的执行部分12所具有的线程或者过程内的规定数量的可执行的线程或者过程进行池管理,将依序从任务管理侧取出的一个任务分配给一个线程或者过程(执行控制步骤)。
如此,池管理中的线程或者过程的数量可以通过设定变更来进行增减,能够方便地在数据收集装置内或者数据收集装置之间实现处理负荷的均匀化。例如,通过增加池管理中的线程或者过程的数量,能够提高数据收集装置2-k的数据收集性能,但会导致所使用的资源(CPU和存储器等)增加。另一方面,池管理中的线程或者过程的数量减少时,该数据收集装置2-k的数据收集性能下降,但所使用的资源(CPU和存储器等)减少,由此能够将该部分的资源分配给数收据收集以外的处理。
其结果,根据本实施方式的信息处理系统,能够实现一种信息处理系统及其处理方法,其能够使进行过程数据的收集、加工和保存的数据收集装置的负荷分散,并且能够实现负荷的均匀化。此外,还能够动态地并且方便地提高过程数据的收集、加工和保存处理的性能。
另外,本实施方式的信息处理系统在过程控制装置管理表32中针对过程数据内的时序数据或者履历数据,按照每种数据的种类,保持表示数据的处理在时序上已经实施到哪里的处理履历信息(最终序列/时间戳记),通过数据处理履历管理单元26,在执行任务时,根据处理履历信息,进行在时间上不会出现矛盾的延续处理,并在任务结束时对处理履历信息进行更新(数据处理履历管理步骤)。
如此,能够在进行任务处理时,根据处理履历信息,要求过程控制装置发送在时序上相连续的数据,能够进行在时间上不会出现矛盾的延续处理。其结果,能够避免过程数据和对该过程数据的处理发生重复。
以上参照附图对本发明的实施方式进行了详细说明,但本发明并不仅限于该实施方式,在不脱离本发明的宗旨的范围内进行的设计变更等也包括在本发明的范围内。
符号说明
1过程控制装置群
1-1~1-N过程控制装置
2数据收集装置群
2-1~2-M,2-k数据收集装置
3网络
4数据持久化装置
5数据显示装置
11控制部分
12执行部分
13存储部分
14,15输入输出部分
21第一动态管理单元
22第二动态管理单元
23担当决定单元
24任务管理单元
25执行控制单元
26数据处理履历管理单元
31数据收集装置管理表
32过程控制装置管理表
35-1~35-Q处理资源
Claims (6)
1.一种信息处理系统,具有多个过程控制装置和多个数据收集装置,
所述多个过程控制装置保持包括当前值数据、时序数据或者履历数据的过程数据,
所述多个数据收集装置经由网络从所述多个过程控制装置收集所述过程数据并对所述过程数据实施处理,
所述信息处理系统的特征在于,
所述数据收集装置具有第一动态管理单元、第二动态管理单元以及担当决定单元,
所述第一动态管理单元负责管理所述数据收集装置向所述信息处理系统的加入或者所述数据收集装置从所述信息处理系统的脱离以及已经加入了所述信息处理系统的所有的所述数据收集装置的运行状态,
所述第二动态管理单元负责管理所述多个过程控制装置在所述信息处理系统中的追加或者从所述信息处理系统的删除,
所述担当决定单元根据分别分配给所述多个数据收集装置的第一识别信息以及分别分配给所述多个过程控制装置的第二识别信息,决定自身装置所担当的过程控制装置,
所述数据收集装置还具有执行部分、任务管理单元和执行控制单元,
所述执行部分具有多个处理资源,用于对所述过程数据执行处理,
所述任务管理单元将对所述过程数据的处理作为任务进行管理,
所述执行控制单元对所述执行部分所具有的线程或者过程内的规定数量的可执行的线程或者过程进行池管理,将依序从所述任务管理单元取出的一个任务分配给一个线程或者过程。
2.如权利要求1所述的信息处理系统,其特征在于,
所述数据收集装置具有数据收集装置管理表,所述数据收集装置管理表按照每个数据收集装置分别保持所述数据收集装置的第一识别信息和地址以及表示所述数据收集装置的运行状态的状态信息,
所述第一动态管理单元通过与其他的数据收集装置进行通信来更新所述数据收集装置管理表,对所有的数据收集装置的运行状态进行管理。
3.如权利要求1或2所述的信息处理系统,其特征在于,
所述数据收集装置具有数据处理履历管理单元,所述数据处理履历管理单元针对所述过程数据内的时序数据或者履历数据,按照每种数据的种类,保持表示该数据的处理在时序上已经实施到哪里的处理履历信息,在执行任务时,根据该处理履历信息,进行在时间上不会出现矛盾的延续处理,并在任务结束时对该处理履历信息进行更新。
4.如权利要求3所述的信息处理系统,其特征在于,
所述数据收集装置具有过程控制装置管理表,所述过程控制装置管理表按照每个过程控制装置分别保持所述过程控制装置的第二识别信息和地址以及所述过程控制装置所具有的每种数据的所述处理履历信息,
所述第二动态管理单元通过与所有的所述过程控制装置进行通信来更新所述过程控制装置管理表,对所有的所述过程控制装置的追加或删除进行管理。
5.一种信息处理系统的处理方法,其是具有多个过程控制装置和多个数据收集装置的信息处理系统的处理方法,
其中所述多个过程控制装置保持包括当前值数据、时序数据或者履历数据的过程数据,
所述多个数据收集装置经由网络从所述多个过程控制装置收集所述过程数据并对所述过程数据实施处理,
所述信息处理系统的处理方法的特征在于,
所述数据收集装置具有第一动态管理步骤、第二动态管理步骤以及担当决定步骤,
所述第一动态管理步骤负责管理所述数据收集装置向所述信息处理系统的加入或者所述数据收集装置从所述信息处理系统的脱离以及已经加入了所述信息处理系统的所有的所述数据收集装置的运行状态,
所述第二动态管理步骤负责管理所述多个过程控制装置在所述信息处理系统中的追加或者从所述信息处理系统的删除,
所述担当决定步骤根据分别分配给所述多个数据收集装置的第一识别信息以及分别分配给所述多个过程控制装置的第二识别信息,决定自身装置所担当的过程控制装置,
所述数据收集装置还具有任务管理步骤和执行控制步骤,
在任务管理步骤中,将对所述过程数据的处理作为任务进行管理,
在所述执行控制步骤中,对在所述数据收集装置中执行对所述过程数据的处理的执行部分所具有的线程或者过程内的规定数量的可执行的线程或者过程进行池管理,将在所述任务管理步骤中依序取出的一个任务分配给一个线程或者过程。
6.如权利要求5所述的信息处理系统的处理方法,其特征在于,
所述数据收集装置具有数据处理履历管理步骤,在所述数据处理履历管理步骤中,针对所述过程数据内的时序数据或者履历数据,按照每种数据的种类,保持表示该数据的处理在时序上已经实施到哪里的处理履历信息,在执行任务时,根据该处理履历信息,进行在时间上不会出现矛盾的延续处理,并在任务结束时对该处理履历信息进行更新。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012075913A JP5775481B2 (ja) | 2012-03-29 | 2012-03-29 | 情報処理システム及びその処理方法 |
JP2012-075913 | 2012-03-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103366022A CN103366022A (zh) | 2013-10-23 |
CN103366022B true CN103366022B (zh) | 2016-03-09 |
Family
ID=49236855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310055438.5A Active CN103366022B (zh) | 2012-03-29 | 2013-02-21 | 信息处理系统及其处理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8996677B2 (zh) |
JP (1) | JP5775481B2 (zh) |
CN (1) | CN103366022B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014188502A1 (ja) * | 2013-05-21 | 2014-11-27 | 株式会社日立製作所 | 管理システム、管理プログラム及び管理方法 |
US8978036B2 (en) * | 2013-07-29 | 2015-03-10 | Splunk Inc. | Dynamic scheduling of tasks for collecting and processing data from external sources |
KR101688269B1 (ko) * | 2014-02-28 | 2016-12-20 | 주식회사 포스코아이씨티 | 프로세스 기반의 에너지 관리 시스템 및 에너지 관리 방법 |
CA3238603A1 (en) * | 2014-03-18 | 2015-09-18 | Smartrek Technologies Inc. | Mesh network system and techniques |
US9128779B1 (en) | 2014-07-31 | 2015-09-08 | Splunk Inc. | Distributed tasks for retrieving supplemental job information |
CN106708815B (zh) * | 2015-07-15 | 2021-09-17 | 中兴通讯股份有限公司 | 数据处理方法、装置和系统 |
JP6809011B2 (ja) * | 2016-07-12 | 2021-01-06 | 富士電機株式会社 | 制御システムの遠隔監視を行う装置およびシステム |
JP2020197836A (ja) * | 2019-05-31 | 2020-12-10 | ファナック株式会社 | 産業用機械のデータ収集確認装置 |
CN114968569A (zh) * | 2022-05-18 | 2022-08-30 | 浙江工商大学 | 一种基于分布式异构系统的任务智能处理方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101010779A (zh) * | 2004-11-30 | 2007-08-01 | 尼康股份有限公司 | 组件处理系统、信息显示方法、程序、及记录媒体 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0934540A (ja) | 1995-07-18 | 1997-02-07 | Fuji Electric Co Ltd | プロセスデータ収集保存の多重化方法 |
JP3758427B2 (ja) * | 1999-07-23 | 2006-03-22 | 富士電機システムズ株式会社 | プロセス制御システム |
US7508787B2 (en) * | 2006-05-31 | 2009-03-24 | Cisco Technology, Inc. | Graphical selection of information display for wireless mesh hierarchies |
US8620708B2 (en) * | 2007-11-09 | 2013-12-31 | Hitachi-Ge Nuclear Energy, Ltd. | Progress status management method, program, and progress status management device |
JP4612714B2 (ja) * | 2008-08-12 | 2011-01-12 | 株式会社日立製作所 | データ処理方法、クラスタシステム、及びデータ処理プログラム |
JP2010198434A (ja) | 2009-02-26 | 2010-09-09 | Nec Corp | データ収集システム、データ収集方法およびデータ収集装置 |
JP5244717B2 (ja) * | 2009-07-02 | 2013-07-24 | 株式会社日立製作所 | 負荷割当制御方法および負荷分散システム |
JP5425028B2 (ja) * | 2010-09-13 | 2014-02-26 | 株式会社野村総合研究所 | データ検索システム及びプログラム |
-
2012
- 2012-03-29 JP JP2012075913A patent/JP5775481B2/ja active Active
-
2013
- 2013-02-04 US US13/758,044 patent/US8996677B2/en active Active
- 2013-02-21 CN CN201310055438.5A patent/CN103366022B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101010779A (zh) * | 2004-11-30 | 2007-08-01 | 尼康股份有限公司 | 组件处理系统、信息显示方法、程序、及记录媒体 |
Also Published As
Publication number | Publication date |
---|---|
US8996677B2 (en) | 2015-03-31 |
JP5775481B2 (ja) | 2015-09-09 |
JP2013206248A (ja) | 2013-10-07 |
CN103366022A (zh) | 2013-10-23 |
US20130263136A1 (en) | 2013-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103366022B (zh) | 信息处理系统及其处理方法 | |
US9577961B2 (en) | Input/output management in a distributed strict queue | |
CN110351384B (zh) | 大数据平台资源管理方法、装置、设备及可读存储介质 | |
JP4992408B2 (ja) | ジョブ割当プログラム、方法及び装置 | |
US10200295B1 (en) | Client selection in a distributed strict queue | |
CN109564528B (zh) | 分布式计算中计算资源分配的系统和方法 | |
KR100944912B1 (ko) | 서버 가상화 환경을 위한 디스크 입출력 스케쥴러 및 그의스케쥴링 방법 | |
US9571414B2 (en) | Multi-tiered processing using a distributed strict queue | |
US9584593B2 (en) | Failure management in a distributed strict queue | |
US20100138540A1 (en) | Method of managing organization of a computer system, computer system, and program for managing organization | |
US9591101B2 (en) | Message batching in a distributed strict queue | |
CN108459917A (zh) | 一种消息分配部件、消息处理系统以及消息分配方法 | |
CN107168777B (zh) | 分布式系统中资源的调度方法以及装置 | |
CN105389206A (zh) | 一种云计算数据中心虚拟机资源快速配置方法 | |
US20150378796A1 (en) | Client control in a distributed strict queue | |
US20170048352A1 (en) | Computer-readable recording medium, distributed processing method, and distributed processing device | |
WO2016061935A1 (zh) | 一种资源调度方法、装置及计算机存储介质 | |
US10013288B2 (en) | Data staging management system | |
CN109271236A (zh) | 一种业务调度的方法、装置、计算机存储介质及终端 | |
US20210168078A1 (en) | Method, electronic device and computer program product of load balancing | |
CN116610422A (zh) | 一种任务调度方法、装置和系统 | |
US9577878B2 (en) | Geographic awareness in a distributed strict queue | |
CN103677959B (zh) | 一种基于组播的虚拟机集群迁移方法及系统 | |
CN1913446B (zh) | 具有用于执行调度的执行节点的系统 | |
WO2015001596A1 (ja) | 系列データ並列分析基盤およびその並列分散処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |