[go: up one dir, main page]

CN105929799B - 作业者品质管理方法和作业者品质管理装置 - Google Patents

作业者品质管理方法和作业者品质管理装置 Download PDF

Info

Publication number
CN105929799B
CN105929799B CN201610006947.2A CN201610006947A CN105929799B CN 105929799 B CN105929799 B CN 105929799B CN 201610006947 A CN201610006947 A CN 201610006947A CN 105929799 B CN105929799 B CN 105929799B
Authority
CN
China
Prior art keywords
worker
data
work
past
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610006947.2A
Other languages
English (en)
Other versions
CN105929799A (zh
Inventor
今泽庆
滨村有
滨村有一
田中茂范
多田康郎
多田康一郎
百濑勇
深谷雄作
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN105929799A publication Critical patent/CN105929799A/zh
Application granted granted Critical
Publication of CN105929799B publication Critical patent/CN105929799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明的课题为从以重复进行同一作业为特征的作业现场的图像，自动判定各作业者的作业状况是正常还是异常。本发明提供作业者品质管理方法和作业者品质管理装置。对于进行重复动作的作业的作业者的作业品质管理方法的特征为具备：根据过去的作业者的动作路线数据、该作业对象物过去的中间品质数据和该作业对象物过去的最终品质数据，在统计学上构建以动作路线数据和中间品质数据为输入，以最终品质数据为输出的预测模型的模型构建步骤；根据拍摄的图像数据，识别作业者位置的作业者位置识别步骤；把在作业者位置识别步骤中识别出的作业者位置代入模型构建步骤中构建的模型中，判定对象的作业是正常还是异常的作业者位置异常判定步骤。

Description

作业者品质管理方法和作业者品质管理装置
技术领域
本发明涉及作业者品质管理方法和作业者品质管理装置。
背景技术
作为本技术领域的背景技术，有日本特开2010-211626号公报(专利文献1)。该公报记载了“动作路线监视系统包括：拍摄装置200，其生成对在输送装置中输送的第一移动体和第二移动体进行拍摄得到的时序拍摄数据；特征点抽出单元140，其从时序拍摄数据中按时序抽出第一移动体的特征点的位置；时序位置坐标计算单元150，其基于从时序拍摄数据求出的、第二移动体相对于第一移动体的特征点的相对位置，计算在使第一移动体静止的状态下表示的基准坐标上的第二移动体的时序位置坐标；数据蓄积部170，其蓄积基准坐标上的第二移动体的时序位置坐标”。
在上述专利文献1中记载了从拍摄数据取得移动体的动作路线的技术。但是，在专利文献1中无法判定取得的动作路线是正常还是异常。
专利文献1：日本特开2010-211626号公报
发明内容
本发明的目的在于，从以反复进行同一作业为特征的作业现场的图像，自动判定各作业者的作业状况是正常还是异常。
为了解决上述的问题，例如采用权利要求中记载的方法。
作为代表性的手段，具有以下的方法：把从拍摄数据取得的作业者的位置(本体位置、间接位置)数据与品质检查结果之间的关系在统计学上模型化，通过把判定对象的位置数据或间接的位置数据代入模型，判定动作路线是正常还是异常。
根据本发明，能够在以反复进行同一作业为特征的作业现场，自动判定各作业者的作业状况是正常还是异常。
通过以下的实施方式的说明，会使上述以外的问题、结构和效果变得明确。
附图说明
图1是作业者品质管理方法的处理流程图。
图2是过去的动作路线数据的例子。
图3是品质数据的例子。
图4是距离矩阵的例子。
图5是存储了贝叶斯网络(Bayesian network)中的网络结构的例子。
图6是贝叶斯网络中的带条件概率的例子。
图7是作业品质管理方法和系统的第二实施方式的处理流程图。
图8是作业状态标志的例子。
图9是作业品质管理方法和系统的第二个实施方式的例子中的框图。
图10是异常度推移显示画面的例子。
图11是标准动作路线比较结果显示画面的例子。
图12是作业时间推移显示画面的例子。
图13是标准动作路线定义画面的例子。
图14是检测条件设定画面的例子。
图15是用于推定概率分布的处理方法。
附图标记的说明
101：过去数据取得步骤；102：模型构建步骤；103：图像数据取得步骤；104：作业位置识别步骤；105：作业者位置异常判定步骤；201：帧编号；202：重心的X坐标；203：重心的Y坐标；204：头的X坐标；205：头的Y坐标；206：肩的X坐标；207：肩的Y坐标；208：经过时间；601：对象节点；602：父节点；603：带条件概率；701：图像数据取得步骤(图像取得步骤)；702：作业状态判定步骤；703：作业开始识别步骤；704：作业者位置识别步骤；705：作业者位置异常检测步骤；706：作业结束识别步骤；707：作业时间异常检测步骤；708：动作路线识别步骤；709：动作路线异常检测步骤；801：作业状态标志；901：DB部；902：传感器部；903：引擎部；904：显示部；1101：异常检测对象的动作路线；1102：标准的动作路线；1301：节点；1302：时刻；1501：过去的动作路线数据取得步骤；1502：过去的动作路线数据选择步骤；1503：概率分布推定步骤。
具体实施方式
以下，使用附图说明实施例。
图1是作业品质管理方法和作业者品质管理装置的处理流程图。
本实施例由以下步骤构成：过去数据取得步骤101，取得过去的动作路线数据、制品完成前的各作业的数值检查即中间品质数据、判定制品完成后是否能够作为制品出厂的最终品质数据；模型构建步骤102，根据取得的过去数据构建统计模型；图像数据取得步骤103，取得通过照相机等装置拍摄到的图像(动画或以预定的时间间隔取得的连续的静止画面)数据；作业者位置识别步骤104，识别图像数据中包含的作业者，取得该作业者的位置信息；作业者位置异常判定步骤105，把在作业者位置识别步骤中识别出的位置信息即动作路线数据(重心位置等整个作业者的动作路线数据或头、关节(肩、肘、膝等)这样的作业者身体一部分的动作路线数据)代入到在上述模型构建步骤102中构建的模型中，判定是否为正常。
在过去数据取得步骤101中，取得过去识别出的动作路线数据、过去的中间品质数据，过去的最终品质数据。
图2表示在上述的过去数据取得步骤101中取得的过去的动作路线数据的例子。
201表示对象的图像数据的帧编号。202～207表示取得的作业者的重心、头的位置、肩的位置各自的XY坐标。208表示从对象的图像数据的作业开始起的经过时间。
图3表示品质数据的例子。在上述的过去数据取得步骤101中，通过该表取得中间品质数据和最终品质数据。第1列表示用于识别制品的制品ID，第2列以后表示品质数据。
在模型构建步骤102中，基于在上述的过去数据取得步骤101中取得的过去数据，构建以动作路线数据和中间品质数据为输入，预测并输出最终品质数据的统计模型，将该统计模型存储在DB部901中。后述的统计模型构建引擎执行该处理。
由于针对每个制品ID动作路线数据的长度不同，所以变换成距离矩阵。
图4表示距离矩阵的例子。第1列表示制品ID。另外，例如，图4的表中的2行3列成分表示针对制品ID1的作业者的动作路线数据与针对制品ID2的动作路线数据的距离。作为距离的例子，有Gromov-Hausdorff距离。
然后，生成以制品ID为关键字在列方向上结合了距离矩阵、中间品质数据以及最终品质数据而得到的矩阵，从而构建统计模型。作为统计模型的例子，有贝叶斯网络等。贝叶斯网络是具有带条件概率的有向网络。
图5表示存储了贝叶斯网络的网络结构的例子。行方向表示子节点，列方向表示父节点。例如，第2行第5列的值为1，这表示对制品ID＝1距离与中间品质数据1之间存在父子关系。即，对制品ID＝1距离与中间品质数据1通过边缘连接，关于方向是以中间品质数据1为始发，以对制品ID＝1距离为目的地。
图6表示了贝叶斯网络的带条件概率的例子。对象节点601、父节点602分别表示对象的节点。带条件概率603的数字表示概率的值。
图像数据取得步骤103是从在作业现场设置的照相机等电子设备或者保存过去取得的图像数据的数据库取得图像数据的步骤。可以利用的电子设备有照相机、把照相机图像和深度传感器数据组合起来的3D照相机等。
关于要取得的图像数据，具有从电子设备只取得一帧最新的图像的方法、与数据库中保存的过去取得的图像数据一起取得多个帧的方法等。
作业者位置识别步骤104是搜索在取得的图像数据内拍摄到的作业者，取得图像数据内的作业者的重心、头的位置和肩的位置的XY坐标、以及从作业开始起的经过时间的步骤。
作为搜索作业者的方法，具有事先向计算机输入拍摄到作业者的图像数据和没有拍摄到作业者的图像数据，使用机械学习技术，根据图像数据构建用于判定是否拍摄到作业者的模型，使用该模型的方法；比较多个帧的图像，抽出运动的物体，将其作为作业者(作业者本体、作业者的身体的一部分)的方法。
作为取得从作业开始起的经过时间的方法，有从工厂的制造执行系统的起始履历取得作业开始和结束时刻，将其与从电子设备取得图像数据的时刻进行比较的方法；从图像数据推定作业内容，取得从作业开始起的经过时间的方法。
作业者位置异常判定步骤105是通过把在作业者位置识别步骤104中识别出的作业者的位置信息代入在模型构建步骤102中构建的预测模型，判定作业者的位置是正常还是异常的步骤。
作为正常时的位置信息的模型，具有存储标准的位置数据的推移，使用该标准的位置数据的推移的方法；根据过去的位置数据存储表示在哪个位置存在的概率是怎样的程度的概率分布，使用该概率分布的方法。
图7是作业品质管理方法和系统的第二个实施方式的处理流程图。
本实施例的处理的流程具有以下步骤：从照相机等设备取得图像数据的图像数据取得步骤701；判定在当前时刻，作业状况是在作业中还是不在作业中的作业状态判定步骤702；根据取得的图像数据，判定作业是否已经开始的作业开始识别步骤703；识别作业者的位置的作业者位置识别步骤704；判定作业者的位置是正常还是异常的作业者位置异常检测步骤705；根据取得的图像数据，识别作业是否已经结束的作业结束识别步骤706；根据识别出的作业开始、结束时刻计算作业时间，识别作业时间是异常还是正常的作业时间异常检测步骤707；把从作业开始时刻到作业结束时刻之间的作业者的位置识别为动作路线的动作路线识别步骤708；以及判定识别出的动作路线数据是异常还是正常的动作路线异常检测步骤709。
图像数据取得步骤701进行与图1中的过去数据取得步骤101同样的处理。
作业状态判定步骤702，读取在存储器上存储的作业状态标志，取得与作业状态是在作业中还是不在作业中有关的信息。
图8表示作业状态标志的例子。在作业状态标志801中保存有为作业中的信息。作为表示不在作业中时的保存方法，具有保持非作业中这样的信息的方法等。
在作业状态判定步骤702中，在作业状态标志为在作业中时，进入到作业者位置识别步骤704，在作业状态标志为不在作业中时，进入到作业开始识别步骤703。这些处理由作业状态判定引擎来进行。
在作业开始识别步骤703中，根据过去的多个帧的图像中的各个图像的特征量的推移，判定作业的开始。在没有开始作业时，返回到作业状态判定步骤702。在开始了作业时进入到作业者位置识别步骤704。该判定由后述的作业开始判定引擎使用后述的作业开始判定模型来进行。作为使用了该作业开始判定模型的判定方法，具有将过去的多个帧的图像中的特征量的推移与预先设定的阈值进行比较，由此来识别作业开始的方法；根据过去的多个帧的图像中的特征量的推移和在各时刻是否在作业中的数据，通过机械学习技术构建用于预测是否在作业中的预测模型的方法等。
作业者位置识别步骤704进行与图1中的作业者位置识别步骤104同样的处理。该处理由后述的作业者位置识别引擎进行。
作业者位置异常检测步骤705是把在作业者位置识别步骤704中识别出的作业者的位置信息与预先设定的正常时的位置信息模型进行比较，从而判定作业者的位置是正常还是异常的步骤。该处理由后述的作业者位置异常检测引擎使用作业位置异常检测模型来进行。
作为正常时的位置信息的模型，具有保存标准的位置数据的推移(标准动作路线)，使用该标准的位置数据的推移的方法；根据过去的位置数据保存表示在哪个位置存在的概率是何种程度的概率分布，使用概率分布该概率分布的方法。
在作业结束识别步骤706中，根据过去的多个帧的图像中的各个图像的特征量的推移，判定作业的结束。在判定为作业没有结束时，返回到图像数据取得步骤701。在判定为作业结束时进入到作业时间异常检测步骤707。判定由后述的作业结束判定引擎使用后述的作业结束判定模型来进行。作为判定的方法，具有将过去的多个帧的图像中的特征量的推移和预先设定的阈值进行比较，由此来识别作业结束的方法；根据过去的多个帧的图像中的特征量的推移和在各时刻是否在作业中的数据，通过机械学习技术构建用于预测是否在作业中的预测模型的方法等。
在作业时间异常检测步骤707中，具有根据在作业开始识别步骤703中识别出的作业开始时刻与在作业结束识别步骤706中识别出的作业结束时刻的差取得作业时间，将其与预先设定的阈值进行比较，把与阈值的差作为异常度，将异常度为一定值以上判定为异常，如果异常度不到一定值则判定为作业正常的方法等。该异常度也可以像后述那样表示。这些处理由后述的作业时间异常检测引擎使用后述的作业时间异常检测模型来进行。
在动作路线识别步骤708中，基于在作业位置识别步骤704中识别出的各时刻的作业者位置，生成每个作业者的动作路线数据，该动作路线数据的生成由后述的动作路线识别引擎使用后述的动作路线检测模型来进行。
关于动作路线数据的生成方法，具有基于时刻t-1和时刻t的作业者位置，预测时刻t+1的位置，把位于最近的位置的作业者位置当做相应的作业者在时刻t+1的位置，推定动作路线的方法等。作为预测时刻t+1的位置的方法，例如具有状态空间模型等。
在动作路线异常检测步骤709中是判定在动作路线识别步骤708中识别出的动作路线是正常还是异常的步骤。该判定由后述的动作路线异常检测引擎使用后述的动作路线异常检测模型来进行。
作为进行判定的方法，具有计算与预先设定的标准的动作路线数据的差，将该差与预先设定的阈值进行比较的方法等。
此时，作为差的计算方法有Gromov-Hausdorff距离等。
另外，作为其它的异常判定方法，具有把动作路线数据埋入1点由动作路线数据构成的空间中，通过同样的埋入映射还埋入过去的动作路线数据，推定概率分布，计算异常判定对象的动作路线的发生概率的方法等。
作为埋入方法，具有将Gromov-Hausdorff距离放入到1点由一维流形构成的集合中，从而在距离化的空间中埋入的方法等。
图9表示作业品质管理方法和系统的第二个实施方式的例子中的框图。
DB部901由作业开始判定模型、作业位置检测模型、作业结束判定模型、作业时间异常检测模型、动作路线检测模型、动作路线异常检测模型、过去数据构成，通过网络与传感器部902、引擎部903连接。
传感器部902具备照相机和3D照相机，通过网络与DB部901和引擎部903连接。
引擎部903具备：作业开始判定引擎、作业结束判定引擎、作业状态判定引擎、作业者位置识别引擎、作业者位置异常检测引擎、动作路线识别引擎、动作路线异常检测引擎、作业时间异常检测引擎、统计模型构建引擎，通过网络与DB部901、传感器部902、显示部904连接。
显示部904由异常度推移显示画面、标准动作路线比较结果显示画面、作业时间推移显示画面、标准动作路线定义画面、检测条件设定画面构成，通过网络与引擎部903连接。
图10表示异常度推移显示画面的例子。横轴表示处理时刻，纵轴表示异常度。除了处理时刻以外，也有使横轴为处理ID的方法。纵轴的异常度是在作业时间异常检测步骤707中求出的异常度。
图11表示标准动作路线比较结果显示画面的例子。是把异常检测对象的动作路线(目标路径)1101与标准动作路线(普通路径)1102重叠后的图。检测对象的动作路线和标准动作路线是在动作路线异常检测步骤709中使用的。
图12表示作业时间推移显示画面的例子。横轴表示处理时刻，纵轴表示各作业需要的作业时间。除了处理时刻以外，也有使横轴为处理ID的方法。
图13表示标准动作路线定义画面的例子。在标准动作路线定义画面中，具有通过操作鼠标可自由地移动用边缘连起来的节点1301的画面等。对各节点关联应该观测各节点的时刻1302相，用户还能够编辑时刻信息。标准动作路线是在动作路线异常检测步骤709中使用的。
图14表示检测条件设定画面的例子。在本画面中，可设定注意阈值、警告阈值、标准的作业时间等。
图15表示用于推定在图1的作业者位置异常判定步骤105中使用的概率分布的处理方法。
本处理由取得过去的动作路线数据的过去的动作路线数据取得步骤1501、从过去的动作路线数据中选择在模型构建中使用的数据的过去的动作路线数据选择步骤1502、根据选择的数据推定概率分布的概率分布推定步骤1503构成。
在过去的动作路线数据取得步骤1501中，取得预先指定的期间中的动作路线数据。
在过去的动作路线数据选择步骤1502中，根据取得的数据的作业时间、异常检测结果只选择正常的动作路线。
在概率分布推定步骤1503中，根据选择出的动作路线数据推定概率分布。此时，具有预先仅确定正态分布那样的分布族，根据数据推定参数的方法；像核密度推定那样不以分布族为前提的非参数推定等。

Claims (4)

1.一种对于进行重复动作的作业的作业者的作业品质管理方法，其特征在于，具备：
图像数据取得步骤，其取得对作业进行拍摄得到的图像数据；
作业者位置识别步骤，其从图像数据识别作业者的位置；
预测模型构建步骤，其生成以制品的识别符为关键字在列方向上结合了距离矩阵、过去的中间品质数据以及过去的最终品质数据而得到的矩阵来构建预测模型，上述距离矩阵是将针对每个产品不同长度的过去的作业者的动作路线数据进行变换而得到的距离矩阵，上述过去的中间品质数据是制品完成前的各作业的数值检查，上述过去的最终品质数据用于判定制品完成后是否能够作为制品出厂；以及
作业者位置异常判定步骤，其把在上述作业者位置识别步骤中识别出的作业者位置代入上述预测模型，判定对象的作业是正常还是异常。
2.根据权利要求1所述的作业品质管理方法，其特征在于，
在上述预测模型构建步骤中在模型构建中使用的作业者的动作路线数据包含作业者的重心、头位置或关节位置的动作路线数据，
在上述作业者位置识别步骤中，作为作业者的位置，识别作业者的重心、头或关节的位置。
3.一种对于进行重复动作的作业的作业者的作业品质管理装置，其特征在于，
具备DB部和引擎部；
上述DB部具备：对作业进行拍摄得到的图像数据；以及
根据过去的作业者的动作路线数据、过去的中间品质数据以及过去的最终品质数据在统计学上构建的预测模型，
上述引擎部执行以下步骤：
图像数据取得步骤，其取得对作业进行拍摄得到的图像数据；
作业者位置识别步骤，其从图像数据识别作业者的位置；
预测模型构建步骤，其生成以制品的识别符为关键字在列方向上结合了距离矩阵、过去的中间品质数据以及过去的最终品质数据而得到的矩阵来构建预测模型，其中，上述距离矩阵是将针对每个产品不同长度的过去的作业者的动作路线数据进行变换而得到的距离矩阵，上述过去的中间品质数据是制品完成前的各作业的数值检查，上述过去的最终品质数据用于判定制品完成后是否能够作为制品出厂；以及
作业者位置异常判定步骤，其把在上述作业者位置识别步骤中识别出的作业者位置代入上述预测模型，判定对象的作业是正常还是异常。
4.根据权利要求3所述的作业品质管理装置，其特征在于，
在上述预测模型构建步骤中在模型构建中使用的作业者的动作路线数据包含作业者的重心、头位置或关节位置的动作路线数据，
在上述作业者位置识别步骤中，作为作业者的位置，识别作业者的重心、头或关节的位置。
CN201610006947.2A 2015-02-26 2016-01-05 作业者品质管理方法和作业者品质管理装置 Active CN105929799B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-036031 2015-02-26
JP2015036031A JP2016157357A (ja) 2015-02-26 2015-02-26 作業者品質管理方法及び作業者品質管理装置

Publications (2)

Publication Number Publication Date
CN105929799A CN105929799A (zh) 2016-09-07
CN105929799B true CN105929799B (zh) 2018-09-28

Family

ID=55357851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610006947.2A Active CN105929799B (zh) 2015-02-26 2016-01-05 作业者品质管理方法和作业者品质管理装置

Country Status (4)

Country Link
US (1) US10614391B2 (zh)
EP (1) EP3062263A1 (zh)
JP (1) JP2016157357A (zh)
CN (1) CN105929799B (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018133731A (ja) * 2017-02-16 2018-08-23 トヨタ自動車株式会社 監視システム
JP6283138B1 (ja) * 2017-05-16 2018-02-21 伸介 佐藤 広告システム
JP6298562B1 (ja) * 2017-05-31 2018-03-20 伸和コントロールズ株式会社 状態監視装置、状態監視方法及びプログラム
JP6824838B2 (ja) * 2017-07-07 2021-02-03 株式会社日立製作所 作業データ管理システム及び作業データ管理方法
CN110945374B (zh) * 2017-08-24 2023-06-06 三菱电机株式会社 活动记录装置、活动记录方法以及记录介质
CN109522912B (zh) * 2017-09-18 2021-04-02 同方威视技术股份有限公司 扫描质量检测方法、控制器和装置
JP6954792B2 (ja) * 2017-09-21 2021-10-27 株式会社日立製作所 接合工程ライン監視システム
JP7080615B2 (ja) * 2017-10-04 2022-06-06 株式会社日立製作所 監視装置、その方法および、そのシステム
JP6571741B2 (ja) 2017-11-29 2019-09-04 ファナック株式会社 作業者管理装置
JP6997013B2 (ja) * 2018-03-05 2022-01-17 株式会社日立製作所 作業動作解析システム及び作業動作解析方法
JP2019159818A (ja) * 2018-03-13 2019-09-19 矢崎総業株式会社 作業評価装置、及び、作業評価方法
JP2019200560A (ja) * 2018-05-16 2019-11-21 パナソニックＩｐマネジメント株式会社 作業分析装置および作業分析方法
JP6948294B2 (ja) * 2018-07-26 2021-10-13 株式会社日立製作所 作業異常検知支援装置、作業異常検知支援方法、および作業異常検知支援プログラム
JP6989464B2 (ja) * 2018-08-30 2022-01-05 株式会社日立製作所 ソフトウェア生成方法およびソフトウェア生成システム
JP7087882B2 (ja) * 2018-09-26 2022-06-21 オムロン株式会社 品質予測装置、品質予測方法、及び品質予測プログラム
US11301683B2 (en) * 2018-10-10 2022-04-12 Autodesk, Inc. Architecture, engineering and construction (AEC) construction safety risk analysis system and method for interactive visualization and capture
US11209795B2 (en) 2019-02-28 2021-12-28 Nanotronics Imaging, Inc. Assembly error correction for assembly lines
KR102567594B1 (ko) * 2019-03-26 2023-08-16 제이에프이 스틸 가부시키가이샤 코크스로 축로시의 검사 장치 및 검사 방법, 그리고 코크스로 축로 방법
JP2020173753A (ja) * 2019-04-10 2020-10-22 株式会社Ｍ−Ｎｅｔ 製造工程監督支援システム
JP7207790B2 (ja) 2019-04-19 2023-01-18 ナノトロニクス イメージング インコーポレイテッド 組立てラインのための組立てエラー修正
US11156991B2 (en) 2019-06-24 2021-10-26 Nanotronics Imaging, Inc. Predictive process control for a manufacturing process
US11063965B1 (en) 2019-12-19 2021-07-13 Nanotronics Imaging, Inc. Dynamic monitoring and securing of factory processes, equipment and automated systems
US11100221B2 (en) 2019-10-08 2021-08-24 Nanotronics Imaging, Inc. Dynamic monitoring and securing of factory processes, equipment and automated systems
US12153408B2 (en) 2019-11-06 2024-11-26 Nanotronics Imaging, Inc. Systems, methods, and media for manufacturing processes
US12165353B2 (en) 2019-11-06 2024-12-10 Nanotronics Imaging, Inc. Systems, methods, and media for manufacturing processes
JP7320885B2 (ja) 2019-11-06 2023-08-04 ナノトロニクス イメージング インコーポレイテッド 製造プロセスのためのシステム、方法、および媒体
WO2021102223A1 (en) 2019-11-20 2021-05-27 Nanotronics Imaging, Inc. Securing industrial production from sophisticated attacks
US11086988B1 (en) 2020-02-28 2021-08-10 Nanotronics Imaging, Inc. Method, systems and apparatus for intelligently emulating factory control systems and simulating response data
TWI854583B (zh) * 2020-03-09 2024-09-01 美商奈米創尼克影像公司 用於製造流程之系統及方法
EP4168941A4 (en) * 2020-06-18 2024-10-02 Nanotronics Imaging, Inc. SYSTEMS, METHODS AND MEDIA FOR MANUFACTURING PROCESSES
WO2021261905A1 (ko) * 2020-06-24 2021-12-30 (주) 넥스트랩 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치와 그 방법
JP7481182B2 (ja) * 2020-07-10 2024-05-10 株式会社日立製作所 工程管理システムおよび工程管理方法
US11823564B1 (en) * 2020-09-11 2023-11-21 Lytx, Inc. Adaptive data collection based on fleet-wide intelligence
US12198475B1 (en) 2020-09-11 2025-01-14 Lytx, Inc. Orchestrated intelligent edge sensing
JP7666950B2 (ja) * 2021-02-25 2025-04-22 日本電気株式会社 監視装置、監視システム、監視方法および監視プログラム
JPWO2022209082A1 (zh) * 2021-04-02 2022-10-06
JPWO2023017647A1 (zh) * 2021-08-12 2023-02-16
JP2025014342A (ja) * 2023-07-18 2025-01-30 トヨタ自動車株式会社 作業認識システム、作業認識方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7136505B2 (en) * 2002-04-10 2006-11-14 National Instruments Corporation Generating a curve matching mapping operator by analyzing objects of interest and background information
CN102665071A (zh) * 2012-05-14 2012-09-12 安徽三联交通应用技术股份有限公司 一种社会治安视频监控图像智能处理和检索方法
JP2013025578A (ja) * 2011-07-21 2013-02-04 Uchihama Kasei Kk 作業支援システム
CN103150579A (zh) * 2013-02-25 2013-06-12 东华大学 一种基于视频序列的人体异常行为检测方法
CN103218628A (zh) * 2013-03-22 2013-07-24 中国科学技术大学 一种基于团块与轨迹特征的异常行为描述方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5590268A (en) * 1993-03-31 1996-12-31 Kabushiki Kaisha Toshiba System and method for evaluating a workspace represented by a three-dimensional model
US6751344B1 (en) * 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
GB0218982D0 (en) * 2002-08-15 2002-09-25 Roke Manor Research Video motion anomaly detector
JPWO2004106009A1 (ja) * 2003-06-02 2006-07-20 松下電器産業株式会社 物品取扱いシステムおよび物品取扱いサーバ
JP4239932B2 (ja) * 2004-08-27 2009-03-18 株式会社日立製作所 生産管理システム
US20080166015A1 (en) * 2004-09-24 2008-07-10 Object Video, Inc. Method for finding paths in video
JP5037248B2 (ja) * 2007-07-17 2012-09-26 株式会社日立製作所 情報収集システムおよび情報収集ロボット
JP2009159336A (ja) * 2007-12-26 2009-07-16 Panasonic Corp 行動範囲把握方法および行動把握装置
MY158097A (en) * 2009-04-22 2016-08-30 Mimos Berhad Method to generate analytical path deviation model
JP5369778B2 (ja) * 2009-03-11 2013-12-18 日本電気株式会社 動線モニタリングシステム、方法、及び、プログラム
US8081082B2 (en) * 2009-05-27 2011-12-20 International Business Machines Corporation Monitoring patterns of motion
US8285060B2 (en) * 2009-08-31 2012-10-09 Behavioral Recognition Systems, Inc. Detecting anomalous trajectories in a video surveillance system
US8180105B2 (en) 2009-09-17 2012-05-15 Behavioral Recognition Systems, Inc. Classifier anomalies for observed behaviors in a video surveillance system
US8660368B2 (en) * 2011-03-16 2014-02-25 International Business Machines Corporation Anomalous pattern discovery
EP2686254B1 (de) * 2011-03-17 2018-08-15 SSI Schäfer Automation GmbH Steuerung und überwachung einer lager- und kommissionieranlage durch bewegung und sprache
US20130030873A1 (en) * 2011-07-26 2013-01-31 United Parcel Service Of America, Inc. Systems and methods for assessing mobile asset efficiencies
JP2013146511A (ja) * 2012-01-19 2013-08-01 Mobadai Inc 人体の動作の変移を記録、解析し、表示する電子機器
US20130286198A1 (en) * 2012-04-25 2013-10-31 Xerox Corporation Method and system for automatically detecting anomalies at a traffic intersection
US9410980B2 (en) * 2013-02-20 2016-08-09 Toyota Motor Engineering & Manufacturing North America, Inc. Work monitoring system
US10551799B2 (en) * 2013-03-15 2020-02-04 Fisher-Rosemount Systems, Inc. Method and apparatus for determining the position of a mobile control device in a process plant
WO2015029228A1 (ja) * 2013-08-30 2015-03-05 株式会社小松製作所 鉱山機械の管理システム及び管理方法
JP6364747B2 (ja) * 2013-11-14 2018-08-01 オムロン株式会社 監視装置および監視方法
US9645566B2 (en) * 2013-11-21 2017-05-09 Honeywell International Inc. Physical presence verification by an industrial control system controller

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7136505B2 (en) * 2002-04-10 2006-11-14 National Instruments Corporation Generating a curve matching mapping operator by analyzing objects of interest and background information
JP2013025578A (ja) * 2011-07-21 2013-02-04 Uchihama Kasei Kk 作業支援システム
CN102665071A (zh) * 2012-05-14 2012-09-12 安徽三联交通应用技术股份有限公司 一种社会治安视频监控图像智能处理和检索方法
CN103150579A (zh) * 2013-02-25 2013-06-12 东华大学 一种基于视频序列的人体异常行为检测方法
CN103218628A (zh) * 2013-03-22 2013-07-24 中国科学技术大学 一种基于团块与轨迹特征的异常行为描述方法

Also Published As

Publication number Publication date
CN105929799A (zh) 2016-09-07
JP2016157357A (ja) 2016-09-01
US10614391B2 (en) 2020-04-07
EP3062263A1 (en) 2016-08-31
US20160253618A1 (en) 2016-09-01

Similar Documents

Publication Publication Date Title
CN105929799B (zh) 作业者品质管理方法和作业者品质管理装置
Roberts et al. Vision-based construction worker activity analysis informed by body posture
CN110533685B (zh) 对象跟踪方法和装置、存储介质及电子装置
Fard et al. Application of visualization techniques for construction progress monitoring
US20210279960A1 (en) Photogrammetry of building using machine learning based inference
CN102077250B (zh) 移动体检测方法及移动体检测装置
CN102378992B (zh) 关节状区域检测装置及其方法
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
JP6841608B2 (ja) 振る舞い検知システム
Kim Visual analytics for operation-level construction monitoring and documentation: State-of-the-art technologies, research challenges, and future directions
JP6352512B1 (ja) 信号処理装置、信号処理方法、信号処理プログラム、及びデータ構造
JP2021135977A (ja) 情報処理装置及び方法
Braun et al. Process-and computer vision-based detection of as-built components on construction sites
JP2022164949A (ja) 配筋検査装置、配筋検査方法およびプログラム
Pal et al. Automated construction progress monitoring of partially completed building elements leveraging geometry modeling and appearance detection with deep learning
Pal et al. A framework for automated daily construction progress monitoring leveraging unordered site photographs
CN113312969A (zh) 一种基于三维视觉的零部件识别与定位方法、系统
CN116310237A (zh) 在线三维地图的构建方法、系统、电子设备和存储介质
JP6618349B2 (ja) 映像検索システム
Kikuta et al. Development of an action classification method for construction sites combining pose assessment and object proximity evaluation
CN117914912B (zh) 基于物联网的智慧车站管理方法及系统
Roberts et al. Annotating 2D imagery with 3D kinematically configurable assets of construction equipment for training pose-informed activity analysis and safety monitoring algorithms
Cai et al. Integrating positional and attentional cues for construction working group identification: A long short-term memory based machine learning approach
Hui et al. Automated in-placed brick counting for façade construction progress estimation
JP2024108716A (ja) 進捗管理システム、及び、進捗管理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant