[go: up one dir, main page]

CN112602113B - 图像判定装置、学习方法及其程序的记录媒体 - Google Patents

图像判定装置、学习方法及其程序的记录媒体 Download PDF

Info

Publication number
CN112602113B
CN112602113B CN201980052593.7A CN201980052593A CN112602113B CN 112602113 B CN112602113 B CN 112602113B CN 201980052593 A CN201980052593 A CN 201980052593A CN 112602113 B CN112602113 B CN 112602113B
Authority
CN
China
Prior art keywords
image
learning
feature
output
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980052593.7A
Other languages
English (en)
Other versions
CN112602113A (zh
Inventor
土屋直树
井尻善久
丸山裕
大川洋平
林剣之介
山元左近
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN112602113A publication Critical patent/CN112602113A/zh
Application granted granted Critical
Publication of CN112602113B publication Critical patent/CN112602113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像判定装置学习方法及其程序的记录媒体，即便在进行学习模型的追加学习的情况下，也明确着眼于图像的何种特征获得了判定结果。图像判定装置包括：一个或多个特征提取器，基于检查对象的图像而输出表示图像的特定特征的特征数据；判定器，基于从特征提取器输出的特征数据，输出表示与图像有关的判定结果的输出数据；以及学习部，使用包含学习图像及标签数据的学习数据，使判定器以下述方式进行学习，即，基于将学习图像输入至特征提取器时输出的特征数据，输出表示与学习图像关联的标签数据的输出数据，并且学习部使用新的学习数据，使判定器以下述方式进行追加学习，即，由判定器输出表示与图像关联的标签数据的输出数据。

Description

图像判定装置、学习方法及其程序的记录媒体
技术领域
本发明涉及一种图像判定装置、学习方法及其程序的记录媒体。
背景技术
以往，在工厂自动化(Factory Automation，FA)领域中，将使用图像处理的自动控制广泛地加以实用。例如，已实现如下工序：拍摄工件等检查对象，基于从所述拍摄的图像中提取的特征量，检查所述工件是否良好。
例如专利文献1中公开了下述装置，此装置使用识别器的输出结果来判定检查对象有无缺陷，所述识别器将在多个拍摄条件下拍摄的检查对象的图像用于学习用数据进行了学习。具体而言，专利文献1所记载的装置具有：学习用提取部件，从至少两个图像中分别提取所述图像的特征量，所述至少两个图像基于在至少两个不同的拍摄条件下对已知外观是否良好的对象物进行拍摄所得的图像；选择部件，从涵盖由所述学习用提取部件从所述至少两个图像中提取的特征量的、特征量中，选择用于判定对象物是否良好的特征量；以及生成部件，基于由所述选择部件所选择的所述特征量，生成判定对象物是否良好的识别器。
现有技术文献
专利文献
专利文献1：日本专利特开2017-49974号公报
发明内容
发明所要解决的问题
在根据检查对象的图像通过学习模型来进行缺陷有无或工件种类等的判定的情况下，有时明确着眼于图像的何种特征获得了判定结果。但是，在使用新获得的学习数据进行学习模型的追加学习的情况下，不明确是否着眼于当初设想的特征进行判定，有时无法说明着眼于图像的何种特征获得了判定结果。
因此，本发明提供一种图像判定装置、学习方法及其程序的记录媒体，即便在进行学习模型的追加学习的情况下，也明确着眼于图像的何种特征获得了判定结果。
解决问题的技术手段
本公开的一实施例的图像判定装置包括：一个或多个特征提取器，分别基于检查对象的图像而输出表示图像的特定特征的特征数据；判定器，基于从一个或多个特征提取器输出的特征数据，输出表示与图像有关的判定结果的输出数据；以及学习部，使用包含学习图像及标签数据的学习数据，使判定器以下述方式进行学习，即，基于将学习图像输入至一个或多个特征提取器时输出的特征数据，输出表示与学习图像关联的标签数据的输出数据，并且学习部使用新的学习数据，使判定器以下述方式进行追加学习，即，基于将新的学习数据所含的检查对象的图像输入至一个或多个特征提取器时输出的特征数据，由判定器输出表示与图像关联的标签数据的输出数据。
根据所述实施例，一个或多个特征提取器分别提取图像的特定特征，因而即便通过追加学习而更新了判定器，也明确着眼于图像的何种特征获得了判定结果。由此，即便在进行学习模型的追加学习的情况下，也明确着眼于图像的何种特征获得了判定结果。
所述实施例中，学习部也可通过执行判定器的参数的更新以及输入至判定器的特征数据的权重的更新中的至少任一个，从而进行判定器的追加学习。
根据所述实施例，可通过追加学习以更高精度地获得判定结果的方式更新判定器。
所述实施例中，学习部也可与判定器的追加学习一并，更新一个或多个特征提取器的一部分特征提取器的参数。
根据所述实施例，通过追加学习将一个或多个特征提取器的一部分特征提取器也一并更新，由此能以更高精度地进行特征提取且获得精度更良好的判定结果的方式更新判定器。
所述实施例中，也可还包括编辑部，此编辑部基于输入而进行一个或多个特征提取器的编辑。
根据所述实施例，可灵活地变更提取的图像的特征，执行适于使用环境的图像判定。
所述实施例中，编辑部也可基于输入而追加输出表示图像的特定特征的特征数据的、新的特征提取器。
根据所述实施例，可明确对判定器的输入中追加的图像的特征而进行学习模型的追加学习。
所述实施例中，编辑部也可基于输入而将一个或多个特征提取器的一部分删除。
根据所述实施例，可明确从对判定器的输入中删除的图像的特征而进行学习模型的追加学习。
所述实施例中，编辑部也可基于输入而对一个或多个特征提取器的参数进行编辑。
根据所述实施例，可明确与输入至判定器的图像的特征有关的变更点而进行学习模型的追加学习。
本公开的另一实施例的学习方法包括：使用包含学习图像及标签数据的学习数据，使判定器进行学习，所述判定器基于从一个或多个特征提取器输出的特征数据，输出表示与图像有关的判定结果的输出数据，所述一个或多个特征提取器基于检查对象的图像，分别输出表示图像的特定特征的特征数据，并且使判定器以下述方式进行学习，即，基于将学习图像输入至一个或多个特征提取器时输出的特征数据，输出表示与学习图像关联的标签数据的输出数据；以及学习部使用新的学习数据，使判定器以下述方式进行追加学习，即，基于将新的学习数据所含的检查对象的图像输入至一个或多个特征提取器时输出的特征数据，由判定器输出表示与图像关联的标签数据的输出数据。
根据所述实施例，一个或多个特征提取器分别提取图像的特定特征，因而即便通过追加学习而更新了判定器，也明确着眼于图像的何种特征获得了判定结果。由此，即便在进行学习模型的追加学习的情况下，也明确着眼于图像的何种特征获得了判定结果。
本公开的另一实施例的图像判定程序的记录媒体，所述程序使图像判定装置所包括的运算部作为下述部分发挥功能：一个或多个特征提取器，分别基于检查对象的图像而输出表示图像的特定特征的特征数据；判定器，基于从一个或多个特征提取器输出的特征数据，输出表示与图像有关的判定结果的输出数据；以及学习部，使用包含学习图像及标签数据的学习数据，使判定器以下述方式进行学习，即，基于将学习图像输入至一个或多个特征提取器时输出的特征数据，输出表示与学习图像关联的标签数据的输出数据，并且学习部使用新的学习数据，使判定器以下述方式进行追加学习，即，基于将新的学习数据所含的检查对象的图像输入至一个或多个特征提取器时输出的特征数据，由判定器输出表示与图像关联的标签数据的输出数据。
根据所述实施例，一个或多个特征提取器分别提取图像的特定特征，因而即便通过追加学习而更新了判定器，也明确着眼于图像的何种特征获得了判定结果。由此，即便在进行学习模型的追加学习的情况下，也明确着眼于图像的何种特征获得了判定结果。
发明的效果
根据本发明，可提供一种图像判定装置、学习方法及其程序的记录媒体，即便在进行学习模型的追加学习的情况下，也明确着眼于图像的何种特征获得了判定结果。
附图说明
图1为表示本发明的实施方式的图像判定系统的结构例的图。
图2为表示本实施方式的图像判定装置的硬件结构的图。
图3为表示本实施方式的图像判定装置的功能块的图。
图4为表示本实施方式的学习模型的结构例的图。
图5为表示本实施方式的学习模型的编辑例的图。
图6为由本实施方式的图像判定装置执行的图像判定处理的流程图。
图7为由本实施方式的图像判定装置执行的学习模型的追加学习处理的流程图。
符号的说明
1：图像判定系统
2：带式输送器
4：工件
6：拍摄视野
8：上位网络
10：PLC
12：数据库装置
100：图像判定装置
102：摄像机
104：显示器
106：键盘
108：鼠标
110：处理器
112：主存储器
114：摄像机接口
116：输入接口
118：显示接口
120：通信接口
122：内部总线
130：贮存器
132：图像处理程序
134：OS
136：学习模型
136a：特征提取器
136a-1：边缘提取器
136a-2：平面部提取器
136a-3：背景花纹提取器
136a-4：二值化区域提取器
136b：判定器
136i：输入数据
136o：输出数据
138：输入图像
140：学习数据
150：编辑部
152：学习部
具体实施方式
以下，基于附图对本发明的一侧面的实施方式(以下也表述为“本实施方式”)进行说明。但是，以下说明的实施方式在所有方面仅为本发明的例示。当然可在不偏离本发明的范围的情况下进行各种改良或变形。即，实施本发明时，也可采用与实施方式相应的具体结构。另外，通过自然语言来说明本实施方式中出现的数据，但更具体而言，以计算机可识别的伪语言、命令、参数、机器语言等来指定。
§1适用例
图1为表示本发明的实施方式的图像判定系统1的结构例的图。首先，对适用本发明的场景的一例进行说明。本实施方式的图像判定系统1利用图像判定装置100所包括的学习模型对通过拍摄检查对象从而生成的输入图像进行分析，进行缺陷检查或对象的分类。学习模型可使用学习数据，以将与检查对象有关的缺陷的有无或检查对象的种类分类的方式事先学习。而且，学习模型在获得了新的学习数据的情况下，可进行追加学习。本实施方式的图像判定系统1在进行学习模型的追加学习的情况下，以明确得知着眼于输入图像的何种特征而获得了判定结果的方式来更新学习模型。另外，检查对象例如包含处于制造过程的零件、制品等工件(Work piece)等。
如图1所示，图像判定系统1例如通过对拍摄工件4所得的输入图像执行图像测量处理，从而实现工件4的外观检查或外观测量，所述工件4在带式输送器2上搬送且为检查对象。以下的说明中，作为图像测量处理的典型例，对适用于工件4表面的缺陷有无的检查等的示例进行说明，但不限于此，也可应用于缺陷种类的确定、缺陷的外观形状的尺寸测量、工件4的种类的确定等。
在带式输送器2的上部配置有作为拍摄部的摄像机102，以摄像机102的拍摄视野6包含带式输送器2的规定区域的方式构成。通过摄像机102的拍摄而生成的图像数据(以下也称为“输入图像”)向图像判定装置100发送。摄像机102进行的拍摄是周期性地执行或在发生事件时执行。
图像判定装置100经由上位网络8而与可编程逻辑控制器(Programmable LogicController，PLC)10及数据库装置12等连接。图像判定装置100的测量结果也可向PLC10和/或数据库装置12发送。另外，在上位网络8，也可除了PLC10及数据库装置12以外，还连接有任意的装置。
图像判定装置100也可连接有用于显示处理中的状态或测量结果等的显示器104、以及作为受理用户操作的输入部的键盘106及鼠标108。
图像判定装置100包括通过机器学习而生成的学习模型。学习模型包含：一个或多个特征提取器，受理图像作为输入，输出表示图像的特定特征的特征数据；以及判定器，基于从一个或多个特征提取器输出的特征数据，输出表示与图像有关的判定结果的输出数据。此处，一个或多个特征提取器例如可包含提取图像所含的边缘的边缘提取器、提取图像所含的平面区域的平面部提取器、提取图像的背景花纹的背景花纹提取器、提取图像所含的二值化区域的二值化区域提取器等。一个或多个特征提取器分别可为提取人容易理解的单一特征那样的模型，也可为机器学习模型，也可为规则库(rulebase)模型。判定器受理一个或多个特征数据作为输入，输出表示与图像有关的判定结果的输出数据。输出数据例如可为表示检查对象的缺陷有无、缺陷的种类、缺陷的外观形状的尺寸、检查对象的种类等的数据。判定器例如可由神经网络构成，可使用学习数据以输出所需的输出数据的方式事先学习。
在生产线上流动的工件4的种类或拍摄条件等检查条件视生产线而为各种各样，未必与学习时的条件一致。因此，若将事先学习的学习模型用于生产线，则有时输出错误的判定结果。因此，有时收集学习模型无法正确判定的图像，进行学习模型的追加学习。此时，若无任何限制地进行学习模型的更新，则有时不明确是否着眼于当初设想的特征进行判定，无法说明着眼于图像的何种特征获得了判定结果。因此，在将学习模型导入至生产线的情况下，有时难以说明学习模型的可靠性，有时导致导入受阻。
鉴于此种情况，本实施方式的图像判定装置100在进行追加学习的情况下，不将学习模型所含的一个或多个特征提取器加以变更，而更新判定器，而明确着眼于图像的何种特征获得了判定结果。一个或多个特征提取器分别提取图像的特定特征，因而即便通过追加学习而更新了判定器，也可明确着眼于图像的何种特征获得了判定结果。由此，在将学习模型导入至生产线的情况下，容易说明学习模型的可靠性，可使导入不受阻。
§2结构例
[硬件结构]
图2为表示本实施方式的图像判定装置100的硬件结构的图。作为一例，图像判定装置100也可使用按照通用的计算机架构所构成的通用计算机来实现。图像判定装置100包含处理器110、主存储器(主存储部)112、摄像机接口114、输入接口116、显示接口118、通信接口120及贮存器(辅助存储部)130。这些组件典型而言经由内部总线122相互可通信地连接。
处理器110通过将贮存器130中保存的程序在主存储器112中展开并执行，从而实现下文中使用下图详述的功能及处理。主存储器112包含易失性存储器，作为处理器110执行程序所需要的工作存储器发挥功能。
摄像机接口为获取部的一例。摄像机接口114与摄像机102连接，获取由摄像机102所拍摄的输入图像。摄像机接口114也可对摄像机102指示拍摄时机等。
输入接口116与键盘106及鼠标108等用户进行操作的输入部连接。输入接口116获取表示用户对输入部进行的操作等的指令。
显示接口118与作为显示部的显示器104连接。显示接口118向显示器104输出通过处理器110执行程序从而生成的各种处理结果。
通信接口120负责用于经由上位网络8与PLC10及数据库装置12等进行通信的处理。
贮存器130保存用于实现学习模型136的图像处理程序132及操作系统(OperatingSystem，OS)134等用于使计算机作为图像判定装置100发挥功能的程序。贮存器130也可还保存学习模型136、从摄像机102获取的输入图像138、及用于学习模型136的学习的学习数据140。另外，学习数据140可经由上位网络8从数据库装置12等外部设备获取，可暂时保存于贮存器130。
保存于贮存器130的图像处理程序132也可经由数字多功能光盘(DigitalVersatile Disc，DVD)等光学记录介质或通用串行总线(Universal Serial Bus，USB)存储器等半导体记录介质等而安装于图像判定装置100。或者，图像处理程序132也可从网络上的服务器装置等下载。
本实施方式的图像处理程序132也可不包含用于实现本实施方式的功能的所有软件模块，而通过与OS134协作从而提供必要的功能。
本实施方式的图像处理程序132也可组入至其他程序的一部分而提供。此时，图像处理程序132自身中也不含如所述般组合的其他程序所含的模块，而与所述其他程序协作来执行处理。如此，本实施方式的图像处理程序132也可为组入至其他程序的实施例。
图2中示出了使用通用计算机来实现图像判定装置100的示例，但不限于此，也可使用专用电路(例如特殊应用集成电路(Application Specific Integrated Circuit，ASIC)或现场可编程门阵列(Field-Programmable Gate Array，FPGA)等)来实现其全部或一部分功能。进而，也可使经网络连接的外部装置负责一部分处理。
[功能结构]
图3为表示本实施方式的图像判定装置100的功能块的图。图像判定装置100包括保存于贮存器130的学习模型136、编辑部150及学习部152。
学习模型136包含一个或多个特征提取器136a及判定器136b。一个或多个特征提取器136a分别基于检查对象的图像，输出表示图像的特定特征的特征数据。判定器136b基于从一个或多个特征提取器136a输出的特征数据，输出表示与图像有关的判定结果的输出数据。
学习部152使用包含学习图像及标签数据的学习数据140，使判定器136b以下述方式进行学习，即：基于将学习图像输入至一个或多个特征提取器136a时输出的特征数据，输出表示与学习图像关联的标签数据的输出数据。此处，学习图像为预先拍摄的检查对象的图像。而且，标签数据为表示检查对象的状态的数据，例如可为表示与检查对象有关的缺陷的有无、缺陷的种类、缺陷的外观形状的尺寸、检查对象的种类等的数据。学习模型136的学习处理可在图像判定装置100组入至生产线前执行。
学习部152使用新的学习数据，使判定器136b以下述方式进行追加学习，即：基于将新的学习数据所含的检查对象的图像输入至一个或多个特征提取器136a时输出的特征数据，由判定器136b输出表示与图像关联的标签数据的输出数据。此处，追加学习也可对一个或多个特征提取器136a进行而非对判定器136b进行。如此，可将由一个或多个特征提取器136a提取的特征固定，并且以可更高精度地进行图像判定的方式更新判定器136b。
学习部152可通过执行判定器136b的参数的更新以及输入至判定器136b的特征数据的权重的更新中的至少任一者，从而进行判定器136b的追加学习。此处，例如在判定器136b由神经网络构成的情况下，判定器136b的参数可为节点的权重或偏置(bias)。而且，在输入至判定器136b的特征数据为N种的情况下，特征数据的权重wi(i＝1～N)可为满足Σi＝1Nwi＝1的正实数。学习部152在判定器136b由神经网络构成的情况下，可通过反向传播(backpropagation)的方法来更新判定器136b的参数及输入至判定器136b的特征数据的权重。通过此种追加学习，能以更高精度地获得判定结果的方式更新判定器。
学习部152也可与判定器136b的追加学习一并，更新一个或多个特征提取器136a的一部分特征提取器的参数。例如，在一个或多个特征提取器136a的一部分特征提取器由神经网络构成，且判定器136b由神经网络构成的情况下，学习部152可通过反向传播的方法来更新判定器136b的参数、输入至判定器136b的特征数据的权重以及一个或多个特征提取器136a的一部分特征提取器的参数。如此，通过追加学习将一个或多个特征提取器136a的一部分特征提取器也一并更新，由此能以更高精度地进行特征提取且获得更高精度的判定结果的方式更新判定器136b。
编辑部150基于输入而进行一个或多个特征提取器136a的编辑。可通过将一个或多个特征提取器136a编辑，从而变更提取的图像的特征。在通过编辑部150进行了一个或多个特征提取器136a的编辑的情况下，学习部152可使用从编辑后的一个或多个特征提取器136a输出的特征数据，进行判定器136b的追加学习。如此，可灵活地变更提取的图像的特征，执行适于使用环境的图像判定。
编辑部150可基于输入而追加输出表示图像的特定特征的特征数据的、新的特征提取器。在追加了新的特征提取器的情况下，学习部152可使用从包含所追加的特征提取器的多个特征提取器136a输出的特征数据，对判定器136b进行追加学习。如此，可明确对判定器136b的输入中追加的图像的特征而进行学习模型136的追加学习。由于追加的特征提取器明知，因而在学习模型136作出的判定在追加前后发生了变化的情况下其原因明知，也容易使学习模型136事后回到原本的结构。
编辑部150可基于输入而将一个或多个特征提取器136a的一部分删除。在删除了特征提取器的情况下，学习部152可使用从更新后的一个或多个特征提取器136a输出的特征数据，进行判定器136b的追加学习。如此，可明确从对判定器136b的输入中删除的图像的特征而进行学习模型136的追加学习。由于删除的特征提取器明知，因而在学习模型136作出的判定在删除前后发生了变化的情况下其原因明知，也容易使学习模型136事后回到原本的结构。
编辑部150可基于输入而对一个或多个特征提取器136a的参数进行编辑。
在编辑了一个或多个特征提取器136a的参数的情况下，学习部152可使用从编辑后的一个或多个特征提取器136a输出的特征数据，进行判定器136b的追加学习。如此，可明确与输入至判定器136b的图像的特征有关的变更点而进行学习模型136的追加学习。由于经编辑的特征提取器明知，因而在学习模型136作出的判定在编辑前后发生了变化的情况下其原因明知，也容易使学习模型136事后回到原本的结构。
§3动作例
图4为表示本实施方式的学习模型136的结构例的图。本示例的学习模型136包含边缘提取器136a-1、平面部提取器136a-2及背景花纹提取器136a-3、以及判定器136b。
边缘提取器136a-1、平面部提取器136a-2及背景花纹提取器136a-3分别受理输入数据136i(检查对象的图像)作为输入，输出表示图像的特征的特征数据。此处，边缘提取器136a-1提取图像所含的边缘，平面部提取器136a-2提取图像所含的平面区域，背景花纹提取器136a-3提取图像的背景花纹。
判定器136b对从边缘提取器136a-1输出的特征数据附加权重w1，对从平面部提取器136a-2输出的特征数据附加权重w2，对从背景花纹提取器136a-3输出的特征数据附加权重w3而输入，输出表示与输入数据136i(图像)有关的判定结果的输出数据136o。
图5为表示本实施方式的学习模型136的编辑例的图。本示例中，表示通过编辑部150追加了特征提取器的示例。具体而言，表示了对图4所示的三个特征提取器追加了二值化区域提取器136a-4的示例。本示例的学习模型136包含边缘提取器136a-1、平面部提取器136a-2、背景花纹提取器136a-3及二值化区域提取器136a-4、以及判定器136b。
二值化区域提取器136a-4受理输入数据136i(检查对象的图像)作为输入，输出表示图像的特征的特征数据。此处，二值化区域提取器136a-4提取图像所含的二值化区域。
判定器136b对从边缘提取器136a-1输出的特征数据附加权重w1，对从平面部提取器136a-2输出的特征数据附加权重w2，对从背景花纹提取器136a-3输出的特征数据附加权重w3，对从二值化区域提取器136a-4输出的特征数据附加权重w4而输入，输出表示与输入数据136i(图像)有关的判定结果的输出数据136o。学习部152在追加了二值化区域提取器136a-4的情况下，可使用新的学习数据，来更新判定器136b的参数及输入至判定器136b的特征数据的权重w1～权重w4。
另外，本示例中对追加特征提取器的情况进行了说明，但关于删除特征提取器或编辑特征提取器的参数的情况，也可同样地进行判定器136b的追加学习。
而且，例如不规则的黑色污垢开始附着于表面为白色的工件时，为了通过追加学习来检测黑色污垢，可通过编辑部150来追加二值化区域提取器136a-4。而且，作为通过编辑部150来追加二值化区域提取器136a-4的其他示例，可举出：对事先准备的一个或多个特征提取器136a新追加二值化处理的情况；或通过二值化处理来提取污垢的大致位置，与事先准备的一个或多个特征提取器136a一并进行缺陷检测的情况。
图6为由本实施方式的图像判定装置100执行的图像判定处理的流程图。首先，图像判定装置100设定输出特征数据的一个或多个特征提取器136a，所述特征数据表示检查对象的图像的特定特征(S10)。
随后，图像判定装置100将学习数据所含的学习图像输入至一个或多个特征提取器136a，将所输出的特征数据输入至判定器136b，以输出与学习数据所含的标签数据对应的输出数据的方式，进行判定器136b的学习(S11)。通过以上步骤，事先学习处理结束。
随后，将图像判定装置100设置于生产线后，利用摄像机102来拍摄检查对象的图像(S12)。接着，图像判定装置100将新拍摄的图像输入至一个或多个特征提取器136a，将所输出的特征数据输入至判定器136b，通过表示与图像有关的判定结果的输出数据来判定图像(S13)。当然，也可反复进行图像的拍摄(S12)与判定处理(S13)。通过以上步骤，图像判定处理结束。
图7为由本实施方式的图像判定装置100执行的学习模型136的追加学习处理的流程图。首先，图像判定装置100判定是否编辑特征提取器(S20)。是否编辑特征提取器可基于输入而决定。
在编辑特征提取器的情况下(S20：是(YES))，图像判定装置100判定是否追加特征提取器(S21)。在基于输入而追加特征提取器的情况下(S21：是(YES))，图像判定装置100追加新的特征提取器(S22)。
而且，图像判定装置100判定是否删除特征提取器(S23)。在基于输入而删除特征提取器的情况下(S23：是(YES))，图像判定装置100将所选择的特征提取器删除(S24)。
而且，图像判定装置100判定是否编辑特征提取器的参数(S25)。在基于输入而编辑特征提取器的参数的情况下(S25：是(YES))，图像判定装置100基于输入对所选择的特征提取器的参数进行编辑(S26)。
随后，图像判定装置100将新的学习数据所含的学习图像输入至编辑后的一个或多个特征提取器，将所输出的特征数据以规定的加权输入至判定器，以通过判定器的输出数据来再现新的学习数据所含的标签数据的方式，进行判定器的追加学习(S27)。
此处，在也更新一个或多个特征提取器的一部分特征提取器的情况下(S28：是(YES))，图像判定装置100更新一个或多个特征提取器的一部分特征提取器的参数(S29)。
另外，图像判定装置100也可反复进行更新判定器的参数、输入至判定器的特征数据的权重以及一个或多个特征提取器的一部分特征提取器的参数的处理，直到满足规定的条件为止。通过以上步骤，追加学习处理结束。
以上所说明的实施方式是为了使本发明的理解容易，并非用于限定性地解释本发明。实施方式所包括的各元件及其配置、材料、条件、形状及尺寸等不限定于例示，可适当变更。而且，可将不同实施方式所示的结构彼此局部地替换或组合。
另外，所述实施方式的一部分或全部也可如以下的附注那样记载，但不限于以下内容。
[附注1]
一种图像判定装置100，包括：
一个或多个特征提取器136a，分别基于检查对象的图像而输出表示所述图像的特定特征的特征数据；
判定器136b，基于从所述一个或多个特征提取器136a输出的所述特征数据，输出表示与所述图像有关的判定结果的输出数据；以及
学习部152，使用学习图像及标签数据的学习数据，使所述判定器136b以下述方式进行学习，即，基于将所述学习图像输入至所述一个或多个特征提取器136a时输出的所述特征数据，输出表示与所述学习图像关联的所述标签数据的所述输出数据，并且
所述学习部152使用新的学习数据，使所述判定器136b以下述方式进行追加学习，即，基于将所述新的学习数据所含的所述检查对象的图像输入至所述一个或多个特征提取器136a时输出的所述特征数据，由所述判定器136b输出表示与所述图像关联的标签数据的所述输出数据。
[附注2]
根据附注1所记载的图像判定装置100，其中，
所述学习部152通过执行所述判定器136b的参数的更新以及输入至所述判定器136b的所述特征数据的权重的更新中的至少任一者，从而进行所述判定器136b的追加学习。
[附注3]
根据附注1或2所记载的图像判定装置100，其中，
所述学习部152与所述判定器136b的追加学习一并，更新所述一个或多个特征提取器136a的一部分特征提取器136a的参数。
[附注4]
根据附注1至3中任一项所记载的图像判定装置100，还包括：
编辑部150，基于输入而进行所述一个或多个特征提取器136a的编辑。
[附注5]
根据附注4所记载的图像判定装置100，其中，
所述编辑部150基于所述输入而追加输出表示所述图像的特定特征的特征数据的、新的特征提取器136a。
[附注6]
根据附注4或5所记载的图像判定装置100，其中，
所述编辑部150基于所述输入而将所述一个或多个特征提取器136a的一部分删除。
[附注7]
根据附注4至6中任一项所记载的图像判定装置100，其中，
所述编辑部150基于所述输入而对所述一个或多个特征提取器136a的参数进行编辑。
[附注8]
一种学习方法，包括：
使用包含学习图像及标签数据的学习数据，使判定器136b进行学习，所述判定器136b基于从一个或多个特征提取器136a输出的特征数据，输出表示与图像有关的判定结果的输出数据，所述一个或多个特征提取器136a基于检查对象的所述图像而分别输出表示所述图像的特定特征的所述特征数据，并且使所述判定器136b以下述方式进行学习，即，基于将所述学习图像输入至所述一个或多个特征提取器136a时输出的所述特征数据，而输出表示与所述学习图像关联的所述标签数据的所述输出数据；以及
所述学习部152使用新的学习数据，使所述判定器136b以下述方式进行追加学习，即，基于将所述新的学习数据所含的所述检查对象的图像输入至所述一个或多个特征提取器136a时输出的所述特征数据，由所述判定器136b输出表示与所述图像关联的标签数据的所述输出数据。
[附注9]
一种图像判定程序，使图像判定装置100所包括的运算部作为下述部分发挥功能：
一个或多个特征提取器136a，分别基于检查对象的图像而输出表示所述图像的特定特征的特征数据；
判定器136b，基于从所述一个或多个特征提取器136a输出的所述特征数据，输出表示与所述图像有关的判定结果的输出数据；以及
学习部152，使用包含学习图像及标签数据的学习数据，使所述判定器136b以下述方式进行学习，即，基于将所述学习图像输入至所述一个或多个特征提取器136a时输出的所述特征数据，输出表示与所述学习图像关联的所述标签数据的所述输出数据，并且
所述学习部152使用新的学习数据，使所述判定器136b以下述方式进行追加学习，即，基于将所述新的学习数据所含的所述检查对象的图像输入至所述一个或多个特征提取器136a时输出的所述特征数据，由所述判定器136b输出表示与所述图像关联的标签数据的所述输出数据。

Claims (9)

1.一种图像判定装置，包括：
一个或多个特征提取器，分别基于检查对象的图像而输出表示所述图像的特定特征的特征数据；
判定器，基于从所述一个或多个特征提取器输出的所述特征数据，输出表示与所述图像有关的判定结果的输出数据；以及
学习部，使用包含学习图像及标签数据的学习数据，使所述判定器以下述方式进行学习，即，基于将所述学习图像输入至所述一个或多个特征提取器时输出的所述特征数据，输出表示与所述学习图像关联的所述标签数据的所述输出数据，
所述学习部使用新的学习数据，使所述判定器以下述方式进行追加学习，即，不将所述一个或多个特征提取器加以变更，而判定所述一个或多个特征提取器要着眼于所述图像的何种特征来获得所述输出数据，基于将所述新的学习数据所含的所述检查对象的图像输入至所述一个或多个特征提取器时输出的所述特征数据，由所述判定器输出表示与所述图像关联的标签数据的所述输出数据。
2.根据权利要求1所述的图像判定装置，其中，
所述学习部通过执行所述判定器的参数的更新以及输入至所述判定器的所述特征数据的权重的更新中的至少任一个，从而进行所述判定器的追加学习。
3.根据权利要求1或2所述的图像判定装置，其中，
所述学习部与所述判定器的追加学习一并，更新所述一个或多个特征提取器的一部分特征提取器的参数。
4.根据权利要求1或2所述的图像判定装置，还包括：
编辑部，基于输入而进行所述一个或多个特征提取器的编辑。
5.根据权利要求4所述的图像判定装置，其中，
所述编辑部基于所述输入而追加输出表示所述图像的特定特征的特征数据的新的特征提取器。
6.根据权利要求4所述的图像判定装置，其中，
所述编辑部基于所述输入而将所述一个或多个特征提取器的一部分删除。
7.根据权利要求4所述的图像判定装置，其中，
所述编辑部基于所述输入而对所述一个或多个特征提取器的参数进行编辑。
8.一种学习方法，包括：
使用包含学习图像及标签数据的学习数据，使判定器进行学习，所述判定器基于从一个或多个特征提取器输出的特征数据，输出表示与图像有关的判定结果的输出数据，所述一个或多个特征提取器基于检查对象的所述图像而分别输出表示所述图像的特定特征的所述特征数据，并且使所述判定器以下述方式进行学习，即，基于将所述学习图像输入至所述一个或多个特征提取器时输出的所述特征数据，输出表示与所述学习图像关联的所述标签数据的所述输出数据；以及
使用新的学习数据，使所述判定器以下述方式进行追加学习，即，不将所述一个或多个特征提取器加以变更，而判定所述一个或多个特征提取器要着眼于所述图像的何种特征来获得所述输出数据，基于将所述新的学习数据所含的所述检查对象的图像输入至所述一个或多个特征提取器时输出的所述特征数据，由所述判定器输出表示与所述图像关联的标签数据的所述输出数据。
9.一种记录媒体，其记录有图像判定程序，所述图像判定程序，使图像判定装置所包括的运算部作为下述部分发挥功能：
一个或多个特征提取器，分别基于检查对象的图像而输出表示所述图像的特定特征的特征数据；
判定器，基于从所述一个或多个特征提取器输出的所述特征数据，输出表示与所述图像有关的判定结果的输出数据；以及
学习部，使用包含学习图像及标签数据的学习数据，使所述判定器以下述方式进行学习，即，基于将所述学习图像输入至所述一个或多个特征提取器时输出的所述特征数据，输出表示与所述学习图像关联的所述标签数据的所述输出数据，
所述学习部使用新的学习数据，使所述判定器以下述方式进行追加学习，即，不将所述一个或多个特征提取器加以变更，而判定所述一个或多个特征提取器要着眼于所述图像的何种特征来获得所述输出数据，基于将所述新的学习数据所含的所述检查对象的图像输入至所述一个或多个特征提取器时输出的所述特征数据，而由所述判定器输出表示与所述图像关联的标签数据的所述输出数据。
CN201980052593.7A 2018-12-27 2019-10-24 图像判定装置、学习方法及其程序的记录媒体 Active CN112602113B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018245678A JP7130190B2 (ja) 2018-12-27 2018-12-27 画像判定装置、学習方法及び画像判定プログラム
JP2018-245678 2018-12-27
PCT/JP2019/041591 WO2020137123A1 (ja) 2018-12-27 2019-10-24 画像判定装置、学習方法及び画像判定プログラム

Publications (2)

Publication Number Publication Date
CN112602113A CN112602113A (zh) 2021-04-02
CN112602113B true CN112602113B (zh) 2024-05-24

Family

ID=71128924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980052593.7A Active CN112602113B (zh) 2018-12-27 2019-10-24 图像判定装置、学习方法及其程序的记录媒体

Country Status (5)

Country Link
US (1) US11922319B2 (zh)
EP (1) EP3905190A4 (zh)
JP (1) JP7130190B2 (zh)
CN (1) CN112602113B (zh)
WO (1) WO2020137123A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7536517B2 (ja) * 2019-10-08 2024-08-20 キヤノン株式会社 教師データの生成方法、学習済の学習モデル、及びシステム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103196914A (zh) * 2012-01-06 2013-07-10 株式会社其恩斯 外观检查装置和外观检查方法
JP2014022837A (ja) * 2012-07-13 2014-02-03 Nippon Hoso Kyokai <Nhk> 学習装置、及びプログラム
JP2016057925A (ja) * 2014-09-10 2016-04-21 キヤノン株式会社 画像分類装置、画像分類システム、画像分類方法およびプログラム
CN107123106A (zh) * 2016-02-25 2017-09-01 发那科株式会社 显示从输入图像检测到的对象物的图像处理装置
JP2018005639A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 画像分類装置、画像検査装置、及び、プログラム
CN108876761A (zh) * 2017-05-11 2018-11-23 欧姆龙株式会社 图像处理装置、电脑可读取记录媒体、图像处理系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020165839A1 (en) 2001-03-14 2002-11-07 Taylor Kevin M. Segmentation and construction of segmentation classifiers
JP2017049974A (ja) 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム
US20170069075A1 (en) * 2015-09-04 2017-03-09 Canon Kabushiki Kaisha Classifier generation apparatus, defective/non-defective determination method, and program
JP2018005640A (ja) 2016-07-04 2018-01-11 タカノ株式会社 分類器生成装置、画像検査装置、及び、プログラム
US10990896B2 (en) * 2017-01-27 2021-04-27 Facebook, Inc. Systems and methods for incorporating long-term patterns in online fraud detection
JP6729516B2 (ja) * 2017-07-27 2020-07-22 トヨタ自動車株式会社 識別装置
EP3620978A1 (de) * 2018-09-07 2020-03-11 Ibeo Automotive Systems GmbH Verfahren und vorrichtung zur klassifizierung von objekten

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103196914A (zh) * 2012-01-06 2013-07-10 株式会社其恩斯 外观检查装置和外观检查方法
JP2014022837A (ja) * 2012-07-13 2014-02-03 Nippon Hoso Kyokai <Nhk> 学習装置、及びプログラム
JP2016057925A (ja) * 2014-09-10 2016-04-21 キヤノン株式会社 画像分類装置、画像分類システム、画像分類方法およびプログラム
CN107123106A (zh) * 2016-02-25 2017-09-01 发那科株式会社 显示从输入图像检测到的对象物的图像处理装置
JP2018005639A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 画像分類装置、画像検査装置、及び、プログラム
CN108876761A (zh) * 2017-05-11 2018-11-23 欧姆龙株式会社 图像处理装置、电脑可读取记录媒体、图像处理系统

Also Published As

Publication number Publication date
CN112602113A (zh) 2021-04-02
US11922319B2 (en) 2024-03-05
US20210326648A1 (en) 2021-10-21
EP3905190A1 (en) 2021-11-03
EP3905190A4 (en) 2022-09-14
JP2020107105A (ja) 2020-07-09
WO2020137123A1 (ja) 2020-07-02
JP7130190B2 (ja) 2022-09-05

Similar Documents

Publication Publication Date Title
CN108231623B (zh) 半导体元件的制造过程中进行自动缺陷筛选的系统
JP7004145B2 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
JP4014379B2 (ja) 欠陥レビュー装置及び方法
JP4442119B2 (ja) 画像認識装置および画像認識方法、並びに、画像認識装置のティーチング装置およびティーチング方法
CN112534472B (zh) 图像判定装置、图像判定方法及其程序的记录介质
CN115861293A (zh) 缺陷轮廓提取方法、装置、存储介质、设备及程序产品
CN112602113B (zh) 图像判定装置、学习方法及其程序的记录媒体
US12099017B2 (en) Inspection system, inspection method, and inspection program
CN115861161A (zh) 机器学习系统、学习数据收集方法以及存储介质
CN117274245B (zh) 基于图像处理技术的aoi光学检测方法及系统
KR100696105B1 (ko) Ｐｃｂ검사장치의 티칭데이터 설정방법 및 장치
CN112567426B (zh) 图像判定装置、图像判定方法及其程序的记录媒体
JPH08327559A (ja) パターン検査装置およびその検査方法
CN116631003A (zh) 基于p&amp;id图纸的设备识别方法、装置、存储介质及电子设备
EP2573694A1 (en) Conversion method and system
TWI856660B (zh) 不適合檢測裝置及不適合檢測方法
JP4155497B2 (ja) 欠陥分類方法、プログラムおよび欠陥分類装置
EP4343710A1 (en) Mark detection method and computer program
US10823685B2 (en) Method and system to automatically inspect parts using x-rays
TW202507649A (zh) 不適合檢測裝置及不適合檢測方法
CN119574582A (zh) 一种基于ai图像识别的smt表面缺陷视觉检测装置
CN116681856A (zh) 一种基于bim技术的图纸审查方法及装置、计算机存储介质
CN116486141A (zh) 基于多模态图像识别的木板等级分类及切割方法与系统
CN118196701A (zh) 综采工作面液压支架姿态监控方法及系统
KR20040076812A (ko) 다변수 화상분석을 이용하여 제조 결함을 검출 및기록하는 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant