[go: up one dir, main page]

CN111727412A - 用于设定照明条件的方法、装置、系统及程序以及存储介质 - Google Patents

用于设定照明条件的方法、装置、系统及程序以及存储介质 Download PDF

Info

Publication number
CN111727412A
CN111727412A CN201880089331.3A CN201880089331A CN111727412A CN 111727412 A CN111727412 A CN 111727412A CN 201880089331 A CN201880089331 A CN 201880089331A CN 111727412 A CN111727412 A CN 111727412A
Authority
CN
China
Prior art keywords
illumination
image
parameters
machine learning
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880089331.3A
Other languages
English (en)
Other versions
CN111727412B (zh
Inventor
成瀬洋介
栗田真嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN111727412A publication Critical patent/CN111727412A/zh
Application granted granted Critical
Publication of CN111727412B publication Critical patent/CN111727412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Manufacturing & Machinery (AREA)
  • Image Analysis (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本公开涉及一种用于在检查对象时设定照明条件的方法、装置、系统及程序以及存储介质。所述方法包括：由能够改变照明参数的光源对所述对象进行照明，所述照明参数规定拍摄对象时的照明条件，且由图像传感器在多个此种照明参数下拍摄具有对应的标签数据的对象，以获得多个所拍摄的图像；基于通过将所拍摄的图像与对应的照明参数相关联而获得的图像数据集来产生对象的估计图像；以及将估计图像及对应的标签数据应用于机器学习模型的学习，且基于机器学习模型的估计结果与标签数据之间的比较结果来设定照明条件。因此，会简化操作。

Description

用于设定照明条件的方法、装置、系统及程序以及存储介质
技术领域
本公开涉及一种用于在工业检测期间设定照明条件的方法、装置、系统及程序以及存储介质。
背景技术
生产现场中的产品外观检查是用机器代替人实施最少的领域之一，且是未来关于用于减少劳动力的自动化必须解决的重要的技术问题。近年来，随着以深度学习为代表的人工智能及机器学习技术的发展，检查自动化技术得到了飞跃性的改善。然而，在外观检查、机器视觉等中，检查系统建立期间最麻烦的流程是成像系统的设计，包括照明的最佳设计。存在以下问题：当操作者手动实行照明的最佳设计时，为了处理工件的个体差异，需要改变被确定为对象的工件，并且交替地及重复地同时实行基于手动调节的照明优化及检查算法的调节，以实现预期的检测性能，这是非常耗时的。此外，还存在以下问题：当照明被调节为容易被操作者观察时，可能不总是达到最佳检查准确度。
在用于解决这些问题的传统技术中，报道了一种用于根据所拍摄的图像计算评价参考并重复计算使其最大化/最小化的成像及照明参数的方法(专利文献1)。然而，根据所述方法，可仅实现根据当前拍摄的单个工件的所拍摄的图像而计算的评价值的优化，且可能无法实现基于机器学习(例如，多个工件之间的差异的学习)的辨识器(recognizer)的优化。
此外，还存在以下问题：可能存在大量组合的成像及照明参数，并且同时改变成像及照明条件、实行成像及实行优化可能需要花费相对长的时间。
此外，上述问题不仅存在于生产现场中的产品外观检查期间，而且还存在于其他判断装置(例如面部辨识系统)中，所述判断装置可使用所拍摄的被照亮对象的图像作为输入，以借助于机器学习作出各种判断。
现有技术文献
专利文献
专利文献1：EP2887055A1
发明内容
·待解决的技术问题
本公开用于解决至少部分或全部前述问题。
·解决技术问题的方法
本公开公开一种用于在基于机器学习的检查算法的参数包括照明的设计参数的条件下对检查算法的参数进行优化的方法。因此，用户可以将检查算法的损失值(Lossvalue)(在判断条件下的正确率)最大化的方式，同时直接实行照明的优化及检查算法的优化。
(1)根据本公开的方面，公开一种用于在检查对象时设定照明条件的方法，其中使用包括机器学习模型的检查模块来检查所述对象，所述机器学习模型通过使用包括图像的学习数据来产生，且所述方法的特征在于，包括：由能够改变照明参数的光源对所述对象进行照明，所述照明参数规定拍摄所述对象时的所述照明条件，且由图像传感器以多个此种照明参数来拍摄所述对象，以获得对应于所述多个照明参数的多个所拍摄的图像，其中所述对象具有已知的标签数据；基于通过将所述所拍摄的图像与对应于所述所拍摄的图像的照明参数相关联而获得的图像数据集，来产生在以可变照明参数进行照明期间所述对象的估计图像；以及将所述对象的对应于所述可变照明参数的所述估计图像及对应的所述标签数据应用于所述机器学习模型的学习，且基于所述机器学习模型的估计结果与所述对象的所述标签数据之间的比较结果、通过同时优化所述照明参数及检查算法参数两者，来设定所述机器学习模型的所述照明条件及所述检查算法参数两者。
因此，基于所述机器学习模型的所述估计结果与所述对象的所述标签数据之间的所述比较结果来设定当使用所述检查模块检查所述对象时所采用的所述照明条件，可同时实行所述机器学习模型的所述照明参数及所述检查算法参数的优化，且会简化操作。
(2)在前述方法中，在以所述可变照明参数进行照明期间所述对象的所述估计图像的操作包括：对于多种类型的对象准备多个对应的此种图像数据集；以及基于所述多个图像数据集来产生在以所述可变照明参数进行照明期间分别对应于所述多种类型的对象的多个此种估计图像。
因此，所述方法可针对不同类型的对象设定最佳照明条件，并提高检测模型的通用性。
(3)根据本公开的另一方面，公开一种用于在检查对象时设定照明条件的方法，其中使用包括机器学习模型的检查模块来检查所述对象，所述机器学习模型通过使用包括图像的学习数据来产生，且所述方法的特征在于，包括：由能够改变照明参数的光源对所述对象进行照明，所述照明参数规定拍摄所述对象时的所述照明条件，且由图像传感器以多个此种照明参数来拍摄所述对象，以获得对应于所述多个照明参数的多个所拍摄的图像，其中所述对象具有对应的标签数据；基于通过将所述所拍摄的图像与对应于所述所拍摄的图像的照明参数相关联而获得的图像数据集，来产生在以可变照明参数进行照明期间所述对象的估计图像；以及将对应于所述可变照明参数的所述估计图像应用于已经实行学习的所述机器学习模型，且基于所述机器学习模型的估计结果与所述对象的所述标签数据之间的比较结果、根据仅针对所述照明参数的优化结果，来设定当使用所述检查模块检查所述对象时所采用的所述照明条件。
在前述方法中，以首先确定检查算法参数且然后通过估计图像确定检查照明参数的方式，可减少机器学习模型学习期间的系统计算量，可降低系统负载，且可简化对照明参数的设定操作。
(4)在前述方法中，将对应于所述可变照明参数的所述估计图像应用于已经实行学习的所述机器学习模型的操作包括：将包括所述对象的所述估计图像及对应的所述标签数据的学习数据应用于所述机器学习模型的附加学习，以更新所述机器学习模型的部分或全部检查算法参数，其中所述标签数据表示所述对象的检查特征；以及优化所述机器学习模型的所述照明参数及部分或全部所述检查算法参数两者，以使所述机器学习模型的所述估计结果与所述标签数据一致。
以此种方式，可在所述方法的第二步骤中同时优化部分或全部所述检查算法参数及所述检查照明参数，使得所述机器学习模型可获得更好的学习结果。
(5)在前述方法中，当设定所述照明条件时，应用于所述机器学习模型以确定所述照明参数的所述估计图像的数量小于应用于所述机器学习模型的学习的所述所拍摄的图像的数量。
因此，可缩短学习时间。
(6)在前述方法中，所述照明参数包括所述光源的发光位置及发光强度。
因此，所述光源的发光位置及发光强度都可改变以改变所述照明参数。
(7)在前述方法中，设定当使用所述检查模块检查所述对象时所采用的所述照明条件的操作包括：将表示所述比较结果的损失函数最小化，且选择将所述损失函数最小化的照明参数，其中所述照明参数是所述损失函数的变量，其中所述选择是：对于预定范围的所述照明参数，选择将所述损失函数的损失平均值最小化的所述照明参数。
此处，考虑到预定范围的照明参数，从而可提高在检查对象时对环境变化的鲁棒性。
(8)在前述方法中，产生在以所述可变照明参数进行照明期间所述对象的所述估计图像的操作包括：基于与所述图像数据集中包括的所述照明参数对应的所述所拍摄的图像的加权线性叠加和，来产生当以所述可变照明参数对所述对象进行照明时所述对象的所述估计图像，其中，根据所述可变照明参数及所述所拍摄的图像的所述照明参数两者来确定其权重。
因此，可模拟在线性照明条件下所述对象的估计图像。
(9)在前述方法中，产生在以所述可变照明参数进行照明期间所述对象的所述估计图像的操作包括：基于所述图像数据集且使用关于所述可变照明参数的非线性估计函数，来产生当以所述可变照明参数对所述对象进行照明时所述对象的所述估计图像。
因此，可模拟在非线性照明条件下所述对象的估计图像，且提高检查模块的通用性。
(10)根据本公开的另一方面，还公开对应于每种前述方法并用于在检查对象时设定照明条件的各种装置，所述各种装置可实现与每种前述方法相同的效果。
(11)根据本公开的另一方面，还公开一种用于在检查对象时设定照明条件的系统，所述系统可包括处理单元，且可被配置成执行任何前述方法。
(12)根据本公开的另一方面，还公开一种程序，执行所述程序以执行任何前述方法。
(13)根据本公开的另一方面，还公开一种存储介质，所述存储介质中存储有程序，执行所述程序以执行任何前述方法。
所述系统、所述程序及所述存储介质也可实现与每一前述方法相同的效果。
·技术效果
实质上列出了本公开的两个效果。首先，可缩短设计时间，可获得系统设计，且防止由性能依赖员工技能为代表的个体化技能。第二，从性能的角度来看，整个拍摄系统及图像处理系统的直接优化可仅从检查准确度(接受/拒绝的产品判断或测量值)的角度来实现，例如，用于检查算法的良好照明设计及最适合于这种照明的检查算法。
附图说明
本文描述的附图用于提供对本公开的进一步理解，并且构成本申请的一部分。本公开的示意性实施例及其说明用于解释本公开，且不构成对本公开的不当限制。在附图中：
图1是根据本公开实现模式的检查系统的系统组成实例的示意图。
图2是根据本公开实现模式的缺陷检查装置的硬件组成的示意图。
图3是根据本公开实现模式的缺陷检查装置的功能模块的示意图。
图4的(a)及(b)分别是根据本公开实现模式的用于设定照明条件的方法中的机器学习模型的学习阶段及检查阶段的流程图。
图5是根据本公开实现模式的用于设定照明条件的方法的流程图。
图6A及图6B是详细示出图5中的步骤的流程图。
图7是图5所示用于设定照明条件的方法的示意性流程图。
图8的(a)及(b)分别是根据本公开另一实现模式的用于设定照明条件的方法中的机器学习模型的学习阶段及检查阶段的流程图。
图9的(a)及(b)分别是图8所示用于设定照明条件的方法的一个修改中的机器学习模型的学习阶段及检查阶段的流程图。
图10是根据本公开另一实现模式的用于设定照明条件的方法的流程图。
图11是根据本公开另一实现模式的用于设定照明条件的方法的流程图。
图12的(a)及(b)是用于描述根据本公开实现模式的用于设定照明条件的方法的照明模型的示意图。
图13是示出线性照明模型的实例的示意图。
图14是示出线性亮度函数的实例的示意图。
具体实施方式
为了使本领域中的技术人员更好地理解本公开，下面结合本公开的附图，清楚及完整地描述本公开的实现模式。显而易见地，所描述的实现模式仅是本公开的实现模式的一部分，而非全部实现模式。本领域中的技术人员基于本公开中的实现模式在没有创造性努力的情况下获得的所有其他实现模式应落在本公开的保护范围内。
在本公开中，由具有可变照明参数的多个光源将对象照明。照明参数可包括例如光源的发光位置、发光强度及色度(chromaticity)。在照明条件下，由图像传感器(例如，照相机)来拍摄对象以获得所拍摄的图像。通过对所拍摄的图像进行处理而产生的估计图像来训练机器学习模型，以对机器学习模型赋予检查对象的能力。所拍摄的图像或估计图像可预先与照明参数相关联，使得在训练机器学习模型的过程中可同时调节照明参数及检查算法参数。此处，“检查算法参数”是指当由机器学习模型检查对象时检查算法的参数。因此，与纯粹调节照明参数及以照明参数进行照明以获得用于学习的所拍摄的图像相比，本公开中的用于检查对象的方法会简化操作并降低系统负载。
参考附图详细描述本公开的实现模式。重要的是要注意，附图中相同或对应的部分用相同的标记来标记，并且将不重复描述。
首先，描述根据本公开实现模式的检查系统1的系统组成实例。根据实现模式的检查系统1基于通过拍摄被检查对象而产生的所拍摄的图像来检查被检查对象。被检查对象可为生产线上的工件。检查可为例如对工件的外观检查或外观测量。
图1是根据实现模式的检查系统1的系统组成实例的示意图。参考图1，检查系统1对通过对例如在带式输送机2上输送的被检查对象(即，工件4)进行成像而获得的输入图像执行图像分析处理，从而完成对工件4的外观检查或外观测量。在下面进行的描述中，检查工件4的表面中是否存在缺陷的应用实例被描述为图像分析处理的典型实例。然而，这些并不形成任何限制，且检查系统还可应用于缺陷类型的规范或外观形状的测量等。
带式输送机2的上部部分设置有用作成像部分的照相机102，且照相机102的成像视图6形成包括带式输送机2的预定区。通过照相机102的成像而产生的图像数据(在下文中被称为“输入图像”)被发送到缺陷检查装置100。照相机102的成像是根据时段或事件来执行。
缺陷检查装置100可设置有学习器，且学习器可设置有卷积神经网络(Convolutional Neural Network，CNN)引擎。通过CNN引擎，根据输入图像产生每一级的特征检测图像。基于产生的一个或多个特征检测图像来判断对象工件中是否存在缺陷。或者，可检测缺陷的大小、位置等。
缺陷检查装置100通过上层网络8与可编程逻辑控制器(Programmable LogicController，PLC)10、数据库装置12等连接。缺陷检查装置100中的检测结果也可被发送到PLC 10和/或数据库装置12。重要的是要注意，除了PLC 10及数据库装置12之外，任何装置也可连接到上层网络8。
用于显示处理状态、检测结果等的显示器104以及用作接收用户操作的输入部分的键盘106及鼠标108可进一步连接到缺陷检查装置100。
其次，描述根据本公开实现模式的检查系统10中包括的缺陷检查装置100的硬件组成。
图2是根据实现模式的缺陷检查装置100的硬件组成的示意图。缺陷检查装置100可为本公开中的“用于在检查对象时设定照明条件的系统”的实例。参考图2，作为实例，缺陷检查装置100可根据由通用计算机架构形成的通用计算机来实现。缺陷检查装置100包括处理器110、主存储器112、照相机接口114、输入接口116、显示器接口118、通信接口120及存储器130。通常，这些组件通过内部总线122连接，从而彼此通信。
处理器110在主存储器112中执行存储在存储器130中的程序，从而实现下文描述的功能及处理。主存储器112由非易失性存储器形成，且实现处理器110的程序执行所需的工作存储器的功能。
照相机接口114与照相机102连接，且获取通过照相机102的成像而获得的输入图像。照相机接口114可进一步向照相机102指示成像定时等。
输入接口116与例如键盘106及鼠标108等输入部分连接，且获取由用户对输入部分等的操作表示的指令。
显示器接口118与显示器104连接，且向显示器104输出由处理器110的程序执行而产生的各种处理结果。
通信接口120负责对通过上层网络8与PLC 10、数据库装置12等通信进行处理。
启用计算机的程序(例如实现缺陷检查装置100的功能的图像处理程序132及操作系统(Operating System，OS)134)存储在存储器130中。在存储器130中还可存储下文中提及的被配置成实现图像检测处理的学习器参数136、从照相机102获取的输入图像(即，所拍摄的图像138)及基于所拍摄的图像138而获得的估计图像140。学习器参数136可包括例如应用于机器学习模型的学习阶段及检查阶段的各种参数，例如照明参数及检查算法参数。
存储在存储器130中的图像处理程序132可通过光学记录介质(例如数字通用光盘(Digital Versatile Disc，DVD))或半导体记录介质(例如通用串行总线(UniversalSerial Bus，USB)存储器)安装在缺陷检查装置100中。或者，图像处理程序132还可从网络等上的服务器装置下载。
在以此种通用计算机实现期间，可通过根据预定顺序和/或机会调用由操作系统134提供的软件模块中的必要软件模块来实行处理，从而实现根据实现模式的部分功能。也就是说，根据实现模式的图像处理程序132不包括用于实现根据实现模式的功能的所有软件模块，而可通过与操作系统协作来提供必要的功能。
根据实现模式的图像处理程序132还可通过组合在另一程序的一部分中来提供。在此种条件下，图像处理程序132不包括被组合的其他程序中包括的模块，而与其他程序协作以执行处理。因此，根据实现模式的图像处理程序132还可采用在其他程序中组合的方式。
图2示出借助于通用计算机实现缺陷检查装置100的实例。然而，不会形成限制。部分或全部功能也可通过专用电路(例如，应用专用集成电路(Application SpecificIntegrated Circuit，ASIC)或现场可编程门阵列(Field-Programmable Gate Array，FPGA))来实现。此外，与网络连接的外部装置也可负责部分处理。
图3是根据本公开实现模式的缺陷检查装置100的功能模块的示意图。如图3所示，缺陷检查装置100可包括图像产生部分141、设定部分142、检查部分143、拍摄部分144及存储部分145。
缺陷检查装置100的图像产生部分141、设定部分142及检查部分143可借助于一个或多个通用处理器来实现。然而，不会形成限制。部分或全部功能也可通过专用电路(例如，应用专用集成电路(ASIC)或现场可编程门阵列(FPGA))来实现。此外，与网络连接的外部装置也可负责这些部分的部分处理。
此处，拍摄部分144是本公开中的“获取部分”的具体实例。作为另一个实例，缺陷检查装置100也可不包括拍摄部分143，而从外部接收工件4的所拍摄的图像。图像产生部分141是本公开中的“产生部分”的具体实例。设定部分142是本公开中的“设定部分”的具体实例。拍摄部分144、图像产生部分141及设定部分142的组合是本公开中的“用于在检查对象时设定照明条件的装置”的具体实例。
此外，检查部分143是本公开中的“检查模块”的具体实例。学习器1431是本公开中的“机器学习模型”的实现模式的具体实例。检查部分143输出关于工件4的最终检查结果。例如，在学习器1431是被配置成产生从图像提取的特征的CNN的条件下，检查部分143还可包括例如确定装置，所述确定装置对由学习器1431提取的特征应用确定参考以产生最终检查结果。
图像产生部分141被配置成基于通过拍摄部分144的拍摄而获得的所拍摄的图像，来产生在以可变照明参数(变化的预定照明参数)进行照明的条件下工件4的估计图像。也就是说，估计图像不是实际拍摄的，而是通过在以模拟的照明参数进行照明的条件下模拟工件4的用于拍摄及实行估计的照明参数而获得的图像。
设定部分142将工件4的对应于可变照明参数的估计图像及对应的标签数据应用于学习器1431的学习，且基于学习器1431的估计结果与工件的标签数据之间的比较结果来设定当检查部分143借助于已经实行学习的学习器1431检查工件4时使用的照明参数。下面将详细描述设定方法。
此处的“标签数据”被配置成表示工件4的检查特征。例如，标签数据可为表示工件4是被接受的产品还是被拒绝的产品的数据，且也可为表示工件4的外观特征(例如，划痕及大小)的数据。标签数据的内容不受具体限制，只要表示工件4的预期检查特征即可。
检查部分143检查带式输送机2上的工件4。检查部分143可包括学习器1431，从而通过训练过的机器学习模型来检查工件4。
拍摄部分144通过图像传感器来拍摄工件4。图像传感器可为例如照相机，可存在一个或多个照相机，且此外，其拍摄参数(例如光圈大小及快门速度)是可变的。
存储部分145被配置成存储缺陷检查装置100的工作所需的程序或数据。缺陷检查装置100也可不包括存储部分145。
下面将参考图4总结根据本公开实现模式的用于设定照明条件的方法。图4的(a)及(b)分别是根据本公开实现模式的用于设定照明条件的方法中的机器学习模型的学习阶段及检查阶段的流程图。
如图4的(a)所示，在步骤S410中，拍摄部分144拍摄工件。工件可在以不同照明参数进行照明的条件下被拍摄多次，从而获得关于工件的多个所拍摄的图像。这些所拍摄的图像分别对应于一组照明参数，且例如，每组照明参数可包括例如打开的光源及打开的光源的亮度等参数。
在步骤S412中，学习器1431借助于基于这些所拍摄的图像而获得的估计图像来实行学习(下面将参考图5到图7详细描述获得估计图像的方法)。由于每个估计图像具有相关联的可变照明参数，因此通过学习，可优化评价函数以获得最佳照明参数及检查算法参数，即，选择最佳照明参数及检查算法参数以优化由检查部分143输出的检查结果的正确率。此处，“照明参数”是指当检查部分143检查工件时使用的照明参数，且“检查算法参数”是指当检查部分143检查工件时使用的检查算法的参数。
如图4的(b)所示，在步骤S420中，以在步骤S412中获得的优化的照明参数实行照明，且拍摄部分144拍摄工件4以获得所拍摄的图像。在步骤S422中，学习器1431借助于这些图像来检查工件4的缺陷。
在图4所示用于设定照明条件的方法中，同时调节检查照明参数及检查算法参数，即将照明参数等效地添加到需要调节的算法参数中，从而可减少劳动时间，减少对工人的依赖，而且降低整个系统的计算负荷，且提高检查效率。
图5是在进一步详细说明图4的(a)中所示用于设定照明条件的方法之后，用于设定照明条件的方法的流程图。图6A的(a)及图6B的(a)是图5的步骤S54的详细流程图，图6A的(b)及图6B的(b)是图5的步骤S56的详细流程图，且图6B的(c)是对应于图4的(b)中所示检查阶段的示意性流程图。图7是图5所示用于设定照明条件的方法的示意性流程图。下面将参考图5到图7详细描述根据本公开实现模式的用于设定照明条件的方法的每个步骤。为了便于描述，下面介绍“照明模拟器”的概念。
在本公开中，检查算法由学习器1431实现。学习器1431的训练评价参考通常被称为损失值，且如果涉及接受/拒绝的产品判断问题，则通过交叉熵(Cross Entropy)等表示正确率通过/失败(PASS/FAIL)。如果检查内容是测量工件4的长度等的回归问题，则通过多维正态分布对误差发生分布进行建模，且使用其对数似然函数作为损失值。
在一般条件下，在基于机器学习的检查算法的学习期间，预先输入多条教师数据(teacher data)(在判断问题的情况下为通过/失败，而在回归问题的情况下为正确率)及学习样本图像，且以将损失值最小化的方式实行参数优化，其中损失值是这些学习样本图像是否被正确估计的参考。
目前，当实现前述照明优化时，对于这些学习样本图像，需要在计算机上再现在根据要求设定的各种照明条件下拍摄的图像。因此，在本公开中，引入“照明模拟器”，且当提供照明参数(例如，一组强度、位置、入射角等参数)时，计算在此照明条件下拍摄的图像。
照明模拟器定义如下。当照明参数向量为θL且在此种照明下拍摄的所拍摄的图像向量为u时，照明模拟器被定义为函数f，如公式(1)所示：
u＝f(θL) (1)。
函数的具体定义根据照明模型采用不同的公式。重要的是要注意，所述函数是仅针对特定工件产生所拍摄的图像的函数。当处理多个工件时，采用识别工件个体的索引i作为下标，被标记为fi。
照明模拟器函数fi采用通过依序改变照明模型
Figure BDA0002631331730000081
而获得的N个所拍摄的图像
Figure BDA0002631331730000082
作为训练图像，从而估计参数。下文将描述照明模拟器的具体实例中的参数估计方法。
参考图5，在步骤S50中，拍摄部分144拍摄工件。步骤S50可例如类似于步骤S410。作为优化的准备阶段，对于所有工件(1≤i≤M)，拍摄被配置成计算各个照明模拟器fi的所拍摄的图像uj(1≤j≤N)，且获取各个照明参数。
此处，可改变每个光源的照明参数。例如，可改变每个光源的发光位置和/或发光强度，从而可为工件4提供不同的照明。此外，工件4具有对应的已知标签数据，且标签数据被配置成表示工件4的检查特征。例如，标签数据可为表示工件4是被接受的产品还是被拒绝的产品的数据，且也可为表示工件4的外观特征(例如，划痕及大小)的数据。标签数据的内容不受具体限制，只要表示工件4的预期检查特征即可。
在步骤S52中，图像产生部分141将所拍摄的图像与对应的照明参数相关联，以获得图像数据集。图像数据集还可包括例如对应的拍摄参数，例如光圈大小及快门速度。图像数据集可存储在例如存储部分145中。
在步骤S54中，图像产生部分141基于图像数据集来产生在以可变照明参数进行照明的条件下每个工件的估计图像。
具体来说，如图6A的(a)及图6B的(a)所示，在步骤S540中，每个工件的照明模拟器fi基于初始模拟器参数来产生初始估计图像，且图像产生部分141将初始估计图像与工件的所拍摄的图像进行比较。
在步骤S542中，基于差异来调节模拟器参数θS，且最终获得优化的模拟器参数。在例如线性模型等简单照明模拟器模型的情况下，不需要初始模拟器参数。要注意，模拟器参数不同于对照明条件进行定义的照明参数。此种优化过程可以机器学习方式来完成。在步骤S544中，照明模拟器基于优化的照明模拟器参数θS来产生在以可变照明参数进行照明期间的估计图像。
回到图5，在步骤S56中，学习器1431基于估计图像实行学习，以获得当检查工件时所采用的照明参数，具体参考图6A的(b)及图6B的(b)。
在图6A的(b)及图6B的(b)中，在步骤S450中，将估计图像输入到学习器1431中用于学习。
在外观检查期间，基于机器学习的检查算法的损失函数通常被标记为L(u，v|θD)，其中θD是检查算法的参数向量，例如，检查算法包括深度学习期间连接线的所有权重。此外，u是所拍摄的图像，且v是图像的标签。在一般条件下，当用于学习的数据集被表示为
Figure BDA0002631331730000091
时，通过公式(2)计算最佳学习参数
Figure BDA0002631331730000092
Figure BDA0002631331730000093
而在学习器1431中，当对应于工件样本集的照明模拟器集被表示为
Figure BDA0002631331730000094
时，所拍摄的图像u被模拟器图像f(θL)代替以获得公式(3)所示关系：
L(u，v|θD)＝L(f(θL)，v|θD)＝L(f，v|θL，θD) (3)。
通过所述公式，最佳照明及检查算法参数可通过公式(4)来计算：
Figure BDA0002631331730000095
然而，当实现公式的优化时，在一般条件下，由于物理约束条件(例如，负亮度是无意义的)，照明参数向量的值在一定范围内变化，且在参数值的此种有效范围内实行优化。此外，下面将结合图11及图12描述计算θL的方法。
在步骤S562中，学习器1431通过包括工件4的估计图像及对应的标签数据的学习数据来实行学习，以获得估计结果。在步骤S564中，基于公式(4)来优化学习器1431的检查算法参数，以使学习器1431的估计结果与标签数据一致。
如图7所示，例如，在其中学习器1431使用神经网络实行深度学习的情况下，使神经网络的输出与标签数据一致，因此检查算法参数及照明参数同时被优化，且由此可获得已经实行学习并且具有最佳照明参数的神经网络。已经实行学习的学习器1431可对照明参数进行选择以增加工件4的测试结果的正确率。
此外，虚线框中的过程不必进行。例如，存在虚线框中的过程根据照明模型的种类而不进行的情况。在此种情况下，由图像传感器以多个照明参数拍摄的对象的图像，而非估计图像被直接用于机器学习。
在参考图5到图7的根据本公开实现模式的用于设定照明参数的方法中，检查照明参数及检查算法参数被同时优化，从而可减少劳动时间，且此外，可仅从检查准确度(接受/拒绝的产品判断或测量值)的角度来实现评价参考的直接优化。此外，可实现拍摄系统及图像处理系统的直接优化以用于整体目的，例如，用于检查算法的良好照明设计及最适合于此种照明的检查算法。
此外，在用于设定照明条件的方法中，引入照明模拟器，且不需要拍摄工件的大量图像，从而节省拍摄时间，减少劳动时间，且减少对工人的依赖。
另外，在参考图5、图6A及图6B的根据本公开实现模式的用于设定照明参数的方法中，对于多种类型的工件4也可准备多个对应的图像数据集。因此，可基于多个图像数据集来产生在以可变照明参数进行照明期间分别对应于每种类型的工件4的多种类型的估计图像。
因此，可提高检查部分143的通用性，且不需要分别对每种类型的工件实行图像拍摄、照明参数设定等。
图8的(a)及(b)分别是根据本公开另一实现模式的用于设定照明条件的方法中的机器学习模型的学习阶段及检查阶段的流程图。下面首先描述所述方法的原理。
在一般条件下，基于机器学习的检查算法的学习需要大量的训练图像。这个问题在例如深度学习等具有大量参数的方法中尤其明显，其中问题是在所述方法中需要获得M*N个图像。当M的值非常大时，需要拍摄大量图像。
作为所述问题的解决方案，仅对于需要大量训练图像的检查算法，可通过在固定拍摄条件下获得的训练图像来预先计算检查算法参数。换句话说，无法通过同时改变θL及θD来计算最佳解，而是在计算θD之后由用于几个工件样本的照明模拟器来计算θL。在一般条件下，这种方法可被认为是合理的，因为许多照明参数为相对小的。
具体来说，准备两个数据集
Figure BDA0002631331730000101
及
Figure BDA0002631331730000102
且为了两个阶段的优化，通过公式(5)及公式(6)来计算最佳照明参数：
Figure BDA0002631331730000103
及
Figure BDA0002631331730000104
在前述方法中，设定M1＞M2，学习所需的所拍摄的图像的数量可从M*N减少到M1+M2×N。在前述方法中，也可使用现有的固定检查算法参数，且仅计算照明参数。
此处参考图8详细描述所述方法的流程。如图8的(a)所示，在步骤S810中，用固定照明参数拍摄M1个工件以获得M1个所拍摄的图像。在步骤S812中，学习器1431通过M1个所拍摄的图像实行学习，以优化检查算法参数。在步骤S814中，在N种类型的照明参数下拍摄M1个工件中的M2个工件，以获得M2*N个所拍摄的图像。
在步骤S816中，基于通过将M2*N个所拍摄的图像与对应于这些所拍摄的图像的照明参数相关联而获得的图像数据集，来产生在以可变照明参数进行照明期间工件4的估计图像。将这些估计图像用于已经实行学习的学习器1431。基于学习器1431的估计结果与标签数据之间的比较结果，来设定当检查部分143检查工件4时所采用的照明条件。作为比较的实例，例如，在学习器1431已经使用在N个照明参数下的工件图像作为测试图像输入来实行学习之后，选择将学习器1431的估计结果的正确率最大化的照明参数作为检查工件4时使用的照明参数。
在图8的(a)所示学习阶段之后，如图8的(b)所示，在步骤S820中，在检查照明参数下拍摄工件以获得所拍摄的图像。在步骤S822中，检查部分143分析所拍摄的图像以获得关于工件的检测结果。
根据参考图8描述的检查方法，可减少机器学习模型学习期间的系统计算量，可降低系统负载，且可简化对照明参数的设定操作。
此外，任选地，在前述方法中，也可减少学习所需的所拍摄的图像的数量，从而减少劳动时间并简化参数优化程序。
可存在对参考图8描述的用于设定照明条件的方法的各种修改，且所述修改将在下面参考图9详细描述。图9的(a)及(b)分别是图8所示用于设定照明条件的方法的一个修改中的机器学习模型的学习阶段及检查阶段的流程图。在图9中，与图8的步骤相同或相似的步骤用相同或相似的参考编号来标记，且省略其重复说明。
在步骤S916中的学习期间，除θL之外，还将检查算法参数的一部分(被记录为θ’D)设定为可变值，且对其进行再次调节，如公式(7)及公式(8)所示。因此，可仅由用于几个工件样本的光模拟器来执行附加学习，且另一方面，可局部地解决不能形成最适合照明的学习器的问题：
Figure BDA0002631331730000111
及
Figure BDA0002631331730000112
类似地，可减少学习所需的所拍摄的图像的数量，且此外，可形成在一定程度上最适合照明的学习器。
此外，在参考图9描述的检查方法中，在步骤S916中的学习期间，也可再次调节检查算法的所有参数。在此种条件下，步骤S812中的学习具有预训练功能。
图10是根据本公开另一实现模式的检查方法的流程图。根据参考图10描述的检查方法，可提高照明及成像系统的微小变化的鲁棒性。
当在生产线上并行实行相同的检查时，难以制造与包括照明在内的整个成像系统完全相同的副本。在一般条件下，由于照相机或照明等的安装位置的偏差，可能存在个体差异
当将通过本公开的方法计算的最佳照明参数应用于与拍摄环境不同的副本环境时，由于成像系统的个体差异，性能可被损坏。为了防止此种问题，针对微小变化，可通过在将噪声添加到照明参数中之后实行求平均的评价函数来计算稳定参数。具体来说，前述损失函数L被公式(9)中定义的Lε代替，由此计算照明参数及检查算法参数：
Figure BDA0002631331730000113
其中ε是自由分布的噪声向量。在一般条件下，可利用中心-零多维正态分布、一定范围内的均匀分布等。此为深度学习期间输入图像的“增强(Augmentation)”概念对照明参数的直接应用。
此处参考图10详细描述所述方法的流程。如图10所示，在步骤S1010中，拍摄工件以获得所拍摄的图像。所述步骤可参考S410、S50及S810。在步骤S1012中，将根据所拍摄的图像获得的估计图像输入到学习器1431中，且进一步输入照明变化条件以用于学习。此处提到的“照明变化条件”可包括环境的微小变化，且还可包括光源及图像传感器的微小变化。在步骤S1014中，对于预定范围内的照明参数，将学习器1431的损失函数的损失平均值最小化，以获得优化的照明参数，其中照明参数是损失函数的变量。
在参考图10描述的检查方法中，考虑到环境影响，从而可提高对照明参数的微小变化的鲁棒性，且改善整个检查系统的性能。
图11是根据本公开另一实现模式的检查方法的流程图。根据参考图11描述的检查方法，基于两个评价函数，可提高对工件变化的鲁棒性。
为了确保检查性能对于工件变化的鲁棒性，在一般条件下，存在对通过应用增强技术来添加工件样本图像或添加样本图像的修改。
在前述包括照明的用于优化的方法中，添加工件样本图像等效于增加光模拟器的示例性数量。因此，与纯粹拍摄样本图像相比，存在麻烦的问题。作为简单地解决问题的方法，可考虑与评价函数相关的方法。
根据本公开，会实现检查算法的正确率(损失值)可被直接最大化的优点。另一方面，不包括用于直接视觉评价所拍摄的图像的参考，因此无法区分照明参数是变成用于检查对象缺陷的实际照明的照明参数还是针对规定工件配置优化的异常照明参数。当用眼睛来评价检查图像是好还是不好时，检查算法的性能可能不会被直接最大化，但评价是基于人的感觉及经验的先验知识来实行的，因而会实现确保鲁棒性的优点。因此，如公式(10)所示，可将基于人的主观教员评价参考(subjective faculty evaluation reference)h(u)(例如，区域中的对比度)添加到损失函数以实现优化：
L′(fi，vi|θL，θD)＝L(fi，vi|θL，θD)+λh(fi(θL)) (10)，
其中λ是平衡参数，其确定在检查算法的性能(损失值)及教员评价参考中应重视的一个重要因素。
此处参考图11详细描述所述方法的流程。如图11所示，在步骤S1110中，拍摄工件以获得所拍摄的图像。所述步骤可参考S410、S50及S810。在步骤S1112中，将基于所拍摄的图像获得的估计图像输入到学习器1431中，且进一步输入评价参考以用于学习。此处提到的“评价参考”可包括基于人的感觉及经验的先验知识的前述评价参考，且还可包括基于用于图像分析等的现有数学算法的评价参考。在步骤S1114中，将学习器1431的损失函数最小化，以获得优化的检查照明参数。
作为应用所述方法的方式，其可具有以下修改。例如，在计算出θD后计算θL的简化方法中，在计算每个参数的步骤中，可采用不同的λ值或教员评价参考值h(u)。例如，可采用仅根据正确率(λ＝0)来计算θD，且对于θL(λ被设定为相对大的值)增加教员评价参考的权重等。
在参考图11描述的检查方法中，考虑到环境影响，因而可提高对工件差异的鲁棒性，且提高整个检查系统的性能。
下面将描述照明模拟器的具体组成实例。在一般条件下，照明是通过光的远场模式来唯一定义的，即表示在基于平行光进行分裂期间的强度分布的连续函数(也被称为角谱)。连续函数的分辨率上限由工件的大小及成像系统的开口来确定，且相对小的工件可能不具有相对低的角分辨率，使得具有相对高的空间频率的分量可被忽略。然而，即使如此，照明模型仍然具有很大的自由度，且建模需要特定的参数模型。
根据表示特定约束条件的函数(其中照明调节参数向量表示在特定照明条件下的参数化)，照明模型可被分为线性模型及非线性模型。线性模型的模型参数可相对容易地估计，但照明的自由度受到限制。
上文已经利用图1所示检查系统描述了本公开的内容，但是本公开的内容不限于此。例如，本公开的原理也可应用于其中需要设定照明条件及拍摄图像的各种其他情况。例如，本公开的原理也可应用于面部辨识系统，所述面部辨识系统将人的面部作为对象，对人脸进行照明并拍摄图像，使用所拍摄的图像作为输入并通过机器学习来辨识人的面部。
在面部辨识系统的情况下，使用能够改变照明参数的光源对面部进行照明，且使用照相机在各种照明条件下拍摄面部的图像，其中对面部给予已知的标签数据，例如，标签数据可为人的名字。接下来，可基于上述“照明模拟器”来产生面部的估计图像。并且将面部的这些估计图像及标签数据用于面部辨识系统的机器学习模型的学习，且基于此机器学习模型的估计结果与面部的标签数据的比较结果，并且通过同时优化机器学习模型的照明参数及检查算法参数，来设定照明条件及检查算法参数两者。此处，检查算法参数是指当将机器学习模型用于面部辨识时使用的检查参数。
下面将参考图12的(a)及(b)描述根据本公开实现模式的用于设定照明条件的方法的照明模型的示意图。
图12的(a)示出线性照明模型的实例。在线性照明模型下，可基于图像数据集中包括的并对应于照明参数的所拍摄的图像的线性叠加和来产生在以可变照明参数进行照明期间工件4的估计图像。下面将进行详细描述。
图12的(a)中示出3个光源的条件。光源L1、光源L2及光源L3在不同的发光位置对工件4进行照明。然而，根据要求，光源的数量需要大于2。例如，下面将针对N个光源的条件进行描述。简单来说，线性模型调节N个固定照明的强度。当第i个(1≤i≤N)照明的强度为wi时，照明参数向量可被表达为公式(11)：
θL＝(w1，w2，…，wN)T (11)。
当照明的远场模式是
Figure BDA0002631331730000131
时，线性模型中的具体表达式如公式(12)所示：
Figure BDA0002631331730000132
在公式中，
Figure BDA0002631331730000133
是第i个照明的远场模式，且此为等效于径向基函数(RadialBasis Function，RBF)网络的模型。根据定义，此函数相对于照明参数是线性的，且是通过叠加原理建立的线性系统。
所述关系也适用于所拍摄的图像。例如，如图13所示，当仅第i个照明(wi＝1)打开而其他灯(wj＝0，j≠i)被关闭时所获取的图像被记录为ui时，针对照明参数的估计图像可根据公式(13)来计算：
u＝w1u1+w2u2+…+wNuN＝AθL (13)，
其中，A通常是纵向矩阵。在实际环境中，还可能出现光源的方向性因发光强度而改变的非线性现象，但是这些改变可被认为非常小。此外，由于像素饱和及伪线性，应用非线性的线性函数g(x)，且在一般条件下获得公式(14)所示模型，其中g(x)对向量的每一元素执行操作。线性亮度函数的实例如图14所示。
u＝g(AθL) (14)。
在此种条件下，照明模拟器的参数被转变成矩阵A，A的估计(即，学习)成为验证线性系统的问题，且为了简单实现，通过利用任何独立基一次将测量实行N次。
具体来说，假设在测量期间，每个照明的亮度在使得线性为真的范围内，并且当用于测量的N个基本向量被设定为
Figure BDA0002631331730000134
时，下列公式(15)及公式(16)为真：
Figure BDA0002631331730000135
及
U＝AX+N(16)，
其中ni为在拍摄期间互补金属氧化物半导体(Complementary Metal OxideSemiconductor，CMOS)传感器中产生的附加噪声，且通常会形成正态分布，并且其分散由成像系统的信噪(Signal-to-Noise，SN)比来确定。当根据比较表达式计算A时，存在各种方法，例如，被确定为最佳线性无偏估计(Best Linear Unbiased Estimate，BLUE)的最大似然(Maximum Likelihood，ML)估计及在A及N都已知的高斯分布条件下的最小均方误差(Minimum Mean Square Error，MMSE)估计，并且在正常情况下，在此种条件下A的统计性质是未知的，因此下面采用ML估计。当A的估计值为
Figure BDA0002631331730000141
时，其可根据公式(17)来计算：
Figure BDA0002631331730000142
此时，估计误差是：
Figure BDA0002631331730000143
其中σ是加性噪声的标准偏差，λ是X的奇异值，且P是图像的像素数。HS表示相对于矩阵的希尔伯特-施密特(Hilbert-Schmidt)内积或范数。从公式中可以看出，当X的奇异值较大时，估计误差总量较小，且等效地，系统的SN比纯粹增加。当已经确定了X的奇异值之和(总信号功率受到约束)时，当λ全部为相同的值时，估计误差较低，并且表明当利用正交基(orthonormal basis)时，用于观察的照明参数向量最有效。鉴于上述内容，照明模型的三种测量模式如下所示。
(1)标准基(standard basis)
当采用最纯模式的标准基时，用于测量的照明参数可表示为公式(19)：
Figure BDA0002631331730000144
此为正交基，因此，根据以上讨论的含义，可提供最佳估计。然而，图像中的光量是不均匀的，且可能受到噪声或暗电流的影响。
(2)线性无关性及条件
作为用于测量的照明参数，可考虑具有线性无关性的多种模式。因此，可选择在添加特定条件的情况下满足所述条件者。例如，可通过添加规定范围内的亮度不低于特定值等的条件来计算所述基。与上面讨论的内容相同，当所述基被改变为标准正交基时，性能最高，但其是基于亮度可不为负值的限制项来计算的，因而使得难以实现正交性或标准正交性。
(3)冗余基
用于测量的基的数量不总是等于照明的数量N，而也可为大于N的值。当其大于N时，可增加SN比，且可实现更准确估计的优点。在此种条件下，不存在X的逆矩阵，因此，作为另一选择，如公式(20)所示实现估计：
Figure BDA0002631331730000145
其中X+是X的摩尔-彭若斯伪逆矩阵(Moore-Penrose pseudoinverse)。类似地，为了在此种条件下将估计性能最大化，将X的特异值(distinguished value)的平方分别变为相同的值。因此，公开一种伪正交基(Pseudo Orthogonal Bases，POB)优化技术。例如，可参考杉山正史及小川中野英光(Masashi Sugiyama and Hidemitsu Ogawa)的“伪正交基在神经网络学习中产生最佳泛化能力(Pseudo Orthogonal Bases Give the OptimalGeneralization Capability in Neural Network Learning)”(http://www.ms.k.u-tokyo.ac.jp/1999/SPIE99.pdf，1999年)。
与上面讨论的内容相同，所述基也可通过添加另一个条件来计算。
上面参考图12的(a)描述了线性照明模型的实例，且下面参考图12的(b)描述非线性照明模型的实例。在非线性照明模型下，可基于图像数据集借助于关于照明参数的非线性估计函数来产生在以可变照明参数进行照明期间工件4的估计图像。
图12的(b)中示出仅一个光源的条件。光源L4可在不同的发光位置处对工件4进行照明。然而，根据需要，光源的数量可能需要多于2个，且例如，将对N个光源的条件进行描述。
在前述线性模型不适用的情况下，利用非线性模型。列举纯粹实例。当利用具有可调入射角及亮度的N个照明时，如果光量为wi(1≤i≤N)，且入射角为
Figure BDA0002631331730000151
则参数向量可表达为公式(21)：
Figure BDA0002631331730000152
此时，远场模式如公式(22)所示，且相对于参数向量没有线性：
Figure BDA0002631331730000153
在此种条件下，难以定义通用数学模型，但是可利用任何图像产生模型，例如最近公开的基于深度学习的图像产生方法，即产生式对抗网络(Generative AdversarialNetwork，GAN)及自动编码器(Auto Encoder，AE)系统。
以下示出在特定受限条件下利用的简化模型的具体实例。在仅对漫散射光进行建模的条件下根据兰伯特模式(Lambert mode)实现的情况下，任何照明均可借助于三个基函数以线性组合方式来表达。所述模式是近似线性的，但是根据参数化照明条件计算基的混合系数的过程是非线性的，因此其属于非线性照明模拟器。具体来说，所述模式可被定义为公式(23)至公式(26)：
u＝g(BCd(θL)) (23)，
Figure BDA0002631331730000154
Figure BDA0002631331730000155
及
C＝[l1，l2，…，lQ] (26)，
其中B是P×3矩阵(P是图像的像素数量)，C是3×Q矩阵，d(θL)是关于照明参数的非线性Q维列向量，
Figure BDA0002631331730000156
是任何球面上的采样点列，且在球面上以尽可能相等的间隔分布，例如分层等面积等维度像素化(Hierarchical Equal Area Iso Latitudepixelation，HEALPix)，采样点的数量Q被设定为以完全的分辨率覆盖照明参数的立体角范围，并且lq是来自球面座标
Figure BDA0002631331730000157
的对工件进行照明时的光源方向向量。所述公式的数学含义是通过非线性映射d将照明参数映射到Q维高维空间，且通过线性映射根据所述空间来计算像素的亮度值，并将其直接变为以下含义。
首先，根据输入照明参数，作出此种假设，即每个照明具有带有标准偏差σ的高斯分布角范围，并且入射角被离散化且被表达为在球面上采样的每个点上的值。其次，通过矩阵C计算每个采样点(对应的入射角)中的兰伯特模型的三个基函数的混合系数(照明方向向量)，且混合由矩阵B表达的基函数。最后，应用线性函数g。
矩阵B是依赖于工件的矩阵，因此通过改变利用照明参数测量的所拍摄的图像集至少三次来估计矩阵B。矩阵C可被计算作为校准。
如果以软件功能单元的形式实现且作为独立产品销售或使用，则用于在检查对象时设定照明条件的装置及系统或其一部分可存储在计算机可读存储介质中。基于这种理解，本公开的技术解决方案本质上或对现有技术有贡献的部分、或全部或部分技术解决方案可以软件产品的形式实现，且计算机软件产品存储在存储介质中，包括用于使一件计算机装备(其可为个人计算机、服务器或网络装备)执行根据本公开每一实例的方法的全部或部分步骤的若干指令。前述存储介质包括：能够存储程序代码的各种介质，例如USB盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、可移动硬盘、磁盘或光盘，且此外，还可包括从服务器或云下载的数据串流。
前述仅是本公开的优选实现模式，且应当注意，本领域中的一般技术人员可在不背离本公开的原理的情况下进行一些改进及修改。这些改进及修改应被视为处于本公开的保护范围内。
符号的说明
1：检查系统
2：带式输送机
4：工件
6：成像视图
8：上层网络
10：可编程逻辑控制器
12：数据库装置
100：缺陷检查装置
102：照相机
104：显示器
106：键盘
108：鼠标
110：处理器
112：主存储器
114：照相机接口
116：输入接口
118：显示器接口
120：通信接口
122：内部总线
130：存储器
132：图像处理程序
134：操作系统
136：学习器参数
138：所拍摄的图像
140：估计图像
141：图像产生部分
142：设定部分
143：检查部分
144：拍摄部分
145：存储部分
1431：学习器

Claims (20)

1.一种用于在检查对象时设定照明条件的方法，其中，检查模块包括用于检查所述对象的机器学习模型，所述机器学习模型通过使用包括图像的学习数据来产生，所述方法的特征在于，包括：
由能够改变照明参数的光源对所述对象进行照明，所述照明参数规定拍摄所述对象时的所述照明条件，且由图像传感器以多个照明参数来拍摄所述对象，以获得对应于所述多个照明参数的所拍摄的图像，其中，所述对象具有已知的标签数据；
基于通过将所述所拍摄的图像与对应于所述所拍摄的图像的所述照明参数相关联而获得的图像数据集，来产生当以可变照明参数对所述对象进行照明时所述对象的估计图像；及
将所述对象的对应于所述可变照明参数的所述估计图像及对应的所述标签数据应用于所述机器学习模型的学习，且基于所述机器学习模型的估计结果与所述对象的所述标签数据之间的比较结果，通过同时优化所述照明参数及检查算法参数两者，来设定所述机器学习模型的所述照明条件及所述检查算法参数两者。
2.根据权利要求1所述的方法，其中，产生当以可变照明参数对所述对象进行照明时所述对象的估计图像包括：
准备对应于多种对象的多个图像数据集；及
基于所述多个图像数据集，产生当以所述可变照明参数对所述多种对象进行照明时分别对应于所述多种对象的多个估计图像。
3.一种用于在检查对象时设定照明条件的方法，其中，检查模块包括用于检查所述对象的机器学习模型，所述机器学习模型通过使用包括图像的学习数据来产生，所述方法的特征在于，包括：
由能够改变照明参数的光源对所述对象进行照明，所述照明参数规定拍摄所述对象时的所述照明条件，且由图像传感器以多个照明参数来拍摄所述对象，以获得对应于所述多个照明参数的多个所拍摄的图像，其中，所述对象具有对应的标签数据；
基于通过将所述所拍摄的图像与对应于所述所拍摄的图像的所述照明参数相关联而获得的图像数据集，来产生当以可变照明参数对所述对象进行照明时所述对象的估计图像；及
将对应于所述可变照明参数的所述估计图像应用于已经实行学习的所述机器学习模型，且基于所述机器学习模型的估计结果与所述对象的所述标签数据之间的比较结果，根据仅针对所述照明参数的优化结果，来设定所述照明条件。
4.根据权利要求3所述的方法，其中，将对应于所述可变照明参数的所述估计图像应用于已经实行学习的所述机器学习模型包括：
将包括所述对象的所述估计图像及对应的所述标签数据的学习数据应用于所述机器学习模型的附加学习，以更新所述机器学习模型的部分或全部检查算法参数，其中，所述标签数据表示所述对象的检查特征；及
优化所述机器学习模型的所述照明参数及部分或全部所述检查算法参数两者，以使所述机器学习模型的所述估计结果与所述标签数据一致。
5.根据权利要求3或4所述的方法，其中，
当设定所述照明条件时，应用于所述机器学习模型以确定所述照明参数的所述估计图像的数量少于应用于所述机器学习模型的所述学习的所述所拍摄的图像的数量。
6.根据权利要求1或3所述的方法，其中，
所述照明参数包括所述光源的发光位置及发光强度。
7.根据权利要求1或3所述的方法，其中，设定使用所述检查模块检查所述对象时的所述照明条件包括：
选择将表示所述比较结果的损失函数最小化的所述照明参数，其中，所述选择包括：对于预定范围的所述照明参数，选择将所述损失函数的损失平均值最小化的所述照明参数。
8.根据权利要求1或3所述的方法，其中，产生当以可变照明参数对所述对象进行照明时所述对象的估计图像包括：
基于与所述图像数据集中包括的所述照明参数对应的所述所拍摄的图像的加权线性叠加和，来产生当以所述可变照明参数对所述对象进行照明时所述对象的所述估计图像，其中，根据所述可变照明参数及所述所拍摄的图像的所述照明参数两者来确定其权重。
9.根据权利要求1或3所述的方法，其中，产生当以可变照明参数对所述对象进行照明时所述对象的估计图像包括：
基于所述图像数据集且使用关于所述可变照明参数的非线性估计函数，来产生当以所述可变照明参数对所述对象进行照明时所述对象的所述估计图像。
10.一种用于在检查对象时设定照明条件的装置，其中，检查模块包括用于检查所述对象的机器学习模型，所述机器学习模型通过使用包括图像的学习数据来产生，所述装置的特征在于，包括：
获取单元，获取关于所述对象的所拍摄的图像，其中，由能够改变照明参数的光源对所述对象进行照明，所述照明参数规定拍摄所述对象时的所述照明条件，且由图像传感器以多个照明参数来拍摄所述对象，以获得对应于所述多个照明参数的所述所拍摄的图像，其中，所述对象具有已知的标签数据；
产生单元，基于通过将所述所拍摄的图像与对应于所述所拍摄的图像的所述照明参数相关联而获得的图像数据集，产生当以可变照明参数对所述对象进行照明时所述对象的估计图像；及
设定单元，将所述对象的对应于所述可变照明参数的所述估计图像及对应的所述标签数据应用于所述机器学习模型的学习，且基于所述机器学习模型的估计结果与所述对象的所述标签数据之间的比较结果，通过同时优化所述照明参数及检查算法参数两者，来设定所述机器学习模型的所述照明条件及所述检查算法参数两者。
11.根据权利要求10所述的装置，其中，所述产生单元：
准备对应于多种对象的多个图像数据集；及
基于所述多个图像数据集，来产生当以所述可变照明参数对所述多种对象进行照明时分别对应于所述多种对象的多个估计图像。
12.一种用于在检查对象时设定照明条件的装置，其中，检查模块包括用于检查所述对象的机器学习模型，所述机器学习模型通过使用包括图像的学习数据来产生，所述装置的特征在于，包括：
获取单元，获取关于所述对象的所拍摄的图像，其中，由能够改变照明参数的光源对所述对象进行照明，所述照明参数规定拍摄所述对象时的所述照明条件，且由图像传感器以多个照明参数来拍摄所述对象，以获得对应于所述多个照明参数的所述所拍摄的图像，其中，所述对象具有对应的标签数据；
产生单元，基于通过将所述所拍摄的图像与对应于所述所拍摄的图像的所述照明参数相关联而获得的图像数据集，产生当以可变照明参数对所述对象进行照明时所述对象的估计图像；及
设定单元，将对应于所述可变照明参数的所述估计图像应用于已经实行学习的所述机器学习模型，且基于所述机器学习模型的估计结果与所述对象的所述标签数据之间的比较结果，根据仅针对所述照明参数的优化结果，来设定所述照明条件。
13.根据权利要求12所述的装置，其中，所述设定单元：
将包括所述对象的所述估计图像及对应的所述标签数据的学习数据应用于所述机器学习模型的附加学习，以更新所述机器学习模型的部分或全部检查算法参数，其中，所述标签数据表示所述对象的检查特征；及
优化所述机器学习模型的所述照明参数及部分或全部所述检查算法参数两者，以使所述机器学习模型的所述估计结果与所述标签数据一致。
14.根据权利要求10或12所述的装置，其中，
所述照明参数包括所述光源的发光位置及发光强度。
15.根据权利要求10或12所述的装置，其中，所述设定单元：
选择将表示所述比较结果的损失函数最小化的所述照明参数，其中，所述选择包括：对于预定范围的所述照明参数，选择将所述损失函数的损失平均值最小化的所述照明参数。
16.根据权利要求10或12所述的装置，其中，所述产生单元：
基于与所述图像数据集中包括的所述照明参数对应的所述所拍摄的图像的加权线性叠加和，来产生当以所述可变照明参数对所述对象进行照明时所述对象的所述估计图像，其中，根据所述可变照明参数及所述所拍摄的图像的所述照明参数两者来确定其权重。
17.根据权利要求10或12所述的装置，其中，所述产生单元：
基于所述图像数据集且使用关于所述可变照明参数的非线性估计函数，来产生当以所述可变照明参数对所述对象进行照明时所述对象的所述估计图像。
18.一种用于在检查对象时设定照明条件的系统，其特征在于，包括：处理单元，执行根据权利要求1至9中任一项所述的方法。
19.一种程序，其特征在于，所述程序当被执行时，执行根据权利要求1至9中任一项所述的方法。
20.一种存储介质，其特征在于，所述存储介质上存储有程序，所述程序当被执行时执行根据权利要求1至9中任一项所述的方法。
CN201880089331.3A 2018-03-05 2018-03-05 用于设定照明条件的方法、装置、系统以及存储介质 Active CN111727412B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2018/051393 WO2019171121A1 (en) 2018-03-05 2018-03-05 Method, device, system and program for setting lighting condition and storage medium

Publications (2)

Publication Number Publication Date
CN111727412A true CN111727412A (zh) 2020-09-29
CN111727412B CN111727412B (zh) 2023-07-14

Family

ID=62111127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880089331.3A Active CN111727412B (zh) 2018-03-05 2018-03-05 用于设定照明条件的方法、装置、系统以及存储介质

Country Status (5)

Country Link
US (1) US11240441B2 (zh)
EP (1) EP3762794A1 (zh)
JP (1) JP7028333B2 (zh)
CN (1) CN111727412B (zh)
WO (1) WO2019171121A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118574287A (zh) * 2024-07-31 2024-08-30 国网湖北省电力有限公司电力科学研究院 夜间施工照明的智能优化控制方法、系统以及设备

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019171124A1 (en) * 2018-03-06 2019-09-12 Omron Corporation Method, device, system and program for setting lighting condition and storage medium
JP7006567B2 (ja) 2018-11-09 2022-01-24 オムロン株式会社 撮影方法及び撮影装置
IT201900005536A1 (it) * 2019-04-10 2020-10-10 Doss Visual Solution S R L Metodo di acquisizione immagini per una macchina di ispezione ottica
JP7437918B2 (ja) * 2019-11-20 2024-02-26 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7281500B2 (ja) * 2021-05-17 2023-05-25 東亜建設工業株式会社 画像データの取得方法および取得システム
KR102710265B1 (ko) * 2021-05-24 2024-09-27 에이아이루덴스 주식회사 딥러닝을 통한 광학 환경 제공 시스템 및 제공 방법
CN117480381A (zh) * 2021-06-18 2024-01-30 三菱电机株式会社 图像处理装置、图像处理方法以及图像处理程序
CN113916906B (zh) * 2021-09-03 2024-01-09 江苏理工学院 视觉检测系统led光源照度优化方法及所用实验设备
WO2023090036A1 (ja) * 2021-11-22 2023-05-25 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム
JP2023127798A (ja) * 2022-03-02 2023-09-14 オムロン株式会社 ワークの傷検出のシミュレーションを実行する装置、当該シミュレーションを実行する方法、および、当該シミュレーションを実現するプログラム
JP2024056561A (ja) * 2022-10-11 2024-04-23 株式会社日立製作所 検査条件決定システム
US20240155247A1 (en) * 2022-11-04 2024-05-09 UnitX, Inc. Inspection camera controller sequence
CN116819991B (zh) * 2023-02-21 2024-09-13 中节能绿建环保科技有限公司 智能楼宇监控系统及其监控方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1440543A (zh) * 2000-06-28 2003-09-03 泰拉丁公司 使用检查系统的图像处理系统
CN102473280A (zh) * 2009-07-31 2012-05-23 富士胶片株式会社 图像处理装置和方法、数据处理装置和方法、程序和记录介质
EP2887055A1 (en) * 2013-12-17 2015-06-24 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Method and apparatus for detection of visible defects
WO2015188275A1 (en) * 2014-06-10 2015-12-17 Sightline Innovation Inc. System and method for network based application development and implementation
US20170069075A1 (en) * 2015-09-04 2017-03-09 Canon Kabushiki Kaisha Classifier generation apparatus, defective/non-defective determination method, and program
CN106651795A (zh) * 2016-12-03 2017-05-10 北京联合大学 一种利用光照估计来校正图像颜色的方法
CN107395960A (zh) * 2017-07-07 2017-11-24 珠海市魅族科技有限公司 拍照方法及装置、计算机装置和计算机可读存储介质
CN107464244A (zh) * 2017-03-09 2017-12-12 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于神经网络的图像光照估计方法
CN107635095A (zh) * 2017-09-20 2018-01-26 广东欧珀移动通信有限公司 拍摄照片的方法、装置、存储介质及拍摄设备

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001343336A (ja) * 2000-05-31 2001-12-14 Nidek Co Ltd 欠陥検査方法及び欠陥検査装置
US7113633B2 (en) * 2001-07-02 2006-09-26 Photoinaphoto.Com, Inc. System and method for discovering and categorizing attributes of a digital image
US7590276B2 (en) * 2004-12-20 2009-09-15 Mitutoyo Corporation System and method for programming interrupting operations during moving image acquisition sequences in a vision system
JP5260183B2 (ja) * 2008-08-25 2013-08-14 株式会社日立ハイテクノロジーズ 欠陥検査方法及びその装置
CN101872491B (zh) * 2010-05-21 2011-12-28 清华大学 基于光度立体的自由视角重光照方法和系统
JP5525336B2 (ja) * 2010-06-08 2014-06-18 株式会社日立ハイテクノロジーズ 欠陥検査方法および欠陥検査装置
JP5743499B2 (ja) 2010-11-10 2015-07-01 キヤノン株式会社 画像生成装置、画像生成方法、およびプログラム
JP6126437B2 (ja) * 2013-03-29 2017-05-10 キヤノン株式会社 画像処理装置および画像処理方法
CA2889778A1 (en) * 2014-04-28 2015-10-28 Modest Tree Media Inc. Virtual interactive learning environment
JP6674192B2 (ja) 2014-05-28 2020-04-01 ソニー株式会社 画像処理装置と画像処理方法
JP6409433B2 (ja) 2014-09-17 2018-10-24 大日本印刷株式会社 画像生成装置、画像検出システム及び画像生成方法
US9443195B2 (en) * 2014-11-26 2016-09-13 Sense Labs, Inc. Assisted labeling of devices with disaggregation
CN107430677B (zh) * 2015-03-20 2022-04-12 英特尔公司 基于对二进制卷积神经网络特征进行提升的目标识别
US9904849B2 (en) * 2015-08-26 2018-02-27 Digitalglobe, Inc. System for simplified generation of systems for broad area geospatial object detection
JP2017049974A (ja) * 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム
US10068385B2 (en) * 2015-12-15 2018-09-04 Intel Corporation Generation of synthetic 3-dimensional object images for recognition systems
EP3408848A4 (en) * 2016-01-29 2019-08-28 Pointivo Inc. SYSTEMS AND METHOD FOR EXTRACTING INFORMATION ON OBJECTS FROM SCENE INFORMATION
US9996771B2 (en) * 2016-02-15 2018-06-12 Nvidia Corporation System and method for procedurally synthesizing datasets of objects of interest for training machine-learning models
US20170278308A1 (en) * 2016-03-23 2017-09-28 Intel Corporation Image modification and enhancement using 3-dimensional object model based recognition
EP3306528B1 (en) * 2016-10-04 2019-12-25 Axis AB Using image analysis algorithms for providing traning data to neural networks
US11288551B2 (en) * 2016-10-24 2022-03-29 International Business Machines Corporation Edge-based adaptive machine learning for object recognition
US10529137B1 (en) * 2016-11-29 2020-01-07 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Machine learning systems and methods for augmenting images
WO2018156126A1 (en) * 2017-02-23 2018-08-30 Siemens Aktiengesellschaft Real-time generation of synthetic data from multi-shot structured light sensors for three-dimensional object pose estimation
US10019654B1 (en) * 2017-06-28 2018-07-10 Accenture Global Solutions Limited Image object recognition
JP6705777B2 (ja) * 2017-07-10 2020-06-03 ファナック株式会社 機械学習装置、検査装置及び機械学習方法
US10579869B1 (en) * 2017-07-18 2020-03-03 Snap Inc. Virtual object machine learning
US10354139B1 (en) * 2017-09-07 2019-07-16 X Development Llc Generating and utilizing spatial affordances for an object in robotics applications
US10467501B2 (en) * 2017-10-30 2019-11-05 Sap Se Computer vision architecture with machine learned image recognition models
US10346721B2 (en) * 2017-11-01 2019-07-09 Salesforce.Com, Inc. Training a neural network using augmented training datasets
JP6955211B2 (ja) * 2017-12-14 2021-10-27 オムロン株式会社 識別装置、識別方法及びプログラム
JP6924413B2 (ja) * 2017-12-25 2021-08-25 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1440543A (zh) * 2000-06-28 2003-09-03 泰拉丁公司 使用检查系统的图像处理系统
CN102473280A (zh) * 2009-07-31 2012-05-23 富士胶片株式会社 图像处理装置和方法、数据处理装置和方法、程序和记录介质
EP2887055A1 (en) * 2013-12-17 2015-06-24 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Method and apparatus for detection of visible defects
WO2015188275A1 (en) * 2014-06-10 2015-12-17 Sightline Innovation Inc. System and method for network based application development and implementation
US20170069075A1 (en) * 2015-09-04 2017-03-09 Canon Kabushiki Kaisha Classifier generation apparatus, defective/non-defective determination method, and program
CN106651795A (zh) * 2016-12-03 2017-05-10 北京联合大学 一种利用光照估计来校正图像颜色的方法
CN107464244A (zh) * 2017-03-09 2017-12-12 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于神经网络的图像光照估计方法
CN107395960A (zh) * 2017-07-07 2017-11-24 珠海市魅族科技有限公司 拍照方法及装置、计算机装置和计算机可读存储介质
CN107635095A (zh) * 2017-09-20 2018-01-26 广东欧珀移动通信有限公司 拍摄照片的方法、装置、存储介质及拍摄设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118574287A (zh) * 2024-07-31 2024-08-30 国网湖北省电力有限公司电力科学研究院 夜间施工照明的智能优化控制方法、系统以及设备
CN118574287B (zh) * 2024-07-31 2024-10-01 国网湖北省电力有限公司电力科学研究院 夜间施工照明的智能优化控制方法、系统以及设备

Also Published As

Publication number Publication date
US11240441B2 (en) 2022-02-01
WO2019171121A1 (en) 2019-09-12
CN111727412B (zh) 2023-07-14
JP2021515927A (ja) 2021-06-24
JP7028333B2 (ja) 2022-03-02
US20200412932A1 (en) 2020-12-31
EP3762794A1 (en) 2021-01-13

Similar Documents

Publication Publication Date Title
CN111727412B (zh) 用于设定照明条件的方法、装置、系统以及存储介质
CN112567428B (zh) 摄影方法及摄影装置
Lopez et al. Deep single image camera calibration with radial distortion
CN111712769B (zh) 用于设定照明条件的方法、装置、系统以及存储介质
CN108734690B (zh) 一种视觉缺陷检测设备及其检测方法
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
Ren et al. Fast defect inspection based on data-driven photometric stereo
CN111492198A (zh) 物体形状测量装置和方法以及程序
CN112381751A (zh) 一种基于图像处理算法的在线智能检测系统及方法
WO2022059402A1 (ja) 検査装置、検査方法及び検査プログラム
CN116745696A (zh) 拍摄条件设定系统、拍摄条件设定方法及程序
CN114689604A (zh) 具有光滑表面的待测物于光学检测上的影像处理方法及其检测系统
CN113326924B (zh) 基于深度神经网络的稀疏图像内关键目标测光定位方法
CN212646436U (zh) 一种人造板表面瑕疵检测装置
Del Campo et al. Radial basis function neural network for the evaluation of image color quality shown on liquid crystal displays
CN112149578B (zh) 基于人脸三维模型的人脸皮肤材质计算方法、装置及设备
CN112598632A (zh) 一种压接连接器接触件外观检测方法及装置
Elmquist et al. Camera simulation for robot simulation: how important are various camera model components?
WO2015004672A1 (en) A method and apparatus for inspection and quality assurance of material samples using qualified user definitions and data derived from images in a controlled environment
Rara et al. Model-based shape recovery from single images of general and unknown lighting
CN119126326B (zh) 光学镜头自动聚焦方法及系统
Yoon et al. Optimizing Defect Detection on Curvy and Reflective Surfaces Using Deep Learning and Advanced Imaging Systems
Ceron-Lopez et al. Realism Assessment for Synthetic Images in Robot Vision through Performance Characterization
Hirasawa et al. BRDF Estimation with Simple Measurement and Data-driven Model
Vergara Villegas et al. Radial Basis Function Neural Network for the Evaluation of Image Color Quality Shown on Liquid Crystal Displays

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant