CN118786341A - 用于检查热玻璃容器以识别缺陷的方法和装置 - Google Patents
用于检查热玻璃容器以识别缺陷的方法和装置 Download PDFInfo
- Publication number
- CN118786341A CN118786341A CN202280092944.9A CN202280092944A CN118786341A CN 118786341 A CN118786341 A CN 118786341A CN 202280092944 A CN202280092944 A CN 202280092944A CN 118786341 A CN118786341 A CN 118786341A
- Authority
- CN
- China
- Prior art keywords
- container
- image
- infrared radiation
- transmission
- transmission image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 143
- 238000000034 method Methods 0.000 title claims abstract description 80
- 239000011521 glass Substances 0.000 title claims abstract description 46
- 230000005540 biological transmission Effects 0.000 claims abstract description 168
- 230000005855 radiation Effects 0.000 claims description 216
- 238000004519 manufacturing process Methods 0.000 claims description 58
- 238000007689 inspection Methods 0.000 claims description 51
- 239000002131 composite material Substances 0.000 claims description 25
- 230000010365 information processing Effects 0.000 claims description 15
- 238000000465 moulding Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 230000002950 deficient Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 238000000295 emission spectrum Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims 3
- 238000003786 synthesis reaction Methods 0.000 claims 3
- 230000001276 controlling effect Effects 0.000 claims 1
- 230000001105 regulatory effect Effects 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 33
- 230000011218 segmentation Effects 0.000 description 18
- 102100033620 Calponin-1 Human genes 0.000 description 11
- 102100033591 Calponin-2 Human genes 0.000 description 11
- 101000945318 Homo sapiens Calponin-1 Proteins 0.000 description 11
- 101000945403 Homo sapiens Calponin-2 Proteins 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 239000004575 stone Substances 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 239000004519 grease Substances 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 239000002537 cosmetic Substances 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000000137 annealing Methods 0.000 description 4
- 238000000576 coating method Methods 0.000 description 4
- 238000009432 framing Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000037303 wrinkles Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000011248 coating agent Substances 0.000 description 3
- 238000005034 decoration Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 210000003739 neck Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 239000007799 cork Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002844 melting Methods 0.000 description 2
- 230000008018 melting Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 101100384370 Drosophila melanogaster cnn gene Proteins 0.000 description 1
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 1
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000005461 lubrication Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 239000006060 molten glass Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000825 pharmaceutical preparation Substances 0.000 description 1
- 229940127557 pharmaceutical product Drugs 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000008646 thermal stress Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
- G01N2021/9063—Hot-end container inspection
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
- Radiation Pyrometers (AREA)
Abstract
本发明涉及一种用于当玻璃容器(2)仍然热时检查它们的方法,所述方法针对每个容器包括:‑采集由穿过容器的光源(14)照射的容器的至少一个透射图像(It)和容器的至少一个红外图像(Ir),‑分析至少一个透射图像和至少一个红外图像,‑配准透射图像的至少一部分和红外图像的至少一部分,‑基于已配准的至少一个透射图像和至少一个红外图像对容器进行分类,以针对容器识别至少一种缺陷类型。
Description
技术领域
本发明涉及透明或半透明容器(诸如例如玻璃瓶、罐或小瓶)的在线检查的技术领域,用于其质量控制,以检测和识别可能影响这些容器的可能缺陷。
本发明的目的是在分析容器的物理特性以识别对应于缺陷的不一致物理特性方面找到特别有利的应用,所述缺陷诸如例如是表面缺陷,诸如褶皱或裂缝,材料中的内部缺陷,诸如裂纹、夹杂物或气泡,或者甚至是容器中的尺寸缺陷,诸如玻璃分布。
背景技术
对于玻璃容器的制造,已知的是,包括熔化玻璃然后将其输送到成型单元的制造方法借助于制造设施来实施,该制造设施包括熔炉、用于将熔融玻璃送入成型机的前炉,该成型机通常是由IS机指定的类型。IS成型机包括分配器,该分配器形成称为坯料的玻璃滴,并通过称为“输送导管”的导管将它们朝向成型区段分配,在成型区段的出口处,容器具有通常包括在300℃与600℃之间的高温。刚刚由成型机形成的容器被连续地放置在输出输送机上以形成一排容器。容器通过输送机排成一排输送,以便连续地输送到不同的处理站。特别地,将成型容器送入退火炉中,退火炉升高它们的温度,然后以受控的方式冷却它们,使得由成型过程产生的热约束消失。已知用于台式玻璃器皿、绝缘体、注射器和灯泡的其他玻璃容器形成方法。例如,存在诸如旋转压机和顺序压机的成型机,而不是像IS机那样在并行对齐的区段中。还存在将预成型件转换成管(特别是单钙玻璃管)的机器,以便制造专用于药物产品的注射器和灯泡。
已知使用不同的检查设备来系统地检查离开退火炉的所有容器,特别是壁检查系统,诸如专利EP2082216、EP2145175或EP2856122中描述的壁检查系统。因此,透射壁检查技术是已知的,其中光源设置在输送机的一侧,并且至少一个相机(通常为2至6个、12个或24个)相对地设置,以便采集由透射通过容器的壁的光形成的至少一个图像。根据专利EP1109 008,描述了一种用于分析用于冷检查的容器的图像的方法。分割步骤检测图像中的特征和特征周围的区域。计算区域的判别参数,并将其与模糊逻辑方法组合以确定对应于可能缺陷的特征列表中的最可能类型的特征。然后通过根据保留特征的类型应用不同的标准来决定区域的一致性。例如,对于某一表面,褶皱型缺陷将被剔除,而夹杂物型缺陷将被拒绝,即使它具有小的表面。该专利特别教导了缺陷并非都具有相同的关键性,因此有必要在决定拒绝容器之前确定它们的性质。
通常,在玻璃容器制造过程中尽可能早地识别缺陷似乎是有益的,使得能够在制造设施处尽可能早地校正缺陷。因此,有利的是检测与成型方法中的设置直接相关的容器中的特定缺陷,以便在偏差的情况下尽可能快地校正成型方法,尽管这由于系统的非线性、方法的参数的数量而保持复杂,并且尽管一个原因产生若干组合效果,并且尽管若干原因解释相同效果。
这就是为什么现有技术已经提出了用于观察在成型机的输出输送机上行进的仍然热的容器的方法,其中装置类似于在冷条件下用于在退火炉之后进行检查的那些装置。例如,根据专利EP 0 177 004和EP 3 516 377,使用与冷检查相同的方法来执行壁的检查,并且这些专利特别描述了用于通过管理高环境温度的装置的布置来使检查适应热扇区的特定环境的装置。因此,位于成型机的输出输送机上的容器的轨迹一侧的光源照射容器,并且对发射的光敏感的至少一个相机采集每个容器的至少一个透射图像。分析图像以确定哪些容器具有缺陷。
专利US 6 584 805还描述了一种用于在仍然热的容器在成型机的输出输送机上行进时观察它们的设施。该设施包括检查站,该检查站包括设置在输送机的一侧以照亮容器的光源。该检查站还包括设置在输送机的另一侧的相机,以采集由光源照射的容器的透射图像。特别地,该检查站使得可以在容器的不同高度处测量容器的直径。将这些测量的直径与参考直径进行比较,以确定容器是否有缺陷。
由于热容器发射红外辐射,因此现有技术还提出了基于容器的厚区域辐射更多的原理,通过红外相机观察在输出输送机上行进的热容器的方法。专利EP 0 643 297描述了一种用于对制造玻璃产品的方法进行分析和诊断的装置,其包括对由离开成型机的对象发射的红外辐射敏感的传感器。该系统还包括数字处理装置,该数字处理装置将辐射与数学参考模型进行比较,以确定玻璃分布中存在的偏差和/或导致容器中存在热应力的原因。
专利EP0 679 883描述了一种用于通过红外相机采集图像的装置,该红外相机在制造机器的输出处收集由热容器发射的辐射。红外相机与容器成型腔的操作同步。对于检查,处理软件将由红外相机捕获的容器图像划分为检查区域。通过分割和测量位于这些区域中的亮点或暗点,可以识别梯形缺陷和夹杂物。
根据专利DE10030649,已知输出输送机的速度和容器离开不同区段的顺序,有可能且有利的是将检测到的缺陷与原始腔体联系起来,以便能够明智地对制造方法采取行动以校正缺陷。
因此,现有技术教导了尽快检查仍然热的容器,以便快速设定或校正成型方法。通过视觉进行直径或高度的尺寸控制,甚至根据专利申请WO2021009456,能够通过红外成像在至少两个特定波长范围内测量玻璃的厚度。尺寸偏差是所识别的高度、直径、倾斜度或厚度缺陷本身,并且可能被指定为制造方法的偏差的至少一个原因。
专利US 6 188 079提出了基于红外辐射测量容器的玻璃厚度,包括测量第一光谱带中的所述辐射的第一强度,在该第一光谱带处,辐射由容器的两个外表面与内表面之间的材料发射。其信号取决于玻璃温度和厚度二者的第一光谱带优选地在0.4微米与1.1微米之间。该方法还包括测量第二光谱带中的所述辐射的第二强度,在该第二光谱带处,辐射基本上完全由容器的单个外表面发射。根据该专利,对应于表面辐射的辐射仅取决于温度的第二光谱带优选地在4.8微米5微米之间。该方法包括确定容器在外表面与内表面之间的厚度作为所述第一和第二测量强度的组合函数。换言之,根据在第一光谱带和第二光谱带中进行的两个辐射测量来确定厚度和温度。
关于将被称为“外观缺陷”的情况是不同的,即所有类型的视觉缺陷:夹杂物(诸如陶瓷、金属的异物)、气泡、褶皱、沟槽(表面凹槽)、釉面(裂纹)、翅片、梯形、油脂污渍、非常薄的区域、未熔化的颗粒。这些外观缺陷在图像中表现为局部光学变化,或具有与背景的偏差的像素。如果这些外观缺陷导致消费者的风险、容器破裂或功能丧失的风险,则这些外观缺陷可能是关键的。然而,基于图像的外观缺陷的识别可能是模糊的。因此,由于在检测期间实施的安全裕度,即使这些容器是合规的,容器也被认为是有缺陷的。
此外,应当注意,在图像中,能够区分可接受的人工痕迹,诸如例如雕刻或装饰、模糊标记的模具接头。而且,似乎需要精确地识别外观缺陷的性质,以便通过将它们与其他缺陷区分开来识别关键缺陷。防止关键缺陷需要提高外观缺陷分类的可靠性。除了改进缺陷的识别提高了生产效率之外,缺陷的该识别还使得可以确定其潜在原因,使得能够根据检测到的缺陷的类别来驱动制造设施。实际上,在没有可靠地识别检测到的缺陷的情况下,不能手动或自动地做出校正制造方法的安全决定。
发明内容
本发明旨在通过提出一种用于控制热玻璃容器的质量的方法来克服现有技术的缺点,该方法被设计成对缺陷(特别是外观的缺陷)进行更有效的检测,同时确保它们的安全和确定的识别,以提供关于要对由制造设施制造玻璃容器的方法的控制参数进行的校正的更完整的信息。
本发明的目的涉及一种用于检查离开制造设施的仍然热的玻璃容器的方法,所述方法用于针对容器识别缺陷类型,所述方法针对每个容器包括:
-采集由穿过容器的光源照射的容器的至少一个透射图像和容器的至少一个红外辐射图像,
-分析至少一个透射图像和至少一个红外辐射图像,
-确保透射图像的至少一部分与红外辐射图像的至少一部分的匹配,
-根据彼此匹配的至少一个透射图像和至少一个红外辐射图像对容器进行分类,以针对容器识别至少一种缺陷类型。
根据实施例的一个有利特征,容器由光源照射,所述光源的发射光谱在小于0.8μm的波长范围内,并且采集在大于0.8μm的波长范围内的容器的红外辐射图像。
例如,当光源关闭时,采集容器的红外辐射图像。
根据另一实施方式的示例,在观察方向上采集红外辐射图像,使得由光源发射的光不与容器的红外辐射一起被捕获。
根据本发明的一个特征,为了确保透射图像和红外辐射图像的匹配,所述方法检测透射图像中和红外辐射图像中的候选区域,所述方法针对每个容器确保:
-透射图像的候选区域或红外辐射图像的候选区域分别与红外辐射图像和透射图像的对应区域根据它们在容器上的位置的匹配,
-或透射图像的候选区域与红外辐射图像的候选区域的匹配。
根据实施例的一个变型,所述方法确保透射图像和红外辐射图像的融合作为匹配,以获得合成图像,所述方法确保:
-从合成图像中提取分类特征,表达透射中和辐射中的分类标准,
-以及使用透射中和辐射中的分类标准对容器进行分类。
根据实施例的另一变型,所述方法确保透射图像和红外辐射图像的融合作为匹配,以获得合成图像,所述方法确保:
-分割合成图像以检测合成候选区域,
-从合成候选区域中提取分类特征,表达透射中和辐射中的分类标准,
-使用合成候选区域的透射中和辐射中的分类标准对容器进行分类。
根据本发明的一个特征:
-从透射图像中提取透射中的分类标准,
-从红外辐射图像中提取辐射中的分类标准,
-使用透射中的分类标准和辐射中的分类标准对容器进行分类。
有利地,针对红外辐射图像选择辐射中的分类标准,并且针对透射图像选择透射中的分类标准,和/或选择考虑以逻辑或数学方式组合透射图像和红外辐射图像的特征的合成标准,这些辐射中和透射中的分类标准是位置、尺寸、形状或光度(photometry)标准。
有利地,所述方法包括通过监督学习分类器对容器进行分类,所述监督学习分类器的输入数据是:
-辐射中和透射中的分类标准,
-或辐射图像和透射图像,
-或辐射中的图像的部分和透射图像的部分。
根据一个示例性实施方式,所述方法包括通过监督学习分类器对容器进行分类,所述监督学习分类器的输入数据是通过将容器的至少一个辐射图像与至少一个透射图像融合或者通过将辐射中的至少一个图像的区域与至少一个透射图像的对应区域融合而获得的至少一个合成图像。
根据另一示例性实施方式,所述方法包括通过由学习数据库训练的监督学习分类器对容器进行分类,所述学习数据库包括一组记录,每个记录对于观察到的示例性容器包括:
-容器的至少一个辐射图像、容器的至少一个透射图像和至少一个标签,所述至少一个标签为示例性容器分配可能类别列表中的至少一个对象类别,诸如缺陷的类型,
或
-示例性容器的至少一个辐射图像区域、示例性容器的至少一个透射图像区域和至少一个标签,所述至少一个标签为所述示例性容器的对
应区域分配可能类别列表中的至少一个对象类别,诸如缺陷的类型。
根据本发明的一个有利特征,所述方法旨在根据至少包含缺陷类型的可能类别列表中的至少一个对象类别对每个容器进行分类,可能类别列表至少包括:无缺陷、梯形(trapezoid)、夹杂物、气泡。
根据所述方法的一个有利特征,实施考虑至少一种类型的检测到的缺陷的步骤,以推断用于制造设施的至少一个控制参数的调节信息。
本发明的另一个目的是提出一种用于检查离开制造设施的仍然热的玻璃容器以识别容器的缺陷类型的装置,所述装置包括:
-系统,用于采集容器的透射图像和容器的红外辐射图像,
-信息处理单元,连接到图像采集系统,该信息处理单元被配置为包括:
*用于分析容器的至少一个透射图像和至少一个红外辐射图像的系统,
*用于将容器的透射图像的至少一个区域与至少一个红外辐射图像的至少一个区域进行匹配的系统,
*容器的分类器,基于彼此匹配的至少一个透射图像的至少一个区域和至少一个红外辐射图像的至少一个区域,以针对容器识别至少一种缺陷类型。
根据一个示例性实施例,用于采集容器的透射图像和容器的红外辐射图像的所述系统一方面包括对由容器发射的红外辐射敏感并设置有透镜的相机,并且另一方面包括穿过容器的光源和对由容器透射的光敏感并设置有透镜的相机。
有利地,图像采集系统包括系统,所述系统用于选择由光源发射的光并且被定位成从由对红外辐射敏感的相机捕获的辐射中消除由光源发射的光。
例如,用于采集容器的透射图像和容器的红外辐射图像的系统包括:
-光源,照射容器,
-传感器,对由容器发射的红外辐射敏感,
-传感器,对由光源发射并由容器透射的光敏感,
-共用光学透镜,用于恢复由容器发射的红外辐射和由容器透射的光,该光学透镜与光学分离和过滤系统相关联,以从由对红外辐射敏感的传感器接收的辐射中消除由光源发射的光。
根据实施方式的一个特征,信息处理单元连接到:
-用于控制被识别为有缺陷的容器的剔除的剔除器(ejector),和/或
-用于向操作者呈现所识别的缺陷、容器的透射图像和红外辐射图像的显示单元。
通常,信息处理单元连接到监督制造设施的生产ECU,以:
-从生产ECU接收时间信息,所述时间信息允许容器、容器的图像和容器的检测到的缺陷与模具编号或与成型腔体相关联,
-将所识别的缺陷和所执行的测量发送到生产ECU,使得生产ECU能够自动推断出用于制造设施的至少一个控制参数的调节信息。
附图说明
[图1]图1是根据本发明的装置的简化视图,该装置使得可以检查离开示例性制造设施的仍然热的玻璃容器。
[图2]图2表示图像采集系统的一个示例性实施例,该图像采集系统用于离开制造设施的容器并在根据本发明的检查装置中实施。
[图3]图3表示图像采集系统的另一示例性实施例,该图像采集系统用于离开制造设施的容器并在根据本发明的检查装置中实施。
[图4]图4是根据本发明的检查装置的第一示例性实施例的简化功能框图,该检查装置实施了对包含在透射图像中和红外辐射图像中的信息的称为常规处理的处理。
[图5]图5是根据本发明的检查装置的第一示例性实施例的简化功能框图,该检查装置对通过透射图像和红外辐射图像的匹配而获得的合成图像实施分割操作。
[图6]图6是根据本发明的检查装置的第一示例性实施例的简化功能框图,该检查装置实施卷积神经网络,该卷积神经网络具有彼此匹配并且由透射图像和红外辐射图像的分割操作产生的候选区域作为输入数据。
[图7]图7是根据本发明的检查装置的第一示例性实施例的简化功能框图,该检查装置实施两个卷积神经网络,该两个卷积神经网络具有由透射图像或红外辐射图像的分割操作产生的候选区域作为输入数据。
[图8]图8是根据本发明的检查装置的第二示例性实施例的简化功能框图,该检查装置实施卷积神经网络,该卷积神经网络具有透射图像和红外辐射图像的合成图像作为输入数据。
[图9]图9是根据本发明的检查装置的第二示例性实施例的简化功能框图,该检查装置实施卷积神经网络,该卷积神经网络具有透射图像和红外辐射图像的全部或部分作为输入数据,而没有先前的分割。
[图10A][图10B][图10C]图10A是示出缺陷的模拟透射图像,而图10B和图10C是表示相同缺陷的模拟红外图像,如果其分别是填充的空腔或如果其是卡住的玻璃。
[图11A][图11B][图11C]图11A是示出缺陷的透射图像,而图11B和图11C是表示相同缺陷的模拟红外图像,如果其分别是一片玻璃或如果其是油脂污渍。
[图12A][图12B]图12A是红外图像,而图12B是透射图像,示出了石质与气泡缺陷之间可能混淆的示例。
[图13A][图13B]图13A是红外图像,而图13B是透射图像,示出了小气泡与石质缺陷之间可能混淆的另一个示例。
[图14A][图14B]图14A是红外图像,而图14B是透射图像,示出了气泡与石质缺陷之间可能混淆的另一个示例。
具体实施方式
图1示出了根据本发明的用于检查离开本身已知的所有类型的制造或成型设施3的仍然热的玻璃容器2的装置1。检查装置1旨在针对每个容器检测容器是否具有缺陷,并且针对具有缺陷的容器识别缺陷族中的缺陷类型。
在制造设施3的输出处,容器2(诸如在所示示例中的玻璃瓶或小瓶)具有通常包括在300℃与600℃之间的高温。以已知的方式,刚刚由设施3形成的容器2由输出输送机5处理,以通过在所示的示例中连续地放置在输出输送机上而形成一排容器。容器2由输送机5沿着传送方向成直线地输送,以连续地输送到不同的处理站,特别是退火炉,在该退火炉的上游放置涂覆罩6,该涂覆罩通常构成成型后的第一处理站。有利地,根据本发明的检查装置1检查第一表面处理站(即,涂覆罩6)上游的仍然热的容器。
制造设施3本身是已知的,并且将简要描述示例以仅允许理解根据本发明的检查装置1与制造设施3之间的相互作用。
制造设施3包括用于监督成型设施3的不同功能的生产ECU 7。传统上,制造设施3包括若干不同的成型区段,这些成型区段并行操作并且连续地输送至少一个玻璃容器。在IS机的示例中,不同的区别成型区段均包括接收玻璃坯料的至少一个坯模和至少一个吹模。以已知的方式,可以识别每个容器2来自的成型区段、坯模和吹模,容器的行进顺序对于给定的生产是已知的。
根据本发明的检查系统1包括:系统10,用于采集容器2的透射图像It和容器2的红外辐射图像Ir;以及电子信息处理单元11,连接到采集系统10。该电子信息处理单元11是包括计算机、外部外围设备(显示单元、键盘等)、程序、数据库等的所有类型的计算机系统。该信息处理单元11连接到生产ECU 7,以在必要时从生产ECU接收用于将容器2、它们的图像和它们的检测到的缺陷与模具编号或与成型腔相关联的时间信息。通常,图像采集系统10的操作与容器成型腔的操作同步。此外,该信息处理单元11向生产ECU 7发送所识别的缺陷和所执行的测量,使得生产ECU能够自动推断出用于制造设施3的至少一个控制参数的调节信息。控制参数的这种调节是手动或自动进行的。最后,信息处理单元11连接到剔除器,以控制被识别为有缺陷的容器的剔除,和/或连接到显示单元,以向操作者呈现所识别的缺陷、容器的透射图像和红外辐射图像。
采集系统10使得可以以两种模式观察每个容器2,即热容器的红外发射和穿过同一容器的光的透射。用于采集容器的透射图像和容器的红外辐射图像的系统10能够以任何合适的方式制成。根据图1所示的示例,采集系统10一方面包括对由容器2发射的红外辐射敏感并设置有透镜13a的相机13,另一方面包括穿过容器的光源14和对由容器透射的光敏感并设置有透镜15a的相机15。
根据实施例的一个有利特征,采集系统10包括用于选择由光源14发射的光并且被定位成从由对红外辐射敏感的相机13捕获的辐射中消除由源14发射的光的系统。换言之,采集装置10被配置为使得对红外辐射敏感的相机13仅捕获来自被检查容器的红外辐射。当然,该目的能够以不同的方式实现。
例如,当光源14关闭时,采集容器的红外辐射图像。根据另一示例性实施方式,在观察方向上采集红外辐射图像,使得利用容器的红外辐射,由光源14发射的光不被捕获,如图1所示的示例中那样。根据另一示例性实施例,光源14不在对红外辐射敏感的相机13的传感器的敏感光谱中辐射。根据本发明的一个特征,光源14的发射光谱在小于0.8μm的波长范围内,并且对红外辐射敏感的相机13的传感器捕获在大于0.8μm的波长范围内的红外辐射。
采集系统10还可以包括滤光器,使得对红外辐射敏感的相机13仅捕获来自被检查容器的红外辐射。这些滤光器可以被安装在光源14与对红外辐射敏感的相机13之间的任何位置中。
图2示出了另一示例性实施例,其中采集系统10包括:光源14,照射容器2;传感器13b,对由容器2发射的红外辐射敏感;以及传感器15b,对由光源14发射并由容器透射的光敏感。采集系统10还包括共用光学透镜18,用于恢复由容器发射的红外辐射和由容器透射的光。该光学透镜18与光学分离和过滤系统19相关联,以从由对红外辐射敏感的传感器13b接收的辐射中消除由光源14发射的光。
图3示出了采集系统10的实施例的另一变型,其包括具有共用透镜18的相机,用于恢复由容器发射的红外辐射和由容器透射的光。采集系统10还包括位于相机的焦平面中的两个并置的线性传感器,其中一个传感器13b对红外辐射敏感,而另一个传感器15b对由源14发射的光敏感。线性传感器13b、15b与容器的对称轴对齐地设置,换句话说,竖直地设置。当然,采集系统10还包括用于选择由光源14发射的光并且被定位成从对红外辐射敏感的传感器13b捕获的辐射中消除由源14发射的光的系统。
采集系统10针对每个容器2获取一个或多个透射图像It和红外辐射图像Ir,这些图像中的每一个是二维的。所采集的图像由信息处理单元11处理,该信息处理单元被配置为包括:
*用于分析至少一个透射图像It和至少一个红外辐射图像Ir的系统,
*用于匹配透射图像的至少一个区域和至少一个红外辐射图像的至少一个区域的系统,
*容器的分类器,根据彼此匹配的至少一个透射图像的至少一个区域和至少一个红外辐射图像的至少一个区域,以针对容器识别至少一种类型的缺陷。
因此,信息处理单元11适于实施检查方法以检测容器上的缺陷,同时确保针对容器识别缺陷族中的一种类型的缺陷。如图4至图9所示,根据本发明的检查方法包括:对于每个容器,实施采集由穿过容器的光源14照射的容器2的至少一个透射图像It的操作Act和采集容器的至少一个红外辐射图像的操作Acr。当然,该图像采集操作可以涉及所有容器或仅涉及容器的一部分。
然后,根据本发明的方法包括实施分析至少一个透射图像和至少一个红外辐射图像的操作。然后,根据本发明的方法包括确保透射图像It的至少部分和红外辐射图像Ir的至少部分匹配MC的操作或步骤。然后,该方法包括根据包含在彼此匹配的至少一个透射图像和至少一个红外辐射图像中的信息来实施分类步骤Cl,以针对容器识别至少一种类型的缺陷Dk。
根据在图4至图7的示例性实施例中实施的第一实施例,分析操作旨在处理图像,以在存在可见特征或对象的情况下提取与该对象相对应的区域。数字图像的对象通常是具有相邻组不具有的共同属性的一组相关像素。因此,对象被闭合轮廓包围,并且仅基于图像的属性(灰度级等)被识别为这样的对象。
对象对应于可能呈现缺陷的图像的区或区域。具有对象的区域(也称为候选区域)呈现能够被分类为属于可能类别列表中的对象类别的对象,所述可能类别列表包括特定类型的缺陷。对象的类别列表例如如下:
-容器成型模具接头的标记、阴影、装饰、臂涂层、代码,其不是缺陷;
-褶皱、沟槽、搭接标记、桔皮或裂缝,其是表面缺陷;
-翅片、梯形、软木颈部,其是形状缺陷;
-裂纹、夹杂物、水泡、结石、气泡,其是材料中的内部缺陷;
-薄点,其是差的玻璃分布区域。
根据该更精确的方法,根据本发明的方法旨在将每个容器分类为属于类别族的至少一个类别,其中一些类别包括缺陷的类型。
根据本发明,通过对容器的图像或透射图像It和红外辐射图像Ir的部分进行分类来执行容器的分类。应该注意的是,通常相同的容器带有若干不同的缺陷。显然,根据本发明,容器的第一区域可以根据透射图像It的第一部分和对应于该第一容器部分的红外辐射图像Ir的第一部分来分类,并且对于同一容器,容器的第二区域可以根据透射图像It的第二部分和对应于该第二容器部分的红外辐射图像Ir的第二部分来分类。
根据本发明,容器或图像或图像的部分的分类旨在确保生产并快速校正该方法中的错误。在该方法中出现称为梯形或鸟翅的关键缺陷的情况下,该优点特别显著。该缺陷是容器内部的玻璃线,并且通过其端部连接到内壁。最典型的梯形是直接穿过的,形状是向下弯曲的弧形松绳。该缺陷可能破裂并导致未来瓶装液体时玻璃破裂。这给消费者带来了危险。因此,它被认为是关键的,并且绝对不能与带有梯形的容器一起输送。该过滤通过冷或热、可见或红外检查成功地进行。另一方面,为了对制造方法作出反应,需要检测缺陷,优选在热条件下检测缺陷,并且识别该缺陷。然而,如果该缺陷是因为它在图像中呈现特征而被检测到的,则结果是它是非常多态的:有时线不存在并且仅看到一个或两个附件,有时它不具有典型的弧形,等等。根据本发明,由于基于透射模式和红外辐射模式的两种图像进行分类,因此可以识别梯形,因为至少一个透射图像(通常它们中的两个是根据不同的观察角度得到的)准确地揭示了附件处的缺陷的鸟笼形状,而红外辐射中的图像通知存在过量的玻璃。实际上,优选使用穿过玻璃且对厚度敏感的红外辐射。因此,可以立即通知操作员,由操作员对制造方法进行操作和/或自动操作,例如通过校正坯料温度或反转器的移动。根据本发明,梯形因此是对象的可能类别列表的一部分。
通过缺陷分类进行识别的优点的另一个说明是小夹杂物,特别是陶瓷的小夹杂物,其在仅一种观察模式中通常与小气泡混淆。该混淆是不利的,因为这些缺陷在制造方法中不具有相同的严重性和相同的原因。如稍后将在图12A-图12B和图13A-图13B中看到的,基于根据透射和红外辐射两种模式的图像的分类使得可以区分它们,因此正确地对该方法进行操作,例如在空气或蒸汽气泡的情况下,以改善玻璃的精炼或剪刀和称为“输送导管”的导管的润滑。
分析透射图像It和数字红外辐射图像Ir的操作实施本身已知的操作,特别是执行的滤波和分割操作,以提取具有对象的所有区域。因此,该方法实施分割和检测透射图像It上的候选区域的操作SRt以及分割和检测红外辐射图像Ir上的候选区域的操作SRr(图4、图6和图7)。根据图5所示的示例性实施例,对透射图像It和红外辐射图像Ir的合成图像执行分割和检测候选区域的操作SR,如将在以下描述中说明的。
分割操作传统上包括将图像切割成区域或段,也就是说,分配属于一个区域的像素。该分割操作旨在通过滤波、阈值化、轮廓跟踪操作等来确定每个图像中的候选区域,以通常但不一定测量表征这些区域的参数。该图像分割操作根据适于模式(也就是说,适于透射图像It和适于红外辐射图像Ir)的滤波方法来执行。
这些分割操作SRt、SRr、SR使得可以检测由其限于对象的轮廓限定的候选图像区域,这些候选图像区域RTC、RRC和RCC分别处于透射中、处于红外辐射中,或者这些合成图像区域处于透射和红外辐射中。还可能的是,这些分割操作SRt、SRr、SR使得可以检测候选图像区域,这些候选图像区域由框住对象RTE、RRE、RCE的矩形限定,这些候选图像区域分别处于透射和红外辐射中,或者这些合成图像区域处于透射和红外辐射中。还可能的是,这些分割操作SRt、SRr、SR使得可以检测候选图像区域,这些候选图像区域由框住对象RTL、RRL、RCL的放大矩形限定,以考虑对象的环境,这些候选图像区域分别处于透射中、处于红外辐射中,或者这些合成图像区域处于透射和红外辐射中。
根据本发明的方法实施MC操作,该操作将透射图像的候选区域或红外辐射图像的候选区域分别与红外辐射图像和透射图像的对应区域根据它们在容器上的位置来匹配。该匹配还可以涉及透射图像的候选区域与红外辐射图像的候选区域。
该MC匹配操作旨在通过比较两个图像中的区域在容器上的相应位置来确保它们的匹配。在最一般的情况下,从一个图像到另一个图像确定几何变换,这使得可以从容器图像的区域或像素开始定位与容器的相同区域或基本部分相对应的另一图像的区域或像素。几何变换是任何必要的类型,并且包括例如平移/旋转、变形、比例变化等。
根据实施例的一个变型,容器的两个图像或图像区域是像素到像素匹配的。为此,针对所有像素确定几何变换。还可以针对两个图像中的一个或图像部分计算能够叠加在另一个图像或图像部分上的变换图像。然后将像素值的几何变换和内插(例如双线性内插)应用于相关区域的所有像素。
在透射图像和红外辐射中的图像由于图像采集系统10而像素到像素匹配的情况下,匹配是直接的。在这种情况下,采集装置必须非常精确地构建,使得相机的传感器具有相同的视场、放大率、观察方向和以每mm像素为单位的分辨率,使得已经执行了匹配,因为每个透射图像的像素和红外辐射的像素对应于容器的相同基本表面部分。当然,与该理想情况的任何偏差都可以通过使用合适的几何变换的匹配来补偿。
根据实施例的另一变型,其中心或重心在容器上接近的区域(也就是说,通过几何变换彼此匹配或相邻)是匹配的。或者框住对象RTE、RRE、RCE的矩形或框住对象RTL、RRL、RCL的放大矩形在容器上以给定表面的一定比例相交或重叠的区域是匹配的。
而且,该MC匹配可以从候选区域到候选区域或从像素到像素执行,如在所示的示例性实施例中那样。
根据图5和图8所示的示例性实施例,合成图像IC通过透射中的图像或图像部分It与辐射中的图像或图像部分Ir的匹配来制成。因此,该方法确保透射图像和红外辐射图像的融合作为匹配,以获得合成图像IC。MC匹配操作可以涉及所有透射图像和红外辐射或仅这些图像的部分。如前所述,该MC匹配是逐像素完成的。具有合成图像的坐标x、y的每个像素pc(x,y)被分配一个值,该值根据从透射图像It获得的透射和从辐射中的图像Ir获得的红外辐射。该值例如是具有8个透射位和8个红外辐射位的16位标量pc(x,y),或者是矢量vc(x,y),其分量{vt(x,y),vr(x,y)}分别是透射中的标量和红外辐射中的标量。最简单的包括直接读取透射图像It的像素的值和辐射中的图像Ir的匹配像素的值。然而,可以从图像中的几个相邻像素或内插值的组合来构造每个合成像素。
根据图4、图6和图7所示的示例性实施例,从候选区域到候选区域执行匹配。可以执行从一个图像到另一个图像的配准,以使候选区域在两种不同的模式图像上重合。也可以直接搜索位于容器的相同区域中的候选区域。
根据本发明的方法旨在确定辐射中和透射中的分类标准,其包括考虑透射图像的特征ti(数量n)的透射中的标准和考虑红外辐射图像的特征ri(数量m)的红外辐射中的标准,和/或考虑以逻辑或数学方式组合透射图像和红外辐射图像的特征ci(数量q)的合成标准。这些特征例如是位置、尺寸、形状(凹度、周长、表面等)或光度(平均水平、对比度、方差、纹理等)特征。
根据图4和图5所示的示例性实施例,根据本发明的方法实施提取分类标准的操作ECt、ECr、EC。根据图4所示的示例性实施例,该方法实施提取透射图像的候选区域RTC、RTE、RTL的分类标准的操作ECt,使得可以针对每个候选区域限定维度为n的矢量Ct,表示从辐射图像It获得的n个特征ti。同样地,根据本发明的方法实施从红外辐射中的图像中提取候选区域RRC、RRE、RRL的分类标准的操作ECr,使得可以针对每个候选区域限定维度为m的矢量Cr,表示从辐射中的图像Ir获得的m个特征ri。
应当注意,根据图4所示的示例性实施例,透射图像的候选区域RTC、RTE、RTL与红外辐射中的图像的候选区域RRC、RRE、RRL的匹配操作MC使得可以获得维度为n+m+q的矢量Cc,表示针对在透射图像与红外辐射中的图像之间匹配的每个候选区域获得的n+m+q个特征ti、ri和ci。
在图5所示的示例性实施例中,根据本发明的方法实施操作EC,操作EC提取在分割操作SR之后获得的用于透射和红外辐射中的合成候选区域RCC、RCE或RCL的透射和辐射中的分类标准。该提取操作使得可以获得维度为n+m+q的矢量Cc,表示针对在透射图像与红外辐射中的图像之间匹配的每个候选区域获得的n+m+q个特征ti、ri和ci。
在图4和图5的示例性实施例中,分类标准由初步分析(即商业知识或统计研究)确定。图像分析算法确定位置、尺寸、形状和光度特征ti、ri、ci。在图6和图7所示的示例性实施例中,分类标准通过嵌入在经训练的神经网络CNN、CNN1、CNN2中的监督学习来确定。学习集包含根据两种检查模式的候选区域对(RTC,RRC)、(RTE,RRE)、(RTL,RRL),其中标签为可能类别(诸如缺陷的类型)的列表中的对象类别。
使用先前确定的透射中和辐射中的分类标准,该方法对缺陷进行分类,因此对带有这些缺陷的容器进行分类。分类操作使得可以在p个可能的类别D1、D2、…Dp中决定候选区域或容器的对象类别Dk。如果根据第一模式在两个图像中的仅一个中找到候选区域,则执行根据与所使用的图像类型相关联的标准的缺陷分析,但也考虑与另一模式相关联的标准:执行基于与两个类型的图像相关联的标准的融合的分析。本发明的原理基于考虑两种检查模式以提供附加且可靠的信息来做出对对象或容器进行分类的决定,并因此识别缺陷。
分类决定给出了容器在p个可能类别中的所属类别Dk。p个类别主要是缺陷和关注的类型,特别是气泡、褶皱、沟槽、搭接标记、桔皮、裂缝、翅片、梯形、软木颈部、水泡、结石、模具接头标记、阴影、装饰、臂的涂层、代码、薄点等。如果该缺陷具有不同的形状,诸如例如梯形1和梯形2,则可以针对相同的缺陷提供几个类别。根据一个优选的示例性实施方式,本发明的目的旨在根据至少包含缺陷类型的可能类别列表中的至少一个对象类别对每个容器进行分类,该可能类别列表至少包括:无缺陷、梯形、夹杂物和气泡。
在图4和图5所示的示例性实施例中,分类器Cl可以是例如支持向量机(supportvector machine,SVM)、贝叶斯分类器(Bayesian classifier)或神经网络NN。分类器Cl使用先前确定的透射中和辐射中的分类标准来执行分类。分类器Cl通过监督学习方法来训练,该监督学习方法包括根据其类别已知的一组对象或图像(称为学习集并且通常也是测试集)确定分类器的参数。学习集包括区域对,优选地与缺陷的类型相关联的特征矢量Ct、Cr对,即{Ct,Cr,Dk}。通常,监督学习分类器由学习数据库训练,该学习数据库包括一组记录,每个记录对于每个观察到的示例性容器包括:
-容器的至少一个辐射图像、容器的至少一个透射图像和至少一个标签,该至少一个标签为示例性容器分配可能类别列表中的至少一个对象类别,诸如缺陷的类型,
或
-示例性容器的至少一个辐射图像区域、示例性容器的至少一个透射图像区域和至少一个标签,该至少一个标签为示例性容器的对应区域分配对象类别列表中的至少一个所属类别,诸如缺陷的类型。
根据图6所示的示例性实施例,分类器是卷积神经网络CNN,其具有在匹配操作MC之后获得的一对候选区域(RTC,RRC)、(RTE,RRE)或(RTL,RRL)作为输入数据。
根据图7所示的示例性实施例,分类器包括第一卷积神经网络CNN1,其具有在分割和检测透射图像It上的候选区域的操作SRt之后获得的透射中的候选区域(RTC、RTE、RTL)作为输入数据。分类器还包括第二卷积神经网络CNN2,其具有在分割和检测红外辐射中的图像Ir上的候选区域的操作SRr之后获得的红外辐射中的候选区域(RRC、RRE、RRL)作为输入数据。第一卷积神经网络CNN1和第二卷积神经网络CNN2均分别对透射中的候选区域(RTC、RTE、RTL)和红外辐射中的候选区域(RRC、RRE、RRL)并行工作,根据两种模式的这两个区域通过根据上述技术的匹配操作MC相关联。
第一卷积神经网络CNN1和第二卷积神经网络CNN2的输出是分类器(例如SVM、随机森林、贝叶斯类型的分类器)的输入数据,并且优选地是神经网络NN,从而允许根据两种模式进行分类。第一卷积神经网络CNN1和第二卷积神经网络CNN2的输出例如是所属类别的假设,但是它们可以是具有维度大于类别数量p的矢量的更复杂的数据。神经网络的学习集包含根据两种检查模式的候选区域对(RTC,RRC)、(RTE,RRE)、(RTL,RRL),其中可能类别(诸如缺陷的类型)的列表中的对象类别作为标签。
根据在图8和图9的示例性实施例中实现的第二实施例,分析图像的操作不旨在从中提取候选区域,而是考虑透射图像It和红外辐射图像Ir的全部或部分,而无需实施先前的分割操作。根据这两个示例性实施例,分析操作基于神经网络的实施。如果仅分析图像的部分,则这些部分优选地对应于容器的一个或多个感兴趣区域,诸如瓶口、颈部、肩部、本体、瓶颈与瓶身过渡区(chime)或右半侧或左半侧或存在雕刻的区域。
在图8所示的示例性实施例中,执行匹配透射图像It和辐射中的图像Ir的操作MC,以获得合成图像IC。通过将容器的至少一个辐射图像与至少一个透射图像融合或者通过将辐射中的至少一个图像的区域与至少一个透射图像的对应区域融合来获得合成图像IC。
在由图像采集系统10执行的采集操作Act、Acr期间获得透射图像It和辐射中的图像Ir,如以上描述中所说明的那样。像素到像素图像的该匹配MC如图5的示例性实施例中所说明的那样执行。该合成图像IC被用作卷积神经网络CNN的输入数据,该卷积神经网络CNN能够通过学习来考虑对预期分类重要的位置、尺寸、形状和光度特征。学习集包含合成图像IC或合成图像区域,其具有作为标签的可能类别(诸如缺陷的类型)的列表中的对象类别。在由学习和限定卷积神经网络CNN产生的权重中考虑透射中和辐射中的分类标准。应当注意,与图5和图6中的示例不同,在该变型中不需要分割操作,因为卷积神经网络的各级能够通过学习,根据图像的内容对图像进行分类而无需预先分割,并且局部地确定对分类重要的位置、尺寸、形状和光度特征。但是分割操作是可能的,例如通过在图5中用基于卷积神经网络CNN的分类器替换特征的提取EC和分类器CL。
在图9所示的示例性实施例中,由图像采集系统10获得的透射图像It(全部或部分)用作第一卷积神经网络CNN1的输入数据,该第一卷积神经网络CNN1能够通过学习来确定对于所提供的分类重要的位置、尺寸、形状和光度特征。由图像采集系统10获得的红外辐射图像Ir(全部或部分)用作第二卷积神经网络CNN2的输入数据,该第二卷积神经网络CNN2能够通过学习来确定对于预期分类重要的位置、尺寸、形状和光度特征。
第一卷积神经网络CNN1和第二卷积神经网络CNN2均对每种模式中的两个候选图像并行工作。第一卷积神经网络CNN1和第二卷积神经网络CNN2的输出是分类器(例如SVM、随机森林、贝叶斯类型的分类器)的输入数据,并且优选地是神经网络NN,使得可以根据两种模式对容器进行分类。应当注意,第一卷积神经网络CNN1和第二卷积神经网络CNN2对其进行操作的每种模式中的两个候选图像与匹配操作相关联。
第一卷积神经网络CNN1和第二卷积神经网络CNN2的输出例如是所属类别的假设,但是它可以是具有维度大于类别数量p的矢量的更复杂的数据。神经网络的学习集包含根据两种检查模式的图像对,其中可能类别(诸如缺陷的类型)的列表中的对象类别作为标签。在从学习和限定神经网络CNN1、CNN2和NN产生的权重中考虑透射中和辐射中的分类标准。应当注意,与图7中的示例不同,在该变型中不需要分割操作,因为卷积神经网络的步骤能够通过学习,根据图像的内容对图像进行分类而无需先前的分割,并且局部地确定对分类重要的位置、尺寸、形状和光度特征。
本发明的目的有利地用于制造设施的框架内,以允许更好地检测和分类在仍然热时形成的容器内存在的缺陷。根据两种模式中的一种或由于两种模式的组合,能够更容易地看到、检测和分类一些缺陷。
图10A是在容器的凹坑的层面处在透射中看到的缺陷的模拟图像,而图10B和图10C是在红外辐射中看到的相同缺陷的模拟图像,如果其分别是填充的空腔或卡住的玻璃。该缺陷给出了包括在吸收性较低的空腔中的梯形的印象。就好像在凹坑与其顶部之间已经形成气泡,仅留下玻璃线。它也可以是粘在容器壁上或卡在容器内的凹坑上的另一块玻璃。红外图像将潜在地确认是否存在发射较多的玻璃线和发射较少的气泡。
在透射模式的对比度强变化和红外辐射模式的对比度强变化的情况下,能够得出结论,它是对应于梯形的、在该位置处的材料的积聚,包含在气泡中(图10B)。在透射模式的对比度强变化和红外辐射模式的对比度弱变化的情况下,它是两片玻璃卡在凹坑的层面处(图10C)。
图11A是在透射中看到的缺陷的图像,而图11B和图11C是在红外辐射中看到的相同缺陷的模拟图像,如果其分别是一片玻璃或一油脂污渍。它可能是一个严重的缺陷,即梯形,换句话说,包含在容器中的一片玻璃。但它也可能是在容器壁上可见的油脂痕迹,即表面缺陷。如果它是包含在容器内的厚玻璃片,则其红外辐射将被添加到容器壁的红外辐射并增加强度。相反,如果它是简单的油脂污渍,则容器壁的红外辐射与表面缺陷的红外辐射之间不应存在大的差异。
在透射模式的对比度强变化和红外辐射模式的对比度强变化的情况下,它是对应于梯形的、在该位置处的材料的积聚(图11B)。在透射模式的对比度强变化和红外辐射模式的对比度弱变化的情况下,它是吸收可见光的缺陷,可能是容器表面层面处的油脂污渍(图11C)。
图12A、图13A和图14A是用InGaAs技术的红外相机获得的真实图像,而图12B、图13B和图14B是在透射中看到的相同缺陷的真实图像,容器图像的采集已经在安装有根据本发明的检查装置的相机的制造工厂中的制造机器的输出处执行。
图12A是在红外辐射中看到的缺陷的图像,而图12B是在透射中看到的相同缺陷的图像。根据现有技术,在图12B的透射图像上观察到的缺陷导致关于其在结石与气泡之间的所属类别的不确定性。根据本发明,红外辐射中的图像示出了具有对应于玻璃的存在的红外辐射的缺陷,使得可以消除一些混淆并得出存在结石的结论。
图13A是在红外辐射中看到的缺陷的图像,而图13B是在透射中看到的相同缺陷的图像。透射图像中的缺陷表明结石或气泡缺陷。然而,在红外辐射中的图像中可看出,缺陷发射很少并且比图12A中的对比度更小。
因此,缺陷是气泡。
图14A是在红外辐射中看到的缺陷的图像,而图14B是在透射中看到的相同缺陷的图像。透射图像中的缺陷表明由于黑色污渍中心的清晰过渡而导致的气泡缺陷。然而,在红外辐射中的图像上可看出,整个缺陷辐射,从而缺陷是结石。
这些不同的示例示出了本发明的目的中使用两种检查模式来改进缺陷的检测和分类二者的优点。第二检查模式允许确认使用第一模式执行的缺陷的分类,或通过允许将缺陷分类为另一类别来使其无效。对于在一种模式中几乎不可见的缺陷,根据另一模式的图像提供附加信息以正确地分类缺陷。
根据所考虑的两种模式,可能发生缺陷的信号较弱。应当注意,转换成合成图像可以揭示在两种模式中对比度太弱但一旦执行融合就变得更容易发现的对象。
本发明适用于制造玻璃容器的任何方法,所述玻璃容器包括瓶、罐、小瓶、注射器、灯泡、工作台玻璃、杯、板。实际上,在所有这些制造方法中,在成型之后,存在冷却玻璃对象的长步骤,并且尽可能快地检查和识别缺陷是有用的。
Claims (20)
1.一种用于检查离开制造设施(3)的仍然热的玻璃容器(2)的方法,所述方法用于针对容器识别缺陷类型,所述方法针对每个容器包括:
-采集由穿过所述容器的光源(14)照射的所述容器的至少一个透射图像(It)和所述容器的至少一个红外辐射图像(Ir);
-分析至少一个透射图像和至少一个红外辐射图像;
-确保所述透射图像的至少一部分与所述红外辐射图像的至少一部分的匹配;
-根据彼此匹配的至少一个透射图像和至少一个红外辐射图像,对所述容器进行分类,以针对容器识别至少一种缺陷类型。
2.根据权利要求1所述的检查方法,根据所述检查方法,所述容器由光源(14)照射,所述光源的发射光谱在小于0.8μm的波长范围内,并且采集在大于0.8μm的波长范围内的容器的所述红外辐射图像。
3.根据前述权利要求中任一项所述的检查方法,根据所述检查方法,当所述光源(14)关闭时,采集容器的所述红外辐射图像。
4.根据权利要求1或2中任一项所述的检查方法,根据所述检查方法,在观察方向上采集所述红外辐射图像,使得由所述光源(14)发射的光不与所述容器的红外辐射一起被捕获。
5.根据前述权利要求中任一项所述的检查方法,根据所述检查方法,为了确保所述透射图像和所述红外辐射图像的匹配,所述方法检测所述透射图像中和所述红外辐射图像中的候选区域,所述方法针对每个容器确保:
-所述透射图像的所述候选区域(RTC、RTE、RTL)或所述红外辐射图像的所述候选区域(RRC、RRE、RRL)分别与所述红外辐射图像和所述透射图像的对应区域根据它们在所述容器上的位置的匹配,
-或所述透射图像的所述候选区域与所述红外辐射图像的所述候选区域的匹配。
6.根据前述权利要求所述的检查方法,根据所述检查方法,所述方法确保所述透射图像和所述红外辐射图像的融合作为匹配,以获得合成图像(IC),所述方法确保:
-从所述合成图像中提取分类特征,表达透射中和辐射中的分类标准,
-以及使用透射中和辐射中的所述分类标准对所述容器进行分类。
7.根据权利要求1至5中任一项所述的检查方法,根据所述检查方法,所述方法确保所述透射图像和所述红外辐射图像的融合作为匹配,以获得合成图像,所述方法确保:
-分割所述合成图像以检测合成候选区域,
-从所述合成候选区域中提取分类特征,表达透射中和辐射中的分类标准,
-使用所述合成候选区域的透射中和辐射中的所述分类标准对所述容器进行分类。
8.根据前述权利要求中任一项所述的检查方法,根据所述检查方法:
-从所述透射图像中提取透射中的分类标准,
-从所述红外辐射图像中提取辐射中的分类标准,
-使用所述透射中的分类标准和所述辐射中的分类标准对所述容器进行分类。
9.根据前述权利要求所述的检查方法,根据所述检查方法,针对所述红外辐射图像选择辐射中的分类标准,并且针对所述透射图像选择透射中的分类标准,并且/或者选择考虑以逻辑或数学方式组合透射图像和红外辐射图像的特征的合成标准,这些辐射中和透射中的分类标准是位置、尺寸、形状或光度标准。
10.根据前述权利要求中任一项所述的检查方法,包括通过监督学习分类器对所述容器进行分类,所述监督学习分类器的输入数据是:
-辐射中和透射中的分类标准,
-或所述辐射图像和所述透射图像,
-或辐射中的图像的部分和透射图像的部分。
11.根据权利要求1至9中任一项所述的检查方法,包括通过监督学习分类器对所述容器进行分类,所述监督学习分类器的输入数据是通过将容器的至少一个辐射图像与至少一个透射图像融合或者通过将辐射中的至少一个图像的区域与至少一个透射图像的对应区域融合而获得的至少一个合成图像(IC)。
12.根据权利要求10或11中任一项所述的检查方法,包括通过由学习数据库训练的监督学习分类器对所述容器进行分类,所述学习数据库包括一组记录,每个记录对于观察到的示例性容器包括:
-所述容器的至少一个辐射图像、所述容器的至少一个透射图像和至少一个标签,所述至少一个标签为所述示例性容器分配可能类别列表中的至少一个对象类别,所述可能类别例如是缺陷的类型,
或
-所述示例性容器的至少一个辐射图像区域、所述示例性容器的至少一个透射图像区域和至少一个标签,所述至少一个标签为所述示例性容器的对应区域分配可能类别列表中的至少一个对象类别,所述可能类别例如是缺陷的类型。
13.根据前述权利要求中任一项所述的检查方法,根据所述检查方法,根据至少包含缺陷类型的可能类别列表中的至少一个对象类别对每个容器进行分类,所述可能类别列表至少包括:无缺陷、梯形、夹杂物、气泡。
14.根据前述权利要求中任一项所述的检查方法,根据所述检查方法,实施考虑至少一种类型的检测到的缺陷的步骤,以推断用于所述制造设施的至少一个控制参数的调节信息。
15.一种用于检查离开制造设施(3)的仍然热的玻璃容器(2)以识别容器的缺陷类型的装置,所述装置包括:
-系统(10),用于采集所述容器的透射图像和所述容器的红外辐射图像,
-信息处理单元(11),连接到图像采集系统(10),该信息处理单元(11)被配置为包括:
*用于分析所述容器的至少一个透射图像和至少一个红外辐射图像的系统,
*用于将所述容器的透射图像的至少一个区域与至少一个红外辐射图像的至少一个区域进行匹配的系统,
*所述容器的分类器,基于彼此匹配的至少一个透射图像的至少一个区域和至少一个红外辐射图像的至少一个区域,以针对容器识别至少一种缺陷类型。
16.根据权利要求15所述的装置,根据所述装置,用于采集所述容器的透射图像和所述容器的红外辐射图像的所述系统(10)一方面包括对所述容器发射的红外辐射敏感并设置有透镜(13a)的相机(13),并且另一方面包括穿过所述容器的光源(14)和对所述容器透射的光敏感并设置有透镜(15a)的相机(15)。
17.根据权利要求15所述的装置,根据所述装置,所述图像采集系统(10)包括系统(19),所述系统用于选择由光源(14)发射的光并且被定位成从对红外辐射敏感的相机捕获的辐射中消除由所述光源发射的光。
18.根据权利要求15所述的装置,根据所述装置,用于采集所述容器的透射图像和所述容器的红外辐射图像的所述系统(10)包括:
-光源(14),照射所述容器,
-传感器(13b),对所述容器发射的红外辐射敏感,
-传感器(15b),对由所述光源(14)发射并由所述容器透射的光敏感,
-共用光学透镜(18),用于恢复由所述容器发射的红外辐射和由所述容器透射的光,该光学透镜(18)与光学分离和过滤系统相关联,以从对红外辐射敏感的所述传感器接收的辐射中消除由所述光源发射的光。
19.根据权利要求15至18中任一项所述的装置,根据所述装置,所述信息处理单元(11)连接到:
-剔除器,用于控制被识别为有缺陷的容器的剔除,和/或
-显示单元,用于向操作者呈现所识别的缺陷、所述容器的所述透射图像和所述红外辐射图像。
20.根据权利要求15至19中任一项所述的装置,根据所述装置,所述信息处理单元(11)连接到监督所述制造设施(3)的生产ECU(7),以:
-从所述生产ECU接收时间信息,所述时间信息允许所述容器、所述容器的图像和所述容器的检测到的缺陷与模具编号或与成型腔体相关联,
-将所识别的缺陷和所执行的测量发送到所述生产ECU,使得所述生产ECU能够自动推断出用于所述制造设施的至少一个控制参数的调节信息。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2114685A FR3131634B1 (fr) | 2021-12-30 | 2021-12-30 | Procédé et dispositif d’inspection de récipients chauds en verre en vue d’identifier des défauts |
FRFR2114685 | 2021-12-30 | ||
PCT/FR2022/052506 WO2023126609A1 (fr) | 2021-12-30 | 2022-12-26 | Procede et dispositif d'inspection de recipients chauds en verre en vue d'identifier des defauts |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118786341A true CN118786341A (zh) | 2024-10-15 |
Family
ID=80999713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280092944.9A Pending CN118786341A (zh) | 2021-12-30 | 2022-12-26 | 用于检查热玻璃容器以识别缺陷的方法和装置 |
Country Status (6)
Country | Link |
---|---|
EP (1) | EP4457507A1 (zh) |
JP (1) | JP2025501958A (zh) |
CN (1) | CN118786341A (zh) |
FR (1) | FR3131634B1 (zh) |
MX (1) | MX2024008247A (zh) |
WO (1) | WO2023126609A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117571731B (zh) * | 2024-01-16 | 2024-04-16 | 山东鹰眼机械科技有限公司 | 基于灯检机的杂质检测方法及系统 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA1229392A (en) * | 1984-02-28 | 1987-11-17 | Hirosato Yamane | Method and apparatus for detection of surface defects of hot metal body |
FR2571143B1 (fr) | 1984-10-02 | 1988-03-25 | Languedoc Verrerie | Procede et dispositif de controle sans contact d'objets fabriques automatiquement a haute cadence |
US6584805B1 (en) * | 1993-08-24 | 2003-07-01 | Coors Brewing Company | Hot bottle inspection apparatus |
NL9301568A (nl) | 1993-09-09 | 1995-04-03 | Tce Consultancy & Eng | Analyse-systeem voor het analyseren, bewaken, diagnostiseren en/of sturen van een produktieproces waarin produkten worden gevormd die een temperatuurbehandeling ondergaan, produktieproces met een analysesysteem en een werkwijze daarvoor. |
GB9408446D0 (en) | 1994-04-28 | 1994-06-22 | Electronic Automation Ltd | Apparatus and method for inspecting hot glass containers |
US6067155A (en) * | 1997-12-24 | 2000-05-23 | Owens-Brockway Glass Container Inc. | Optical inspection of transparent containers using infrared and polarized visible light |
US6188079B1 (en) * | 1999-01-12 | 2001-02-13 | Owens-Brockway Glass Container Inc. | Measurement of hot container wall thickness |
FR2802643B1 (fr) | 1999-12-15 | 2002-03-08 | Sgcc | Procede de controle de la qualite d'un article notamment en verre |
DE10030649A1 (de) | 2000-06-29 | 2002-01-10 | Michael Kaufmann | Verfaren zur Erfassung,Diagnose,Überwachung und Regelung von Formgebungseigen- chaften an Glasformmaschinen mit mehreren Stationen |
FR2907553B1 (fr) | 2006-10-24 | 2009-02-13 | Tiama Sa | Procede et dispositif pour detecter des defauts a faible et fort contrastes dans des objets transparents ou translucides |
FR2916048B1 (fr) | 2007-05-09 | 2010-05-28 | Tiama | Procede et dispositif d'inspection d'articles transparents ou translucides en vue d'optimiser le fonctionnement d'une machine de controle |
FR2991052B1 (fr) | 2012-05-28 | 2015-05-01 | Msc & Sgcc | Procede optique d'inspection de recipients transparents ou translucides portant des motifs visuels |
FR3056296B1 (fr) | 2016-09-19 | 2018-10-19 | Tiama | Installation pour l'inspection optique de recipients en verre en sortie de machine de formage |
FR3098583B1 (fr) | 2019-07-12 | 2021-07-23 | Tiama | Installation et procédé pour mesurer l’épaisseur des parois de récipients en verre |
-
2021
- 2021-12-30 FR FR2114685A patent/FR3131634B1/fr active Active
-
2022
- 2022-12-26 EP EP22847614.9A patent/EP4457507A1/fr active Pending
- 2022-12-26 WO PCT/FR2022/052506 patent/WO2023126609A1/fr active Application Filing
- 2022-12-26 MX MX2024008247A patent/MX2024008247A/es unknown
- 2022-12-26 JP JP2024539603A patent/JP2025501958A/ja active Pending
- 2022-12-26 CN CN202280092944.9A patent/CN118786341A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
MX2024008247A (es) | 2024-07-19 |
WO2023126609A1 (fr) | 2023-07-06 |
JP2025501958A (ja) | 2025-01-24 |
EP4457507A1 (fr) | 2024-11-06 |
FR3131634A1 (fr) | 2023-07-07 |
FR3131634B1 (fr) | 2024-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9671357B2 (en) | System and method for monitoring hot glass containers to enhance their quality and control the forming process | |
JP5662784B2 (ja) | 高温ガラス容器の品質を向上させ、成形プロセスを制御するために、高温ガラス容器をモニタリングするシステムおよび方法 | |
CA2273663C (en) | Inspection of container mouth using infrared energy emitted by the container bottom | |
US5461228A (en) | Optical inspection of container dimensional parameters using a telecentric lens | |
EP2618136A1 (en) | Gob inspection system for glass product | |
US20200299169A1 (en) | Method and machine for controlling a forming method | |
US5583337A (en) | Apparatus and method for inspecting hot glass containers | |
WO2004036198A1 (ja) | ガラス壜の検査装置における基準画像の作成方法及び装置 | |
CN101566582A (zh) | 基于机器视觉的粉针剂生产中药瓶标贴信息在线检测系统 | |
CN105403147A (zh) | 一种基于嵌入式的瓶胚检测系统和检测方法 | |
WO2017204766A2 (en) | A quality control system for semi-finished glass products | |
CN118786341A (zh) | 用于检查热玻璃容器以识别缺陷的方法和装置 | |
JP2022507678A (ja) | 自動目視検査プロセスにおけるセットアップ段階の最適化 | |
JP2005509855A (ja) | とりわけ容器を選択するための方法および装置 | |
EP0686841A2 (en) | System and method for inspecting lenses | |
JP5372612B2 (ja) | ガラス製品検査装置 | |
CN115980067A (zh) | 一种用于注塑物的智能视觉检测方法 | |
WO2024018163A1 (fr) | Procede et dispositif pour inspecter des recipients en verre selon au moins deux modalites en vue de classer les recipients selon des defauts verriers | |
CN116051531A (zh) | 一种用于注塑物的智能检测方法 | |
JPH06229957A (ja) | 材質判別方法 | |
JP5260682B2 (ja) | ガラス製品成形システム | |
JP3571148B2 (ja) | 把手付ボトルの検査方法 | |
JP4083414B2 (ja) | 容器の付属物有無判定方法 | |
MXPA99005559A (en) | Method and apparatus for the inspection of the mouth of containers using infrared energy issued from the recipie fund |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |