[go: up one dir, main page]

JP2021189113A - 決定方法 - Google Patents

決定方法 Download PDF

Info

Publication number
JP2021189113A
JP2021189113A JP2020096980A JP2020096980A JP2021189113A JP 2021189113 A JP2021189113 A JP 2021189113A JP 2020096980 A JP2020096980 A JP 2020096980A JP 2020096980 A JP2020096980 A JP 2020096980A JP 2021189113 A JP2021189113 A JP 2021189113A
Authority
JP
Japan
Prior art keywords
wavelength
discrimination
label
target object
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020096980A
Other languages
English (en)
Inventor
亮基 渡邊
Ryoki Watanabe
光 倉沢
Hikaru Kurasawa
祥弘 大下
Sachihiro Oshita
政史 金井
Masafumi Kanai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2020096980A priority Critical patent/JP2021189113A/ja
Priority to US17/332,057 priority patent/US20210381955A1/en
Publication of JP2021189113A publication Critical patent/JP2021189113A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255Details, e.g. use of specially adapted sources, lighting or optical systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/0228Control of working procedures; Failure detection; Spectral bandwidth calculation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0213Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using attenuators
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/42Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/45Interferometric spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/12Computing arrangements based on biological models using genetic models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/10Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G01J2003/102Plural sources
    • G01J2003/104Monochromatic plural sources
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J2003/1226Interference filters
    • G01J2003/1247Tuning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J2003/2866Markers; Calibrating of scan
    • G01J2003/2873Storing reference spectrum
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/42Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • G01J2003/425Reflectance

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】分光スペクトルを用いたラベル判別について生じる不具合の発生を低減しつつ、判別精度を向上できる技術を提供する。
【解決手段】決定方法は、計測データを得ることと、遺伝的アルゴリズムを用いて、複数の計測波長の少なくとも1つを含む複数の第1波長から、0個以上の第2波長を選択して複数の個体を生成することと、複数の個体のそれぞれについて、対象物体の正解ラベルを再現するように学習された第1モデルに、残りのグループに属する対象物体の計測データと第2波長とで決まる第2分光スペクトルを入力して、残りのグループに属する対象物体のラベルを判別することと、ラベルが正しく判別された割合に基づいて、判別用分光スペクトルの波長として第2波長を用いるか否かを決定することと、を備える。
【選択図】図6

Description

本開示は、分光スペクトルを用いて対象物体を判別するための技術に関する。
従来、検査対象物に近赤外光を照射し、検査対象物からの反射光の分光スペクトルを用いて、検査対象物が正常品であるか異常品であるかを判定する技術が知られている(特許文献1)。
特開2017−203658号公報
従来の技術において、判別精度を高めるためには、分光スペクトルを構成する光の波長数を増加させることが考えられる。しかしながら、波長数を増加させると、取得する情報量が増大したり、判別時間が長くなったり、計測時間が長くなったりする不具合が生じ得る。また、波長数を増加させたとしても判別精度が向上しないという不具合が生じ得る。よって、分光スペクトルを用いたラベル判別について生じる不具合の発生を低減しつつ、判定精度を向上できる技術が望まれている。
(1)本開示の一形態によれば、判別用分光スペクトルの波長の決定方法であって、複数の対象物体のそれぞれを、複数の計測波長で撮像し、計測データを得ることと、遺伝的アルゴリズムを用いて、前記複数の計測波長の少なくとも1つを含む複数の第1波長から、0個以上の第2波長を選択して複数の個体を生成することと、前記複数の個体のそれぞれについて、一のグループに属する前記対象物体の前記計測データと前記第2波長とで決まる第1分光スペクトルから前記一のグループに属する前記対象物体の正解ラベルを再現するように学習された第1モデルに、残りのグループに属する前記対象物体の前記計測データと前記第2波長とで決まる第2分光スペクトルを入力して、前記残りのグループに属する前記対象物体のラベルを判別することと、前記ラベルが正しく判別された割合に基づいて、前記判別用分光スペクトルの前記波長として前記第2波長を用いるか否かを決定することと、を備える。
(2)本開示の他の一形態によれば、対象物体の判別用分光スペクトルを用いて前記対象物体に関連付けられたラベルの判別を行うための、光源の照射条件を決定する決定方法が提供される。この決定方法は、遺伝的アルゴリズムを用いて、複数の前記照射条件から1つの前記照射条件を選択して複数の個体を生成することと、前記複数の個体のそれぞれについて、前記個体が表す前記照射条件を用いて取得した一のグループに属する前記対象物体の分光スペクトルから、前記一のグループに属する前記対象物体の正解ラベルを再現するように学習したモデルに、前記個体が表す前記照射条件を用いて取得した残りのグループに属する前記対象物体の分光スペクトルを入力して、前記残りのグループに属する前記対象物体のラベルを判別することと、前記モデルを用いた前記ラベルの判別について、前記ラベルが正しく判別された割合に基づいて、前記個体が表す前記照射条件を、前記判別用分光スペクトルを得るための前記照射条件として用いるか否かを決定することと、を備える。
第1実施形態の判別システムを説明するための図。 発光部を説明するための図。 発光部をさらに説明するための図。 良品と不良品との分光スペクトルの一例を示す図。 判別装置を説明するための図。 判別用分光スペクトルを構成する光の波長決定処理を示すフローチャート。 図6のステップS10を説明するための図。 図6のステップS20を説明するための図。 図6のステップS22およびステップS24を説明するための図。 判別用分光スペクトルを示す図。 第2実施形態の判別システムを説明するための図。 学習装置を説明するための図。 照射条件を決定するための条件決定処理を示すフローチャート。 条件決定処理で用いる個体について説明するための図。
A.第1実施形態:
図1は、第1実施形態の判別システム100を説明するための図である。判別システム100は、対象物体20を撮像して得られた分光スペクトルである判別用分光スペクトルを用いて、対象物体20の状態を判別するためのシステムである。本実施形態では、判別システム100は、対象物体20が良品であるか不良品であるかを判別する。対象物体20は、例えば工場などで製造される製品であり、本実施形態では回路基板である。また、判別システム100は、第1モデル55を学習し、学習した第1モデル55を用いて、生成可能な分光スペクトルの中からラベルの判別に適切な判別用分光スペクトルを決定する。判別システム100は、分光測定装置10と、判別装置50とを備える。第1モデル55は、後述する選択された個体ごと、本実施形態では選択された波長ごとに変化する。
分光測定装置10は、検査対象光L2から特定波長の光を取り出して、判別用分光スペクトルを取得する。検査対象光L2は、光源172から検査光L1を対象物体20に照射し、対象物体20によって反射されることで生成される。分光測定装置10は、第1プロセッサー12と、記憶部13と、測定部14と、フィルター部16と、発光部17と、切換電源19とを備える。
記憶部13は、ROMやRAMなどによって構成されている。記憶部13には、第1プロセッサー12が実行するための各種プログラムが記憶されている。また、記憶部13には、測定部14によって測定された分光スペクトルが、撮像した対象物体20を識別するための識別子および正解ラベルと関連付けて入力データ要素群132として記憶される。正解ラベルは、出荷可能な状態を示す良品ラベルと、出荷不可能な状態を示す不良品ラベルとのいずれかである。正解ラベルは、例えば、検査員によって対象物体20ごとにラベル付けが行われる。なお、後述する第2プロセッサー57によって、入力データ要素群132から後述するデータ要素群42が生成される。この詳細は後述する。
第1プロセッサー12は、記憶部13に記憶された各種プログラムを実行することで分光測定装置10の動作を制御する。第1プロセッサー12は、ソフトウェアとハードウェア回路との少なくともいずれか一方によって構成されていればよく、ソフトウェアに代えてハードウェア回路によって分光測定装置10の動作が制御されてもよい。第1プロセッサー12は、信号処理部15を有する。信号処理部15は、波長可変干渉フィルター163によって取り出した光を用いて分光スペクトルを生成する。具体的には、信号処理部15は、後述する測定部14によって撮像され、記憶部13に記憶された分光画像のデータ要素を演算処理して、各画素における分光スペクトルを求める。求めた分光スペクトルは記憶部13に記憶される。
発光部17は、第1プロセッサー12の指令によって対象物体20に対して検査光L1を照射する。発光部17は、複数の光源172を有する。複数の光源172はリング状の支持部材に一定間隔ごとに取り付けられている。複数の光源172はそれぞれ、例えば白色光を検査光L1として出射できる。なお、他の実施形態では、複数の光源172は、緑色の光を出射する光源と、赤色の光を出射する光源と、青色の光を出射する光源とを有していてもよい。
切換電源19は、第1プロセッサー12からの指令によって発光部17に電源を供給する。なお、切換電源19は、複数の光源172のそれぞれに対して個別に電源を供給できる。
フィルター部16は、波長可変干渉フィルター163を有する。波長可変干渉フィルター163は、エタロンフィルターとも呼ばれる。波長可変干渉フィルター163としては、周知の技術、例えば、特開2014−71400号公報などの開示の技術を採用できる。つまり、波長可変干渉フィルター163は、第1光学膜161と、ギャップ165を介して第1光学膜161と対向する第2光学膜162とを備える。第1光学膜161と第2光学膜162とはそれぞれ、所望の波長帯域の光に対する反射特性と透過特性とを兼ね備える。第2光学膜162は、第1光学膜161と対向する方向に変位可能に構成されている。第2光学膜162が変位することでギャップ165の大きさが変更可能となる。第2光学膜162の変位は、例えば静電アクチュエーターによって実現される。ギャップ165の大きさが調整されることにより、検査対象光L2のうちで特定波長の光を通過させることで取り出すことができる。なお、波長可変干渉フィルター163において、ギャップ165が大きくなるに従って、取り出す光の波長も連続的に変化する。つまり、ギャップ16の大きさと取り出す波長の大きさには相関関係がある。
測定部14は、例えば、CCDカメラなどによって構成され、フィルター部16によって取り出された光を撮像する。また撮像された光は分光画像として記憶部13に記憶される。蓄積された分光画像は、信号処理部15によって各画素のデータ要素を演算処理して、各画素における分光スペクトルを生成する。分光スペクトルは、特定の波長ごとの強度を示すデータ要素である。各画素における分光スペクトルは、波長ごとに足し合わされることで対象物体20の分光スペクトルとして、入力データ要素群132の一部として記憶される。なお、他の実施形態では、測定部14は、点分光器などによって構成されていてもよい。
判別装置50は、パーソナルコンピューターなどの計算機である。判別装置50は、判別用分光スペクトルを用いて対象物体20の状態を判別する。本実施形態では、判別装置50は、判別用分光スペクトルを用いて対象物体20が良品であるか不良品であるかを判別する。また、判別装置50は、判別するために用いる判別用分光スペクトルの波長を決定する。判別装置50は分光測定装置10との間で、有線や無線を介してデータ通信可能に構成されている。
図2は、発光部17を説明するための図である。図2では、発光部17と対象物体20とを真上側から見ている。発光部17は、リング状の支持部材176と、支持部材176に配置された複数の光源172とを備える。光源172によって対象物体20に検査光L1を照射する。図1に示す測定部14およびフィルター部16は、発光部17の真上に配置されている。なお、発光部17はこの構成に限定されるものではなく、検査光L1を出射できる光源を有していれば他の構成であってもよい。なお、回路基板である対象物体20の表面には、複数の端子202が配置されている。
図3は、発光部17をさらに説明するための図である。発光部17は、さらに、高さ方向HDの位置を変位するためのアクチュエーターを有する。これにより、発光部17の高さの指標となる角度aを変化させることができる。光源172の位置が高くなるに従って、角度aは小さくなる。本実施形態では、分光スペクトルを取得する際の照射条件は同じである。つまり、角度aや、どの光源172を使用するかを表す照射方向や、光源172の輝度は同じである。
図4は、良品と不良品との分光スペクトルの一例を示す図である。図4の横軸は波長であり、縦軸は光強度を表す分光反射率SRである。図4では、波長が400nm〜700nmの範囲においてフィルター部16によって設定された特定の31波長の分光スペクトルを結んだ線を示す。図4に示すように、良品の対象物体20から得た分光スペクトル30と、不良品の対象物体20から得た分光スペクトル32とでは、分光反射率SRが他の波長よりも大きく異なる波長が存在する。31波長のうち、この分光反射率SRが大きく異なる波長である判別波長を特定し、判別波長の分光スペクトルを用いることで、効率良く良品、不良品を判別できる。本実施形態において31波長は、400nm,410nm,420nmというように10nmの間隔である。分光スペクトルを構成する各波長とは、例えば光が有する各波長のうちで光強度が最も高い波長を意味する。なお、図4では、一例として良品と不良品との分光スペクトル30,32を一つずつ示しているが、複数の良品の対象物体20と複数の不良品の対象物体20のそれぞれについて、分光スペクトル30,32を生成した場合、良品や不良品の状態に応じて分光スペクトル30,32の分光反射率SRが多少変動する。
図5は、判別装置50を説明するための図である。判別装置50は、分光測定装置10によって取得された対象物体20の判別用分光スペクトルを用いて、対象物体20の状態を判別する。対象物体20の判別用分光スペクトルは、判別装置50によって予め決定された波長によって構成される。本実施形態では、判別装置50は、対象物体20について良品であるか不良品であるかを判別する。判別装置50は、記憶装置52と、第2プロセッサー57と、出力部59とを備える。
記憶装置52は、フラッシュメモリーやEEPROMなどの一時的でない記憶媒体としての不揮発性記憶媒体54を含む。不揮発性記憶媒体54には、学習されることで生成される第1モデル55を有する。第1モデル55は、判別装置50が取得した判別用分光スペクトルを用いて対象物体20の状態を判別するためのアルゴリズムである。本実施形態では、第1モデル55は、アルゴリズムとしてフィッシャー線形判別とマハラノビス距離を用いる。なお、他の実施形態では、第1モデル55は、深層学習などのニューラルネットワーク型のアルゴリズムを用いてもよい。
第2プロセッサー57は、記憶装置52に記憶された各種プログラムを実行することで判別装置50の動作を制御する。第2プロセッサー57は、ソフトウェアとハードウェア回路との少なくともいずれか一方によって構成されていればよい。出力部59は、各種情報を出力するために用いられる。出力部59は、例えば、液晶モニターである。各種情報としては、例えば、学習された第1モデル55を用いて判別した結果である。出力部59は、液晶モニターなどの表示装置に代えて、音声を出力するスピーカーであってもよい。
第1モデル55を学習するために用いられる入力データ要素群132は、データ要素群42と、正解ラベル46とを有する。入力データ要素群132は、分光測定装置10に記憶されているが、判別装置50の記憶装置52に記憶されてもよいし、他の外部記憶装置に記憶されてもよい。データ要素群42は、複数の対象物体20について、検査対象光L2に含まれる複数の第1波長から選択された第2波長の分光スペクトルである。第1波長は、フィルター部16によって分光される31個の波長である。31個の波長を区別して用いる場合は、λ1〜λ31を用いる。λ1からλ31に向かうに従い波長が長くなる。正解ラベル46は、検査員によって各対象物体20に付されたラベルであり、良品ラベルと不良品ラベルのいずれかである。検査員は、例えば、目視によって正解ラベル46を対象物体20に関連付ける。データ要素群42は、例えば第2プロセッサー57によって、第1モデル55を学習するために用いる学習用データ要素43と、学習した第1モデル55の性能を評価するために用いる評価用データ要素44とに分けられる。データ要素群42の各データ要素である分光スペクトルの波長数は、例えば、フィッシャー線形判別の次元数に対応する。
図6は、判別用分光スペクトルを構成する光の波長決定処理を示すフローチャートである。図7は、図6のステップS10を説明するための図である。図8は、図6のステップS20を説明するための図である。図9は、図6のステップS22およびステップS24を説明するための図である。検査対象光L2の中から、図6に示す波長決定処理によって決定された波長に応じたギャップ165に設定することで、図1に示す信号処理部15によって決定された波長によって定める判別用分光スペクトルが生成される。つまり、判別用分光スペクトルは対象物体20から得られる。また、判別用分光スペクトルを用いて第1モデル55は、対象物体20に関連付けられたラベル、すなわち良品か不良品かの判別を行う。
図6に示すように、まずステップS10において、初期設定処理は実行される。初期設定処理では、まず、第1プロセッサー12が、複数の対象物体20のそれぞれを、複数の計測波長で撮像して計測データを得る。複数の計測波長は検査対象光L2に含まれる波長であり、本実施形態では、波長λ1〜λ31の波長である。具体的には、複数の対象物体20のそれぞれについて、フィルター部16のギャップ165を調整して、波長λ1〜λ31の波長を取り出して測定部14で撮像する。そして信号処理部15によって、測定部14で撮像された光をもとに対象物体20ごとの分光スペクトルを生成することで、計測データを得る。対象物体20の数は、例えば3000個である。
またステップS12において、第2プロセッサー57は、図7に示すように、遺伝的アルゴリズムを用いて、複数の計測波長の少なくとも一つを含む複数の第1波長λ1〜λ31から、0個以上の第2波長を選択して複数の個体I1〜I10から構成される個体群IGをデータ要素群42として生成する。またステップS12において、対象物体20のそれぞれに正解ラベル46が関連付けられる。図7では、選択される波長を「1」で表し、選択されない波長を「0」で表す。ステップS12で生成される個体数は10個である。第2プロセッサー57は、遺伝子、すなわち波長の選択内容がそれぞれ異なる10個の個体I1〜I10を生成する。なお、初めに生成された10個の個体I1〜I10を現世代の個体群IG1とも呼ぶ。現世代の個体群IG1は、初期値として全ての波長λ1〜λ31が選択されない個体I1を含んでもよい。また現世代の個体群IG1について、その他の個体Iについては、選択する波長を1つランダムに決定してもよい。なお、本実施形態の遺伝的アルゴリズムの個体を区別することなく用いる場合には、個体Iを用いる。本実施形態では、複数の計測波長と、第1波長λ1〜λ31は同じ波長であったが、他の実施形態では、第1波長λ1〜λ31は、複数の計測波長の少なくとも一つから構成される波長であればよく、複数の計測波長とは異なる波長を含んでいてもよい。また、ステップS10で実行される計測データを得る工程は、ステップS12のデータ要素群42を生成した後に実行してもよい。
次にステップS14において第2プロセッサー57は、ステップS12において生成されたデータ要素群42について、第1モデル55の学習に用いられる一のグループとしての学習用データ要素43と、学習後の第1モデル55の性能評価に用いる残りのグループとしての評価用データ要素44とを抽出する。本実施形態では、図8に示すように、個体I1〜I10ごとに生成されたデータ要素群42を複数のデータ領域DR1〜DR5に分割し、20%を占めるデータ領域を学習用データ要素43として抽出し、残りの80%を占めるデータ領域を評価用データ要素44として抽出する。図8では、データ領域DR1を学習用データ要素43として抽出し、データ領域DR2〜DR5を評価用データ要素44として抽出している。
図6に示すように、次にステップS16において、第2プロセッサー57は、ステップS14で抽出した学習用データ要素43を入力要素として第1モデル55を学習する。本実施形態では、第1モデル55はフィッシャー線形判別をアルゴリズムとして有する。よってステップS16において第2プロセッサー57は、個体I1〜I10のそれぞれについて、正解ラベル46が良品ラベルのデータ要素群と不良品ラベルのデータ要素群との分離度が最も大きくなる射影方向wを決定する。第2プロセッサー57は、決定した射影方向wを表すパラメーターを記憶装置52に記憶させる。このように、ステップS16では、第2プロセッサー57は、複数の個体I1〜I10のそれぞれについて、一のグループとしての学習用データ要素43に属する対象物体20の計測データと、第2波長とで決まる分光スペクトルとしての第1分光スペクトルから、一のグループに属する対象物体20の正解ラベルを再現するように第1モデル55を学習する。
次にステップS18において第2プロセッサー57は、個体I1〜I10ごとに選択される第2波長の分光スペクトルをもとに学習された各第1モデル55に対して、個体I1〜I10ごとに対応した残りのグループとしての評価用データ要素44を入力することで、評価用データ要素44の各データ要素に対応した複数の対象物体20のラベルを判別する。つまり、ステップS18では、第2プロセッサー57は、残りのグループである評価用データ要素44に属する対象物体20の計測データと第2波長とで決まる第2分光スペクトルを第1モデル55に入力して、残りのグループに属する対象物体20のラベルを判別する。ステップS18は、マハラノビス距離を算出することで実行される。具体的には、評価用データ要素44の各データ要素を、第1モデル55の学習によって決定した射影方向wを表すパラメーターを用いて、射影方向wに射影して特徴量を生成する。そして、ステップS18では、評価用データ要素44の各データ要素について、生成された特徴量からマハラノビス距離を算出し、不良品である学習用データ要素群からの距離と、良品である学習用データ要素群からの距離とのうち近い方のクラスを、評価用データ要素44のラベルとして判別する。これを個体I1〜I10のそれぞれについて行う。ステップS18において判別結果である判別率は、第2プロセッサー57によって算出されて不揮発性記憶媒体54に記憶される。判別率は、個体I1〜I10に応じた各第1モデル55について、第1モデル55に入力された評価用データ要素44の数に対するラベルが正しく判別された数の割合であり、パーセンテージである。本実施形態では、ステップS18の判別処理は、個体I1〜I10に応じて生成された第1モデル55の数に応じてそれぞれ行われる。また上記のようにステップS18では、個体I1〜I10に応じた第2波長の組み合わせごとに、学習用データ要素43を用いて学習した第1モデル55に対して、第1モデル55の学習に用いられた第2波長から構成される対象物体20の分光スペクトルを入力して、ラベルを判別する。このように個体I1〜I10ごとに第1モデル55が学習されて、これらの第1モデル55を用いてラベルが判別されることで、判別率を精度良く算出できる。これにより、後述するステップS22において実行される第1モデル55を用いたラベル判別の評価をより精度良く行うことができる。
次にステップS20において、第2プロセッサー57は、バリデーション回数の各回においてステップS14〜ステップS18が実行されたか否かを判定する。本実施形態では、図8に示す5分割したデータ領域DR1〜DR5の各領域が学習用データ要素43として用いられたか否かを判定する。つまり、データ領域DR1を学習用データ要素43としてステップS14からステップS18が実行された場合、次にデータ領域DR2を学習用データ要素43としてステップS14からステップS18が実行される。このように、全てのデータ領域DR1〜DR5のデータ要素が学習用データ要素43として用いられるまで繰り返しステップS14からステップS18が実行される。
ステップS20において「Yes」の判定が成された場合には、図6のステップS22が実行される。ステップS22において第2プロセッサー57は、現世代の個体群IG1を構成する各個体I1〜I10のうち、評価関数Lの値である評価値が高い上位の個体Iを選択する。評価関数Lは、以下の式(1)で表される。
評価関数L=平均判別率×α+WN×(1−α) (1)
ここで、αは重み係数であり、0以上1以下の値である。平均判別率は、個体I1〜I10ごとに、バリデーションにおける各回におけるステップS18によって算出された判別率の平均値である。なお、αは0より大きく1より小さい値であることが好ましい。WNは、第2波長の波長数に関する指標であり以下の式(2)で表される。なお、他の実施形態では、上記式(1)において、平均判別率に代えて、バリデーションの各回におけるステップS18で算出された判別率の最大値である最大判別率や、バリデーションの各回におけるステップS18で算出された判別率の最小値である最小判別率を用いてもよい。
WN=(第1波長の波長数−第2波長の波長数)×100/第1波長の波長数 (2)
本実施形態において、上記式(1)および式(2)で表されるように、評価関数Lは、割合としての判別率を用いた第1項と、第2波長の波長数を用いた第2項とによって表された関数である。また評価関数Lの評価値は、他の項が同じ値である場合において割合としての判別率が高いほど高くなり、また、他の項が同じ値である場合において第2波長の波長数が少ないほど高くなる。ステップS22では、第2プロセッサー57は、10個体I1〜I10のうち評価関数の評価値が高い上位5個体を選択する。図9に示す例では、個体I2,I3,I4,I7.I9が上位5個体である。このように、評価関数Lは、割合としての判別率を用いた第1項と、第2波長の波長数を用いた第2項とによって表された関数である。これにより、正しく判別した割合と、第2波長の波長数とを考慮して判別用分光スペクトルの波長として第2波長を用いるか否かを決定できる。ここで、評価関数Lの評価値は、判別率が高いほど高くなり、また、第2波長の波長数が少ないほど高くなる。これにより、判別用分光スペクトルの波長として評価値の高い個体Iが表す第2波長を選択することで、ラベル判別の精度を向上しつつ、波長数を低減した判別用分光スペクトルを決定できる。
図6に示すようにステップS24において第2プロセッサー57は、ステップS22で選択されなかった下位5つの個体Iに代えて、新たな個体Iを5つ生成する。ステップS24において、第2プロセッサー57は、例えば突然変異や交叉を用いて新たな個体Iを生成する。本実施形態では、第2プロセッサー57は、1波長分または2波長分を突然変異させることで新たな個体Iを生成する。図9に示す例では、ステップS24において、新たな個体I11〜I15が生成される。個体IG1の次に生成される個体群を次世代の個体群IG2と呼ぶ。
図6に示すようにステップS26において第2プロセッサー57は、終了条件を満たすか否かを判定する。終了条件とは、予め定めた連続する世代数において評価関数Lによって算出した評価値が最も高い個体Iが変化することなく同じであるという条件である。本実施形態では、予め定めた連続する世代数は50である。つまり、ステップS22を繰り返し実行し、評価値の最も高い個体Iが連続して50回同じであれば終了条件が満たされたと判定される。終了条件が満たされた場合には、ステップS28において第2プロセッサー57は、決定処理を実行する。決定処理では、第2プロセッサー57は、ステップS26において終了条件を満たすと判定した場合における、評価値の最も高い個体Iが表す第2波長を判別用分光スペクトルの波長として用いることを決定して、第2波長を示すデータを記憶装置52に記憶する。
一方で、ステップS26において、第2プロセッサー57が終了条件を満たさないと判定した場合には、第2プロセッサー57は、次世代の個体群IG2を現世代の個体群とみなして、ステップS14〜ステップS22を行う。なお、第2プロセッサー57は、前回のルーチンで既にステップS14〜ステップS20を実行した個体I2,I3,I4,I7,I9については、今回のルーチンにおけるステップS14〜ステップS20は省略し、新たな個体I11〜I15についてのみ、ステップS14〜ステップS20を実行してもよい。つまり、第2プロセッサー57は、新たに生成した個体I11〜I15について、ステップS14において、正解ラベルが関連付けられた学習用データ要素43および評価用データ要素44を抽出する。そして、第2プロセッサー57は、上述のステップS16と同様に、個体I11〜I15に応じた学習用データ要素43ごとに、正解ラベル46が良品ラベルのデータ要素群と不良品ラベルのデータ要素群との分離度が最も大きくなる射影方向wを決定して、決定した射影方向wを表すパラメーターを記憶装置52に記憶する。次に第2プロセッサー57は、上述のステップS18と同様に、残りのグループとしての評価用データ要素44を、個体I11〜I15に応じた第1モデル55に入力することで、複数の対象物体20のラベルを判別する。さらに、第2プロセッサー57は、新たに生成した個体I11〜I15について、上述のステップS20と同様に、バリデーション回数の各回においてステップS14〜ステップS18が実行されたか否かを判定する。バリデーション回数がステップS20の条件を満たす場合に、次世代の個体群IG2についてステップS22が実行され、さらに次の世代の個体IがステップS24によって生成される。
上記ステップS22〜ステップS28において、第2プロセッサー57は、第1モデル55を用いたラベルの判別について、ラベルが正しく判別された割合に基づいて、判別用分光スペクトルの波長として第2波長を用いるか否かを決定する。また上記ステップS22〜ステップS28において、第2プロセッサー57は、評価関数Lによって個体Iが表す第2波長の組み合わせごとに評価値を算出する。また第2プロセッサー57は、算出した評価値を用いて、いずれの個体Iが表す第2波長を、判別用分光スペクトルの波長として用いるか否かを決定する。
波長決定処理によって決定された判別用分光スペクトルは、製造された対象物体20の状態、本実施形態では良品・不良品を判別するために用いられる。具体的には、検査対象光L2から判別用分光スペクトルを構成する各波長の光を取り出すために、図1に示す波長可変干渉フィルター163のギャップ165の大きさ調整する。例えば、判別用分光スペクトルを構成する波長が10波長である場合には、各波長に対応したギャップ165の大きさに時系列に設定して、各波長をフィルター部16から取り出す。取り出した各波長の光は測定部14で取得されて、信号処理部15によって判別用分光スペクトルが生成される。生成された判別用分光スペクトルは、対応する分光スペクトルを用いて学習された第1モデル55に入力されることでラベルの判別が実行される。
図10は、波長決定処理によって決定された第2波長を、良品の対象物体20と不良品の対象物体20とから取得して生成した判別用分光スペクトルの一例を示す図である。本実施形態では、例えば、波長決定処理によって31波長数の第1波長から、10波長数の第2波長が決定される。決定された第2波長の分光スペクトルを用いることで、波長数を低減しつつ第1モデル55において高い判別率を達成できる。
上記第1実施形態によれば、第1モデル55を用いたラベルの判別について、ラベルが正しく判別された割合に基づいて、個体Iが表す第2波長を分光スペクトルの波長として用いるか否かを決定することで、第1波長から判別用分光スペクトルを構成する第2波長を決定できる。これにより、判別用分光スペクトルの波長数の増加を抑制しつつ、ラベルの判別精度が低下することを抑制できる。
上記第1実施形態において、評価関数Lは上記に限定されるものではない。例えば、評価関数Lに代えて以下の式(3)に示す評価関数Laを用いてもよい。
評価関数La=平均判別率×α+WN×β+(1/選択波長の分散)×γ (3)
ここで、α、β、γは重み係数であり、例えば合計値が1となるように設定される。「選択波長」とは個体Iにおいて「1」が付された波長、すなわち選択される波長である。なお、他の実施形態では、上記式(3)において、平均判別率に代えて最小判別率や最大判別率を用いてもよい。
式(3)の評価関数Laは、上記第1実施形態の評価関数Lと異なり、第2波長の各波長の分散を用いた第3項をさらに含む。また、評価関数Laの評価値は、他の項である第1項および第2項が一定値である場合において、選択波長の分散が小さいほど高くなる。これにより、第2波長の各波長の分散を考慮して判別用分光スペクトルの波長として第2波長を用いるか否かを決定できる。特に評価関数Laは、分散が小さいほど評価値が高くなるため、分散が小さい個体Iが表す第2波長の組み合わせを判別用分光スペクトルの波長として決定できる。ここで、分光測定装置10において、波長を取り出すためにはギャップ165を調整する必要があり、取り出す波長の分散が大きいと第2光学膜162の変位に時間がかかり判別用分光スペクトルの取得生成時間が長くなる。本実施形態によれば、分散が小さい第2波長が判別用分光スペクトルの波長として決定されるので、判別用分光スペクトルを生成するためのギャップ165の調整時間を減少できる。これにより、判別用分光スペクトルを取得生成するための時間を短縮できるので、ラベルの判別時間も短縮できる。
B.第2実施形態:
図11は、第2実施形態の判別システム100aを説明するための図である。図1に示す判別システム100と、判別システム100aとの異なる点は、判別システム100aが新たに学習装置70を備える点である。その他の構成については上記第1実施形態の判別システム100と同様の構成であるため、同様の構成については同一符号を付すと共に説明を省略する。学習装置70は、パーソナルコンピューターなどの計算機である。なお、他の実施形態では、学習装置70と判別装置50とは同じ一つの装置として構成されていてもよい。学習装置70は、対象物体20のラベルを判別する際に、判別精度を向上できる分光測定装置10の照射条件を決定するために用いられる。学習装置70は、有線や無線によって分光測定装置10とデータ通信可能に構成されている。
図12は、学習装置70を説明するための図である。学習装置70は、分光測定装置10が対象物体20に検査光L1を照射する際の照射条件を決定する。学習装置70は、記憶媒体71と、第3プロセッサー77と、出力部79とを備える。
記憶媒体71は、フラッシュメモリーやEEPROMなどの一時的でない不揮発性記憶媒体を含む。不揮発性記憶媒体には、学習されることで生成される第2モデル75を有する。第2モデル75は、学習されることで生成され、照射条件を決定するためのアルゴリズムである。本実施形態では、第2モデル75は、アルゴリズムとしてフィッシャー線形判別とマハラノビス距離を用いる。なお、他の実施形態では、第2モデル75は、深層学習などニューラルネットワーク型のアルゴリズムを用いてもよい。第2モデル75は、後述する選択される個体ごと、本実施形態では光源172の照射条件ごとに変化する。
第3プロセッサー77は、記憶媒体71に記憶された各種プログラムを実行することで学習装置70の動作を制御する。なお、第3プロセッサー77は、ソフトウェアとハードウェア回路との少なくともいずれか一方によって構成されていればよい。出力部79は、各種情報を出力するために用いられる。出力部79は、例えば、液晶モニターである。各種情報としては、例えば、学習された第2モデル75を用いて決定した照射条件である。出力部79は、液晶モニターなどの表示装置に代えて、音声を出力するスピーカーであってもよい。
図13は、照射条件を決定するための条件決定処理を示すフローチャートである。図14は、条件決定処理で用いる個体Iaについて説明するための図である。図13の条件決定処理は、図6の波長決定処理の前に行ってもよいし、後に行ってもよい。また、条件決定処理は、波長決定処理と同時に行ってもよい。同時に行う場合には、個体Iaにおいて、第1実施形態の個体Iの要素も取り入れる。本実施形態において、個体Iaは、第1実施形態の個体Iと区別するために、別個体Iaとも呼ぶ。
図13に示すように、まずステップS10aにおいて、第3プロセッサー77は初期設定処理を実行する。処理設定処理は、遺伝的アルゴリズムを用いて分光測定装置10の対象物体20への複数の照射条件から1つの照射条件を選択して個体Iaを生成する。照射条件は、分光スペクトルの生成に影響し得る因子によって規定される。本実施形態では、照射条件の因子は、図3に示す角度a、照射方向RD、輝度BRである。
図14に示すように、個体Iaは、複数のビットである遺伝子によって表される。個体Iaにおいて、先頭3ビットは角度aの条件を表し、次の4ビットは照射方向RDの条件を表し、さらに次の8ビットは輝度BRの条件を表す。角度aは、例えば、15°、30°、40°のいずれかであり、15°は「100」で表され、30°は「010」で表され、40°は「001」で表される。照射方向RDは、図2に示す複数の光源172のうちで照射に使用する光源172を表す。例えば円周上に等間隔で配置された複数の光源172を90°ごとに4分割して、分割された領域を第1領域、第2領域、第3領域、第4領域とする。この場合、第1領域の光源172の使用は「1000」で表され、第2領域の光源172の使用は「0100」で表され、第3領域の光源172の使用は「0010」で表され、第4領域の光源172の使用は「0001」で表される。輝度BRは、0〜255の値を2進数で表したものを遺伝子として用いる。
第3プロセッサー77は、ステップS10aにおいて、遺伝子の内容が異なる個体Iaを予め定めた個数、本実施形態は10個生成する。つまり、第3プロセッサー77は、遺伝的アルゴリズムを用いて光源172を用いた複数の照射条件のうち1つの照射条件を個体Iaとして選択することを10回実行する。ステップS10aにおいて生成された10個の個体Iaを現世代の個体群IG1aとも呼ぶ。
図13に示すように、次にステップS12aにおいて、ステップS10aにおいて生成した個体群IG1aを用いてデータ要素群78が生成される。具体的には、ステップS10において生成した個体群IG1aのそれぞれの個体Iaが表す照射条件を用いて対象物体20に検査光L1を照射する。検査光L1の照射によって対象物体20から反射した検査対象光L2のなかから、特定波長の光をフィルター部16によって取り出して測定部14によって撮像する。信号処理部15が撮像されたデータをもとに対象物体20ごとの分光スペクトルを生成することで、データ要素群78が生成される。個体Iaが表す照射条件ごとに複数の対象物体20のそれぞれについて分光スペクトルを生成することで、データ要素群78の各データ要素とする。データ要素群78の各データ要素には、対象物体20の正解ラベルが関連付けられている。正解ラベルは、上記第1実施形態と同様に、良品ラベルと不良品ラベルのいずれかで表される。なお、特定波長は、第1実施形態の図6に示す波長決定処理が既に実行されている場合は、波長決定処理で決定された波長である。また、特定波長は、波長決定処理が実行されていない場合にはフィルター部16で取得できる最大波長数である31個の波長である。
次にステップS14aにおいて第3プロセッサー77は、ステップS12aにおいて生成されたデータ要素群78について、第2モデル75の学習に用いられる一のグループとしての学習用データ要素73と、学習後の第2モデル75の性能評価に用いる残りのグループとしての評価用データ要素74とを抽出する。ここで、「一のグループ」を「一の条件グループ」とも呼び、「残りのグループ」を「残りの条件グループ」とも呼ぶ。ステップS14aでは、図6のステップS14と同様に、個体Iaごとに生成されたデータ要素群78を複数のデータ領域に分割し、20%を占めるデータ領域を学習用データ要素73として抽出し、残りの80%を占めるデータ領域を評価用データ要素74として抽出する。
次にステップS16aにおいて、第3プロセッサー77は、ステップS14aで抽出した学習用データ要素73を入力要素として第2モデル75を学習する。本実施形態では、第2モデル75は、上記第1実施形態の第1モデル55と同様にフィッシャー線形判別である。よってステップS16aにおいて第3プロセッサー77は、個体Iaに応じた学習用データ要素73ごとに、正解ラベルが良品ラベルのデータ要素群と不良品ラベルのデータ要素群との分離度が最も大きくなる射影方向wを決定する。第3プロセッサー77は、決定した射影方向wを表すパラメーターを第2パラメーターとして記憶媒体71に記憶させる。このように、ステップS16aでは、第3プロセッサー77は、複数の個体Iaのそれぞれについて、個体Iaが表す照射条件を用いて取得した一のグループとしての学習用データ要素73に属する対象物体20の分光スペクトルから、一のグループに属する対象物体20の正解ラベルを再現するように学習した第2モデル75を学習する。
次にステップS18aにおいて第3プロセッサー77は、個体Iaごとに生成された分光スペクトルをもとに学習された各第2モデル75に対して、個体Iaごとに対応した残りのグループとしての評価用データ要素74を入力することで、評価用データ要素74の各データ要素に対応した対象物体20のラベルを判別する。つまり、ステップS18aでは、第3プロセッサー77は、残りのグループである評価用データ要素74の分光スペクトルを第2モデル75に入力して、残りのグループに属する対象物体20のラベルを判別する。これを個体Iaのそれぞれについて行う。ステップS18aは、第1実施形態のステップS18と同様に、マハラノビス距離を算出することで実行される。具体的には、ステップS18aでは、評価用データ要素74の各データ要素を、第2モデル75の学習によって決定した射影方向wを表す第2パラメーターを用いて、射影方向wに射影して特徴量を生成する。そして、ステップS18aでは、評価用データ要素74の各データ要素について、マハラノビス距離を算出し、不良品である学習用データ要素群からの距離と、良品である学習用データ要素群からの距離とのうち近い方のクラスを、評価用データ要素74のラベルとして判別する。ステップS18aにおいて判別結果である判別率は、第3プロセッサー77によって算出されて記憶媒体71に記憶される。判別率は、個体Iaに応じた各第2モデル75について、第2モデル75に入力された評価用データ要素74の数に対するラベルが正しく判別された数の割合であり、パーセンテージである。上記のようにステップS18aでは、個体Iaが表す照射条件ごとに学習用データ要素73を用いて学習した第2モデル75に対して、第2モデル75の学習に用いられた照射条件を適用して対象物体20から生成された評価用データ要素74である分光スペクトルを入力して、ラベルを判別する。
次にステップS20aにおいて、第3プロセッサー77は、バリデーション回数の各回においてステップS14a〜ステップS18aが実行されたか否かを判定する。本実施形態では、第1実施形態のステップS20と同様に、データ要素群78について5分割したデータ領域の各領域が学習用データ要素43として用いられたか否かを判定する。
ステップS22aにおいて第3プロセッサー77は、上記のステップS22と同様に、現世代の個体群を構成する各個体Iaのうち、評価関数Lbの値が高い上位の個体を選択する。ステップS22aで用いられる評価関数Lbは、式(4)で表される。
評価関数Lb=平均判別率 (4)
平均判別率は、個体Iaごとに、バリデーションにおける各回におけるステップS18aによって算出された判別率の平均値である。
ステップS22aでは、第3プロセッサー77は、10個体Iaのうち評価関数の評価値が高い上位5個体を選択する。
ステップS24aにおいて第3プロセッサー77は、ステップS22aで選択されなかった下位5つの個体Iaに代えて、新たな個体Iaを5つ生成する。ステップS24aにおいて、第3プロセッサー77は、例えば突然変異や交叉を用いて新たな個体Iaを生成する。
ステップS26aにおいて第3プロセッサー77は、終了条件を満たすか否かを判定する。終了条件とは、予め定めた連続する世代数において評価関数Lbによって算出した評価値が最も高い個体が変化することなく同じであるという条件である。本実施形態では、予め定めた連続する世代数は50である。終了条件を満たさない場合には、第3プロセッサー77は、次世代の個体群を現世代の個体群とみなして、ステップS14a〜ステップS22aを行う。なお、第2プロセッサー57は、上記第1実施形態と同様に、前回のルーチンで既にステップS14a〜ステップS20aを実行した個体Iaについては、今回のルーチンにおけるステップS14a〜ステップS20aは省略し、新たな個体Iaについてのみ、ステップS14a〜ステップS20aを実行してもよい。
上記ステップS22a〜ステップS28aにおいて、第3プロセッサー77は、第2モデル75を用いたラベルの判別について、ラベルが正しく判別された割合に基づいて、個体Iaによって表された照射条件を、対象物体20のラベル判別に用いる分光スペクトルを得るための照射条件として用いるか否かを決定する。条件決定処理によって決定された照射条件は、判別用分光スペクトルを取得する際において対象物体20に検査光L1の照射する場合に適用される。
上記第2実施形態によれば、上記第1実施形態と同様の構成を有する点において同様の効果を奏する。例えば、第1モデル55を用いたラベルの判別について、ラベルが正しく判別された割合に基づいて個体Iが表す第2波長を、分光スペクトルを構成する波長として用いるか否かを決定することで、第1波長から判別用分光スペクトルを構成する第2波長を決定できる。これにより、判別用分光スペクトルの波長数の増加を抑制しつつ、ラベルの判別精度が低下することを抑制できる。さらに上記第2実施形態によれば、ラベルが正しく判別された割合を用いて判別用分光スペクトルを得るための照射条件を決定できる。これにより、ラベルの判別精度をさらに向上できる。
C.他の実施形態:
C−1.他の実施形態1:
上記各実施形態では、第1モデル55や第2モデル75のアルゴリズムとしてフィッシャー線形判別とマハラノビス距離を用いていたがこれに限定されるものではなく、各種の学習アルゴリズムを用いてもよい。例えば、第1モデル55や第2モデル75は、ニューラルネットワークやカプセルネットワークなどのアルゴリズムであってもよい。この場合、図6や図13に示すステップS18,S18aの判別処理では、マハラノビス距離は用いることなく、生成した第1モデル55や第2モデル75に評価用データ要素44,74を入力する。これにより、第1モデル55や第2モデル75によって判別されたラベルが出力される。
D.他の形態:
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態(aspect)によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
(1)本開示の一形態によれば、判別用分光スペクトルの波長の決定方法が提供される。この決定方法は、複数の対象物体のそれぞれを、複数の計測波長で撮像し、計測データを得ることと、遺伝的アルゴリズムを用いて、前記複数の計測波長の少なくとも1つを含む複数の第1波長から、0個以上の第2波長を選択して複数の個体を生成することと、前記複数の個体のそれぞれについて、一のグループに属する前記対象物体の前記計測データと前記第2波長とで決まる第1分光スペクトルから前記一のグループに属する前記対象物体の正解ラベルを再現するように学習された第1モデルに、残りのグループに属する前記対象物体の前記計測データと前記第2波長とで決まる第2分光スペクトルを入力して、前記残りのグループに属する前記対象物体のラベルを判別することと、前記ラベルが正しく判別された割合に基づいて、前記判別用分光スペクトルの前記波長として前記第2波長を用いるか否かを決定することと、を備える。この形態によれば、第1モデルを用いたラベルの判別について、ラベルが正しく判別された割合に基づいて、判別用分光スペクトルの波長として第2波長を用いるか否かを決定することで、第1波長から判別用分光スペクトルの波長としての第2波長を決定できる。これにより、判別用分光スペクトルの波長数の増加を抑制しつつ、ラベルの判別精度が低下することを抑制できる。
(2)上記形態において、前記決定することは、前記割合を用いた第1項と、前記第2波長の波長数を用いた第2項とを含む評価関数によって、前記個体が表す前記第2波長の組み合わせごとに評価値を算出し、算出した前記評価値を用いて、いずれの前記組み合わせの前記第2波長を、前記判別用分光スペクトルの前記波長として用いるか否かを決定してもよい。この形態によれば、正しく判別した割合と、第2波長の波長数とを考慮して、判別用分光スペクトルの波長として第2波長を用いるか否かを決定できる。
(3)上記形態において、前記評価関数の前記評価値は、前記割合が高いほど高くなり、また、前記第2波長の前記波長数が少ないほど高くなり、前記決定することは、予め定めた連続する世代数において前記評価値が最も高い前記個体が同じである場合に、前記最も高い前記個体が表す前記第2波長を、前記判別用分光スペクトルの前記波長として用いることを決定することであってもよい。この形態によれば、ラベル判別の精度を向上しつつ、波長数を低減した判別用分光スペクトルを決定できる。
(4)上記形態において、前記評価関数は、さらに、前記第2波長の各波長の分散を用いた第3項を含んでもよい。この形態によれば、さらに、第2波長の各波長の分散を考慮して、判別用分光スペクトルの波長として第2波長を用いるか否かを決定できる。
(5)上記形態において、前記評価関数の前記評価値は、さらに、前記分散が小さいほど高くなり、前記決定することは、予め定めた連続する世代数において前記評価値が最も高い前記個体が同じである場合に、前記最も高い前記個体が表す前記第2波長を、前記判別用分光スペクトルの前記波長として用いることを決定することであってもよい。この形態によれば、さらに、分散が小さい第2波長が判別用分光スペクトルの波長として決定される。
(6)上記形態において、さらに、分光測定装置を用いて前記対象物体の分光スペクトルを取得すること、を含み、前記分光測定装置は、第1光学膜と、ギャップを介して前記第1光学膜と対向し、変位することで前記ギャップの大きさを変更可能に構成された第2光学膜とを有する波長可変干渉フィルターであって、前記ギャップを調整することで特定波長の光を取り出す波長可変干渉フィルターと、波長可変干渉フィルターによって取り出した前記光を用いて前記分光スペクトルを生成する信号処理部と、を備えてもよい。この形態によれば、分光測定装置を用いて容易に分光スペクトルを取得できる。また、評価関数に第2波長の各波長の分散を項として含む場合には、分散が小さい第2波長が判別用分光スペクトルの波長として決定される。これにより、ギャップの調整時間を減少させることができるので、判別用分光スペクトルを取得するための時間を短縮できる。よって、ラベルの判別時間を短縮できる。
(7)上記形態において、さらに、前記遺伝的アルゴリズムを用いて、光源を用いた複数の照射条件から1つの前記照射条件を選択して複数の別個体を生成することと、前記複数の別個体のそれぞれについて、前記別個体が表す前記照射条件を用いて取得した一の条件グループに属する前記対象物体の分光スペクトルから、前記一の条件グループに属する前記対象物体の正解ラベルを再現するように学習した第2モデルに、前記別個体が表す前記照射条件を用いた取得した残りの条件グループに属する前記対象物体の分光スペクトルを入力して、前記残りの条件グループに属する前記対象物体のラベルを判別することと、前記第2モデルを用いた前記ラベルの判別について、前記ラベルが正しく判別された割合に基づいて、前記別個体が表す照射条件を、前記判別用分光スペクトルを得るための前記照射条件として用いるか否かを決定することと、を備えてもよい。この形態によれば、ラベルが正しく判別された割合を用いて判別用分光スペクトルを得るための照射条件を決定できる。これにより、ラベルの判別精度を向上できる。
(8)本開示の他の一形態によれば、対象物体の判別用分光スペクトルを用いて前記対象物体に関連付けられたラベルの判別を行うための、光源の照射条件を決定する決定方法が提供される。この決定方法は、遺伝的アルゴリズムを用いて、複数の前記照射条件から1つの前記照射条件を選択して複数の個体を生成することと、前記複数の個体のそれぞれについて、前記個体が表す前記照射条件を用いて取得した一のグループに属する前記対象物体の分光スペクトルから、前記一のグループに属する前記対象物体の正解ラベルを再現するように学習したモデルに、前記個体が表す前記照射条件を用いて取得した残りのグループに属する前記対象物体の分光スペクトルを入力して、前記残りのグループに属する前記対象物体のラベルを判別することと、前記モデルを用いた前記ラベルの判別について、前記ラベルが正しく判別された割合に基づいて、前記個体が表す前記照射条件を、前記判別用分光スペクトルを得るための前記照射条件として用いるか否かを決定することと、を備える。この形態によれば、ラベルが正しく判別された割合を用いて判別用分光スペクトルを得るための照射条件を決定できる。これにより、ラベルの判別精度を向上できる。
本開示は、上記形態の他に、決定方法を実行するための装置、決定方法をコンピューターに実行させるためのコンピュータープログラム、コンピュータープログラムを記憶する一時的でない記憶媒体などの形態で実現することができる。
10…分光測定装置、12…第1プロセッサー、13…記憶部、14…測定部、15…信号処理部、16…フィルター部、17…発光部、19…切換電源、20…対象物体、30…分光スペクトル、32…分光スペクトル、42…データ要素群、43…学習用データ要素、44…評価用データ要素、46…正解ラベル、50…判別装置、52…記憶装置、54…不揮発性記憶媒体、55…第1モデル、57…第2プロセッサー、59…出力部、70…学習装置、71…記憶媒体、72…データ要素群、73…学習用データ要素、74…評価用データ要素、75…第2モデル、77…第3プロセッサー、78…データ要素群、79…出力部、100,100a…判別システム、132…入力データ要素群、161…第1光学膜、162…第2光学膜、163…波長可変干渉フィルター、165…ギャップ、172…光源、176…支持部材、202…端子、BR…輝度、DR1〜DR5…データ領域、I,I1〜I15…個体、IG,IG1,IG1a,IG2…個体群、Ia…個体、L1…検査光、L2…検査対象光、RD…照射方向、SR…分光反射率、a…角度

Claims (8)

  1. 判別用分光スペクトルの波長の決定方法であって、
    複数の対象物体のそれぞれを、複数の計測波長で撮像し、計測データを得ることと、
    遺伝的アルゴリズムを用いて、前記複数の計測波長の少なくとも1つを含む複数の第1波長から、0個以上の第2波長を選択して複数の個体を生成することと、
    前記複数の個体のそれぞれについて、一のグループに属する前記対象物体の前記計測データと前記第2波長とで決まる第1分光スペクトルから前記一のグループに属する前記対象物体の正解ラベルを再現するように学習された第1モデルに、残りのグループに属する前記対象物体の前記計測データと前記第2波長とで決まる第2分光スペクトルを入力して、前記残りのグループに属する前記対象物体のラベルを判別することと、
    前記ラベルが正しく判別された割合に基づいて、前記判別用分光スペクトルの前記波長として前記第2波長を用いるか否かを決定することと、を備える、決定方法。
  2. 請求項1に記載の決定方法であって、
    前記決定することは、前記割合を用いた第1項と、前記第2波長の波長数を用いた第2項とを含む評価関数によって、前記個体が表す前記第2波長の組み合わせごとに評価値を算出し、算出した前記評価値を用いて、いずれの前記組み合わせの前記第2波長を、前記判別用分光スペクトルの前記波長として用いるか否かを決定する、決定方法。
  3. 請求項2に記載の決定方法であって、
    前記評価関数の前記評価値は、前記割合が高いほど高くなり、また、前記第2波長の前記波長数が少ないほど高くなり、
    前記決定することは、予め定めた連続する世代数において前記評価値が最も高い前記個体が同じである場合に、前記最も高い前記個体が表す前記第2波長を、前記判別用分光スペクトルの前記波長として用いることを決定することである、決定方法。
  4. 請求項2に記載の決定方法であって、
    前記評価関数は、さらに、前記第2波長の各波長の分散を用いた第3項を含む、決定方法。
  5. 請求項4に記載の決定方法であって、
    前記評価関数の前記評価値は、さらに、前記分散が小さいほど高くなり、
    前記決定することは、予め定めた連続する世代数において前記評価値が最も高い前記個体が同じである場合に、前記最も高い前記個体が表す前記第2波長を、前記判別用分光スペクトルの前記波長として用いることを決定することである、決定方法。
  6. 請求項1から請求項5までのいずれか一項に記載の決定方法であって、さらに、
    分光測定装置を用いて前記対象物体の分光スペクトルを取得すること、を含み、
    前記分光測定装置は、
    第1光学膜と、ギャップを介して前記第1光学膜と対向し、変位することで前記ギャップの大きさを変更可能に構成された第2光学膜とを有する波長可変干渉フィルターであって、前記ギャップを調整することで特定波長の光を取り出す波長可変干渉フィルターと、
    波長可変干渉フィルターによって取り出した前記光を用いて前記分光スペクトルを生成する信号処理部と、を備える、決定方法。
  7. 請求項1から請求項6までのいずれか一項に記載の決定方法であって、さらに、
    前記遺伝的アルゴリズムを用いて、光源を用いた複数の照射条件から1つの前記照射条件を選択して複数の別個体を生成することと、
    前記複数の別個体のそれぞれについて、前記別個体が表す前記照射条件を用いて取得した一の条件グループに属する前記対象物体の分光スペクトルから、前記一の条件グループに属する前記対象物体の正解ラベルを再現するように学習した第2モデルに、前記別個体が表す前記照射条件を用いた取得した残りの条件グループに属する前記対象物体の分光スペクトルを入力して、前記残りの条件グループに属する前記対象物体のラベルを判別することと、
    前記第2モデルを用いた前記ラベルの判別について、前記ラベルが正しく判別された割合に基づいて、前記別個体が表す照射条件を、前記判別用分光スペクトルを得るための前記照射条件として用いるか否かを決定することと、を備える、決定方法。
  8. 対象物体の判別用分光スペクトルを用いて前記対象物体に関連付けられたラベルの判別を行うための、光源の照射条件を決定する決定方法であって、
    遺伝的アルゴリズムを用いて、複数の前記照射条件から1つの前記照射条件を選択して複数の個体を生成することと、
    前記複数の個体のそれぞれについて、前記個体が表す前記照射条件を用いて取得した一のグループに属する前記対象物体の分光スペクトルから、前記一のグループに属する前記対象物体の正解ラベルを再現するように学習したモデルに、前記個体が表す前記照射条件を用いて取得した残りのグループに属する前記対象物体の分光スペクトルを入力して、前記残りのグループに属する前記対象物体のラベルを判別することと、
    前記モデルを用いた前記ラベルの判別について、前記ラベルが正しく判別された割合に基づいて、前記個体が表す前記照射条件を、前記判別用分光スペクトルを得るための前記照射条件として用いるか否かを決定することと、を備える、決定方法。
JP2020096980A 2020-06-03 2020-06-03 決定方法 Pending JP2021189113A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020096980A JP2021189113A (ja) 2020-06-03 2020-06-03 決定方法
US17/332,057 US20210381955A1 (en) 2020-06-03 2021-05-27 Determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020096980A JP2021189113A (ja) 2020-06-03 2020-06-03 決定方法

Publications (1)

Publication Number Publication Date
JP2021189113A true JP2021189113A (ja) 2021-12-13

Family

ID=78817274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020096980A Pending JP2021189113A (ja) 2020-06-03 2020-06-03 決定方法

Country Status (2)

Country Link
US (1) US20210381955A1 (ja)
JP (1) JP2021189113A (ja)

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496288B2 (en) * 1997-10-17 2002-12-17 Fujitsu Limited Wavelength multiplexing transmission apparatus and wavelength demultiplexing reception apparatus
JP3737257B2 (ja) * 1997-11-17 2006-01-18 倉敷紡績株式会社 2次元表現によるスペクトルデータの処理方法及び補正方法
US6750964B2 (en) * 1999-08-06 2004-06-15 Cambridge Research And Instrumentation, Inc. Spectral imaging methods and systems
US6900892B2 (en) * 2000-12-19 2005-05-31 Kla-Tencor Technologies Corporation Parametric profiling using optical spectroscopic systems
WO2002061469A2 (en) * 2001-01-15 2002-08-08 3M Innovative Properties Company Multilayer infrared reflecting film with high and smooth transmission in visible wavelength region and laminate articles made therefrom
US6930779B2 (en) * 2001-11-06 2005-08-16 Mcgrew Stephen P. Quantum resonance analytical instrument
US7352469B2 (en) * 2001-11-06 2008-04-01 Mcgrew Stephen P Quantum resonance analytical instrument
JP4938219B2 (ja) * 2001-12-19 2012-05-23 ケーエルエー−テンカー コーポレイション 光学分光システムを使用するパラメトリック・プロフィーリング
US7602488B2 (en) * 2006-06-12 2009-10-13 Neptec Optical Solutions, Inc. High-speed, rugged, time-resolved, raman spectrometer for sensing multiple components of a sample
JP2009204426A (ja) * 2008-02-27 2009-09-10 Sumitomo Electric Ind Ltd 食品検査システム
WO2011079323A2 (en) * 2009-12-24 2011-06-30 Michigan Aerospace Corporation Light processing system and method
US8810796B2 (en) * 2009-04-21 2014-08-19 Michigan Aerospace Corporation Light processing system and method
JP5786424B2 (ja) * 2011-04-11 2015-09-30 セイコーエプソン株式会社 波長可変干渉フィルター、光モジュール、及び電子機器
JP6260076B2 (ja) * 2012-09-19 2018-01-17 セイコーエプソン株式会社 分光装置
JP6160055B2 (ja) * 2012-10-01 2017-07-12 セイコーエプソン株式会社 波長可変干渉フィルター、波長可変干渉フィルターの製造方法、光学装置および光学部品
JP2014215177A (ja) * 2013-04-25 2014-11-17 住友電気工業株式会社 検査装置及び検査方法
WO2015009970A1 (en) * 2013-07-18 2015-01-22 Erythron Llc Spectroscopic measurements with parallel array detector
JP6390090B2 (ja) * 2013-11-19 2018-09-19 セイコーエプソン株式会社 光学フィルターデバイス、光学モジュール、及び電子機器
JP6290697B2 (ja) * 2014-04-22 2018-03-07 浜松ホトニクス株式会社 波形計測装置およびパルス光生成装置
JP2015212750A (ja) * 2014-05-02 2015-11-26 セイコーエプソン株式会社 光学モジュール及び撮像システム
MX2017001472A (es) * 2014-08-19 2017-05-09 Ingrain Inc Metodo y sistema para obtener informacion geoquimica de pirolisis mediante espectroscopia de descomposicion inducida por laser.
WO2016145119A1 (en) * 2015-03-09 2016-09-15 Spectrasensors, Inc. Intrinsically safe spectroscopic analyzer
US11953427B2 (en) * 2015-08-03 2024-04-09 Endress+Hauser Optical Analysis, Inc. Reconstruction of frequency registration for quantitative spectroscopy
JP2017203658A (ja) * 2016-05-10 2017-11-16 住友電気工業株式会社 検査方法及び光学測定装置
JP7006423B2 (ja) * 2018-03-22 2022-02-10 セイコーエプソン株式会社 検量装置および検量方法
US11587491B1 (en) * 2018-10-25 2023-02-21 Baylor University System and method for a multi-primary wide gamut color system
US20230076218A1 (en) * 2020-02-21 2023-03-09 Asml Netherlands B.V. Method for calibrating simulation process based on defect-based process window

Also Published As

Publication number Publication date
US20210381955A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
EP3762795B1 (en) Method, device, system and program for setting lighting condition and storage medium
WO2021106174A1 (ja) 画像処理方法、学習装置及び画像処理装置
KR20080022049A (ko) 화상 처리 장치, 데이터 처리 장치 및 파라미터 조정 방법
US20140231666A1 (en) Charged particle beam device
CN108474737A (zh) 光场显示度量
De Fauw et al. Hierarchical autoregressive image models with auxiliary decoders
WO2020012523A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7444179B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP2005509167A6 (ja) 分光感度の選択を最適化する方法および装置
JP2005509167A (ja) 分光感度の選択を最適化する方法および装置
KR20210081077A (ko) 제품의 양불을 판정하는 방법 및 장치
CN113496486A (zh) 基于高光谱成像技术的猕猴桃货架期快速判别方法
JP2019074777A (ja) 画像処理方法、画像処理装置、および撮像装置
CN101140619A (zh) 图像处理装置、数据处理装置及参数调整方法
CN112584750B (zh) 用于通过自动确定主观视敏度来优化光学辅助件的方法
JP2021189113A (ja) 決定方法
JP4708948B2 (ja) 顔向き特定方法、顔判別方法および装置並びにプログラム
JP6871807B2 (ja) 分類器構築方法、分類器および分類器構築装置
CN117294824B (zh) 激光投影光机的图像优化方法、装置、设备及存储介质
WO2023162426A1 (ja) 画像検査システム及び画像検査方法
JP7351358B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
CN117157514A (zh) 光修正系数预测方法、光修正系数预测装置、机械学习方法、机械学习的前处理方法及学习完毕的学习模型
JP2004239870A (ja) 空間フィルタ、空間フィルタの作成方法、空間フィルタ作成プログラム、画面欠陥の検査方法及び装置
CN117120821A (zh) 光修正系数预测方法、光修正系数预测装置、机械学习方法、机械学习的前处理方法及学习完毕的学习模型
JP4379603B2 (ja) 色処理装置、色処理プログラム、記憶媒体