[go: up one dir, main page]

JP7078944B1 - 物性値予測方法、物性値予測システム及びプログラム - Google Patents

物性値予測方法、物性値予測システム及びプログラム Download PDF

Info

Publication number
JP7078944B1
JP7078944B1 JP2021206742A JP2021206742A JP7078944B1 JP 7078944 B1 JP7078944 B1 JP 7078944B1 JP 2021206742 A JP2021206742 A JP 2021206742A JP 2021206742 A JP2021206742 A JP 2021206742A JP 7078944 B1 JP7078944 B1 JP 7078944B1
Authority
JP
Japan
Prior art keywords
prediction
image
physical property
feature amount
property value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021206742A
Other languages
English (en)
Other versions
JP2023091892A (ja
Inventor
雅子 赤木
トリスタン ハスコエ
セツコウ トウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MEC Co Ltd
Kobe University NUC
Original Assignee
MEC Co Ltd
Kobe University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2021206742A priority Critical patent/JP7078944B1/ja
Application filed by MEC Co Ltd, Kobe University NUC filed Critical MEC Co Ltd
Publication of JP7078944B1 publication Critical patent/JP7078944B1/ja
Application granted granted Critical
Priority to CN202280084244.5A priority patent/CN118742803A/zh
Priority to US18/722,545 priority patent/US20250069371A1/en
Priority to EP22910779.2A priority patent/EP4455653A4/en
Priority to KR1020247019270A priority patent/KR20240127957A/ko
Priority to PCT/JP2022/043940 priority patent/WO2023120061A1/ja
Priority to TW111146957A priority patent/TW202332957A/zh
Publication of JP2023091892A publication Critical patent/JP2023091892A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C60/00—Computational materials science, i.e. ICT specially adapted for investigating the physical or chemical properties of materials or phenomena associated with their design, synthesis, processing, characterisation or utilisation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G01N2021/177—Detector of the video camera type
    • G01N2021/1776—Colour camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/61—Specific applications or type of materials thin films, coatings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/30—Prediction of properties of chemical compounds, compositions or mixtures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/70—Machine learning, data mining or chemometrics
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Analytical Chemistry (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Feedback Control In General (AREA)
  • Image Processing (AREA)

Abstract

Figure 0007078944000001
【課題】機械学習を用いて素材の物性値を予測可能な物性値予測方法、システム及びプログラムを提供する。
【解決手段】物性値予測方法は、予測対象の素材を撮像した予測対象画像Ｇ１を取得し、素材を撮像した画像を説明変数として素材に関する物性値（Ｙ）を出力するように機械学習された予測モデルに対して、予測対象画像Ｇ１を入力して予測対象画像Ｇ１に写る素材に関する物性値（Ｙ）を予測値として出力する。
【選択図】図１

Description

本開示は、機械学習を用いた物性値予測方法、物性値予測システム及びプログラムに関する。
電子基板は銅などの金属と樹脂の積層構造であり、電子基板の品質は、金属と樹脂界面の密着度に対応する。薬品で表面処理を施して粗面化した金属表面の形状を評価することで、電子基板の金属の密着度の評価が可能となる。評価項目の一つとして、例えば密着強度を計測することが挙げられるが、工数がかかるという問題がある。
例えば、特許文献１には、機械学習を用いてゴム材料の物性値を推定することが記載されている。
特開２０２１－６０４５７号公報
上記評価を簡素化するために、表面処理を施した金属の密着強度を機械学習により予測可能にできれば好ましいと考えられる。なお、表面処理を施した金属や密着強度に限定されず、素材の物性値を機械学習により予測可能にできれば好ましいと考えられる。
本開示は、機械学習を用いて素材の物性値を予測可能な物性値予測方法、物性値予測システム及びプログラムを提供する。
本開示の物性値予測方法は、予測対象の素材を撮像した予測対象画像を取得し、素材を撮像した画像を説明変数として前記素材に関する物性値を出力するように機械学習された予測モデルに対して、前記予測対象画像を入力して前記予測対象画像に写る前記素材に関する物性値を予測値として出力する。
第１実施形態の予測システム及び学習システムを示すブロック図。 薬品処理後の銅箔を電子顕微鏡で撮像したＳＥＭ画像の一例を示す図。 実施例１の予測値と実測値の組み合わせのデータをプロットした図。 第１実施形態の予測システムが実行する処理を示すフローチャート。
＜第１実施形態＞
以下、本開示の第１実施形態を、図面を参照して説明する。
［学習システム、予測システム］
第１実施形態の予測システム２（装置）は、予測モデル２１を用いて、薬品で表面処理を施した金属（銅）の表面を撮像した画像に基づいて、金属の物性値（例えば密着強度）を予測する。学習システム１（装置）は、教師データを用いて予測モデル２１を機械学習で構築する。
図１に示すように、予測システム２は、画像取得部２０と、予測部２２と、を有する。学習システム１は、教師データＤ１と、予測モデル２１を学習させる学習部１０とを有する。教師データＤ１は、メモリ１ｂに記憶される。学習部１０は、プロセッサ１ａで実現される。画像取得部２０及び予測部２２は、プロセッサ２ａで実現される。第１実施形態では、１つの装置におけるプロセッサ１ａ，２ａが各部を実現しているが、これに限定されない。例えば、ネットワークを用いて各処理を分散させ、複数のプロセッサが各部の処理を実行するように構成してもよい。すなわち、１又は複数のプロセッサが処理を実行する。
画像取得部２０は、予測対象の素材を撮像した画像Ｇ１を取得する。第１実施形態では、画像取得部２０は、表面処理した金属（銅）の表面を電子顕微鏡で撮像したＳＥＭ画像（グレースケール画像）を取得する。予測対象の素材を撮像した画像Ｇ１は、縦ピクセル数ｈ×横ピクセル数ｗの画像データである。
予測モデル２１は、素材を撮像した画像（例えばＳＥＭ画像、カメラ画像）とその素材に関する物性値（例えば密着強度）とを関連付けた教師データＤ１を用いて、画像を説明変数として入力し素材に関する物性値を出力するように機械学習で構築されたモデルである。学習システム１の学習部１０は、予測結果と教師データの実測値が一致するように、予測モデル２１のパラメータを更新する。図１において、教師データＤ１は、入力画像１～Ｎ（Ｎは学習用画像の数を示す）と、各々の入力画像１～Ｎに対応する実測値である物理量（Ｘ１，Ｘ２，…，ＸＮ）とが対応付けられている。
予測モデル２１は、種々のモデルが利用可能であるが、第１実施形態では、予測モデル２１は、入力画像から特徴量マップＧ２を出力する特徴量マップ出力部２１ａと、特徴量マップＧ２を物性値（Ｙ）に変換する変換部２１ｂとを有する。第１実施形態では、特徴量マップ出力部２１ａは、ＵＮｅｔを用いている。ＵＮｅｔは、Ｕ字型の畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）ベースの学習モデルである。変換部２１ｂは、ＧＡＰ（Global Average Pooling）を用いている。特徴量マップＧ２は、入力画像Ｇ１の縦ピクセルｈに対応するピクセル数ｈ’と、入力画像の横ピクセルｗに対応するピクセル数ｗ’とを乗算した数のピクセル数を有するデータであり、各々のピクセルが特徴量を有する。変換部２１ｂは、特徴量マップＧ２を１つの数である物理量（Ｙ）に変換する。
［実施例１］
実施例１は、入力画像Ｇ１を、薬品処理後の銅箔を電子顕微鏡で撮像したＳＥＭ画像とした例である。図２は、ＳＥＭ画像の一例を示す。ＳＥＭ画像の撮像条件は、倍率は３５００倍、チルト角が４５度である。物理量は、密着強度［Ｎ／ｍｍ］とした。薬品Ａを用いて銅表面を処理した例である。９０枚の画像に対して９０個の密着強度を計測した。９０個のデータのうちの半数を学習用データとして使用し、残り半数のデータを予測に用いた。実測密着強度と予測値の平均二乗誤差が０．０００８であった。図３は、横軸が実測密着強度であり、縦軸が予測した密着強度であり、予測値と実測値の組み合わせのデータをプロットした図である。
［実施例２］
実施例２は、実施例１と同様にＳＥＭ画像を入力画像Ｇ１とした。薬品Ｂを用いて銅表面を処理した例である。７２枚の画像に対して７２個の密着強度を計測した。７２個のうちの半数を学習用データとし、残り半数を予測用データとした。実測密着強度と予測値の平均二乗誤差が０．００１２であった。ＳＥＭ画像の撮像条件は実施例１と同じである。
［実施例３］
実施例３は、実施例１と同様にＳＥＭ画像を入力画像Ｇ１とした。薬品Ｃを用いて銅表面を処理した例である。３９枚の画像に対して３９個の密着強度を計測した。３９個のうちの半数を学習用データとし、残り半数を予測用データとした。実測密着強度と予測値の平均二乗誤差が０．００２１であった。ＳＥＭ画像の撮像条件は実施例１と同じである。
［実施例４］
実施例４は、実施例３のＳＥＭ画像を用いて、１枚のＳＥＭ画像から複数の物性値を推測するようにした例である。具体的には、１つのＵＮｅｔの出力を複数クラスに設定することで、同一のＵＮｅｔから複数の物性値を出力（計算）可能となる。複数の物性値は、密着強度、粗さパラメータ（Ｓｄｒ、Ｓｄｑ）である。密着強度を予測するための第１のＵＮｅｔと、Ｓｄｒを予測するための第２のＵＮｅｔと、Ｓｄｑを予測するための第３のＵＮｅｔとを並列化した構成である。密着強度の平均二乗誤差が０．００１であり、Ｓｄｒの平均二乗誤差が０．０００３であり、Ｓｄｑの平均二乗誤差が０．０８６８であった。
［実施例５］
実施例５は、薬品Ｄを用いて銅表面を処理した例である。入力画像Ｇ１が、ＳＥＭ画像ではなく、光学カメラで撮像したカメラ画像である。カメラ画像は、黒色の背景を分離する処理のみを行っている。カメラ画像に含まれるＲＧＢ成分ごとに３つの単色画像に分け、３つの単色画像を予測モデル２１に入力する。物性値は、表面粗さＲａ（算術平均）とした。９６０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は０．０１５３であった。
なお、ＲＧＢ成分を有するカメラ画像をグレースケール画像に変換して、グレースケール画像の強度（明度）を予測モデル２１に入力することも可能である。グレースケール画像を入力した場合と、ＲＧＢ成分ごとに３つの単色画像を入力した場合に特筆すべき違いが見受けられなかったので、実施例５では、ＲＧＢ成分の方を用いた。
［実施例６］
実施例６は、実施例５と同様にカメラ画像を入力画像Ｇ１としている。薬品Ｄを用いて銅表面を処理した例である。物性値は、ＣＩＥ１９７６ 明度指数Ｌ＊とした。３２０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は１１．０５であった。Ｌ＊は、ＪＩＳＺ ８７８１－４に準拠している。
［実施例７］
実施例７は、実施例５と同様にカメラ画像を入力画像Ｇ１としている。薬品Ｄを用いて銅表面を処理した例である。物性値は、ＣＩＥ１９７６ 色空間における色座標ａ＊とした。３２０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は０．００６２であった。ａ＊は、ＪＩＳＺ ８７８１－４に準拠している。
［実施例８］
実施例８は、実施例５と同様にカメラ画像を入力画像Ｇ１としている。薬品Ｄを用いて銅表面を処理した例である。物性値は、ＣＩＥ１９７６ 色空間における色座標ｂ＊とした。３２０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は０．１２９４であった。ｂ＊は、ＪＩＳＺ ８７８１－４に準拠している。
［素材の物性値の予測方法］
上記予測システム２が実行する、素材の物性値の予測方法を、図４を用いて説明する。
まず、ステップＳＴ１において、画像取得部２０は、予測対象の素材を撮像した予測対象画像を取得する。第１実施形態では、ＳＥＭ画像かカメラ画像を取得する。次のステップＳＴ２，３において、取得した予測対象画像を予測モデル２１に入力して素材に関する物性値を出力する。具体的には、ステップＳＴ２において、特徴量マップ出力部２１ａは、予測対象画像が入力されて特徴量マップＧ２を出力する。ステップＳＴ３において、変換部２１ｂは、特徴量マップＧ２を素材に関する物性値に変換する。
＜変形例＞
（１－１）図１に示す実施形態において、予測モデル２１は、特徴量マップＧ２を出力する特徴量マップ出力部２１ａで構成されているが、特徴量マップを出力せずに、物性値を出力するモデルであってもよい。例えば、ニューラルネットワークの一種であるＲｅｓＮｅｔを使用してもよい。もちろん、画像を処理可能な非線形モデルであれば利用可能である。
（１－２）上記実施形態において、物性値を予測する予測対象の素材は、薬品（エッチング剤、研磨液（化学、電解））などによる化学的反応処理により表面処理を施した金属（銅）の表面であるが、均一で微細な表面形状を持つ素材であれば、これに限定されない。例えば、研磨や圧延、レーザーなどの外力を作用させる機械加工処理により表面処理を施した金属表面であってもよい。各種顔料を分散・混合した塗料の塗装面であってもよい。またこの場合の塗料の性状（液体、粉体等）は限定されない。電解メッキ、無電解メッキ等によりメッキ処理した金属の表面であってもよい。添加剤を添加・分散させて成形加工を行ったフィルムの表面であってもよい。インク受容のための塗工層やその他機能性を与える塗工層を有した紙表面であってもよい。素材は限定されないが、カレンダー成形やエンボス成形等を用いて成形加工された素材表面であってもよい。
（１－３）上記実施形態において、素材に関する物性値として、密着強度を挙げているが、これに限定されない。例えば、密着性、接合性、気密性、撥水性、撥油性、防汚性、摺動性、表面性（光沢、粗度）、色調、感触、熱物性、抗菌性、伝送損失に関する物性値であってもよい。
（１－４）上記実施形態において、素材画像の対象としてＳＥＭ及びカメラにより取得した金属表面の画像を挙げているが、これに限定されない。波形やスペクトル、マッピンク画像、数字等、画像として取り込めるデータも対象となりえる。例として、顕微分光法（赤外、ラマン、UV-Vis等）やエネルギー分散型X線分光法（SEM-EDX）、また、非破壊検査に使用するような超音波検査により得られるスペクトルやそれを用いたマッピング画像等が挙げられる。
以上のように、第１実施形態の物性値予測方法は、１又は複数のプロセッサが実行する方法であって、予測対象の素材を撮像した予測対象画像Ｇ１を取得し、素材を撮像した画像を説明変数として素材に関する物性値（Ｙ）を出力するように機械学習された予測モデルに対して、予測対象画像Ｇ１を入力して予測対象画像Ｇ１に写る素材に関する物性値（Ｙ）を予測値として出力する、としてもよい。
このように、機械学習された予測モデル２１を用いて予測対象画像Ｇ１に写る素材（金属）に関する物性値を予測できるので、試験などで物性値を計測する場合に比べて、金銭コストや時間コストを削減可能となる。
特に限定されないが、第１実施形態のように、予測モデル２１は、入力される画像Ｇ１から特徴量マップＧ２を出力する特徴量マップ出力部２１ａと、特徴量マップＧ２を予測値に変換する変換部２１ｂと、を有する、としてもよい。
これにより、特徴量マップＧ２から予測値が得られるので、予測モデル２１が予測する根拠を特徴量マップＧ２で説明する試みが可能となる。
特に限定されないが、第１実施形態のように、撮像される前記素材は、表面処理を施した金属の表面、塗料の塗装面、メッキ処理した金属の表面、フィルムの表面、紙表面、及び成形加工された素材表面のいずれかである、としてもよい。好適な一例である。
第１実施形態に係るシステムは、上記方法を実行する１又は複数のプロセッサを備える。
第１実施形態に係るプログラムは、上記方法を１又は複数のプロセッサに実行させるプログラムである。
これらプログラムを実行することによっても、上記方法の奏する作用効果を得ることが可能となる。
以上、本開示の実施形態について図面に基づいて説明したが、具体的な構成は、これらの実施形態に限定されるものでないと考えられるべきである。本開示の範囲は、上記した実施形態の説明だけではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
上記の各実施形態で採用している構造を他の任意の実施形態に採用することは可能である。各部の具体的な構成は、上述した実施形態のみに限定されるものではなく、本開示の趣旨を逸脱しない範囲で種々変形が可能である。
例えば、特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現できる。特許請求の範囲、明細書、および図面中のフローに関して、便宜上「まず」、「次に」等を用いて説明したとしても、この順で実行することが必須であることを意味するものではない。
図１に示す各部は、所定プログラムを１又は複数のプロセッサで実行することで実現しているが、各部を専用メモリや専用回路で構成してもよい。上記実施形態のシステム１（２）は、一つのコンピュータのプロセッサ１ａ（２ａ）において各部が実装されているが、各部を分散させて、複数のコンピュータやクラウドで実装してもよい。すなわち、上記方法を１又は複数のプロセッサで実行してもよい。
システム１（２）は、プロセッサ１ａ（２ａ）を含む。例えば、プロセッサ１ａ（２ａ）は、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、またはコンピュータ実行可能命令の実行が可能なその他の処理ユニットとすることができる。また、システム１（２）は、システム１（２）のデータを格納するためのメモリ１ｂ（２ｂ）を含む。一例では、メモリ１ｂ（２ｂ）は、コンピュータ記憶媒体を含み、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたはその他のメモリ技術、ＣＤ－ＲＯＭ、ＤＶＤまたはその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたはその他の磁気記憶デバイス、あるいは所望のデータを格納するために用いることができ、そしてシステム１がアクセスすることができる任意の他の媒体を含む。
Ｇ１…予測対象画像
Ｇ２…特徴量マップ
２…予測システム
２０…画像取得部
２１…予測モデル
２１ａ…特徴量マップ出力部
２１ｂ…変換部
２２…予測部

Claims (5)

  1. 予測対象の素材を撮像した予測対象画像を取得し、
    素材を撮像した画像を説明変数として入力し前記素材に関する物性値を出力するように機械学習された予測モデルに対して、前記予測対象画像を入力して前記予測対象画像に写る前記素材に関する物性値を予測値として出力することを含み、
    前記予測モデルは、入力される画像から特徴量マップを出力する特徴量マップ出力部と、前記特徴量マップを前記予測値に変換する変換部と、を有し、
    前記特徴量マップ出力部は、前記機械学習された学習モデルであり、
    前記特徴量マップは、入力画像の縦ピクセルに対応するピクセル数と、入力画像の横ピクセルに対応するピクセル数とを乗算した数のピクセルを有するデータであり、各々の前記ピクセルが前記素材に関する物性値に関する特徴量を有し、
    前記変換部は、前記特徴量マップを１つの数である前記予測値に変換する、物性値予測方法。
  2. 撮像される前記素材は、表面処理を施した金属の表面、塗料の塗装面、メッキ処理した金属の表面、フィルムの表面、紙表面、及び成形加工された素材表面のいずれかである、請求項１に記載の物性値予測方法。
  3. 予測対象の素材を撮像した予測対象画像を取得する画像取得部と、
    素材を撮像した画像を説明変数として入力し前記素材に関する物性値を出力するように機械学習された予測モデルに対して、前記予測対象画像を入力して前記予測対象画像に写る前記素材に関する物性値を予測値として出力する予測部と、
    を備え、
    前記予測モデルは、入力される画像から特徴量マップを出力する特徴量マップ出力部と、前記特徴量マップを前記予測値に変換する変換部と、を有し、
    前記特徴量マップ出力部は、前記機械学習された学習モデルであり、
    前記特徴量マップは、入力画像の縦ピクセルに対応するピクセル数と、入力画像の横ピクセルに対応するピクセル数とを乗算した数のピクセルを有するデータであり、各々の前記ピクセルが前記素材に関する物性値に関する特徴量を有し、
    前記変換部は、前記特徴量マップを１つの数である前記予測値に変換する、物性値予測システム。
  4. 撮像される前記素材は、表面処理を施した金属の表面、塗料の塗装面、メッキ処理した金属の表面、フィルムの表面、紙表面、及び成形加工された素材表面のいずれかである、請求項４又は５に記載の物性値予測システム。
  5. 請求項１又は２に記載の方法を１又は複数のプロセッサに実行させるプログラム。
JP2021206742A 2021-12-21 2021-12-21 物性値予測方法、物性値予測システム及びプログラム Active JP7078944B1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2021206742A JP7078944B1 (ja) 2021-12-21 2021-12-21 物性値予測方法、物性値予測システム及びプログラム
CN202280084244.5A CN118742803A (zh) 2021-12-21 2022-11-29 物性值预测方法及物性值预测系统
PCT/JP2022/043940 WO2023120061A1 (ja) 2021-12-21 2022-11-29 物性値予測方法、及び物性値予測システム
US18/722,545 US20250069371A1 (en) 2021-12-21 2022-11-29 Physical property value predicting method, and physical property value predicting system
EP22910779.2A EP4455653A4 (en) 2021-12-21 2022-11-29 PHYSICAL PROPERTY VALUE PREDICTION METHOD AND PHYSICAL PROPERTY VALUE PREDICTION SYSTEM
KR1020247019270A KR20240127957A (ko) 2021-12-21 2022-11-29 물성값 예측 방법 및 물성값 예측 시스템
TW111146957A TW202332957A (zh) 2021-12-21 2022-12-07 物性值預測方法及物性值預測系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021206742A JP7078944B1 (ja) 2021-12-21 2021-12-21 物性値予測方法、物性値予測システム及びプログラム

Publications (2)

Publication Number Publication Date
JP7078944B1 true JP7078944B1 (ja) 2022-06-01
JP2023091892A JP2023091892A (ja) 2023-07-03

Family

ID=81845517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021206742A Active JP7078944B1 (ja) 2021-12-21 2021-12-21 物性値予測方法、物性値予測システム及びプログラム

Country Status (7)

Country Link
US (1) US20250069371A1 (ja)
EP (1) EP4455653A4 (ja)
JP (1) JP7078944B1 (ja)
KR (1) KR20240127957A (ja)
CN (1) CN118742803A (ja)
TW (1) TW202332957A (ja)
WO (1) WO2023120061A1 (ja)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014039504A (ja) 2012-08-23 2014-03-06 Fuji Xerox Co Ltd 画像処理装置、プログラム及び画像処理システム
JP2018029568A (ja) 2016-08-26 2018-03-01 国立大学法人静岡大学 萎れ具合予測システム及び萎れ具合予測方法
JP2018171039A (ja) 2017-03-31 2018-11-08 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び観察システム
US20190347526A1 (en) 2018-05-09 2019-11-14 Adobe Inc. Extracting material properties from a single image
JP2020041290A (ja) 2018-09-07 2020-03-19 学校法人金沢工業大学 コンクリートの最適締固め判定施工システム
WO2020116085A1 (ja) 2018-12-05 2020-06-11 ソニー株式会社 推定装置、推定方法、及び推定プログラム
JP2020128900A (ja) 2019-02-07 2020-08-27 国立大学法人北海道大学 ゴム材料の特性推定方法、システム及びプログラム
WO2020262615A1 (ja) 2019-06-28 2020-12-30 関西ペイント株式会社 光輝性顔料判定方法、光輝性顔料判定装置および光輝性顔料判定プログラム
JP2019124539A5 (ja) 2018-01-15 2021-02-04
JP2021051380A (ja) 2019-09-20 2021-04-01 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP2021060457A (ja) 2019-10-03 2021-04-15 国立大学法人北海道大学 ゴム材料の物性推定方法、システム及びプログラム
JP2021135199A (ja) 2020-02-27 2021-09-13 太平洋セメント株式会社 骨材の品質推定方法およびコンクリート製造方法
JP2021144402A (ja) 2020-03-11 2021-09-24 株式会社ジェイテクト 品質評価に用いられる学習モデルの製造方法、学習システム、品質評価システム、及び、品質評価方法
JP2021155984A (ja) 2020-03-26 2021-10-07 前田道路株式会社 アスファルト混合物の成分情報推定システム、アスファルトプラント、及び、アスファルト混合物の成分情報推定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7133927B2 (ja) 2018-01-15 2022-09-09 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014039504A (ja) 2012-08-23 2014-03-06 Fuji Xerox Co Ltd 画像処理装置、プログラム及び画像処理システム
JP2018029568A (ja) 2016-08-26 2018-03-01 国立大学法人静岡大学 萎れ具合予測システム及び萎れ具合予測方法
JP2018171039A (ja) 2017-03-31 2018-11-08 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び観察システム
JP2019124539A5 (ja) 2018-01-15 2021-02-04
US20190347526A1 (en) 2018-05-09 2019-11-14 Adobe Inc. Extracting material properties from a single image
JP2020041290A (ja) 2018-09-07 2020-03-19 学校法人金沢工業大学 コンクリートの最適締固め判定施工システム
WO2020116085A1 (ja) 2018-12-05 2020-06-11 ソニー株式会社 推定装置、推定方法、及び推定プログラム
JP2020128900A (ja) 2019-02-07 2020-08-27 国立大学法人北海道大学 ゴム材料の特性推定方法、システム及びプログラム
WO2020262615A1 (ja) 2019-06-28 2020-12-30 関西ペイント株式会社 光輝性顔料判定方法、光輝性顔料判定装置および光輝性顔料判定プログラム
JP2021051380A (ja) 2019-09-20 2021-04-01 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP2021060457A (ja) 2019-10-03 2021-04-15 国立大学法人北海道大学 ゴム材料の物性推定方法、システム及びプログラム
JP2021135199A (ja) 2020-02-27 2021-09-13 太平洋セメント株式会社 骨材の品質推定方法およびコンクリート製造方法
JP2021144402A (ja) 2020-03-11 2021-09-24 株式会社ジェイテクト 品質評価に用いられる学習モデルの製造方法、学習システム、品質評価システム、及び、品質評価方法
JP2021155984A (ja) 2020-03-26 2021-10-07 前田道路株式会社 アスファルト混合物の成分情報推定システム、アスファルトプラント、及び、アスファルト混合物の成分情報推定方法

Also Published As

Publication number Publication date
JP2023091892A (ja) 2023-07-03
EP4455653A4 (en) 2025-03-19
CN118742803A (zh) 2024-10-01
KR20240127957A (ko) 2024-08-23
US20250069371A1 (en) 2025-02-27
EP4455653A1 (en) 2024-10-30
WO2023120061A1 (ja) 2023-06-29
TW202332957A (zh) 2023-08-16

Similar Documents

Publication Publication Date Title
Zhan et al. No-reference image sharpness assessment based on maximum gradient and variability of gradients
CN109808183B (zh) 基于神经网络的3d打印误差补偿方法、系统、装置
JP5063076B2 (ja) 光輝性顔料の同定方法、同定システム、同定プログラム及びその記録媒体
JP2011506961A5 (ja)
JP2019500588A (ja) 塗料表面の質感パラメータを決定するための方法
US20230304941A1 (en) System and method for assessing a coated surface with respect to surface defects
JP7078944B1 (ja) 物性値予測方法、物性値予測システム及びプログラム
JP7497086B2 (ja) 構造解析装置
CN112862066A (zh) 用于监控油漆的搅拌混合均匀性的神经网络的训练方法
Mossina et al. Conformal semantic image segmentation: Post-hoc quantification of predictive uncertainty
JP7076867B1 (ja) 物性値予測方法、物性値予測システム及びプログラム
CN114689604A (zh) 具有光滑表面的待测物于光学检测上的影像处理方法及其检测系统
WO2022202365A1 (ja) 検査支援システム、検査支援方法、及びプログラム
Jadhav et al. Deep learning-based denoising of acoustic images generated with point contact method
Stursa et al. Efficient dataset extension using generative networks for assessing degree of coating degradation around scribe
CN117480382A (zh) 评价方法、评价装置和计算机程序
JP2021136024A (ja) 画像生成装置、ゴム組成物の配合推定装置及び学習装置
CN113870374A (zh) 一种自适应材料背景色的多尺度黑白散斑设计方法
JP2024042521A (ja) 色情報推定方法および色情報推定装置
JP2013213712A (ja) 画質評価方法、画質評価装置および画質評価プログラム
Lynn et al. Blind Underwater Image Quality Assessment Using Ensemble of Vision Transformer
JP2012002532A (ja) 劣化診断方法、劣化診断装置及び劣化診断プログラム
JP7128471B2 (ja) 塗色評価用の等色範囲設定方法及び等色範囲設定装置
JP2023120753A (ja) 印刷適性評価装置および印刷適性評価方法
Hagara et al. Processing potential and analysis of aspects influencing the results of analyses performed by digital image correlation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211224

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211224

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20220106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220506

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220511

R150 Certificate of patent or registration of utility model

Ref document number: 7078944

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350