[go: up one dir, main page]

JP2022526473A - 情報を取得するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム - Google Patents

情報を取得するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム Download PDF

Info

Publication number
JP2022526473A
JP2022526473A JP2021541617A JP2021541617A JP2022526473A JP 2022526473 A JP2022526473 A JP 2022526473A JP 2021541617 A JP2021541617 A JP 2021541617A JP 2021541617 A JP2021541617 A JP 2021541617A JP 2022526473 A JP2022526473 A JP 2022526473A
Authority
JP
Japan
Prior art keywords
image
sample
defect
feature
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021541617A
Other languages
English (en)
Other versions
JPWO2021179565A5 (ja
Inventor
スゥー，イエ
レェン，スゥクゥー
ニィエ，レェィ
フアン，フアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010165825.4A external-priority patent/CN111402220B/zh
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022526473A publication Critical patent/JP2022526473A/ja
Publication of JPWO2021179565A5 publication Critical patent/JPWO2021179565A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本出願の実施形態は、情報を取得するための方法および装置を開示し、クラウドコンピューティング技術分野に関わる。該方法の一つの具体的な実施形態は、検出対象画像から少なくとも一つの画像特徴を取得し、前記検出対象画像は検出対象物体の画像を含み、前記画像特徴は前記検出対象物体の表面特徴情報を表すために用いられるステップと、前記検出対象画像と前記少なくとも一つの画像特徴を予め訓練された欠陥検出モデルに導入し、前記検出対象物体に対応する欠陥情報を取得し、前記欠陥検出モデルはサンプル画像、サンプル画像特徴およびサンプル欠陥情報によって訓練されてなり、前記検出対象画像と少なくとも一つの画像特徴との対応関係を表すために用いられるステップとを含む。この実施形態は、検出対象物体の欠陥情報の取得精度を高めるのに役立つ。【選択図】図２

Description

関連出願の相互参照
本出願は、２０２０年３月１１日に提出された、出願番号が２０２０１０１６５８２５．４で、発明の名称が「情報を取得するための方法および装置」である中国特許出願に基づく優先権を主張し、当該特許出願の全文を引用により本出願に組み込む。
本出願の実施形態は、コンピュータ技術分野に関し、具体的に情報を取得するための方法および装置に関する。
科学技術の発展に伴い、多くの物品は大規模に産業化されることができる。物品を生産する過程では、物品の欠陥を引き起こす要因が多数存在し、さらに物品の品質に影響を及ぼす問題がある可能性がある。
このために、通常は２つの方法で物品の品質を検出する。第１種は可能な欠陥を探すために技術者によって物品の品質を検出することである。第２種は設備によって物品の品質を検出することであるが、設備の場合も技術者の経験に基づいて関連する設定を行い、欠陥を検出する効果は人工と基本的に同じである。しかも休むことなく長時間にわたって大量の物品を検出することができる。
本出願の実施形態は、情報を取得するための方法および装置を提供する。
第１の態様において、本出願の実施形態は、検出対象画像から少なくとも一つの画像特徴を取得し、前記検出対象画像は検出対象物体の画像を含み、前記画像特徴は前記検出対象物体の表面特徴情報を表すために用いられる、ステップと、前記検出対象画像と前記少なくとも一つの画像特徴を予め訓練された欠陥検出モデルに導入し、前記検出対象物体に対応する欠陥情報を取得し、前記欠陥検出モデルはサンプル画像、サンプル画像特徴およびサンプル欠陥情報によって訓練されてなり、前記検出対象画像と少なくとも一つの画像特徴との対応関係を表すために用いられるステップとを含む情報を取得するための方法を提供する。
いくつかの実施形態において、前記の、検出対象画像から少なくとも一つの画像特徴を取得するステップは、前記検出対象物体の、色特徴、構造特徴および平面特徴のうちの少なくとも一つを含む基準特徴を取得することと、前記基準特徴に基づいて、カラーコントラスト強調、フィルタリング、テクスチャ採集のうちの少なくとも一つを含む設定方式により前記検出対象画像を画像処理し、対応する画像特徴を得ることとを含む。
いくつかの実施形態において、前記の、前記検出対象画像と前記少なくとも一つの画像特徴を予め訓練された欠陥検出モデルに導入し、前記検出対象物体に対応する欠陥情報を取得するステップは、前記検出対象画像と前記少なくとも一つの画像特徴を前記欠陥検出モデルの対応する入力チャネルに導入し、前記検出対象物体に対応する欠陥情報を得ることを含む。
いくつかの実施形態において、前記欠陥検出モデルは、それぞれサンプル画像およびサンプル画像に対応する少なくとも一つのサンプル画像特徴を含む複数のサンプル情報セットと、前記複数のサンプル情報セットのそれぞれに対応するサンプル欠陥情報とを取得するステップと、前記複数のサンプル情報セットのそれぞれを入力とし、前記複数のサンプル情報セットのそれぞれに対応する前記サンプル欠陥情報を出力として、欠陥検出モデルを訓練して得るステップとによって訓練されて得られる。
いくつかの実施形態において、前記の、前記複数のサンプル情報セットのそれぞれを入力とし、前記複数のサンプル情報セットのそれぞれに対応する前記サンプル欠陥情報を出力として、欠陥検出モデルを訓練して得るステップは、前記複数のサンプル情報セットのそれぞれを初期化欠陥検出モデルに順次入力し、前記複数のサンプル情報セットのそれぞれに対応する予測欠陥情報を得、前記複数のサンプル情報セットのそれぞれに対応する予測欠陥情報と該サンプル情報セットに対応する前記サンプル欠陥情報とを比較し、前記初期化欠陥検出モデルの予測精度を得、前記予測精度が予め設定された精度閾値よりも大きいか否かを判定し、前記予測精度が前記予め設定された精度閾値を超える場合、前記初期化欠陥検出モデルを訓練済み欠陥検出モデルとする訓練ステップを実行することを含む。
いくつかの実施形態において、前記の、前記複数のサンプル情報セットのそれぞれを入力とし、前記複数のサンプル情報セットのそれぞれに対応する前記サンプル欠陥情報を出力として、欠陥検出モデルを訓練して得るステップは、前記予測精度が前記予め設定された精度閾値以下であることに応答して、前記初期化欠陥検出モデルのパラメータを調整し、前記訓練ステップを引き続き実行することを含む。
第２の態様において、本出願の実施形態は、検出対象画像から少なくとも一つの画像特徴を取得するように構成される特徴取得ユニットであって、前記検出対象画像は検出対象物体の画像を含み、前記画像特徴は前記検出対象物体の表面特徴情報を表すために用いられる特徴取得ユニットと、前記検出対象画像と前記少なくとも一つの画像特徴を予め訓練された欠陥検出モデルに導入し、前記検出対象物体に対応する欠陥情報を取得するように構成される欠陥情報取得ユニットであって、前記欠陥検出モデルはサンプル画像、サンプル画像特徴およびサンプル欠陥情報によって訓練されてなり、前記検出対象画像と少なくとも一つの画像特徴との対応関係を表すために用いられる欠陥情報取得ユニットと、を含む情報を取得するための装置を提供する。
いくつかの実施形態において、前記特徴取得ユニットは、前記検出対象物体の、色特徴、構造特徴および平面特徴のうちの少なくとも一つを含む基準特徴を取得するように構成される基準特徴取得サブユニットと、前記基準特徴に基づいて、カラーコントラスト強調、フィルタリング、テクスチャ採集のうちの少なくとも一つを含む設定方式により前記検出対象画像を画像処理し、対応する画像特徴を得るように構成される画像特徴取得サブユニットとを含む。
いくつかの実施形態において、前記欠陥情報取得ユニットは、前記検出対象画像と前記少なくとも一つの画像特徴を前記欠陥検出モデルの対応する入力チャネルに導入し、前記検出対象物体に対応する欠陥情報を得るように構成される情報入力サブユニットを含む。
いくつかの実施形態において、前記装置は欠陥検出モデルを訓練するための欠陥検出モデル訓練ユニットを含み、前記欠陥検出モデル訓練ユニットは、それぞれサンプル画像およびサンプル画像に対応する少なくとも一つのサンプル画像特徴を含む複数のサンプル情報セットと、前記複数のサンプル情報セットのそれぞれに対応するサンプル欠陥情報とを取得するように構成されるサンプル取得サブユニットと、前記複数のサンプル情報セットのそれぞれを入力とし、前記複数のサンプル情報セットのそれぞれに対応する前記サンプル欠陥情報を出力として、欠陥検出モデルを訓練して得るように構成されるモデル訓練サブユニットとを含む。
いくつかの実施形態において、前記モデル訓練サブユニットは、前記複数のサンプル情報セットのそれぞれを初期化欠陥検出モデルに順次入力し、前記複数のサンプル情報セットのそれぞれに対応する予測欠陥情報を得、前記複数のサンプル情報セットのそれぞれに対応する予測欠陥情報と該サンプル情報セットに対応する前記サンプル欠陥情報とを比較し、前記初期化欠陥検出モデルの予測精度を得、前記予測精度が予め設定された精度閾値よりも大きいか否かを判定し、前記予測精度が前記予め設定された精度閾値を超える場合、前記初期化欠陥検出モデルを訓練済み欠陥検出モデルとするように構成されるモデル訓練モジュールを含む。
いくつかの実施形態において、前記モデル訓練サブユニットは、前記予測精度が前記予め設定された精度閾値以下であることに応答して、前記初期化欠陥検出モデルのパラメータを調整し、前記モデル訓練モジュールに返送するように構成されるパラメータ調整モジュールを含む。
第３の態様において、本出願の実施形態は、１つまたは複数のプロセッサと、１つまたは複数のプログラムを格納するための記憶装置と、を備える電子機器であって、前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行されるときに、前記１つまたは複数のプロセッサに前記第１の態様に記載の情報を取得するための方法が実装される電子機器を提供する。
第４の態様において、本出願の実施形態は、コンピュータプログラムが格納されたコンピュータ可読媒体であって、該プログラムがプロセッサによって実行されるときに、前記第１の態様に記載の情報を取得するための方法が実装されることを特徴とするコンピュータ可読媒体を提供する。
本出願の実施形態が提供する情報を取得するための方法および装置は、まず検出対象画像から少なくとも一つの画像特徴を取得し、次に検出対象画像と少なくとも一つの画像特徴を予め訓練された欠陥検出モデルに導入し、前記検出対象物体に対応する欠陥情報を得る。これにより、検出対象物体の欠陥情報の取得精度を高めるのに役立つ。
本出願の他の特徴、目的および利点は、以下の図面を参照してなされる非限定的な実施形態に係る詳細な説明を読むことにより、より明らかになるであろう。
本出願の一実施形態を適用可能な例示的なシステムアーキテクチャを示す図である。 本出願に係る情報を取得するための方法の一実施形態を示すフローチャートである。 本出願に係る情報を取得するための方法の一応用シーンを示す概略図である。 本出願に係る情報を取得するための方法の一実施形態を示すフローチャートである。 本出願に係る情報を取得するための装置の一実施形態を示す構造概略図である。 本出願の実施形態を達成するために適用される電子機器の構造概略図である。
以下、図面および実施形態を参照しながら本出願をより詳細に説明する。ここで述べている具体的な実施形態は関連発明を説明するためのものにすぎず、当該発明を限定するものではないことを理解すべきである。また、説明の便宜上、図面には発明に関連する部分のみが示されていることに留意されたい。
なお、本出願の実施形態および実施形態における特徴は、矛盾を生じない限り、相互に組み合わせることができる。以下、図面および実施形態を参照しながら本出願を詳細に説明する。
図１は、本出願の実施形態に係る情報を取得するための方法または情報を取得するための装置が適用可能な例示的なシステムアーキテクチャ１００を示している。以下、図面および実施形態を参照しながら本出願をより詳細に説明する。
図１に示すように、システムアーキテクチャ１００は、画像採集装置１０１、１０２、１０３、ネットワーク１０４、およびサーバ１０５を含んでもよい。ネットワーク１０４は、画像採集装置１０１、１０２、１０３とサーバ１０５の間で通信リンクを提供するための媒体として使用される。ネットワーク１０４は、有線、無線通信リンク又は光ファイバケーブルなどの様々なタイプの接続を含んでもよい。
メッセージを送受信するために、画像採集装置１０１、１０２、１０３を使用してネットワーク１０４を介してサーバ１０５と情報のやり取りをすることができる。画像採集装置１０１、１０２、１０３には、画像採集アプリケーション、画像調整アプリケーション、画像圧縮アプリケーション、画像暗号化アプリケーションなど、様々な画像処理アプリケーションをインストールすることができる。
画像採集装置１０１、１０２、１０３は、表示画面を有し、画像採集をサポートする様々な電子機器であってもよく、遠隔カメラ、デジタルカメラ、監視カメラなどが挙げられる。ここでは特に限定しない。
サーバ１０５は、様々なサービスを提供するサーバ、例えば、画像採集装置１０１、１０２、１０３から送信された検出対象画像をサポートする欠陥検出サーバであってもよい。欠陥検出サーバは、受信した検出対象画像等のデータに対して解析等の処理を行い、検出対象画像に対応する欠陥情報を取得することができる。
なお、本出願の実施形態に係る情報を取得するための方法は、通常にサーバ１０５によって実行され、これに応じて、情報を取得するための装置は、通常にサーバ１０５に設けられている。
なお、サーバは、ハードウェアであってもよく、ソフトウェアであってもよい。サーバがハードウェアである場合、複数のサーバから構成される分散サーバクラスターとしても、単一のサーバとしても実装され得る。サーバがソフトウェアである場合、複数のソフトウェア又はソフトウェアモジュール（例えば、分散サービスを提供するためのもの）として実装され得、又は単一のソフトウェア若しくはソフトウェアモジュールとして実装され得る。ここでは特に限定しない。
図１における画像採集装置、ネットワークおよびサーバの数は例示的なものに過ぎないことを理解すべきである。実装の必要性に応じて、画像採集装置、ネットワークおよびサーバの数を任意に加減してもよい。
次に、図２を参照し、本出願に係る情報を取得するための方法の一実施形態のフロー２００を示している。この情報を取得するための方法は、次のステップ（ステップ２０１～２０２）を含む。
ステップ２０１、検出対象画像から少なくとも一つの画像特徴を取得する。
本実施形態において、情報を取得するための方法の実行主体（例えば図１に示すサーバ１０５）は有線接続方式又は無線接続方式により画像採集装置１０１、１０２、１０３から検出対象画像を受信することができる。そのうち、本出願の画像採集装置１０１、１０２、１０３は、生産の各段階における物品の検出対象画像を取得するために、物品の生産ラインの複数の位置に設置され得る。すなわち、本出願の検出対象画像は、検出対象物体の画像を含む。注意すべきこととして、前記無線接続方式は、３Ｇ／４Ｇ接続、ＷｉＦｉ接続、ブルートゥース（登録商標）接続、ＷｉＭＡＸ（登録商標）接続、Ｚｉｇｂｅｅ接続、ＵＷＢ（ｕｌｔｒａ ｗｉｄｅｂａｎｄ，超広帯域）接続、およびその他の従来のまたは将来開発される無線接続方式を含むことができるが、これらに限定されない。
従来の装置によって物品の欠陥を検出する過程において、装置の撮影角度、手動で物品に触れることができないなどの理由により、装置がある光線に敏感でない、または手動で触れる必要があるなどの欠陥を正確に検出することは困難である。
そのために、本出願は検出対象画像を取得した後、検出対象物体の表面に存在可能な欠陥を識別するために検出対象画像を直接検出するのではなく、検出対象画像に対して関連処理を行って、検出対象画像から少なくとも一つの画像特徴を取得する。ここで、前記画像特徴は前記検出対象物体の表面特徴情報を表すために用いることができる。
本実施形態のいくつかのオプション的な実施形態において、前記の、検出対象画像から少なくとも一つの画像特徴を取得するステップは、次のステップ１～ステップ２を含んでもよい。
ステップ１、前記検出対象物体の基準特徴を取得する。
実行主体は、まず検出対象画像から検出対象物体を認識し、次にクエリすることで、データベースなどのデータ記憶装置から、対応する検出対象物体の基準特徴を取得する。検出対象物体は、ノートパソコン、マザーボード、ディスプレイ、シリコンウェハなどの異なるオブジェクトであってもよい。したがって、異なる検出対象物体にはその対応する基準特徴がある。ここで、前記基準特徴は、色特徴、構造特徴、平面特徴（すなわち検出対象物体の複数の面）、材料特徴、光感応特徴などのうちの少なくとも一つを含んでもよい。基準特徴は他の特徴であってもよく、具体的には実際の検出対象物体に応じて決定される。
ステップ２、前記基準特徴に基づいて、設定方式により前記検出対象画像に対して画像処理を行い、対応する画像特徴を得る。
画像採集装置１０１、１０２、１０３は、検出対象画像を採集する際に、検出対象物体に関する基準特徴の画像を取得することができる。すなわち、検出対象画像には、検出対象物体に関する基準特徴の画像特徴が含まれている。異なる基準特徴に対し、実行主体は、検出対象画像から対応する画像特徴を抽出するために、異なる方式で検出対象画像を処理することができる。ここで、前記設定方式は、カラーコントラスト強調、フィルタリング、テクスチャ採集のうちの少なくとも一つを含んでもよい。このように、検出対象物体その自体の基準特徴に対して異なる方式で画像特徴を抽出することができ、且つ肉眼で発見しにくい欠陥（例えば検出対象物体のテクスチャ特徴であってもよい）を採集することができ、取得された欠陥情報の精度および有効性を向上させることに役立つ。
ステップ２０２、前記検出対象画像と前記少なくとも一つの画像特徴を予め訓練された欠陥検出モデルに導入し、前記検出対象物体に対応する欠陥情報を取得する。
画像特徴を取得した後、実行主体は、検出対象画像と少なくとも一つの画像特徴を予め訓練された欠陥検出モデルに導入することができる。前記説明から分かるように、異なる検出対象物体は異なる基準特徴および画像特徴を有し、したがって、ここでの欠陥検出モデルは、検出対象画像および対応する画像特徴を処理できるモデルである。欠陥検出モデルは、検出対象画像と画像特徴に基づいて、検出対象画像における検出対象物体の欠陥情報を検出する。これにより、取得された欠陥情報の精度が向上された。ここで、前記欠陥検出モデルは、サンプル画像、サンプル画像特徴およびサンプル欠陥情報に基づいて訓練されて得られ、前記検出対象画像と少なくとも一つの画像特徴との対応関係を表すためのものである。
本実施形態のいくつかのオプション的な実施形態において、前記の、前記検出対象画像と前記少なくとも一つの画像特徴を予め訓練された欠陥検出モデルに導入し、前記検出対象物体に対応する欠陥情報を取得するステップは、前記検出対象画像と前記少なくとも一つの画像特徴を前記欠陥検出モデルの対応する入力チャネルに導入し、前記検出対象物体に対応する欠陥情報を得ることを含んでもよい。
本出願の欠陥検出モデルは複数の入力チャネルを有してもよく、各入力チャネルは異なる入力情報を入力することができる。異なる入力情報が欠陥検出モデルに入力された後、欠陥検出モデルに対応するネットワーク構造又は計算ユニットで処理することができ、複数の画像特徴と検出対象画像の融合が達成され、取得された欠陥情報の精度および有効性を向上させることに役立つ。
次に、本実施形態に係る情報を取得するための方法の応用シーンを示す概略図である図３を参照する。図３の応用シーンにおいて、画像採集装置１０１は、採集された、検出対象物体ＸＸＸの画像を含む検出対象画像を、ネットワーク１０４を介してサーバ１０５に送信する。サーバ１０５は、検出対象画像から少なくとも一つの画像特徴を取得し、次に検出対象画像と少なくとも一つの画像特徴を欠陥検出モデルに導入し、検出対象物体に対応する欠陥情報を得ることは、検出対象物がＸＸＸであり、欠陥情報が１、表面キズ （ｓｃｒａｔｃｈ）、２、色ムラ（Ｃｏｌｏｒ ｕｎｅｖｅｎｎｅｓｓ）、３、表面不純物であり得る。
本出願の前記実施形態が提供する方法は、まず検出対象画像から少なくとも一つの画像特徴を取得し、次に検出対象画像と少なくとも一つの画像特徴を予め訓練された欠陥検出モデルに導入し、前記検出対象物体に対応する欠陥情報を取得する。これにより、取得された検出対象物体の欠陥情報の精度を高めるのに役立つ。
さらに、欠陥検出モデルの訓練方法の一実施形態のフロー４００を示す図４を参照する。該欠陥検出モデルの訓練方法のフロー４００は、次のステップ（４０１～４０６）を含む。
ステップ４０１、複数のサンプル情報セットと、前記複数のサンプル情報セットのそれぞれに対応するサンプル欠陥情報を取得する。
本実施形態において、欠陥検出モデルの訓練方法の実行主体（例えば、図１に示すサーバ１０５）は、複数のサンプル情報セットと、前記複数のサンプル情報セットのそれぞれに対応するサンプル欠陥情報とを取得することができる。
本実施形態において、実行主体は、複数のサンプル情報セットを取得して当業者に再生することができ、当業者は経験に基づいて複数のサンプル情報セットのそれぞれにサンプル欠陥情報をマークすることができる。ここで、前記サンプル情報セットは、サンプル画像と、サンプル画像に対応する少なくとも一つのサンプル画像特徴を含んでもよい。
本実施形態のいくつかのオプション的な実施形態において、前記サンプル画像特徴は、前記設定方式によってサンプル画像に対して特徴抽出を行うステップによって得られる。
実行主体は、前記設定方式により、サンプル画像から少なくとも一つの画像特徴を抽出することができる。なお、サンプル画像に、対応する画像特徴が存在する場合、対応する設定方式によってサンプル画像特徴を抽出することができる。サンプル画像に、対応する画像特徴が存在しない場合、対応する設定方式によってサンプル画像特徴を抽出することができない。したがって、サンプル画像特徴は前記設定方式以下となる。
ステップ４０２、前記複数のサンプル情報セットのそれぞれを初期化欠陥検出モデルに順次入力し、前記複数のサンプル情報セットのそれぞれに対応する予測欠陥情報を取得する。
本実施形態では、実行主体は、ステップ４０１で取得した複数のサンプル情報セットに基づいて、複数のサンプル情報セットのそれぞれに含まれるサンプル画像と、サンプル画像に対応する少なくとも一つのサンプル画像特徴とを、初期化欠陥検出モデルの異なる入力チャネルに順次入力することにより、複数のサンプル情報セットのそれぞれに対応する予測欠陥情報を取得してもよい。ここで、実行主体は、各サンプル情報セットを初期化欠陥検出モデルの入力側から入力し、初期化欠陥検出モデルにおける各層のパラメータによって順次処理し、初期化欠陥検出モデルの出力側から出力することができ、出力側から出力される情報は、該サンプル情報セットに対応する予測欠陥情報である。ここで、初期化欠陥検出モデルは、訓練されていない深層学習モデル又は一部訓練された深層学習モデルであってもよく、その各層に初期化パラメータが設けられ、初期化パラメータは初期化欠陥検出モデルの訓練中に連続調整されることができる。各サンプル画像特徴は、対応するネットワーク構造または計算ユニットでデータ処理に参加し、複数のサンプル画像特徴とサンプル画像の有機融合は実現される。
ステップ４０３、前記複数のサンプル情報セットのそれぞれに対応する予測欠陥情報と、該サンプル情報セットに対応する前記サンプル欠陥情報とを比較して、前記初期化欠陥検出モデルの予測精度を得る。
本実施形態において、ステップ４０２で得られた複数のサンプル情報セットのそれぞれに対応する予測欠陥情報に基づき、実行主体は、複数のサンプル情報セットのそれぞれに対応する予測欠陥情報と該サンプル情報セットに対応するサンプル欠陥情報とを比較することにより、初期化欠陥検出モデルの予測精度を得ることができる。具体的には、１つのサンプル情報セットに対応する予測欠陥情報が、該サンプル情報セットに対応するサンプル欠陥情報と同一であるかまたは近似している場合、初期化欠陥検出モデルの予測は正しいとされる。１つのサンプル情報セットに対応する予測欠陥情報が、該サンプル情報セットに対応するサンプル欠陥情報と異なるであるかまたは近似していない場合、初期化欠陥検出モデルの予測は誤ったとされる。ここで、実行主体は、全サンプル数に対する予測正解数の比率を算出し、この比率を初期化欠陥検出モデルの予測精度として確定してもよい。
ステップ４０４、前記予測精度が予め設定された精度閾値よりも大きいか否かを判定する。
本実施形態において、ステップ４０３で得られた初期化欠陥検出モデルの予測精度に基づき、実行主体は、初期化欠陥検出モデルの予測精度を予め設定された精度閾値と比較することができる。予め設定された精度閾値を超える場合、ステップ４０５を実行する。予め設定された精度閾値以下である場合、ステップ４０６を実行する。
ステップ４０５、前記初期化欠陥検出モデルを訓練済み欠陥検出モデルとする。
本実施形態において、初期化欠陥検出モデルの予測精度が予め設定された精度閾値を超える場合、該欠陥検出モデルの訓練が完了したと意味し、この場合、実行主体は、初期化欠陥検出モデルを訓練済み欠陥検出モデルとすることができる。
ステップ４０６、前記初期化欠陥検出モデルのパラメータを調整する。
本実施形態において、初期化欠陥検出モデルの予測精度が予め設定された精度閾値以下である場合、実行主体は、初期化欠陥検出モデルのパラメータを調整することができ、且つ前記検出対象画像と少なくとも一つの画像特徴との対応関係を表すことができる深層学習モデルの訓練が完了するまで、ステップ４０２に戻って実行することができる。
さらに図５を参照すると、前記の図に示された方法の実施形態として、本出願は、情報を取得するための装置の一実施形態を提供し、該装置の実施形態は、図２に示された方法の実施形態に対応しており、該装置は、具体的に様々な電子機器に適用することができる。
図５に示すように、本実施形態の情報を取得するための装置５００は、特徴取得ユニット６０１と、欠陥情報取得ユニット５０２とを含んでもよい。ここで、特徴取得ユニット５０１は、検出対象画像から少なくとも一つの画像特徴を取得するように構成され、そのうち、前記検出対象画像は検出対象物体の画像を含み、前記画像特徴は、前記検出対象物体の表面特徴情報を表すために用いられる。欠陥情報取得ユニット５０２は、前記検出対象画像および前記少なくとも一つの画像特徴を予め訓練された欠陥検出モデルに導入し、前記検出対象物体に対応する欠陥情報を取得するように構成され、そのうち、前記欠陥検出モデルは、サンプル画像、サンプル画像特徴およびサンプル欠陥情報に基づいて訓練されて得られ、前記検出対象画像と少なくとも一つの画像特徴との対応関係を表すために用いられる。
本実施形態のいくつかのオプション的な実施形態において、前記特徴取得ユニット５０１は、基準特徴取得サブユニット（図示せず）および画像特徴取得サブユニット（図示せず）を含んでもよい。そのうち、基準特徴取得サブユニットは、前記検出対象物体の、色特徴、構造特徴および平面特徴のうちの少なくとも一つを含む基準特徴を取得するように構成される。画像特徴取得サブユニットは、前記基準特徴に基づいて、カラーコントラスト強調、フィルタリング、テクスチャ採集のうちの少なくとも一つを含む設定方式により前記検出対象画像を画像処理し、対応する画像特徴を得るように構成される。
本実施形態のいくつかのオプション的な実施形態において、前記欠陥情報取得ユニット５０２は、前記検出対象画像と前記少なくとも一つの画像特徴を前記欠陥検出モデルの対応する入力チャネルに導入し、前記検出対象物体に対応する欠陥情報を得るように構成される情報入力サブユニット（図示せず）を含んでもよい。
本実施形態のいくつかのオプション的な実施形態において、前記情報を取得するための装置５００は、欠陥検出モデルを訓練するように構成される欠陥検出モデル訓練ユニット（図示せず）を含んでもよい。前記欠陥検出モデル訓練ユニットは、サンプル取得サブユニット（図示せず）およびモデル訓練サブユニット（図示せず）を含んでもよい。ここで、サンプル取得サブユニットは、それぞれサンプル画像およびサンプル画像に対応する少なくとも一つのサンプル画像特徴を含む複数のサンプル情報セットと、前記複数のサンプル情報セットのそれぞれに対応するサンプル欠陥情報とを取得するように構成される。モデル訓練サブユニットは、前記複数のサンプル情報セットのそれぞれを入力とし、前記複数のサンプル情報セットのそれぞれに対応する前記サンプル欠陥情報を出力として、欠陥検出モデルを訓練して得るように構成される。
本実施形態のいくつかのオプション的な実施形態において、前記モデル訓練サブユニットは、前記複数のサンプル情報セットのそれぞれを初期化欠陥検出モデルに順次入力し、前記複数のサンプル情報セットのそれぞれに対応する予測欠陥情報を得、前記複数のサンプル情報セットのそれぞれに対応する予測欠陥情報と該サンプル情報セットに対応する前記サンプル欠陥情報とを比較し、前記初期化欠陥検出モデルの予測精度を得、前記予測精度が予め設定された精度閾値よりも大きいか否かを判定し、前記予測精度が前記予め設定された精度閾値を超える場合、前記初期化欠陥検出モデルを訓練済み欠陥検出モデルとするように構成されるモデル訓練モジュール（図示せず）を含んでもよい。
本実施形態のいくつかのオプション的な実施形態において、前記モデル訓練サブユニットは、前記予測精度が前記予め設定された精度閾値以下であることに応答し、前記初期化欠陥検出モデルのパラメータを調整し、前記モデル訓練モジュールに返送するように構成されるパラメータ調整モジュール（図示せず）を含んでもよい。
本実施形態は、１つまたは複数のプロセッサと、１つまたは複数のプログラムを格納するための記憶装置とを備える電子機器であって、前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行されるときに、前記１つまたは複数のプロセッサに上述した情報を取得するための方法が実装される電子機器をさらに提供する。
本実施形態は、コンピュータプログラムが格納されたコンピュータ可読媒体であって、該プログラムがプロセッサによって実行されるときに、上述した情報を取得するための方法を実行するコンピュータ可読媒体をさらに提供する。
以下、本出願の実施形態を実現するための電子機器（例えば、図１に示すサーバ１０５）に適用されるコンピュータシステム６００の構造概略図を示す図６を参照する。図６に示す電子機器は、あくまでも一例に過ぎず、本出願の実施形態の機能および使用範囲には如何なる制限をも与えない。
図６に示すように、電子機器６００は、読み出し専用メモリ（ＲＯＭ）６０２に格納されているプログラムまたは記憶装置６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムによって様々な適当な動作および処理を実行可能な処理装置（例えば、中央処理装置、グラフィックスプロセッサなど）６０１を含んでもよい。ＲＡＭ６０３には、電子機器６００の動作に必要な様々なプログラムおよびデータがさらに格納されている。処理装置６０１、ＲＯＭ６０２およびＲＡＭ６０３は、バス６０４を介して互いに接続されている。入／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。
通常、例えば、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロホン、加速度計、ジャイロスコープなどを含む入力装置６０６、液晶ディスプレイ（ＬＣＤ）、スピーカ、振動子などを含む出力装置６０７、例えば、磁気テープ、ハードディスクなどを含む記憶装置６０８、および通信装置６０９がＩ／Ｏインターフェース６０５に接続されてもよい。通信装置６０９により、電子機器６００は、データを交換するために他のデバイスと無線または有線で通信可能になる。図６は、様々な装置を有する電子機器６００を示しているが、図示された装置のすべてを実装または具備することが要求されないことを理解すべきである。代替的にまたはより多いまたはより少ない装置が実装されてもよい。図６に示す各ブロックは、１つの装置を表すことも、必要に応じて複数の装置を表すこともできる。
特に、本出願の実施形態によれば、上述したフローチャートを参照しながら記載されたプロセスは、コンピュータのソフトウェアプログラムとして実装されてもよい。例えば、本出願の実施形態は、コンピュータ可読媒体に具現化されるコンピュータプログラムを含むコンピュータプログラム製品を備え、該コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施形態では、該コンピュータプログラムは、通信装置６０９を介してネットワークからダウンロードされてインストールされることが可能であり、または記憶装置６０８またはＲＯＭ６０２からインストールされ得る。該コンピュータプログラムが処理装置６０１によって実行されると、本出願の実施形態の方法で限定された前記機能を実行する。
なお、本出願の実施形態に記載されたコンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体、またはこれらの任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気的、磁気的、光学的、電磁気的、赤外線、または半導体のシステム、装置もしくはデバイス、またはこれらの任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例としては、１本または複数本の導線による電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、またはこれらの任意の適切な組み合わせを含むことができるが、これらに限定されない。本出願の実施形態において、コンピュータ可読記憶媒体は、指令実行システム、装置もしくはデバイスによって使用可能な、またはそれらに組み込まれて使用可能なプログラムを包含または格納する任意の有形の媒体であってもよい。本出願の実施形態において、コンピュータ可読信号媒体は、ベースバンド内の、または搬送波の一部として伝搬されるデータ信号を含むことができ、その中にコンピュータ可読プログラムコードが担持されている。かかる伝搬されたデータ信号は、様々な形態をとることができ、電磁信号、光信号、またはこれらの任意の適切な組み合わせを含むが、これらに限定されない。コンピュータ可読信号媒体は、さらにコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよい。該コンピュータ可読信号媒体は、指令実行システム、装置もしくはデバイスによって使用されるか、またはそれらに組み込まれて使用されるプログラムを、送信、伝搬または伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは任意の適切な媒体で伝送することができ、当該任意の適切な媒体とは、電線、光ケーブル、ＲＦ（無線周波数）など、またはこれらの任意の適切な組み合わせを含むが、これらに限定されない。
前記コンピュータ可読媒体は、前記電子機器に含まれるものであってもよく、該電子機器に実装されずに別体として存在するものであってもよい。前記コンピュータ可読媒体は一つまたは複数のプログラムを担持し、前記一つまたは複数のプログラムが該電子機器に実行される時、検出対象画像から少なくとも一つの画像特徴を取得し、前記検出対象画像は検出対象物体の画像を含み、前記画像特徴は前記検出対象物体の表面特徴情報を表すために用いられるステップと、前記検出対象画像と前記少なくとも一つの画像特徴を予め訓練された欠陥検出モデルに導入し、前記検出対象物体に対応する欠陥情報を取得し、前記欠陥検出モデルはサンプル画像、サンプル画像特徴およびサンプル欠陥情報によって訓練されてなり、前記検出対象画像と少なくとも一つの画像特徴との対応関係を表すために用いられるステップとを該電子機器に実行させる。
本出願の実施形態の動作を実行するためのコンピュータプログラムコードは、１種以上のプログラミング言語、又はそれらの組み合わせで作成されることができ、前記プログラミング言語は、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と、「Ｃ」言語又は同様のプログラミング言語などの従来の手続き型プログラミング言語とを含む。プログラムコードは、完全にユーザのコンピュータで実行されることも、部分的にユーザのコンピュータで実行されることも、単独のソフトウェアパッケージとして実行されることも、部分的にユーザのコンピュータで実行されながら部分的にリモートコンピュータで実行されることも、または完全にリモートコンピュータもしくはサーバで実行されることも可能である。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザコンピュータに接続することができ、または（例えば、インターネットサービスプロバイダによるインターネットサービスを介して）外部コンピュータに接続することができる。
図面のうちのフローチャートおよびブロック図は、本出願の様々な実施形態に係るシステム、方法およびコンピュータプログラム製品によって実現できるアーキテクチャ、機能および動作を図示している。これについては、フローチャートまたはブロック図における各ブロックは、モジュール、プログラムセグメント、またはコードの一部を表すことができる。当該モジュール、プログラムセグメント、またはコードの一部には、所定のロジック機能を実現するための１つまたは複数の実行可能な指令が含まれている。なお、一部の代替となる実施態様においては、ブロックに示されている機能は図面に示されているものとは異なる順序で実行することも可能である。例えば、連続して示された２つのブロックは、実際には係る機能に応じて、ほぼ並行して実行されてもよく、時には逆の順序で実行されてもよい。さらに注意すべきなのは、ブロック図および／またはフローチャートにおけるすべてのブロック、ならびにブロック図および／またはフローチャートにおけるブロックの組み合わせは、所定の機能または動作を実行する専用のハードウェアベースのシステムで実装されてもよく、または専用のハードウェアとコンピュータ指令との組み合わせで実装されてもよい。
本出願の実施形態に記載されたユニットは、ソフトウェアで実装されてもよく、ハードウェアで実装されてもよい。記載されたユニットは、プロセッサに設けられてもよく、例えば、「特徴取得ユニットと、欠陥情報取得ユニットとを備えるプロセッサ」と記載されてもよい。ここで、これらのユニットの名称は、ある場合において当該ユニットその自体を限定するものではなく、例えば、特徴取得ユニットは、「検出対象画像から検出対象物体の複数の画像特徴を取得するユニット」として記載されてもよい。
以上の記載は、本出願の好ましい実施形態、および適用される技術的原理に関する説明に過ぎない。当業者であれば、本出願に係る発明の範囲が、前記の技術的特徴の特定の組み合わせからなる技術案に限定されるものではなく、前記の本出願の趣旨を逸脱しない範囲で、前記の技術的特徴またはそれらの同等の特徴の任意の組み合わせからなる他の技術案も含むべきであることを理解すべきである。例えば、前記の特徴と、本出願に開示された類似の機能を持っている技術的特徴（これらに限定されていない）とを互いに置き換えてなる技術案が挙げられる。
本出願の実施形態は、コンピュータ技術分野に関し、具体的に情報を取得するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラムに関する。
本出願の実施形態は、情報を取得するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラムを提供する。
第４の態様において、本出願の実施形態は、コンピュータプログラムが格納されたコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサによって実行されるときに、前記第１の態様に記載の情報を取得するための方法が実装されることを特徴とするコンピュータ可読記憶媒体を提供する。
第５の態様において、本出願の実施形態は、プロセッサによって実行されるときに、前記プロセッサに前記第１の態様に記載の情報を取得するための方法が実装されるコンピュータプログラムを提供する。
本実施形態において、ステップ４０３で得られた初期化欠陥検出モデルの予測精度に基づき、実行主体は、初期化欠陥検出モデルの予測精度を予め設定された精度閾値と比較することができる。予測精度が予め設定された精度閾値を超える場合、ステップ４０５を実行する。予測精度が予め設定された精度閾値以下である場合、ステップ４０６を実行する。
本実施形態は、コンピュータプログラムが格納されたコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサによって実行されるときに、上述した情報を取得するための方法を実行するコンピュータ可読記憶媒体をさらに提供する。
以上の記載は、本出願の好ましい実施形態、および適用される技術的原理に関する説明に過ぎない。当業者であれば、本出願に係る発明の範囲が、前記の技術的特徴の特定の組み合わせからなる技術案に限定されるものではなく、前記の本出願の趣旨を逸脱しない範囲で、前記の技術的特徴またはそれらの同等の特徴の任意の組み合わせからなる他の技術案も含むべきであることを理解すべきである。例えば、前記の特徴と、本出願に開示された類似の機能を持っている技術的特徴（これらに限定されていない）とを互いに置き換えてなる技術案が挙げられる。
なお、出願当初の特許請求の範囲の記載は以下の通りである。
請求項１：
検出対象画像から少なくとも一つの画像特徴を取得するステップであって、前記検出対象画像は検出対象物体の画像を含み、前記画像特徴は前記検出対象物体の表面特徴情報を表すために用いられる、ステップと、
前記検出対象画像と前記少なくとも一つの画像特徴を予め訓練された欠陥検出モデルに導入し、前記検出対象物体に対応する欠陥情報を取得するステップであって、前記欠陥検出モデルはサンプル画像、サンプル画像特徴およびサンプル欠陥情報によって訓練されてなり、前記検出対象画像と少なくとも一つの画像特徴との対応関係を表すために用いられる、ステップと
を含む情報を取得するための方法。
請求項２：
前記の、検出対象画像から少なくとも一つの画像特徴を取得するステップは、
前記検出対象物体の、色特徴、構造特徴および平面特徴のうちの少なくとも一つを含む基準特徴を取得することと、
前記基準特徴に基づいて、カラーコントラスト強調、フィルタリング、テクスチャ採集のうちの少なくとも一つを含む設定方式により前記検出対象画像を画像処理し、対応する画像特徴を得ることと
を含む請求項１に記載の方法。
請求項３：
前記の、前記検出対象画像と前記少なくとも一つの画像特徴を予め訓練された欠陥検出モデルに導入し、前記検出対象物体に対応する欠陥情報を取得するステップは、
前記検出対象画像と前記少なくとも一つの画像特徴を前記欠陥検出モデルの対応する入力チャネルに導入し、前記検出対象物体に対応する欠陥情報を得ることを含む、請求項１に記載の方法。
請求項４：
前記欠陥検出モデルは、
それぞれサンプル画像およびサンプル画像に対応する少なくとも一つのサンプル画像特徴を含む複数のサンプル情報セットと、前記複数のサンプル情報セットのそれぞれに対応するサンプル欠陥情報とを取得するステップと、
前記複数のサンプル情報セットのそれぞれを入力とし、前記複数のサンプル情報セットのそれぞれに対応する前記サンプル欠陥情報を出力として、欠陥検出モデルを訓練して得るステップと
によって訓練されて得られる、請求項１に記載の方法。
請求項５：
前記複数のサンプル情報セットのそれぞれを入力とし、前記複数のサンプル情報セットのそれぞれに対応する前記サンプル欠陥情報を出力として、欠陥検出モデルを訓練して得るステップは、
前記複数のサンプル情報セットのそれぞれを初期化欠陥検出モデルに順次入力し、前記複数のサンプル情報セットのそれぞれに対応する予測欠陥情報を得、前記複数のサンプル情報セットのそれぞれに対応する予測欠陥情報と該サンプル情報セットに対応する前記サンプル欠陥情報とを比較し、前記初期化欠陥検出モデルの予測精度を得、予め設定された精度閾値よりも大きいか否かを判定し、前記予め設定された精度閾値を超える場合、前記初期化欠陥検出モデルを訓練済み欠陥検出モデルとする訓練ステップを実行することを含む、請求項４に記載の方法。
請求項６：
前記の、前記複数のサンプル情報セットのそれぞれを入力とし、前記複数のサンプル情報セットのそれぞれに対応する前記サンプル欠陥情報を出力として、欠陥検出モデルを訓練して得るステップは、
前記予め設定された精度閾値以下である場合、前記初期化欠陥検出モデルのパラメータを調整し、前記訓練ステップを引き続き実行することを含む、請求項５に記載の方法。
請求項７：
検出対象画像から少なくとも一つの画像特徴を取得するように構成される特徴取得ユニットであって、前記検出対象画像は検出対象物体の画像を含み、前記画像特徴は前記検出対象物体の表面特徴情報を表すために用いられる特徴取得ユニットと、
前記検出対象画像と前記少なくとも一つの画像特徴を予め訓練された欠陥検出モデルに導入し、前記検出対象物体に対応する欠陥情報を取得するように構成される欠陥情報取得ユニットであって、前記欠陥検出モデルはサンプル画像、サンプル画像特徴およびサンプル欠陥情報によって訓練されてなり、前記検出対象画像と少なくとも一つの画像特徴との対応関係を表すために用いられる欠陥情報取得ユニットと
を含む情報を取得するための装置。
請求項８：
前記特徴取得ユニットは、
前記検出対象物体の、色特徴、構造特徴および平面特徴のうちの少なくとも一つを含む基準特徴を取得するように構成される基準特徴取得サブユニットと、
前記基準特徴に基づいて、カラーコントラスト強調、フィルタリング、テクスチャ採集のうちの少なくとも一つを含む設定方式により前記検出対象画像を画像処理し、対応する画像特徴を得るように構成される画像特徴取得サブユニットと
を含む、請求項７に記載の装置。
請求項９：
前記欠陥情報取得ユニットは、
前記検出対象画像と前記少なくとも一つの画像特徴を前記欠陥検出モデルの対応する入力チャネルに導入し、前記検出対象物体に対応する欠陥情報を得るように構成される情報入力サブユニットを含む、請求項７に記載の装置。
請求項１０：
前記装置は欠陥検出モデルを訓練するための欠陥検出モデル訓練ユニットを含み、前記欠陥検出モデル訓練ユニットは、
それぞれサンプル画像およびサンプル画像に対応する少なくとも一つのサンプル画像特徴を含む複数のサンプル情報セットと、前記複数のサンプル情報セットのそれぞれに対応するサンプル欠陥情報とを取得するように構成されるサンプル取得サブユニットと、
前記複数のサンプル情報セットのそれぞれを入力とし、前記複数のサンプル情報セットのそれぞれに対応する前記サンプル欠陥情報を出力として、欠陥検出モデルを訓練して得るように構成されるモデル訓練サブユニットと
を含む請求項７に記載の装置。
請求項１１：
前記モデル訓練サブユニットは、
前記複数のサンプル情報セットのそれぞれを初期化欠陥検出モデルに順次入力し、前記複数のサンプル情報セットのそれぞれに対応する予測欠陥情報を得、前記複数のサンプル情報セットのそれぞれに対応する予測欠陥情報と該サンプル情報セットに対応する前記サンプル欠陥情報とを比較し、前記初期化欠陥検出モデルの予測精度を得、予め設定された精度閾値よりも大きいか否かを判定し、前記予め設定された精度閾値を超える場合、前記初期化欠陥検出モデルを訓練済み欠陥検出モデルとするように構成されるモデル訓練モジュールを含む、請求項１０に記載の装置。
請求項１２：
前記モデル訓練サブユニットは、
前記予め設定された精度閾値以下である場合、前記初期化欠陥検出モデルのパラメータを調整し、前記モデル訓練モジュールに返送するように構成されるパラメータ調整モジュールを含む、請求項１１に記載の装置。
請求項１３：
１つまたは複数のプロセッサと、１つまたは複数のプログラムが格納されている記憶装置とを備える電子機器であって、
前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行されるときに、前記１つまたは複数のプロセッサに請求項１～６のいずれか１項に記載の方法が実装される、電子機器。
請求項１４：
コンピュータプログラムが格納されているコンピュータ可読媒体であって、
該プログラムがプロセッサによって実行されると、請求項１～６のいずれか１項に記載の方法が実装される、コンピュータ可読媒体。

Claims (14)

  1. 検出対象画像から少なくとも一つの画像特徴を取得するステップであって、前記検出対象画像は検出対象物体の画像を含み、前記画像特徴は前記検出対象物体の表面特徴情報を表すために用いられる、ステップと、
    前記検出対象画像と前記少なくとも一つの画像特徴を予め訓練された欠陥検出モデルに導入し、前記検出対象物体に対応する欠陥情報を取得するステップであって、前記欠陥検出モデルはサンプル画像、サンプル画像特徴およびサンプル欠陥情報によって訓練されてなり、前記検出対象画像と少なくとも一つの画像特徴との対応関係を表すために用いられる、ステップと
    を含む情報を取得するための方法。
  2. 前記の、検出対象画像から少なくとも一つの画像特徴を取得するステップは、
    前記検出対象物体の、色特徴、構造特徴および平面特徴のうちの少なくとも一つを含む基準特徴を取得することと、
    前記基準特徴に基づいて、カラーコントラスト強調、フィルタリング、テクスチャ採集のうちの少なくとも一つを含む設定方式により前記検出対象画像を画像処理し、対応する画像特徴を得ることと
    を含む請求項１に記載の方法。
  3. 前記の、前記検出対象画像と前記少なくとも一つの画像特徴を予め訓練された欠陥検出モデルに導入し、前記検出対象物体に対応する欠陥情報を取得するステップは、
    前記検出対象画像と前記少なくとも一つの画像特徴を前記欠陥検出モデルの対応する入力チャネルに導入し、前記検出対象物体に対応する欠陥情報を得ることを含む、請求項１に記載の方法。
  4. 前記欠陥検出モデルは、
    それぞれサンプル画像およびサンプル画像に対応する少なくとも一つのサンプル画像特徴を含む複数のサンプル情報セットと、前記複数のサンプル情報セットのそれぞれに対応するサンプル欠陥情報とを取得するステップと、
    前記複数のサンプル情報セットのそれぞれを入力とし、前記複数のサンプル情報セットのそれぞれに対応する前記サンプル欠陥情報を出力として、欠陥検出モデルを訓練して得るステップと
    によって訓練されて得られる、請求項１に記載の方法。
  5. 前記複数のサンプル情報セットのそれぞれを入力とし、前記複数のサンプル情報セットのそれぞれに対応する前記サンプル欠陥情報を出力として、欠陥検出モデルを訓練して得るステップは、
    前記複数のサンプル情報セットのそれぞれを初期化欠陥検出モデルに順次入力し、前記複数のサンプル情報セットのそれぞれに対応する予測欠陥情報を得、前記複数のサンプル情報セットのそれぞれに対応する予測欠陥情報と該サンプル情報セットに対応する前記サンプル欠陥情報とを比較し、前記初期化欠陥検出モデルの予測精度を得、予め設定された精度閾値よりも大きいか否かを判定し、前記予め設定された精度閾値を超える場合、前記初期化欠陥検出モデルを訓練済み欠陥検出モデルとする訓練ステップを実行することを含む、請求項４に記載の方法。
  6. 前記の、前記複数のサンプル情報セットのそれぞれを入力とし、前記複数のサンプル情報セットのそれぞれに対応する前記サンプル欠陥情報を出力として、欠陥検出モデルを訓練して得るステップは、
    前記予め設定された精度閾値以下である場合、前記初期化欠陥検出モデルのパラメータを調整し、前記訓練ステップを引き続き実行することを含む、請求項５に記載の方法。
  7. 検出対象画像から少なくとも一つの画像特徴を取得するように構成される特徴取得ユニットであって、前記検出対象画像は検出対象物体の画像を含み、前記画像特徴は前記検出対象物体の表面特徴情報を表すために用いられる特徴取得ユニットと、
    前記検出対象画像と前記少なくとも一つの画像特徴を予め訓練された欠陥検出モデルに導入し、前記検出対象物体に対応する欠陥情報を取得するように構成される欠陥情報取得ユニットであって、前記欠陥検出モデルはサンプル画像、サンプル画像特徴およびサンプル欠陥情報によって訓練されてなり、前記検出対象画像と少なくとも一つの画像特徴との対応関係を表すために用いられる欠陥情報取得ユニットと
    を含む情報を取得するための装置。
  8. 前記特徴取得ユニットは、
    前記検出対象物体の、色特徴、構造特徴および平面特徴のうちの少なくとも一つを含む基準特徴を取得するように構成される基準特徴取得サブユニットと、
    前記基準特徴に基づいて、カラーコントラスト強調、フィルタリング、テクスチャ採集のうちの少なくとも一つを含む設定方式により前記検出対象画像を画像処理し、対応する画像特徴を得るように構成される画像特徴取得サブユニットと
    を含む、請求項７に記載の装置。
  9. 前記欠陥情報取得ユニットは、
    前記検出対象画像と前記少なくとも一つの画像特徴を前記欠陥検出モデルの対応する入力チャネルに導入し、前記検出対象物体に対応する欠陥情報を得るように構成される情報入力サブユニットを含む、請求項７に記載の装置。
  10. 前記装置は欠陥検出モデルを訓練するための欠陥検出モデル訓練ユニットを含み、前記欠陥検出モデル訓練ユニットは、
    それぞれサンプル画像およびサンプル画像に対応する少なくとも一つのサンプル画像特徴を含む複数のサンプル情報セットと、前記複数のサンプル情報セットのそれぞれに対応するサンプル欠陥情報とを取得するように構成されるサンプル取得サブユニットと、
    前記複数のサンプル情報セットのそれぞれを入力とし、前記複数のサンプル情報セットのそれぞれに対応する前記サンプル欠陥情報を出力として、欠陥検出モデルを訓練して得るように構成されるモデル訓練サブユニットと
    を含む請求項７に記載の装置。
  11. 前記モデル訓練サブユニットは、
    前記複数のサンプル情報セットのそれぞれを初期化欠陥検出モデルに順次入力し、前記複数のサンプル情報セットのそれぞれに対応する予測欠陥情報を得、前記複数のサンプル情報セットのそれぞれに対応する予測欠陥情報と該サンプル情報セットに対応する前記サンプル欠陥情報とを比較し、前記初期化欠陥検出モデルの予測精度を得、予め設定された精度閾値よりも大きいか否かを判定し、前記予め設定された精度閾値を超える場合、前記初期化欠陥検出モデルを訓練済み欠陥検出モデルとするように構成されるモデル訓練モジュールを含む、請求項１０に記載の装置。
  12. 前記モデル訓練サブユニットは、
    前記予め設定された精度閾値以下である場合、前記初期化欠陥検出モデルのパラメータを調整し、前記モデル訓練モジュールに返送するように構成されるパラメータ調整モジュールを含む、請求項１１に記載の装置。
  13. １つまたは複数のプロセッサと、１つまたは複数のプログラムが格納されている記憶装置とを備える電子機器であって、
    前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行されるときに、前記１つまたは複数のプロセッサに請求項１～６のいずれか１項に記載の方法が実装される、電子機器。
  14. コンピュータプログラムが格納されているコンピュータ可読媒体であって、
    該プログラムがプロセッサによって実行されると、請求項１～６のいずれか１項に記載の方法が実装される、コンピュータ可読媒体。
JP2021541617A 2020-03-11 2020-09-21 情報を取得するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム Pending JP2022526473A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010165825.4A CN111402220B (zh) 2020-03-11 2020-03-11 用于获取信息的方法及装置
CN202010165825.4 2020-03-11
PCT/CN2020/116527 WO2021179565A1 (zh) 2020-03-11 2020-09-21 用于获取信息的方法及装置

Publications (2)

Publication Number Publication Date
JP2022526473A true JP2022526473A (ja) 2022-05-25
JPWO2021179565A5 JPWO2021179565A5 (ja) 2022-10-11

Family

ID=77494926

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021541617A Pending JP2022526473A (ja) 2020-03-11 2020-09-21 情報を取得するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム

Country Status (3)

Country Link
US (1) US20220270228A1 (ja)
JP (1) JP2022526473A (ja)
KR (1) KR20210102458A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913121A (zh) * 2022-03-31 2022-08-16 联想(北京)有限公司 一种屏幕缺陷检测系统、方法、电子设备及可读存储介质
CN115601341A (zh) * 2022-10-26 2023-01-13 上海闻泰信息技术有限公司（Cn） Pcba板缺陷检测方法、系统、设备、介质及产品
CN115980077A (zh) * 2023-01-17 2023-04-18 清燃修复质检科技(佛山)有限公司 缺陷检测方法、装置、丝网检测设备及存储介质
CN116936389B (zh) * 2023-06-02 2024-09-03 江苏第三代半导体研究院有限公司 缺陷诊断方法、电子设备、存储介质及程序产品
CN116990450B (zh) * 2023-07-18 2024-04-26 欧几里德(苏州)医疗科技有限公司 一种角膜塑形镜的缺陷检测方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010890A (ja) * 2007-06-29 2009-01-15 Canon Inc 撮像装置および方法
JP2012103957A (ja) * 2010-11-11 2012-05-31 Kanto Auto Works Ltd 部品検索システム
JP2016109495A (ja) * 2014-12-03 2016-06-20 タカノ株式会社 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム
JP2018508052A (ja) * 2014-12-31 2018-03-22 パク、サンレ 画像分析方法、装置、及びコンピュータで読み取り可能なデバイス
WO2019003384A1 (ja) * 2017-06-29 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および材質特定方法
WO2019059011A1 (ja) * 2017-09-19 2019-03-28 富士フイルム株式会社 教師データ作成方法及び装置並びに欠陥検査方法及び装置
CN110009614A (zh) * 2019-03-29 2019-07-12 北京百度网讯科技有限公司 用于输出信息的方法和装置
JP2019212073A (ja) * 2018-06-06 2019-12-12 アズビル株式会社 画像判別装置および方法
WO2020008538A1 (ja) * 2018-07-03 2020-01-09 三菱電機株式会社 材質推定装置及びロボット
CN110751177A (zh) * 2019-09-17 2020-02-04 阿里巴巴集团控股有限公司 分类模型的训练方法、预测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12307668B2 (en) * 2019-07-12 2025-05-20 Bruker Nano, Inc Methods and systems for defects detection and classification using X-rays

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010890A (ja) * 2007-06-29 2009-01-15 Canon Inc 撮像装置および方法
JP2012103957A (ja) * 2010-11-11 2012-05-31 Kanto Auto Works Ltd 部品検索システム
JP2016109495A (ja) * 2014-12-03 2016-06-20 タカノ株式会社 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム
JP2018508052A (ja) * 2014-12-31 2018-03-22 パク、サンレ 画像分析方法、装置、及びコンピュータで読み取り可能なデバイス
WO2019003384A1 (ja) * 2017-06-29 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および材質特定方法
WO2019059011A1 (ja) * 2017-09-19 2019-03-28 富士フイルム株式会社 教師データ作成方法及び装置並びに欠陥検査方法及び装置
JP2019212073A (ja) * 2018-06-06 2019-12-12 アズビル株式会社 画像判別装置および方法
WO2020008538A1 (ja) * 2018-07-03 2020-01-09 三菱電機株式会社 材質推定装置及びロボット
CN110009614A (zh) * 2019-03-29 2019-07-12 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110751177A (zh) * 2019-09-17 2020-02-04 阿里巴巴集团控股有限公司 分类模型的训练方法、预测方法及装置

Also Published As

Publication number Publication date
US20220270228A1 (en) 2022-08-25
KR20210102458A (ko) 2021-08-19

Similar Documents

Publication Publication Date Title
JP2022526473A (ja) 情報を取得するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
CN109816589B (zh) 用于生成漫画风格转换模型的方法和装置
CN109858445B (zh) 用于生成模型的方法和装置
JP2023547917A (ja) 画像分割方法、装置、機器および記憶媒体
US10755410B2 (en) Method and apparatus for acquiring information
JP6800351B2 (ja) 電極シートのバリを検出するための方法および装置
US20250173971A1 (en) Stylized image generation method and apparatus, electronic device and storage medium
CN110021052B (zh) 用于生成眼底图像生成模型的方法和装置
CN113487608B (zh) 内窥镜图像检测方法、装置、存储介质及电子设备
CN111402220B (zh) 用于获取信息的方法及装置
WO2020093724A1 (zh) 生成信息的方法和装置
CN110059623B (zh) 用于生成信息的方法和装置
CN110084317B (zh) 用于识别图像的方法和装置
CN108764176A (zh) 一种动作序列识别方法、系统及设备和存储介质
WO2023030427A1 (zh) 生成模型的训练方法、息肉识别方法、装置、介质及设备
KR20210058768A (ko) 객체 라벨링 방법 및 장치
CN113592033B (zh) 油罐图像识别模型训练方法、油罐图像识别方法和装置
CN110084298B (zh) 用于检测图像相似度的方法及装置
CN111754613A (zh) 图像装饰方法、装置、计算机可读介质和电子设备
CN110503653A (zh) 图像分割方法及装置
CN111062914A (zh) 用于采集脸部图像的方法、装置、电子设备和计算机可读介质
CN113238652B (zh) 视线估计方法、装置、设备及存储介质
CN113033552B (zh) 文本识别方法、装置和电子设备
CN118101926B (zh) 基于监控摄像头调整的视频生成方法、装置、设备与介质
CN111310595B (zh) 用于生成信息的方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210811

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220701

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20220930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230818