JP7279882B2 - 画像計測システム、画像計測方法、画像計測プログラムおよび記録媒体 - Google Patents

Description

本発明は、計測対象物の表面の形状変化を伴わない二次元不良および形状変化を伴う三次元不良の両方を一度に検出する画像計測システム、画像計測方法、画像計測プログラムおよび記録媒体に関する。

自動車車体部品や、トイレ・洗面所・浴室等の陶器製品などの品質管理には、擦りキズや印刷ズレなどの表面形状の変化を伴わない二次元不良（平面的不良）を計測する二次元計測技術と、凹みなどの表面形状の変化を伴う三次元不良（立体的不良）を計測する三次元計測技術との両方が要求されている。このような不良の検出には画像計測の方法が考えられるが、上記のような計測対象物は光沢を有するか表面反射が強いため、画像計測の際に周囲の映り込みやハイライトの影響が大きく、検出が困難であるという問題がある。

代表的な三次元画像計測手法としては、両眼視に基づくステレオ視計測法、パターン光を計測対象物に投影するパターン光投影計測法、レンズの焦点距離を調節し、異なる焦点距離で複数枚の写真撮影を行うレンズ焦点法などの技術が挙げられる。

ステレオ視計測法は、特徴のない計測対象物や特徴のない部分等の計測には不向きであるため、前述のような表面形状の変化を伴わない二次元不良の計測に適用することは困難である。

パターン光投影計測法は、表面形状計測に適し、高速かつ高精度の三次元形状計測手法として知られている。しかし、光沢などにより表面反射が強い計測対象物への適用が困難であるという問題がある。特に、パターン光投影計測法では、上記の二次元不良の計測と三次元不良の計測の両方の実現が非常に困難であるという問題がある。

レンズ焦点法は、顕微鏡を用いた微小サンプルの検査等によく使われており、複数回の焦点調節と撮影により二次元不良の計測と三次元不良の計測とを同時に実現することができる。しかし、三次元不良の計測精度を保つために、数十回～数百回のレンズ焦点の調節と撮影を繰り返す必要があり、計測時間が長くなるという問題がある。また、高精度の焦点距離の調節が必要であるため、計測システムのコストが高い。

上記のような問題を解決するために、ロバスト性のあるグレイコードパターン光投影に基づく３次元計測方法（例えば、非特許文献１参照。）や、３Ｄカメラによる計測手法（例えば、非特許文献２参照。）が提案されているが、いずれも自動車車体部品のような光沢物体への応用が困難である。

また、本発明者は、例えば、特許文献１～３に記載のような間接パターン光投影計測手法を提案している。これらの間接パターン光投影計測手法では、自動車車体部品の表面品質の画像計測を実現しているが、計測には４回程度以上の写真撮影が必要であり、計測時間が長いなどの問題が残っている。

特開２０１０－１８５８２０号公報 特開２０１１－６４６１７号公報 特開２０１３－９２４６５号公報

Zhoujie Wu；Wenbo Guo；Chao Zuo；Qican Zhang，"High-speed three-dimensional shape measurement based on robust Gray-code coding strategies"，Proceedings of SPIE，Volume 11205，Page.112052B-6，2019 盧 存偉；上塘 広也；孫 可；辻野 和弘；長 元気，電気学会論文誌Ｃ，pp.320-328，Vol.131，No.2，2011

そこで、本発明においては、自動車車体部品や、トイレ・洗面所・浴室等の陶器製品などの表面反射の強い計測対象物であっても、計測対象物の表面の形状変化を伴わない二次元不良および形状変化を伴う三次元不良の両方を一度に検出することが可能な画像計測システム、画像計測方法、画像計測プログラムおよび記録媒体を提供することを目的とする。

本発明の画像計測システムは、計測対象物に計測用パターン光を投影するパターン光投影手段と、計測対象物を第１焦点距離で撮影した第１画像と、計測対象物を第１焦点距離とは異なる第２焦点距離で撮影した第２画像とを得る撮影手段と、第１画像および第２画像のいずれか一方または両方から計測対象物の表面の色強度変化を解析することにより二次元不良を検出する二次元不良検出手段と、第１画像および第２画像のいずれか一方または両方から計測対象物に投影した計測用パターン光の変化を解析することにより三次元不良を検出する三次元不良検出手段とを含むものである。

本発明の画像計測方法は、投影機により計測対象物に計測用パターン光を投影すること、カメラにより計測対象物を第１焦点距離で撮影した第１画像と、計測対象物を第１焦点距離とは異なる第２焦点距離で撮影した第２画像とを得ること、計算機により第１画像および第２画像のいずれか一方または両方から計測対象物の表面の色強度変化を解析することにより二次元不良を検出すること、計算機により第１画像および第２画像のいずれか一方または両方から計測対象物に投影した計測用パターン光の変化を解析することにより三次元不良を検出することを含むことを特徴とする。

これらの発明によれば、計測対象物を第１焦点距離で撮影した第１画像と、計測対象物を第１焦点距離とは異なる第２焦点距離で撮影した第２画像とのいずれか一方または両方から計測対象物の表面の色強度変化を解析することにより二次元不良を検出することができるとともに、第１画像および第２画像のいずれか一方または両方から計測対象物に投影した計測用パターン光の変化を解析することにより三次元不良を検出することができる。

第１画像は、計測対象物の表面にピントを合わせて計測対象物の表面が鮮明に、かつ計測対象物の表面に反射した計測用パターン光が非鮮明に撮影された画像であり、第２画像は、計測対象物の表面に反射する計測用パターン光を投影する面にピントを合わせて計測用パターン光が鮮明に、かつ計測対象物の表面が非鮮明に撮影された画像であることが望ましい。

これにより、第１画像は、計測対象物の表面に計測用パターン光が投影されているにもかかわらず、計測用パターンがぼやけ、計測対象物の表面が鮮明に撮影されたものとなり、計測対象物の表面にある擦りキズや印刷模様の異常などの形状変化を伴わない二次元不良の検出が容易となる。また、第２画像は、計測対象物の表面がぼやけた計測用パターン光の反射画像が撮影されたものとなり、計測用パターン光の形状が計測対象物の表面形状の変化に伴い変化するので、凹み等の形状変化を伴う三次元不良の検出が容易となる。

本発明の画像計測プログラムは、計測対象物に計測用パターン光を投影するパターン光投影手段と、計測対象物を第１焦点距離で撮影した第１画像と、計測対象物を第１焦点距離とは異なる第２焦点距離で撮影した第２画像とを得る撮影手段と、第１画像および第２画像のいずれか一方または両方から計測対象物の表面の色強度変化を解析することにより二次元不良を検出する二次元不良検出手段と、第１画像および第２画像のいずれか一方または両方から計測対象物に投影した計測用パターン光の変化を解析することにより三次元不良を検出する三次元不良検出手段としてコンピュータを機能させるためのものである。このプログラムを実行したコンピュータによれば、上記本発明の画像計測システムと同様の作用、効果を奏することができる。

（１）計測対象物に計測用パターン光を投影し、計測対象物を第１焦点距離で撮影した第１画像と、計測対象物を第１焦点距離とは異なる第２焦点距離で撮影した第２画像とを得て、第１画像および第２画像のいずれか一方または両方から計測対象物の表面の色強度変化を解析することにより二次元不良を検出し、第１画像および第２画像のいずれか一方または両方から計測対象物に投影した計測用パターン光の変化を解析することにより三次元不良を検出する構成により、自動車車体部品や、トイレ・洗面所・浴室等の陶器製品などの表面反射の強い計測対象物であっても、高精度かつ短時間で計測対象物の表面の形状変化を伴わない二次元不良および形状変化を伴う三次元不良の両方を一度に検出することが可能となる。また、同一の計測用パターンを使用して二次元不良および形状変化を伴う三次元不良の両方を一度に検出することが可能であるため、システム構成が簡単であり、低コスト化、高精度化および高速化を実現できる。

（２）第１画像が、計測対象物の表面にピントを合わせて計測対象物の表面が鮮明に、かつ計測対象物の表面に反射した計測用パターン光が非鮮明に撮影された画像であり、第２画像が、計測対象物の表面に反射する計測用パターン光を投影する面にピントを合わせて計測用パターン光が鮮明に、かつ計測対象物の表面が非鮮明に撮影された画像であることにより、第１画像からは計測対象物の表面にある擦りキズや印刷模様の異常などの形状変化を伴わない二次元不良を容易に検出可能となり、第２画像からは凹み等の形状変化を伴う三次元不良を容易に検出可能となる。

本発明の実施の形態における画像計測システムの概略構成図である。 図１の画像計測システムの構成を示すブロック図である。 計測用パターンの例を示す図である。 図１の画像計測システムによる計測の流れを示すフロー図である。 図４の二次元不良検出と二次元不良解析の詳細な処理の流れを示すフロー図である。 図４の三次元不良検出と三次元不良解析の詳細な処理の流れを示すフロー図である。 物体表面画像の例を示す図である。 投影パターン画像の例を示す図である。

図１は本発明の実施の形態における画像計測システムの概略構成図、図２は図１の画像計測システムの構成を示すブロック図である。

図１に示すように、本発明の実施の形態における画像計測システムは、各部の制御や演算処理等を行うパーソナルコンピュータ（ＰＣ）のような計算機１と、計測対象物Ｘを撮影するカメラ２と、計測用パターン光を計測対象物Ｘに投影するパターン光投光装置としての投影機３と、計算機１とカメラ２との間の通信ケーブル４とを有する。計算機１は、本発明の実施の形態における画像計測プログラムを実行することにより図２に示す各手段１０～１９として機能するコンピュータである。画像計測プログラムは、コンピュータ読み取り可能な記録媒体により計算機１に読み取られ、実行される。

［投影パターン生成手段１０］
投影パターン生成手段１０は、計測に必要な投影パターンである計測用パターンを生成するものである。光沢のある計測対象物Ｘや表面反射の強い計測対象物Ｘへパターン光投影技術を適用するために、計測用パターンの模様と強度分布等を工夫する必要がある。計測用パターンの生成は、オンラインでも、オフラインでも可能である。オフラインとは、事前に大きさと形状を固定した計測用パターンを予めいくつか生成しておくことをいう。オンラインとは、計測の際に、計測対象物Ｘの大きさや形状などに応じて、大きさや形状を決定したその計測対象物Ｘ専用の計測用パターンを生成することをいう。

計測用パターンとしては、例えば図３に示すような（Ａ）横縞状パターン、（Ｂ）縦縞状パターンや（Ｃ）斜縞状パターンなどの一次元縞状パターンと、（Ｄ）格子状パターン、（Ｅ）チェス状パターンや（Ｆ）円形アレイ状パターンなどの二次元模様パターンの各パターンを使用することができる。本実施形態における画像計測システムでは、これらのパターンのうち計測対象物Ｘに適した１つのパターンを使用する。

これらのパターンは、いずれも簡単な幾何学模様であり、（１）強度変化が明暗の二種類しかない、（２）模様が直線か方形もしくは円形アレイのような簡単な幾何模様である、（３）模様の変化は繰り返しの規則性がある、という共通な特徴を有する。なお、画像処理により特徴がはっきりと認識できれば、他の種類の一次元パターン、二次元パターンや、色強度の変化がある三次元パターンでも使用可能である。

また、画像処理の際に、Ｘ軸やＹ軸などの方向性解析に基づく手法を用いる際には（Ａ）～（Ｃ）のような縞状パターンを使用し、方向性に依らない解析手法を用いる際には（Ｄ）格子状パターン、（Ｅ）チェス状パターンや（Ｆ）円形アレイ状パターンなどを使用する。後述する図７および図８に示す実計測例では、円形アレイ状パターンを使用している。

［パターン光投影手段１１］
パターン光投影手段１１は、投影機３により計測対象物Ｘに計測用パターン光を投影するものである。パターン光投影手段１１では、上記投影パターン生成手段１０で生成した計測用パターンを投影機３より計測対象物Ｘに投光する。パターン光投影手段１１により計測用パターン光を投影する面を投影パターン面５という。

投影機３は、液晶やＤＬＰ（登録商標；Digital Light Processing）のような投光器、もしくはＬＥＤ（Light Emitting Diode）や蛍光灯のような照明機器を用いて構成する。本実施形態においては、長寿命・省エネの特徴を持つＬＥＤを用いる。計算機１によりＬＥＤの点滅を制御し、必要な時に必要なＬＥＤを点灯もしくは消灯させる。これにより、計測に必要な計測用パターン光を投影する。

パターン光投影手段１１による投影は、計測用パターンを投影機３より直接計測対象物Ｘに投影する直接投影方式と、計測用パターン光を直接計測対象物Ｘに当てず、半透明幕のような装置を介して間接的に計測対象物Ｘに投影する間接投影方式のいずれかを採用する。

［撮影手段１２］
撮影手段１２は、パターン光投影手段１１により計測用パターン光を計測対象物Ｘに投影した状態で、カメラ２により計測対象物Ｘを２つの異なる焦点距離で撮影した第１画像および第２画像を得るものである。撮影手段１２は、計測対象物Ｘを第１焦点距離と第２焦点距離とでそれぞれ１回ずつ、合計２回撮影することにより、計測対象物Ｘを第１焦点距離で撮影した第１画像と、計測対象物Ｘを第１焦点距離とは異なる第２焦点距離で撮影した第２画像とを得る。なお、本実施形態においては、第２焦点距離は第１焦点距離よりも長く、第２焦点距離は第１焦点距離の２倍である。

また、本実施形態においては、第１画像は、計測対象物Ｘの表面６にピントを合わせて計測対象物Ｘの表面６が鮮明に、かつ計測対象物Ｘの表面６に反射した計測用パターン光が非鮮明に撮影されるように、カメラ２の第１焦点距離を調整して撮影された画像、すなわち、計測対象物Ｘの表面画像（以下、「物体表面画像」と称す。）である。第２画像は、計測対象物Ｘの表面６に反射する計測用パターン光の投影パターン面５にピントを合わせて計測用パターン光が鮮明に、かつ計測対象物Ｘの表面６が非鮮明に撮影されるように、カメラ２の第２焦点距離を調整して撮影された画像、すなわち、計測対象物Ｘの表面６の計測用パターン光の反射画像（以下、「投影パターン画像」と称す。）である。

具体的には、撮影手段１２は、前述の計測用パターン光を計測対象物Ｘに投影した状態で、カメラ２のレンズの焦点距離を調節し、２枚の写真を撮影する。そのうち１枚の写真はピントが計測対象物Ｘの表面６に合うようにレンズの焦点距離を調節して撮影する。これにより、計測対象物Ｘの表面６に計測用パターン光が投影されているにもかかわらず、計測用パターンがぼやけ、計測対象物Ｘの表面６を鮮明に撮影することができる。この写真が物体表面画像である。図７の写真は、自動車車体部品の一部の物体表面画像の例である。

もう１枚の写真は、投影機３が設置されている投影パターン面５にピントが合うようにレンズの焦点距離を調節し、計測対象物Ｘの表面６に反射している計測用パターン光を鮮明に撮影することにより、計測対象物Ｘの表面６がぼやけた計測用パターン光の反射画像を撮影することができる。この写真が投影パターン画像である。図８の写真は、自動車車体部品の一部の投影パターン画像の例である。

このように、同一の計測用パターンが投影される同一の撮影領域において、物体表面画像と投影パターン画像の２枚の焦点距離が異なる画像を撮影することができる。物体表面画像は、物体の表面をはっきりと撮影しているので、計測対象物Ｘの表面６にある擦りキズや印刷模様の異常などの形状変化を伴わない二次元不良の検出に有効である。投影パターン画像は、計測用パターン光の形状が計測対象物Ｘの表面形状の変化に伴い変化するので、投影パターン画像は凹み等の形状変化を伴う三次元不良の検出に有効である。図７および図８の画像から、本実施形態における撮影手段１２の有効性が分かる。

［二次元不良検出手段１３］
二次元不良検出手段１３は、第１画像から計測対象物Ｘの表面６の色強度変化を解析することにより計測対象物Ｘの二次元不良を検出するものである。二次元不良とは、計測対象物Ｘの表面６の形状変化を伴わない擦りキズ、印刷ムラや印刷ズレなどの平面的な不良をいう。二次元不良検出手段１３は、第１画像（物体表面画像）の色強度を解析し、注目点とその周囲の色強度の差の変化の大きさおよび変化の規則性を求める。二次元不良検出手段１３は、注目点の色強度の差の変化および変化の規則性の分布状況の解析や人工知能技術を使用することにより、計測対象物Ｘの表面６の形状変化を伴わない二次元不良を検出する。

具体的には、本実施形態における二次元不良検出手段１３では、主に物体表面画像を用いる。計測用パターン光の模様は擦りキズ、印刷ムラや印刷ズレなどの形状変化を伴わない二次元不良検出を妨げるので、二次元不良検出を行う際には、計測用パターン光の模様をなくしたフラットの照明が望ましい。しかし、物体表面画像は、計測用パターンがぼやけた画像であるが完全になくしたわけではない。このため、物体表面画像を用いて二次元不良を検出する際に、まず画像にローパスフィルターをかけ、投影パターンの影響をさらに軽減する。

次に、画像の全ての画素の色強度分布を計算し、その色強度分布を求める。注目点とその周囲領域の色強度の差がある閾値を超えたら、注目点に不良があると判定する。二次元の不良判定はエッジ処理や特徴抽出等の公知の画像処理技術を用いることができる。また、良品と不良品の画像を沢山学習させ、人工知能技術を用いて判定することも可能である。なお、二次元不良の検出には、主に物体表面画像を用いるが、参考画像として投影パターン画像を使用することもある。

本実施形態における二次元不良検出手段１３で用いるエッジ処理や特徴抽出等の画像処理に基づく手法と人工知能に基づく手法とは、共に撮影画像だけに基づいて不良を検出できるので、計測対象物ＸのＣＡＤデータなどの設計データや不良のない計測対象物Ｘの画像などの計測対象物Ｘの元の情報を必要としない。

［二次元不良解析手段１４］
二次元不良解析手段１４は、二次元不良検出手段１３により検出された二次元不良をいくつかの種類に分類し、その二次元不良の寸法を算出するものである。具体的には、二次元不良解析手段１４は、二次元不良検出手段１３により検出された二次元不良の大きさや形状特性などの形状解析を行い、二次元不良をさらに予め指定された点状不良、線状不良や領域不良などの種類に分類する。

不良の大きさは画像における不良が占める画素数により計算する。一定の大きさ以下の面積の小さい不良は点状不良に分類する。面積の大きい不良に対しては、さらに周囲長などの形状特性を計算する。この形状特性の解析により、大きい不良をさらに領域不良と線状不良に分類する。

点状不良に対しては、その中心位置や直径などの寸法を算出する。線状不良に対しては、その起点および終点の位置、不良の長さや幅などの寸法を算出する。領域不良に対しては、その中心位置、Ｘ方向、Ｙ方向、４５度方向、１３５度方向の直径などの寸法を算出する。

［三次元不良検出手段１５］
三次元不良検出手段１５は、第２画像から計測対象物Ｘに投影した計測用パターン光の変化を解析することにより計測対象物Ｘの三次元不良を検出するものである。三次元不良とは、計測対象物Ｘの表面形状の変化を伴う凹みなどの立体的な不良をいう。三次元不良検出手段１５は、第２画像（投影パターン画像）の色強度解析および周波数解析により、注目点とその周囲形状の三次元形状変化情報を算出し、三次元座標の変化の大きさと規則性分布により、計測対象物Ｘの表面６の形状変化を伴う三次元不良を検出する。

具体的には、本実施形態における三次元不良検出手段１５では、計測対象物Ｘの表面６にある凹み等の形状変化を伴う三次元不良の検出は主に前述の投影パターン画像を用いて、パターン光投影三次元画像計測の方法で行う。凹み等の急な形状変化がない計測対象物Ｘでは、計測用パターン光はほぼ均一に反射されるので、安定した周波数特性分布を持つ。一方、凹み等の急な形状変化がある場合には、周波数特性が急に高くなるので、周波数の大きさにより、形状変化が存在するかどうかを判断できる。本実施形態においては、投影パターン画像の周波数分布特性を求め、周波数が一定の閾値を超えた部分は形状変化のある候補領域として検出する。なお、三次元不良の検出には、主に投影パターン画像を用いるが、参考画像として物体表面画像を使用することもある。

上記の三次元不良検出方法では、二次元不良検出の際に使われた計測用パターンをそのまま使用するので、二次元不良検出と三次元不良検出のために２つの計測用パターンや２つの照明方法を使用する必要がない。また、三次元不良検出は、計測用パターンの周波数解析に基づくので、計測対象物ＸのＣＡＤデータなどの設計データや不良のない計測対象物Ｘの画像や３次元データなどの情報を必要としない。

［三次元不良解析手段１６］
三次元不良解析手段１６は、三次元不良検出手段１５により検出された三次元不良をいくつかの種類に分類し、その三次元不良の寸法を算出するものである。三次元不良解析手段１６は、三次元不良検出手段１５により検出された三次元不良の三次元形状変化の解析を行い、三次元不良をさらに凸不良と凹不良に分類する。

具体的には、三次元不良解析手段１６は、三次元不良検出手段１５により検出された形状変化を伴う三次元不良に対し、不良領域における画素の三次元座標とその領域周辺の画素の三次元座標を比較し、三次元良領域の奥行き座標が周囲の奥行き座標より大きい場合は凹不良、小さい場合は凸不良に分類する。また、不良領域および周辺領域の三次元座標に基づき形状分布曲線を生成し、不良領域の境界線を求める。さらに、不良領域の境界線と前記形状分布曲線に基づき、凹不良に対しては、その中心位置と最大凹みの量や、Ｘ方向、Ｙ方向、４５度方向および１３５度方向の直径を、凸不良に対しては、その中心位置と突起の量や、Ｘ方向、Ｙ方向、４５度方向および１３５度方向の直径を算出する。

図７の物体表面画像では、点状不良（点状キズ）と線状不良（線状キズ）を検出することができるが、その点状不良および線状不良が形状変化を伴うかどうか、すなわち三次元不良であるかどうかが分からない。一方、図８の投影パターン画像では、計測用パターンの変化より形状変化を伴う三次元不良を検出できるが、線状不良は検出できない。したがって、図７および図８の両方を用いて二次元不良と三次元不良の検出結果を融合することにより、この計測対象物Ｘには形状変化を伴わない線状不良と形状変化を伴う凹みの点状不良が存在することが分かる。

［キャリブレーション手段１７］
キャリブレーション手段１７は、計測精度を向上するためのものである。上記二次元計測および三次元計測の計測精度を向上するために、カメラ２のキャリブレーションが必要である。本実施形態においては、形状既知のサンプルを用い、サンプルの実寸と画像計測の結果とを比較し、最小二乗法を用いてカメラ２と画像計測システムのパラメータを計算して最適化する。これにより、画像計測の精度を保つことができる。

［検出結果出力手段１８］
検出結果出力手段１８は、二次元不良および三次元不良の検出結果をテキスト方式、画像方式やＣＡＤ方式などの方式で出力するものである。二次元不良と三次元不良の検出結果は、必要に応じてＴＸＴやＣＳＶなどの文章形式、ＢＭＰやＪＰＧなどの画像形式、ＤＸＦやＳＸＦなどのＣＡＤ形式などのファイル形式に変換して出力する。

［記憶手段１９］
記憶手段１９は、主に計算機１の内蔵メモリや、ＳＳＤ（ソリッドステートドライブ）やＨＤＤ（ハードディスクドライブ）などのデータ保存装置により構成される。図２に示すように記憶手段１９は、主に投影パターン生成手段１０、パターン光投影手段１１、撮影手段１２、二次元不良検出手段１３、二次元不良解析手段１４、三次元不良検出手段１５、三次元不良解析手段１６、キャリブレーション手段１７および検出結果出力手段１８により、投影機３とカメラ２の制御、カメラ２による撮影画像の取り込みと画像処理、処理結果の保存と出力、カメラ２のキャリブレーションなどに利用される。

図４は図１の画像計測システムによる計測の流れを示すフロー図である。
計測には、まず計測対象物Ｘを設置する（Ｓ１００）。続いて、投影パターン生成手段１０によりオンラインもしくはオフラインで生成された計測用パターン（Ｓ１０１）を、パターン光投影手段１１により計測対象物Ｘに投影する（Ｓ１０２）。また、計測対象物Ｘの表面６にピントを合わせて第１焦点距離で計測対象物Ｘの第１画像（物体表面画像）をカメラ２により撮影し（Ｓ１０３）、投影パターン面５にピントを合わせて第２焦点距離で計測対象物Ｘの表面６の第２画像（投影パターン画像）をカメラ２により撮影し（Ｓ１０４）、これらの撮影画像を計算機１に通信ケーブル４を通じて計算機１に送信する。

その後、計算機１において、二次元不良検出手段１３による計測対象物Ｘの第１画像から計測対象物Ｘの表面６の形状変化を伴わない二次元不良の検出（Ｓ１０５）と、三次元不良検出手段１５による計測対象物Ｘの第２画像から計測対象物Ｘの表面形状の変化を伴う三次元不良の検出（Ｓ１０７）を行う。また、検出した二次元不良および三次元不良をそれぞれ二次元不良解析手段１４および三次元不良解析手段１６により予め定めたいくつかの種類に分類し、不良の位置、長さ、幅や直径等の寸法を計測する（Ｓ１０６，Ｓ１０８）。最後に、検出結果出力手段１８により検出結果をテキスト方式、画像方式やＣＡＤ方式などのファイル方式で出力する（Ｓ１０９）。

図５は図４の二次元不良検出（Ｓ１０５）と二次元不良解析（Ｓ１０６）の詳細な処理の流れを示すフロー図である。まず、二次元不良検出手段１３は、撮影された物体表面画像に対し、二次元不良検出に必要な色強度解析の邪魔となる計測用パターン光の影響を軽減するために、ローパスフィルター処理を行う（Ｓ２００）。次に、画像処理を行う注目点を特定する（Ｓ２０１）。注目点の特定方法は、行ごとに画像の上から下に走査し、各行において左から右に走査する。このような走査により、画像の全ての画素を計測することができる。

その後、注目点とその周囲の小領域における各画素の色強度の差ＩＤを計算する（Ｓ２０２）。周囲小領域は、方形領域や円形領域等の形状を選ぶことができる。次に、色強度差ＩＤの値と予め決められた色強度差の閾値Ｔ１と比較し（Ｓ２０３）、もし色強度差ＩＤが予め決められた閾値Ｔ１より大きくなければ、注目点が不良ではないと判断し、後述のＳ２１６の走査完了かどうかの判断のプロセスに移転する。もし色強度差ＩＤがその閾値Ｔ１より大きければ、この注目点を二次元不良と判定する（Ｓ２０５）。

次に、二次元不良解析手段１４は、注目点を含むその周辺領域の画素の色強度値より不良領域（二次元不良）の面積Ｓを計算する（Ｓ２０６）。その後、不良領域の面積Ｓと予め決められた点状不良の面積の閾値Ｔ２と比較する（Ｓ２０７）。面積Ｓが閾値Ｔ２より小さい場合では、検出された二次元不良を点状不良と判定し（Ｓ２０８）、その中心座標を計算し、点状不良の位置座標（点状不良パラメータ）とする（Ｓ２０９）。不良領域の面積Ｓが閾値Ｔ２より小さくない場合、さらにこの不良領域の面積Ｓと周囲長の比等の形状特徴を計算し（Ｓ２１０）、この形状特徴によりこの二次元不良が線状不良か領域不良かを判定する（Ｓ２１１）。線状不良と判定された場合（Ｓ２１２）、線状不良の始点座標、終点座標や長さなどの線状不良パラメータを計算する（Ｓ２１３）。領域不良と判定された場合（Ｓ２１４）、領域不良の中心座標や各方向における直径等を計算する（Ｓ２１５）。

最後に、画像におけるすべての画素を全部走査したかどうかを判断し（Ｓ２１６）、走査が終わってない場合、前述の処理方法により注目点を更新し（Ｓ２０４）、注目点の特定（Ｓ２０１）に戻って別の画素の処理を行う。すべての画素の処理が終わった場合、二次元不良の検出結果を出力（Ｓ２１７（図４のＳ１０９））し、二次元不良検出（Ｓ１０５）と二次元不良解析（Ｓ１０６）の処理を終了する。

図６は図４の三次元不良検出（Ｓ１０７）と三次元不良解析（Ｓ１０８）の詳細な処理流れを示すフロー図である。まず、三次元不良検出手段１５は、撮影された投影パターン画像に対し、周波数変換処理を行い（Ｓ３００）、高周波成分を持つ領域を抽出し、三次元不良候補領域とする（Ｓ３０１）。次に、注目不良候補領域を特定し、画像処理を行う（Ｓ３０２）。特定方法は画像の上から下に行ごとに走査し、各行において左から右に走査する。三次元不良候補は、本当の三次元不良以外に計測対象物Ｘの固有の形状変化やノイズである可能性がある。これらを区別するために、特定候補領域とその周辺の領域の三次元形状特性を分析し、本当の三次元不良かどうかを判断する（Ｓ３０３）。候補領域が計測対象物Ｘの固有の形状変化やノイズなどであり、不良領域ではないと判断されたら、後述のＳ３１１の走査完了かどうかの判断のプロセスに移転する。

候補領域が三次元不良領域と判断された場合、候補領域とその周辺領域の奥行変化などの三次元形状変化分布を求め（Ｓ３０６）、三次元不良領域の境界を算出する（Ｓ３０７）。さらに、この不良領域が凹領域か凸領域かを判別し（Ｓ３０８）、凹領域と判別されたら、不良領域の中心座標、領域の直径や最大凹み値等の凹領域の寸法のパラメータを求める（Ｓ３０９）。凸領域と判別されたら、不良領域の中心座標、領域の直径や最大突起値等の凸領域の寸法のパラメータを求める（Ｓ３１０）。

最後に、画像におけるすべての三次元不良候補領域を全部走査したかどうかを判断し（Ｓ３１１）、走査が終わってない場合、前述の処理方法により注目領域を更新し（Ｓ３０４）、Ｓ３０２の処理に戻って別の領域の処理を行う。すべての三次元不良候補領域の処理が終わった場合、三次元不良の検出結果を出力（Ｓ３１２（図４のＳ１０９））し、三次元不良検出（Ｓ１０７）と三次元不良解析（Ｓ１０８）の処理を終了する。

以上のように、本実施形態における画像計測システムでは、計測対象物Ｘを第１焦点距離で撮影した第１画像（物体表面画像）から計測対象物の表面の色強度変かを解析することにより二次元不良を検出することができるとともに、計測対象物Ｘを第１焦点距離とは異なる第２焦点距離で撮影した第２画像（投影パターン画像）から計測対象物Ｘに投影した計測用パターン光の変化を解析することにより三次元不良を検出することが可能である。

すなわち、本実施形態における画像計測システムでは、自動車車体部品や、トイレ・洗面所・浴室等の陶器製品などの表面反射の強い計測対象物Ｘであっても、高精度かつ短時間で計測対象物Ｘの表面６の形状変化を伴わない二次元不良および形状変化を伴う三次元不良の両方を一度に検出することが可能である。また、同一の計測用パターンを使用して二次元不良および形状変化を伴う三次元不良の両方を一度に検出することが可能であるため、システム構成が簡単であり、低コスト化、高精度化および高速化を実現できる。

本実施形態における画像計測システムでは、投影パターン面５にピントを合わせることよって、普通のパターン光投影計測法と同じように三次元計測を行い、高速かつ高精度で形状変化に伴う三次元不良を検出することができる。これにより、この画像計測システムでは、パターン光投影計測方法の利点を発揮することができる。

本実施形態における画像計測システムでは、縞状、格子状、円形アレイ状、もしくはその他の形状の既知の簡単な幾何模様パターンを使用することにより、表面反射が強い物体にパターン光投影計測方法を適用することが困難であるという問題を解決することができる。

本実施形態における画像計測システムでは、計測対象物Ｘの表面６にピントを合わせることよって、計測用パターン光は平滑化され、均一照明のようになり、二次元不良の検出に使えるようにしている。これにより、本実施形態における画像計測システムでは、三次元計測を実現するとともに、二次元計測も実現でき、形状変化を伴わない擦りキズや印刷ズレなどの二次元品質検査が可能となっている。これにより、この画像計測システムでは、レンズ焦点法の利点を生かすことができる。

本実施形態における画像計測システムでは、レンズの焦点距離調節によるピントの変更は、第１画像を撮影する際の第１焦点距離から第２画像を撮影する際の第２焦点距離へ変更する際の１回しか必要としないので、レンズ焦点法の計測時間長の問題を解決できる。

本実施形態における画像計測システムでは、二次元計測と三次元計測には同一の計測用パターンを使用することができるため、パターン光生成手段１０およびパターン光投影手段１１の簡単化と、コスト削減および計測時間の向上に寄与できる。なお、パターン光生成手段１０により生成した計測用パターンの形状や強度分布などの情報は、生成の段階で既知であり、簡単な幾何パターンであるため、画像解析の際に実用しやすいという利点がある。

なお、本実施形態においては、第２焦点距離を第１焦点距離の２倍としているが、正確に２倍とする必要はない。要するに、計測対象物Ｘの表面６にピントを合わせて第１焦点距離により計測対象物Ｘの表面６がある程度鮮明に、かつ計測対象物Ｘの表面６に反射した計測用パターン光が非鮮明に撮影された第１画像と、計測対象物Ｘの表面６に反射した計測用パターン光にピントを合わせて計測用パターン光がある程度鮮明に、かつ計測対象物Ｘの表面６が非鮮明に撮影された第２画像を得られるように、第１焦点距離と第２焦点距離とを異なる焦点距離とすれば良い。

また、この場合、二次元不良検出手段１３は、第１画像および第２画像のいずれか一方または両方から計測対象物Ｘの表面６の色強度変化を解析することにより二次元不良を検出するものとし、三次元不良検出手段１５は、第１画像および第２画像のいずれか一方または両方から計測対象物Ｘに投影した計測用パターン光の変化を解析することにより三次元不良を検出するものとすることができる。

本発明は、計測対象物の表面の形状変化を伴わない二次元不良および形状変化を伴う三次元不良の両方を一度に検出する画像計測システム、画像計測方法、画像計測プログラムおよび記録媒体として有用であり、特に、光沢のある物体や表面反射の強い物体の形状検査や品質管理に好適である。本発明は、例えば、自動車車体の点キズ、擦りキズ、飛び石キズ、凹み等の品質検査や、ノブ、ランプなどの装着位置検査に応用できる。また、トイレの水箱、便器などの陶器製品の形状検査や欠損検査にも応用できる。さらに、スマートフォンなどの電気製品や情報機器の外観検査にも応用できる。

Ｘ 計測対象物
１ 計算機
２ カメラ
３ 投影機
４ 通信ケーブル
５ 投影パターン面
１０ 投影パターン生成手段
１１ パターン光投影手段
１２ 撮影手段
１３ 二次元不良検出手段
１４ 二次元不良解析手段
１５ 三次元不良検出手段
１６ 三次元不良解析手段
１７ キャリブレーション手段
１８ 検出結果出力手段
１９ 記憶手段

Claims (8)

1. 計測対象物に計測用パターン光を投影パターン面から投影するパターン光投影手段と、
   前記計測対象物を第１焦点距離で撮影した第１画像であり、前記計測対象物の表面にピントを合わせて前記計測対象物の表面が鮮明に、かつ前記計測対象物の表面に反射した計測用パターン光が非鮮明に撮影された第１画像と、前記計測対象物を前記第１焦点距離とは異なる第２焦点距離で撮影した第２画像であり、前記計測対象物の表面に反射する計測用パターン光の投影パターン面にピントを合わせて前記計測用パターン光が鮮明に、かつ前記計測対象物の表面が非鮮明に撮影された第２画像とを得る撮影手段と、
   前記第１画像および前記第２画像のいずれか一方または両方から前記計測対象物の表面の色強度変化を解析することにより二次元不良を検出する二次元不良検出手段と、
   前記第１画像および前記第２画像のいずれか一方または両方から前記計測対象物に投影した計測用パターン光の変化を解析することにより三次元不良を検出する三次元不良検出手段と
   を含む画像計測システム。
2. 前記二次元不良検出手段および前記三次元不良検出手段は、前記パターン光投影手段により投影する同一の計測用パターンを使用するものである請求項１記載の画像計測システム。
3. 前記第２焦点距離が前記第１焦点距離の２倍である請求項１または２に記載の画像計測システム。
4. 前記二次元不良検出手段により検出された前記二次元不良を分類し、前記二次元不良の寸法を算出する二次元不良解析手段を含む請求項１から３のいずれか１項に記載の画像計測システム。
5. 前記三次元不良検出手段により検出された前記三次元不良を分類し、前記三次元不良の寸法を算出する三次元不良解析手段を含む請求項１から４のいずれか１項に記載の画像計測システム。
6. 投影機により計測対象物に計測用パターン光を投影パターン面から投影すること、
   カメラにより前記計測対象物を第１焦点距離で撮影した第１画像であり、前記計測対象物の表面にピントを合わせて前記計測対象物の表面が鮮明に、かつ前記計測対象物の表面に反射した計測用パターン光が非鮮明に撮影された第１画像と、前記計測対象物を前記第１焦点距離とは異なる第２焦点距離で撮影した第２画像であり、前記計測対象物の表面に反射する計測用パターン光の投影パターン面にピントを合わせて前記計測用パターン光が鮮明に、かつ前記計測対象物の表面が非鮮明に撮影された第２画像とを得ること、
   計算機により前記第１画像および前記第２画像のいずれか一方または両方から前記計測対象物の表面の色強度変化を解析することにより二次元不良を検出すること、
   計算機により前記第１画像および前記第２画像のいずれか一方または両方から前記計測対象物に投影した計測用パターン光の変化を解析することにより三次元不良を検出すること
   を含む画像計測方法。
7. 計測対象物に計測用パターン光を投影パターン面から投影するパターン光投影手段と、
   前記計測対象物を第１焦点距離で撮影した第１画像であり、前記計測対象物の表面にピントを合わせて前記計測対象物の表面が鮮明に、かつ前記計測対象物の表面に反射した計測用パターン光が非鮮明に撮影された第１画像と、前記計測対象物を前記第１焦点距離とは異なる第２焦点距離で撮影した第２画像であり、前記計測対象物の表面に反射する計測用パターン光の投影パターン面にピントを合わせて前記計測用パターン光が鮮明に、かつ前記計測対象物の表面が非鮮明に撮影された第２画像とを得る撮影手段と、
   前記第１画像および前記第２画像のいずれか一方または両方から前記計測対象物の表面の色強度変化を解析することにより二次元不良を検出する二次元不良検出手段と、
   前記第１画像および前記第２画像のいずれか一方または両方から前記計測対象物に投影した計測用パターン光の変化を解析することにより三次元不良を検出する三次元不良検出手段と
   してコンピュータを機能させるための画像計測プログラム。
8. 請求項７に記載の画像計測プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images