JP6191204B2 - Appearance inspection apparatus and appearance inspection method for automobile body - Google Patents
Appearance inspection apparatus and appearance inspection method for automobile body Download PDFInfo
- Publication number
- JP6191204B2 JP6191204B2 JP2013079154A JP2013079154A JP6191204B2 JP 6191204 B2 JP6191204 B2 JP 6191204B2 JP 2013079154 A JP2013079154 A JP 2013079154A JP 2013079154 A JP2013079154 A JP 2013079154A JP 6191204 B2 JP6191204 B2 JP 6191204B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle body
- imaging
- plate surface
- outer plate
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本発明は、生産された自動車の最終外観検査を行う自動車車体の外観検査装置および外観検査方法に関し、特に自動車生産ラインで生産された自動車の車体外板面である塗装面における微細傷等の外観不良の有無を検査する外観検査装置および外観検査方法に関する。 TECHNICAL FIELD The present invention relates to an automobile body appearance inspection apparatus and an appearance inspection method for performing a final appearance inspection of a produced automobile, and in particular, the appearance of fine scratches and the like on a painted surface, which is a vehicle body outer plate surface produced in an automobile production line. The present invention relates to an appearance inspection apparatus and an appearance inspection method for inspecting whether there is a defect.
自動車生産ラインで生産された自動車の外観検査は多くの場合に人の目による目視検査として行われているが、自動検査の一環として例えば特許文献1および特許文献2に記載されているように、塗装面における微細傷等の外観不良(表面欠陥)部位の検出を目的とした画像処理による外観(表面)検査装置が提案されている。
In many cases, the appearance inspection of automobiles produced in the automobile production line is performed as a visual inspection by human eyes, but as described in, for example,
特許文献1に記載された外観検査技術では、定位置固定式の撮像手段たるカメラに対して検査対象となる自動車車体がコンベアにより搬送されるようになっており、カメラと自動車車体とが相対移動することでその自動車車体の塗装面がカメラにより撮像される。
In the appearance inspection technique described in
また、特許文献2に記載された外観検査技術では、検査対象となる自動車車体の近くに配置したロボットのロボットアームに照明装置とカメラとを支持させてあり、予め定められた経路に沿ってロボットアームを動かすことにより、車体外板面をカメラにて撮像するようになっている。
In addition, in the appearance inspection technique described in
しかしながら、特許文献1に記載された技術では、カメラは定位置固定式のものであり、しかも工業用のカメラはいわゆるオートフォーカス機能を備えていないのが通常であるため、コンベア上の検査対象物である自動車車体の位置や姿勢のばらつきの影響を受けて、車体外板面とカメラとのなす距離が一定とならないことがあり、ピント合わせ不良等のために検査精度の向上が望めない。
However, in the technique described in
他方、特許文献2に記載された技術では、ロボットアームに持たせたカメラを移動させる方式であるため、車体形状が相違する複数種類の自動車車体が流れる自動車生産ラインでは、車体形状ごとに予めカメラの移動経路をティーチングする必要があり、工数増加によるコストアップが余儀なくされる。
On the other hand, since the technique described in
また、生産された自動車の最終検査ラインでは、コンティニアスタイプのコンベアにて自動車車体が連続的に搬送されているのが通常であるため、上記のようにロボットアームに持たせたカメラを動かすことを前提とした場合、いわゆるサージングが発生しないようにラインスピードを一定にするか、あるいはコンベアそのものをタクト送りコンベアとする必要があり、既存設備への適用にあたって柔軟性に欠け、なおも改善の余地を残している。 Also, in the final inspection line of the produced automobile, it is normal for the automobile body to be continuously conveyed by a continuous type conveyor, so the camera held by the robot arm as described above is moved. As a premise, it is necessary to keep the line speed constant so that so-called surging does not occur, or the conveyor itself should be a tact feed conveyor, which is inflexible when applied to existing equipment, and there is still room for improvement Is leaving.
本発明はこのような課題に着目してなされたものであり、自動車車体の外観検査に際して、その自動車車体と撮像手段とが相対移動することを前提とした上で、既存設備への適用が容易で大幅なコストアップを招くことなく、車体外板面と撮像手段とのなす距離を一定に保つことができて、検査精度の向上を図った外観検査装置および外観検査方法を提供するものである。 The present invention has been made paying attention to such problems, and can be easily applied to existing equipment on the premise that the automobile body and the imaging means move relative to each other in the appearance inspection of the automobile body. Thus, there is provided an appearance inspection apparatus and an appearance inspection method capable of maintaining a constant distance between a vehicle body outer plate surface and an imaging means without incurring a significant cost increase and improving inspection accuracy. .
本発明における自動車車体の外観検査装置では、検査対象となる自動車車体と撮像手段とを相対移動させながら車体外板面を撮像した上で、画像処理により上記車体外板面における表面欠陥を抽出してこれを外観不良として検出するにあたり、照明手段と撮像手段および画像処理手段以外に、上記撮像手段と車体外板面とのなす距離を検出する測距手段と、上記撮像手段による撮像が可能な位置に自動車車体が在席していることを検出する車幅方向在席検出手段と、上記照明手段、撮像手段、測距手段および車幅方向在席検出手段のそれぞれが搭載された共通の支持体と、上記支持体を車体外板面に対して進退移動させる進退駆動手段と、を備えているものとした。
その上で、上記車幅方向在席検出手段による自動車車体の在席検出を条件に、上記測距手段によって検出される車体外板面までの実測距離が規定の距離となるように、上記進退駆動手段を介して照明手段および撮像手段を支持体ごと車体外板面に追従動作させるようになっている。
In the vehicle body appearance inspection apparatus according to the present invention, the vehicle body outer plate surface is imaged while relatively moving the vehicle body to be inspected and the imaging means, and surface defects on the vehicle body outer plate surface are extracted by image processing. In order to detect this as an appearance defect, in addition to the illumination unit, the imaging unit, and the image processing unit, a distance measuring unit that detects a distance between the imaging unit and the outer surface of the vehicle body, and imaging by the imaging unit are possible. Common support in which each of the vehicle width direction presence detection means for detecting that the vehicle body is present at the position, and the illumination means, imaging means, distance measurement means, and vehicle width direction presence detection means are mounted. and body was assumed to have a, a reciprocating drive means for advancing withdrawal movement with respect to the vehicle body outer panels face the support.
Then, on the condition that the presence detection of the vehicle body is detected by the vehicle width direction presence detection means, the advancing / retreating is performed so that the measured distance to the vehicle body outer plate surface detected by the distance measurement means becomes a specified distance. The illuminating means and the imaging means are made to follow the outer plate surface of the vehicle body together with the support via the driving means.
なお、上記車体外板面での外観不良として検出する表面欠陥には、傷や凹凸のほか、異物付着や汚れ等を含むものである。 The surface defect detected as an appearance defect on the outer surface of the vehicle body includes not only scratches and irregularities, but also foreign matter adhesion and dirt.
本発明によれば、撮像手段と車体外板面とのなす距離が規定の距離となるように保たれることにより、検査対象物である自動車車体の位置や姿勢のばらつきの影響を受けにくくなり、外観検査の精度が向上し、ひいてはその検査結果の信頼性も向上することになる。 According to the present invention, since the distance between the imaging unit and the outer surface of the vehicle body is maintained to be a predetermined distance, it is less affected by variations in the position and orientation of the automobile body that is the inspection object. As a result, the accuracy of the appearance inspection is improved, and the reliability of the inspection result is also improved.
また、カメラの移動経路をティーチングする必要がないため、工数増加によるコストアップを招くこともないだけでなく、既存の最終検査ラインにも大規模な改造を要することなく容易に適用できる利点がある。 In addition, since there is no need to teach the camera movement path, there is an advantage that it can be easily applied to an existing final inspection line without requiring a large-scale remodeling as well as not causing an increase in cost due to an increase in man-hours. .
図1〜12は本発明に係る自動車車体の外観検査装置を実施するためのより具体的な形態を示し、特に図1は装置全体の概略構造を示している。ここでの外観検査装置は、製造された車両(自動車)1の外板面、特に前後のドア、フロンフェンダおよびリアフェンダを含む車体側面部1aの塗装面の外観検査(表面検査)として、特にその車体側面部1aに発生しがちな線状の微細な傷の検出を目的としている。
1 to 12 show a more specific form for carrying out an automobile body appearance inspection apparatus according to the present invention. In particular, FIG. 1 shows a schematic structure of the entire apparatus. The appearance inspection apparatus here is particularly suitable as an appearance inspection (surface inspection) of the outer surface of the manufactured vehicle (automobile) 1, particularly the painted surface of the vehicle body
図1に示すように、自動車生産ラインにおける最終検査ライン2では、コンティニアスタイプのスラットコンベア3に載せられた複数の車両1が所定速度で連続的に移動していて、この最終検査ライン2のラインサイドに撮影機器ユニット4が設置されている。この撮影機器ユニット4には後述する照明装置29,30,31や撮像手段として複数の工業用のカメラ32等が搭載されていて、この撮影機器ユニット4に主制御装置5のほか制御盤6および出力機器部7等がそれぞれ付帯している。なお、図1では片側の撮影機器ユニット4のみ図示しているが、最終検査ライン2をはさんで左右対称となるように撮影機器ユニット4が対向配置されている。
As shown in FIG. 1, in the
主制御装置5は、いわゆる外観不良あるいは表面欠陥の抽出のための画像処理ソフトウェアが予めインストロールされたパーソナルコンピュータを主要素として構成されていて、この主制御装置5はコンベア速度演算部8、撮影制御部9、車種認識部10、画像入力部11、画像処理手段としての傷検出部12、画像連結部13、検査表作成部14および出力部15等で構成されている。
The
上記コンベア速度演算部8にはスラットコンベア3における駆動系のコンベアエンコーダ16からの信号が入力されるようになっており、後述するように、このコンベアエンコーダ16の検出出力であるコンベア移動量またはコンベア速度情報によってカメラ32による車体側面部1aの撮影開始タイミングがコントロールされる。このコンベアエンコーダ16はスラットコンベア3により走行する車両1の移動量を検出する車体移動量検出手段として機能する。
A signal from the
また、最終検査ライン2における搬入始端部側の天井部には車両情報読み取り手段としてコードリーダ17が設置されている。このコードリーダ17は車両1のフロントガラスに添付された作業指示カード18の例えばバーコード情報を読み取って該当する車両1の車両情報を取得して、これを車種認識部10に出力する。なお、上記バーコード情報に代えてQRコード(登録商標)情報を用いることも可能である。
Further, a
さらに、主制御装置5の出力側には出力機器部7の各機器としてモニタ19、プリンタ20およびデータサーバー21等が接続されている。そして、主制御装置5での画像処理結果を自動車一台ごとにモニタ19に表示したり、プリンタ20で印刷することができるとともに、画像処理結果のデータを車種情報とともにデータサーバー21に記録・蓄積するようになっている。
Further, a
制御盤6は、照明制御部22、モータ制御部23、安全制御部24およびライン制御部25等から構成されていて、外部のライン制御盤26と協調しながら、主として撮影機器ユニット4に搭載された照明装置29,30,31やカメラ32と車両1との車幅方向での相対位置決め制御を司っている。
The control panel 6 includes an
図2は図1に示した最終検査ライン2を車両1の移動方向後方側から見た図を、図3は図1の車両1周りの要部斜視図をそれぞれ示していて、最終検査ライン2の左右のラインサイドに二台の撮影機器ユニット4が対向配置されている。各撮影機器ユニット4はいずれも定位置固定式の架台27に対して車幅方向にスライド可能な支持体としてのラック28を搭載したもので、このラック28に複数台(ここでは3台)の照明装置29,30,31と複数台のカメラ32を設置してあるとともに、非接触式のセンサとして車幅方向在席検出手段としての光電センサ33と測距手段としての測距センサ34を設けてある。
2 shows a view of the
架台27の底部には進退駆動手段としてリニアタイプの電動アクチュエータユニット(例えば、株式会社アイエイアイ製のロボシリンダシリーズ)35を設けてある。この電動アクチュエータユニット35は図1のモータ制御部23によって制御され、図4に示すようにモータユニット35aの起動に応じてスライダ35bが直線的に進退移動(スライド)するもので、このスライダ35bに上記ラック28を搭載してある。したがって、この電動アクチュエータユニット35の作動によりラック28が進退移動可能、すなわち複数台の照明装置29,30,31や複数台のカメラ32等を搭載したラック28が車幅方向にスライド移動可能となっている。なお、図面の錯綜化を避けるために、図2では便宜上片側7台のカメラ32を図示していて、同様に図3では片側9台のカメラ32を図示しているが、実際には車体上下方向に合計10台のカメラ32が並設される。ただし、車両1の画像としてそのほぼ全高をカバーすることができるならば、カメラ32の台数は特に限定されない。
A linear type electric actuator unit (for example, ROBO Cylinder Series manufactured by IAI Corporation) 35 is provided at the bottom of the
図5は上記電動アクチュエータユニット35の制御を司るモータ制御部23の詳細を示している。図4,5から明らかなように、上記電動アクチュエータユニット35はそのフィードバック要素としてエンコーダ35cを内蔵していて、モータ制御部23との間でフィードバックループを形成している。
FIG. 5 shows details of the
上記光電センサ33は、ビームb1を下向きに照射して複数のカメラ32による撮影エリアに検査対象となる車両1が車幅方向で在席している否かを判定するためのものである。故に、上記光電センサ33は検査対象となる車両1が撮影エリアに在席しているか否かを検出する車幅方向在席検出手段として機能する。また、測距手段たるレーザ式の測距センサ34はビームb2を車体側面部1aに照射して各カメラ32と検査対象となる車両1との相対距離が規定の距離となるように制御するためのもので、その検出出力は図1,5のモータ制御部23に取り込まれるようになっている。
The
そして、上記のように複数のカメラ32による撮影エリアに検査対象となる車両1が在席していることを条件に、測距センサ34からのセンサ出力をフィードバック信号としてモータ制御部23に取り込み、測距センサ34による実測距離が予め定めた規定の距離となるように、つまり車体側面部1aと複数の照明装置29,30,31および複数台のカメラ32とのなすそれぞれの距離が規定の距離±α(例えば、規定の距離±10mm程度)となるように、上記電動アクチュエータユニット35の作動のもとにラック28をスライド移動させることになる。
Then, on the condition that the
言い換えるならば、上記測距センサ34によって検出される車体側面部1aまでの実測距離、ひいては車体側面部1aと複数の照明装置29,30,31および複数台のカメラ32とのなすそれぞれの距離が所定の距離となるように、進退駆動手段たる電動アクチュエータユニット35を介して、複数の照明装置29,30,31および複数台のカメラ32をラック28ごと車体側面部1aに追従動作させることになる。
In other words, the actually measured distance to the vehicle body
このように、共通のラック28に搭載されている複数の照明装置29,30,31および複数台のカメラ32を車体側面部1aに対して追従動作させるのは、工業用のカメラ32にはいわゆるオートフォーカス機能がないためで、上記追従動作により各カメラ32の位置と車体側面部1aとのなす距離が一定したものとなり、車体側面部1aのどの部位を撮影するに際してもそのピント合わせが可能となる。
As described above, the
各ラック28に搭載された3台の照明装置29〜31のうち車体側面部1aの中央部の照明装置30は、図3に示すように、波長の安定性が高く且つ照射範囲の広い汎用の蛍光灯照明機器30aと拡散板30bとを組み合わせて比較的大型の面光源として機能させるようにしたもので、蛍光灯照明機器30aからの照射光を拡散板30bにて拡散させ、照射むらのない平行な照射光を車体側面部1aのうち特に鉛直部に均一に照射するように考慮してある。
Of the three illuminating
その一方、ラック28に搭載された3台の照明装置29〜31のうち上下の照明装置29,31は、いずれも光の直線性が高いLEDバー照明機器29a,31aと拡散板29b,31bとを組み合わせて面光源として機能させるようにしたもので、LEDバー照明機器29a,31aからの照射光を拡散板29b,31bにて拡散させ、照射むらのない平行な照射光を車体側面部1aのうち特にドアウエスト部とサイドシル部に均一に照射するように考慮してある。そして、ドアウエスト部を照射するための上方の照明装置29は、その照射光を平行光とするために車体側面部1aとの距離を比較的大きく確保する一方、車体下部のサイドシル部を照射するための下方の照明装置31は、サイドシル部がとかく影となりやすいために車体側面部1aとの距離を他の照明装置29,30に比べて極端に小さくしてある。これにより、車体側面部1aのうちドアウエスト部からサイドシルまでの範囲に均等に各照明装置29〜31からの照射光が照射されることになる。同時に、各カメラ32は車体側面部1aからの正反射光を撮影することになる。
On the other hand, among the three
また、各ラック28に搭載された複数台のカメラ32はCCDあるいはCMOSタイプのいわゆる二次元の固体撮像素子タイプのもので、車体側面部1aでの各照明装置29〜31による照射部位のうち高さ方向において互いに異なる領域を撮像、言い換えるならば、車体側面部1aでの各照明装置29〜31による照射部位のうち高さ方向において複数に分割された領域を個別に撮像するべく、車体上下方向に沿って一列に並設されている。そして、図2,3から明らかなように、複数台の照明装置29〜31と複数台のカメラ32は、車体側面部1aにおける上下方向での曲率形状を考慮し、車両1の正面視または背面視において当該車体側面部1aの曲率形状に倣わせて配置してある。これにより、車体側面部1aからの正反射光を複数台のカメラ32で同時に且つ車体全高分を撮影することが可能となる。ここで、図2,3に示した複数台(10台)のカメラ32のうち最上段のカメラ42は後述するように撮影スタート制御用カメラを兼ねている。
The plurality of
つまり、最終検査ライン1上を所定速度で移動する車両1に対してその車体側面部1aを指向させた複数台のカメラ42,32を車両移動方向では固定とした状態で撮影(撮像)を行うことで、それぞれのカメラ42,32で撮影(撮像)部位を分担しながら車体側面部1aの全高を車両1の動きに同期して間歇的に撮影(撮像)することが可能となっている。ここでは、後述するように最終検査ライン1上での車両1の移動量を算出し、所定距離だけ移動したことが確認されたならば、複数のカメラ42,32を同時に起動させて撮影を開始するものとし、かかる所定移動量ごとの複数台のカメラ42,32による間歇的な撮影動作を車両全長が通過し終わるまで繰り返すことになる。
That is, photographing (imaging) is performed in a state in which a plurality of
ここで、図6は上記複数台のカメラ42,32による撮影スタート制御のためのフローチャートを、図7は同じく上記複数台のカメラ42,32による撮影間隔制御のためのフローチャートをそれぞれ示している。そして、図3に示すように、スラットコンベア3の上方には車体前後方向在席検出手段としての光電センサ41を設けてあることから、この光電センサ41が車両1の通過を検出したならば、この光電センサ41の検出信号をトリガーとして、最上段の撮影スタート制御用カメラ42の外部トリガーモードをONとし、自動で撮影スタート制御用カメラ42が撮影(撮像)を開始する。続いて、図6に示すように、上記撮影スタート制御用カメラ42の撮影開始を主制御装置5に格納されているソフトウェア上にて判断し、瞬時に残りのカメラ32も撮影を開始する。その後、全てのカメラ42,32の撮影終了と同時に、撮影スタート制御用カメラ42の外部トリガーモードをOFFにする。
Here, FIG. 6 shows a flowchart for the shooting start control by the plurality of
上記撮影スタート制御用カメラ42以外の各カメラ32の撮影開始タイミング制御の詳細は図7のとおりである。ここでは、いわゆるサージング等のスラットコンベア3による車両1の走行速度の変動を考慮し、図1に示したコンベアエンコーダ16からのパルス信号を取得し、スラットコンベア3による車両1の移動量をリアルタイムで算出する。そして、その車両1の移動量が予め設定された設定移動量であるところの指定移動量、すなわち図7の指定距離Lxとなったならば、先に述べたソフトウエア上でのトリガー信号をトリガーとして撮影スタート制御用カメラ42以外の各カメラ32の撮影を開始する。この後、各カメラ32の撮影終了の度に上記動作を繰り返す。つまり、車両1の総移動量から車両全長分の撮影が終了したことが確認できるまで上記動作を繰り返すことになる。
Details of the shooting start timing control of each
このように、光電センサ41により車両1を検出して、いわゆる撮影スタート座標の原点決めを行った上で、車両1の移動量を計測しながら複数のカメラ42点32の撮影開始のタイミングをコントロールすることにより、コンベアスピードのサージング等の影響を受けにくくなり、コンベアスピードに対応した画像検出タイミング制御を精度良く行うことができる。
As described above, the
図8は図1に示した装置における主制御装置5の概略的なシステムブロック図を示している。
FIG. 8 is a schematic system block diagram of the
同図に示すように、各カメラ42,32の初期化と諸元情報の読み込み(ステップSa1)に続いて、コードリーダ17で読み取った車両情報とともに各カメラ42,32のスタート情報を取得する(ステップa2)。この後、全てのカメラ42点32で同時撮影を開始し、後述するように車体側面部1aである塗装面での傷検出のためのロジックが実行される(ステップa3)。そして、各カメラ42点32の撮影画像をフォルダに保存した後(ステップa4)、車両1の移動量を図1のコンベアエンコーダ16からの信号をもとに算出し、車両1が所定距離だけ移動して指定した位置に到達したならば次の撮影に移行する(ステップa5)。そして、このようなステップa2からステップa5までの処理は、車両1全体(全長)の撮影が改良するまで繰り返される。なお、ここまでの処理は、先に述べた図6,7のフローチャートでの処理に対応している。
As shown in the figure, following the initialization of the
この後、図1の検査表作成部14では塗装面での傷検出結果、すなわち複数のカメラ42,32による各画像毎の傷検出結果が車両一台分ごとにまとめられ、複数のカメラ42,32での撮影画像が結合されるとともに、その傷検出結果(画像処理結果)が図1のモニタ19およびプリンタ20に出力される(ステップa6)。プリンタ20では画像結合された車両側面の画像がハードコピーである検査表36(図2および図8参照)としてそのままプリントされ、傷検出部位には所定のマーキングMが重ね描きされる。このハードコピーは例えば次工程での作業者による再検査あるいは塗装手直しの際に使用される。なお、このステップa6での処理をわかりやすいように図表化すれば図9のとおりである。
Thereafter, the inspection
ここで、上記傷検出のための画像処理だけに着目すれば、その処理手順は図10のステップS1〜ステップS8のとおりとなり、さらに、より詳細には図11のとおりとなる。本実施の形態では、輝度値補正と平滑化処理後の画像を元画像との差分処理によるいわゆる常時キャリブレーション機能を付加しているところに大きな特徴がある。 Here, if attention is paid only to the image processing for the flaw detection, the processing procedure is as shown in step S1 to step S8 in FIG. 10, and more specifically as shown in FIG. The present embodiment is greatly characterized in that a so-called constant calibration function is added by a difference process between an image after luminance value correction and smoothing processing and an original image.
図1の主制御装置5の画像処理手段たる傷検出部12では、図11のステップS11において各カメラ42,32の撮影画像を取り込んだならば、ステップS12において輝度値補正を含むコントラスト補正を実行する。ここでは、画像の色彩、彩度、輝度の情報を取得するとともに、色彩(Hue)の平均値および中央値を算出し、輝度値補正を含むコントラス補正処理として、取得した画像の画素値ヒストグラムをもとに画素値平均が一定となるように補正する。これは照明光のむらや車体色の違いによる影響を最小限にするため、各入力画像の画素値平均が一定になるように補正するものである。
In the
ステップS13では、上記のような輝度値補正を含むコントラスト補正後の画像に対しメディアンフィルタによる平滑化処理を施し、傷などの局所的な小領域を除去したりぼかしたりすることで擬似的にマスター画像として良品画像を作成する。このメディアンフィルタによる平滑化処理では、局所的な画素値が低いあるいは高い画像の画素値を周囲の画素値に揃える効果があり、傷などの局所的な不良を除去した良品相当の画像を推定できるほか、照明むらなどの緩やかな画素の輝度変化を保持することができる特徴がある。 In step S13, the image after contrast correction including the luminance value correction as described above is subjected to smoothing processing by a median filter, and a local master area such as a scratch is removed or blurred to artificially master. A good product image is created as an image. The smoothing process using the median filter has an effect of aligning pixel values of an image having a low or high local pixel value with the surrounding pixel values, and can estimate an image equivalent to a non-defective product from which local defects such as scratches have been removed. In addition, there is a feature that it is possible to maintain a gradual change in luminance of pixels such as uneven illumination.
次のステップS14では、図12に示すように、作成した良品画像と元画像(輝度値補正後の画像)との差分処理を実行し、塗装面における微細な線状の傷Qのみを外観不良または表面欠陥として抽出する。この差分処理では照明むらなどの影響を受けることなく傷などの局所的な不良のみを抽出することができ、かかる処理を取得した画像ごとに常時行うものとする。そして、次のステップS15では、2値化処理として指定した輝度値内の領域を明暗2値化処理する。 In the next step S14, as shown in FIG. 12, a difference process between the created non-defective image and the original image (image after luminance value correction) is executed, and only the fine linear scratch Q on the painted surface is poor in appearance. Or it extracts as a surface defect. In this difference processing, only local defects such as scratches can be extracted without being affected by uneven illumination, and such processing is always performed for each acquired image. In the next step S15, the area within the luminance value designated as the binarization process is subjected to the light / dark binarization process.
図11のステップS16では、特徴点の連結成分抽出とノイズ除去を行い、特徴点の連結成分を抽出するべく、先の2値化処理により抽出された領域の連続している領域(連結成分)を抽出する。 In step S16 in FIG. 11, the connected regions of the feature points are extracted and the noise is removed, and the regions extracted by the previous binarization process (connected components) are extracted in order to extract the connected components of the feature points. To extract.
次のステップS17,18では、領域膨張と抽出領域指定による微細傷または浅い線状の傷Qの検出を行い、誤検出の低減を図るものとする。すなわち、ステップS17では、一次特徴量抽出として、指定した面積(ピクセル数)内の特徴量を抽出し、抽出した領域を膨張(拡大)させる。さらに、ステップS18では、二次特徴量抽出として、指定した面積(ピクセル数)内の特徴量を抽出し、図12の傷Qの判定を行う。 In the next steps S17 and S18, detection of fine flaws or shallow line flaws Q by area expansion and extraction area designation is performed to reduce false detections. That is, in step S17, as primary feature value extraction, feature values within a specified area (number of pixels) are extracted, and the extracted region is expanded (enlarged). Further, in step S18, as the secondary feature quantity extraction, the feature quantity within the designated area (number of pixels) is extracted, and the scratch Q in FIG. 12 is determined.
ここで、先に述べたように、差分処理後の画像を2値化処理し、傷などの欠陥または不良箇所を抽出するが、ごく浅い傷は途切れた点として抽出されるため、傷Qと判定できないこともある。そこで、上記のように2値化処理後の結果を膨張させることにより、ごく浅い傷Qも連続した領域として抽出することができる。その一方、抽出した領域には傷Q以外の他の部品などのエッジ部分も含まれてしまうおそれがある。そこで、傷Qなどの小領域とそれ以外の領域とを区別するため、抽出領域が指定した面積(ピクセル数)内のものであるか否かを判定し、例えば塗装フレークのような小領域や、他部品のエッジなどの大領域をカットすることで、誤検出を低減し、傷Qに基づく外観不良または表面欠陥のみを正確に抽出することが可能となる。 Here, as described above, the difference-processed image is binarized and a defect such as a scratch or a defective portion is extracted. However, since a very shallow scratch is extracted as a broken point, Sometimes it cannot be judged. Therefore, by expanding the result after the binarization processing as described above, a very shallow wound Q can be extracted as a continuous region. On the other hand, there is a possibility that the extracted area may include an edge portion such as a part other than the scratch Q. Therefore, in order to distinguish small areas such as scratches Q from other areas, it is determined whether or not the extraction area is within the specified area (number of pixels). By cutting large areas such as edges of other parts, it is possible to reduce false detection and accurately extract only appearance defects or surface defects based on the scratch Q.
言い換えるならば、ステップS17,18での処理では、曲率変化の大きな面にある傷Qなどの局所的な不良を強調する効果のほか、照明むらなどによる緩やかな濃淡の変化を除去する効果が期待できるため、特定のパターンを登録することなく、曲率変化の多い形状に発生した傷Qも検出可能となり、また他部品のエッジなどの影響を受けることがなくなることで誤検出を低減することが可能となる。 In other words, in the processing in steps S17 and S18, in addition to the effect of emphasizing local defects such as a scratch Q on the surface with a large curvature change, an effect of removing a gradual shading change due to uneven illumination is expected. Therefore, it is possible to detect scratches Q that occur in shapes with many curvature changes without registering a specific pattern, and it is possible to reduce false detection by eliminating the influence of edges of other parts. It becomes.
また、先に述べたように、測距センサ34によって検出される車体側面部1aまでの実測距離、ひいては車体側面部1aと複数の照明装置29,30,31および複数台のカメラ32とのなすそれぞれの距離が所定の距離となるように、進退駆動手段たる電動アクチュエータユニット35を介して、複数の照明装置29,30,31および複数台のカメラ42,32をラック28ごと車体側面部1aに追従動作させるようにしているため、各カメラ42,32にいわゆるオートフォーカス機能がなくても、各カメラ42,32の位置と車体側面部1aとのなす距離が一定したものとなり、車体側面部1aのどの部位を撮影するに際してもそのピント合わせが可能となる。その結果、検査対象物である車両1の位置や姿勢のばらつきの影響を受けにくくなり、外観検査の精度が向上し、ひいてはその検査結果の信頼性も向上することになる。
Further, as described above, the actually measured distance to the vehicle body
特に、各カメラ42,32とともに複数の照明装置29,30,31までも車体側面部1aに追従動作させることにより、照明むら等の影響を受けにくくなり、外観検査の精度が一段と向上する。
In particular, by causing the
また、図2,3に示したように、車体側面部1aの曲率に倣わせて照明装置29〜31や複数のカメラ42,32を配置してあるため、曲面形状部位に適切に照明装置29〜31からの照明光を照射できるため、同部位における傷等の外観不良または表面欠陥を正確に検出することが可能となる。
In addition, as shown in FIGS. 2 and 3, since the
さらに、先に述べたように、光電センサ41により車両1を検出して、いわゆる撮影スタート座標の原点決めを行った上で、車両1の移動量を計測しながら複数のカメラ32の撮影開始のタイミングをコントロールすることにより、コンベアスピードのサージング等の影響を受けにくくなり、コンベアスピードに対応した画像検出タイミング制御を精度良く行うことができるようにした。そのため、車両1を搬送するスラットコンベア3の速度が変化しても、正確なタイミングで検査画像の取得ができるため、画像検出タイミングずれによる検査漏れがなく、かつ検査した傷の位置を精度よく検査員等に表示することができる。言い換えるならば、スラットコンベア3の速度変化による検査漏れや傷の検出位置精度の劣化を未然に防止できる。
Furthermore, as described above, after the
1…車両
1a…車体側面部(塗装面)
3…スラットコンベア
4…撮影機器ユニット
5…主制御装置
12…傷検出部(画像処理手段)
16…コンベアエンコーダ(車体移動量検出手段)
28…ラック(支持体)
29…照明装置(照明手段)
30…照明装置(照明手段)
31…照明装置(照明手段)
32…カメラ(撮像手段)
33…光電センサ(車幅方向在席検出手段)
34…測距センサ(測距手段)
35…電動アクチュエータユニット(進退駆動手段)
41…光電センサ(車体前後方向在席検出手段)
42…カメラ(撮像手段,撮影スタート制御用カメラ)
Q…傷(表面欠陥)
1 ...
DESCRIPTION OF SYMBOLS 3 ... Slat
16. Conveyor encoder (vehicle body movement amount detection means)
28 ... Rack (support)
29 ... Illumination device (illumination means)
30 ... Illumination device (illumination means)
31 ... Illumination device (illumination means)
32 ... Camera (imaging means)
33 ... Photoelectric sensor (vehicle width direction presence detection means)
34 ... Ranging sensor (ranging means)
35 ... Electric actuator unit (advance / retreat drive means)
41. Photoelectric sensor (body longitudinal presence detection means)
42 ... Camera (imaging means, camera for start control)
Q ... Scratches (surface defects)
Claims (10)
上記車体外板面に対して照明光を照射する照明手段と、
上記車体外板面に対して進退移動可能であって且つ当該車体外板面のうち照明光による照射部位を撮像する撮像手段と、
上記撮像手段が捉えた画像を入力として画像解析を行って、上記車体外板面における表面欠陥を抽出してこれを外観不良として検出する画像処理手段と、
上記撮像手段と車体外板面とのなす距離を検出する測距手段と、
上記撮像手段による撮像が可能な位置に自動車車体が在席していることを検出する車幅方向在席検出手段と、
上記照明手段、撮像手段、測距手段および車幅方向在席検出手段のそれぞれが搭載された共通の支持体と、
上記支持体を車体外板面に対して進退移動させる進退駆動手段と、
を備えていて、
上記車幅方向在席検出手段による自動車車体の在席検出を条件に、上記測距手段によって検出される車体外板面までの実測距離が規定の距離となるように、上記進退駆動手段を介して照明手段および撮像手段を支持体ごと車体外板面に追従動作させるようになっていることを特徴とする自動車車体の外観検査装置。 A device that picks up an image of the outer surface of the vehicle body while relatively moving the vehicle body to be inspected and the imaging means, extracts surface defects on the outer surface of the vehicle body by image processing, and detects them as defective appearance. And
Illuminating means for illuminating the vehicle body outer plate surface with illumination light;
An imaging means that is capable of moving back and forth with respect to the vehicle body outer plate surface, and that images an irradiation site by illumination light in the vehicle body outer plate surface;
An image processing unit that performs image analysis using the image captured by the imaging unit as an input, extracts a surface defect on the outer surface of the vehicle body, and detects this as an appearance defect;
Distance measuring means for detecting the distance between the imaging means and the outer surface of the vehicle body;
Vehicle width direction presence detection means for detecting that the vehicle body is present at a position where imaging by the imaging means is possible;
A common support on which each of the illumination means, the imaging means, the distance measurement means, and the vehicle width direction presence detection means is mounted;
A reciprocating drive means for moving withdrawal proceeds with respect to the vehicle body outer plate surface of the support,
The equipped,
Under the condition that the presence detection of the vehicle body is performed by the vehicle width direction presence detection means, the measured distance to the vehicle body outer plate surface detected by the distance measurement means is set via the advance / retreat drive means so as to be a prescribed distance. though automobile body appearance inspection apparatus according to claim Rukoto adapted to follow-up operation for each support body outside plate surface illuminating means and imaging means Te.
上記支持体ごとに独立した進退駆動手段を介して、それぞれの支持体を車体外板面に個別に追従動作させるようになっていることを特徴とする請求項2に記載の自動車車体の外観検査装置。 Supports on which the illumination means, imaging means, distance measurement means, and vehicle width direction presence detection means are respectively mounted are provided on both sides of the conveyor line of the automobile body by the conveyor,
3. The appearance inspection of an automobile body according to claim 2 , wherein each support is individually operated to follow the outer plate surface of the vehicle body via an independent forward / backward drive means for each of the supports. apparatus.
これら複数の撮像手段は自動車車体の正面視または背面視において当該車体の側面の形状に倣わせて配置してあることを特徴とする請求項1〜3のいずれか一つに記載の自動車車体の外観検査装置。 A plurality of the imaging means are juxtaposed along the height direction of the vehicle body so as to individually capture a plurality of regions divided in the height direction of the vehicle body,
The vehicle body according to any one of claims 1 to 3 , wherein the plurality of imaging means are arranged in accordance with a shape of a side surface of the vehicle body in a front view or a rear view of the vehicle body. Appearance inspection device.
上記車体外板面を撮像する撮像手段、上記撮像手段と車体外板面とのなす距離を検出する測距手段、および上記撮像手段による撮像が可能な位置に自動車車体が在席していることを検出する車幅方向在席検出手段を、上記車体外板面に対して進退移動可能な支持体に搭載してあり、
上記車幅方向在席検出手段による自動車車体の在席検出を条件に、上記測距手段によって検出される車体外板面までの実測距離が規定の距離となるように、上記支持体の進退移動をもって撮像手段を車体外板面に追従動作させることを特徴とする自動車車体の外観検査方法。 In this method, the vehicle body outer plate surface is imaged while the vehicle body to be inspected and the imaging means are moved relative to each other, and surface defects on the vehicle body outer plate surface are extracted by image processing and detected as defective appearance. And
The vehicle body is seated at a position where imaging means for imaging the outer surface of the vehicle body, distance measuring means for detecting the distance between the imaging means and the outer surface of the vehicle body, and a position where imaging by the imaging means is possible. Vehicle width direction presence detection means is mounted on a support that can move forward and backward with respect to the vehicle body outer plate surface,
On the condition that the presence detection of the vehicle body is detected by the vehicle width direction presence detection means, the support body moves forward and backward so that the measured distance to the vehicle body outer plate surface detected by the distance measurement means becomes a specified distance. automotive vehicle body appearance inspection method you characterized and Turkey were additionally sub operating an imaging unit in the vehicle body outside plate surface with.
上記車体外板面に対して照明光を照射する照明手段と、
上記車体外板面に対して進退移動可能であって且つ当該車体外板面のうち照明光による照射部位を撮像する撮像手段と、
上記撮像手段が捉えた画像を入力として画像解析を行って、上記車体外板面における表面欠陥を抽出してこれを外観不良として検出する画像処理手段と、
上記撮像手段と車体外板面とのなす距離を検出する測距手段と、
上記撮像手段と車体外板面とのなす距離が規定の距離となるように、上記車体外板面に対して撮像手段を進退移動させる進退駆動手段と、
上記撮像手段による撮像が可能な位置に自動車車体が在席していることを検出する車幅方向在席検出手段と、
上記コンベアによる自動車車体の走行方向において上記撮像手段による撮像が可能な位置に自動車車体が在席していることを検出する車体前後方向在席検出手段と、
を備えていて、
上記車幅方向在席検出手段による自動車車体の在席検出を条件に、上記測距手段によって検出される車体外板面までの実測距離が規定の距離となるように、上記進退駆動手段を介して撮像手段を車体外板面に追従動作させるようになっているとともに、
上記車体前後方向在席検出手段の検出出力に基づいて撮像手段による最初の撮像開始タイミングが制御されるようになっていることを特徴とする自動車車体の外観検査装置。 After imaging the vehicle body outer plate surface of an automobile body as an inspection object continuously running at a predetermined speed by a conveyor, the surface defect on the vehicle body outer plate surface is extracted by image processing and detected as an appearance defect. A device,
Illuminating means for illuminating the vehicle body outer plate surface with illumination light;
An imaging means that is capable of moving back and forth with respect to the vehicle body outer plate surface, and that images an irradiation site by illumination light in the vehicle body outer plate surface;
An image processing unit that performs image analysis using the image captured by the imaging unit as an input, extracts a surface defect on the outer surface of the vehicle body, and detects this as an appearance defect;
Distance measuring means for detecting the distance between the imaging means and the outer surface of the vehicle body;
Forward / backward drive means for moving the imaging means forward / backward with respect to the vehicle body outer plate surface so that a distance between the image pickup means and the vehicle body outer plate surface is a specified distance;
Vehicle width direction presence detection means for detecting that the vehicle body is present at a position where imaging by the imaging means is possible;
Vehicle body front-rear direction seating detection means for detecting that the vehicle body is seated at a position where imaging by the imaging means is possible in the traveling direction of the vehicle body by the conveyor;
With
Under the condition that the presence detection of the vehicle body is performed by the vehicle width direction presence detection means, the measured distance to the vehicle body outer plate surface detected by the distance measurement means is set via the advance / retreat drive means so as to be a prescribed distance. The image pickup means is adapted to follow the outer surface of the vehicle body,
The longitudinal direction of the vehicle body Presence detection first have the appearance inspection apparatus of the automotive vehicle body you wherein Rukoto so imaging start timing is controlled by the imaging unit based on the detection output of the unit.
各撮像手段はコンベアにより走行する自動車車体の移動に同期して当該自動車車体の前後方向で複数回に分けて間歇的に撮像することを特徴とする請求項7に記載の自動車車体の外観検査装置。 A plurality of the imaging means are juxtaposed along the height direction of the vehicle body so as to individually capture a plurality of regions divided in the height direction of the vehicle body,
8. The appearance inspection apparatus for an automobile body according to claim 7 , wherein each imaging means intermittently images in a plurality of times in the front-rear direction of the automobile body in synchronization with the movement of the automobile body running on the conveyor. .
上記撮像手段は車体移動量検出手段による検出移動量が設定移動量になった時点でその都度撮像することを特徴とする請求項8に記載の自動車車体の外観検査装置。 A vehicle body movement amount detecting means for detecting a movement amount of the automobile body traveling by the conveyor is provided,
The imaging means automobile body appearance inspection apparatus according to claim 8, wherein each time imaging to Rukoto upon detecting movement amount of the vehicle body movement amount detecting means reaches a set amount of movement.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013079154A JP6191204B2 (en) | 2012-09-27 | 2013-04-05 | Appearance inspection apparatus and appearance inspection method for automobile body |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012213425 | 2012-09-27 | ||
JP2012213425 | 2012-09-27 | ||
JP2013079154A JP6191204B2 (en) | 2012-09-27 | 2013-04-05 | Appearance inspection apparatus and appearance inspection method for automobile body |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014081356A JP2014081356A (en) | 2014-05-08 |
JP6191204B2 true JP6191204B2 (en) | 2017-09-06 |
Family
ID=50785649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013079154A Expired - Fee Related JP6191204B2 (en) | 2012-09-27 | 2013-04-05 | Appearance inspection apparatus and appearance inspection method for automobile body |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6191204B2 (en) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10007981B2 (en) * | 2016-07-09 | 2018-06-26 | Mountain Forge | Automated radial imaging and analysis system |
DE102016115698A1 (en) | 2016-08-24 | 2018-03-01 | Josef Paul Gmbh & Co. Kg | Apparatus, method and computer program product for inspecting motor vehicles |
DE202016105450U1 (en) | 2016-08-24 | 2016-11-07 | INSISTO GmbH | Device for inspecting at least the outer sides of motor vehicles |
FR3075371B1 (en) * | 2017-12-19 | 2020-10-30 | Moncarrosse | SURFACE FAULT DETECTION ASSISTANCE SYSTEM |
CN109342320A (en) * | 2018-12-13 | 2019-02-15 | 深源恒际科技有限公司 | Automobile appearance damage check identifies hardware system |
CN113075228B (en) * | 2020-01-03 | 2022-09-02 | 佛亚智能装备(苏州)有限公司 | Device and method for detecting double faces of various automobile door panels |
DE102020110024A1 (en) | 2020-04-09 | 2021-10-14 | Digital Vehicle Scan Gmbh & Co. Kg | DEVICE AND METHOD FOR VISUAL INSPECTING MOTOR VEHICLES |
WO2023021854A1 (en) * | 2021-08-17 | 2023-02-23 | 日東電工株式会社 | Method for inspecting optically transparent laminate |
CN115684172A (en) * | 2022-10-09 | 2023-02-03 | 迁安市福运机动车检测有限公司 | Automobile appearance detection system and using method thereof |
US20240314420A1 (en) | 2023-03-17 | 2024-09-19 | Makoto Hirakawa | Car body inspection device and car body inspection method |
KR102713640B1 (en) * | 2023-11-21 | 2024-10-07 | (주)위플로 | Inpection apparatus for vehicle using a removable camera |
CN118347943B (en) * | 2024-06-17 | 2024-09-17 | 菲特(天津)检测技术有限公司 | Vehicle body paint surface detection system and method |
CN118329781A (en) * | 2024-06-17 | 2024-07-12 | 菲特(天津)检测技术有限公司 | Automobile body paint surface detection device |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0827181B2 (en) * | 1988-05-26 | 1996-03-21 | 関東自動車工業株式会社 | Automatic coating skin inspection device |
JP2681513B2 (en) * | 1989-06-08 | 1997-11-26 | 関東自動車工業株式会社 | Painted surface inspection equipment for vehicles |
JP2720360B2 (en) * | 1990-08-21 | 1998-03-04 | 関東自動車工業株式会社 | Painted surface inspection equipment for vehicles |
JP3320858B2 (en) * | 1993-10-15 | 2002-09-03 | マツダ株式会社 | Imaging range detection method in surface inspection |
JPH08210827A (en) * | 1995-02-01 | 1996-08-20 | Mazda Motor Corp | Method and apparatus for inspecting surface |
JP2976869B2 (en) * | 1995-12-28 | 1999-11-10 | 日産自動車株式会社 | Surface defect inspection equipment |
JP3204444B2 (en) * | 1996-06-26 | 2001-09-04 | 日産自動車株式会社 | Surface defect inspection equipment |
JP2002131238A (en) * | 2000-10-25 | 2002-05-09 | Honda Motor Co Ltd | Visual inspection apparatus |
-
2013
- 2013-04-05 JP JP2013079154A patent/JP6191204B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014081356A (en) | 2014-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6191204B2 (en) | Appearance inspection apparatus and appearance inspection method for automobile body | |
JP6052590B2 (en) | Surface inspection apparatus and surface inspection method for automobile body | |
JP6264132B2 (en) | Inspection device and inspection method for painted surface of vehicle body | |
EP1995553B1 (en) | System and method for identifying a feature of a workpiece | |
CN104508423B (en) | For the method and apparatus of the inspection on the surface of inspected object | |
JP5175528B2 (en) | Tunnel lining crack inspection system | |
CN103245671B (en) | Stamping parts surface defect detection apparatus and method | |
US11965836B2 (en) | Assembly for detecting defects on a motor vehicle bodywork | |
US20130057678A1 (en) | Inspection system and method of defect detection on specular surfaces | |
CN101014850B (en) | System and method for inspecting electrical circuits utilizing reflective and fluorescent imagery | |
CN107490579B (en) | Defect inspection method and apparatus therefor | |
KR101192118B1 (en) | Apparatus for defect detection on strip surface using multiple light source | |
BR112019016351B1 (en) | ONLINE SYSTEM AND METHOD FOR MEASURING THE OPTICAL CHARACTERISTICS OF A GLASS SLIDE | |
JPH10318938A (en) | Surface-inspection apparatus | |
JP3204444B2 (en) | Surface defect inspection equipment | |
JPH11271038A (en) | Painting defect inspection device | |
JP2008160635A (en) | Camera state detection method | |
JP6438275B2 (en) | Paint surface inspection equipment | |
JP3206430B2 (en) | Surface defect inspection equipment | |
JP2011180047A (en) | Pantograph monitoring system | |
JP4513047B2 (en) | Surface defect inspection equipment | |
JP2010175283A (en) | Device for producing plane image | |
KR102117697B1 (en) | Apparatus and method for surface inspection | |
JP6577733B2 (en) | Measuring system | |
JP3204443B2 (en) | Surface defect inspection equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170724 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6191204 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |