JP2019522564A - コーキング及びシーリング作業用の粘性流体の自動化された人工的ビジョンガイド付き分注のためのシステム及び方法 - Google Patents

Abstract

本開示は、付着した流体、その付着の速度及び量、並びに位置のコンピュータビジョンベースの観測により正確な量の粘性流体シーリング材を必要な位置に分注でき、また分注された流体をロボット又はその他の特殊目的の機構の動作により正確に形作ることができる方法及びシステムを提供する。本発明は、新たに形成されたシールの位置、量及び形状に関して分注プロセスの即時の品質検査を可能にする。
【選択図】図２

Description

本開示は、ファスナー（fastners）等の様々な形体（features）周囲の又は接合部に沿ったシーリングのためにコーキング及びシーリング作業を行うための粘性流体の自動化された人工的ビジョンガイド付き分注の方法及びシステムに関する。

複数の部品で締結される大型製造物は、完全にシールされなければならないことが多い。例えば、航空機の翼内部は燃料を格納するために利用されるが、シーリングにより漏れが防止される。この役割を遂行するために、それぞれのファスナーの頭部はシーリング材によって覆われ、そのシーリング材は硬化する粘性流体として塗布される。同様に、部品間の継ぎ目も燃料漏出を防止するために接合部にシーリング材を塗布しなければならない（いわゆる、フィレットシール）。そのような粘性シーリング流体の塗布は、正確な方法で行わなければならない。これは、十分な量のシーラントがシールされる形体周囲に及び／又は形体に沿って確実に付着するようにすることで、信頼性のあるシールを形成し、結果として得られるシールの形状を管理し、それにより格納された液体の汚染を防止するため又は硬化したシーリング材上に汚染物質が堆積可能な空間を設けるためである。さらに、乾燥したシーラント材の断片が付着後にシールからはがれないように、シールは十分に均一で粘着性がなければならない。現在、大半の航空機翼のシーリングは、容易にロボットに置き換えることができない複雑な作業であるため、手作業で行われている。いくつかのロボットによるプロトタイプが開発され、特許が取得されている。

Hubertに交付された米国特許No.6,908,642には、回転ポジショナーに搭載された翼部のスパーをシール可能な塗布器を備えた構台搭載ロボットが開示されている。ロボットの軌道は、予めプログラムされてコントローラに記憶されており、カメラの画像とコントローラに記憶されている画像とを比較することによりその経路を調整できる。

Davanacesに交付された米国特許No.8,651,046には、シーラントの流れを止めるためのクランプを内蔵した、シーラントを分注するための装置が開示されている。

Topfに交付された米国特許No.9,095,872には、例えば、温度及び圧力を検出する様々なセンサを備え、また貯蔵器から分注装置までのシーラントの動きを制御するコントローラを含むシーラントを分注する装置が開示されている。

Guzowskiによる米国特許公報No.2015/0086706A1には、２台のロボットを備えたシーリングシステムが開示され、第１のロボットはシーリングを行う役割を担い、第２のロボットは貯蔵器から新しいシーラントのカートリッジを第１のロボットに補給する役割を担う。

米国特許公報No.US2015/0314890には、構造物のワーク表面に作業を行う方法及び装置が開示されており、可動プラットフォーム及び可動プラットフォームが構造物のワーク表面の上方に位置するように構成されて表面に所望の作業を行うオーバーヘッドサポートシステムを備えている。

本開示は、付着した流体、その付着速度及び量、並びに位置のコンピュータビジョンベースの観測により、正確な量の粘性流体シーリング材を必要な位置に分注でき、また分注された流体をロボット又はその他の特殊目的の機構の動作により正確に形作ることができるシステム及び方法を提供する。本システム及び方法は、新たに形成されたシールの位置、付着量及び形状に関する分注プロセスの即時すなわち実時間（real-time）の品質検査を可能とする。

本実施形態において、自動化された部品シーリングのための実時間のコンピュータ実装方法が提供され、シールされる一以上の部品の実時間のビジュアル画像を取得する工程と、シールされる部品に伴う少なくとも一つの形体を検出する工程と、ロボットアームに搭載された分注装置に対して前記少なくとも一つの形体の位置及び方向を計算する工程と、前記少なくとも一つの形体に対する予め選択された位置及び方向に前記分注システムを位置合わせするために前記ロボットアームを動かす工程と、シールを生成するためにシーラントを分注する間に取得される、前記分注されるシーラントの前記ビジュアル画像の実時間処理に基づいて、前記分注されるシーラントの量を制御する工程とを備える。

本開示は、一以上の部品をシールするためのビジョンガイド付き分注システムを提供するもので、分注ノズルを有する分注装置を搭載して収納するハウジングと、前記ハウジングに搭載されたビジョンセンサと、前記分注装置及び前記ビジョンセンサに接続されるビジョンプロセッサとを備える。前記ビジョンプロセッサは、前記一以上のシールされる部品及び前記分注ノズルの画像の実時間処理のための指示により、シーラントを分注することに先立って前記分注ノズルを前記形体に対して位置合わせする必要がある位置を判定するようにプログラムされる。前記ビジョンプロセッサは、前記分注装置によりシーラントが分注されている間に前記分注ノズルの画像を取得するようにプログラムされる。前記ビジョンプロセッサは、前記実時間処理された画像から、十分なシーラントが分注されたかどうかを判定するため及びシーラントの分注をいつ開始し、いつ停止するかについて前記分注装置を制御するための指示によりプログラムされる。

前記シールの前記品質は、前記シールが塗布される前後の画像を取得及び分析し、前記シールが、前記形体に対して所望の位置に設置されたかどうか及び所望の形状と大きさを有するかどうかを判定することによって評価することができる。

前記ビジョンセンサは、一以上の２Ｄカメラを含んでもよい。

あるいは、前記ビジョンセンサは、一以上の２Ｄカメラ及び一以上の距離計を含んでもよい。

前記ビジョンセンサは、前記ディスペンサノズルの先端、シールされている形体又はその両方及び前記ノズルに近いシールされている前記部品の表面を観測するために搭載してもよい。

前記ビジョンセンサは、一以上のステレオカメラを含んでもよい。

前記ビジョンセンサは、一以上の３Ｄカメラを含んでもよい。

前記ビジョンセンサは、一以上の２Ｄカメラ及び一以上の構造化光プロジェクタを含んでもよい。

本開示は、また、部品上の様々な形体周りのコーキング及びシーリング作業用の粘性流体の自動化された人工的ビジョンガイド付き分注のためのシーリングシステムを提供する。前記シーリングシステムは、前記形体を有する前記部品に対して前記システムの全般的な位置合わせのための可動プラットフォームと、前記形体にシーラントを塗布するための分注装置と、前記形体に対する前記分注装置の位置合わせのために前記分注装置が装着される前記可動プラットフォームに搭載される位置合わせ装置と、前記部品に対する前記可動プラットフォームの位置を判定するための検出装置と、前記分注装置に対する前記部品上の前記形体の位置を判定するとともに、分注される前記シーラントのビジュアル画像に基づいて分注されるシーラントの必要量を判定するための第２の検出装置と、前記第２の検出装置からのフィードバックに基づいて前記位置合わせ装置と前記分注装置を制御するためのコントローラとを備える。

以下の詳細な説明と図面を参照することにより本開示の機能的態様及び有利な態様に関するさらなる理解が得られる。

コーキング及びシーリング作業を手作業で行う航空機組み立て技術者の図を示す。 可動プラットフォーム（手押し車が示されている）に搭載されたロボットによるシーリングシステムを示す。 本明細書に開示されたロボットのエンドエフェクタに搭載された分注システムの実施形態を示す。 分注システムの代替実施形態を示す。 本分注システムの一部を形成するシーラント分注装置を示す。 本明細書に開示された方法及びシステムを用いる分注作業に含まれるステップを示すフロー図を示す。 本発明の一部を構成する方法及びシステムで用いられるオフライン及びオンラインの較正プロセスに含まれるステップを示すフロー図を示す。 絵を用いてファスナーの位置の計算方法を示す。 絵を用いてドームの２Ｄ検査の実施方法を示す。 ドームの３Ｄ検査の実施方法を示す。 単一のカメラ及び２台のレーザープロジェクタを有する図３と異なる本分注システムの代替設計を示す。 二液型材を連続的に混合する本分注装置の代替実施形態を示す。 図３の前記分注システムにおいて、３つのリニヤモータを使用する代替実施形態を示す。 図３の前記分注システムにおいて、フレキシブルチューブを有する代替実施形態を示す。 パターンプロジェクターを用いるシーリングシステムの本実施形態の拡張を示す。 シーラントからすべての気泡を除去するための回転針を有する図３に示すディスペンサの代替実施形態を示す。 ロボットと作業者が一緒に作業する協働ワークセルを示す。 ドームシーリングの最後に実行される旋回パターンを示す。 本明細書で開示されたシステムを用いたフィレット接合部のシーリングを示す。 一つの位置から到達可能な作業現場を示す。 可動構台に搭載されたロボットアームの代替実施形態を示す。 可動構台システムから吊り下げられたロボットアームの代替実施形態を示す。 固定構台システムから吊り下げられたロボットアームの代替実施形態を示す。

図面を参照して、ほんの一例として実施形態を説明する。

下記で述べる詳細を参照して本開示の様々な実施形態及び態様を説明する。以下の説明及び図は本開示の例示であって本開示を限定すると解釈すべきではない。図面は必ずしも正確な縮尺ではない。本開示の様々な実施形態の完全な理解を提供するために数多くの具体的な説明を記載する。しかしながら、場合によっては、本開示の実施形態の簡潔な説明を提供するために、既知の又は従来の詳細は説明しない。

本明細書で用いるように、用語「含む（comprises）」及び「備える（comprising）」は、内包的で拡張可能であり、排他的でないと解釈すべきである。特に、請求項を含む本明細書において使用する場合、用語「comprises」、「comprising」及びその変化形は具体的な形体、ステップ又は構成部品が含まれることを意味する。これらの用語は他の形体、ステップ又は構成部品の存在を排除すると解釈すべきでない。

本明細書で用いられるように、用語「例示の（exemplary）」は、「例、実例、図解としての役割を果たすこと」を意味し、本明細書に開示された他の構成に対して好適又は有利であると解釈すべきでない。

本明細書で用いられるように、用語「約（about）」及び「概略（approximately）」は、粒子の寸法、混合物の成分若しくは他の物理的性質又は特性の範囲と関連して用いられる場合、平均すると大半の寸法は満足するが統計的にはその範囲外に寸法が存在する可能性がある実施形態を排除しないために、寸法範囲の上限及び下限の中に存在する可能性があるわずかな変動をカバーすることを意味する。このような実施形態を本開示から排除することを意図するものではない。

ファスナーは、シーリング材をドーム形状の付着物に形成することによってシールされる場合が多い。これはリベットに対してよくみられ、そのような薄型のファスナーに関しては、ドーム形状は、必要な厚さを保証しながら最小限の量のシーリング材で形成される。ハイロックやボルト等の他のファスナーは背が高く、円錐台形状又は円錐形状が必要な厚さを保証しながら最小限の量のシーラントで形成される。下記の説明において、ドームシーリングという用語は、円錐形状を含む付着シーリング材の他の形状を含むと理解すべきである。

本コンピュータ制御によるシーリング方法及びシステムは、特に航空機の翼に関して下記に例示して説明されているが、本明細書に開示されたシステム及び方法はその他の製造業に対して利用可能であると理解されるであろう。

図１を参照すると、現行の手作業によるシーリングプロセスが示されている。作業者１００及び作業者１０１は両者とも翼部１０２上で手持ち式分注装置１０３及び１０４をそれぞれ使用し、作業者１００は接合部にシールのビードを塗布し、作業者１０１はファスナーにシーラントのドームをそれぞれ塗布している。理解できるように、この従来技術の技法は非常に労働集約的で、作業者は勤務中に疲労するので、最も堅牢とは言えない場合があるシールを作りがちである。

本コンピュータ実装シーリングシステム１０の実施形態を図２に示す。ロボットマニピュレータ又はロボットアーム２００（以後、ロボットアームと称する）である位置合わせ装置が、図２に示す車輪付きの可動プラットフォーム２０１又は図２０及び２１に示す車輪付き構台セットアップ又は図２２に示すロボットアーム２００が一緒に移動できる固定プラットフォームに搭載されている。図２０乃至２２のプラットフォームは後で説明する。ロボットアーム２００は図２に示すように６−ＤＯＦシリアルリンクのロボットアーム又は異なるトポロジー（例えば、パラレルリンクのロボットアーム）を有するロボットアーム若しくはロボットアーム２００の先端における３つの並進自由度及び３つの回転自由度でツールを位置付けることができる限り異なる数の自由度を有するロボットアームであってもよい。

可動プラットフォーム２０１は、図２に示すように手作業で操作する手押し車、モータ駆動式プラットフォーム又は半若しくは完全自律車両であってもよい。その目的は、シールされるべき形体を有する部品に対して上記システムの全体的位置合わせができるようにすることである。図２０、図２１又は図２２におけるように、モータ駆動式リニヤステージに沿って移動するプラットフォームであってもよい。オーバーヘッドカメラ２０２はプラットフォーム２０１に装着されたフレーム２０９に搭載され、シールされる部品２０８を観測する。カメラ２０２はビジョンプロセッサ２０３に接続される。オーバーヘッドカメラ２０２は包括的なビジョンセンサと考えてもよい。ロボットアーム２００には、接合部又はシールされるその他のアイテムにシーラントを分注するための分注システム２０４が装着されている。ロボットコントローラ２０５はビジョンプロセッサ２０３、ロボットアーム２００及び分注システム２０４に接続されている。ビジョンプロセッサ２０３に接続されているユーザーインターフェース付きのタッチスクリーンモニター２０６は、システムの状態を監視し、動作を命令するためにオペレータによって使用される。無停電電源又はバッテリー２０７はプラットフォーム２０１に搭載され、作業現場間を移動する間システムに電力を供給する。

「ビジョンシステム」という表現は、カメラ２０２、３０２、ビジョンプロセッサ２０３と相互接続される距離計３０１を指す。

ビジョンプロセッサ２０３及びロボットアームコントローラ２０５は両方とも互いに通信可能な既知のマイクロプロセッサ又はコンピュータでもよい。ビジョンプロセッサ２０３はセンサ２０２及び３０２並びに様々な実施形態において含まれる可能性があるその他の追加のセンサからの実時間画像を分析するための指示又はアルゴリズムによりプログラムされており、またこれらの画像の分析に基づいて少なくとも一つのシールされる形体を有する予め選択された位置にロボットアーム２００を位置合わせするようにロボットアームコントローラ２０５に指示するための指示又はアルゴリズムによりさらにプログラムされている。一旦、ロボットアーム２００が予め選択された位置に位置合わせされると、ビジョンプロセッサ２０３（及び／又はロボットアームコントローラ）はシーラントを分注するための分注システム２０４を起動するようにプログラムされており、シーラントを分注している間に実時間で得られた画像に基づいて、十分なシーラントが分注されたと判定した時点でシーラントの分注を停止する。あるいは、カメラ／光学センサ及びロボットアームの両方に接続された単一のプロセッサを使用できることは当業者に理解されよう。このマイクロプロセッサ又はコンピュータは、センサによる画像を分析するために必要なすべてのアルゴリズム及びロボットアーム２００を制御するために必要なすべてのアルゴリズムを含めてプログラムされている。

分注システム２０４は図３Ａに詳細に示されており、分注装置３００、構造化光距離計３０１及び光源３０３付き観測用カメラ３０２を含む。距離計３０１は、部品２０８のセクション３０５上に光の面３０４を投影して距離計３０１の第２のカメラ（図示せず）によって観測される光のパターン３０６を形成し、ビジョンプロセッサ２０３による部品上の光のパターンまでの３次元距離の計算を可能にする。図３ａに示す実施形態において、光の面３０４はノズル３０７の縦軸にほぼ平行であり、ノズル３０７の前に位置する。これによりフィレット継ぎ目を形成する場合ノズル３０７の前で距離が測定されるのでいくつかの利点が得られる。しかし、距離が一定の視差を持って測定され、またノズル３０７が部品に最も近い位置でないということより生じる不利な点がある。光の面３０４の再指向又は距離計３０１の回転は、光の面３０４をノズル３０７に近づけて視差を減少させる。観測用カメラ３０２は、分注装置３００のノズル３０７の先端並びに図３ａ及び３ｂの３０５に示されるシールする部品２０８の一部を観測する。

カメラ３０２は、２つのタスク、すなわち、１）下記に説明するようにノズル３０７から分注されるシーラントの量を監視して制御すること及び２）シールされる形体を検出し、ロボットアーム２００に分注に対して好適な位置にノズル３０７を位置させるよう指示するためにロボットコントローラ２０５に入力を与えることを行うために使用される。一つのカメラ３０２を両方のタスクに使用すると必要なハードウェアが減るという利点がある。しかし、本カメラ３０２は、ノズル３０７が存在するため視野が狭くなる。次の形体を検出するために、視野に障害がない位置に分注システム２０４を移動しなければならないかもしれず、そのため作業時間が増大する。

外部カメラシステムという手段によって部品に対して分注システム２０４を設置する代替手段を提供するために外部３次元マーカーシステム３０８ａ、３０８ｂ、３０８ｃ及び３０８ｄを分注システム２０４に装着してもよい。

場合によっては、分注能力を備えた既存のロボットワークセル（robotic workcell）を増強することは有利であろう。これは図３ａに示す分注システム２０４、そしてさらに図２に示されているが、図３ａに示されていないビジョンプロセッサ２０３の形を取るであろう。ビジョンプロセッサ２０３もまた分注システム２０４に組み込まれて単一のインテリジェントな付加ユニットを形成してもよい。より具体的には、分注システム２０４とビジョンプロセッサ２０３を組み合わせるとビジョンガイド付き分注システム、すなわちスマート分注システムが形成され、それを既存のロボットアームに後付けしてもよい。ビジョンプロセッサ２０３は、生成されたシールの最終形状とともに分注されたシーラントの量を分析するためのアルゴリズムを含めてプログラムされている。分注システム２０４は、分注されたシーラントの量を追跡して記録する計量装置を含んでもよく、このようにシールの形状と共に分注されたシーラントの量を記録すると、生成されたそれぞれのシールの包括的な記録が得られる。

分注システム２０４は、３１１のボルト締めされたインターフェースにより直接的にロボットアーム２００先端と結合されるか、又はフォースモーメントセンサ３０９がそれらの間に装着されるかのいずれでもよい。フォースセンサ３０９によりノズル３０７とシールされた部品間の接触力の検出が可能となる。前進／後退ボタン３１０は、プランジャ４０５（図４に示す分注装置３００の一部を成す）の手動による前進又は後退を始動させ、また状態を示す光源が分注システム２０４と統合されてもよい。あるいは、フォースセンサは、分注装置３００の構造と統合することができる。接触を判定する代替方法として、ロボットアーム２００の関節でのトルクの増加を測定する方法がある。これは明示的トルク変換器でロボットアーム２００の各マニピュレータ関節の出力部のトルクを測定することにより又はロボットアーム２００の関節のそれぞれにおけるモータの電流を測定することにより遂行可能である。

追加のロボットアーム動作に対する必要性を排除する分注システム２０４の代替実施形態を図３ｂの２０４’で示す。分注システム２０４’は、分注システム２０４と同様であるが、ノズル３０７の前で妨害なく形体を観察するために配置される光源３１３付きの追加の第３のカメラ３１２を含む。この配置は、次の形体の障害がない画像を取り込むために分注システムを移動させる必要がなくシステムの作業がより早くなるので、図３ａの分注システム２０４に対して優位性がある。

モータ駆動式リードスクリューアッセンブリ付き分注装置３００を図４の断面で示す。分注装置３００は、カートリッジホルダー４０１に挿入されたカートリッジ４００を含み、そしてノズル３０７はカートリッジ４００に装着されている。カートリッジ４００はツイストロック機構によってキャップ４１０で所定の位置に固定されている。キャップ４１０はモータ４０３に装着されており、モータ４０３は、カートリッジ４００に入る装着されたプランジャ４０５付きのリードスクリュー４０４を駆動する。プランジャ４０５が下方へ動くと、シーラント流体はノズル３０７から押し出される。モータ４０３のケーシング４０６はキャップ４１０に装着され、装着されたピン４０７により回転動作を阻止する。ピン４０７は、プランジャの動作距離の上部４０８及び底部４０９でセンサを始動させる。リードスクリュー４０４付きのモータ４０３はキャップ４１０に装着される。モータ４０３は、直接リードスクリュー４０４を駆動するステッピングモータ又はギヤボックスを介してリードスクリュー４０４と連結されたサーボモータでもよい。

ノズル３０７は、まっすぐでも、あるいはアクセスが困難な位置にシーラントを塗布するためアクセスを容易にできるよう曲げられてもよく、円形、楕円形又は長方形の先端開口部を有する。先端の直径は、付着のためのシーラントをシールされる部分の上に形成するために、必要に応じてノズル３０７の分注端にカップ４１１を装着することによって大きくしてもよい。

ドームシーリング
本発明の一部を構成する方法及びシステムを用いて、ファスナー上にドーム状のシーラントを塗布するための分注作業に含まれるステップを示すワークフロー図を図５に示す。各ステップについては下記でさらに詳細に説明する。さらなる複合ステップに対する追加説明を下記のセクションで提供する。下記の作業は分注システム２０４について述べられているが、分注システム２０４’が基本的に同様に機能することは理解されるであろう。
１．オペレータはコンピュータ実装シーリングシステム１０を起動して流体を分注する対象部品に関連するデータファイルをロードする。
２．オペレータは分注システム２０４に搭載されているカートリッジホルダー４０１を開けて、分注される粘性流体のカートリッジ４００を交換する。
３．オペレータは粘性流体のカートリッジ４００にノズル３０７を装着して、ツイストロック機構４１０によってカートリッジホルダー４０１を閉じる。
４．オペレータは較正ターゲットを用いて較正を行い、ノズル３０７を手動でプライミングしてもよいし、オペレータは自動プロセスを開始して、システムがこれらの作業を自動的に行ってもよい。詳細は下記で説明する。
５．オペレータはカート２０１を作業現場近くに押して行く、それと同時にビジョンシステムはオーバーヘッドカメラ２０２を用いてシールされる部品の最初の作業現場を探す。ビジョンシステムは、プラットフォーム２０１が作業を開始するための最良の位置に十分近い場合、オペレータにアラートを出す。詳細は下記で説明する。
６．オペレータはタッチスクリーン２０６を用いて位置を確認して、シール作業を開始する。
７．ロボットコントローラ２０５は、分注システム２０４を最初のファスナー近くに動かすようロボットアーム２００に命令する。
８．ビジョンシステムはオーバーヘッドカメラ２０２と連動して距離計３０１により表面をスキャンし、図３ａで分かるように投影線３０６に沿って部品２０８までの距離を判定する。詳細は下記で説明する。
９．ロボットコントローラ２０５は、距離計３０１の光軸を略中心として回転する及び／又は平行移動するようロボットアームに命令する。
１０．ビジョンシステムは部品２０８の表面をもう一度スキャンして投影線３０６に沿って部品２０８までの距離を判定する。詳細は下記で説明する。
１１．ビジョンシステムは最良適合の面を判定する。そしてこの情報に基づいて、ロボットコントローラ２０５は、ロボットアーム２００に部品２０８の表面に対して分注システムの縦軸が局所的に垂直になるよう調整することを命令する。この計算は、ファスナーが置かれる面の面法線であるステップ９及び１１の外積の計算に依拠するであろう。
１２．ビジョンシステムは分注システムのカメラ３０２を用いてカメラ３０２に対するファスナーの位置を見出す。詳細は下記で説明する。
１３．ビジョンシステムは距離計３０１を用いてノズル３０７に対するファスナーの深さを見出す。ビジョンシステムはカメラ３０２を用いて、シールされるファスナーの基準画像を取り込む。詳細は下記で説明する。
１４．ビジョンシステムは、距離計３０１のデータ及びカメラ３０２のデータの組み合わせを用いて分注システム２０４に対するファスナーの位置を３つの並進寸法で見出す。
１５．ロボットコントローラ２０５は、分注システム２０４をファスナー上で動かすようロボットアーム２００に命令する。シールされる部品１０２との意に反した接触をしないよう力を制限するために、ロボットアーム力制御が始動される。
１６．ビジョンシステムは、モータ駆動式リードスクリュー４０４を作動させることによって適切な量の流体を分注するよう分注装置３００に命令する。詳細は下記で説明する。
１７．ビジョンシステムは、十分な量の流体が検出された場合にプランジャ４０５の動作を止めて後退させるよう分注装置３００に命令する。この検出は、流体小塊の直径の測定により遂行できる。
１８．ロボットコントローラ２０５は、流体の硬化に先立ち粘性流体が所望の最終形状に塗布されるようにノズル３０７の先端４１１を動かすようロボットアーム２００に命令する。典型的には、部品を汚染することなく確実に残りのシーラントがドームに付着するように旋回（３Ｄの螺旋状の動作）が実行される（図１７参照）。
１９．ロボットコントローラ２０５は、ステップ１３で述べた位置に分注システム２０４を戻すようロボットアーム２００に命令し、また比較２Ｄ又は３Ｄ画像を記録することにより検査を行う。詳細は下記で説明する。
２０．ロボットコントローラ２０５は、予め用意されているデータファイル及び直近に検出されたファスナーの位置に基づいて次のファスナー位置上方の低いホバー位置に分注システム２０４を移動させるようロボットアーム２００に命令する。
２１．ステップ１２乃至２０が繰り返される。
２２．必要に応じて、データファイル（例えば、次のファスナーは前のファスナーとは同一平面上にない）に基づき、本システムはファスナーの位置特定のためにステップ８乃至１１を繰り返した後、一連の後続のファスナーのためにステップ１２乃至２０を繰り返す。
２３．分注装置３００のリミットスイッチ４０９が、カートリッジ４００が終了したことすなわち空になったことを検出した場合、分注プロセスは中断し、ロボットアーム２００は分注システム２０４を部品２０８から遠ざける。オペレータはカートリッジ変更の合図（フラグ）を受けて、再開させる前にステップ２乃至４を繰り返す。
２４．作業現場が終了した場合、オペレータはシステムから合図（フラグ）を受けるとともに、関係部分のために次の格納された作業現場に移動するよう指示を受けてすべての部品２０８について所望の位置に流体を分注するまでステップ２乃至２２を繰り返す。
２５．シーリングシステム１０は作業現場から遠ざけられて停止される。

上記の項目４に関して、ノズル３０７の較正とプライミングの詳細な説明を図６に示す。手作業によるオフライン較正は、図６に示す特別な較正ターゲット６００を用いて、またノズル３０７の先端４１１（図４）を較正ターゲット６００上の既知の位置に置くための分離区域、パターン６０４（この特定の実施形態においては、パターン６０４は一連の平行線である）及びカメラ３０２が見る較正対象６０５で構成されて行われる。オペレータはノズル３０７をポスト６０３に挿入し（ステップ６０１）、距離計３０１により投影された線をターゲット６０４上の一連の線と合わせるために較正ターゲット６００を回転させ（ステップ６０６）、そして較正対象６０５の画像を取り込むためにビジョンシステムを始動させる。代替実施形態では、人間のオペレータがノズル３０７を挿入する代わりに、ロボットアーム２００がロボットコントローラ２０５の力制御機能を利用して分注システム２０４のノズルをポストに置く。当該画像は外部カメラの較正パラメータを計算するために処理され、またノズル先端４１１の幾何学的形状を距離計３０１及びカメラ３０２と関連付ける（ステップ６０７）。本較正は、カメラの姿勢が分注システム２０４のフレームに対して変化しない限り一回行うのみでよい。

分注システム２０４（又は２０４’）は、ノズル３０７が、カートリッジ４００又はノズル３０７の交換後、センサ及びロボットアーム２００に対して常に同じ相対的位置にあることを保証するように構成されてもよい。そうでない場合は、新たなカートリッジ４００又はノズル３０７が設置された場合、現場（オンライン）較正を行ってもよい。オペレータは、マニピュレータが届く範囲内で、チェッカー盤、円の格子又はさらに分注位置からの円等のビジュアルターゲットの上方の中心にノズル３０７を動かすようマニピュレータに命令するためにタッチスクリーン又は別の入力装置を使用してもよい（ステップ６０８及び６０９）。新たなノズル位置と元の分注位置との間のＸ、Ｙ及びＺオフセットは較正値として記録され、残りのファスナーに適用される（ステップ６１０及び６１１）。

較正手順は、分注システムカメラ３０２を用いてノズル３０７をビジュアルターゲットに合わせることによって自動化することができる。深さは、ａ）ノズル３０７の先端４１１を動かしてターゲットに接触させ、距離計３０１を用いて深度値を記録し、ｂ）ビジョンターゲットに対して予め規定された高さにロボットアーム２００を命令し、ｃ）ノズル３０７が所望の精度以内で較正対象（６０５）の形体に合うまでカメラ３０２を用いてノズル３０７のＸ及びＹ位置をビジュアルサーボすることにより較正される。ビジュアルサーボは、較正対象６０５に関してノズル先端４１１の相対姿勢を取り込みまたロボットアームコントローラ２０５の制御ループを用いてビジョン対象６０５と並行かつそれの上方の面内でノズル先端４１１の位置を調整することにより遂行される。

一旦、分注システム２０４が較正されると、オペレータは、手動で分注システム２０４のボタン３１０を作動するか又はタッチスクリーン２０６の命令を用いて、手動でプランジャ４０５を前進させてノズル３０７をシーラントで満たす。

プライミング手順は、分注システム２０４のカメラ３０２を用いて自動化することができ、ノズル３０７から出てくる流れを監視する。自動化手順中、画像内のノズル３０７の大きさは、例えば、小塊の検出及び測定技法を用いて、画像内の投影を検出して大きさを推定することによって計算される。分注装置３００はプランジャ４０５を前進させるよう命令され、その結果シーラントが流れる。一旦、ビジョンシステムが予め規定されたしきい値分の投影された小塊の大きさの増加を検出した場合、シーラントがノズル３０７から出てきていることとノズル３０７がプライミングされていることが分かる。ビジョンシステムは分注装置に、カートリッジ４００内の圧力を開放して漏洩を防止するためプランジャ４０５の前進を停止し、予め規定した量だけプランジャ４０５を後退させるよう命令する。コンピュータ実装シーリングシステム１０は自動的に次のステップに進んでもよいし、次のステップに進む前にオペレータにノズル３０７を検査するよう通知してもよい。

上記の項目６に関して、ビジョンシステムは、可動プラットフォーム２０１（図２）が作業を開始するための最良の位置に十分近い場合、オペレータにアラートを出す。オペレータは位置を確認して、タッチスクリーン２０６を用いて流体の分注作業を開始する。
１）ＧＵＩは、標準的な姿勢の部品モデルをカメラ３０２のライブ画像ストリームに重ね合わせる。
２）オペレータは、モデルをＧＵＩの画像に合わせるために手動でプラットフォーム２０１を移動させる。
３）一旦、モデルと画像がおおよそ合うと、オペレータはＧＵＩのボタンを押して、姿勢微調整機能を実行する。
４）モデル基準の３Ｄ姿勢推定アルゴリズムはカメラに対する部品の姿勢を高精度で解く。本アルゴリズムは、ライブ画像から抽出されたものと投影モデルの輪郭との誤差を最小限に抑える非線形最適化に基づいている。オペレータは既にカートを概略正しい姿勢に置いており、問題を解決するために検討の必要があるのは小さな姿勢パラメータ空間のみであるので、本アルゴリズムは効率的である。
５）改善結果がライブ画像に重ね合わされ、オペレータは位置を確認するよう要求される。

上記の項目８に関して、ビジョンシステムは距離計３０１で表面をスキャンし、以下のステップを用いて最良適合の線を判定する。
１）ファスナーの前の平面上に位置する予め規定された数の点を抽出する。
２）例えば、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）アルゴリズム又は同様の機能性を有する他のアルゴリズムを用いて、線を点に合わせる。
３）線の方向を３行１列のベクトルとして出力する。

上記の項目１０に関して、ビジョンシステムは、ワークピース２０８の表面を距離計３０１で再度スキャンし、最良適合の第２の線を決定する。

上記の項目１２に関して、ビジョンシステムは、分注システムのカメラ３０２（図３ａ）又は３１２（図３ｂ）を用いて、カメラに対するファスナーの位置を見出す。カメラ３０２が２Ｄカメラである場合は、以下のアルゴリズムを用いてもよい（図７Ａ参照）。
１）画像のファスナーの種類とその概略の位置は、部品のＣＡＤモデル及び可動プラットフォーム２０１に対する部品の概略位置から分かる。
２）ビジョンシステムは、Otsuアルゴリズム等の動的しきい値処理アルゴリズムを用いて二値画像を生成し、そして本アルゴリズム又は同等のアルゴリズムはビジョンプロセッサ２０３にプログラムされている。
３）小塊検出アルゴリズムは、二値画像のファスナーの位置を特定するために使用される。
４）カメラ３０２の投影中心及び画像中でファスナー７００を表す小塊の重心によって定義されたレイ７０１（３行１列ベクトル）を出力し、部品の面との交点を見つける。これによりファスナー中心の３Ｄ位置が分かる。

上記の項目１４に関して、ビジョンシステムプロセッサ２０３は、距離計３０１のデータとカメラ３０２のデータの組み合わせを用いて分注システムに対するファスナーの位置を３次元において見出す。図７Ａはこの配置の側面図を示す。カメラ３０２はノズル３０７及び部品３０５上のファスナー７００を観測する。カメラ３０２からの画像は図７Ｂに示され、ノズル３０７、シールされるファスナー７００及び既にシールされたファスナー７０３を含む。分注システムのカメラ３０２に対するシールされるファスナー７００の３Ｄ位置は、従って、ファスナー７００の中心を通るレイ７０１とカメラ３０２の画像面との交点を見出し、距離計３０１により得られるスタンドオフ（standoff）距離を用いることにより解くことができる。

あるいは、距離計３０１を必要とすることなく、フォースセンサ３０９（図３ａ）とカメラ３０２を用いることにより、分注システム２０４を必要なスタンドオフ距離に置くことができる。分注システム２０４は、上記のビジョン処理を用いて、シールされるファスナー７００の上方に置かれる必要がある。ロボットアーム２００は、ノズル３０７とシーリング手順が実行される部品２０８の表面の一部との接触がフォースセンサ３０９により検出されるまで分注システム２０４を下げるよう命令される。フォースセンサ３０９からのデータは、ノズル３０７をシールされている部品２０８の表面に対して垂直に配列するために使用することができる。この位置から、ロボットアーム２００は、分注システム２０４を必要なスタンドオフ距離だけ上昇させるよう命令される。

上記の項目１７に関して、ビジョンシステムプロセッサ２０３は、十分な量の流体が検出された場合、動きを停止してプランジャを後退させるよう分注システム２０４に命令する。この検出は、流体の小塊の直径の測定によって遂行することができる。図７Ｃは、シーラントが分注される前の、ファスナー７００の上方の予め規定された距離の位置にあるノズル３０７を示す。実際のファスナーはノズル３０７により遮られている。図７Ｄは、分注装置が作動してシーラント７０４が分注された後の同じ位置の画像を示す。流動するシーラントは部品の表面上に略円形を形成する。画像７Ｃ及び７Ｄは、本アルゴリズムを用いて処理することができる。
１） Otsu又は類似のアルゴリズムを用いて画像にしきい値を設けて二値画像を生成する。
２） 二値画像から分注ノズル／シーラントの輪郭を抽出する。
３） 部品の平面を想定し、またカメラの既知の方向とスタンドオフ距離を用いて、部品表面に対して平行な面上に再投影することにより、投影歪に対して輪郭を修正する。
４） 修正された輪郭上の点からノズルの中心までの平均半径を計算する。
５） 平均半径が予め規定されたしきい値以上に大きくなった場合、動きを止めてプランジャ４０５を後退させるよう分注システム２０４に命令する。そして、
６） ５）の間に予め規定された値まで又はフォースセンサ３０９で接触が検出されるまでノズル３０７を押し下げる（すなわち、ノズル３０７と面の間の隙間を縮小させる）。これによりドームの表面と大きさに合わせたシーラントの適切な付着が可能となる。

上記の項目２０に関して、ドームシールの品質を判断するためにドームシールの付着後に行われる検査プロセスについて以下に詳細に説明する。２Ｄ検査は、図８Ａ乃至８Ｃに示され、同じホバー位置（見晴らしの利く地点）からのシール前のファスナー７００（図８Ａ）とシールされたファスナー７０３（図８Ｂ）の画像の取り込みに依存する。ロボットの再現性は非常に高い（例えば、０．１ｍｍが産業用ロボットに対する典型的再現性である）ので、比較用画像（図８Ｃ）は、図８Ａ及び８Ｂの画像を直接重ね合わせて図８Ｃの合成画像を構成することにより生成可能である。ファスナー７００と流体小塊７０３の中心のオフセット８００はビジョンプロセッサ２０３により計算されて検査データベースに記憶される。同時に、ファスナー中心からの流体小塊の最大及び最小半径、輪郭の平滑度及びテール検出のための輪郭の真円度が計算される。テールは、付着したばかりのシールからノズルが離れるときにドームからの裾引き糸状のものとして残された不要なシーラントである。最小半径、最大半径、平均半径、標準偏差、輪郭の平滑度及び輪郭の真円度等の付着したシールの特性、オフセット８００は、表示画面８０１に示されるようにタッチスクリーンモニター２０６に表示することができる。

ロボットアームの再現性が図８Ａ及び図８Ｂに示す画像の位置合わせに対して十分でない場合、分注システムの姿勢を推定し、またロボットコントローラ２０５に高精度で姿勢を調整することを可能にする外部３Ｄ追跡システムを用いることにより、アライメントをさらに改善することが可能である。ターゲット３０８ａ、３０８ｂ、３０８ｃ及び３０８ｄはこの姿勢の正確な推定のために用いることができる。

同様に、３Ｄ検査は、分注前後の位置からの２つの３Ｄ画像の取り込みに依存する。３Ｄカメラを使用する場合は、これらの画像はシーリング前後に同じ位置から直接的に取り込むことができる。好ましい実施形態では、距離計が、投影されたパターンに従って３Ｄデータを提供する。従って、３Ｄ画像を生成するために、ロボットアームは、分注システムの距離計３０１をファスナー７００（又はシーリングが完了している場合はドーム７０３）の上方に移動させ、そしてシステムが距離データとロボットアーム先端の位置を同時に記録する。この手法は３Ｄ画像の生成を可能にし、その結果その３Ｄ画像は、３Ｄポイントクラウド又は３Ｄ表面として表すこと及びファスナーとドームシールの相対位置、付着したシーラントの量、表面の平滑度、シーラントの厚さを計算するために、そして不要なシーラント（テール）、不十分な被覆又は気泡を検出するために使用されてもよい。

図９は、シールされる部品の側面図を示し、シール前のファスナーを７００で、シール後のファスナーを７０３で示す。距離計３０１は３Ｄ形状を取り込むが、図９の９００で示すようにそれらは一緒に合成することができる。その結果、シールされたファスナー７０３の体積からシールされていないファスナー７００の体積を差し引くことによって、付着したシーラントの体積、ファスナー中心からの流体小塊の最大及び最小半径、輪郭の平滑度を計算し、シーラントドームのテール又はその他の欠陥を検出することが可能である。

シールの形状はドームのみに限定されない。適切な開口部を有する異なるノズルの組み合わせを使用し、また別の動作軌道を採用することによって、分注システムにおいて円錐形等の別の形状を有するシールを付着することができる。

フィレットシーリング
図１８はフィレットシールのビジョンガイド付き敷設を示す。前に記憶された部品位置データが使用されて分注システム２０４に概略の位置が命令され、距離計３０１のデータ又はカメラ３１２の画像が使用されて接合部（ティー又は重なり等）１８００の位置、方向及び開始位置が特定される。距離計３０１の距離データはビジョンプロセッサ２０３によって実時間で処理され、接合部１８００の位置が推定される。この情報はロボットコントローラ２０５に提供されて軌道が調整される。あるいは、ノズル３０７と部品との接触が必要な場合、フォースセンサ３０９のデータを使用してロボットアーム２００の動きを調整することができる。カメラ３０２はノズル先端と付着したシーラント１８０１の画像を取得する。画像は処理され、分注装置３００によるシーラント流れの実時間制御により、シーラントビードの適正な幅、形状及び品質を達成することが可能となり、またシールのその場の検査が可能となる。制御は、付着したシーラントの幅の計算及びプランジャの前進を増減するよう分注装置に命令を送ることに依拠する可能性がある。

あるいは、幅の制御は、ロボットアーム２００に命令することによってシールされる部品に対するノズル３０７の分注端の速度を増減することにより達成できる可能性がある。カメラ３０２は、好ましい実施形態におけるような２Ｄカメラ、３Ｄカメラ又は距離計３０１と同じ原理で作動する別の構造化光距離計でもよい。あるいは、制御は、距離計３０１と同様であるがノズル３０７の後部に配置される第２の距離計を用いることによって、また仕上がったフィレットシールを観測することによって３Ｄで行ってもよい。最初の距離計３０１は、シールされる部品を表す３Ｄポイントクラウドを取り込み、一方、第２の距離計は、実際のフィレットシールの表面を表す３Ｄポイントクラウドを取り込む。これら２つのポイントクラウドは、既知の距離計の空間配置と取得した３Ｄデータのタイムスタンプを用いて３Ｄで位置合わせすることができる。これら２つのポイントクラウド間の体積は、付着したシーラント材を表す。この体積の形状、大きさ及び具体的な寸法を分析することによって、ドームシールの検査と同様にフィレットシールの品質の評価が可能となる。これは、シールの端部、幅、高さ及び体積、並びに断面の形状に対するシーラントの配置を含むかもしれない。

図１９は、可動プラットフォーム２０１の一つの位置からのロボットアーム２００のリーチ１９１を示す。シールされる必要がある産業構造物２０８、これに限定されないが例えば航空機の翼パネルは長く、図１９で示す配置のロボットマニピュレータ２００のリーチを超えることが多く、その結果可動プラットフォーム２０１を部品２０８に沿って連続した場所に移動しなければならない。

図２を再度参照して、可動プラットフォーム２０１を手動であれ自律的であれ移動する場合、シーリングプロセスを継続するためには、シーリングプロセスを中断し、ロボットアーム２００を格納し、プラットフォーム２０１を移動して部品に対するロボットアーム２００の位置を登録する必要がある。これにより、プロセスのペースが落ちるとともにオペレータの介入が必要になる場合がある。図２０を参照すると、リニヤモーションベースステージの使用によって可動プラットフォーム２０１’を移動させることなくロボットアーム２００のリーチが延長される可動システムの代替実施形態が示されている。これにより、プラットフォーム２０１’をプラットフォーム２０１のように何回も移動する必要が減少し、さらに作業時間及び作業者の関与が減少する。本実施形態では、ロボットアーム２００は、可動プラットフォーム２０１’の長さに沿って直線運動軌道２１２上を動く平行移動ベース２１０に搭載されている。シーリングシステム１０は作業現場に配置され、前と同様に登録される。ロボットアーム２００がその最大リーチに近づく場合、平行移動ベース２１０は直線運動軌道２１２に沿って平行移動され、それによってシールされる部品２０８に沿ってロボットアーム２００のベースが移動し、これによりロボットアーム２００のリーチが延長される。直線運動軌道２１２の長さはロボットアーム２００のリーチの何倍もあってもよく、例えば、航空機の翼がシールされる場合、２ｍから翼の長さと同じくらいあってもよい。この長さは、シールされる部品の長さ及び要求される操作性に応じて選択される。

図２１を参照すると、ロボットアーム２００を位置合わせするための可動システムに関する代替実施形態が示されており、ロボットアーム２００は、可動構台システム２１１からシールされる部品２０８の上方に吊り下げられている。この手法もまた、ロボットアーム２００がベースの両側に届くことができるように可動プラットフォームの一つの位置からシステムの横方向のリーチを延長する。この可動性によって部品２０８の縦軸に沿って全部分にアクセスすることが可能となる。これは、構台２１１を手動にて押すことにより又は構台のベースを部品に対して半自律的移動又は自律的移動のためにモータ駆動とすることにより行うことができる。

図２２を参照すると、ロボットアーム２００を位置合わせするための可動システムに関する代替実施形態が示されており、構台２２２が含まれる。ロボットアーム２００は、レール又はビーム２２１に沿って動くことができる可動ベース２２３に装着されている。これによりロボットアーム又は部品をビーム２２１に沿って動かすことにより部品２０８の全体又は大部分に対するアクセスが可能となる。図２２は、可動ベース２２３がロボットアーム２００をビーム２２１に沿って動かすやり方で部品２０８の横方向及び縦方向寸法の両方のリーチ１９１を延長する実施形態を示す。

図２０及び図２２に示す代替実施形態は、図１の手動式又はモータ駆動式可動ベース２０１の移動という時間がかかる動きの大部分又は全ての時間を省く。これにより、特に部品に対するベースの再登録が不要となるので、シーリング作業全体がはるかに早く促進される。また、図２０及び２２に示す代替実施形態では、シーリング作業の開始に先立ち翼部分の大部分又は全体のスキャンを行うさらなる代替実施形態が可能となる。分注システム２０４及びビジョンシステムは、翼の長さに沿って平行移動し、所定のマニピュレータ及び可動プラットフォームの位置に対してシーリングヘッドに対するシールする形体の位置を決定することを可能とする。上記のスキャンによって、一旦、実際のシーリング作業が実行されると、より早いファスナーの位置特定が可能となる。さらに、フィレットシーリング作業が実行される場合、以下の追加の行為が行われる。
１．作業現場でのファスナーシーリングが行われた後、シーラントノズル３０７は、オペレータによってフィレットシーリング用のノズルに交換される。
２．オペレータはタッチスクリーンを用いて作業現場のフィレットシーリング作業を開始する。
３．ロボットアーム２００は分注システム２０４をフィレットシールの開始位置近くに動かす。
４．ロボットアーム２００は、フォースセンシング３０９又はビジョンシステム検出を用いた適切なスタンドオフによりワークピースとの接触が検出されるまで、ノズルを下方に動かす。
５．ロボットアーム２００は部品接合部の方向にノズルを動かし、十分な力に到達した場合又は十分な横方向のトラバーサルがされたことをビジョンシステムが検出した場合に停止させる。
６．ロボットコントローラ２０５は、ロボットアームが接合部に沿ってノズル３０７を動かすにつれて部品接合部に沿って流体の分注を開始する。
７．ロボットコントローラ２０５が、記憶されたＣＡＤデータ又はビジョンシステムの推定又は接合部の最後を検出するフォースセンサ３０９に基づいて十分な距離移動したと判断した後、ロボットアームの動作及びディスペンサの作動が停止される。
８．ロボットコントローラ２０５は、分注された流体をディスペンサから分離してシールにテールを設ける旋回又は後退等のロボットアーム２００による粘性流体の遮断動作を開始する。
９．シーリングシステムは、作業現場で届くことができるすべてのフィレットシールに対してステップ３からステップ８までを繰り返す。
１０．オペレータは、プラットフォームを次のフィレットシールの作業現場へ動かしてステップ３からステップ９までを繰り返す。
１１．シーラントのカートリッジにおいて全て分注されたことが検出された場合、オペレータがカートリッジ４００を交換できるまで、ロボットアーム２００の動作及び分注システム２０４の作動が中断される。
１２．フィレットシーリングが完了した後、オペレータはシステムを停止する。

分注システムの代替実施形態が図１０に示されており、２つ以上のレーザー線プロジェクタ（１０−１及び１０−２）及び部品と２つのレーザー面との交点を観測するカメラ３０２（ステレオカメラ又は単眼カメラのいずれであってもよい）を含む。２つのレーザー線プロジェクタ１０−１及び１０−２は、各プロジェクタ１０−１及び１０−２からの最良適合の抽出線が、これに限定されないが最良適合単位ベクトルの線の外積を含む方法による即時表面法線を提供するように搭載されている。理想的には、単一のカメラが２Ｄ平面ファスナー検出に用いられ、同時に部品上の２つのレーザー投影を見るように搭載される。レーザープロジェクタ１０−１及び１０−２は、投影光によらず、作動するレーザーにより又は両方により画像の取得ができるようにオン及びオフされてもよい。あるいは、１台のカメラがレーザー線を観測するために使用され、もう１台のカメラがノズル３０７の先端を観測ために使用される。

図１１に示す分注装置３００の代替実施形態は、予混合カートリッジで提供されない流体に対して検討することができる。典型的に、これらの流体は分注時に混合しなければならない二液型化学材（two part chemical compounds）で提供される。この目的のため、本代替実施形態では、２つのポンプ（１１−１及び１１−２）（バルブサイジング等の受動的手段又はメータリング等の能動的手段のいずれかによる）を制御して、それぞれの貯蔵器（１１−４及び１１−５）から二液型材を抽出し、その抽出したものを混合ノズル（１１−３）に導く。混合ノズルの出口は、流体を形作るための所望の形状のノズルに接続することができる。ポンプはロボットアームのベースに共同設置することができ、ポンプの大きさ、分注される流体の体積及びロボットアーム２００のペイロード容量に基づいて、ロボットアームのブーム（肩関節と肘関節との間又は肘関節と手首関節との間）に搭載されるか又はエンドエフェクタに搭載される。

分注システムの他の代替実施形態では、ディスペンサユニットにカム機構又は直角に搭載されるリニヤモータ（図１２の１２−１、１２−２及び１２−３）が装着される。これら３つのモータは、協働して流体が形作る旋回パターンを形成する動作軌道を生成することができる限定された範囲の３つの直角並進動作を提供するために使用される。そのような３軸動作ステージは、ロボットアーム全体を使用する代わりに微調整をするために使用することができる。

分注システムの他の代替実施形態が図１３に示され、従来の硬質プラスチックノズルの代わりに、ディスペンサカートリッジ（１３−１）からファスナーと接触する分注ノズル／カップ（１３−３）までを接続するために１個の手術用又は同様の管（１３−２）が使用される。本分注ノズル／カップは、流体が形成する旋回を行うための又はロボットシーリングシステム内でマニピュレータの先端に関して微細な位置調整を行うための限定された範囲の動作が可能なスチュアートすなわちデルタロボットプラットフォーム（１３−５）に固定される（１３−４）。

本システムに対する潜在的な付加を図１４に示す。プロジェクタ１４−１は、オーバーヘッドカメラ２０２の隣にあるオーバーヘッドフレーム２０９に搭載されている。プロジェクタ１４−１は、部品２０８の自動検査中に検出されている潜在的な問題領域又は問題位置（欠陥のある流体分注、変形したファスナー等）をオペレータに対して強調するために使用することができる。これらの位置は、選択的に投影する光のパターン１４−２及び１４−３によって強調され、それらの領域において人間のオペレータによるさらなる対応（attention）又は自動シーリングシステム１０が必要であることをオペレータに示す。

プロジェクタの別の利用については、カートを異なる作業現場間で移動させる場合にオペレータがカートの位置合わせのために利用できる拡張現実スタイルパターン（グラフィックス及び／又はテキスト）をワークピース上に投影することが挙げられる。作業現場を移動する時間であるとシステムが判断した場合、オペレータにはスクリーンにより通知され、プロジェクタ１４−１は、次の作業エリアの概略図をワークピース上に投影する。次に、ユーザは、概略図がワークピース上の形体と一致するまでプラットフォームを動かす。

本シーリングシステム１０の代替実施形態では、シールされる部品２０８に対する分注システム２０４の位置を見出すために距離計３０１ではなくて外部３Ｄビジョンシステムを使用する。このビジョンシステムは、オーバーヘッドカメラ２０２の代わりに分注システム２０４に対してワークピース２０８の位置を特定する。これは、ワークピースに付けられた形体又はターゲットを合わせ、シールされる部品２０８に対して分注システム２０４の相対的姿勢の位置を特定するために分注システム２０４のターゲットを使用するために外部ビジョンシステムを用いることにより遂行される。

別の実施形態では、作業現場間の移動を自動化するために、ロボットアーム２００を自動誘導式ロボット車両に乗せる。

本シーリングシステム１０の別の実施形態では、カメラ３０２及び距離計３０１のスキャナを３Ｄカメラに置き換える。等価な３Ｄ画像処理アルゴリズムが上記の３Ｄカメラの画像を分析するために使用されてファスナーの位置を計算する。

本シーリングシステム１０の設計に対する付加を図１５に示す。図１５に示す実施形態では、ノズル３０７に対してノズル３０７と同じ高さに別々に作動されて回転する針１５−１が設置されている。フィレットシーリングの作業中、この回転する針１５−１が作動し、針１５−１がノズル１５−１の後を追う方式でロボットアーム２００が分注システム２０４を動かす。針１５−１は、摩擦攪拌溶接と同様な方式で表面を攪拌することにより、分注されたフィレットシーリング流体中の気泡を破裂させるように作動する。あるいは、気泡を有することが確認されたドームシールにおいて、針１５−１をドームシールの上部に移動させ、勢いよく回転作動させて存在する全ての気泡を取り除くことができる。針１５−１に加えて、二次的なシリコン（又は他の柔軟な材料）の円形突起もまた針１５−１に追随して（又は針の代わりに使用されて）、グラブをはめた作業者が仕上がったフィレットシールの表面を指でなぞるのと同様な方法でフィレットシールを滑らかな状態することができる。

本明細書で開示されたシーリングシステム１０は、図１６に示すように、ロボットアームと作業者の協働ワークセルの一部として利用される。分注システム２０４を備えたロボットアーム２００は部品をシールし、一方、作業者１０１は手持ち式ディスペンサ１０４を使用している。作業者はシーリングシステム１０が仕損じたシールを修正しているかもしれない。シーリングシステム１０は、ロボットアーム２００の最大先端速度の制限と、フォースモーメントセンサ３０９によって測定され、ロボットコントローラ２０５によって制御されるような、アームが別の物体に働きかけることができる最大荷重に対する制限との組み合わせにより、人間のオペレータのいるところで安全に作動するように設計されている。

図１７は、粘性材料をドーム上に付着させて、パネルすなわち部品２０８を汚染せず又は裾を引く糸状の薄いシーラント（テール）を生成せずに所望の形状を達成するために、各ドームシールの最後に実行される旋回軌道の一例を示す。実施形態において、シーリングシステム１０ではシールされるファスナーの形状及び大きさに応じて一以上の予め規定された旋回が用いられる。別の方法として、ビジョンシステムのデータ及びシーラントテールの観測結果を用いて、旋回軌道を実時間で計算してもよい。

本システムで実行可能な代替の動作には次のものが挙げられる。
１．適切な大きさのドームシールを達成するための代替方法（ドームシーリングステップの内のステップ１６からステップ１８までの置き換えを含む）
ａ．分注装置３００は、ファスナー上方で空中停止しているノズル３０７の下で所定量の材料を小塊にして予め分注する。
ｂ．ロボットアーム２００は、ビジョンシステムが適正な形状の小塊を認識するまで又はフォースセンサ３０９が接触が行われたことを判定するまで、分注システム２０４をファスナーの上方に下げる。
ｃ．分注装置３００は、プランジャ４０５を後退させる。
ｄ．ロボットアーム２００は、旋回動作を実行する。
２．以下のように（図９）分注された流体を検査すること
ａ．ファスナー上の流体の分注を終了した後、ロボットアーム２００は初期の空中停止位置に戻り、２回目の作業現場の写真を撮る。ビジョンシステムは、写真間の差異に基づき、被覆された材料の量とファスナー上での流体の中心への集まり方に関する情報を生成する。
ｂ．作業現場を終了した後、ロボットアーム２００は分注システム２０４をゆっくり完了したばかりの領域の上方に上げて、レーザースキャナで分注された流体の品質を評価する。
ｃ．検査スキャンは、ＣＡＤデータによる比較結果に基づき、次のファスナーに対する優位な位置に分注システム２０４をサーボ制御するためにも使用することができる。
３．分注装置３００をファスナーの方に動かし、接触した場合に停止させることにより、ファスナーから分注システム２０４までの距離を判定すること。接触の判定は、フォースモーメントセンサ３０９の測定結果によって行われる。

Claims (48)

1. 自動化された部品シーリングのための実時間コンピュータ実装方法であって、
   シールされる一以上の部品の実時間のビジュアル画像を取得する工程と、
   シールされる部品に伴う少なくとも一つの形体を検出する工程と、
   ロボットアームに搭載された分注装置に対して前記少なくとも一つの形体の位置及び方向を計算する工程と、
   前記少なくとも一つの形体に対する予め選択された位置及び方向に前記分注システムを位置合わせするために前記ロボットアームを動かす工程と、
   シールを生成するためにシーラントを分注する間に取得された前記分注されるシーラントの前記ビジュアル画像の実時間処理に基づいて、前記分注されるシーラントの量を制御する工程と、
   を備える実時間コンピュータ実装方法。
2. 請求項１に記載の方法であって、
   前記生成されたシールの実時間画像を取得する工程と、前記シールが塗布される前後の前記実時間画像を分析することによって前記生成されたシールの品質を評価する工程と、を含む方法。
3. 請求項２に記載の方法であって、
   前記シールの前記品質を評価する工程は、前記シールが前記形体上の予め選択された位置に配置されたかどうかを判定する工程を含む方法。
4. 請求項２に記載の方法であって、
   前記生成されたシールの前記品質を評価する工程は、前記生成されたシールが予め選択された形状を有するかどうかを判定する工程を含む方法。
5. 請求項４に記載の方法であって、
   前記生成されたシールの前記予め選択された形状がドームである方法。
6. 請求項４に記載の方法であって、
   前記生成されたシールの前記予め選択された形状が円錐である方法。
7. 請求項２に記載の方法であって、
   前記生成されたシールの品質を評価する工程は、前記生成されたシールの２Ｄ画像を取得及び分析する工程を含む方法。
8. 請求項２に記載の方法であって、
   前記生成されたシールの品質を評価する工程は、前記生成されたシールの３Ｄ画像を取得及び分析する工程を含む方法。
9. 請求項１乃至８のいずれか一項に記載の方法であって、
   前記位置及び方向を計算する工程は、さらに較正工程を含む方法。
10. 一以上の部品をシールするためのビジョンガイド付き分注システムであって、
    分注ノズルを有する分注装置を搭載して収納するハウジングと、
    前記ハウジングに搭載されたビジョンセンサと、
    前記分注装置及び前記ビジョンセンサに接続されるビジョンプロセッサであって、前記ビジョンプロセッサは、前記一以上のシールされる部品及び前記分注ノズルの画像の実時間処理のための指示により、シーラントを分注することに先立って前記分注ノズルを形体に対して位置合わせする必要がある位置を判定するようにプログラムされ、前記分注装置によりシーラントが分注されている間に前記分注ノズルの画像を取得するようにプログラムされ、前記実時間処理された画像から、十分なシーラントが分注されたかどうかを判定するため及びシーラントの分注をいつ開始し、いつ停止するかについて前記分注装置を制御するための指示によりプログラムされているビジョンプロセッサと、
    を備えるビジョンガイド付き分注システム。
11. 請求項１０に記載のビジョンガイド付き分注システムであって、
    前記ビジョンセンサは、一以上の２Ｄカメラを含むビジョンガイド付き分注システム。
12. 請求項１０に記載のビジョンガイド付き分注システムであって、
    前記ビジョンセンサは、一以上の２Ｄカメラ及び一以上の距離計を含むビジョンガイド付き分注システム。
13. 請求項１２に記載のビジョンガイド付き分注システムであって、
    前記２Ｄカメラのうちの一以上は、前記分注ノズルの先端を観測するように搭載され、前記距離計は、前記ノズルに近いシールされている前記部品の表面を観測するように搭載されているビジョンガイド付き分注システム。
14. 請求項１１に記載のビジョンガイド付き分注システムであって、
    前記２Ｄカメラの一つは、前記分注ノズルの先端及び前記ノズルに近いシールされている前記部品の前記表面を観測するよう搭載されているビジョンガイド付き分注システム。
15. 請求項１０乃至１４のいずれか一項に記載のビジョンガイド付き分注システムであって、
    前記ビジョンセンサは、ステレオカメラを含むビジョンガイド付き分注システム。
16. 請求項１０乃至１５のいずれか一項に記載のビジョンガイド付き分注システムであって、
    前記ビジョンセンサは、３Ｄカメラを含むビジョンガイド付き分注システム。
17. 請求項１０乃至１６のいずれか一項に記載のビジョンガイド付き分注システムであって、
    前記ビジョンセンサは、一以上の２Ｄカメラ及び一以上の構造化光プロジェクタを含むビジョンガイド付き分注システム。
18. 請求項１０乃至１７のいずれか一項に記載のビジョンガイド付き分注システムであって、
    前記分注器をロボットアームに接続するためのインターフェースを備えるビジョンガイド付き分注システム。
19. 請求項１８に記載のビジョンガイド付き分注システムであって、
    前記ロボットアームは、可動プラットフォームに搭載され、前記シールされる一以上の部品を含むワークスペースの包括的画像を得るための包括的ビジョンセンサを含み、前記ロボットアームは、前記ワークスペースの前記包括的画像の分析に基づいて、前記シールされる一以上の部品の近傍に前記分注器を動かすよう前記ロボットアームに指示するようにプログラムされているコントローラに接続されているビジョンガイド付き分注システム。
20. 請求項１０に記載のビジョンガイド付き分注システムであって、
    前記分注器と前記部品との接触を検出するための接触センサを含むビジョンガイド付き分注システム。
21. 請求項２０に記載のビジョンガイド付き分注システムであって、
    前記分注器と前記ロボットアームとの間に搭載され、前記分注器と前記部品との接触を検出するためのフォースセンサを含むビジョンガイド付き分注システム。
22. 請求項２０に記載のビジョンガイド付き分注システムであって、
    前記接触センサは、前記分注器内部に統合されているビジョンガイド付き分注システム。
23. 請求項１０に記載のビジョンガイド付き分注システムであって、
    前記分注器と前記部品との接触は、前記ロボットアームの関節のモータの電流の測定によって検出されるビジョンガイド付き分注システム。
24. 請求項１０乃至２３のいずれか一項に記載のビジョンガイド付き分注システムであって、
    前記分注装置は、前記シーラントを貯蔵するカートリッジを含むビジョンガイド付き分注システム。
25. 請求項１０乃至２１のいずれか一項に記載のビジョンガイド付き分注システムであって、
    前記分注装置は、さらに、アクチュエータと、プランジャと、を備え、
    前記プランジャは、前記シーラントを前記分注ノズルを通して押し出すために、前記アクチュエータによって前進されるビジョンガイド付き分注システム。
26. 請求項２５に記載のビジョンガイド付き分注システムであって、
    前記アクチュエータは、リードスクリュー付きの電気モータ、リニヤモータ、サーボモータ、空気圧式アクチュエータ、及び油圧式アクチュエータのいずれか一つであってもよいビジョンガイド付き分注システム。
27. 請求項２５又は２６に記載のビジョンガイド付き分注システムであって、
    前記ビジョンプロセッサが過剰なシーラントを検出した場合、前記過剰なシーラントを取り除くために前記ビジョンプロセッサが前記モータに前記プランジャを後退させるように指示するような指示により、前記ビジョンプロセッサがプログラムされているビジョンガイド付き分注システム。
28. 請求項１０乃至２７のいずれか一項に記載のビジョンガイド付き分注システムであって、
    前記分注装置は、さらに前記シーラントの圧力を測定するために前記分注ノズル又はシーラントカートリッジに搭載された少なくとも一つの圧力センサを含むビジョンガイド付き分注システム。
29. 請求項１０乃至２８のいずれか一項に記載のビジョンガイド付き分注システムであって、
    前記分注装置は、分注されたシーラントの量を測定するための計量器機構を含むビジョンガイド付き分注システム。
30. 請求項１０乃至２９のいずれか一項に記載のビジョンガイド付き分注システムであって、
    外部貯蔵器から前記シーラントをポンプで送り込むことにより、前記シーラントが前記分注装置に供給されるビジョンガイド付き分注システム。
31. 請求項１０乃至３０のいずれか一項に記載のビジョンガイド付き分注システムであって、
    前記分注装置は、シーラントを貯蔵する複数のカートリッジを含むビジョンガイド付き分注システム。
32. 請求項２９に記載のビジョンガイド付き分注システムであって、
    前記複数のカートリッジからの前記シーラントは、分注される前にその場で混合されるビジョンガイド付き分注システム。
33. 請求項１０乃至３２のいずれか一項に記載のビジョンガイド付き分注システムであって、
    前記シールされる一以上の部品は、前記一以上の部品に伴う少なくとも一つのファスナーを含むビジョンガイド付き分注システム。
34. 請求項１０乃至３２のいずれか一項に記載のビジョンガイド付き分注システムであって、
    前記シールされる一以上の部品は、前記一以上の部品に伴う少なくとも一つのフィレットエッジを含むビジョンガイド付き分注システム。
35. 部品上の様々な形体周りのコーキング及びシーリング作業用の粘性流体の自動化された人工的ビジョンガイド付き分注のためのシーリングシステムであって、
    前記形体を有する前記部品に対して前記システムの全般的な位置合わせのための可動プラットフォームと、
    前記形体にシーラントを塗布するための分注装置と、
    前記形体に対する前記分注装置の位置合わせのために前記分注装置が装着される前記可動プラットフォームに搭載される位置合わせ装置と、
    前記部品に対する前記可動プラットフォームの位置を判定するための検出装置と、
    前記分注装置に対する前記部品上の前記形体の位置を判定するとともに、分注される前記シーラントのビジュアル画像に基づいて前記分注される前記シーラントの必要量を判定するための第２の検出装置と、
    前記第２の検出装置からのフィードバックに基づいて前記位置合わせ装置及び前記分注装置を制御するためのコントローラと、
    を備えるシーリングシステム。
36. 請求項３５に記載のシステムであって、
    前記システムの全般的な位置合わせのための前記可動プラットフォームは、さらに、
    先端を有し、前記可動ベースに搭載される位置合わせ装置と、
    前記システムに電力を供給するために前記可動プラットフォームに搭載される無停電電源装置と、
    を備え、
    前記位置合わせ装置は、前記位置合わせ装置の先端で少なくとも３つの並進自由度及び３つの回転自由度を提供するように構成されているシステム。
37. 請求項３６に記載のシステムであって、
    前記位置合わせ装置は、前記可動プラットフォームに搭載される連続的に結合されたロボットアームであるシステム。
38. 請求項３６に記載のシステムであって、
    前記システムを位置合わせするための前記可動プラットフォームは、手動で操作される手押し車であるシステム。
39. 請求項３６に記載のシステムであって、
    前記システムを位置合わせするための前記可動プラットフォームは、モータ駆動式プラットフォームであるシステム。
40. 請求項３６に記載のシステムであって、
    前記可動プラットフォームは、前記形体を有する前記部品の上方に前記システムが吊り下げられる可動構台ユニットであるシステム。
41. 請求項３６に記載のシステムであって、
    前記可動ベースは、縦ビームを含む固定された支持構造上に置かれる構台であり、
    前記システムは、前記形体を有する前記部品の上方に前記縦ビームから吊り下げられ、前記縦ビームに沿って動くことができるシステム。
42. 請求項３６に記載のシステムであって、
    前記システムを位置合わせするための前記可動プラットフォームは半自律車両であるシステム。
43. 請求項３６に記載のシステムであって、
    前記システムを位置合わせするための前記可動プラットフォーム手段は完全自律車両であるシステム。
44. 請求項３６乃至４３のいずれか一項に記載のシステムであって、
    前記第２の検出装置は、
    ビジョンセンサと、
    前記分注手段及び前記ビジョンセンサに接続されるビジョンプロセッサであって、前記ビジョンプロセッサは、前記シーラントの分注に先立って前記形体に対して前記分注ノズルが位置合わせされる必要がある位置を判定するために、シールされている前記一以上の部品及び前記分注手段の画像を処理するための指示によりプログラムされているビジョンプロセッサと、
    を備えるシステム。
45. 請求項４４に記載のシステムであって、
    前記分注手段は、分注装置であり、
    前記ビジョンセンサが搭載されるハウジングと、
    分注ノズルと、
    を備え、
    前記ビジョンプロセッサは、前記分注装置によりシーラントが分注されている間に前記分注ノズルの画像を取得するようにプログラムされ、前記ビジョンプロセッサは、前記取得した画像から十分なシーラントが分注されたかどうかを判定し、シーラントの前記分注中に前記分注装置を制御するための指示によりプログラムされているシステム。
46. 請求項４４に記載のシステムであって、
    前記ビジョンセンサは、一以上の２Ｄカメラ及び一以上の距離計を含むシステム。
47. 請求項４６に記載のシステムであって、
    前記一以上の距離計は、前記部品に光の面を投影して光のパターンを形成し、前記２Ｄカメラは、前記光のパターンの画像を観測して取得し、前記部品上の前記光のパターンまでの３次元距離の計算を可能とするシステム。
48. 請求項４７に記載のシステムであって、さらに、
    外部カメラシステムと、
    前記分注装置に脱着可能に固定される複数の３次元マーカーと、
    を備え、
    前記外部カメラシステムは、前記３次元マーカーの画像を取得して、前記形体を有する前記部品に対して前記分注装置を位置合わせする手段を提供するシステム。