JP7486715B1 - 外観検査装置及び外観検査方法 - Google Patents

Abstract

【課題】複雑な機構を必要とせず、精細な撮像画像に基づいてワークの異常を正確に評価する手段の提供。【解決手段】撮像駆動部５０は、チップ４の第１側面５及び第２側面６に沿って側面撮像部３０を移動させる。側面撮像部３０は、撮像駆動部５０による移動の前後において、チップ４の第１側面５及び第２側面６をそれぞれ撮像し、第１側面５及び第２側面６の異なる領域にピントが合った複数の評価用画像を生成する。制御部６０は、複数の評価用画像のフォーカス領域ＦＲ１，ＦＲ２，ＦＲ３を結合して、第１側面５及び第２側面６の形状が復元された結合画像ＣＩ１を生成する。【選択図】図６

Description

本発明は、ワークの外観検査のための装置及び方法に関する。

レーザーダイオード等の光学素子の外観検査工程においては、発光面を精細に撮像した画像に基づいて異常の評価を行うことが重要となる。光学素子においては、発光面の状態が光の照射特性に影響するためである。

レーザーダイオードの共振器の構成法として、主に、共振器を半導体基板面と平行に構成し、へき開面から光を取り出す端面発光型、又は共振器を半導体基板面と垂直に構成した面発光型が用いられている。このうち、端面発光型のレーザーダイオードは、載置状態における側面が発光面となるため、外観検査においては、発光面である側面を精細に撮像することが求められる。

半導体デバイスの外観検査工程は、分割後のチップがダイシングシートに貼着された状態において行われることが多い。この場合、ダイシングシートの上方に設けられたカメラにより、チップが順次撮像される。生成された画像データに画像処理技術が適用されて、チップの異常が評価される。

例えば、特許文献１には、チップの側面を撮像するために、カメラが撮像可能な位置まで、シート越しにチップを押し上げる方法が開示されている。

特開２０１０－１４１２０８号公報

ダイシングシート上のチップの側面を正面から撮像するためには、カメラのレンズをチップと同じ高さ位置に配する必要があるが、この場合、ダイシングシートやその支持部材とカメラとの干渉が発生しやすい。また、ダイシングシートには多数のチップが存在しているため、チップの側面を正面から撮像しようとすると、カメラから見て奥側のチップを撮像する際に手前側のチップが障害となる。

一方、チップの側面を斜め方向から撮像すると、チップの側面の一部の領域にしかピントを合わせることができず、チップの側面全体を精細に撮像することが難しくなる。

特許文献１に開示された発明は、チップをシート越しに押し上げることで正面からの撮像を可能としたものであるが、チップやシートに負荷が掛かるため、意図せずチップがシートから剥離したり、チップ割れの可能性が推認される。また、チップをシート越しに押し上げるための機構が複雑となる。

本発明は上記事情に鑑みてなされたものであり、複雑な機構を必要とせず、精細な撮像画像に基づいてワークの異常を正確に評価する手段を提供することにある。

本発明に係る外観検査装置は、ワークの底面を支持する支持面を有した支持部と、前記ワークの側面における異なる領域にピントが合った複数回の撮像を実行して複数の評価用画像を生成する側面撮像部と、前記側面撮像部と前記支持部とを、前記ワークの側面に沿って相対移動させる撮像駆動部と、複数の前記評価用画像に基づいて前記ワークの異常を評価する評価部と、を備えている。前記側面撮像部は、前記ワークの第１側面を撮像する第１撮像装置、及び前記ワークの第２側面を撮像する第２撮像装置を有し、前記撮像駆動部は、前記第１撮像装置及び前記第２撮像装置を一体として、前記第１側面及び前記第２側面のいずれにも沿う方向に向けて、前記支持部に対して相対移動させ、前記第１撮像装置は、前記相対移動の前後において前記第１側面をそれぞれ撮像して、複数の前記評価用画像を生成し、前記第２撮像装置は、前記相対移動の前後において前記第２側面をそれぞれ撮像して、複数の前記評価用画像を生成する。

なお、上記において、「底面」や「側面」等の表現は便宜的な物に過ぎず、「底面」が必ずしも水平方向に沿っており、「側面」が必ずしも鉛直方向に沿っていることを意味しない。支持部が設置される向きによって、ワークの「底面」又は「側面」が上記の向きとは異なる向きとなることもある。

上述したような構成においては、ワークの側面における異なる領域にピントが合った評価用画像が複数生成されるため、評価部は、各々の評価用画像におけるピントが合った領域をそれぞれ評価することで、ワークの側面に対して斜め方向から撮像が行われた場合であっても、ワークの側面全体を精細な画像に基づいて評価することができる。これにより、ワークの異常を正確に評価することが可能となる。また、ワークに外力を加える必要が無いため複雑な機構を必要とせず、外力によってワークに異常が発生するおそれも無い。

本発明によると、複雑な機構を必要とせず、精細な撮像画像に基づいてワークの異常を正確に評価することが可能となる。

図１は、本発明の第１の実施形態に係る外観検査装置１０のうち、側面撮像部３０及び上面撮像部４０周辺を示した正面図である。 図２は、図１におけるチップ４周辺の拡大図である。 図３は、外観検査装置１０における制御部６０と各部との繋がりを示した機能ブロック図である。 図４は、チップ４の外観検査の流れを示したフローチャートである。 図５は、チップ４の外観検査の中で実行されるチップ４の撮像処理を示したフローチャートである。 図６は、チップ４の第１側面５の撮像の様子を側方から示した図である。 図７は、チップ４の第１側面５の撮像の様子を正面から示した図である。 図８は、複数の評価用画像からフォーカス領域ＦＲ１，ＦＲ２，ＦＲ３をそれぞれ切り出して生成された領域画像ＲＩ１，ＲＩ２，ＲＩ３を示した図である。 図９は、結合画像ＣＩ１を生成する様子を示した図である。 図１０は、本発明の第２の実施形態に係る外観検査装置７０のうち、側面撮像装置７２及び上面撮像装置４１周辺を示した正面図である。 図１１は、図１０に対応する平面図であり、チップ４周辺を拡大して示したものである。なお、上面撮像装置４１は省略されている。 図１２は、チップ４の側面を複数回撮像して得られた評価用画像Ｉ１～５を示した図である。 図１３は、結合画像ＣＩ２を生成する様子を示した図である。

［１．第１の実施形態］
以下、本発明の第１の実施形態について説明する。なお、以下に説明される実施形態は本発明の一例にすぎず、本発明の要旨を変更しない範囲で、本発明の実施形態を適宜変更できることは言うまでもない。また、以下の説明では、外観検査装置１０が設置された状態において、鉛直方向に沿って上下方向１が定義され、水平方向に沿って前後方向２及び左右方向３がそれぞれ定義されている。また、上下方向１と前後方向２と左右方向３とは、互いに直交している。

［１－１．外観検査装置１０の概要と全体構成］
図１～３に示される外観検査装置１０は、ダイシングシート２２の上面に貼着されたチップ４（特許請求の範囲における「ワーク」に相当。）を撮像し、得られた画像に基づいて、チップ４の異常を評価するものである。チップ４は光学素子であり、一般的には端面発光型のレーザーダイオードチップである。

外観検査装置１０は、シート支持部２０（図１）、側面撮像部３０、上面撮像部４０、撮像駆動部５０、及び制御部６０（図３）等を備えている。外観検査装置１０は、他にも種々の構成要素を有していてもよいが、本発明の課題の解決に無関係の構成要素については省略する。上記各構成要素について、以下でより詳細に説明する。

［１－２．シート支持部２０］
シート支持部２０は、チップ４が貼着されたダイシングシート２２を支持するものである。シート支持部２０は、ダイシングシート２２を直接支持するシートリング２１を備えている。シートリング２１は２つの枠体２１ａ，２１ｂから成り、２つの枠体２１ａ，２１ｂが上下からダイシングシート２２を挟み込むように結合することで、シートリング２１の内方にダイシングシート２２が張られた状態で支持される。このとき、ダイシングシート２２は、水平方向（即ち前後方向２及び左右方向３）に沿った状態となる。シート支持部２０は、後述されるシート回転機構５１と機械的に結合されている。ここで、ダイシングシート２２及びシート支持部２０を合わせたものが、特許請求の範囲における「支持部」に相当し、ダイシングシート２２の上面が特許請求の範囲における「支持面」に相当するものである。

［１－３．側面撮像部３０］
側面撮像部３０は、チップ４の側面を撮像するものである。側面撮像部３０は、チップ４の第１側面５を撮像する第１撮像装置３１、及びチップ４の第２側面６を撮像する第２撮像装置３２からなる。第１撮像装置３１及び第２撮像装置３２は、撮像素子としてのＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサーを内蔵した産業用カメラである。なお、第１側面５及び第２側面６は、互いにチップ４の反対側に位置し、チップ４の発光面を成すものである。

第１撮像装置３１は、右斜め上方からチップ４の第１側面５を撮像可能な位置に配置されている。撮像時には、光軸Ｌ１（図２）が右斜め上方からチップ４の第１側面５に入射する。この時の光軸Ｌ１の入射角θ１（図２）は調整可能とされている。

第２撮像装置３２は、撮像状態においてチップ４を跨いで第１撮像装置３１と左右対称となるように配置されている。つまり、第２撮像装置３２は、左斜め上方からチップ４の第２側面６を撮像可能な位置に配置されている。撮像時には、光軸Ｌ２（図２）が左斜め上方からチップ４の第２側面６に入射する。この時の光軸Ｌ２の入射角θ２（図２）は調整可能とされている。

第１撮像装置３１及び第２撮像装置３２は、後述される上面撮像装置４１と共に撮像ベース５７（図１）に結合されて支持されている。

［１－４．上面撮像部４０］
上面撮像部４０は、チップ４の上面を撮像する上面撮像装置４１を備える。上面撮像装置４１は、撮像素子としてＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサーを内蔵した産業用カメラである。

上面撮像装置４１は、左右方向３において第１撮像装置３１と第２撮像装置３２との間に設けられ、撮像ベース５７に結合されて支持されている。上面撮像装置４１のレンズは下方に向けられており、撮像時にはレンズがチップ４の上面と対向することで、上方からチップ４の上面を撮像可能とされている。

［１－５．撮像駆動部５０］
撮像駆動部５０（図３）は、チップ４の撮像時に、チップ４と側面撮像部３０及び上面撮像部４０との相対位置及び向きを調整するものである。撮像駆動部５０は、シート支持部２０を回転させてチップ４の向きを変えるシート回転機構５１、及び撮像ベース５７を移動させて側面撮像部３０及び上面撮像部４０の位置を変えるカメラ移動機構５２からなる。

シート回転機構５１は、正方向及び逆方向に回転可能なモータ５３を備えている。モータ５３の回転駆動力は、ギア・プーリ・ベルト等の複数の機械要素から成る駆動伝達機構（不図示）を介してシート支持部２０に伝達される。これにより、シートリング２１は、ダイシングシート２２及びチップ４と一体に、上下方向１に沿った軸線周りに回転する。例えば、モータ５３が正方向に回転した時にシートリング２１は上方から見て時計回りに回転し、モータ５３が逆方向に回転した時にシートリング２１は反時計回りに回転する。

カメラ移動機構５２は、３つのアクチュエータ５４，５５，５６を備えている。アクチュエータ５４，５５，５６の駆動力は、シート回転機構のものとは別の駆動伝達機構を介して撮像ベース５７に伝達される。これにより、撮像ベース５７は側面撮像部３０及び上面撮像部４０と一体に移動する。例えば、アクチュエータ５４が駆動することによって撮像ベース５７は上下方向１に沿って移動し、アクチュエータ５５が駆動することによって撮像ベース５７は前後方向２に沿って移動し、アクチュエータ５６が駆動することによって撮像ベース５７は左右方向３に沿って移動する。

［１－６．制御部６０］
制御部６０（図３）は、外観検査装置１０の全体動作を制御するコンピュータである。制御部６０は、ＣＰＵ（Central Processing Unit）６１、メインメモリ６２、補助記憶装置としてのＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）６３、及びこれらの間でデータ伝送を行うための内部バス６４等を最低限の構成として含んでいる。制御部６０は、他にも入出力インターフェイスやネットワークインターフェイス等を備えているが、ここでは省略する。ＥＥＰＲＯＭ６３には、外観検査装置１０の動作を制御するための各種のプログラムが記憶されている。これらのプログラムが内部バス６４を通じてメインメモリ６２にロードされ、ＣＰＵ６１によって実行される。その結果生成された制御信号が、外部バス６５を通じて外観検査装置１０の各部にそれぞれ送信されて、外観検査装置１０の全体動作が制御されている。

ＥＥＰＲＯＭ６３には、シート回転機構５１のモータ５３、カメラ移動機構のアクチュエータ５４，５５，５６、第１撮像装置３１、第２撮像装置３２、及び上面撮像装置４１の動作を制御するドライバプログラムが記憶されている。また、ＥＥＰＲＯＭ６３には、第１撮像装置３１、第２撮像装置３２、及び上面撮像装置４１が生成した画像データを処理するための画像処理プログラムの他、これらの画像データに基づいてチップ４の異常を評価する評価プログラムが記憶されている。また、ＥＥＰＲＯＭ６３には、上記の各種プログラムをサブルーチンとしてロードして、チップ４の外観検査に係る全体シーケンスを実行するためのプログラムが記憶されている。

ここで、制御部６０が、特許請求の範囲における「評価部」に相当するものである。また、側面撮像部３０、第１撮像装置３１、第２撮像装置３２、上面撮像部４０、及び撮像駆動部５０は、制御部６０の制御に基づき、それぞれ特許請求の範囲における「側面撮像部」、「第１撮像装置」、「第２撮像装置」、「上面撮像部」、及び「撮像駆動部」として動作するものである。

［１－７．チップ４の外観検査の概要］
チップ４の外観検査の詳細を説明する前に、その概要を説明する。図２に示されるように、第１撮像装置３１及び第２撮像装置３２の光軸Ｌ１，Ｌ２は、チップ４の第１側面５及び第２側面６に対して斜めに入射するため、第１側面５及び第２側面６をそれぞれ一度撮像しただけでは、第１側面５及び第２側面６全体にピントが合った評価用画像を得ることは難しい。そのため、本実施形態では、第１撮像装置３１及び第２撮像装置３２を上下方向１に移動させながら、チップ４の第１側面５及び第２側面６を複数回撮像する。その結果、第１撮像装置３１及び第２撮像装置３２の移動量に応じて上下に所定画素ずつずれた複数の評価用画像が生成される。複数の評価用画像は、第１側面５及び第２側面６の異なる領域にピントが合った画像であるため、制御部６０は、各評価用画像におけるピントが合った領域を組み合わせて、第１側面５及び第２側面６の異常を評価することができる。

［１－８．チップ４の外観検査の詳細］
以下、ダイシングシート２２上の複数のチップ４の外観検査の詳細を説明する。なお、以下で説明される外観検査装置１０の各部の動作は、制御部６０がＥＥＰＲＯＭ６３に記憶された各種のプログラムを実行することで制御されている。

事前準備として、作業者は、検査対象のチップ４を外観検査装置１０にセットする。外観検査工程は、一般的にダイシング装置によるチップ４のダイシング工程に続いて行われる。ダイシングシート２２上にはダイシング工程により分割された複数のチップ４が存在している。作業者は、ダイシングシート２２が張られたシートリング２１をダイシング装置から取り外し、外観検査装置１０のシート支持部２０に取り付ける（図１の状態）。作業者は、その状態で外観検査装置１０を操作することで、制御部６０に外観検査シーケンスを実行させる。

なお、ダイシング工程と外観検査工程とを連続して実行する場合、ダイシング工程を経たシートリング２１がシート支持部２０に自動でセットされる構成が採用されてもよい。また、ダイシング装置と外観検査装置１０とが一体の装置として構成され、シートリング２１を取り外すことなく外観検査工程を実行可能な構成が採用されてもよい。

制御部６０が実行する外観検査の処理の流れを示すフローチャートが図４に示されている。まず、制御部６０がカメラ移動機構５２のアクチュエータ５４，５５，５６を駆動することで撮像ベース５７が移動を開始する。そして、上面撮像装置４１がダイシングシート２２の上面全体を撮像可能となるように、撮像ベース５７の上下方向１、前後方向２、及び左右方向３の位置が調整される。このときの撮像ベース５７の移動先の目標位置として、ＥＥＰＲＯＭ６３に記憶された既定の位置情報が使用されてもよい。あるいは、上面撮像装置４１がリアルタイムに生成する動画像に基づいて、制御部６０が好適な位置を決定してもよい。

撮像ベース５７の移動の後、ダイシングシート２２の上面全体が撮像範囲に収まるように、上面撮像装置４１による撮像が行われる（ステップＳ１０）。制御部６０は、上面撮像装置４１が生成した画像を処理して、ダイシングシート２２上に存在するチップ４の個数及び配置を認識する（ステップＳ２０）。この処理には、エッジ認識やパターンマッチング等の既知の画像処理アルゴリズムが使用可能である。

続けて、制御部６０は、ダイシングシート２２上のチップ４の配置に基づいて、全てのチップ４を撮像するための撮像順序を決定する（ステップＳ３０）。撮像順序の決定に際して、制御部６０は、全てのチップ４を撮像するために必要な撮像ベース５７の総移動量を算出し、撮像ベース５７の総移動量が最短となる撮像順序を採用する。あるいは、制御部６０は、撮像ベース５７の総移動量に加えて、例えばシート回転機構５１によるチップ４の向きの変更が必要となる回数、又はシート回転機構５１の駆動量といった他の条件を考慮してもよい。そして、それらの条件を複合した上で全てのチップ４を撮像するための所要時間を算出し、この所要時間が最短となる撮像順序を採用してもよい。

続けて、制御部６０は、最初のチップ４を撮像可能となるように、側面撮像部３０及び上面撮像部４０とチップ４との相対位置及び向きを調整する（ステップＳ４０）。具体的には、制御部６０は、シート回転機構５１のモータ５３の駆動によってシートリング２１を回転させ、チップ４の向きを変更する。また、カメラ移動機構５２のアクチュエータ５４，５５，５６の駆動によって撮像ベース５７を移動させ、側面撮像部３０及び上面撮像部４０の位置を変更する。このとき、制御部６０は、上面撮像装置４１、第１撮像装置３１、又は第２撮像装置３２がリアルタイムに生成する動画像に基づいて、側面撮像部３０及び上面撮像部４０とチップ４との相対位置及び向きを調整してもよい。その結果、図２に示されるように、上面撮像装置４１がチップ４の真上に位置し、第１撮像装置３１及び第２撮像装置３２がチップ４を挟んで左右方向３の両側に位置した状態となる。このとき、チップ４の発光面である第１側面５が第１撮像装置３１のレンズに向けられ、同じくチップ４の発光面である第２側面６が第２撮像装置３２のレンズに向けられている。

この状態で、制御部６０は、対象のチップ４を撮像するための「撮像処理」のシーケンスを実行する（ステップＳ５０）。撮像処理の詳細を示すフローチャートが図５に示されている。まず、制御部６０は、チップ４の第１側面５及び第２側面６の撮像回数、及び各撮像における第１撮像装置３１及び第２撮像装置３２の上下方向１の撮像位置を決定する（ステップＳ５１）。以下でこの撮像回数と撮像位置について説明する。

第１撮像装置３１及び第２撮像装置３２は、第１側面５及び第２側面６を斜め上方から撮像するため、撮像範囲ＰＲ１，ＰＲ２，ＰＲ３（図７参照）におけるフォーカス領域ＦＲ１，ＦＲ２，ＦＲ３（外観検査に必要な鮮明度が得られる領域。）は横方向よりも縦方向に狭くなる。第１側面５及び第２側面６の撮像回数が少ないと、各撮像の間における撮像ベース５７の上下方向１への移動量を大きくする必要があり、各撮像におけるフォーカス領域ＦＲ１，ＦＲ２，ＦＲ３に隙間ができてしまう。複数回の撮像によって第１側面５及び第２側面６の全域をフォーカス領域ＦＲ１，ＦＲ２，ＦＲ３でカバーするためには、チップ４の高さ（上下方向１の寸法）が高いほど、撮像回数を多くすることが望ましい。

制御部６０は、第１撮像装置３１又は第２撮像装置３２を制御して第１側面５又は第２側面６の全体を撮像し、第１側面５又は第２側面６の全体画像を生成する。続けて、制御部６０は、第１側面５又は第２側面６の全体画像からエッジ検出等の画像処理アルゴリズムを用いて第１側面５又は第２側面６の外縁を認識し、チップ４の高さを算出する。制御部６０は、チップ４の高さに基づいて、第１側面５及び第２側面６の撮像回数、及び各撮像における第１側面５及び第２側面６の上下方向１の撮像位置（特許請求の範囲の「相対位置」に相当。）を決定する。あるいは、撮像回数及び撮像位置は、使用するチップ４に応じて作業者によって事前に設定され、ＥＥＰＲＯＭ６３に記憶されていてもよい。

続けて、制御部６０は、チップ４を撮像するための撮像パラメタ等の調整を行う（ステップＳ５２）。具体的には、側面撮像部３０及び上面撮像部４０とチップ４との相対位置及び向きの微調整や、焦点距離等の各撮像装置の内部設定値の調整を行う。

制御部６０は、上面撮像装置４１にチップ４の上面を撮像させ、チップ４の上面の評価用画像を生成させる（ステップＳ５３）。制御部６０は、この評価用画像を、ＥＥＰＲＯＭ６３に記憶させる。

制御部６０は、カメラ移動機構５２のアクチュエータ５４の駆動により撮像ベース５７を上下方向１に移動させ、第１撮像装置３１及び第２撮像装置３２を第１回目の撮像位置に移動させる（ステップＳ５４）。制御部６０は、第１回目の撮像位置において、第１撮像装置３１及び第２撮像装置３２にチップ４の第１側面５及び第２側面６を撮像させ、第１側面５及び第２側面６の１つ目の評価用画像をそれぞれ生成させる（ステップＳ５５）。制御部６０は、これらの評価用画像を、ＥＥＰＲＯＭ６３に記憶させる。

続けて、制御部６０は、第１撮像装置３１及び第２撮像装置３２を第２回目の撮像位置に移動させ（特許請求の範囲の「相対移動」に相当。）、第１回目の撮像と同様に、第１撮像装置３１及び第２撮像装置３２に第１側面５及び第２側面６を撮像させ、評価用画像をＥＥＰＲＯＭ６３に記憶させる。

制御部６０は、各撮像位置における第１側面５及び第２側面６の撮像、及び評価用画像のＥＥＰＲＯＭ６３への記憶が完了したタイミングで、予定された撮像が全て完了しているか否かを確認する。予定された撮像が完了していない場合（ステップＳ５６：ＮＯ）、第１撮像装置３１及び第２撮像装置３２を次の撮像位置に移動させ、第１撮像装置３１及び第２撮像装置３２に第１側面５及び第２側面６を撮像させ、評価用画像をＥＥＰＲＯＭ６３に記憶させる。予定された撮像が全て完了している場合（ステップＳ５６：ＹＥＳ）、当該チップ４に対する撮像処理を終了する。

上述した第１側面５の撮像の様子が図６，７に示されている。なお、第２側面６については、第１側面５と同様であるため省略されている。また、図６，７においては、第１側面５及び第２側面６の撮像回数が３回の例が示されている。図６における光軸Ｌ１ａ，Ｌ１ｂ，Ｌ１ｃは、それぞれ第１，２，３回目の撮像位置における第１撮像装置３１の光軸Ｌ１である。上下方向１において各撮像位置におけるフォーカス領域ＦＲ１，ＦＲ２，ＦＲ３の一部が重複するように、各撮像位置が設定されている。

図７に示されるように、フォーカス領域ＦＲ１，ＦＲ２，ＦＲ３は、上下方向１における撮像範囲ＰＲ１，ＰＲ２，ＰＲ３の中央に位置しているが、第１撮像装置３１の焦点距離等の設定によって異なる位置にすることもできる。図７（Ａ），（Ｂ），（Ｃ）は、それぞれ、第１，２，３回目の撮像位置において、チップ４の第１側面５と撮像範囲ＰＲ１，ＰＲ２，ＰＲ３との対応を示している。第１回目の撮像範囲ＰＲ１（図７（Ａ））と第２回目の撮像範囲ＰＲ２（図７（Ｂ））は、各撮像位置の差に対応する高さＨ１だけずれている。同様に、第２回目の撮像範囲ＰＲ２と第３回目の撮像範囲ＰＲ３（図７（Ｃ））は、各撮像位置の差に対応する高さＨ２だけずれている。一般的に、Ｈ１とＨ２が等しくなるように撮像位置を設定することが望ましい。

撮像処理（ステップＳ５０）のシーケンスを終了後、制御部６０は、第１側面５及び第２側面６の複数の評価用画像をそれぞれ結合して、第１側面５及び第２側面６の結合画像ＣＩ１（図９）を生成する（ステップＳ６０）。以下、第１側面５の結合画像ＣＩ１を生成する手順について説明する。

まず、制御部６０は、第１側面５の各評価用画像から、フォーカス領域ＦＲ１，ＦＲ２，ＦＲ３に対応する画素領域をそれぞれ切り出し、領域画像ＲＩ１，ＲＩ２，ＲＩ３（図８）を生成する。図８（Ａ），（Ｂ），（Ｃ）の領域画像ＲＩ１，ＲＩ２，ＲＩ３は、それぞれ、第１，２，３回目の撮像位置での撮像によって生成された評価用画像から、フォーカス領域ＦＲ１，ＦＲ２，ＦＲ３に対応する画素領域を切り出したものである。なお、斜め方向からの撮像のために評価用画像に歪みが発生する場合、撮像角度や他の撮像条件に基づき、評価用画像に写った第１側面５を矩形形状に補正するための射影変換（ホモグラフィ変換）が行われてもよい。

続けて、制御部６０は、領域画像ＲＩ１，ＲＩ２，ＲＩ３を上下に結合する。このとき、領域画像ＲＩ１，ＲＩ２，ＲＩ３から元の第１側面５の形状が再現されるように、３つの領域画像ＲＩ１，ＲＩ２，ＲＩ３の相対位置を撮像位置に対応させる。例えば、図７のように後の撮像ほど撮像位置が下方に位置している場合、結合画像ＣＩ１でも、後の撮像に対応する領域画像ＲＩ１，ＲＩ２，ＲＩ３ほど下方に位置するようにする。また、制御部６０は、その際の画素のずれ量を、各撮像位置の高低差、すなわち各撮像の間における撮像ベース５７の移動量に基づいて算出する。例えば、第１回目の撮像位置に対応する領域画像ＲＩ１と第２回目の撮像位置に対応する領域画像ＲＩ２とを結合する際の画素のずれをｎ１（図９）とした場合、ｎ１は、第１回目の撮像位置と第２回目の撮像位置との差である高さＨ１と所定の係数ａとの積で表すことができ、ｎ１＝ａ×Ｈ１と表すことができる。また、第２回目の撮像位置に対応する領域画像ＲＩ２と第３回目の撮像位置に対応する領域画像ＲＩ３とを結合する際の画素のずれをｎ２（図９）とした場合、同様に、ｎ２＝ａ×Ｈ２と表すことができる。

上述したような方法でｎ１，ｎ２の値を決定すると、上下に隣接する領域画像ＲＩ１，ＲＩ２，ＲＩ３の間で画素が重なる重複領域ＤＥ１，ＤＥ２が現れる。図９においては、領域画像ＲＩ１と領域画像ＲＩ２とが重複した重複領域ＤＥ１、及び領域画像ＲＩ２と領域画像ＲＩ３とが重複した重複領域ＤＥ２が現れている。この重複領域ＤＥ１，ＤＥ２においては、重複する２つの領域画像の何れか一方の画素の輝度値を結合画像ＣＩ１の対応する画素の輝度値としてもよい。あるいは、重複する２つの領域画像の対応する画素の輝度値を平均した値を結合画像ＣＩ１の対応する画素の輝度値としてもよい。

上述した処理が、同様に第２側面６の複数の評価用画像に対しても適用され、第１側面５及び第２側面６それぞれについて、結合画像ＣＩ１が生成される。制御部６０は、結合画像ＣＩ１をＥＥＰＲＯＭ６３に記憶させる。なお、複数の評価用画像がそれぞれカラー画像であり、ＲＧＢ、ＨＳＬ、又はＣＭＹＫ等 の複数のカラーチャネルから構成されている場合、制御部６０は、上述した結合処理をカラーチャネルごとに行うことで、結合画像ＣＩ１をカラー画像として生成してもよい。あるいは、評価用画像のいずれか１つのカラーチャネルのみを使用して結合画像ＣＩ１を生成してもよいし、各カラーチャネルの対応する画素の輝度値の平均値から結合画像ＣＩ１を生成してもよい。

制御部６０は、チップ４の上面の評価用画像に基づいてチップ４の上面の異常を評価し、第１側面５及び第２側面６からそれぞれ生成された結合画像ＣＩ１に基づいて第１側面５及び第２側面６の異常をそれぞれ評価する（ステップＳ７０）。この異常の一例として、チップ４に付着した異物やチップ４の欠け等がある。制御部６０は、例えばルールベースや深層学習を用いた評価アルゴリズムにより、チップ４の異常を評価し、その評価結果をＥＥＰＲＯＭ６３に記憶させる。この評価結果としては、チップ４が製品として許容可能なものであるか否かの判断のみでもよいし、より詳細な評価項目が作成されてもよい。

制御部６０は、ダイシングシート２２の全てのチップ４に対して撮像処理及び評価が完了したか否かを確認し、完了していない場合（ステップＳ８０：Ｎｏ）、次のチップ４に対して撮像処理を行うべく、側面撮像部３０及び上面撮像部４０と次のチップ４との相対位置及び向きを調整する（ステップＳ４０）。それ以降の処理は、上述した最初のチップ４に対するものと同様であるため、省略する。一方、全てのチップ４に対して撮像処理と評価が完了している場合（ステップＳ８０：Ｙｅｓ）、制御部６０は、全てのチップ４についての評価結果を集約した情報を外部に出力する（ステップＳ９０）。例えば、制御部６０は、外観検査装置１０に設けられた表示画面に評価結果を表示させてもよいし、通信ネットワークを介して外観検査装置１０と接続されたコンピュータに評価結果を送信し、当該コンピュータの表示画面に評価結果を表示させてもよい。作業者は、この評価結果を確認し、製品として許容できないチップ４をダイシングシート２２から取り除く等の対応を行う。あるいは、チップ４のダイシングシート２２からの剥離と併せて、製品として許容可能なチップ４と許容できないチップ４とが装置によって自動で分別される構成が採用されてもよい。

［１－９．本実施形態の作用効果］
本実施形態においては、チップ４の第１側面５及び第２側面６における異なる領域にピントが合った複数の評価用画像から結合画像ＣＩ１が生成されるため、第１側面５及び第２側面６を斜め方向から撮像する状況においても、制御部６０は、結合画像ＣＩ１を評価するだけで、第１側面５及び第２側面６全体を精細な画像に基づいて評価することができる。また、チップ４に外力を加える必要が無いため複雑な機構を必要とせず、外力によってチップ４に異常が発生するおそれも無い。

また、第１撮像装置３１及び第２撮像装置３２がカメラ移動機構５２によって上下方向１に移動させられて、各撮像位置ごとに撮像が行われるため、第１撮像装置３１及び第２撮像装置３２の焦点距離を変化することなく、第１側面５及び第２側面６の異なる領域にピントが合った複数の評価用画像を生成することができる。

また、第１撮像装置３１、第２撮像装置３２、及び上面撮像装置が撮像ベース５７に支持された状態で、カメラ移動機構５２によって一体に移動させられるため、各撮像装置とチップ４との相対位置及び向きの調整を一括に行うことができる。さらに、制御部６０は、各撮像装置がリアルタイムに生成する動画像に基づいて、各撮像装置とチップ４との相対位置及び向きの調整を容易に行うことができる。さらに、第１撮像装置３１と第２撮像装置３２とが左右対称となるように設けられているため、各撮像位置において、チップ４の発光面である第１側面５及び第２側面６を同時に撮像することができ、タクトタイムの短縮を図ることができる。

また、第１側面５又は第２側面６の全体画像から算出されたチップ４の高さに基づいて、第１側面５及び第２側面６の撮像回数及び撮像位置が決定されるため、チップ４の高さに応じて適切な撮像回数及び撮像位置を採用することができる。つまり、全高の高いチップ４においては、撮像回数を多くすることで、第１側面５及び第２側面６の全範囲がいずれかの撮像のフォーカス領域ＦＲ１，ＦＲ２，ＦＲ３によってカバーされるように撮像範囲ＰＲ１，ＰＲ２，ＰＲ３を設定することができ、逆に、全高の低いチップ４においては、撮像回数を少なくすることで、タクトタイムの短縮を図ることができる。

また、制御部６０は、複数の領域画像ＲＩ１，ＲＩ２，ＲＩ３を結合する際の画素のずれ量を、各撮像位置の高低差、すなわち各撮像の間における撮像ベース５７の移動量に基づいて容易に算出する。チップ４の側面のように撮像対象が平坦で特徴のない場合、２つの撮像画像の対応点を画像間の相関に基づいて見つけることは困難であるが、本実施形態においては、画像間の相関を使用することなく、各領域画像ＲＩ１，ＲＩ２，ＲＩ３を結合する際の画素のずれ量（相対位置）を容易に決定することができる。

また、結合画像ＣＩ１の重複領域ＤＥ１，ＤＥ２について、重複する２つの領域画像の対応する画素の輝度値を平均した値を結合画像ＣＩ１の対応する画素の輝度値とすることで、一方の領域画像にのみ存在するノイズを減衰することができる。これにより、撮像時に予期しないノイズが混入した場合にも、ノイズが異常と誤認される可能性を低くすることができる。

［１－９．本実施形態の変形例］
上述した実施形態においては、シート回転機構５１によってシートリング２１の向きが変更可能であり、カメラ移動機構５２によって撮像ベース５７（側面撮像部３０及び上面撮像部４０）が上下方向１、前後方向２、及び左右方向３に移動可能であった。しかしながら、シートリング２１と撮像ベース５７とは、相対的に移動可能かつ向き変更可能であればよく、どちらが移動しどちらが向き変更してもよい。例えば、シートリング２１が移動可能に構成され、撮像ベース５７が向き変更可能に構成されていてもよい。あるいは、シートリング２１又は撮像ベース５７の一方が完全に固定され、他方が移動可能かつ向き変更可能に構成されていてもよい。あるいは、シートリング２１が平面移動（前後方向２及び左右方向３に沿った移動）及び向き変更可能に構成され、撮像ベース５７が上下動可能に構成されていてもよい。

また、上述した実施形態は、制御部６０が、第１側面５及び第２側面６の複数の評価用画像から結合画像ＣＩ１をそれぞれ生成するものであった。しかしながら、制御部６０は、結合画像ＣＩ１を生成することなく、複数の評価用画像のフォーカス領域ＦＲ１，ＦＲ２，ＦＲ３をそれぞれ評価することで、第１側面５及び第２側面６の異常を評価してもよい。

また、上述した実施形態は、第１撮像装置３１、第２撮像装置３２、及び上面撮像装置４１が撮像ベース５７によって支持され、カメラ移動機構５２によって一体に移動可能な物であった。しかしながら、側面撮像部３０は、撮像ベース５７によって支持されたさらに多くの撮像装置を備えていてもよく、例えば４つの撮像装置によってチップ４の４側面を同時に撮像可能な物であってもよい。あるいは、側面撮像部３０は、第１撮像装置３１のみを備えていてもよく、シート回転機構５１がチップ４の向きを変更することで、複数回に亘って異なる側面を撮像する物であってもよい。また、チップ４の上面の評価が不要な場合には、上面撮像部４０（上面撮像装置４１）は省略されてもよく、第１撮像装置３１及び第２撮像装置３２が生成する画像に基づいて、第１撮像装置３１及び第２撮像装置３２とチップ４との相対位置及び向きの調整が行われてもよい。

［２．第２の実施形態］
以下、本発明の第２の実施形態について説明する。なお、以下に説明される実施形態は本発明の一例にすぎず、本発明の要旨を変更しない範囲で、本発明の実施形態を適宜変更できることは言うまでもない。なお、以下の説明において、第１の実施形態と同様の内容については記載を省略し、異なる点についてのみ記載する。また、第１の実施形態のものと同様の構成要素については同じ参照符号を付すものとする。

図１０に示されるように、本実施形態における外観検査装置７０は、例えばチップ４の搬送過程において、検査台７１に一時的に載置されたチップ４を撮像し、その異常を評価する物である。検査台７１に同時に載置されるチップ４の数は限られるため、一般に検査台７１の外径は第１の実施形態におけるシートリング２１よりも小さい。そのため、検査台７１に干渉することなく、側面撮像装置７２をチップ４と同じ高さ位置に配することができる。チップ４の側面を正面から撮像するため、側面撮像装置７２の光軸Ｌ３がチップ４と同じ高さに位置して検査台７１の上面に沿うように、側面撮像装置７２の位置及び向きが調整されている。

上面撮像装置４１は、チップ４の上面を撮像する物である。側面撮像装置７２及び上面撮像装置４１は、上下方向１、前後方向２、及び左右方向３に沿って移動可能である。これにより、側面撮像装置７２及び上面撮像装置４１とチップ４とは相対位置が調整可能とされている。また、検査台７１は、上下方向１に沿った軸線周りに回転可能とされている。これにより、側面撮像装置７２及び上面撮像装置４１とチップ４とは相対的な向きが調整可能とされている。側面撮像装置７２及び上面撮像装置を移動させる機構には、第１の実施形態におけるカメラ移動機構５２と同様の構成を使用可能である。検査台７１を回転させる機構には、第１の実施形態におけるシート回転機構５１と同様の構成を使用可能である。チップ４の撮像時、制御部６０は、上面撮像装置４１及び側面撮像装置７２がチップ４を撮像できるように、上面撮像装置４１及び側面撮像装置７２とチップ４との相対位置及び向きを調整する。以下で、特にチップ４の向きの調整について詳細に説明する。

上述したように側面撮像装置７２の光軸Ｌ３が検査台７１の上面に沿うように調整されているため、図１０に示されるような側方からの平面視においては、側面撮像装置７２の光軸Ｌ３とチップ４の側面とは概ね直交する。一方で、図１１に破線で示されるように、上方からの平面視においては、側面撮像装置７２の光軸Ｌ３とチップ４の側面とが為す角θ３は、チップ４が検査台７１に載置される向きに応じて都度変化する。制御部６０は、検査台７１を回転させることで、上方からの平面視においても側面撮像装置７２の光軸Ｌ３とチップ４の側面とが直交するように（即ち角θ３が９０°となるように）、チップ４の向きを調整する。向き調整後のチップ４が図１１に実線で表されている。

上面撮像装置４１及び側面撮像装置７２とチップ４との相対位置及び向きの調整後、制御部６０は、上面撮像装置４１及び側面撮像装置７２にチップ４を撮像させ、チップ４の上面及び側面の評価用画像を生成する。その際、制御部６０は、側面撮像装置７２の撮像範囲を固定した状態で焦点距離を微小ピッチずつ変化させ、チップ４の側面全体を複数回撮像させる。つまり、チップ４の側面については複数の評価用画像を生成する。ここでは、１０回の撮像により、１０の評価用画像Ｉ１～Ｉ１０（図１２参照。ただしＩ６～Ｉ１０は省略。）が生成されたものとして説明を行う。

図１２に示されるように、制御部６０は、チップ４の側面を撮像して得られた複数の評価用画像Ｉ１～Ｉ１０それぞれに対して、複数の評価領域ＥＲ１，ＥＲ２，ＥＲ３を設定する。評価領域ＥＲ１，ＥＲ２，ＥＲ３は、評価用画像を横方向に分割するように並んで設定された領域であり、隣接する評価領域ＥＲ１，ＥＲ２，ＥＲ３は一部が重複している。全ての評価用画像Ｉ１～Ｉ１０に対して同じ位置及び範囲に評価領域ＥＲ１，ＥＲ２，ＥＲ３が設定される。各評価領域ＥＲ１，ＥＲ２，ＥＲ３の位置及び範囲をどのように設定するかについては、作業者によって事前に設定され、設定値がＥＥＰＲＯＭ６３に記憶されていてもよいし、側面撮像装置７２が生成した画像から判断されるチップ４の側面のサイズに応じて制御部６０が決定してもよい。また、本実施形態では評価領域ＥＲ１，ＥＲ２，ＥＲ３が３つである例を説明するが、各評価用画像Ｉ１～Ｉ１０はさらに多くの評価領域に分けられてもよい。

続けて、制御部６０は、全ての評価用画像Ｉ１～Ｉ１０の各評価領域ＥＲ１，ＥＲ２，ＥＲ３についてそれぞれ鮮明度を評価する。そして、各評価領域ＥＲ１，ＥＲ２，ＥＲ３それぞれについて、全ての評価用画像Ｉ１～Ｉ１０の中で最も鮮明度が高い（ピントが合った）評価用画像を決定する。制御部６０は、全ての評価用画像Ｉ１～Ｉ１０の中で最も鮮明度が高い評価領域ＥＲ１，ＥＲ２，ＥＲ３を結合し、結合画像ＣＩ２を生成する。この処理の一例を以下に説明する。

例えば、鮮明度の評価の結果、評価領域ＥＲ１については評価用画像Ｉ３、評価領域ＥＲ２については評価用画像Ｉ７、評価領域ＥＲ３については評価用画像Ｉ１０の鮮明度が最も高かったとする。この場合、制御部６０は、評価用画像Ｉ３の評価領域ＥＲ１と評価用画像Ｉ７の評価領域ＥＲ２と評価用画像Ｉ１０の評価領域ＥＲ３とをそれぞれ切り出し、これらを対応する相対位置において結合し、結合画像ＣＩ２（図１３）を生成する。このとき、隣接する評価領域ＥＲ１，ＥＲ２，ＥＲ３が重複する重複領域ＤＥ３，ＤＥ４においては、重複する２つの評価領域の何れか一方の画素の輝度値を結合画像ＣＩ２の対応する画素の輝度値としてもよい。あるいは、重複する２つの評価領域の対応する画素の輝度値を平均した値を結合画像ＣＩ２の対応する画素の輝度値としてもよい。結合画像ＣＩ２の生成の後、制御部６０は、チップ４の上面の評価用画像からチップ４の上面の異常を評価し、結合画像ＣＩ２からチップ４の側面の異常を評価する。この評価については第１の実施形態と同様であるため省略する。

なお、本実施形態において、結合画像ＣＩ２を生成することは必須ではなく、評価領域ＥＲ１，ＥＲ２，ＥＲ３それぞれについて、複数の評価用画像Ｉ１～Ｉ１０の中で最も鮮明度が高いものを使用してチップ４の側面の異常を評価してもよい。また、本実施形態において、第１の実施形態と同様に、チップ４の側面を撮像する撮像装置を複数設けることでチップ４の複数の側面を同時に撮像してもよい。

チップ４の側面全体にピントが合った撮像を行うためには、チップ４（検査台７１）の向きの調整を正確に行う必要があるが、チップ４の搬送中に限られた時間の中でこれを行うことは困難な場合がある。また、チップ４の側面に欠け等があり平坦でない場合、チップ４の向きを調整してもその側面全体にピントが合った撮像を行うことが困難な場合もある。本実施形態においては、評価領域ＥＲ１，ＥＲ２，ＥＲ３それぞれについて、複数の評価用画像Ｉ１～Ｉ１０の中で最も鮮明度が高いものを使用してチップ４の側面の異常を評価するため、上記のような状況においても、複雑な機構を必要とせず、精細な撮像画像に基づいてワークの異常を正確に評価することが可能となる。

４ ・・・チップ（ワーク）
５ ・・・第１側面
６ ・・・第２側面
１０ ・・・外観検査装置
２０ ・・・シート支持部（支持部）
３０ ・・・側面撮像部
３１ ・・・第１撮像装置
３２ ・・・第２撮像装置
４０ ・・・上面撮像部
５０ ・・・撮像駆動部
６０ ・・・制御部（評価部）
７０ ・・・外観検査装置
７１ ・・・検査台（支持部）
７２ ・・・側面撮像装置
ＣＩ１，ＣＩ２ ・・・結合画像
ＥＲ１，ＥＲ２，ＥＲ３ ・・・評価領域

Claims (7)

1. ワークの底面を支持する支持面を有した支持部と、
   前記ワークの側面における異なる領域にピントが合った複数回の撮像を実行して複数の評価用画像を生成する側面撮像部と、
   前記側面撮像部と前記支持部とを、前記ワークの側面に沿って相対移動させる撮像駆動部と、
   複数の前記評価用画像に基づいて前記ワークの異常を評価する評価部と、を備え、
   前記側面撮像部は、前記ワークの第１側面を撮像する第１撮像装置、及び前記ワークの第２側面を撮像する第２撮像装置を有し、
   前記撮像駆動部は、前記第１撮像装置及び前記第２撮像装置を一体として、前記第１側面及び前記第２側面のいずれにも沿う方向に向けて、前記支持部に対して相対移動させ、
   前記第１撮像装置は、前記相対移動の前後において前記第１側面をそれぞれ撮像して、複数の前記評価用画像を生成し、
   前記第２撮像装置は、前記相対移動の前後において前記第２側面をそれぞれ撮像して、複数の前記評価用画像を生成する、外観検査装置。
2. 前記第１撮像装置又は前記第２撮像装置は、前記評価用画像のための撮像を行う前に、前記ワークの前記第１側面又は前記第２側面全体を撮像して前記側面の全体画像を生成し、当該全体画像から判断される前記ワークのサイズに基づいて、前記評価用画像のための前記側面撮像部による撮像回数、又は当該撮像時における前記側面撮像部と前記支持部との相対位置が決定される、請求項１に記載の外観検査装置。
3. 前記第１撮像装置及び前記第２撮像装置は、前記支持面と間隔を隔てて配置され、前記ワークの側面を斜め方向から撮像する、請求項１に記載の外観検査装置。
4. 前記ワークの上面を撮像する上面撮像部をさらに備え、
   前記撮像駆動部は、前記上面撮像部と前記側面撮像部とを一体に、前記支持部に対して相対移動させ、
   前記撮像駆動部は、前記上面撮像部が生成した画像に基づいて前記ワークに対する前記側面撮像部の相対位置又は向きを調整する、請求項１に記載の外観検査装置。
5. 前記評価部は、複数の前記評価用画像を、前記相対移動の方向と対応する方向に所定の画素分ずらして結合した結合画像を生成し、当該結合画像に基づいて前記ワークの異常を評価する、請求項１から４のいずれかに記載の外観検査装置。
6. 前記評価部が複数の前記評価用画像を結合する際の画素のずれ量が、各撮像の間における前記相対移動の量に基づいて決定される、請求項５に記載の外観検査装置。
7. 前記評価部は、前記結合画像における複数の前記評価用画像が重なる領域の画素の輝度値として、各評価用画像の対応する画素の輝度値の平均値を使用する、請求項５に記載の外観検査装置。
   

Images