JP3306858B2

JP3306858B2 - 立体形状計測装置

Info

Publication number: JP3306858B2
Application number: JP30858795A
Authority: JP
Inventors: 満宏石原
Original assignee: 株式会社高岳製作所
Priority date: 1995-11-02
Filing date: 1995-11-02
Publication date: 2002-07-24
Anticipated expiration: 2015-11-02
Also published as: JPH09126739A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、共焦点光学系によ
り得られる画像から物体の三次元的な形状を計測する立
体形状計測装置に関する。

【０００２】

【従来の技術】共焦点光学系は物体の三次元的な形状の
計測手段として知られている。共焦点光学系の基本構成
を図６に示す。ピンホール６１を通して射出された照明
光は対物レンズ６２により集光され焦点面６３に収束す
る。この位置に物体表面６４がある場合、物体の反射光
は照明光と全く逆の過程でピンホール６１に収束し、対
物レンズ６２に入射した反射光のほとんどがピンホール
６１を通過する。しかし、物体表面６４が焦点面６３か
ら離れると反射光の収束点も図中波線で示すようにピン
ホール６１から離れることになりピンホール６１を通過
する光量は減少する。この関係（焦点面からのずれとピ
ンホール６１を通過する反射光の強度との関係）を図４
に示す。物体と対物レンズ６２との距離をＺステージな
どを用いて変化させ、ピンホール６１を通過する反射光
の強度を光センサによりサンプリングし、信号処理によ
り最大値を探して、その位置を求めれば（図４より光セ
ンサの出力が最大となる位置は物体表面の位置、つまり
高さを示しているから）物体の高さが計測できることに
なる。順次平面（ＸＹ）方向に物体を移動させて同様の
計測を行うことで立体形状計測が可能となる。

【０００３】ここで示した立体形状計測の原理に忠実に
作られた装置（以下従来装置Ａとする）は計測速度の点
で問題がある。つまり計測単位が点であるために、物体
の表面形状全体の計測の場合膨大な回数の計測を繰り返
さなければならない（一点の計測ごとに載物台のＸＹ方
向への移動と高さ計測のためのＺ方向への移動が必要に
なる）。

【０００４】従来装置Ａの計測速度を大幅に改善したも
のとして特開平４−２６５９１８号公報に開示された装
置（従来装置Ｂとする）がある。この装置の構成を図５
に示す。この装置の特徴は、計測単位が従来装置Ａのよ
うな点ではなく面であることにある。プレート３２には
多数のピンホールが２次元配列されており、光源３１に
よりすべてのピンホールが同時に照明される。テレセン
トリック絞り３６および対物レンズ８を通りＸＹＺ方向
に移動可能な載物台７上の物体５で反射した光は同じ対
物レンズ８とテレセントリック絞り３６とを通り、ハー
フミラー３３を介してＣＣＤセンサ３４上に直接結像す
る。ＣＣＤセンサ３４は微小な（ＣＣＤセンサ３４内
１画素の領域のごく一部を占めるにすぎない大きさの）
点検出型光センサが２次元配列されたものだから、ピン
ホールの位置と点検出型光センサの位置との位置対応が
とれていれば共焦点ピンホールがなくても共焦点光学系
として働く。以下ではこのように２次元領域を同時に並
列に露光（検出）する共焦点撮像系の光学系部分（ＣＣ
Ｄセンサ３４を含まない）を２次元配列型共焦点光学系
と呼ぶことにする。

【０００５】この２次元配列型共焦点光学系は従来装置
Ａにおける共焦点光学系が並列に多数個２次元配列され
たものと同等と考えられるから、同時に大量のデータが
得られ、載物台７のＸＹ方向への移動が大幅に少なくな
る。特に物体が十分小さいならば載物台７のＸＹ方向移
動は必要ない。

【０００６】また、高さ計測のための載物台７のＺ方向
移動もＣＣＤセンサ３４に結像する２次元領域に対して
は１走査のみでよい。この高さ計測をより具体的に述べ
ると、載物台７を微小ステップずつＺ方向に移動させ、
その度得た画像（ＣＣＤセンサ３４による光強度のサン
プリング）からそれまでの濃度の最大値とその最大値を
与える位置を画像の各点（画素）毎に記憶する。Ｚ方向
移動が終了すると記憶された画素毎の情報は、ＣＣＤセ
ンサ３４に結像する２次元領域の物体の立体形状を表わ
している。

【０００７】２次元配列型共焦点光学系を用いる利点
は、従来装置Ａのように機械的なＸＹ走査を行うものに
対してだけでなく、共焦点レーザー走査顕微鏡のように
光学的にＸＹ走査を行うものに対しても見い出せる。そ
れは高さ計測のための載物台７のＺ方向移動が、ステッ
プ送りでなく連続移動でもよい点である（連続移動はス
テップ移動に比べてはるかに高速にＺ方向走査ができ
る）。即ち共焦点レーザー走査顕微鏡で連続移動を行え
ば、得られる画像内の一点一点は走査により時間的にず
れがあるから、画像内の一点一点は微妙に異なるＺ位置
のデータを示すことになり誤差が発生してしまうのに対
し、全画素が同時に露光されるという２次元配列型共焦
点光学系を用いる場合にはＣＣＤセンサ３４の電子シャ
ッター機能が利用できることになり同一タイミングで２
次元画像が得られる。

【０００８】

【発明が解決しようとする課題】このように２次元配列
型共焦点光学系を用いた従来装置Ｂは従来装置Ａに対し
大幅な高速化を可能とした装置である。しかしながら、
この装置においてもまだ十分な高速化が達成されたもの
ではなく、より、高速度用途に適用できない問題があ
る。その高速度化を阻害しているのは次の点である。す
なわち、ＣＣＤセンサ３４の露光は全画素（２次元領
域）同時に行われるのであるが、ＣＣＤセンサ３４の信
号読み出しはシリアルであるから、全画素に対する最大
値検出のための信号処理に必要な時間はまったく短縮さ
れない点である。画像入力は、必要となる分解能ずつ行
われその度に最大値検出のための処理を実行する必要が
あるためＺ方向の計測範囲全体では膨大な処理をしなけ
ればならない。例えば、分解能１μｍで計測範囲２００
μｍを処理するためには１μｍずつ異なったＺ位置で２
００回の画像入力が必要で、その度に最大値検出演算を
ＣＣＤセンサ３４の画素の数（例えば５００×５００）
だけ実行する必要がある。

【０００９】このように従来装置Ｂであっても、計測速
度にはまだ課題があり、本発明では共焦点撮像系を用い
た高さ計測について、さらに高速化した装置を提供する
ことを目的とする。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
めに本発明では、２次元配列型共焦点光学系と２次元配
列型共焦点光学系により得られる２次元光学像を光電変
換する２次元光電センサとより構成された共焦点撮像系
と、前記２次元配列型共焦点光学系の焦点位置を変える
焦点位置変化手段と、前記共焦点撮像系と前記焦点位置
変化手段とにより得られた焦点位置の異なる複数の画像
を取り込み、焦点位置の変化に対応して変化する画像各
点の濃度値から、取り込まれた画像の焦点位置間隔を超
える精度で、濃度値の最大値を与える焦点位置を内挿処
理を用いて画像各点毎に推定し、推定した焦点位置をそ
の点の高さとする処理を実行する画像処理装置とから構
成する。かかる構成により必要とする分解能より粗い間
隔で画像入力を行えばよいため焦点位置変化手段による
Ｚ方向移動の回数と処理すべき画像の枚数が大幅に削減
できる。例えば、先の例と同じく分解能１μｍで計測範
囲２００μｍを処理する場合、内挿処理により画像の焦
点位置間隔（光量サンプリング間隔）の１／１０の分解
能が得られとすれば、Ｚ方向移動の回数、処理する画像
の枚数、共に１／１０でよい。このように２次元光電セ
ンサからの画像の取り込み枚数を大幅に減少させうるの
で高速計測が可能となる。

【００１１】また、焦点位置変化手段は、互いに厚さの
異なる複数の平行平板形の透明体か又は互いに屈折率の
異なる複数の平行平板形の透明体が、前記２次元配列型
共焦点光学系の光軸と交差するように回転軸から等距離
に配列されている回転体と、該回転体を連続回転させる
駆動手段とを有し、前記２次元光電センサが、前記の平
行平板形の透明体のそれぞれが前記２次元配列型共焦点
光学系の光軸と交差する時点において画像を取り込む手
段を有するように構成することにより、Ｚテーブルや載
物台を光軸方向に移動させることなく焦点位置の変化が
可能になり、かつ回転体は連続回転運動であるため高速
な焦点位置変化が達成できる。

【００１２】以下、図面を参照して本発明の実施の形態
の１例を説明する。本発明は、２次元配列型共焦点光学
系による三次元計測における画像処理方法のある特定の
高速化技術（後述）と、高速な焦点位置変化手段による
画像入力のある特定の高速化技術（後述）の２つの高速
化技術を結びつけることで共焦点三次元計測の大幅な高
速化を達成するものであるが、説明をわかりやすくする
ためにはじめに高速な焦点位置変化手段がない構成の装
置を用いて画像処理方法の高速化技術について説明す
る。高速な焦点位置変化手段がなく、焦点位置変化手段
として一般的な光軸方法に移動可能な載物台７を用いた
例を図１に示す。共焦点撮像系１は２次元配列型共焦点
光学系２と２次元光電センサ３とからなり、その出力映
像信号は画像処理装置４に入力される。尚、図１の例で
は２次元配列型共焦点光学系２の構成は従来技術Ｂとし
て説明したものと同じであるが、本発明に使用する２次
元配列型共焦点光学系２の構成としてはこれに限られる
ものではなく、基本的に、２次元光電センサ上の１点１
点（画素）が共焦点光学系により同時に露光される構成
であればよい。例えば、図５において、プレート３２と
ハーフミラー３３を介して光学的に同等な位置（図５の
ＣＣＤセンサ３４がある位置）に、プレート３２と同様
の２次元配列ピンホールを有するプレートを設け、ピン
ホールを通過した光を結像レンズによりＣＣＤセンサ３
４上に結像させたものでもよいし、または、照明光と反
射光の光路を分けるハーフミラー３３をプレート３２の
上側に配置し、プレート３２に照明用のピンホールと受
光用のピンホールを兼ねさせるような構造のものでもよ
い。また、２次元光電センサ３についても必ずしもＣＣ
Ｄセンサである必要はなく、ＣＩＤやＭＯＳタイプの個
体撮像素子でもよいし、ビジコンなどの撮像管でもよ
い。

【００１３】物体５はＸＹＺ方向に移動可能な載物台７
の上に置かれており、載物台７はコントローラ６を介し
て画像処理装置４により制御されるようになっている。

【００１４】次に本発明の第一の技術である画像処理方
法の高速化技術について具体的に説明する。共焦点撮像
系１により得られる画像において、その一点一点の濃度
値は、対応する物点（物体５上の点）の合焦状態を示
す。つまり載物台７により光軸方向に物体５を移動させ
たとき、画像各点（画素）の濃度値は、図４に示すよう
な山形となり、山のピーク位置が合焦点位置を示してい
る。合焦点位置が物点の高さを示しているから、結局物
体５の高さは、画素毎に濃度値の最大値を与える位置を
求めてやればよい。この濃度値の最大値を与える位置
（以下最大位置と呼ぶ）の求め方が本発明の固有の部分
である。従来装置Ｂにおいては載物台７をＺ方向に移動
させ、計測分解能に等しい間隔毎に画像を得て、その度
にそれまでの最大値とその最大値を与える位置を画素毎
に記憶するようにして最大位置を求めているが、本発明
は載物台７をＺ方向に移動（２次元配列型共焦点光学系
２の特徴を生かして高速連続移動）させ、計測分解能よ
り広い間隔で画像を取得し、各画素毎に最大値を与える
位置は画像間の各画素の濃度値から内挿処理を用いて推
定するようにするものである。

【００１５】具体例を示す。２次元配列型共焦点光学系
２における光強度と合焦点位置からのずれの関係は、照
明光の波数をｋ、２次元配列型共焦点光学系２内の対物
レンズ８の開口数をｓｉｎθ、焦点位置からのずれをｚ
として、光強度＝（｜ｓｉｎｋｚ（１−ｃｏｓθ）｜／
｜ｋｚ（１−ｃｏｓθ）｜）²により与えられることが
知られている（論文「Ｄｅｐｔｈｒｅｓｐｏｎｓｅ
ｏｆｃｏｎｆｏｃａｌｏｐｔｉｃａｌｍｉｃｒｏ
ｓｃｏｐｅｓ」、ＯＰＴＩＣＳＬＥＴＴＥＲＳ、Ｖｏ
ｌ．１１、Ｎｏ．１２、１９８６年、Ｔ．Ｒ．Ｃｏｒｌ
ｅ他参照）。照明光の波長が５５０ｎｍ、対物レンズ８
の開口数が０．１の場合の例を図４に示す。山の幅（ｃ
ｅｎｔｅｒｌｏｂｅの幅）は約１００μｍ程度あるか
ら、サンプリング点が山のなかに少なくとも２つは入る
ように載物台７の移動時の画像入力間隔を５０μｍとし
て高さ計測を行う。計測範囲は５００μｍとする。

【００１６】載物台７をＺ方向に移動して５０μｍ毎に
１１枚の焦点位置の異なる画像を得る。それぞれの画像
の物体５上の同一位置を表す点の濃度を焦点位置座標
（Ｚ座標）上に並べると、これは図４に示した連続波形
をサンプリングしたものとなる。サンプリングの一例を
図４に点線で示している。Ｚ座標と光強度（画像では濃
度）の関係は前記の光強度モデルで正確に表せるため、
離散的な情報から山のピーク位置（以下ピーク位置とす
る）つまり合焦位置を精度よく、サンプリング間隔を超
える精度で推定できる。例えば山の形状によく似た関数
であるガウス関数を用いてピーク位置を解析的に求め
る。即ち、サンプリング値の最大値ｖ１とその前後のど
ちらか１点ｖ２の計２点の値からピーク位置ｐを次のよ
うに算出する。ｐ＝ｐ１＋（１＋ａ２（ｖ２−ｖ１））
／２。ここにｐ１はｖ１のＺ座標であり、ａは山の広が
りを示すパラメーターで照明の波長と対物レンズ８の開
口数で決まる定数である。ピーク位置の演算方法として
はこのほか３点以上の点を用いてもよい（ただしこの場
合は山のなかに少なくとも３つサンプリング点が入るよ
うにサンプリング間隔を狭く変更する必要がある）。ま
た、ガウス関数によるものでなく、２次関数などの他の
似た形状の関数を用いても可能である。もちろんモデル
式を直接用いることもできる。他にもモーメントを用い
た演算などが可能である。これらの演算処理のより高速
化のために、演算結果を事前にＬＵＴに格納しておき、
その結果を参照するようにすることもできる。上記の
演算を画像中の全ての点に対して実行することで物体５
の立体形状を求めることができる。

【００１７】この演算手法により、サンプリング間隔の
１／２０程度の分解能は十分得られると考えられ、この
例では２．５μｍの分解能となる。従来装置Ｂで同等の
計測をするためには、２．５μｍずつ焦点位置の異なる
２０１枚の画像を処理する必要があるから、それに比較
して本発明では大幅な高速化が達成できる。

【００１８】次に、本発明の第２の技術である高速な焦
点位置変化手段について説明する。図２に本発明の完全
な形の装置構成図を示す。この装置は図１の装置に、焦
点位置変化手段９を加えたものである。図１の装置が載
物台７により焦点位置を変化させていたのに対し、本発
明の焦点位置変化手段９では互いに厚さが異なる平行平
板透明体を回転体５１の同一周上に並べ、対物レンズ８
の光路中に挿入し連続回転させることで非常に高速に焦
点位置を変えることを可能にしたものである。以下に具
体的に述べる。

【００１９】本発明の第一の技術である画像処理手法の
高速化の説明で述べたように、本発明においては高さ方
向（Ｚ方向）に対して複数枚の画像を比較的広い間隔で
サンプリングする。この場合、載物台７による移動のよ
うに連続的にＺ座標の位置が変化するのではなくサンプ
リング間隔で段階的に精度良く変化するのが望ましい。
（ここに精度とは繰り返し変化させた場合に常に同じ位
置に変化する度合、いわゆる繰り返し精度のことであっ
て、サンプリング間隔そのものの精度ではない。例えば
５０μｍずつ変化させるところをある区間は４８μ
ｍ、またある区間は５２μｍとなるのは問題ではな
く、繰り返し常に同じ位置に来ることが重要である。）
また画像一枚毎に（２次元光電センサからの出力映像信
号がＮＴＳＣ規格のものであれば１／３０秒毎に）異な
る焦点位置の画像が得られれば理想的で、それが最高速
である。これが達成できれば焦点位置変化に必要な時間
は実質的に０（つまり焦点位置を変化しないで複数の画
像を取り込む最短時間と全く変わらない）となり究極的
な高速化となる。この究極的な高速化を達成し、かつ上
記精度をより高くすることが可能な技術が本発明の焦点
位置変化手段９である。焦点位置変化手段９の基本構成
を図３にて説明する。

【００２０】回転体５１の周上に互いに厚さが異なる複
数の平行平板ガラス５２を配置し、モーター５３により
回転させるようにしたものである。この構成のものを２
次元配列型共焦点光学系の対物レンズの光軸に回転体５
１上の平行平板ガラス５２が次々と挿入されるように配
置する。挿入された平行平板ガラス５２の厚みに応じて
２次元配列型共焦点光学系の対物レンズと物体との光路
長が変化するので、それはすなわち焦点位置が変化する
ことになる。平行平板ガラス５２の厚さは、焦点位置が
サンプリング間隔分変化するような厚さずつ厚みが異な
るようにそれぞれ決定する。このようにして上記の課題
が達成される。すなわち光軸と交差する平行平板ガラス
５２の変化は段階的な焦点位置変化をもたらし、ガラス
の厚さは（温度による膨張、収縮を考えなければ）一定
であるから繰り返し誤差は発生せず、共焦点撮像系の撮
像タイミングを考慮して回転体５１の連続回転速度を決
めることによって共焦点撮像系の撮像毎に焦点位置の異
なる画像を得ることができるようになる。

【００２１】また２次元配列型共焦点光学系の全画素同
時露光の特徴により平行平板ガラス５２の大きさを対物
レンズの結像光束の通過する範囲（図３に斜線で表示）
より回転方向には小さくすることができるため回転板５
１全体が小さくてすむ。

【００２２】平行平板ガラス５２は平行平板な透明体で
あればよく、例えば光学樹脂や光学結晶、またこれらに
封入された液体や液晶でもよい。また、互いに屈折率の
異なる平行平板透明体を用いてもよい。

【００２３】

【発明の効果】以上のように構成することにより、共焦
点光学系を用いた高速な立体形状測定が可能となる。こ
の装置によりＬＳＩの実装時の検査、例えばＴＡＢのイ
ンナーリードのハガレやフォーミング異常の検査、ボン
ディングワイヤのループ高さ検査、バンプ形状検査など
のインライン検査が可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示した図である。

【図２】本発明の第２の実施の形態を示した図である。

【図３】本発明の焦点位置変化の手段の一例を示した図
である。

【図４】焦点位置からのずれと光強度との関係を示した
図である。

【図５】従来技術を説明するための図である。

【図６】共焦点光学系の基本構成を示した図である。

【符号の説明】

１共焦点撮像系２２次元配列型共焦点光学系３２次元光電センサ４画像処理装置５物体６コントローラ７載物台８対物レンズ９焦点位置変化手段

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01B 11/00 - 11/30 102 G06T 1/00 - 9/40

Claims

(57)【特許請求の範囲】

【請求項１】物体の立体形状を光学的に計測する装置
において、２次元配列型共焦点光学系と２次元配列型共
焦点光学系により得られる２次元光学像を光電変換する
２次元光電センサとより構成された共焦点撮像系と、前
記２次元配列型共焦点光学系の焦点位置を変える焦点位
置変化手段と、前記共焦点撮像系と前記焦点位置変化手
段とにより得られた焦点位置の異なる複数の画像を取り
込み、焦点位置の変化に対応して変化する画像各点の濃
度値から、取り込まれた画像の焦点位置間隔を超える精
度で、濃度値の最大値を与える焦点位置を内挿処理を用
いて画像各点毎に推定し、推定した焦点位置をその点の
高さとする処理を実行する画像処理装置とから構成さ
れ、前記焦点位置変化手段は、互いに厚さが異なるか又は互
いに屈折率が異なる複数の平行平板形の透明体が、前記
２次元配列型共焦点光学系の光軸と交差するように回転
軸から等距離に配列されている回転体と、該回転体を連
続回転させる駆動手段とを有し、前記２次元光電センサの毎回の撮像タイミング毎に、前
記平行平板形の透明体のそれぞれが前記２次元配列型共
焦点光学系の光軸と交差するように前記駆動手段により
前記回転体を連続回転させることで、該２次元光電セン
サの撮像画像１枚毎に焦点位置の異なる画像を得るよう
にしたことを特徴とする立体形状計測装置。