JPH08292019A - 物品検出装置の校正方法 - Google Patents

Abstract

(57)【要約】 【目的】レーザ光を該レーザ光の波長に感度を有する撮
像手段で撮像しながら、投光手段と撮像手段とのキャリ
ブレーション（校正）を一括して行なうことで、測定点
を少なくし、小工数でのキャリブレーション実行を達成
する。 【構成】スリット形状のレーザ光８を投光する投光手段
６と、上記投光手段６からの投光による物品９の表面９
ａの投光形状１０を検出する撮像手段７とにより物品９
の位置を検出する物品検出装置における上記投光手段６
に対する撮像手段７の撮像特性を校正する物品検出装置
の校正方法であって、スリット光８平面内の３次元座標
系による絶対位置が認識された少なくとも４点Ｐ１〜Ｐ
４以上の撮像手段７における画素値を検出して、上記撮
像手段７の撮像特性を校正することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えば物品（対象
物）の位置を光切断法により検出する物品検出装置にお
ける投光器（投光手段）に対するＣＣＤカメラ（撮像手
段）の撮像特性を校正（キャリブレーション）するよう
な物品検出装置の校正方法に関する。

【０００２】

【従来の技術】従来、例えば台車で搬送されてきた自動
車のボディにおけるフロントガラス接着部に対して、ロ
ボットを用いてフロントガラスを配設および接着するよ
うな場合に、物品としてのボディ（対象物）の位置を正
確に検出する必要がある。従来、このような物品（対象
物）の３次元位置、姿勢を非接触にて計測する装置とし
ては、例えば特開平５−２３１８３６号公報に記載のよ
うな光切断法（レーザ切断法と同意）を利用した物品検
出装置がある。

【０００３】すなわち、図３に示すように、投光器１０
１から対象物１０２に第１のスリット光１０３（スリッ
ト形状のレーザ光）を投影し、かつ、このスリット光１
０３を走査して各画像（対象物１０２表面の投光形状の
各画像）をＣＣＤカメラ１０４を介して画像処理装置１
０５内に取込み、同様に投光器１０６で投光した第２の
スリット光１０７（スリット形状のレーザ光）を走査し
て各画像（対象物１０２表面の投光形状の各画像）を上
述のＣＣＤカメラ１０４と介して画像処理装置１０５内
に取込み、取込まれたスリット光画像の折れ点、端点よ
り対象物１０２の稜線等を求めて、対象物１０２の位
置、姿勢を求める物品検出装置である。なお図３におい
て１０８はディスプレイ装置、１０９はキーボード、１
１０，１１１はコントロールアップである。

【０００４】この物品検出装置は三角測量の原理を応用
したもので、幾何学的にはスリット光平面とＣＣＤカメ
ラの視線との交点の位置を求めることに相当する。この
ような光切断法を用いる場合には、予めスリット光平面
とＣＣＤカメラの視線（直線）の位置（数式の係数）を
ある座標系（ｘ軸，ｙ軸，ｚ軸）に対して求めておく準
備が必要であり、この作業をキャリブレーション（校
正）と称し、物品検出装置の初期設定時や何等かの原因
により物品検出装置取付け位置に位置ずれが発生したよ
うな場合、斯るキャリブレーションを行なう。

【０００５】従来の物品検出装置の校正方法にあって
は、上述のＣＣＤカメラとレーザスリット光とをそれぞ
れ別々にキャリブレーションしていた関係上、多大な校
正工数を要する問題点があった。以下、この問題点につ
いて更に詳述する。

【０００６】いま、校正のための媒介変数をＨ、カメラ
画像の水平方向画素値をｕ、カメラ画像の垂直方向画素
値をｖ（ここにｕ，ｖは総合して２次元の値であるがｕ
とｖとはこれらの要素であるため１次元の値となる）、
カメラパラメータをＣ、カメラの位置、向き、レンズの
焦点距離などのパラメータ全ての要素をＣ11〜Ｃ33、３
次元基準座標系（ｘ軸，ｙ軸，ｚ軸）の値すなわち座標
値を（ｘ，ｙ，ｚ）とするとき、上述の３次元基準座標
系の値（ｘ，ｙ，ｚ）をカメラの画素値（ｕ，ｖ）に変
換するために、ＣＣＤカメラに対しては次に［数１］で
示す行列式によりカメラパラメータＣの要素Ｃ11〜Ｃ33
を求める。

【０００７】

【数１】

【０００８】上述の［数１］で示す行列式はＣＣＤカメ
ラの画像上のどの位置に３次元基準座標値（ｘ，ｙ，
ｚ）が見えるかを示す。ここで、上述の［数１］におけ
るＨｕはマトリクスの第１行の行ベクトルと列ベクトル
の内積として次の［数２］で示すことができ、Ｈｖはマ
トリクスの第２行の行ベクトルと列ベクトルの積として
次の［数３］で示すことができ、Ｈはマトリクスの第３
行の行ベクトルと列ベクトルの積として次の［数４］で
示すことができる。

【０００９】

【数２】

【００１０】

【数３】

【００１１】

【数４】

【００１２】上述のカメラパラメータの要素Ｃ11〜Ｃ33
（未知数）を求めるためには、従来にあっては同一平面
上にない少なくとも６点以上の３次元基準座標系の値
（ｘ，ｙ，ｚ）と、その画素値（ｕ，ｖ）を知る必要が
あった。換言すれば未知数を解くために１１の方程式が
必要となる。ここに、未知数はＣ11〜Ｃ33の合計１１個
であり、１１個以上の方程式が必要となるが、３次元座
標系の値１点につき［数２］〜［数４］より２個の方程
式ができ、またＨに関する式は他式に代入してＨを消去
するので、結局６点以上の３次元計測値が必要となる。
またレーザスリット光に対しては次に［数５］で示す式
によりレーザスリット平面の係数を求める。

【００１３】

【数５】

【００１４】上述の［数５］においてレーザスリット平
面の各係数ＡH ，ＢH ，ＣH がわかると、対象物の３次
元基準座標系に対して投光器がどの方向に向いているか
がわかるが、これらの各係数ＡH ，ＢH ，ＣH すなわち
未知数を求めるためにはレーザスリット光の同一平面上
の３点の３次元基準座標系の値（ｘ，ｙ，ｚ）を知る必
要があった。

【００１５】すなわち従来方法においてはカメラと投光
器とがそれぞれ別々にキャリブレーションされるので、
カメラキャリブレーションのためには同一平面内にない
６点以上（この６点はカメラ側で必要とする数）の代表
点を求める必要があり、投光器キャリブレーションのた
めにはレーザスリット光の同一平面上の３点の代表点を
求める必要があり、合計９点の代表点を求める必要があ
ることから、多大な校正工数を要する問題点があった。

【００１６】

【発明が解決しようとする課題】この発明の請求項１記
載の発明は、レーザ光を該レーザ光の波長に感度を有す
る撮像手段で撮像しながら、投光手段と撮像手段とのキ
ャリブレーション（校正）を一括して行なうことで、測
定点を少なくし、小工数にてキャリブレーションを実行
することができる物品検出装置の校正方法の提供を目的
とする。

【００１７】この発明の請求項２記載の発明は、上記請
求項１記載の発明の目的と併せて、物品として４つの角
部を有する部材を用いることで、これら４つの特徴点が
撮像手段の画像から読取りやすくなる物品検出装置の校
正方法の提供を目的とする。

【００１８】

【課題を解決するための手段】この発明の請求項１記載
の発明は、スリット形状のレーザ光を投光する投光手段
と、上記投光手段からの投光による物品表面の投光形状
を検出する撮像手段とにより物品の位置を検出する物品
検出装置における上記投光手段に対する撮像手段の撮像
特性を校正する物品検出装置の校正方法であって、スリ
ット光平面内の３次元座標系による絶対位置が認識され
た少なくとも４点以上の撮像手段における画素値を検出
して、上記撮像手段の撮像特性を校正する物品検出装置
の校正方法であることを特徴とする。

【００１９】この発明の請求項２記載の発明は、上記請
求項１記載の発明の構成と併せて、上記物品には４つの
角部を有する部材を用いて、該４つの角部の撮像手段に
おける画素値を検出して、上記撮像手段の撮像特性を校
正する物品検出装置の校正方法であることを特徴とす
る。

【００２０】

【発明の作用及び効果】この発明の請求項１記載の発明
によれば、スリット光平面内の３次元座標系による絶対
位置が認識された少なくとも４点以上の撮像手段におけ
る画素値を検出するので、スリット光平面上の４点の座
標値、画素値の組から少なくとも合計８式が得られ、関
係式の数と未知係数の数とが一致し、また上記４点のう
ちの３点で平面が求まり、残り１点で３次元空間が定ま
るので、測定点が少数であっても求めるべき未知係数の
値を得ることができて、キャリブレーション工数の大幅
な削減を図ることができる効果がある。

【００２１】この発明の請求項２記載の発明によれば、
上記請求項１記載の発明の効果と併せて、物品として４
つの角部を有する部材を用いたので、撮像手段で撮像し
た時、この４つの角部の特徴が明瞭となり、４つの角部
に相当する４点を画像から容易に読取ることができる効
果がある。

【００２２】

【実施例】この発明の一実施例を以下図面に基づいて詳
述する。本発明の校正方法の説明に先立って、まず図１
を参照して物品検出装置の構成ついて述べると、Ｘ軸、
Ｙ軸、Ｚ軸の３軸方向に変位可能なロボット１を設け、
このロボット１のロボットアーム２の先端には支持部材
３，４，５を介して投光手段としてのレーザの投光器６
と、撮像手段としてのＣＣＤカメラ７とを取付けてい
る。

【００２３】上述のレーザ投光器６はスリット形状のレ
ーザ光８（以下単にレーザスリット光と略記する）を対
象物としての物品９の表面９ａに投光し、上述のＣＣＤ
カメラ７はレーザスリット光８の波長に感度を有して、
レーザ投光器６からの投光による物品表面９ａの投光形
状１０いわゆる影像を検出する。また上述のレーザ投光
器６はレーザ駆動装置１１で駆動される一方、上述のＣ
ＣＤカメラ７は撮像した画像データを次段の画像処理装
置１２に供給し、ホスト計算機１３は上述のロボット１
およびレーザ駆動装置１１を駆動制御する。

【００２４】ここで、上述の物品９としては４つの角部
Ｐ１，Ｐ２，Ｐ３，Ｐ４を有する部材（例えばマスター
物品）が用いられ、この図１に示す物品検出装置は上述
のレーザ投光器６とＣＣＤカメラ７とにより物品９の位
置を検出する。次に図２に示すフローチャートを参照し
て、レーザ投光器６とＣＣＤカメラ７とを一括してキャ
リブレーションする校正方法について説明する。

【００２５】まず、第１の工程Ｓ１で、レーザ投光器６
およびＣＣＤカメラ７を所定の位置にセットする。次に
第２の工程Ｓ２で、３次元基準座標系（ｘ軸，ｙ軸，ｚ
軸）を定める。次に、第３の工程Ｓ３で、ＣＣＤカメラ
７で撮像されたカメラ画像のレーザスリット光８上（詳
しくは投光形状１０上）の点の３次元座標値（ｘ，ｙ，
ｚ）と画素値（ｕ，ｖ）を４点以上のｎ点計測する。こ
こで、上述の３次元座標値（ｘ，ｙ，ｚ）は図示しない
三次元測定器を用いてその絶対位置を測定する。次に第
４の工程Ｓ４で、本発明の方法によりレーザ投光器６と
ＣＣＤカメラ７とを一括してキャリブレーションする。
この第３および第４の工程Ｓ３，Ｓ４が本発明の特徴で
あるので、この点については後に詳述する。

【００２６】キャリブレーション後においては、次の第
５工程Ｓ５で、例えば自動車のボディにおけるフロント
ガラス接着部のような計測対象物をセットし、次の第６
の工程Ｓ６で、計測対象物をＣＣＤカメラ７で撮像して
対象ポイントの画素値（ｕ，ｖ）（２次元の値）を抽出
し、次の第７の工程Ｓ７で、上述の画素値（ｕ，ｖ）か
らキャリブレーションデータに基づいて対象ポイントの
３次元座標値（ｘ，ｙ，ｚ）を計算する。つぎに上述の
第３の工程Ｓ３および第４の工程Ｓ４に相当する本発明
のキャリブレーション方法について詳細に説明する。

【００２７】なお、以下の説明に用いる各種符号の内容
は次の通りである。

【００２８】Ｈ…校正のための媒介変数 ｕ…カメラ画像の水平方向画素値（１次元の値） ｖ…カメラ画像の垂直方向画素値（１次元の値） Ｃ11〜Ｃ33…カメラパラメータＣの要素で、カメラの位
置、向き、レンズの焦点距離などのパラメータ全てを示
す ｘ，ｙ，ｚ…３次元基準座標系の値（カメラに撮像され
たレーザ平面上の対象の３次元位置、いわゆる３次元座
標値） Ｃ…カメラパラメータ ＡH ，ＢH ，ＣH …レーザスリット平面の係数 ＤH …定数 ｋ11〜ｋ23，ｔ1 〜ｔ2 …レーザ投光器とＣＣＤカメラ
とを一括にしたパラメータ（未知係数） Ｋ…未知係数ベクトル Ａ…基準座標系（ｘ軸、ｙ軸、ｚ軸）に対するキャリブ
レーション代表点の座標値を示すマトリクス（行列） β…カメラの画素値（詳しくはその列ベクトル） ａ，ｂ，ｃ…レーザスリット平面の係数。

【００２９】まず、その原理について述べる。上述の
［数１］中の媒介変数Ｈを消去する目的で、この［数
１］を変形し、次に［数６］［数７］で示す２つの条件
式を求めると共に、上述の［数５］で示した式を次に
［数８］で示すように変形する。

【００３０】

【図６】

【００３１】

【図７】

【００３２】

【図８】

【００３３】上述の［図８］においてはＣH ＝０が表わ
せないが、ＣH ＝０は例えばｘ，ｙ平面に対してレーザ
スリット光８が平行になるような特殊なケースであって
支障がないのであえて考慮する必要はない。次に値ｚを
消去するために［数８］で示す式を［数６］［数７］で
示す２つの条件式に代入し、整理して係数を置き換え
て、次に［数９］［数１０］で示す式を得る。

【００３４】

【数９】

【００３５】

【数１０】

【００３６】上述の［数９］［数１０］で示す式におい
て３次元座標空間におけるレーザスリット上の点の座標
値（ｘ，ｙ，ｚ）と対応するＣＣＤカメラ７の画素値
（ｕ，ｖ）を与えると、［数９］［数１０］の係数の関
係式が２式得られる。上述の［数９］［数１０］の式は
不定形（レーザ平面をあらわす数式が定まらない式のこ
と）であるので、係数の値を決定するには任意の係数１
個を任意の値に定める必要がある。このためｔ3 ＝１と
する。

【００３７】次に、ある点（代表点）の３次元座標値
（ｘ，ｙ，ｚ）（但しｚは計算により消去）を知って、
それがレーザ平面上にあり、かつＣＣＤカメラ７で撮像
した時の画素値（ｕ，ｖ）を対応させると、１点につき
２つの関係式が得られるので、ｎ点求めると２ｎの関係
式が得られ、これを式で表わすと次の［数１１］の如く
なる。

【００３８】

【数１１】

【００３９】上述の［数１１］中において、基準座標系
（ｘ軸，ｙ軸，ｚ軸）に対するキャリブレーション代表
点の座標値を表わすマトリクスを次の［数１２］で示す
ようにＡとする。

【００４０】

【数１２】

【００４１】また上述の［数１１］中においてレーザ投
光器６とＣＣＤカメラ７のパラメータ（すなわち合計８
つの未知数）を一括して表わす列ベクトルを次に［数１
３］で示すようにＫとする。

【００４２】

【数１３】

【００４３】さらに上述の［数１１］中においてＣＣＤ
カメラ７で撮像された画素値（ｕ，ｖ）を表わす列ベク
トルを次に［数１４］で示すようにβとする。

【００４４】

【数１４】

【００４５】次に上述の［数１１］を［数１２］［数１
３］［数１４］を用いて変形させて［数１５］を得る。

【００４６】

【数１５】

【００４７】ここに、Ａは基準座標系に対するキャリブ
レーション代表点の座標値を示すマトリクス（定数）、
Ｋは未知係数ベクトル（変数）、βはＣＣＤカメラ７の
画素値を示す列ベクトル（定数）である。次に上述の未
知数ベクトルＫを求めるために最小２乗法により［数１
５］を次に［数１６］で示すように変形する。

【００４８】

【数１６】

【００４９】このキャリブレーション結果を［数９］
［数１０］で示した式に代入することにより、三次元座
標値（ｘ，ｙ．ｚ）が未知の対象をカメラ画像でとら
え、画素値（ｕ，ｖ）をもとにして、測定対象のｘ，ｙ
座標値を求めることが可能になる。これにより８個の未
知係数ｋ11，ｋ12，ｋ13，ｋ21，ｋ22，ｋ23，ｔ1 ，ｔ
2を含む２つの関係式が１つの代表点の座標値（ｘ，
ｙ，ｚ）およびカメラ画素値（ｕ，ｖ）の対から得られ
ることになる。

【００５０】したがって、レーザ平面上の４点の座標値
（ｘ，ｙ，ｚ）およびカメラ画素値（ｕ，ｖ）の組を決
定すると、４点×２＝８の関係式が得られ上述の未知係
数ｋ11〜ｋ23，ｔ1 ，ｔ2 の数と一致するため、求める
べき未知係数ｋ11〜ｋ23，ｔ1 ，ｔ2 の値を得ることが
できる。これらの未知係数ｋ11〜ｋ23，ｔ1 ，ｔ2 の値
が求められると、［数１１］の全体が明らかとなり、基
準座標系（ｘ軸、ｙ軸、ｚ軸）に対する画素値（ｕ，
ｖ）の対応が明白となる。

【００５１】なお、上記４点の座標値、画素値の組が同
一直線上に並ぶとレーザ平面を決定することが不可とな
るので、座標値、画素値が同一直線上にないことが要請
されるのは勿論、４点以上を求めた場合にはキャリブレ
ーション精度の向上を図ることができる。ｚ座標につい
ては上述の［数８］で示した式のレーザスリット平面の
係数ａ，ｂ，ｃをキャリブレーションすることで求める
ことができる。つまり、ｎ個のレーザ平面上の座標値を
もとに次に［数１７］で示す式を立てる（但しｎ≧
３）。

【００５２】

【数１７】

【００５３】この［数１７］で示す行列式はキャリブレ
ーション値をもとに、どのようにして３次元位置を求め
るかを示し、同式を最小２乗法により解くと、レーザス
リット平面の係数ａ，ｂ，ｃを求めることができ、［数
１１］と［数１７］とを１つの行列式にまとめると次に
［数１８］で示す如くなる。

【００５４】

【数１８】

【００５５】上述の［数１８］はｎ個の計測ポイントの
レーザスリット上の座標値（ｘ，ｙ，ｚ）と、それが画
像上のどの位置にうつるか（画素値ｕ，ｖ）により、未
知係数ｋ11，ｋ12，ｋ13，ｋ21，ｋ22，ｋ23，ｔ1 ，ｔ
2 ，ａ，ｂ，ｃが全てわかることを示している。したが
って、上述の［数１８］の式を解いて未知係数ｋ11〜ｋ
23，ｔ1 ，ｔ2，ａ，ｂ，ｃを求め、［数８］［数９］
［数１０］の式に代入することにより、ＣＣＤカメラ７
に撮像されたレーザ平面上の対象の三次元位置を求める
関係式が完成する。

【００５６】以上要するに本実施例は、レーザ投光器６
とＣＣＤカメラ７とのキャリブレーションを一括して行
なう方法であって、レーザスリット光８平面内の３次元
座標系による絶対位置が認識された少なくとも４点（図
１のＰ１〜Ｐ４参照）以上の撮像手段（ＣＣＤカメラ７
参照）における画素値（ｕ，ｖ）を検出するので、レー
ザスリット光８平面上の４連の座標値（ｘ，ｙ，ｚ）、
画素値（ｕ，ｖ）の組から少なくとも合計８式が得ら
れ、関係式の数と未知係数の数とが一致するので、測定
点が少数（最小４点）であっても求めるべき未知係数の
値を得ることができて、キャリブレーション工数の大幅
な削減を図ることができる効果がある。

【００５７】加えて、物品９として４つの角部Ｐ１〜Ｐ
４を有する部材を用いたので、撮像手段（ＣＣＤカメラ
７参照）で撮像した時、この４つの角部Ｐ１〜Ｐ４の特
徴が明瞭となり、４つの角部Ｐ１〜Ｐ４に相当する４点
をカメラ画像から容易に読取ることができる効果があ
る。

【００５８】この発明の構成と、上述の実施例との対応
において、この発明のスリット形状のレーザ光は、実施
例のレーザスリット光８に対応し、以下同様に、投光手
段は、レーザ投光器６に対応し、撮像手段は、固体撮像
素子カメラとしてのＣＣＤカメラ７に対応するも、この
発明は、上述の実施例の構成のみに限定されるものでは
ない。

【図面の簡単な説明】

【図１】本発明の校正方法に用いる物品検出装置の説明
図。

【図２】本発明の物品検出装置の校正方法を示す工程
図。

【図３】従来の物品検出装置の一例を示す説明図。

【符号の説明】

６…レーザ投光器（投光手段） ７…ＣＣＤカメラ（撮像手段） ８…レーザスリット光 ９…物品 ９ａ…物品表面 １０…投光形状 Ｐ１〜Ｐ４…角部

Claims (2)

【特許請求の範囲】
1. 【請求項１】スリット形状のレーザ光を投光する投光手
   段と、上記投光手段からの投光による物品表面の投光形
   状を検出する撮像手段とにより物品の位置を検出する物
   品検出装置における上記投光手段に対する撮像手段の撮
   像特性を校正する物品検出装置の校正方法であって、ス
   リット光平面内の３次元座標系による絶対位置が認識さ
   れた少なくとも４点以上の撮像手段における画素値を検
   出して、上記撮像手段の撮像特性を校正する物品検出装
   置の校正方法。
2. 【請求項２】上記物品には４つの角部を有する部材を用
   いて、該４つの角部の撮像手段における画素値を検出し
   て、上記撮像手段の撮像特性を校正する請求項１記載の
   物品検出装置の校正方法。