JP3804916B2

JP3804916B2 - 撮像システムとその画像データ制御に用いられるプログラムおよびその撮像システムにおける撮像画像の歪み補正方法とその手順を記憶させた記憶媒体

Info

Publication number: JP3804916B2
Application number: JP2001034691A
Authority: JP
Inventors: 節信若本; 清熊田; 徹繁田; 健一川上; 孝一中野
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2001-02-09
Filing date: 2001-02-09
Publication date: 2006-08-02
Anticipated expiration: 2021-02-09
Also published as: TW542936B; DE60201849T2; US7058235B2; EP1233345B1; KR100481399B1; KR20020066219A; US20020141636A1; EP1233345A1; DE60201849D1; JP2002236918A

Description

【０００１】
【発明の属する技術分野】
本発明は、周囲３６０°の視野を１度に撮影可能で、かつ、得られた画像から空間の幾何学的配置および物体の形状等を正確に把握することができ、店内や銀行等の安全監視のためのセキュリティ分野、車の衝突防止や車内監視等の車載分野、工業用ロボットの視覚部としての計測機器分野等、広い分野に好適に用いることができる、撮像システムとその画像データ制御に用いられるソフトウェアおよびその撮像システムにおける撮像画像の歪み補正方法とその手順を記憶させた記憶媒体に関する。
【０００２】
【従来の技術】
従来、双曲面ミラーを用いて周囲３６０°の視野を撮影可能とした撮像システムにおいて、中心射影像を得るためには、２葉双曲面のうちの一方の双曲面形状を有する反射ミラー（双曲面ミラー）を用い、それと対向する他方の双曲面形状の焦点位置にカメラのレンズ中心を配置していた（例えば特開平６−２９５３３３号公報）。
【０００３】
図２に示すように、２葉双曲面の一方（図では上側）の形状を有する双曲面ミラーを用い、他方（図では下側）の焦点Ｏ２の位置にレンズ中心を配置して撮影した入力画像（撮像画像）は中心射影撮像となり、この中心射影像と被写体との位置関係は下記式（２）および下記式（３）で示すことができる。
【０００４】
【数２】

このような双曲面ミラーを用いた撮像システムの利点の一つは、中心射影像を容易に周囲の空間位置に画像変換することができるということである。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の双曲面ミラーを用いた撮像システムにおいては、レンズ位置が中心射影像が得られる一点に限定されてしまうため、レンズを設置する場合に最適な位置に位置合わせすることが非常に困難である。
【０００６】
さらに、このレンズ位置では、双曲面ミラーの内部に形成される虚像（双曲面ミラーに映る被写体）までの最小距離（双曲面ミラー頭頂部とレンズとの間の距離）が短く、双曲面ミラーに映る像を撮影するためにピントを双曲面ミラーの全面に合わせるのは、レンズの性能上、容易ではない。その結果、従来の双曲面ミラーを用いた撮像システムで撮影された中心射影像は、双曲面ミラーの全面にピントを合わせることができず、一部分の範囲のみでピントが合うことになる。この範囲は、例えばドーナツ状に現れる。
【０００７】
本発明は、このような従来技術の課題を解決するべくなされたものであり、レンズ位置が中心射影像が得られる一点に限定されることなく、双曲面ミラーの全面にピントが合った中心射影像が得られる、撮像システムとその画像データ制御に用いられるソフトウェアおよびその撮像システムにおける撮像画像の歪み補正方法とその手順を記憶させた記憶媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の撮像システムは、２葉双曲面のうちの一方の形状を有する反射ミラーと、
該反射ミラーの回転軸上であって、該反射ミラーと対向する任意の位置に中心が配置されたレンズによって集光された光を受光する撮像素子を有する撮像部とを備えた撮像システムにおいて、所定の検査図を撮像して得られる撮像データを透視変換画像データに座標変換し、得られた透視変換画像に歪みがあった場合に、座標変換時に用いるレンズ位置と受光面との距離に関する値を増減して撮像画像の歪みを補正して中心射影像に変換する手段を有し、そのことにより上記目的が達成される。
【０００９】
下記式によって撮像データを透視変換画像データに座標変換することができる。
【００１０】
【数３】

（上記式において、（Ｘ，Ｙ，Ｚ）は被写体の位置、ａ、ｂおよびｃはミラー定数、（ｘ、ｙ）は撮像画像の座標、Ｆはレンズ位置と受光面との距離を示す）
前記検査図として桝目状検査図を用いることができる。
【００１１】
前記撮像画像の歪みを補正する手段は、撮像データを透視変換画像データに変換する画像処理手段と、得られた透視変換画像に歪みがあった場合にレンズと受光面との距離に関する値を増減する指示を入力する操作パネルとを有していてもよい。
【００１２】
前記撮像画像の歪みを補正手段は、撮像データを透視変換画像データ変換する画像処理手段と、得られた透視変換画像と撮像画像が中心射影像である場合に得られる期待値画像とを比較して透視変換画像に歪みがあるか否かを認識する画像認識手段とを有していてもよい。
【００１３】
前記操作パネルまたは前記画像認識手段からの指示信号によって、前記画像処理手段が座標変換処理を行うものであってもよい、
前記画像処理手段は、演算処理動作を制御するＣＰＵ、撮像データを記憶する入力バッファメモリ、演算処理に用いられるＬＵＴ、演算処理回路および透視変換画像データを記憶する出力バッファメモリがバスラインに接続されているものであってもよい。
【００１４】
本発明のプログラムは、コンピュータと、２葉双曲面のうちの一方の形状を有する反射ミラーと、該反射ミラーの回転軸上であって、かつ、該反射ミラーと対向する任意の位置に中心が配置されたレンズにて集光された光を受光する撮像素子を有する撮像部とを備えた撮像システムの画像データ制御に用いられるプログラムであって、該コンピュータを所定の検査図を撮像して得られる撮像データを透視変換画像データに座標変換する座標変換手段と、得られた透視変換画像に歪みがあった場合に、歪みの種類に応じて座標変換時に用いるレンズ位置と受光面との距離に関する値を増減して座標変換する歪み補正手段として機能させ、そのことにより上記目的が達成される。
【００１５】
本発明の撮像システムにおける撮像画像の歪み補正方法は、２葉双曲面のうちの一方の形状を有する反射ミラーと、該反射ミラーの回転軸上であって、該反射ミラーと対向する任意の位置に中心が配置されたレンズによって集光された光を受光する撮像素子を有する撮像部とを備えた撮像システムにおいて、撮像画像の歪みを補正して中心射影像に変換するための方法であって、所定の検査図を撮像し、得られた撮像データを画像処理手段の入力バッファメモリに記憶させる第１のステップと、操作パネルまたは画像認識手段からの指示信号に基づいて、ＣＰＵからの命令により該入力バッファメモリに記憶された撮像データを演算処理回路により透視変換画像データに座標変換し、得られた透視変換画像データを画像処理手段の出力バッファメモリに記憶させる第２のステップと、該操作パネルまたは該画像認識手段からの信号に基づいて、ＣＰＵからの命令により該出力バッファメモリに記憶された透視変換画像データを、モニターに出力して検査者が画像を確認するか、または画像認識手段により撮像画像が中心射影像である場合に得られる期待値画像データと比較する第３のステップを行い、該第３のステップにおいて所定の検査図を撮像して得られる透視変換画像に歪みがあると判断された場合に、検査者が該操作パネルからレンズと受光面との距離に関する値を増減する指示を入力するか、または該画像認識手段からレンズと受光面との距離に関する値を増減する指示信号を出力することによりレンズ位置と受光面の距離に関する値を変更して、該第１のステップから該第３のステップを繰り返し、そのことにより上記目的が達成される。
【００１６】
本発明の撮像システムは、本発明の撮像システムにおける撮像画像の歪み補正方法により、所定の検査図を撮像して得られる透視変換画像に歪みが無いと判断された場合のレンズ位置と受光面の距離に関する値を用いて撮像データを透視変換画像データに変換し、そのことにより上記目的が達成される。
【００１７】
本発明の記憶媒体は、本発明の撮像システムにおける撮像画像の歪み補正方法の手順を記憶させてあり、そのことにより上記目的が達成される。
【００１８】
以下に、本発明の作用について説明する。
【００１９】
双曲面ミラーを用いた撮像システムにおいて、中心射影を満足するレンズ位置（他方の焦点位置）では、双曲面ミラーに映る被写体までの最小距離が短く、双曲面ミラーに映る像の全景を撮影するためには、レンズの性能上、全面にピントを合わせることは困難である。全面にピントを合わせるためには、広角度の特殊加工した結像レンズを用いることが考えられるが、レンズだけでは合わせきれず、絞りを極限まで絞って合わせているのが現実である。しかし、絞りを絞りすぎると、得られる入力画像の輝度は暗く、撮影する条件が限定されて実用に乏しい。
【００２０】
そこで、本発明にあっては、カメラ（撮像部）のレンズ位置を、双曲面ミラーの他方の焦点位置からずらせて双曲面ミラーから遠ざけることにより、双曲面ミラーに映る虚像の全てをレンズの焦点深度の範囲内に入れて、双曲面ミラーの全面にピントが合うよにすることが可能となる。さらに、レンズ位置が双曲面ミラーの他方の焦点位置からずれて、幾何光学上の中心射影像を満足する条件の位置からずれても、撮像画像（入力画像）の歪みを補正し、中心射影像に変換することが可能である。
【００２１】
さらに、レンズが幾何学的中心射影を満足するレンズ位置にある場合でも、レンズの歪曲収差により見かけ上の中心射影を満足する位置がずれる場合がある。このような場合に、従来では中心射影を満足させるためにレンズ位置を機械的に調整していたため、調整が面倒で時間がかかっていた。
【００２２】
これに対して、本発明にあっては、はじめに所定のレンズ位置に合わせる。そして、桝目状検査図等、所定の検査図を撮像し、撮像データを透視変換画像データに座標変換して、得られた透視変換画像に歪みがあった場合に、座標変換時に用いるレンズ位置と受光面との距離に関する値（Ｆ）を増減させる。従って、画像処理を行う際に、ソフトウェアにより簡単に中心射影条件を満足させて、光学調整の工程を短縮化することが可能である。さらに、中心射影像の調整精度も向上させることが可能である。
【００２３】
上記撮像画像の歪みを補正する手段として、撮像データを透視変換画像データに変換する画像処理手段と、得られた透視変換画像に歪みがあった場合に補正すべき歪み量を入力する操作パネルを有するものを用いることにより、例えば予め操作パネルのキーに対応してＦ値の一定の増減量を設定しておき、後述する実施形態において図９に示すように、ステップ４において樽型歪み（歪みが＋方向）であるか否かを判断し、樽型歪み（歪みが＋方向）であればステップ６においてＦ値の減少キーを操作する。その制御信号が画像処理手段に伝えられてステップ２に戻り、変更されたＦ値を元に上記式（２）および上記式（３）により再度演算処理が行われ、透視変換画像が再表示される。そして、ステップ８において再度歪みの有無を確認し、歪みがあれば再びステップ４に戻るという操作を繰り返す。一方、ステップ４において樽型歪みではない（糸巻き歪み（歪みが−方向））と判断された場合には、ステップ５においてＦ値の増加キーを操作する。その制御信号が画像処理手段に伝えられてステップ２に戻り、変更されたＦ値を元に上記式（２）および上記式（３）により再度演算処理が行われ、透視変換画像が再表示される。そして、ステップ８において再度歪みの有無を確認し、歪みがあれば再びステップ４に戻るという操作を繰り返す。以上の操作を画像に歪みが無くなるまで繰り返し、歪みが無くなればその操作を終了する。ここで、操作パネルからＦ値を増減する指示をキー入力するのではなく、歪み量から推定されるＦ値の変更値を直接操作パネルから入力することも可能である。
【００２４】
または、上記撮像画像の歪みを補正する手段として、撮像データを透視変換画像データ変換する画像処理手段と、得られた透視変換画像と撮像画像が中心射影像である場合に得られる期待値画像とを比較して、透視変換画像に歪みがあるか否かを認識する画像認識手段とを有するものを用いることにより、上記Ｆ値の補正ステップにおいて、人が判断していた歪みの有無および歪みの向き（樽型歪みであるか否か）の判定を、画像認識手段により自動判定することも可能である。
【００２５】
上記操作パネルまたは上記画像認識手段を上記画像処理手段に直接接続し、操作パネルまたは画像認識手段からの指示信号によって画像処理手段に座標変換処理を行わせることにより、自動的にＦ値を補正することも可能である。すなわち、画像認識手段により歪みの有無および歪み量を判定し、対応する補正値信号を自動的に画像処理手段に送って補正値に基づいて再度演算処理を行わせ、その補正値に対応する画像を表示し、その画像について再度画像認識手段により歪みの有無および歪み量を判定するという操作を自動的に繰り返して歪みが一定値以下になるまで繰り返すことができる。
【００２６】
上記画像処理手段として、演算処理動作を制御するＣＰＵ、撮像データを記憶する入力バッファメモリ、演算処理に用いられるＬＵＴ、演算処理回路および透視変換画像データを記憶する出力バッファメモリがバスラインに接続されているものを用いることにより、上記画像処理の速度を、ソフトウェアによって処理する場合に比べて大幅に改善することが可能であり、画質を落とさずに（ＶＢＡレベルで）動画対応が可能となる。
【００２７】
本発明のプログラムは、コンピュータを所定の検査図を撮像して得られる撮像データを透視変換画像データに座標変換する座標変換手段と、得られた透視変換画像に歪みがあった場合に、歪みの種類に応じて座標変換時に用いるレンズ位置と受光面との距離に関する値を増減して座標変換する歪み補正手段として機能させることができ、補正処理を自動化することが可能である。
【００２８】
本発明の撮像システムにおいて、撮像画像の歪みを補正する際には、桝目状検査図等の所定の検査図を撮像して撮像データを画像処理手段の入力バッファメモリに記憶させ、操作パネルまたは画像認識手段からの操作信号に基づいてＣＰＵからの命令により撮像データを演算処理回路で座標変換して透視変換画像データを得る。この透視変換画像データを画像処理手段の出力バッファメモリに記憶させ、操作パネルまたは画像認識手段からの操作信号に基づいてＣＰＵからの命令により透視変換画像データをモニターに出力する。このモニターに出力された桝目状検査図の画像を操作者が確認して、歪みが確認された場合には、操作パネルに入力するレンズ位置と受光面の距離に関する値（Ｆ値）を増減し、以上の手順を繰り返す。これにより、撮像画像の歪みを補正して中心射影像に変換することが可能となる。
【００２９】
このような撮像画像の歪み補正の手順を記憶させた記憶媒体を用いることにより、補正処理を自動化することが可能である。
【００３０】
【発明の実施の形態】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００３１】
図１は本発明の一実施形態である撮像システムの基本構成とその幾何学的位置関係を説明するための図である。この撮像システムは、双曲面ミラー▲１▼、撮像部▲２▼（結像レンズ▲３▼と受光素子▲４▼）、画像処理手段▲５▼およびＴＶモニター▲６▼を備えている。
【００３２】
双曲面ミラー▲１▼は、２葉双曲面の一方の形状を有する反射ミラーである。２葉双曲面関数の一般式は、下記式（１）のように表される。
【００３３】
【数４】

この式をグラフ化した２葉双曲面を図２に示す。この２葉双曲面は回転軸がＺ軸であり、Ｚ軸上の正方向と負方向に焦点と称される特殊な点Ｏ１、Ｏ２を有する。これらの焦点Ｏ１、Ｏ２の位置は、各々Ｘ，Ｙ，Ｚの座標系でＯ１＝（０、０、ｃ）、Ｏ２＝（０、０、−ｃ）で表される。なお、ｃ＝√（ａ²＋ｂ²）であり、ａおよびｂは双曲面の形状を定義する定数である。以下では、ａ、ｂ、ｃをミラー定数と称する。
【００３４】
ここで、双曲面の外側にある任意の点Ｐ（Ｘ，Ｙ，Ｚ）と焦点Ｏ１を結ぶ線分ＰＯ１と、上記式（１）を満たす双曲面との交点をＭ１とすると、Ｍ１における上記双曲面の接平面Ｈ１に対する線分ＰＯ１の入射角（η）と同じ反射角度（η）で出て行く線分Ｍ１Ｏ２は、常に他方の焦点Ｏ２を通過する。
【００３５】
図３に、レンズ位置が中心射影条件を満足する撮像システムの幾何学的位置関係を示す。この場合に最も重要なことは、双曲面ミラーの焦点Ｏ１と対になる他方の焦点Ｏ２の位置に結像レンズの中心を配置するということである。このとき、上記レンズ中心からＦの距離に受光面を設置している受光素子により得られる入力画像（撮像画像）は中心射影像と称され、入力画像の座標ｐ（ｘ、ｙ）と被写体の位置Ｐ（Ｘ，Ｙ，Ｚ）との関係は下記式（２）および下記式（３）で示される。
【００３６】
【数５】

なお、上記式（２）および上記式（３）は、図２および図３に示す位置関係から、下記式（４）〜（６）を用いて求められる。
【００３７】
【数６】

ここで、中心射影条件を満足する入力画像とは、上記式（４）〜（６）を同時に満足する画像である。この条件を満足する入力画像からは、上記式（４）〜（６）を用いることにより、焦点Ｏ１から見た透視画像への変換を容易に行うことができる。この変換を透視変換と称する。この変換により得られる像（透視画像）は、我々が普通に見ている像であり、３次元空間が２次元空間に射影される。なお、Ｆはレンズ中心から受光素子の撮像面までの垂直距離であり、αはミラーの焦点を含む水平面からの角度、βは撮像機構中心からミラー上の入射点を見たときの天頂角である。また、上記入力画像は、双曲面ミラーに映された虚像をレンズで撮像したものである。
【００３８】
図４は、レンズ位置が中心射影条件を満足する撮像システムの幾何学的位置関係を示す断面図である。また、図５は、レンズ位置が中心射影条件を満足しない撮像システムの幾何学的位置関係を示す断面図である。図４と図５の相違点は、図５では結像レンズが本来中心射影を満足する位置Ｏ２からずれてＯ３の位置にあることである。このずれは、双曲面ミラー側にずれていても、その反対側にずれていてもよい。以下の説明では、レンズが中心射影を満足するときのレンズ中心位置から双曲面ミラーと反対側に距離Ｌだけずれた場合について考える。なお、ここではレンズが中心射影を満足するときのレンズ中心位置からずれただけであり、空間にある被写体の位置Ｐ（Ｘ，Ｙ，Ｚ）は変わらないものとする。
【００３９】
次に、上記図４および図５において、双曲面ミラーに映る像がどのように受光面に映るかについて簡単に説明するために、図６を参照しながら説明する。図６では双曲面ミラーに映る虚像を物体Ａと置き換え、レンズ位置Ｏ２（Ａ）、Ｏ３（Ａ）、レンズの焦点距離ｆ、各レンズ位置から物体Ａまでの距離をＳ₂Ｓ₃とする。
【００４０】
レンズが点Ｏ２の位置にある場合には、物体Ａの頂点Ｈの像は点Ｈ₂に生じる。一方、レンズが点Ｏ３の位置にある場合には、物体Ａの頂点Ｈからの光線は点Ｏ２を通過し、さらに直進してレンズが設けられている点Ｌに到達してレンズで屈折され、点Ｈ₃に到達して結像される。この結像点Ｈ₃は下記式（７）により簡単に求められる。
【００４１】
【数７】

なお、Ｓはレンズ位置と物体Ａまでの距離、Ｆはレンズ位置と結像面までの距離、ｆはレンズの焦点距離である。また、そのときの倍率ｍを下記式（８）に示す。
【００４２】
【数８】

従って、レンズ位置Ｏ２（Ａ）の条件での像の倍率ｍ２はｆ／（Ｓ₂−ｆ）、レンズ位置Ｏ３（Ａ）の条件での像の倍率ｍ３はｆ／（Ｓ₃−ｆ）となる。ここで、物体Ａの高さをＨとすれば、各レンズ位置で撮像された像の高さｈ₂、ｈ₃はｍ２×Ｈ、ｍ３×Ｈとなる。この像の高さｈ₂、ｈ₃は光学軸からの距離、すなわち、Ｚ軸からの距離であるので、上記式（６）中の√（ｘ²＋ｙ²）（半径）と表せる。
【００４３】
各レンズ位置Ｏ２（Ａ）、Ｏ３（Ａ）に設置された状態で撮影された像の関係は、Ｆの値が異なるだけであるので、上記式（２）および上記式（３）から、ｈ₂／ｈ₃＝（Ｓ₂＋Ｌ−ｆ）／（Ｓ₂−ｆ）となる。このことは、レンズ位置Ｏ３（Ａ）が中心射影条件を満足する位置から距離Ｌだけずらせた位置であるとき、得られる入力画像（撮像画像）は中心射影条件を満足する入力画像と定数倍異なるだけであるということを示す。
【００４４】
このように、レンズ位置が中心射影条件を満足する位置にない場合には、入力画像の√（ｘ²＋ｙ²）の位置座標は中心射影条件を満足する場合の定数倍だけ異なるだけである。よって、上記式（６）に示すように、中心射影条件を満足しないレンズ位置から結像面までの距離Ｆを、中心射影条件を満足するレンズ位置から結像面までの距離Ｆ₀を用いて表することにより、ソフトウェアによって入力画像（撮像画像）を中心射影条件を満足する中心射影像に変換する手段を実現することができる。すなわち、従来技術においては、Ｆ値はレンズの光学系から一定に定められたもの（上記Ｆ₀）を用いていたが、本発明ではＦ値を光学系の変化に従って任意に選び出すことができる。例えば、倍率変数εを導入してＦをε×Ｆと置き換え、εを可変として調節することができる。または、Ｆ＝Ｆ０＋ΔＦとしてΔＦを画素（ピクセル単位）等で適切なステップずつ変化させることにより調節することができる。
【００４５】
最適なＦ値を設定する方法の一例としては、図７に示すような正方形の桝目を描いた検査図を用いる方法がある。図７（ａ）は桝目状検査図を真上から見た図であり、図７（ｂ）はそれを斜め上から見た図である。図８に、この桝目状検査図の透視画像図を示す。図８（ａ）はＦ値＜最適値の場合（例えばレンズ位置が中心射影を満足するレンズ位置から０．４ｍｍ〜０．７ｍｍ程度、双曲面ミラー側にずれている場合）の検査図の映像（糸巻き歪み）を示し、図８（ｂ）はＦ値＝最適値の場合の検査図の映像を示し、図８（ｃ）はＦ値＞最適値の場合（例えばレンズ位置が中心射影を満足するレンズ位置から０．４ｍｍ〜０．７ｍｍ程度、受光素子側にずれている場合）の検査図の映像（樽型歪み）を示す。Ｆ値設定前の撮像システムでその検査図を撮影して、その像を透視変換し、透視画像が正しく正方形の桝目を描くように、すなわち図８（ｂ）の映像が得られるようにＦ値を調整して定める。
【００４６】
図９にＦ値変更のフローを示す。上述したような正方形の桝目を描いた検査図を作成し、Ｆ値設定前の撮像システムでその検査図を撮影する。ステップ１ではそのときのレンズ主点から結像面までの距離Ｆを入力する。これは、操作者が操作パネルから入力することも可能であり、ソフトウェア（プログラム）によって予め設定されているものが演算処理回路に入力されるようにしてもよい。そして、ステップ２においてその透視変換画像を表示し、ステップ３において画像に歪みがあるか否か、すなわち、正しく正方形の桝目が表示されているか否かを判断する。画像に歪みがあった場合には、ステップ４においてその歪みが樽型歪みであるか糸巻き歪みであるかを判断し、糸巻き歪みである場合にはステップ５においてＦ値を増加させ、樽型歪みである場合にはステップ６においてＦ値を減少させる。これを繰り返して、最も正しく正方形の桝目が表示されるようにＦ値を定める。なお、ここでは検査図として桝目状のものを用いたが、これはかのこ状模様（色の濃淡部を千鳥状に配置したもの）等を用いてもよい。その外にも、水平や垂直の直線が分かるものであれば、いずれも用いることができる。
【００４７】
図１０にＦ値変更の詳細フローを示す。まず、ステップ１１ではミラー定数、レンズ主点−結像面間距離、透視変換画像の中心座標、入力画像の幅と高さ、三角関数テーブル（ＬＵＴに含まれる。Ｆ値が変ると再計算されるので、初期化が必要）、透視変換画像の幅と高さ等の変数を初期化する。これらの変数の初期化は、ソフトウェア（プログラム）により自動的に行うことができる。本実施形態では、ミラー定数ａ＝９．５、ｂ＝６．２、ｃ＝１１．３４、レンズ主点−結像面間距離Ｆ＝３６０．０（ＣＣＤの画素数に換算した値）、画像中心座標ｃＸ＝３２０、ｃＹ＝２４０、入力画像の幅ｗ＝６４０、入力画像の高さｈ＝４８０、透視変換画像の幅ｐｗ＝２００、透視変換画像の高さｐｈ＝１５０（ＣＣＤの画素数に換算した値）とし、また、三角関数テーブルを作成する。
【００４８】
次に、ステップ１２においてｒ［α］の値を格納する変換テーブル（ＬＵＴに含まれる）を初期化する。
【００４９】
次に、ステップ１３においてｒ［α］の変換テーブルを作成する。本実施形態では、α＝０〜３６００個（０°〜３６０°を０．１°区切り）としてミラー定数とαを用いて上記式（５）からβを計算し、上記式（６）からｒ［α］＝Ｆ×ｔａｎ（π／２−β）によりｒ［α］を計算する。
【００５０】
次に、ステップ１４においてパン角、チルト角（α）およびミラー焦点から透視変換画像までの距離ｄ等の変数を入力する。本実施形態では、パン角Ｐａｎ＝０°、チルト角Ｔｉｌｔ＝−９０°、ミラー焦点から透視変換画像までの距離ｄ＝１００とする。
【００５１】
次に、ステップ１５において透視変換画像を作成する。まず、パン角Ｐａｎ、チルト角Ｔｉｌｔ、ミラー焦点から透視変換画像までの距離ｄを用いて、透視変換画像の座標（ｘ１，ｙ１）に対する三次元空間座標（ｔｘ，ｔｙ，ｔｚ）を計算する。この計算は、ｄ＝√（ｔｘ²＋ｔｙ²＋（ｔｚ−ｃ）²）、ｔａｎα＝（ｔｚ−ｃ）／√（ｔｘ²＋ｔｙ²）、ｓｉｎα＝ｔｚ／ｄ、ｃ＝√（ａ²＋ｂ²）により行うことができる。ここで、図１４に示すように、ＣＣＤの画像面のサイズがＷ×Ｈで中心座標が（ｃＸ、ｃＹ）となり、３次元空間に仮想する透視変換画面のサイズがｐｈ×ｐｗである。ここでは透視変換画面としてＴｉｌｔ角＝９０°、すなわちｚ軸に直交する平面を仮想している。そして、この仮想画面上の各画素に対応するＣＣＤ画面上の座標を上記式（２）および（３）を用いて計算する。この仮想画面において座標軸ｚ軸周りの回転角がＰａｎ角となり、仮想画面のｘ、ｙ座標軸がＣＣＤ受光面のｘ、ｙ座標軸と一致しているときにＰａｎ＝０となる。また、ミラー定数と計算されたｔｘ、ｔｙ、ｔｚを用いてθ（図３に示すＺ軸周りの回転角）とαを計算する。αは上記式（５）および（６）により計算することが可能であり、θはｔａｎ^-1（ｙ／ｘ）により求めることができる。さらに、変換テーブルからｒ＝ｒ［α］を求め、ｘ＝ｃＸ＋ｒ×ｃｏｓ（θ）、ｙ＝ｃＹ−ｒ×ｓｉｎ（θ）から（ｘ１，ｙ１）の値を計算する。
【００５２】
次に、ステップ１７において画像に歪みがあるか否かを判断し、画像に歪みがない場合には処理を終了する。また、画像に歪みがあった場合には、ステップ１７においてその歪みが樽型歪みであるか糸巻き歪みであるかを判断する。糸巻き歪みである場合にはステップ１８においてＦ値を増加させ、樽型歪みである場合にはステップ１９においてＦ値を減少させる。本実施形態では、Ｆ値の調整ステップ（Ｆ＝Ｆ０＋ΔＦのΔＦ）を、画素（ピクセル）単位で１０ステップ、実際の距離換算で４０μｍ〜７０μｍステップずつとした。これを以上のステップ１３からステップ１８またはステップ１９を繰り返して、最も正しく正方形の桝目が表示されるようにＦ値を定める。
【００５３】
このようなＦ値の調整処理は、例えば図１１に示すような画像処理手段とこれに接続された操作パネルを用いて行うことができる。撮像システムで撮影された検査図の画像データは、画像処理手段の入力バッファメモリ８に取り込まれた後、操作パネルからの操作信号に基づいてＣＰＵ９からの命令により、演算ロジック回路１１でＬＵＴ１０のデータを元に座標変換が行われる。このＬＵＴ１０は、上記ｒ［α］の変換テーブルを格納したものであり、例えば図１２に示すようなデータ構成とされている。これにより得られた透視変換画像は出力バッファメモリ１２に入力され、さらに、ＣＰＵ９からの命令によりモニターに出力される。操作者（検査者）は、モニター画像の歪みの有無を確認し、歪みがある場合にはその歪みが図８（ｃ）に示した樽型歪みであるか、図８（ａ）に示した糸巻き歪みであるかを判定して、歪みの種類に応じてＦ値を増減する操作を操作パネルを用いて行う。
【００５４】
例えば、糸巻き歪みの場合には、Ｆ値を増加させる操作を行うと、その操作信号が操作パネルからＣＰＵ９に送られ、ＣＰＵ９からさらにバスラインを介して演算ロジック回路１１に送られて、Ｆ値を増加させた後に座標変換が行われる。そして、Ｆ値を増加させた透視変換画像が出力バッファメモリ１２に入力され、さらにＣＰＵ９からの命令によりモニターに出力されて、操作者（検査者）がモニター画像の歪みの減少を確認する。この操作を歪みが最小になるまで繰り返す。
【００５５】
このような調整処理を、例えば製品の出荷検査時に行うことにより、レンズの配置位置がずれても、Ｆ値を最適化して中心射影像を得ることが可能となり、光学調整を容易化して製造歩留まりを向上させることができる。この場合、撮像システムは最適化されたＦ値により撮像データを透視画像データに座標変換にすることができ、操作パネルは設けなくてもよい。または、操作パネルを設けて、ユーザーがレンズの距離を用途に合わせて変化させた場合でも、歪みの無い中心射影像を得ることができるようにしてもよい。
【００５６】
なお、上記説明では、画像の歪みを検査者がモニター画像を観察して確認したが、予め記憶手段に記憶させておいた期待値画像データと、演算処理により得られた画像データとを、画像認識手段により比較して画像の歪みを検出し、Ｆ値増減の操作信号をＣＰＵに出力させるようにしてもよい。
【００５７】
ところで、図１３（ａ）に示すように、レンズ中心をＯ２（Ａ）からＯ３（Ａ）に移動させると、ＣＣＤ等の受光部に写る像は縮小するので、ＣＣＤ等の受光素子の画素を有効に利用できず、解像度が低下する。そこで、結像レンズの前部または後部に拡大レンズを挿入し、この拡大レンズを前後に調節することにより、図１３（ｂ）に示すように、像の大きさを最適化することが可能である。さらに、ピントが合う範囲を広げるために、レンズの前部または後部に絞りを挿入することにより、レンズの焦点深度を深くできることは言うまでもない。
【００５８】
【発明の効果】
以上詳述したように、本発明によれば、双曲面ミラーに映る像までの距離を長くすることができるので、特殊加工のレンズを必要とせず、通常レンズの使用が可能となる。また、その距離が長くなることにより、絞りを絞り込む必要がなくなり、撮影条件の制約を非常に少なくして調整を容易にすることができる。
【００５９】
さらに、本発明によれば、はじめに所定のレンズ位置に合わせ、次に画像処理のＦ値を変更することにより、簡単に中心射影の条件を満足させることができ、光学調整の工程を短縮化させることができる。さらに、中心射影像の調整精度を向上させることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である撮像システムの基本構成とその幾何学的位置関係を説明するための図である。
【図２】２葉双曲面関数とその特性を説明するための図である。
【図３】レンズ位置が中心射影条件を満足する撮像システムの幾何学的位置関係を説明するための図である。
【図４】レンズ位置が中心射影条件を満足する撮像システムの幾何学的位置関係を説明するための断面図である。
【図５】レンズ位置が中心射影条件を満足しない撮像システムの幾何学的位置関係を説明するための断面図である。
【図６】レンズ１個を使用したときの結像とその倍率を説明するための概略図である。
【図７】（ａ）および（ｂ）は桝目状検査図の一例を示す図である。
【図８】（ａ）〜（ｃ）はＦ値と画像歪みの関係を説明するための図である。
【図９】Ｆ値変更のフローを説明するための図である。
【図１０】Ｆ値変更の詳細フローを説明するための図である。
【図１１】本発明における画像処理手段の構成を示すブロック図である。
【図１２】本発明におけるｒ［α］ドットＬＵＴの一例を示す図である。
【図１３】（ａ）および（ｂ）はレンズを組み合わせた一例を説明するための図である。
【図１４】ＣＣＤの画像面と透視変換画面について説明するための図である。
【符号の説明】
▲１▼ 双曲面ミラー
▲２▼ 撮像部
▲３▼ 結像レンズ
▲４▼ 受光素子
▲５▼ 画像処理手段
▲６▼ ＴＶモニター
８入力バッファメモリ
９ＣＰＵ
１０ＬＵＴ
１１演算処理回路（演算ロジック回路）
１２出力バッファメモリ
１３バスライン

Claims

２葉双曲面形状のうちの一方の双曲面形状を有する反射ミラーと、
該反射ミラーの回転軸上であって、前記２葉双曲面の他方の双曲面形状の焦点位置よりも遠方側において前記反射ミラーに映る虚像の全てが焦点深度の範囲内になるような位置に中心が位置されて、前記反射ミラーに対向して配置されたレンズによって集光された光を受光する撮像素子を有する撮像部と、
所定の検査図を撮像して得られる撮像データを透視変換画像データに座標変換し、得られた透視変換画像に歪みがあった場合に、座標変換時に用いる前記レンズの位置と前記撮像素子の受光面との距離に関するパラメータを増減して、該透視変換画像の歪みが解消されて中心射影像になる前記パラメータを求めて、前記撮像素子による撮像画像を、求められた前記パラメータを満足するように配置された前記撮像素子の撮像画像に変換する変換手段とを有することを特徴とする撮像システム。
前記変換手段は、下記式（２）および式（３）によって撮像データを透視変換画像データに座標変換する請求項１に記載の撮像システム。

（上記式において、（Ｘ，Ｙ，Ｚ）は被写体の位置、ａ、ｂおよびｃはミラー定数、（ｘ、ｙ）は撮像画像の座標、Ｆはレンズ位置と受光面との距離を示す）
前記検査図として桝目状検査図を用いる請求項１に記載の撮像システム。
前記変換手段は、前記撮像データを前記透視変換画像データに座標変換処理する画像処理手段と、得られた前記透視変換画像に歪みがあった場合に前記パラメータの増減を指示する操作パネルとを有し、該操作パネルの指示信号によって前記画像処理手段が前記座標変換処理を行う請求項１乃至請求項３のいずれかに記載の撮像システム。
前記変換手段は、前記画像処理手段によって得られた前記透視変換画像と前記撮像画像が中心射影画像である場合に得られる期待値画像とを比較して前記透視変換画像に歪みがあるか否かを認識する画像認識手段を有し、該画像認識手段による指示信号によって前記画像処理手段が、前記座標変換処理を行う請求項４に記載の撮像システム。
前記画像処理手段は、前記座標変換処理動作を制御するＣＰＵと、前記撮像データを記憶する入力バッファメモリと、前記座標変換処理に用いられるＬＵＴと、前記座標変換処理を行なう演算処理回路と、前記透視変換画像データを記憶する出力バッファメモリとを備え、前記ＣＰＵと前記入力バッファと、前記ＬＵＴと、前記演算処理回路と、前記出力バッファメモリとがバスラインによって接続されている請求項５に記載の撮像システム。
請求項１に記載の撮像システムによって、前記撮像素子による撮像画像を中心射影像に変換するための補正方法であって、
所定の検査図を撮像し、得られた撮像データを前記画像処理手段に入力する第１のステップと、
前記画像処理手段によって、前記撮像データを前記透視変換画像データに座標変換する第２のステップと、
前記画像処理手段によって、得られた前記透視変換画像データに歪みがあると判断された場合に、前記レンズ位置と受光面との距離に関するパラメータを変更して、該透視変換画像の歪みが解消されて中心射影像になる前記パラメータを求める第３のステップと、
前記画像処理手段によって、前記撮像素子による撮像画像を、求められた前記パラメータを満足するように配置された前記撮像素子の撮像画像に変換する第４のステップと
を包含する撮像システムにおける撮像画像の歪み補正方法。
請求項７に記載の撮像システムにおける撮像画像の歪み補正方法をコンピュータによって実行させるプログラム。
請求項８に記載のプログラムが記憶されたコンピュータ読み取り可能な記憶媒体。