JP5493900B2

JP5493900B2 - 撮像装置

Info

Publication number: JP5493900B2
Application number: JP2010008330A
Authority: JP
Inventors: 剛丸山; 展弘森田; 順渡部; 青木　　伸; 利道萩谷; 育夫前田; 禎郎高橋
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2010-01-18
Filing date: 2010-01-18
Publication date: 2014-05-14
Anticipated expiration: 2030-01-18
Also published as: JP2011147079A

Description

本発明は、撮像装置に関し、さらに詳しくは、撮像装置の温度変化による光学条件の変動を抑制する技術に関するものである。

近年、撮像装置は、携帯機器、車載機器、医療機器、及び産業機器等における情報取得手段として利用されている。また、二次元の画像情報のみならず、被写体までの距離や被写体の三次元形状などの距離情報も同時に検知する距離画像入力装置への要求が高まっており、様々な場所で利用されている。しかし、撮像装置を使用する環境条件（特に、温度変化）により、撮像装置のレンズの形状が変化して光学条件が変わってしまうことが知られている。
特に特許文献１のように、１台の撮像センサとレンズアレイの組み合わせで測距を行うような基線長の距離が短い測距装置の場合、温度変化による基線長の変化割合が大きく、測距結果に大きな影響を与えることが知られている。そこで、特許文献１では、レンズアレイを一点のみで固定することにより、固体ごとの接着剤や遮蔽ブロックの保持部などの応力による影響を低減することで、温度と基線長の関係の個体差を極力抑えることができるようになった。
また、特許文献２には、合焦距離の異なる複数のレンズセットからなるレンズアレイを用い、複数の被写体距離に焦点のあった画像を取得可能な画像入力装置について開示されている。

しかし、特許文献１に開示されている従来技術では明記されてはいないものの、温度を計測する必要があり、また、個体差を完全には取り除くことができないといった問題がある。
また、特許文献２に開示されている従来技術では、レンズの焦点距離とレンズ間距離とシフト量を計測することにより、レンズから被写体までの距離Ｌを算出し、このＬを合焦距離とするようにレンズの曲率半径を制御する発明である。しかし、曲率半径を制御するための装置が複雑となり、コストが高くなるといった問題がある。
本発明は、かかる課題に鑑みてなされたものであり、撮像素子により撮像された遮光壁の輝度情報に基づいて、各レンズの位置を計算することで温度変化による影響を取り除いて、環境変動に強い撮像装置を提供することを目的とする。

本発明はかかる課題を解決するために、請求項１は、被写体と対向する位置に配設され、複数のレンズをアレイ状に配列したレンズアレイと、該レンズアレイの像面側に設けられ、前記複数のレンズにより結像された前記被写体の縮小像（個眼像）の集合である複眼像を撮像する撮像素子と、該撮像素子により撮像された前記複眼像を処理する演算器と、を備えた撮像装置において、前記レンズアレイを構成する隣接する各レンズ間での光線のクロストークを防止する遮光壁を備え、前記演算器は、前記撮像素子に入射した輝度情報に基づいて、前記各レンズの中心位置、焦点距離、及びレンズ歪みに係る内部パラメータを決定して前記遮光壁の周囲温度による歪み量を算出して補正し、前記各レンズの中心位置は前記遮光壁の４つの頂点に基づいて算出することを特徴とする。
請求項２は、前記レンズアレイの材料と前記遮光壁を構成する材料が同一材料により構成されていることを特徴とする。
請求項３は、前記遮光壁は、複数の部材により構成されていることを特徴とする。

請求項４は、前記演算器は、前記遮光壁の歪み量に基づいて、前記レンズアレイを構成する隣接するレンズ間の距離を算出することを特徴とする。
請求項５は、前記演算器は、前記遮光壁の歪み量に基づいて、該撮像装置内の温度を推定することを特徴とする。
請求項６は、前記演算器は、前記遮光壁の歪み量に基づいて、前記レンズアレイを構成する各レンズの焦点距離、画像中心、及びレンズ歪みに係る内部パラメータを特定することを特徴とする。
請求項７は、前記演算器は、前記レンズアレイを構成する各レンズに対応する前記撮像素子の領域の歪みを補正することにより、前記レンズ歪みに係る内部パラメータを特定することを特徴とする。
請求項８は、前記演算器は、前記焦点距離及び前記画像中心に係る内部パラメータを用いて、画像の正規化を行うことを特徴とする。

本発明によれば、レンズアレイを構成する隣接する各レンズ間での光線のクロストークを防止する遮光壁を備え、演算器は、撮像素子に入射した輝度情報に基づいて、各レンズの中心位置、焦点距離、及び歪みに係るパラメータを決定して、遮光壁の周囲温度による歪み量を算出して補正するので、撮像装置の温度変化による光学条件の変動を抑制することができる。

本発明の一実施形態に係る撮像装置の構成を示す図である。図１の撮像装置を被写体方向から観察したときの模式図である。撮像装置で、白い壁などを撮像するときに得られた画像を示す図である。図１の撮像装置のレンズアレイを通して取得される複眼像の一例を示す図である。個眼像生成部の動作を説明するフローチャートである。インデクス付けられた遮光壁同士が交わる位置を示す図である。頂点６の参照画像を示す図である。バッファに記憶されている線分の長さの和と温度の関係を表す対応テーブルを示す図である。レンズゆがみパラメータと温度の関係を表す対応テーブルを示す図である。各温度のカメラ固有の内部パラメータと温度の関係を表す対応テーブルを示す図である。頂点Ａ、Ｂ、Ｃ、Ｄに変換されるような射影変換行列を示す図である。

以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は本発明の一実施形態に係る撮像装置の構成を示す図である。この撮像装置５０は、被写体（図示せず）に対向する位置に配設され、複数のレンズ１ａ、１ｂをアレイ状に配列したレンズアレイ１と、レンズアレイ１の像面側に設けられ、複数のレンズにより結像された被写体の縮小像（以下、個眼像と呼ぶ）の集合である複眼像を撮像するＣＭＯＳセンサ（撮像素子）４と、ＣＭＯＳセンサ４により撮像された複眼像を処理する演算器１０と、レンズアレイ１を構成する隣接する各レンズ間での光線のクロストークを防止する遮光壁２と、を備えて構成されている。
また、演算器１０は、ＣＭＯＳセンサ４により撮像された画像信号を受け取る画像キャプチャ部７と、画像信号から個眼像を生成する個眼像生成部８と、個眼像生成部８により生成された個眼像の中から合焦している個眼像を抽出する合焦個眼像選択抽出部９と、を備えている。即ち、演算器１０は、ＣＭＯＳセンサ４に入射した輝度情報に基づいて、各レンズの中心位置、焦点距離、及びレンズ歪みに係る内部パラメータを決定して遮光壁２の周囲温度による歪み量を算出して補正する。

即ち、図１では、矢印方向に被写体があるものとし、撮像装置５０により被写体を撮像する構成の断面模式図を示したものである。図２は、図１の撮像装置を被写体方向から観察したときの模式図であり、図１と共通する部品には共通する番号が付されている。図１において、１はレンズアレイを表す。レンズアレイ１は被写体側の面と像面側の面の二面からなり、面内に複数のレンズがアレイ状に配列されている。
図１では、被写体側、像側の両方の面にレンズ面が設けられた両面レンズアレイが示されている。１ａは被写体側の面に設けられたレンズ、１ｂは像側の面に設けられたレンズであり、１ａと１ｂがセットになって被写体の像をＣＭＯＳセンサ４の像面上で結像させる。２は、レンズアレイにおける隣接するレンズセット間での光線のクロストーク（混線）を防止するための遮光用の隔壁（以下、遮光壁と呼ぶ）２であり、金属や樹脂等の撮像光線に対して不透明な材料からなる。遮光壁は一般には、レンズアレイ１の各レンズセットに対応して矩形の孔があけられており、孔と孔の間の壁が混線防止のための隔壁として作用するように作られるが、本実施形態では、遮光壁２がレンズアレイ１の熱膨張に応じて可動するように、各辺に切断されている（２ａ−２ｑ）。

また、遮光壁２を従来のように一枚板にしておいて、遮光壁２とレンズアレイ１の材質を同じにすることで、レンズアレイ１の熱膨張と呼応して可動させることも考えられる。一般に遮光壁２はアルミなどの金属で作られるが、プラスチックなどを利用することでレンズアレイ１と同じ材質にする。
また、レンズアレイ１の像側の面と遮光壁２とが接触、接着されている。３は、板状部材に、各レンズセットに対応して円形の孔を設けた開口アレイであり、レンズの絞りとして作用する。レンズアレイ１の被写体側の面の平面部に設けられた突起部１ｃを介して開口アレイ３とレンズアレイ１は接着されている。４は、レンズアレイにおける各レンズセットにより撮像される被写体の像を撮像するＣＭＯＳセンサであり、基板５の上に実装されている。
図１の例では、エイリアジング防止のための光学的ローパスフィルタやセンサ保護用のカバーガラスを設けていないが、必要に応じて設けても良い。６は筐体であり、レンズアレイ１の被写体側の面と接着してレンズアレイ１を、遮光壁２、開口アレイ３も含めて保持し、基板５に接着されて固定されている。

次に、図１の撮像装置５０により取得される画像とその処理について説明する。ＣＭＯＳセンサ４による像は、図１の画像キャプチャ部７により撮像され、個眼像生成部８によって、６つの個眼像に分離される。そして、６つの画像を用いて視差計算を行い、物体までの距離を計測する。視差計算の方法は、個眼像間での被写体の視差を、例えば個眼像内の微小領域ごとに相互相関演算により検出し、各個眼像で対応点の位置を検知したのち、当該位置を補正しながら極値検出を行う。
視差検出においては２つの個眼像、例えばＩ５とＩ６の微小領域の対応点探索により、対応位置とその位置での視差を求める。レンズピッチは設計上一定であるため、一組の個眼像間（例えばＩ５とＩ６）での視差を求めれば、他の個眼像（例えばＩ１からＩ４）の対応位置とその位置での視差は算出でき、視差から対応点の位置を算出できる。そのようにして各個眼像において対応点の画素を求めてから、前述の輝度の極値を求めると、より正確な合焦画像を取得することができる。
本発明では、撮像センサに写りこむ、遮蔽部材の影に基づいて、各レンズの位置を計算することで、温度変化による影響を取り除く。例えば、図１、図２にある構成で作られた撮像装置５０で、白い壁などを撮像すると、図３のような画像が得られる。なお図３は、撮影画像を２値化したもので、遮光壁２の影が黒く表現されている。本実施形態では、撮影画像中の遮光壁の影を利用して、個々のレンズの中心位置、焦点距離、歪みパラメータなどを決定する。

図４は図１の撮像装置のレンズアレイを通して取得される複眼像の一例を示す図である。撮像素子４で取得された図４のような複眼像１２は、画像キャプチャ部７でキャプチャされ、Ｉ₁〜Ｉ₆の個眼像データ（以下、単に個眼像）に分けられて、合焦個眼像選択抽出部９に転送される。合焦個眼像選択抽出部９は、個眼像Ｉ₁〜Ｉ₆を入力して画像処理し、所定の合焦画像を選択抽出して出力する。これには、個眼像Ｉ₁〜Ｉ₆の中から最も焦点の合った個眼像を選択して合焦画像とする方法や、個眼像Ｉ₁〜Ｉ₆から、対応する画素ごとに最も焦点の合った画素を抽出し、これら画素を合成して合焦画像として出力する方法などが考えられる。

図５は個眼像生成部の動作を説明するフローチャートである。まず、画像を取得し、遮光壁２部分とそれ以外が区別できるように２値化画像を作成する（Ｓ１）。その際、２値化がしやすいように、取得する画像と２値化の方法の組み合わせは以下の方法が考えられる。
１）遮光壁２の影が自然界には存在しにくい色になるようにし、遮光壁２の影を基準に２値化を行う。
２）画像全体の輝度値の平均が一定以上のものを利用し、明暗を利用して２値化を行う。
３）一定時刻ごとに画像をフレームバッファに保存しておいて（前画像）、前画像と現画像との差分が一定値以上の場合に差分画像を取得し、２値化を行う。
上記基準を満たす２値化画像が得られない場合、ＮＯに進み終了する。得られた場合には次のステップに進む。

次に２値化画像に対してマッチング処理を行うことで、遮光壁２の交点を１２個求める（Ｓ２）。遮光壁２の交点とは図６のように１−１２までインデクス付けられた遮光壁同士が交わる位置である。
図６を、ある温度で、設計値どおりに製造された筐体を用いて、被写体側から均一照明を与えたときに、得られる画像を遮光壁部分とそれ以外の部分とで２値化した画像をシミュレーションしたものと考える。そのときの図６での頂点１−１２の座標を参照座標、頂点１−１２の周辺を表した参照画像を用意する。例えば、頂点６の参照画像は図７のようになる。すなわち、２値化画像に対して、各頂点に対し、参照座標の近辺で参照画像とマッチング処理を行うことで、遮光壁２の交点を求める。求めた遮光壁の交点は、図示しないバッファに記憶される。
次にレンズアレイの６個のレンズ対に対するレンズ中心位置を推定する（Ｓ３）。各レンズ１−６に対応する領域は、それぞれ遮光壁２の交点で表現でき、それぞれ４頂点が構成する四辺形で表現できる（頂点１＆２＆５＆６、頂点２＆３＆６＆７、頂点３＆４＆７＆８、頂点５＆６＆９＆１０、頂点６＆７＆１０＆１１、頂点７＆８＆１１＆１２）。各四辺形の対角線の交点を各レンズのレンズ中心とする。例えば、レンズ１の場合、頂点１と頂点６を結ぶ線分と、頂点２と頂点５を結ぶ線分との交点Ｐを求めることでレンズ中心を算出する。算出されたレンズ中心Ｐはバッファに記憶する。

次に、レンズ中心間の距離を求める（Ｓ４）。レンズ１−６の全ての組み合わせに対して、レンズ中心間の距離を算出し、バッファに記録する。レンズ中心間の距離は、距離画像算出時には、基線長の長さとして利用されることになる。
次に遮光壁２の外周の長さを基準にして筐体温度を推定する（Ｓ５）。レンズ中心間の距離のうち、頂点１と頂点４を結んだ線分、頂点４と頂点１２を結んだ線分、頂点９と頂点１２を結んだ線分、頂点１と頂点９を結んだ線分の４つの線分の長さの和を求める。そして、バッファに記憶されている線分の長さの和と温度の関係を表す対応テーブル（図８）により、算出温度を求める。
図８は、あらかじめレンズアレイ１および、遮光壁２、筐体６の材質に基づいて計算したデータを作成し、バッファに保持させておく。本実施形態では、筐体温度２０度ごとのテーブルを利用したが、それに限るものではない。また、本実施形態では４線分の和を用いたが、その他の線分の和を用いても良い。本実施形態では、線分の長さの和が（Ｌ４＋Ｌ５）／２であったとすると、２０度と推定できる。

次に対応温度からレンズ歪みパラメータを推定する（Ｓ６）。ステップＳ５と同様、あらかじめＣｏｄｅＶなどの光学シミュレーションツールを用いて、筐体温度に対する、内部パラメータ（焦点距離、画像中心、レンズ歪み）を求めておく。図９にある表は、レンズゆがみパラメータのみを記載したものである。レンズ歪みパラメータには、例えば以下の式を用いるものとする。
Ｘ’＝ｘ（１＋ｋ１＊ｒ＾２＋ｋ２＊ｒ＾４）＋２＊ｐ１＊ｘ＊ｙ＋ｐ２（ｒ＾２＊２＊ｘ＾２）
Ｙ’＝ｙ（１＋ｋ１＊ｒ＾２＋ｋ２＊ｒ＾４）＋ｐ１＊（ｒ＾２＋２＊ｙ’＾２）＋２＊ｐ２＊ｘ＊ｙ
ただしｒ＾２＝ｘ＾２＋ｙ〜２
理想的なピンホールカメラでの像位置が（ｘ、ｙ）、個眼像上の像位置が（ｘ’、ｙ’）で、ｋ１、ｋ２が半径方向の歪み、ｐ１、ｐ２が接線方向の歪みである。本実施形態では、筐体温度が２０度であるので、歪みパラメータは、それぞれｋ１４、ｋ２４、ｐ１４、ｐ２４と決定される。本実施形態では、光学シミュレーションツールにより、図９のような、温度と歪みパラメータの関係を求めたが、実際の実機を利用して求めても良い。例えば、Ｚｈａｎｇの手法(“A flexible new technique for camera calibration”。IEEE Transactions on Pattern Analysis and Machine Intelligence、 22(11):1330-1334、2000)等を用いて、各温度のカメラ固有の内部パラメータ（焦点距離、画像中心、歪みパラメータ）および外部パラメータを求めて、図１０のような対応表を作成することもできる。

ここで、撮像画像を６つの個眼像に分割する（Ｓ７）。各レンズ領域は、頂点１＆２＆５＆６、頂点２＆３＆６＆７、頂点３＆４＆７＆８、頂点５＆６＆９＆１０、頂点６＆７＆１０＆１１、頂点７＆８＆１１＆１２で表現できているので、各領域に射影変換行列Ｈを施すことで実現できる。行列Ｈは、左上のレンズ領域の場合、頂点１、２、５、６がそれぞれ図１１の頂点Ａ、Ｂ、Ｃ、Ｄに変換されるような射影変換行列である。また、頂点Ａ、Ｂ、Ｃ、Ｄが構成する四辺形は、正方形であり、図６での頂点１、２、５、６により構成される正方形と同一である。
最後に各個眼像について、ステップＳ６で算出した歪みパラメータを用いて歪み補正を行う（Ｓ８）。更に焦点距離、画像中心を用いて、画像の正規化（焦点距離ｆｘ１、ｆｙ１、画像中心ｃｘ１、ｃｙ１を持つピンホール画像に変換すること）を行う。以後は、バッファに保存されたレンズ中心間の距離を利用し距離画像の算出を行う。
本実施形態では、遮光壁２の影を利用することにより温度変化を測定したが、別途、温度変化特性の測定しやすい物体を筐体内に配置することでも同様のことが実現できる。

１レンズアレイ、２遮光壁、３開口アレイ、４ＣＭＯＳセンサ、５基板、６筐体、７画像キャプチャ部、８個眼像生成部、９合焦個眼像選択抽出部、１０演算器、５０撮像装置

特開２００９−５３０１１公報特開２００７−１５８８２５公報

Claims

被写体と対向する位置に配設され、複数のレンズをアレイ状に配列したレンズアレイと、該レンズアレイの像面側に設けられ、前記複数のレンズにより結像された前記被写体の縮小像（個眼像）の集合である複眼像を撮像する撮像素子と、該撮像素子により撮像された前記複眼像を処理する演算器と、を備えた撮像装置において、
前記レンズアレイを構成する隣接する各レンズ間での光線のクロストークを防止する遮光壁を備え、
前記演算器は、前記撮像素子に入射した輝度情報に基づいて、前記各レンズの中心位置、焦点距離、及びレンズ歪みに係る内部パラメータを決定して前記遮光壁の周囲温度による歪み量を算出して補正し、前記各レンズの中心位置は前記遮光壁の４つの頂点に基づいて算出することを特徴とする撮像装置。
前記レンズアレイの材料と前記遮光壁を構成する材料が同一材料により構成されていることを特徴とする請求項１に記載の撮像装置。
前記遮光壁は、複数の部材により構成されていることを特徴とする請求項１又は２に記載の撮像装置。
前記演算器は、前記遮光壁の歪み量に基づいて、前記レンズアレイを構成する隣接するレンズ間の距離を算出することを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。
前記演算器は、前記遮光壁の歪み量に基づいて、該撮像装置内の温度を推定することを特徴とする請求項１乃至４の何れか一項に記載の撮像装置。
前記演算器は、前記遮光壁の歪み量に基づいて、前記レンズアレイを構成する各レンズの焦点距離、画像中心、及びレンズ歪みに係る内部パラメータを特定することを特徴とする請求項１乃至５の何れか一項に記載の撮像装置。
前記演算器は、前記レンズアレイを構成する各レンズに対応する前記撮像素子の領域の歪みを補正することにより、前記レンズ歪みに係る内部パラメータを特定することを特徴とする請求項６に記載の撮像装置。
前記演算器は、前記焦点距離及び前記画像中心に係る内部パラメータを用いて、画像の正規化を行うことを特徴とする請求項６に記載の撮像装置。