JP5848563B2

JP5848563B2 - 車載用カメラ

Info

Publication number: JP5848563B2
Application number: JP2011206307A
Authority: JP
Inventors: 川井　清幸; 清幸川井; 正憲小崎
Original assignee: Toshiba Alpine Automotive Technology Inc
Current assignee: Toshiba Alpine Automotive Technology Inc
Priority date: 2011-09-21
Filing date: 2011-09-21
Publication date: 2016-01-27
Anticipated expiration: 2031-09-21
Also published as: JP2013070177A

Description

本発明の実施形態は、車載用カメラに関する。

自動車などの車両の運転を支援するための技術の一つとして、車両から対象物までの距離を求める技術がある。この種の距離計測技術としては、２台のカメラを車両に設けてステレオカメラとし、このステレオカメラの撮影画像にもとづいて三角測量法を行う技術が知られている。ステレオカメラを用いた三角測量法によれば、対象物までの距離が測定できるとともに、対象物の３次元空間的な位置を推定することも可能である。

特開２００９−１４６２１７号公報

三角測量法における測定距離の誤差は、２台のカメラ中心を結ぶ線と、一方のカメラの中心と対象物とを結ぶ線と、のなす角をθとしたとき、sinθの２乗に反比例する。このため、２台のカメラを路面に平行な方向に沿って設置する場合、路面平行方向の視野角が広角になると、θが０度または１８０度に近づき測定距離の誤差が大きくなってしまう。

そこで、路面平行方向の視野角が広角になっても測定距離の誤差を小さく保つ方法として、２台のカメラを路面に垂直な方向に並べて車両に設置する方法が考えられる。

しかし、２台のカメラを路面に垂直な方向に並べて設置する場合であっても、カメラがＸＹアドレス読み出し法（以下、ローリングシャッタ法という）により駆動されるとともにカメラのライン方向が路面に平行であるときは、ローリングシャッタ法に起因するライン間のサンプリング時刻の違いにより測定距離に誤差が生じてしまう。

このローリングシャッタ法に起因する測定距離の誤差は、撮影画像内で対象物画像が静止している場合には大きな問題とはならない。ところが、車載用カメラは車両の移動とともにカメラ自体が移動するため、車載用カメラによる撮影画像内の対象物画像は動いている場合が多い。このため、２台のカメラを路面に垂直に並べて設置する場合であっても、カメラがローリングシャッタ法により駆動されるとともにカメラのライン方向が路面に平行であるときは、ローリングシャッタ法に起因する測定距離の誤差の影響を無視することができない。

本発明の一実施形態に係る車載用カメラは、上述した課題を解決するために、行列に配置された撮像素子を有し、隣接する行間のシャッタ時間に所定のずれ時間を有しつつ先頭行から最終行に向かって順次シャッタを切るＸＹアドレス読み出し法で駆動される２台の車載用カメラであって、２台の車載用カメラの中心を結ぶカメラ間中心線が車両の進行方向に直交する面内に位置するとともに路面となす角が垂直となるように、かつそれぞれの撮像素子の行方向がカメラ間中心線に平行となるとともにそれぞれの先頭行から最終行への向きが一致するように、車両に配置されるものである。

本発明の一実施形態に係る２台の車載用カメラが設けられた車両の一例を示す概略的な構成図であり、（ａ）は車両の横側面図、（ｂ）は車両の平面図。車載用カメラのイメージセンサの動作について説明するための図。本実施形態に係る２台の車載用カメラのＸ方向と取り付け位置との関係を示す説明図。ステレオカメラを用いた三角測量法の原理を説明するための図。ローリングシャッタ法で駆動される２台のカメラがｙ方向（路面法線方向）に沿って配置されるとともに各カメラのＸ方向（行方向）がｘ方向に平行である場合において生じる、ローリングシャッタ法に起因する測定距離の誤差を説明するための図。エピポーラ面とエピポーラ線について説明するための図。２台の車載用カメラが設けられた車両の変形例を示す概略的な構成図であり、（ａ）は車両の横側面図、（ｂ）は車両の平面図。

本発明に係る車載用カメラの実施の形態について、添付図面を参照して説明する。

図１は、本発明の一実施形態に係る２台の車載用カメラ１および２が設けられた車両１０の一例を示す概略的な構成図である。図１（ａ）は車両１０の横側面図、（ｂ）は車両１０の平面図をそれぞれ示す。なお、以下の説明では、図１に示すように、タイヤ１１が接地する路面１２に対して平行な車体１３の短軸方向をｘ方向、路面１２の法線方向をｙ方向、車体１３の長軸方向をｚ方向とする。

図１（ａ）および（ｂ）に示すように、車体１３の一側面には、２台の車載用カメラ１および２がｙ方向に沿って上下に配置される。以下の説明では、上側（路面１２から遠い側）に車載用カメラ１が配置され、下側（路面１２に近い側）に車載用カメラ２が配置されるものとする。

車載用カメラ１および２はそれぞれ、行列に配置された撮像素子を有しローリングシャッタ法（ＸＹアドレス読み出し法）により画像信号を出力するＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどにより構成される。

距離算出部１４は、車載用カメラ１および２からそれぞれの撮影画像を取得し、これらの撮影画像にもとづいて撮影画像に含まれる対象点までの距離を三角測量法により算出する。この距離算出部１４は、たとえばＣＰＵ、ＲＡＭ、ＲＯＭを備えたマイクロコントローラにより構成することができる。車載用カメラ１および２と距離算出部１４により、車両１０から対象点までの距離を算出することができる。

図２は、車載用カメラ１のイメージセンサの動作について説明するための図である。なお、以下の説明では、イメージセンサを構成する撮像素子の行方向をＸ方向、列方向をＹ方向とする場合の例について示す。車載用カメラ２は、車載用カメラ１と同一の構成および作用を有するため、説明を省略する。

ローリングシャッタ法（ＸＹアドレス読み出し法）では、１枚のフレーム画像を作成する際に、先頭行２１から画素行ごとに順次シャッタ動作を行って画像信号を取り出し、フレーム周期以内に最終行２２までの読み出し動作を完了するようになっている。このため、同一行の（Ｘ方向に並んだ）撮像素子間ではサンプリング時刻（露光時刻、観測時刻）が等しいが、先頭行２１から最終行２２に向かって行ごとにサンプリング時刻が所定のずれ時間ずつ遅れる。このため、先頭行２１の露光時刻に比べ、最終行２２に近づくほど露光時刻が遅れていく。たとえば、フィールド周波数が６０Ｈｚの場合、読出し開始から完了するまでに約１／６０秒かかる。この場合、先頭行２１と最終行２２との露光時刻の差は約１／６０秒となる。

図３は、本実施形態に係る２台の車載用カメラ１および２のＸ方向と取り付け位置との関係を示す説明図である。

図３に示すように、本実施形態に係る車載用カメラ１および２は、ｙ方向（路面の法線方向）に沿って上下に配置される。これは、２台のカメラをｘ方向（路面平行方向）に沿って左右に配置する場合における、ｘ方向が広角になるに従い測定距離の誤差が増大する問題を未然に防ぐためである。また、図３に示すように、本実施形態に係る車載用カメラ１および２は、車載用カメラ１および２の中心を結ぶカメラ間中心線とそれぞれの撮像素子のＸ方向（行方向）とが平行となるように、かつ先頭行２１から最終行２２への向きが一致するように配置される。これは、たとえ２台のカメラをｙ方向（路面法線方向）に沿って配置しても、各カメラのＸ方向（行方向）がｘ方向（路面平行方向）に平行であると、ローリングシャッタ法に起因する測定距離の誤差が生じてしまうためである。

まず、２台のカメラをｘ方向に沿って左右に配置する場合における、ｘ方向が広角になるに従い測定距離の誤差が増大する問題について説明する。

図４は、ステレオカメラを用いた三角測量法の原理を説明するための図である。

ステレオカメラの一方のカメラの中心をＯａ、他方のカメラの中心をＯｂ、撮影対象点をＰとし、カメラ中心間距離（基線長）をＬとする。また、直線ＯａＯｂ（カメラ間中心線）と直線ＰＯａのなす角をθａ、直線ＯａＯｂと直線ＰＯｂのなす角をθｂ、直線ＰＯａと直線ＰＯｂのなす角をθαとする。また、線分ＰＯａの長さをρａ、線分ＰＯｂの長さをρｂ、直線ＯａＯｂと対象点Ｐとの距離をρとする。このとき、正弦定理から次の式（１）が得られる。
ρa/sinθb = L/sinθα
= L/sin(θa−θb) （∵θα=θa−θb) （１）

また、直線ＯａＯｂと対象点Ｐとの距離ρは次式（２）のように書ける。
ρ = ρa・sin(π−θa) = ρa・sinθa （２）

よって、式（１）および（２）から次の式（３）を得ることができる。
ρ = L・sinθa・sinθb / sin(θa−θb) （３）

しがたって、式（３）から明らかなように、Ｌが既知であるときは、角度θａおよびθｂを測定すれば点Ｐまでの距離ρを求めることができる。

ここで、式（３）から、角度θａおよびθｂの測定誤差ｄθａおよびｄθｂと、距離ρの誤差ｄρとの関係は、次のように表すことができる。

dρ = (∂ρ/∂θa)dθa + (∂ρ/∂θb) dθb
= (ρ²/L) {(sinθa)^−２ dθa ＋ (sinθb)^−２ dθb} （４）

一般に、カメラ中心間距離（基線長）Ｌは数ｃｍから数十ｃｍ程度であるのに対し、対象物Ｐまでの距離ρは数ｍ程度など十分に大きいことが多く、この場合、θa≒θb≒θの近似を適用できる。そこで、式（４）においてθa≒θb≒θと近似すると、次式が得られる。
dρ ≒ 2(ρ²/L) (sinθ)^−２ dθ （５）

式（５）から、測定距離ρの誤差ｄρは、距離ρの2乗に比例し、sinθの２乗に反比例し、かつカメラ間距離Ｌに反比例することがわかる。

このため、車両１０に対してｘ方向（路面平行方向）に沿って２台のカメラを配置すると、ｘ方向に広角になるほど、θが０度または１８０度に近づいてsinθが０に近づき、測定距離の誤差ｄρが増大してしまうという問題が生じる。したがって、ｘ方向に広角な撮影を行うためには、ステレオカメラはｘ方向に沿って配置するのではなく、ｙ方向に沿う直線上またはｙ方向に沿う直線上から所定の角度を有する直線上に配置することが好ましい。

続いて、２台のカメラをｙ方向（路面法線方向）に沿って配置しても、各カメラのＸ方向（行方向）がｘ方向（路面平行方向）に平行であるとローリングシャッタ法に起因する測定距離の誤差が生じてしまう原理について説明する。

図５は、ローリングシャッタ法で駆動される２台のカメラがｙ方向（路面法線方向）に沿って配置されるとともに各カメラのＸ方向（行方向）がｘ方向に平行である場合において生じる、ローリングシャッタ法に起因する測定距離の誤差を説明するための図である。なお、対象点Ｐとカメラとは相対的に近づいているものとする。また、以下の説明では２台のカメラの光軸方向がｚ方向に平行である場合の例について示すが、２台のカメラの光軸方向は必ずしもｚ方向に平行でなくても構わない。

２台のカメラのうち、上側（路面１２から遠い側）のカメラの中心をＯｕ、下側（路面１２に近い側）のカメラの中心をＯｄとする。また、各カメラのＹ軸（列方向軸）の向きは同一であり、各カメラの上側に撮像素子の先頭行２１、下側に最終行２２が位置するものとする。

時刻ｔ＝ｔにおける対象点Ｐの位置をＰ（ｔ）とし、上下の各カメラの焦点距離ｆに位置する投影面をそれぞれＦｕおよびＦｄとし、投影面ＦｕおよびＦｄに投影された対象点Ｐ（ｔ）のｙ座標をそれぞれｙｕ（ｔ）およびｙｄ（ｔ）とする。

このとき、各カメラのＸ方向（行方向）がｘ方向に平行であると、行間の露光時刻の差のために、対象点Ｐが観測されるタイミングが投影面ＦｕとＦｄで異なることになってしまう。

たとえば、図５に示すように、対象点Ｐの上側カメラにおける投影点が光軸より下にあり、かつ下側カメラにおける投影点が光軸より上にある場合を考える。上下のカメラの先頭行から同時に露光が開始されるとすると、たとえば下側カメラが投影点ｙｄ（ｔ）に対応する行の露光を行った時刻ｔ＝ｔでは、上側カメラはｙ座標がｙｄ（ｔ）からＬを減じた位置に対応する行の露光を行っており、いまだ投影点ｙｕ（ｔ）の露光を行っていない状態にある。すなわち、上側カメラは、下側カメラより遅れて対象点Ｐをキャプチャすることになる。

この遅れ時間をΔｔとすると、対象点Ｐはこの時間Δｔの間にもカメラに近づいており、その位置はＰ（ｔ＋Δｔ）に移動している。このため、この上下２台のカメラにより撮影された画像に対して三角測量法を適用すると、求められる測定距離ρ１は、直線ＯｕＰ（ｔ＋Δｔ）と直線ＯｄＰ（ｔ）との交点までの距離となる。したがって、測定距離ρ１は、時刻ｔ＝ｔにおける実際の距離ρに対して誤差Δρを有してしまう。

そこで、図３に示したように、本実施形態に係る車載用カメラ１および２は、車載用カメラ１および２のカメラ間中心線ＯｕＯｄとそれぞれの撮像素子のＸ方向（行方向）とが平行となるように、かつ先頭行２１から最終行２２への向きが一致するように、ｙ方向（路面の法線方向）に沿って上下に配置される。

続いて、エピポーラ面とエピポーラ線について簡単に説明する。

図６は、エピポーラ面とエピポーラ線について説明するための図である。

３次元空間の任意の点Ｐを２台のピンホールカメラで撮影する場合を考える。カメラ中心間距離（基線長）ＯｕＯｄ＝Ｌ、各カメラ焦点ｆにある投影面をＦｕおよびＦｄとする。また、点Ｐは、投影面Ｆｕ上の点ｐｕおよび投影面Ｆｄ上の点ｐｄに対応するものとする。

点Ｐ、点Ｏｕおよび点Ｏｄの３点を通る平面は、エピポーラ面と呼ばれる。また、エピポーラ面と投影面ＦｕおよびＦｄとの交線は、エピポーラ線と呼ばれる。たとえば２台のカメラがｙ方向に沿って配設されている場合、エピポーラ面は路面１２に垂直となる。したがって、図３および図６から明らかなように、本実施形態に係る車載用カメラ１および２は、エピポーラ線と、カメラ間中心線ＯｕＯｄと、撮像素子のＸ方向（行方向）と、が互いに平行になるように車体１３に配置されているといえる。

本実施形態に係る車載用カメラ１および２は、ｙ方向（路面の法線方向）に沿って上下に配置される。このため、式（５）における角度θは、路面１２に垂直な面内で定義される。したがって、ｘ方向（路面平行方向）に広角になっても、θには影響せずにsinθは一定となる。よって誤差も一定となり、ｘ方向（路面平行方向）に広角になっても測定距離の誤差が増大することがない。

また、本実施形態に係る車載用カメラ１および２は、カメラ間中心線ＯｕＯｄとそれぞれの撮像素子のＸ方向（行方向）とが平行であり、かつ先頭行２１から最終行２２への向きが一致するように配置されている。このため、車載用カメラ１および２は、ほぼ同時に観測点Ｐを観測することができる。したがって、本実施形態に係る車載用カメラ１および２によれば、図５に示すようなローリングシャッタ法に起因する測定距離の誤差を大きく低減することができる。

したがって、本実施形態に係る車載用カメラ１および２を配置された車両１０によれば、ローリングシャッタ法で駆動される２台の車載用カメラ１および２を用いて、車両１０から対象物Ｐまでの距離ρが時間変化する場合であっても距離ρを正確に測定することができる。

図７は、２台の車載用カメラ１および２が設けられた車両１０の変形例を示す概略的な構成図である。図７（ａ）は車両１０の横側面図、（ｂ）は車両１０の平面図を、それぞれ示す。

図３、図５および図６に示すように、ローリングシャッタ法に起因する測定距離の誤差は、同一の時刻における２台のカメラのサンプリング行が同一直線上に並ぶようにすることで低減できるとともに、この同時に露光するサンプリング行が並んだ直線がエピポーラ線に平行となるようにすることで低減できる。

このため、ローリングシャッタ法に起因する測定距離の誤差を低減するためには、車載用カメラ１および２は、カメラ間中心線ＯｕＯｄとそれぞれの撮像素子のＸ方向（行方向）とが平行となるように、かつ先頭行２１から最終行２２への向きが一致するように、配置されればよい。したがって、車載用カメラ１および２は、必ずしもカメラ間中心線ＯｕＯｄが路面法線方向に沿って配置されずともよく、カメラ間中心線ＯｕＯｄが路面となす角が垂直に対して所定の角度を持つように配置されてもよい。

車載用カメラ１および２のカメラ間中心線ＯｕＯｄが路面となす角が垂直に対して所定の角度を持つように車載用カメラ１および２を配置する場合、上述した垂直に配置する場合に比べて、路面平行方向に視野角が広角になった際の測定距離の誤差が多少生じるおそれがあるものの、車体１３に対する車載用カメラ１および２の配置位置の自由度が非常に向上するため大変便利である。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１、２車載用カメラ
１０車両
１１タイヤ
１２路面
１３車体
１４距離算出部
２１先頭行
２２最終行

Claims

行列に配置された撮像素子を有し、隣接する行間のシャッタ時間に所定のずれ時間を有しつつ先頭行から最終行に向かって順次シャッタを切るＸＹアドレス読み出し法で駆動される２台の車載用カメラであって、
前記２台の車載用カメラは、前記２台の車載用カメラの中心を結ぶカメラ間中心線が車両の進行方向に直交する面内に位置するとともに路面となす角が垂直となるように、かつそれぞれの前記撮像素子の行方向が前記カメラ間中心線に平行となるとともにそれぞれの前記先頭行から最終行への向きが一致するように、前記車両に配置されたことを特徴とする車載用カメラ。
前記２台の車載用カメラは、
前記カメラ間中心線が路面となす角が垂直に対して前記車両の進行方向に直交する面内で所定の角度をもつように、かつそれぞれの前記撮像素子の行方向が前記カメラ間中心線に平行となるとともにそれぞれの前記先頭行から最終行への向きが一致するように、前記車両に配置された、
請求項１記載の車載用カメラ。
前記２台の車載用カメラのそれぞれの撮影画像は、
前記車両から前記それぞれの撮影画像に含まれる対象点までの距離を三角測量法により算出する距離算出部に与えられる、
請求項１または２に記載の車載用カメラ。