JP4892224B2 - 路面標示自動計測システム、装置及び方法 - Google Patents

Description

本発明は、自己の位置と姿勢を計測可能な車輌に設置したカメラで撮影したステレオ画像から、道路標示や路面上のマンホールなどの道路施設を自動的に認識し、その絶対座標を算出する路面標示自動計測システム、装置及び方法に関する。

近年、写真測量の分野において、電荷結合素子（ＣＣＤ）カメラにより撮影されるデジタル画像から、被写体の形状に関する詳細な情報を取得する技術が利用されてきて、地理情報システム（ＧＩＳ）の基となる地図データや環境データを得るためには欠かせない技術となっている。道路地図に関しては、自動車に搭載されたナビゲーションシステムで広く利用されている。

また、車輌制御を目的として、走行中の車線に対する車輌の相対位置を把握するために、車輌に搭載したカメラで撮影されるデジタル画像から路面上の白線を認識する方法が開発されている（例えば、特許文献１参照）。さらに、グローバルポジショニングシステム（ＧＰＳ）を車輌に搭載し、道路施設の位置を計測する方法もある（例えば、特許文献２参照）。
特開２００５−１５７７３３号公報 特開２００３−１３９５３３号公報

現在の道路写真測量においては、撮影した画像から路面標示の絶対座標を取得するためには、工数がかかり広範囲の情報を短時間で効率よく測量できないという問題点があった。

そこで、撮影した画像から自動的に高精度な緯度、経度、標高の絶対座標を算出する路面標示自動計測システム、装置及び方法を提供することを目的とする。

本発明の路面標示自動計測システムは、車輌に搭載され、路面のステレオ画像を撮影するステレオカメラと、車輌に搭載され、ステレオカメラと車輌の位置情報を収集する位置情報収集手段と、ステレオカメラと位置情報収集手段に接続され、ステレオカメラによる撮影と位置情報収集手段による位置情報収集の同期をとる同期装置と、同期装置に接続され、ステレオカメラにより撮影されたステレオ画像を記録する画像記録装置と、同期装置に接続され、位置情報収集手段により収集された位置情報を記録する車輌位置記録装置と、画像記録装置のステレオ画像と、車輌位置記録装置の位置情報を読み込むデータ読み込み部と、ステレオ画像の左右いずれかの第１の原画像を正射影変換し、正射影変換画像を作成する正射影画像作成部と、正射影変換画像の車輌の進行方向と直交する１列毎に含まれる各ピクセルの輝度値の変化量により、路面標示が撮影されたピクセルを白線候補点として抽出し、白線候補点を連結して正射影変換画像上の路面標示を認識する路面標示認識部と、路面標示認識部により認識された正射影変換画像上の路面標示の白線候補点のピクセル座標を逆射影変換して、第１の原画像上の白線中心ピクセル座標を求め、ステレオカメラの位置情報を用いて、第１の原画像上の白線中心ピクセル座標から推定白線相対座標を求め、推定白線相対座標から、第１の原画像と反対側の第２の原画像上の推定白線ピクセル座標を求め、第１の原画像と第２の原画像から縦方向のズレを除去し、それぞれ第１及び第２の偏位修正画像を作成し、第１の原画像上の白線中心ピクセル座標から、第１の偏位修正画像上の白線中心ピクセル座標を求め、第２の原画像上の推定白線ピクセル座標から、第２の偏位修正画像上の白線概略ピクセル座標を求め、第１の偏位修正画像上の白線中心ピクセル座標により、第１の偏位修正画像中から基本テンプレートを作成し、第２の偏位修正画像上の白線概略ピクセル座標により、第２の偏位修正画像中から検索用テンプレートを作成し、基本テンプレートと検索用テンプレートから、相関のある位置を検索して、第２の偏位修正画像上の白線中心ピクセル座標を求め、第２の偏位修正画像上の白線中心ピクセル座標を逆射影変換して、第２の原画像上の白線中心ピクセル座標を求め、第１及び第２の原画像上の白線中心ピクセル座標から、高さを含む白線相対座標を求める相対座標算出部、及び相対座標算出部により算出された白線相対座標を、車輌の位置情報を用いた回転行列により変換して、路面標示の絶対座標を算出する絶対座標算出部を含む路面標示自動計測装置と、路面標示自動計測装置に接続され、結果を記録する計測結果記録装置とを具備することを要旨とする。

さらに、本発明の路面標示自動計測装置は、車輌に搭載されたステレオカメラにより撮影された路面のステレオ画像と、該車輌と該ステレオカメラの位置情報を読み込むデータ読み込み部と、ステレオ画像の左右いずれかの第１の原画像を正射影変換し、正射影変換画像を作成する正射影画像作成部と、正射影変換画像の車輌の進行方向と直交する１列毎に含まれる各ピクセルの輝度値の変化量により、路面標示が撮影されたピクセルを白線候補点として抽出し、白線候補点を連結して正射影変換画像上の路面標示を認識する路面標示認識部と、路面標示認識部により認識された正射影変換画像上の路面標示の白線候補点のピクセル座標を逆射影変換して、第１の原画像上の白線中心ピクセル座標を求め、ステレオカメラの位置情報を用いて、第１の原画像上の白線中心ピクセル座標から推定白線相対座標を求め、推定白線相対座標から、第１の原画像と反対側の第２の原画像上の推定白線ピクセル座標を求め、第１の原画像と第２の原画像から縦方向のズレを除去し、それぞれ第１及び第２の偏位修正画像を作成し、第１の原画像上の白線中心ピクセル座標から、第１の偏位修正画像上の白線中心ピクセル座標を求め、第２の原画像上の推定白線ピクセル座標から、第２の偏位修正画像上の白線概略ピクセル座標を求め、第１の偏位修正画像上の白線中心ピクセル座標により、第１の偏位修正画像中から基本テンプレートを作成し、第２の偏位修正画像上の白線概略ピクセル座標により、第２の偏位修正画像中から検索用テンプレートを作成し、基本テンプレートと検索用テンプレートから、相関のある位置を検索して、第２の偏位修正画像上の白線中心ピクセル座標を求め、第２の偏位修正画像上の白線中心ピクセル座標を逆射影変換して、第２の原画像上の白線中心ピクセル座標を求め、第１及び第２の原画像上の白線中心ピクセル座標から、高さを含む白線相対座標を求める相対座標算出部と、相対座標算出部により算出された白線相対座標を、車輌の位置情報を用いた回転行列により変換して、路面標示の絶対座標を算出する絶対座標算出部と、路面標示の絶対座標を記録装置に保存するデータ保存部とを具備することを要旨とする。

また、本発明の路面標示自動計測方法は、車輌に搭載されたステレオカメラにより撮影された路面のステレオ画像と、該車輌と該ステレオカメラの位置情報を読み込むデータ読み込み工程と、ステレオ画像の左右いずれかの第１の原画像を正射影変換し、正射影変換画像を作成する正射影画像作成工程と、正射影変換画像の車輌の進行方向と直交する１列毎に含まれる各ピクセルの輝度値の変化量により、路面標示が撮影されたピクセルを白線候補点として抽出し、白線候補点を連結して正射影変換画像上の路面標示を認識する路面標示認識工程と、路面標示認識工程により認識された正射影変換画像上の路面標示の白線候補点のピクセル座標を逆射影変換して、第１の原画像上の白線中心ピクセル座標を求めるステップと、ステレオカメラの位置情報を用いて、第１の原画像上の白線中心ピクセル座標から推定白線相対座標を求めるステップと、推定白線相対座標から、第１の原画像と反対側の第２の原画像上の推定白線ピクセル座標を求めるステップと、第１の原画像と第２の原画像から縦方向のズレを除去し、それぞれ第１及び第２の偏位修正画像を作成するステップと、第１の原画像上の白線中心ピクセル座標から、第１の偏位修正画像上の白線中心ピクセル座標を求めるステップと、第２の原画像上の推定白線ピクセル座標から、第２の偏位修正画像上の白線概略ピクセル座標を求めるステップと、第１の偏位修正画像上の白線中心ピクセル座標により、第１の偏位修正画像中から基本テンプレートを作成するステップと、第２の偏位修正画像上の白線概略ピクセル座標により、第２の偏位修正画像中から検索用テンプレートを作成するステップと、基本テンプレートと検索用テンプレートから、相関のある位置を検索して、第２の偏位修正画像上の白線中心ピクセル座標を求めるステップと、第２の偏位修正画像上の白線中心ピクセル座標を逆射影変換して、第２の原画像上の白線中心ピクセル座標を求めるステップと、第１及び第２の原画像上の白線中心ピクセル座標から、高さを含む白線相対座標を求めるステップとを含む相対座標算出工程と、相対座標算出工程により算出された白線相対座標を、車輌の位置情報を用いた回転行列により変換して、路面標示の絶対座標を算出する絶対座標算出工程と、路面標示の絶対座標を記録装置に保存するデータ保存工程とを含むことを要旨とする。

本発明によれば、測量する道路を本路面標示自動計測システムを搭載した車輌で走行して画像及び位置情報を記録し、撮影した画像から路面標示の高精度な絶対座標を自動的に算出することができる。

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。ただし、図面は模式的なものであることに留意すべきである。

本発明の実施の形態による路面標示自動計測システムは、図１に示すように、車輌に搭載され、路面画像を撮影するステレオカメラ１１と車輌の位置情報を収集する位置情報収集手段１０と、ステレオカメラ１１と位置情報収集手段１０に接続され、ステレオカメラ１１による撮影と位置情報収集手段１０による位置情報収集の同期をとる同期装置１２と、同期装置１２に接続され、ステレオカメラ１１により撮影された路面画像を記録する画像記録装置１４と、同期装置に接続され、位置情報収集手段により収集された位置情報を記録する車輌位置記録装置１３と、画像記録装置１４の路面画像と車輌位置記録装置１３の位置情報を読み込んで、路面標示の絶対座標を計測する路面標示自動計測装置１５と、路面標示自動計測装置１５に接続され、結果を記録する計測結果記録装置１６を備える。

ここで、車輌の位置情報を収集する位置情報収集手段１０は、車輌の姿勢情報を得るためのジャイロ姿勢出力装置１０１と、車輌の絶対位置座標を得るためのＧＰＳ受信機１０２と、車輌の走行速度を得るための車輌速度出力装置１０３と、車輌の路面からの高さを得るための車高出力装置１０４を備える。

なお、位置情報収集手段１０に用いている装置は、目的の路面標示の絶対座標を求めるための車輌絶対座標、カメラ相対座標等の情報を収集するための最良の例であって、これらに限定するものではない。また、ジャイロ姿勢出力装置１０１に実装されるジャイロは、コリオリの力を利用する機械式と流体式、またサニャック効果を利用する光学式のいずれの方式のものであってもよい。

次に、路面標示自動計測システムを構成する路面標示自動計測装置１５は、図２に示すように、画像記録装置１４の路面画像と車輌位置記録装置１３の位置情報を読み込むデータ読み込み部１５１と、読み込んだ路面画像から正射影変換画像を作成する正射影画像作成部１５２と、作成された正射影変換画像を分析して、路面上の白線や黄線の標示を認識する路面標示認識部１５３と、正射影変換画像と位置情報から該当路面標示の相対座標を求める相対座標算出部１５４と、さらに相対座標とＧＰＳで得た情報から絶対座標を求める絶対座標算出部１５５と、最終的に得られた結果を計測結果記録装置１６に保存するデータ保存部１５６を備える。

なお、図２に示されてはいないが、路面標示自動計測装置１５には、各部がデータの処理を行うための中央処理回路（ＣＰＵ）と一時記憶メモリーが実装されていることは言うまでもなく、各部固有の一時記憶メモリーを実装してもよいし、共有一時記憶メモリーを実装してもよい。さらに、表示装置や入出力装置を接続することも可能である。

また、この路面標示自動計測装置１５と計測結果記録装置１６は、ともに車輌に搭載されてもよいし、車輌以外の場所に設置されていてもよい。画像記録装置１４の路面画像と車輌位置記録装置１３の位置情報を読み込む際には、物理的に通信ケーブル等で路面標示自動計測装置１５を接続してもよいし、ハードディスクやフレキシブルディスク等の外部記憶媒体を介して路面標示自動計測装置１５に読み込ませても構わない。

つづいて、前述した路面標示自動計測システム及び装置による路面標示自動計測方法について、工程をおって説明する。

（イ） 画像撮影及び位置情報収集
路面標示自動計測システムを搭載した車輌によって、測定対象の道路を走行し、図３に示すように、同期装置１２からの一定間隔（ｔ１、ｔ２、ｔ３、…）の収集命令により、車輌に搭載されたステレオカメラ１１は、路面の左右画像を撮影する。同時に位置情報収集手段１０も、同期装置１２からの一定間隔（ｔ１、ｔ２、ｔ３、…）の収集命令により、図４に示すように、ＧＰＳ受信機１０２によって車輌位置の絶対座標（緯度、経度、標高）を収集し、ジャイロ姿勢出力装置１０１によって車輌の姿勢情報（車輌ロール、車輌ピッチ、車輌ヨー）を収集する。そして、画像と位置情報はそれぞれ収集時刻とともに画像記録装置１４と車輌位置記録装置１３に記録される。

このように、従来の無限遠（消失点）を求めて車輌姿勢を推定する方法とは異なり、必要な車輌位置姿勢情報が測定対象の道路を走行するだけで自動的に記録されるので、工数は走行時間のみであり、広範囲のエリアの測量が容易に行える点が、本発明の効果の１つである。

（ロ） 路面標示自動計測
次に、（イ）で収集した情報を用いて、路面標示自動計測装置１５による具体的な路面標示自動計測処理を行う。

（１） データ読み込み工程：
データ読み込み部１５１が、画像記録装置１４と車輌位置記録装置１３に記録されたデータを路面標示自動計測装置１５に読み込む工程である。

まず、図５に示すように、画像記録装置１４から画像データを読み込む（Ｓ１０）。さらに車輌位置記録装置１３から位置情報データを読み込む（Ｓ１１）。そして、それらのデータの収集時刻が一致するか比較する（Ｓ１２）。一致すれば次の処理に移るが、不一致の場合、画像記録装置１４と車輌位置記録装置１３から次のデータを読み込み、対となるデータが存在する画像データと位置情報データを得る。

データを読み込んだあと、データ処理部２００の道路標示自動計測処理に移るが、この路面標示自動計測処理（Ｓ１３）は、図６と図７に示すフローチャートのように、さらに細分化された工程から成り立っている。

（２） 正射影画像作成工程：
正射影画像作成部１５２が、撮影された路面画像の、カメラ位置とカメラ姿勢情報から道路面を推定し、事前に計測したカメラの取り付け位置とレンズの歪みに関する係数を用いて変換した路面の正射影変換画像を、ステレオ画像（第１及び第２の原画像）のうちの第１の原画像について作成する工程である。以下では、便宜的に第１の原画像を左原画像として説明していく。

まず、図８に示すように事前に計測しておいた、車輌の絶対位置姿勢の計測基準点（ＧＰＳ受信機１０２の測位中心点）を原点とし、ジャイロ姿勢出力装置１０１の姿勢検出軸を座標軸とした座標空間での、左右のステレオカメラレンズ中心の原点と座標軸からの相対位置（Ｘ_０，Ｙ_０，Ｚ_０）と傾き（ψ，ω，κ）を設定する（Ｓ１００）。

さらに、計測しておいたレンズの歪み関する係数（レンズディストーション）を設定する（Ｓ１０１）。

次に、ＧＰＳ受信機１０２の測位中心点を原点とし、ジャイロの姿勢検出軸を座標軸とした空間での、道路面の相対座標（Ｘ，Ｙ，Ｚ）を設定する（Ｓ１０２）。

以上の設定条件から、以下に示す変換式１）〜３）を用いて、ＣＣＤ上の実際の位置であるデバイス座標（ｘ，ｙ）を計算し、この値からピクセル座標を求め射影変換を行う（Ｓ１０３）。なお、図９に基準の相対座標系とカメラ座標系の関連を示す。

カメラ座標系（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）の算出

回転行列Ｒの算出

デバイス座標（ｘ，ｙ）の算出

正射影変換により、図１０に示す左原画像から、図１１に示す左正射影変換画像が作成される。

（３） 路面標示認識工程：
路面標示認識部１５３が、正射影画像作成部１５２で作成された路面の正射影変換画像から、白線や黄線等の路面標示を認識し抽出する工程である。以下において、路面標示は白線がほとんどであるため、限定していない場合は、路面標示を白線と表現する。

まず、得られた路面の正射影変換画像について、図１１に示すように、車輌の進行方向と直角に交わる左右方向のラインを、例えば１０画素間隔で設定し、そのライン上の輝度値の変化量から白線候補を選択する（Ｓ１０４）。

次に、各ラインについて輝度値の平滑化を行う（Ｓ１０５）。平滑化では、対象とする画素から前後３ピクセル分の輝度値の平均値を計算している。具体的に平滑化した場合の元の輝度値と平滑化輝度値のグラフは図１２のようになる。

この平滑化は、後述の処理で、白線端のエッジを検出する際に、微細な輝度値変化によるエッジの検出を抑制するためである。この平滑化により、より正確に白線を識別することができる。

つづいて、輝度値変化点（エッジ）を以下に説明する手順で求める（Ｓ１０６）：
（３．１） Ｓ１０５の処理によって平滑化された輝度値から、対象とする画素とその次の画素の輝度値の差の２乗を求め、これを輝度値変化強度とする。図１３に図１２の平滑化輝度値から得られた輝度値変化強度の状況を示す。

（３．２） （３．１）で求めた輝度値変化強度の値について、対象とする画素の前後３ピクセルの平均値を求め、その平均値が、同じく前後３ピクセル間で最大値である場合を、最終的なエッジとする。

（３．３） さらに、路面は、アスファルト面はアスファルト面で、白線は白線同士で、それぞれ同じ輝度値であると仮定して、求めたエッジ間も輝度値を一定にする処理を行う。この処理を行った結果を図１４に示す。

（３．４） 次に、求めたエッジのピクセル座標と、各エッジ間の平均輝度値を区間情報として取得する。区間情報に詳細には以下のものが含まれる。
処理を行ったラインの進行方向のピクセル座標
区間の開始位置ピクセル座標（開始点のエッジ）
区間の終了位置ピクセル座標（終了点のエッジ）
区間の平均輝度値
区間長（実際の長さの推定値）
ここで、区間長は、射影変換画像作成の際に１ピクセル当りの左右方向と進行方向の解像度を決定しているので、次のように算出できる。ただし、射影変換画像は推定された道路面上の画像であるので、この値は実際の長さの真値ではない。
区間長＝（終了位置ピクセル座標）−（開始位置ピクセル座標）×左右方向スケール

さらに、Ｓ１０６の処理で取得した情報から白線候補点を推定する（Ｓ１０７）：
（３．５） Ｓ１０６の（３．４）で取得した区間情報の区間長と平均輝度値から、白線の形状特徴をもとにした閾値（例えば、白線は概ね幅が２０ｃｍで、輝度値がライン上の平均値より明るい）を用いて、白線候補点を抽出する。図１５に抽出された白線候補点を示しているが、白線以外の路面標示や、アスファルト面の照り返し等のノイズが含まれている。また、個々の区間情報は独立しており、連結した白線としては認識されていない。

（３．６） そこで、（３．５）で抽出した白線候補点について、各候補点間の距離から同一の白線であると推定される点を連結（グループ化）する。グループ化は、同一の白線上の白線候補点であっても、ひび割れや欠落により分割されて抽出されることが多いため、図１６に示すように、例えば左右方向では、基準白線候補点から１０ｃｍ以内にある白線候補点は同一白線であると判定する。また進行方向では、基準白線候補点から３ライン（例えば、１ライン１０ピクセル間隔で、３×１０ピクセル＝３０ピクセル＝３０×０．１５［ｍ／ピクセル］＝４５ｃｍ）以内にある白線候補点は同一白線と判定する。ここで、進行方向の判定範囲が広いのは、基本的に計測車輌の進行方向と同じ向きに白線が設置されていることがほとんどあるため、左右方向よりも進行方向に対して強力にグループ化させるためである。
（３．７） 図１７に示すように、（３．６）の距離によるグループ化の際に、基準白線候補点からの判定対象の白線候補点の方向角を求める。求めた方向角から、同一グループ内で対象の白線候補点よりも計測車輌寄りに存在する３点の白線候補点の方向角の平均値との差を求め、これを方向角変位量θとする。そしてこの方向角変位量θにより、白線候補点のグループ毎に方向角変位量θの標準偏差を求める。これにより、直線と同一の変化量でカーブする白線は標準偏差が極小となり、途中で曲率の変化する白線についても閾値を調整することで抽出可能である。

この（３．６）、（３．７）の処理によって、図１５に示した白線候補点から最終的に抽出された白線は、図１８に示したものとなる。実際に抽出した白線の位置と画像を重ね合わせた例が図１９（ａ）及び（ｂ）であり、複数車線やカーブの白線が正確に抽出されている。

このあと、路面標示と認識された基準白線候補点の色情報を画像情報から取得して、光の三原色（ＲＧＢ）と減法混色の三原色（ＣＭＹ）の各表色系のフィルターを用いて黄線と白線の判断を行う。具体的には、ＲＧＢ構成比が±３％にあるものは白線であり、それ以外でＣＭＹ構成比のＹ（Ｙｅｌｌｏｗ＝Ｒ＋Ｇ）がＣ（Ｃｙａｎ＝Ｇ＋Ｂ）とＭ（Ｍａｇｅｎｔａ＝Ｒ＋Ｂ）の平均よりも１０％以上高い場合は黄線であると判断する。

この工程により、白線について実線だけでなく、破線や曲線などの線種や路面標示を走行位置に関係なく認識できる。

（４） 相対座標算出工程：
相対座標算出部１５４が、路面標示認識部１５３によって白線と認識された部分について、画像から白線の相対座標を求める工程である。

まず、抽出された白線候補点のエッジから白線の中央線を推定し、その中央線の左正射影変換画像上のピクセル座標を原画像→正射影画像変換の逆（逆射影変換）を行って、左原画像上の白線中心ピクセル座標を求める（Ｓ１０８）。

次に、Ｓ１００のステップにおいてカメラ相対位置が設定されているので、その値を使って左正射影変換画像上のピクセル座標から、推定白線相対座標を求める（Ｓ１０９）。

さらに、推定白線相対座標から、右原画像上の推定白線ピクセル座標を求める（Ｓ１１０）。

つづいて、原画像→偏位修正画像の射影変換式を用いて、撮影されたステレオ画像の縦方向のズレを除去し、図２０（ａ）と（ｂ）に示す画像（左右偏位修正画像）を作成する（Ｓ１１１）。

また、左原画像上の白線中心ピクセル座標を、偏位修正画像作成のための射影変換式に代入して、左偏位修正画像上の白線中心ピクセル座標を求める（Ｓ１１２）。

同様に、右原画像上の推定白線ピクセル座標を、偏位修正画像作成のための射影変換式に代入して、右偏位修正画像上の白線概略ピクセル座標を求める（Ｓ１１３）。

次に、左偏位修正画像上の白線中心ピクセル座標と区間情報から、幅を調整した図２０（ｃ）に示す基本テンプレートＴＬを作成する（Ｓ１１４）。

また、右偏位修正画像上の白線概略ピクセル座標と区間情報から、図２０（ｄ）に示す検索用テンプレートＴＲを作成する（Ｓ１１５）。

例えば、左の基本テンプレートＴＬは横１２８ピクセル×縦４ピクセルの大きさとし、右の検索用テンプレートＴＲは横２５６ピクセル×縦４ピクセルの大きさとする。この大きさは次のテンプレートマッチングを効率よく行うために任意に変更できる。

そして、図２０（ｅ）に示すように、得られた検索用テンプレートＴＲ上を、基本テンプレートＴＬを横方向に移動させて、重なっている範囲の輝度値の相関係数を比較する。最も相関係数が高い位置をマッチングポイントとし、右偏位修正画像上の中心白線ピクセル座標の横座標（Ｘ座標）を求める（Ｓ１１６）。

ここで、相関係数は以下のように求める：
（ｉ）基本テンプレートＴＬと検索用テンプレートＴＲの重なっている部分について、輝度値の平均と標準偏差を算出
（ｉｉ）各画素の平均偏差（各画素の輝度値−平均値）を算出
（ｉｉｉ）重なっている画素のお互いの平均偏差を掛け合わせた偏差積を算出
（ｉｖ）偏差積を画素数で除算し偏差積平均を算出
（ｖ）相関係数＝偏差積平均／（右標準偏差×左標準偏差）を算出。

なお、各テンプレートは縦視差を除去した偏位修正画像から得られたものなので、縦方向の座標（Ｙ座標）は同じであるため、縦方向への検索が不要であり、効率的かつ正確に検索できるようになっている。

つづいて、求められた右偏位修正画像上の中心白線ピクセル座標から、原画像→偏位修正画像の変換の逆を行って、右原画像上の中心白線ピクセル座標を得る。

取得した左右原画像上の白線中心ピクセル座標について、Ｓ１００とＳ１０１のステップで設定した、ＧＰＳ受信機１０２からのステレオカメラ１１の相対位置、焦点距離及びレンズ歪みを用いて、白線相対座標を求める（Ｓ１１７）。なお、ここで相対座標の高さ座標値が、推定される道路面から著しくかけ離れている場合は、ミスマッチングとして白線相対座標からは除外する。

この工程により、高速で精度の高い３次元相対座標を算出でき、誤認識された地物を得られた３次元相対座標をもとに路面上ではない地物として排除できる。

（５） 絶対座標算出工程：
絶対座標算出部１５５が、相対座標算出部１５４によって算出した路面標示の３次元相対座標から、その絶対座標を算出する工程である。

まず、ジャイロ姿勢出力装置１０１により計測された車輌の絶対姿勢と、ＧＰＳ受信機１０２によって受信された車輌の絶対座標を設定する（Ｓ１１８）。

そして、前工程で得られた白線相対座標を、Ｓ１１８のステップで設定した車輌絶対位置姿勢の情報に従って回転させて、絶対座標空間での白線絶対座標を求める（Ｓ１１９）。

ここで、前工程で得られた白線相対座標から、白線絶対座標を算出する計算式について、以下に具体例を示して説明する。なお、緯度経度から平面直角座標への変換、及び平面直角座標から緯度経度への逆変換に用いる変換には、国土地理院にて規定された一般的式、また公共測量作業規定に記載された変換式を用いている。

前工程で白線と認識された位置の相対座標を（Ｘ，Ｙ，Ｚ）とする。また、例えば図３に示した、設定撮影間隔ｔ１の時点で、位置情報収集手段１０のＧＰＳ受信機１０２によって取得され、車輌位置記録装置１３に記録された車輌位置の絶対座標を（Ｘ_ｇｐｓ，Ｙ_ｇｐｓ，Ｚ_ｇｐｓ）とする。さらに、同時刻に位置情報収集手段１０ののジャイロ姿勢出力装置１０１によって取得され、車輌位置記録装置１３に記録された車輌の姿勢情報を（車輌ロール、車輌ピッチ、車輌ヨー）とする。

姿勢情報（車輌ロール、車輌ピッチ、車輌ヨー）は、単位が“度”であるので、これを単位が“ラジアン”の傾き（ψ，ω，κ）に、変換式４）により変換する。

〔数４〕
ψ＝（車輌ロール）× π／１８０
ω＝（車輌ピッチ）× π／１８０ ・・４）
κ＝（車輌ヨー）× π／１８０
そして、車輌姿勢の回転行列Ｒは、前述した変換式２）と同じ下記の変換式５）で算出する。

ここで、白線相対座標（Ｘ，Ｙ，Ｚ）の絶対座標を（Ｘ_ｇｒｄ，Ｙ_ｇｒｄ，Ｚ_ｇｒｄ）とすると、絶対座標（Ｘ_ｇｒｄ，Ｙ_ｇｒｄ，Ｚ_ｇｒｄ）は、車輌姿勢の回転行列Ｒと車輌位置の絶対座標（Ｘ_ｇｐｓ，Ｙ_ｇｐｓ，Ｚ_ｇｐｓ）から、次の変換式６）によって算出される。

ここで、変換式５）により変換式７）となり、その展開式をそれぞれ示す。

例えば、実際に得られた値が以下の数値だとする。

白線相対座標（Ｘ，Ｙ，Ｚ）＝（１，５，２）ｍ
車輌位置の絶対座標（Ｘ_ｇｐｓ，Ｙ_ｇｐｓ，Ｚ_ｇｐｓ）＝（５０００，６０００，１００）ｍ
車輌の姿勢情報（車輌ロール、車輌ピッチ、車輌ヨー）＝（１．５，−２．０，６０）度
よって、傾き（ψ，ω，κ）は、
〔数８〕
ψ＝（車輌ロール）× π／１８０＝0.02618 ラジアン
ω＝（車輌ピッチ）× π／１８０＝-0.03491 ラジアン
κ＝（車輌ヨー）× π／１８０＝1.047198 ラジアン
これを変換式５）に代入して、車輌姿勢の回転行列Ｒの各項は、

求めた車輌姿勢の回転行列Ｒと、白線相対座標（Ｘ，Ｙ，Ｚ）及び車輌位置の絶対座標（Ｘ_ｇｐｓ，Ｙ_ｇｐｓ，Ｚ_ｇｐｓ）の数値を変換式７）に代入すると、

したがって、得られた白線の絶対座標は、（Ｘ_ｇｒｄ，Ｙ_ｇｒｄ，Ｚ_ｇｒｄ）＝（4996.224，6003.437，101.9808）となる。

このように、この工程により、白線の相対位置と、車輌の絶対座標及び姿勢情報によって、白線の絶対座標を得ることができる。得られた３次元絶対座標を測量成果として用いることができ、地図作成に応用できる。

（６） データ保存工程：
図５に示すように、データ保存部１５６が、前工程で求めた白線絶対座標を計測結果記録装置１６に保存する工程である。

まず、求められた計測結果を一時記憶メモリーに保存する（Ｓ１４）。

つづいて、次に処理すべき画像及び車輌位置姿勢データがあるか判定して、ある場合は、データ読み出し工程に戻り、新たなデータを読み出し、処理を繰り返す（Ｓ１５）。

一方、最後のデータまで処理が完了した場合は、一時記憶メモリーに保存していた全結果を計測結果記録装置１６に保存する（Ｓ１６）。図２１は、走行中に撮影した連続画像から自動抽出し、計測結果記録装置１６に保存された白線の絶対座標をプロットしたものである。

以上の説明のように、本発明により、対象とする道路を計測車輌で走行し、路面画像と位置情報を連続的に記録し、そのデータから道路上の標示の絶対座標を自動的に算出できる。

なお、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

本発明は、ＧＩＳに利用される道路のデジタル地図情報のためのデジタル測量分野において、効率かつ正確な情報作成に利用できる。

路面標示自動計測システムのハードウェア構成図である。 路面標示自動計測装置のハードウェア構成図である。 路面画像撮影の説明図である。 車輌位置姿勢情報の構成の説明図である。 路面標示自動計測装置の概要フローチャートである。 路面標示自動計測装置のデータ処理部のフローチャートである。 図６に続く路面標示自動計測装置のデータ処理部のフローチャートである。 正射影変換のための位置情報の関連を示す説明図である。 基準の相対座標系とカメラ座標系の関連を示す説明図である。 左原画像である。 正射影変換画像にラインを配置した説明図である。 輝度値と平滑化輝度値を示すグラフである。 輝度値変化強度の状況を示すグラフである。 エッジ間の輝度値を一定にした区間を示すグラフである。 白線候補点のピクセル座標上の分布図である。 白線候補点のグループ化の条件を説明する説明図である。 白線候補点の方向角変位量を説明する説明図である。 白線抽出結果を示すピクセル座標図である。。 （ａ）複数車線の認識結果、及び（ｂ）カーブする白線の認識結果を示す図である。 （ａ）左偏位修正画像、（ｂ）右偏位修正画像、（ｃ）基本テンプレート、（ｄ）検索用テンプレート、及び（ｅ）検索方法を説明する説明図である。 抽出した白線の絶対座標のプロット図である。

符号の説明

１０ 位置情報取得手段
１１ ステレオカメラ
１２ 同期装置
１３ 車輌位置記録装置
１４ 画像記録装置
１５ 路面標示自動測定装置
１６ 計測結果記録装置
１０１ ジャイロ姿勢出力装置
１０２ ＧＰＳ受信機
１０３ 車輌速度出力装置
１０４ 車高出力装置
１５１ データ読み込み部
１５２ 正射影画像作成部
１５３ 路面標示認識部
１５４ 相対座標算出部
１５５ 絶対座標算出部
１５６ データ保存部
２００ データ処理部

Claims (9)

1. 車輌に搭載され、路面のステレオ画像を撮影するステレオカメラと、
   前記車輌に搭載され、前記ステレオカメラと前記車輌の位置情報を収集する位置情報収集手段と、
   前記ステレオカメラと前記位置情報収集手段に接続され、前記ステレオカメラによる撮影と前記位置情報収集手段による位置情報収集の同期をとる同期装置と、
   前記同期装置に接続され、前記ステレオカメラにより撮影された前記ステレオ画像を記録する画像記録装置と、
   前記同期装置に接続され、前記位置情報収集手段により収集された前記位置情報を記録する車輌位置記録装置と、
   前記画像記録装置の前記ステレオ画像と、前記車輌位置記録装置の前記位置情報を読み込むデータ読み込み部と、
   前記ステレオ画像の左右いずれかの第１の原画像を正射影変換し、正射影変換画像を作成する正射影画像作成部と、
   前記正射影変換画像の前記車輌の進行方向と直交する１列毎に含まれる各ピクセルの輝度値の変化量により、路面標示が撮影されたピクセルを白線候補点として抽出し、前記白線候補点を連結して前記正射影変換画像上の前記路面標示を認識する路面標示認識部と、
   前記路面標示認識部により認識された前記正射影変換画像上の前記路面標示の前記白線候補点のピクセル座標を逆射影変換して、前記第１の原画像上の白線中心ピクセル座標を求め、
   前記ステレオカメラの位置情報を用いて、前記第１の原画像上の白線中心ピクセル座標から推定白線相対座標を求め、
   前記推定白線相対座標から、前記第１の原画像と反対側の第２の原画像上の推定白線ピクセル座標を求め、
   前記第１の原画像と前記第２の原画像から縦方向のズレを除去し、それぞれ第１及び第２の偏位修正画像を作成し、
   前記第１の原画像上の白線中心ピクセル座標から、前記第１の偏位修正画像上の白線中心ピクセル座標を求め、
   前記第２の原画像上の推定白線ピクセル座標から、前記第２の偏位修正画像上の白線概略ピクセル座標を求め、
   前記第１の偏位修正画像上の白線中心ピクセル座標により、前記第１の偏位修正画像中から基本テンプレートを作成し、
   前記第２の偏位修正画像上の白線概略ピクセル座標により、前記第２の偏位修正画像中から検索用テンプレートを作成し、
   前記基本テンプレートと前記検索用テンプレートから、相関のある位置を検索して、前記第２の偏位修正画像上の白線中心ピクセル座標を求め、
   前記第２の偏位修正画像上の白線中心ピクセル座標を逆射影変換して、前記第２の原画像上の白線中心ピクセル座標を求め、
   前記第１及び第２の原画像上の白線中心ピクセル座標から、高さを含む白線相対座標を求める相対座標算出部、及び
   前記相対座標算出部により算出された前記白線相対座標を、前記車輌の位置情報を用いた回転行列により変換して、前記路面標示の絶対座標を算出する絶対座標算出部を含む路面標示自動計測装置と、
   前記路面標示自動計測装置に接続され、結果を記録する計測結果記録装置
   とを具備することを特徴とする路面標示自動計測システム。
2. 前記位置情報収集手段がジャイロ姿勢出力装置を含むことを特徴とする請求項１記載の路面標示自動計測システム。
3. 前記位置情報収集手段がＧＰＳ受信機を含むことを特徴とする請求項１または２記載の路面標示自動計測システム。
4. 前記位置情報収集手段が車輌速度出力装置を含むことを特徴とする請求項１ないし３のいずれか１項記載の路面標示自動計測システム。
5. 前記位置情報収集手段が車高出力装置を含むことを特徴とする請求項１ないし４のいずれか１項記載の路面標示自動計測システム。
6. 車輌に搭載されたステレオカメラにより撮影された路面のステレオ画像と、該車輌と該ステレオカメラの位置情報を読み込むデータ読み込み部と、
   前記ステレオ画像の左右いずれかの第１の原画像を正射影変換し、正射影変換画像を作成する正射影画像作成部と、
   前記正射影変換画像の前記車輌の進行方向と直交する１列毎に含まれる各ピクセルの輝度値の変化量により、路面標示が撮影されたピクセルを白線候補点として抽出し、前記白線候補点を連結して前記正射影変換画像上の前記路面標示を認識する路面標示認識部と、
   前記路面標示認識部により認識された前記正射影変換画像上の前記路面標示の前記白線候補点のピクセル座標を逆射影変換して、前記第１の原画像上の白線中心ピクセル座標を求め、
   前記ステレオカメラの位置情報を用いて、前記第１の原画像上の白線中心ピクセル座標から推定白線相対座標を求め、
   前記推定白線相対座標から、前記第１の原画像と反対側の第２の原画像上の推定白線ピクセル座標を求め、
   前記第１の原画像と前記第２の原画像から縦方向のズレを除去し、それぞれ第１及び第２の偏位修正画像を作成し、
   前記第１の原画像上の白線中心ピクセル座標から、前記第１の偏位修正画像上の白線中心ピクセル座標を求め、
   前記第２の原画像上の推定白線ピクセル座標から、前記第２の偏位修正画像上の白線概略ピクセル座標を求め、
   前記第１の偏位修正画像上の白線中心ピクセル座標により、前記第１の偏位修正画像中から基本テンプレートを作成し、
   前記第２の偏位修正画像上の白線概略ピクセル座標により、前記第２の偏位修正画像中から検索用テンプレートを作成し、
   前記基本テンプレートと前記検索用テンプレートから、相関のある位置を検索して、前記第２の偏位修正画像上の白線中心ピクセル座標を求め、
   前記第２の偏位修正画像上の白線中心ピクセル座標を逆射影変換して、前記第２の原画像上の白線中心ピクセル座標を求め、
   前記第１及び第２の原画像上の白線中心ピクセル座標から、高さを含む白線相対座標を求める相対座標算出部と、
   前記相対座標算出部により算出された前記白線相対座標を、前記車輌の位置情報を用いた回転行列により変換して、前記路面標示の絶対座標を算出する絶対座標算出部と、
   前記路面標示の前記絶対座標を記録装置に保存するデータ保存部
   とを具備することを特徴とする路面標示自動計測装置。
7. 車輌に搭載されたステレオカメラにより撮影された路面のステレオ画像と、該車輌と該ステレオカメラの位置情報を読み込むデータ読み込み工程と、
   前記ステレオ画像の左右いずれかの第１の原画像を正射影変換し、正射影変換画像を作成する正射影画像作成工程と、
   前記正射影変換画像の前記車輌の進行方向と直交する１列毎に含まれる各ピクセルの輝度値の変化量により、路面標示が撮影されたピクセルを白線候補点として抽出し、前記白線候補点を連結して前記正射影変換画像上の前記路面標示を認識する路面標示認識工程と、
   前記路面標示認識工程により認識された前記正射影変換画像上の前記路面標示の前記白線候補点のピクセル座標を逆射影変換して、前記第１の原画像上の白線中心ピクセル座標を求めるステップと、
   前記ステレオカメラの位置情報を用いて、前記第１の原画像上の白線中心ピクセル座標から推定白線相対座標を求めるステップと、
   前記推定白線相対座標から、前記第１の原画像と反対側の第２の原画像上の推定白線ピクセル座標を求めるステップと、
   前記第１の原画像と前記第２の原画像から縦方向のズレを除去し、それぞれ第１及び第２の偏位修正画像を作成するステップと、
   前記第１の原画像上の白線中心ピクセル座標から、前記第１の偏位修正画像上の白線中心ピクセル座標を求めるステップと、
   前記第２の原画像上の推定白線ピクセル座標から、前記第２の偏位修正画像上の白線概略ピクセル座標を求めるステップと、
   前記第１の偏位修正画像上の白線中心ピクセル座標により、前記第１の偏位修正画像中から基本テンプレートを作成するステップと、
   前記第２の偏位修正画像上の白線概略ピクセル座標により、前記第２の偏位修正画像中から検索用テンプレートを作成するステップと、
   前記基本テンプレートと前記検索用テンプレートから、相関のある位置を検索して、前記第２の偏位修正画像上の白線中心ピクセル座標を求めるステップと、
   前記第２の偏位修正画像上の白線中心ピクセル座標を逆射影変換して、前記第２の原画像上の白線中心ピクセル座標を求めるステップと、
   前記第１及び第２の原画像上の白線中心ピクセル座標から、高さを含む白線相対座標を求めるステップとを含む相対座標算出工程と、
   前記相対座標算出工程により算出された前記白線相対座標を、前記車輌の位置情報を用いた回転行列により変換して、前記路面標示の絶対座標を算出する絶対座標算出工程と、
   前記路面標示の前記絶対座標を記録装置に保存するデータ保存工程
   とを含むことを特徴とする路面標示自動計測方法。
8. 前記路面標示認識工程は、
   前記輝度値の平滑化を行うステップと、
   前記平滑化された輝度値から、輝度値変化点を求めるステップと、
   前記輝度値変化点間の平均輝度値を含む区間情報を求めるステップと、
   前記区間情報から白線候補点を推定するステップと、
   前記白線候補点を連結して前記路面標示を認識するステップ
   とを含むことを特徴とする請求項７記載の路面標示自動計測方法。
9. 前記路面標示認識工程は、表色系フィルターを用いて、前記路面標示の線種を認識するステップをさらに含むことを特徴とする請求項８記載の路面標示自動計測方法。