JP4380838B2

JP4380838B2 - Video image automatic road sign recognition method, road sign automatic recognition device, and road sign automatic recognition program

Info

Publication number: JP4380838B2
Application number: JP10165599A
Authority: JP
Inventors: 平涛汪; 健土居原; 内田　　修; 正夫坂内
Original assignee: Asia Air Survey Co Ltd
Current assignee: Asia Air Survey Co Ltd
Priority date: 1999-04-08
Filing date: 1999-04-08
Publication date: 2009-12-09
Anticipated expiration: 2019-04-08
Also published as: JP2000293670A

Description

【０００１】
【発明の属する技術分野】
本発明は、道路情報データベースを構築するために、車両に搭載されるビデオカメラによって撮影された画像より、リアルタイムに道路標識を抽出し認識する方法及びその装置に関する。
【０００２】
【従来の技術】
一般に、通行止め、進入禁止、一方通行等の道路標識をデータベースに追加したり、更新・削除したりするための手法としては人間の手作業による方法と、画像処理に基づく自動処理を行う方法の二つが存在する。
【０００３】
（１）手作業による方法
人間が自動車で道路を走行しながら道路地図（道路毎に割り付けられた標識案内表でもよい）上の道路標識と、実際の道路上の道路標識とを確認していく。このとき、実際の道路標識と地図上の道路標識とが相違している場合は、地図上のその地点の道路標識を実際の道路標識に書き換える。
【０００４】
また、地図にはない道路標識を走行中に見つけた場合は、地図上のその地点にその新しく設けられた道路標識を書き込む。
【０００５】
また、地図に道路標識が記入されていても実際はその地点にその道路標識が無い場合は、その地点の地図上の道路標識を削除する。
【０００６】
このような処理を手作業で行って、事務所等に帰ってきてから道路情報を記憶しているデータベースの道路情報（位置、道路標識）を、自動車を走行させながら作成してきた道路地図（標識案内表）に基づいて、手作業で書き換える。
【０００７】
すなわち、自動車を走行しながら道路上の標識を１基毎に確認して書き換え作業を手作業で行っているので非常に時間がかかる。
【０００８】
また、作業時間を短くするには、走行中に道路標識を一目見て地図上の標識と相違しているかを判断しなければならないと共に、地図上の位置を瞬時に把握していかなければならないので、地図上に収集した道路標識、位置等は熟練度に左右される。このようなことから、近年は画像処理による方法を用いる場合がある。
【０００９】
（２）画像処理による方法
この画像処理による方法は、図１５に示すように自動車にビデオカメラ１を搭載しながら道路の右側又は左側を撮影し、この撮影データをビデオテープ２に記憶していく。このビデオカメラ１による撮影方法は、道路標識がある場所のみを撮影して行く方法（すなわち、静止画）と、自動車の走行に伴って連続して撮影する方法（すなわち、動画）とがある。
【００１０】
そして、事務所に帰ってきて、ビデオテープ２の道路標識画像を道路標識画像処理装置３で認識する。この道路標識画像処理装置３は、ビデオデッキ４と、ビデオキャプチャーボード内蔵の制御装置５と、表示器６と、キーボード７と、マウス８とで構成されている。
【００１１】
前述の道路標識画像処理装置３による認識は、ビデオデッキ４からの映像信号を制御装置５がビデオキャプチャー（図示せず）を介して読み取り、１フレーム毎に所定レベル以上の画素データに対して２値化処理を行い、道路標識が存在するエリアのデータの輪郭を検出する。
【００１２】
また、このとき色情報に基づいた領域分割を行ってから、前述の輪郭及び色情報（ＲＧＢ）に基づいて標識形状のマッチングを行ったりしている。
【００１３】
そして、検出できた標識情報（輪郭、色）とデータベースに保存されているテンプレート（複数種の道路標識）との相関関数を計算し、最も類似するものをビデオカメラで撮影した道路標識と認識していた。このとき、各々の標識形状に対して異なるアルゴリズムで対処していた。
【００１４】
また、従来においてはＲＧＢ画像を用いているが、ＲＧＢ画像は、一般に照明条件によって画素値が激しく変動する。
【００１５】
このようなことからＲＧＢ表色系からＨＳＶ表色系に変換して利用する場合もあった。
【００１６】
【発明が解決しようとする課題】
しかしながら、従来の道路標識画像処理装置における認識方法は、１フレーム毎に、そのフレーム全体に対して２値化処理、輪郭抽出処理、領域分割処理等を行っている。
【００１７】
このため、標識が映っていないフレームに対しても前述の処理を施さなければならないので、道路標識を認識するための処理に時間がかかる。
【００１８】
一方、ＲＧＢ表色系からＨＳＶ表色系に変換して用いる場合は、ＲＧＢからＨＳＶへの変換は非線形であるため、前述のように１フレーム毎に全体を対象とする処理方式では非常に時間がかかる。
【００１９】
さらに、標識形状を利用して標識領域を検出しようとするとき、各々の標識形状に対して異なるアルゴリズムで対処しようとする従来の手法で行っているので、さらに時間がかかってしまう。
【００２０】
すなわち、従来の道路標識の認識方法では認識処理に時間がかかるという課題があった。
【００２１】
一方、車両に搭載されたカメラから撮影された画像に対して、リアルタイムに処理を実現することが期待されている。この問題を解決するために、すべての処理をハードウェアで行うことで認識処理時間を短縮しようとする傾向もある。
【００２２】
しかし、ハードウェア処理へと移行した場合、コストが高くなり、アルゴリズムの変更による改良が困難となる。昨今のパーソナルコンピュータ等の計算機器における急速な高性能化という状況から考えても、すべての処理をソフトウェア的に行う方がより望ましいと言える。
【００２３】
【課題を解決するための手段】
本発明は、道路を走行しながら撮影手段によって進行方向を撮影したビデオ画像を静止画で画面に表示した後に、動画再生しながら道路標識を認識するビデオ画像の道路標識自動認識方法である。
【００２４】
コンピュータが、
前記静止画において手前側となる道路部分の一方の端から該道路部分の他方の端までを繋げた、半円又は半楕円若しくは放物線である１画素幅の曲線を、前記道路標識を抽出するためのスリット線として設定する工程と、
前記ビデオ画像の動画再生に伴って前記スリット線と重なる動画再生されたビデオ画像上の、前記スリット線が投影される領域に存在するＲＧＢの画像データを抽出し、この画像データをＨＳＶ変換する工程と、
【００２５】
前記ＨＳＶ変換された画像データの値を用いて、色相、飽和度、明度から前記動画再生されたビデオ画像上の前記領域に、予め入力された標識色が存在する存在確率を求める工程と、
前記標識色が存在する確率が高いときには、その画像データを得た前記動画再生されたビデオ画像における前記領域上の位置を求め、この位置に、所定の大きさのエリアを設定する工程と、
前記エリアに存在する前記動画再生のビデオ画像の前記画像データをＨＳＶ変換し、これらの値から前記標識色の存在確率を求める工程と、
前記存在確率が高いときは、前記エリア内の道路標識の輪郭を求め、この輪郭を形成する点列の各点の接線角度を求める工程と、
【００２６】
この接線角度が求められる毎に、予め設けられた標識形状角度分布表の特定角度と前記接線角度との差分の大きさが閾値以下であったとき、その特定角度に投票する工程と、
前記輪郭を一周する毎に、前記投票された投票角度の投票数の分布と前記標識形状角度分布表の特定角度の数の分布と比較し、最も分布の数が類似する前記標識形状角度分布表の道路標識形状を前記道路標識の輪郭形状と認識する工程とを行うこと要旨とする。
【００２７】
実施態様によれば、画面全体を処理する代わりに、スリット上のカラーデータ（ＲＧＢ）のみがＨＳＶへと変換され、道路標識と思しき箇所が検出される。そして、検出できたスリット上の位置から予め設定された範囲の原画像をＨＳＶへと変換されて、道路標識の存在確率値が計算される。
【００２８】
そして、計算を行った道路標識を含む領域内の確率値の分布画像を動的な閾値によって２値化され、ノイズを除去するために領域の拡張と縮小を行う演算によって２値化された画像がフィルタリングされる。引き続き、スリット上から検出できた標識を含む２値化画像の中から実際の標識部分に相当すると考えられる領域が検出され、検出された領域の輪郭に対して、各点の接線角度の計算が行われ、その結果から作成されるヒストグラムの分布状況をもとに領域の形状が判定される。そして、データベースに保存されている形状の等しい標識のテンプレート群とのマッチングを行うことによって認識が行われる。
【００２９】
【発明の実施の形態】
＜実施の形態１＞
図１は本実施の形態の道路標識自動認識装置の概略構成図である。本実施の形態１では、車両を走行させながらビデオカメラ１で撮影したビデオ画像をビデオテープ２に記録し、これをビデオデッキ４で再生して事務所にある道路標識自動認識装置１０（パーソナルコンピュータ）でリアルタイムに道路標識を検出するものである。次に、概略処理を説明する。
【００３０】
図２に示すように、まず、画面に表示された初めのビデオ画像（道路標識と道路等が映っている）上に放物線状の特別なスリットｆｉを設定し（図２のａ）、ビデオデッキ４を操作してビデオテープ２を再生する。
【００３１】
このとき、道路標識自動認識装置１０は、スリット上の画素データの色成分から道路標識の有無を検出し、道路標識がスリット上に存在するときは、そのスリット上の道路標識があると判定した範囲に所定の大きさのウィンドウＷｉ（検出エリアともいう）をかけて、色成分、２値化によって抽出した道路標識の輪郭ｒｉを抽出する（図２のｂ）。
【００３２】
そして、その道路標識の輪郭ｒｉから道路標識形状の種類を決定し、この決定した種類内で前述のエリア内の道路標識の絵画像の特徴に最も類似する標識を引当て、これをビデオカメラ１で検出した道路標識と認識する（図２のｃ）。
【００３３】
このようにして道路標識を自動認識するために、図１に示すように、本実施の形態では、ビデオデッキ４からのビデオ画像をコンピュータの内部に取り込んで画像メモリ１２を介して表示部１３に表示させるビデオキャプチャー１１を備えている。前述の表示部１３にはタッチパネル１４（静電式、圧電式）が備えられている。
【００３４】
また、タッチパネル１４に描かれたスリットｆｉの軌跡をスリット形状として設定するスリット設定処理部１５と、指定された箇所（スリット又はエリア）のＲＧＢ画像をＨＳＶ変換して、フレームメモリ１７に記憶するＨＳＶ変換処理部１６と、フレームメモリ１７のスリット状のデータの色成分から標識がそのスリットに存在するかの仮判定を行う標識有無仮判定処理部１８と、道路標識があるスリットｆｉの範囲を基準とした所定の大きさのウィンドウＷｉを画像メモリ１２に設定する検出エリア設定処理部１９とを備えている。
【００３５】
また、フレームメモリ１７の画像データから道路標識が存在する存在確率ｐを求める標識確率計算処理部２０と、標識の存在確率ｐから標識が存在すると判定する標識存在判定処理部２１と、標識が存在すると判定されたときはフレームメモリ１７の検出エリア内の画像データを２値化する２値化処理部２２とを備えている。
【００３６】
また、フィルタリング処理部２３と、フィルタリングされた画像データの集合から標識の輪郭ｒｉを検出する輪郭検出処理部２４と、輪郭ｒｉの各点の接線角度の計算を行い、この角度のヒストグラムをメモリ２８の標識形状角度分布表と比較し形状の種類を決定する形状種類決定処理部２５と、検査エリア内の標識の画像データの色の濃度分布ＮＱｉを求め、この濃度分布ＮＱｉとデータベース２９に記憶されている標識データの濃度分布Ｎｉとの相関を求め、最も相関が強い画像データの標識をビデオ画像の道路標識とする標識認識処理部２６とを備えている。
【００３７】
前述の標識形状角度分布表及びテンプレートについては後述する。さらに、対象色設定処理部３０と、変換開始指令処理部３１とを備えている。
【００３８】
対象色設定処理部３０は、オペレータによって入力された認識する標識の色ｍｉを全て読み込み、標識確率計算処理部２０に設定するので、１フレームにおけるスリットにかかる青、赤、黄色等の道路標識を全て認識できる。
【００３９】
変換開始指令処理部３１は、ビデオ画像の送出に伴ってビデオデッキ４から送出されるフレーム番号ｋｉが送出される毎に、ＨＳＶ変換処理部１６に対して抽出開始、変換開始指令を送出する。
【００４０】
次に、標識形状角度分布表について説明する。この標識形状角度分布表は、表１に示すように、道路標識の形状符号Ｍｉ（マル、四角、菱形、…）を縦軸欄に配列し、横軸欄に全ての道路標識の角度分布を配列している。例えば、横軸欄には「０度」、「４５度」、「６０度」、「９０度」、「１２０」、……、「３００度」、「３１５度」と配列し、この角度分布と道路標識の形状符号Ｍｉとからなる格子群で、どのような道路標識かを判定ができるようにしている。
【００４１】
【表１】

この標識形状角度分布表は、図１４に示すように、撮影された画像を記憶する平面に対する座標系（Ｘ−Ｙ）から反時計方向に線をなぞり、Ｘ軸方向の線には「０度」が、＋Ｙ軸方向の線には「９０度」が、−Ｘ軸方向の線には「１８０度」が、−Ｙ軸方向の線には「２７０度」がそれぞれ割り当てられるようにしている。すなわち、特定角度、「０度」、「４５度」、「６０度」、「９０度」、「１２０」、……、「３００度」、「３１５度」の１２ポイントの格子を、それぞれの標識の形状符号毎に設けている。
【００４２】
さらに、これらの１２個の角度についてカウンタを設け、ビデオ画像から抽出した輪郭の接線角度を投票できるようにしている。
【００４３】
そして、本実施の形態では、これらの投票角度をヒストグラムで表現し、ヒストグラムの傾向からビデオ画像で得た標識の形状種類を判定できるようにしている。
【００４４】
また、データベース２９におけるテンプレートは、図３に示すように、道路標識の標準的な種類を示す標識形状Ｍｉと、この種類の標識形状Ｍｉに分類される複数の標識がポリゴンデータＨｉで記憶されていると共に、その標識の色Ｇｉ（周囲の色、中央部の色等）と、数字の有無Ｅｉと、これらを特徴づけるための分布（色、形状、内部の形）から求めた分布関数Ｎｉとを対応させている。
【００４５】
上記のように構成された道路標識自動認識装置について図４、図５のフローチャートを用いて以下に動作を説明する。
【００４６】
本説明では、目的とする道路をビデオカメラ１を搭載した自動車ですでに道路を通行したときの正面（やや右又は左側）のビデオ画像をビデオテープ２に録画し、このビデオテープ２をビデオデッキ４で再生する。また、ＨＳＶ変換処理部１６には対象色設定処理部３０が変換対象の道路標識の色を知らせ、かつ変換開始指令処理部３１がビデオデッキ４からのビデオ画像のフレーム番号ｋｉを入力し、該入力毎にＨＳＶ変換処理部１６に変換開始信号を送出している。
【００４７】
前述の再生の初期画面（道路標識、道路が表示されている）において、オペレータは表示部１３のタッチパネル１４にペン入力によって例えば、放物線状のスリットｆｉを描く（Ｓ４０１）。
【００４８】
次に、スリット設定処理部１５がこの放物線状のスリットｆｉの軌跡（Ｙ＝ａＸ²＋ｂ）を求める（Ｓ４０３）。このスリットｆｉは半楕円、半円でもよいが本実施の形態では放物線とする。
【００４９】
また、このスリットｆｉの軌跡は画像メモリ１２に記憶されていて、図６に示すように表示することもできる。
【００５０】
このスリットｆｉについて図６を用いて説明する。自動車を走行させながらビデオカメラ１で進行方向を撮影すると、自動車の走行に伴い、その道路シーンは図６に示すように周囲の道路標識Ｒｉ（他に樹木、ガードレール等）が画面の中心（ｆｏ）から放射状に画面の周辺に向かう方向へと移動して行くことになる。
【００５１】
すなわち、画面の中心ｆｏの近くにあった道路標識Ｒｉ´は、自動車が進むにつれて図６に示すように中心ｆｏから離れて画面の端側に位置した道路標識Ｒｉとなり、道路標識Ｒｉが大きく見えてくる。
【００５２】
従って、スリット上の道路標識Ｒｉに対して認識処理を行うようにすれば精度の高い認識処理を行うことが可能となる。
【００５３】
つまり、画面の下の部分は道路となるため、標識を検出する場合にはその部分を無視しても差し支えないので、図６に示すような放物線状のスリットｆｉを用いて必ずスリットｆｉに道路標識Ｒｉがかかるようにしている。
【００５４】
そして、このスリット設定処理部１５で求めた軌跡（Ｙ＝ａＸ²＋ｂ）をＨＳＶ変換処理部１６に送出する。
【００５５】
次に、ＨＳＶ変換処理部１６は、変換開始指令処理部３１からの変換開始信号が送出されたかどうかを判断する（Ｓ４０５）。
【００５６】
ステップＳ４０５において、変換開始信号の入力があると判断したときは、スリット設定処理部１５で求められたスリットｆｉをビデオ画像にかける（Ｓ４０７）。次に、ＨＳＶ変換処理部１６がスリットｆｉにかかっているＲＧＢのビデオ画像をＨＳＶ変換し、このＨＳＶの画像データをフレームメモリ１７に記憶する（Ｓ４０９）。このＨＳＶ変換は、Ｈが色相（Hue）、Ｓが飽和度（Saturation）、Ｖが明度（Value）である。
【００５７】
この変換された値に基づいて、後述する標識存在確率算出部が道路標識の存在確率値を求める。
【００５８】
次に、標識有無仮判定処理部１８は、標識確率計算処理部２０を用いてフレームメモリ１７のスリットｆｉ上の画像データに設定された色ｍｉ（赤、黄色、青等）の色成分が存在している確率Ｐを求めさせ（Ｓ４１０）、この確率Ｐの値で、道路標識Ｒｉがスリットにかかっているかどうかを判断する（Ｓ４１１）。この存在確率の求め方については後述する。
【００５９】
ステップ４１１においては、Ｓ４１０で得られたスリット上の確率分布によって、スリットｆｉ上に道路標識が存在するかどうかを判断する。具体的にいえば、スリットｆｉ上の確率分布をｐ０（ｉ）とし、平滑化したものをｐ１（ｉ）とする。さらに、ｐ１（ｉ）に対して平滑化を行ってｐ２（ｉ）が得られる。イメージとして、ｐ０（ｉ）、ｐ１（ｉ）、ｐ２（ｉ）を図７に示す。ここで、横軸はスリット上の画素番号ｉである。図７に示すように、もしｐ１（ｉ）がｐ２（ｉ）より連続的に大きくて、かつその空間の積分値がある閾値より上回るとき（図中の陰の部分）、そのスリットの範囲を道路標識が存在する可能の範囲とする。
【００６０】
また、ステップＳ４１１において、スリットｆｉにかかる道路標識の色が存在すると判断したときは、スリットｆｉのその範囲を検出エリア設定処理部１９に知らせる（Ｓ４０９）。
【００６１】
検出エリア設定処理部１９は、知らせられたスリット上の標識の範囲を基準とし、この範囲に所定の大きさ（例えば、道路標識が入る大きさの四角型）の検出エリアＷｉをかける（Ｓ４１９）。
【００６２】
そして、標識確率計算処理部２０は、フレームメモリ１７に記憶されている検出エリア内の画像データの色相（Hue）・飽和度（Saturation）・明度（Value）を元に、処理対象の検出エリアをＸ、Ｙ方向になぞって行きながら標識色である可能性を表す存在確率値を計算する（Ｓ４２１）。
【００６３】
また、この計算は、数１、数２、数３及び数４に示すように行われる。例えば、対象色ｍｉの数をｎとし、各色の色相をＨ_i＝０〜２５５，ｉ＝０，１，２，…，ｎ−１とする。変換しようとする色の色相・飽和度・明度を（ｈ，ｓ，ｖ）とするとき、その色が標識色である確率を次式のように定義する。
【００６４】
【数１】

ここで色相（ｈ）による存在確率は、
【数２】

すなわち、ｈ−Ｈｉの絶対値が小さいと、標識の存在確率が高いことになる。
【００６５】
また、飽和度（ｓ）による存在確率は、
【数３】

ここで、Ｓ_thとＳ_thは定数である。
【００６６】
さらに、明度（ｖ）による存在確率は、
【数４】

ここで、Ｖ_thとＶ_thは定数である。
【００６７】
ｎ＝１の場合、上記の各式のアルゴリズムは単色の検出となる。
【００６８】
前述の式において、色相だけを利用するとしたとき、Ｐ_s（ｓ）＝Ｐ_v（ｖ）＝１とおいた場合のＰ（ｈ，ｓ，ｖ）＝Ｐ_h（ｈ）の変換曲線のイメージを図８に示す。
【００６９】
次に、標識存在判定処理部２１は、Ｐ（ｈ，ｓ，ｖ）の値から標識が存在するかどうかを判断する（Ｓ４２３）。
【００７０】
ステップＳ４２３において、標識が存在すると判断したときは、２値化処理部２２は、前述のようにして得た確率分布のヒストグラムから動的にしきい値を作成し、この所定のしきい値で２値化する（Ｓ４２５）。
【００７１】
次に、図５に示すように、ノイズを除去するため、得られた２値化画像に対して領域の拡張と縮小を行う（Ｓ５０１）。
【００７２】
次に、輪郭検出処理部２４がこの２値化画像から標識の輪郭を検出する（Ｓ５０３）。まず、スリットとかさなる２値化画像のエッジ部分を探す。探索した位置から３×３のマスクで８連結の輪郭線ｒｉを求める。
【００７３】
このステップＳ５０３における輪郭は、図９の左側に示すように、凹凸の多いものとなる。このため、検出した輪郭から以下の処理によってビデオ画像の道路標識の形状を認識する。
【００７４】
最初、形状種類決定処理部２５が輪郭上の点における接線角度を求める計算を行う（Ｓ５０５）。
【００７５】
接線の角度を計算するときには、局所的な最小二乗法を適用する。たとえば、輪郭上のｉ番目の点の接線角度を計算するときには、ｉ−ｗからｉ＋ｗまでの２ｗ＋１個のデータを利用する。さらに、計算時間を短縮するために、計算機の分野で採用されているパイプラインに相当するような仕組みを導入する。具体的には、最小二乗法で接線の角度を計算するとき、各点の座標値（ｘ，ｙ）に対してｘ，ｙ，ｘ²，ｙ²，ｘｙに関する累積値を計算しなければならないが、ｉ番目点においてｘに関する累積Ｓ_x,iの計算を例とすると、
【数５】

となり、ｉ＋１番目点においてはｘに関する累積Ｓ_x,i+1は
【数６】

となる。これにより、Ｓ_x,i+1を計算するための２ｗ＋１回の加算は一回の加算と一回の減算で済むことになる。
【００７６】
ｉ番目の点において計算できたｘ，ｙ，ｘ²，ｙ²，ｘｙに関する各々の平均値をＳ_x,i，Ｓ_y,i，Ｓ_x ² _,i，Ｓ_y ² _,i，Ｓ_xy,iとすると、接線の角度はθ_iは次式で与えられる。
【００７７】
【数７】

上式（７）で求められた接線角度θ_iは、図１０に示すようにπの不確定性が存在する。ここで、点（ｘ_i-w，ｙ_i-w）と点（ｘ_i+w，ｙ_i+w）から求められた接線に垂線を引き、交点を（ｘ’_i-w，ｙ’_i-w）と（ｘ’_i+w，ｙ’_i+w）で表す。もし数８（式８）または数９（式９）が負であれば、数７で計算された接線角度θ_iにπを加算する。
【００７８】
【数８】

【数９】

このとき、形状種類決定処理部２５は、接線角度θ_iを特定角度カウンタ（図示せず）に投票する（Ｓ５０５）。
【００７９】
また、特定角への投票とは、道路標識の候補として抽出した輪郭上の各点の接線角度をγ_iへ投票することである。具体的には、まず各特定角γ_iについて一つのカウンタＣ_jを用意し、このカウンタをクリアする。
【００８０】
次に、計算された輪郭上の各点の接線角度について次式のように投票を行う。
【数１０】

投票された結果はヒストグラム分布として得られる（Ｓ５０９）。
【００８１】
次に、データベース２９に記憶されている標準の標識形状Ｍｉ群を読み（Ｓ５１１）、ヒストグラム分布に最も類似する角度群を有する標準形状をビデオカメラ１でとらえた標識形状と決定する（Ｓ５１３）。例えば、ヒストグラムのピークが明らかでない場合、つまり、０度、４５度、９０度、…、３１５度の投票があったときは、その形状が円であるとするものと仮定して最適円を探索する。ある点数以上の輪郭点が最適円にフィットできた場合には、その輪郭は円であると判断する。また、０度、９０度、１８０度、２７０度のピークがヒストグラムから得られたときは、四角形と判定し、この四角形に最も類似するデータベースの四角形を検出した標識の形状と認識する。どの形状にも分類されない場合には標識でないものと判断する。
【００８２】
次に、標識認識処理部は，輪郭エリア内の画像データの濃度の確率分布ＮＱｉを求め、この分布ＮＱｉに最も類似する標識データをデータベースから検索し（Ｓ５１５）、検索した標識データをカメラでとらえた標識と認識する（Ｓ５１７）。そして、この認識した道路標識の標識番号とビデオ画像のフレーム番号（ビデオデッキのビデオカウンタの値）と、道路番号とを送出する。
【００８３】
具体的には、まず、検出できた道路標識領域の大きさをデータベースの標識データのサイズに合わせて正規化する。次に，対応する２値化画像の横方向と縦方向の両方の積分分布を計算する。縦・横方向の両分布と道路情報データベースに学習させた標識の縦・横方向の分布との相関値を計算して、その相関値が最も大きく、かつ、ある閾値を超える場合、そのテンプレートに相当する標識が検出できたものと判断する。
【００８４】
すなわち、図３に示すように標識形状Ｍｉがマルと判定し、ビデオ画像のエリア内の標識の画像データの分布が分布関数Ｎａ１に最も相関しているときは、エリア内のビデオ画像は車両通行止めの道路標識と認識する。
【００８５】
そして、処理が終わったら、Ｓ４０５に戻る。
【００８６】
＜実施の形態２＞
図１１は実施の形態２の道路標識自動認識装置の外観図である。この道路標識自動認識装置４０は、ＧＰＳ受信機４１と、慣性航法装置４２（ＩＮＳ）と、ビデオカメラ１と、ビデオデッキ４と、パソコン本体部４３と、ディスプレィ１３とを専用線でそれぞれ接続した構成であり、自動車に搭載して道路の進行方向を撮影しながらリアルタイムで道路標識を認識し、データベースの道路標識を今回の道路標識に更新する。
【００８７】
ＧＰＳ受信機４１は、ＤＧＰＳ（Differential Global Positioning System）方式、すなわち相対測位方式を利用するＧＰＳ受信機であり、ＧＰＳ衛星からのＧＰＳ信号（電波）を受信して、ビデオカメラ１の３次元位置座標（ｘ，ｙ，ｚ）を求めて、そのデータを、ＲＳ２３２Ｃインターフェースを経由して、慣性航法装置４２へ送信すると共に、ビデオカメラ１の３次元位置座標（ｘ，ｙ，ｚ）をパソコン本体部４３に送出する。
【００８８】
また、後述するパソコン本体部からのシャッタトリガ信号が送出される毎に、前述の３次元位置座標を求めたときのＧＰＳ時刻からシャッタトリガ信号が入力したときの時刻（以下シャッタ時刻という）をパソコン本体に送出する。
【００８９】
慣性航法装置４２は、ＧＰＳ受信機４１からのビデオカメラ１の３次元位置座標（ｘ，ｙ，ｚ）および図示しない車速エンコーダからの車両速度に基づき、推測航法演算により、走行する車両に固定されたビデオカメラ１の位置座標（ｘ，ｙ，ｚ）を正確に求めると同時に、ビデオカメラの姿勢であるカメラ角（ψ，ω，κ）、すなわち、撮影方向の、地球座標系の南北軸に対する傾き角度ψと、東西軸に対する傾き角度ωおよび鉛直方向に対する傾き角度κをリアルタイムに求める。
【００９０】
また、百万分の１秒の分解能の内部タイマ（図示せず）を有し、ＧＰＳからＰＰＳ信号が入力される毎に（毎正秒に）時刻合わせを行い、２０ｍｓｅｃ毎にＩＮＳで計測した姿勢と位置とをパソコン本体部４３に送出する。
【００９１】
従って、ＧＰＳ時計に対する内部タイマの誤差の蓄積を回避することができる。
【００９２】
この推測航法演算を用いることで、例えばトンネル内部等のＧＰＳ測位ができない場所においても、常に測位が可能となっている
パソコン本体部４３では、図示しない距離センサからの走行距離値を入力し、例えば５ｍ毎にシャッタ信号をビデオカメラ１に送出して道路の進行方向を撮影したビデオ画像を入力する。
【００９３】
また、ビデオカメラ１のビデオ画像をビデオデッキ４にて再生した場合は、そのビデオ画像とフレーム番号とを入力する。
【００９４】
そして、シャッタ時刻とカメラ１の位置座標、カメラ角および撮影時刻が入力されると、これらのデータとビデオ画像とを対応づける。
【００９５】
すなわち、道路標識を撮影したときのビデオカメラ１の３次元位置と撮影時刻、ビデオ画像が対応させられる。具体的には、ＧＰＳ受信機４１より１ｓｅｃ毎に出力されるＰＰＳ信号を用いて慣性航法装置４２が内部タイマーの同期をとり、この内部タイマーの時刻ｔ_kと慣性航法装置４２の位置データと姿勢とを対応させて順次記憶すると共に、ビデオ画像を１コマ毎に、その撮影時刻ｔ_pとを対応させて順次記憶する。
【００９６】
そして、前回のｔ_k-1と今回の時刻ｔｋとの間を１／１００万秒間隔で分割し、この分割時刻ｔ_kkiにおける位置データと姿勢とを補間し、前述の撮影時刻ｔ_pに一致するデータ（位置、姿勢）を見つけ、このデータと今回のビデオ画像（１コマの）とを対応させる。
【００９７】
すなわち、走行中における道路標識を撮影したときのビデオ画像（１コマ）とカメラ位置とカメラ姿勢とが対応させられたことになる。
【００９８】
そして、本実施の形態１の構成によって、ビデオ画像から道路標識を認識し、この認識した道路標識に対応する記憶されている道路標識を更新する。
【００９９】
つまり、本実施の形態２では上記実施の形態の構成に加えて図１２に示すデータベース４５と、カメラパラメータ設定処理部４６と、標識位置計算処理部４７と、更新処理部４８とを備えている。
【０１００】
データベース４５には、道路名（番号）と、標識番号（番号で種類が分かる）と、標識の位置（Ｘ、Ｙ、Ｚ）とが予め記憶されている。
【０１０１】
カメラパラメータ設定処理部４６は、オペレータによって入力された、ビデオカメラの視矢角、カメラサイズ、高さ、光学特性等（総称してカメラパラメータという）を標識位置計算処理部４７に設定する。
【０１０２】
標識位置計算処理部４７は、入力されたカメラ姿勢、カメラ位置、撮影時刻ｔｐ、ビデオ画像（１コマ）とを前述の具体的な記載のようにして対応させる。
【０１０３】
そして、前述のカメラパラメータと、前述のようにして求めたビデオ画像を撮影したときのカメラ位置及び姿勢とを用いて、ビデオ画像内における道路標識とカメラとの相対位置を求め、この相対位置とカメラ位置及び姿勢等からビデオ画像内の道路標識の絶対位置を決定して更新処理部４８に送出する。
【０１０４】
ここでカメラと道路標識との相対位置の計算について説明する。
【０１０５】
図１３に示すようにカメラ座標系（ＸＹＺ）を定義する。ここで、カメラ座標系のＸ軸と画像平面のｘ軸と平行し、Ｙ軸がｙ軸と平行する。カメラ座標系のＺ軸がカメラの向きと同じである。画像平面上で検出された道路標識の中心位置は（ｘ_i，ｙ_i）であり、標識のサイズはｓ_iであるとすると、三角関係によって、検出された道路標識とカメラとの相対位置（Ｘ_i，Ｙ_i，Ｚ_i）は数１１（式１１）で与えられる。
【０１０６】
【数１１】

ここで、ｋはカメラの焦点距離、１ピクセルあたりのサイズなど諸パラメータによって決められる常数であり、Ｓ_iは標識の実際のサイズである。
【０１０７】
次に、更新処理部４８は、認識した標識番号ｋｉと道路番号とを標識認識処理部２６から入力し、標識位置計算処理部４７で求められた標識の絶対位置に対応する位置データのレコードを引当て、そのレコードの標識番号を認識した標識番号ｋｉに更新する。
【０１０８】
従って、認識した道路標識と車両の位置情報、カメラパラメータ等から道路情報を更新できる。
【０１０９】
【発明の効果】
以上のように本発明によれば、ビデオ画像が動画で表示されると、画面中心から画面の周囲に放射状に拡大する道路標識がスリット線にかかり、このときスリットにかかるカラーデータ（ＲＧＢ）のみをＨＳＶ変換して、この色と予め検出するための道路標識の色とから存在確率を判断し、スリット上に存在する可能性があるときは、所定の大きさエリアを画像平面に設定する。
【０１１０】
そして、このエリア内の全域に渡って標識色が存在するときに、そのエリア内の画像データの輪郭に対して、各点の接線角度のヒストグラムを求めて、予め記憶されている道路標識の角度分布に一致するものをビデオ画像の道路標識と決定する。
【０１１１】
次に、ビデオ画像のエリア内の画像データを予め記憶されている標準標識の画像データとマッチングし、道路標識を認識する。
【０１１２】
従って、画像全体を処理する従来手法と比べ、道路標識の検出から認識に至る全てのプロセスにおいて、総合的に処理時間を短縮することができるという効果が得られている。
【図面の簡単な説明】
【図１】本発明の実施の形態１の道路標識自動認識装置の概略構成図である。
【図２】実施の形態１の道路標識自動認識装置の概略を説明する説明図である。
【図３】テンプレートを説明する説明図である。
【図４】本実施の形態１の動作を説明するフローチャートである。
【図５】本実施の形態１の動作を説明するフローチャートである。
【図６】スリットを説明する説明図である。
【図７】道路標識の存在範囲の算出を説明する説明図である。
【図８】色相による存在確率のイメージ図である（ここで、横軸は色相であり、縦軸は強調因子（０〜３）である）。
【図９】エリア内の画像データの輪郭を説明する説明図である。
【図１０】接線角度の算出を説明する説明図である。
【図１１】実施の形態２の道路標識自動認識装置の外観図である。
【図１２】実施の形態２の概略構成図である。
【図１３】カメラと道路標識との相対位置の算出を説明する説明図である。
【図１４】ビデオ画像の道路標識の輪郭のなぞり方法と角度分布表との関係を説明する説明図である。
【図１５】従来の道路標識の認識方法を説明するための説明図である。
【符号の説明】
１ビデオカメラ
２ビデオテープ
４ビデオデッキ
１０道路標識自動認識装置
１１ビデオキャプチャー
１４タッチパネル
１５スリット設定処理部
１６ＨＳＶ変換処理部
１７フレームメモリ
１８標識有無仮判定処理部
１９検出エリア設定処理部
２０標識確率計算処理部
２１標識存在判定処理部
２４輪郭検出処理部
２５形状種類決定処理部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and apparatus for extracting and recognizing road signs in real time from an image taken by a video camera mounted on a vehicle in order to construct a road information database.
[0002]
[Prior art]
In general, there are two methods for adding, updating, and deleting road signs such as closed roads, entry prohibitions, and one-way roads to the database. One is a manual method and the other is an automatic process based on image processing. There is one.
[0003]
(1) Manual method
While a person travels on a road by a car, a road sign on a road map (which may be a sign guide table assigned to each road) and a road sign on an actual road are confirmed. At this time, if the actual road sign is different from the road sign on the map, the road sign at that point on the map is rewritten with the actual road sign.
[0004]
If a road sign that is not on the map is found while driving, the newly provided road sign is written at that point on the map.
[0005]
Further, even if a road sign is written on the map, if there is no road sign at that point, the road sign on the map at that point is deleted.
[0006]
A road map (signs) that has been created while running a car by manually performing such processing and returning road information (location, road sign) in a database that stores road information after returning to the office etc. Manually rewrite based on the guide table.
[0007]
That is, it takes a very long time since the rewriting work is performed manually by checking the signs on the road one by one while driving a car.
[0008]
In addition, to shorten the work time, it is necessary to determine at a glance whether the road sign is different from the sign on the map while driving and to grasp the position on the map instantly. Therefore, the road signs and positions collected on the map depend on the skill level. For this reason, a method based on image processing may be used in recent years.
[0009]
(2) Image processing method
In this image processing method, as shown in FIG. 15, a video camera 1 is mounted on a car and the right or left side of the road is photographed, and the photographed data is stored in the video tape 2. The video camera 1 has a method of photographing only a place where a road sign is present (that is, a still image) and a method of continuously photographing as a vehicle travels (that is, a moving image).
[0010]
Then, returning to the office, the road sign image processing device 3 recognizes the road sign image on the video tape 2. The road sign image processing device 3 includes a video deck 4, a control device 5 with a built-in video capture board, a display 6, a keyboard 7, and a mouse 8.
[0011]
The above-described recognition by the road sign image processing device 3 is performed by reading the video signal from the video deck 4 through the video capture (not shown) by the control device 5 for pixel data of a predetermined level or more for each frame. A value process is performed to detect the contour of data in an area where a road sign exists.
[0012]
Further, at this time, after the region is divided based on the color information, the marker shape is matched based on the above-described contour and color information (RGB).
[0013]
Then, the correlation function between the detected sign information (contour, color) and the template (plural kinds of road signs) stored in the database is calculated, and the most similar one is recognized as a road sign taken with a video camera. It was. At this time, each marker shape was dealt with by a different algorithm.
[0014]
Conventionally, although RGB images are used, pixel values of RGB images generally vary greatly depending on illumination conditions.
[0015]
For this reason, there is a case where the RGB color system is converted to the HSV color system and used.
[0016]
[Problems to be solved by the invention]
However, the recognition method in the conventional road sign image processing apparatus performs binarization processing, contour extraction processing, region division processing, and the like for each frame.
[0017]
For this reason, since the above-described processing must be performed even on a frame where no sign is shown, it takes time to recognize the road sign.
[0018]
On the other hand, when converting from the RGB color system to the HSV color system, the conversion from RGB to HSV is non-linear. Therefore, as described above, the processing method for the entire frame as described above requires a very long time. It takes.
[0019]
Furthermore, when trying to detect a marker region using a marker shape, it takes a longer time since it is performed by a conventional method for dealing with each marker shape using a different algorithm.
[0020]
That is, the conventional road sign recognition method has a problem that it takes time for the recognition processing.
[0021]
On the other hand, it is expected to realize processing in real time for an image taken from a camera mounted on a vehicle. In order to solve this problem, there is also a tendency to reduce the recognition processing time by performing all the processing by hardware.
[0022]
However, when shifting to hardware processing, the cost becomes high, and improvement by changing the algorithm becomes difficult. Considering the situation of rapid performance enhancement in recent computing equipment such as personal computers, it can be said that it is more desirable to perform all processing in software.
[0023]
[Means for Solving the Problems]
  In the present invention, a video image obtained by photographing a traveling direction by a photographing means while traveling on a road is a still image.On the screenThis is a method for automatically recognizing a road sign of a video image for recognizing a road sign while displaying a moving image after being displayed.
[0024]
  Computer
  From one end of the road portion on the near side to the other end of the road portion in the still imageA one-pixel-wide tune that is a semicircle, semi-ellipse, or parabola connected togetherSetting a line as a slit line for extracting the road sign;
  The slit line along with the moving image reproduction of the video imageWhenOverlapIt exists in the area where the slit line is projected on the video image that has been played back.Extract RGB image data,thisA step of HSV converting the image data;
[0025]
  Using the value of the HSV-converted image data,On the video image of the video playbackSaidregionDetermining the existence probability that a pre-input marker color exists;
  When the probability that the marker color exists is high, the image data was obtained.Find the position on the region in the video image that has been reproduced, and at this position,Setting an area of a predetermined size;
  HSV conversion of the image data of the video image of the video playback existing in the area, and obtaining the presence probability of the marker color from these values;
  When the existence probability is high, obtaining the outline of the road sign in the area, obtaining the tangent angle of each point of the point sequence forming the outline;
[0026]
  Every time this tangent angle is determined, the sign shape angle distribution table provided in advancespecificangleThe difference between the tangent angle and the tangent angle was less than the threshold valueWhen thatspecificVoting for angles;
  For each round of the contour, the voted voting angleOf votesDistribution and the sign shape angle distribution tableDistribution of the number of specific anglesAnd the step of recognizing the road sign shape of the sign shape angle distribution table having the most similar number of distributions as the outline shape of the road sign.
[0027]
According to the embodiment, instead of processing the entire screen, only the color data (RGB) on the slit is converted into HSV, and a place that seems to be a road sign is detected. Then, the original image in a preset range from the detected position on the slit is converted into HSV, and the existence probability value of the road sign is calculated.
[0028]
Then, the distribution image of the probability value in the area including the calculated road sign is binarized by a dynamic threshold, and the binarized image is obtained by an operation for expanding and reducing the area in order to remove noise. Are filtered. Subsequently, an area considered to correspond to the actual sign portion is detected from the binarized image including the sign that can be detected from the slit, and the tangent angle of each point is calculated with respect to the outline of the detected area. The shape of the region is determined based on the distribution status of the histogram created from the result. And recognition is performed by matching with the template group of the label | marker with the same shape preserve | saved in the database.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
<Embodiment 1>
FIG. 1 is a schematic configuration diagram of an automatic road sign recognition apparatus according to the present embodiment. In the first embodiment, a video image taken by the video camera 1 while the vehicle is running is recorded on the video tape 2 and is reproduced on the video deck 4 to be automatically recognized by the road sign recognition apparatus 10 (personal computer) in the office. ) To detect road signs in real time. Next, an outline process will be described.
[0030]
As shown in FIG. 2, first, a parabolic special slit fi is set on the first video image (a road sign and a road are shown) displayed on the screen (a in FIG. 2). 4 is operated to reproduce the video tape 2.
[0031]
At this time, the road sign automatic recognition device 10 detects the presence or absence of a road sign from the color component of the pixel data on the slit, and when the road sign exists on the slit, it is determined that there is a road sign on the slit. A window Wi (also referred to as a detection area) of a predetermined size is applied to the range, and the outline ri of the road sign extracted by the color component and binarization is extracted (b in FIG. 2).
[0032]
Then, the type of the road sign shape is determined from the outline ri of the road sign, and a sign most similar to the feature of the picture image of the road sign in the above-mentioned area is allocated within the determined type, and this is assigned to the video camera 1. (C of FIG. 2).
[0033]
In order to automatically recognize the road sign in this way, as shown in FIG. 1, in this embodiment, the video image from the video deck 4 is taken into the computer and is displayed on the display unit 13 via the image memory 12. A video capture 11 to be displayed is provided. The display unit 13 includes a touch panel 14 (electrostatic or piezoelectric).
[0034]
In addition, the slit setting processing unit 15 that sets the locus of the slit fi drawn on the touch panel 14 as the slit shape, and the RGB image of the specified location (slit or area) are HSV converted and stored in the frame memory 17. The conversion processing unit 16, the sign presence / absence provisional judgment processing unit 18 for temporarily judging whether a sign is present in the slit from the color components of the slit-shaped data in the frame memory 17, and the range of the slit fi where the road sign exists And a detection area setting processing unit 19 for setting the window Wi having a predetermined size in the image memory 12.
[0035]
In addition, a sign probability calculation processing unit 20 that obtains an existence probability p where a road sign exists from image data in the frame memory 17, a sign presence determination processing unit 21 that determines that a sign exists from the sign existence probability p, and a sign exist Then, when it is determined, a binarization processing unit 22 that binarizes image data in the detection area of the frame memory 17 is provided.
[0036]
Further, the filtering processing unit 23, the contour detection processing unit 24 that detects the contour ri of the sign from the filtered set of image data, the tangent angle of each point of the contour ri is calculated, and the histogram of this angle is stored in the memory 28. The shape type determination processing unit 25 for determining the type of shape by comparing with the sign shape angle distribution table of the mark, and the color density distribution NQi of the image data of the sign in the inspection area are obtained and stored in the database 29 with the density distribution NQi. And a sign recognition processing unit 26 that obtains a correlation with the concentration distribution Ni of the sign data and uses the sign of the image data having the strongest correlation as the road sign of the video image.
[0037]
The aforementioned sign shape angle distribution table and template will be described later. Furthermore, a target color setting processing unit 30 and a conversion start command processing unit 31 are provided.
[0038]
Since the target color setting processing unit 30 reads all the recognized sign colors mi inputted by the operator and sets them in the sign probability calculation processing unit 20, road color signs such as blue, red, and yellow applied to the slit in one frame are displayed. All can be recognized.
[0039]
The conversion start command processing unit 31 sends an extraction start and conversion start command to the HSV conversion processing unit 16 every time a frame number ki sent from the video deck 4 is sent along with the sending of the video image.
[0040]
Next, the sign shape angle distribution table will be described. In this sign shape angle distribution table, as shown in Table 1, road sign shape codes Mi (circle, square, diamond,...) Are arranged in the vertical axis column, and the angle distributions of all road signs are displayed in the horizontal axis column. Arranged. For example, “0 degrees”, “45 degrees”, “60 degrees”, “90 degrees”, “120”,..., “300 degrees”, “315 degrees” are arranged in the horizontal axis column, and this angular distribution And a road sign shape code Mi, it is possible to determine what kind of road sign.
[0041]
[Table 1]

As shown in FIG. 14, this marker shape angle distribution table traces a line in the counterclockwise direction from the coordinate system (XY) with respect to the plane storing the photographed image, and the line in the X-axis direction shows “0 degree. ”,“ 90 degrees ”is assigned to the + Y axis direction line,“ 180 degrees ”is assigned to the −X axis direction line, and“ 270 degrees ”is assigned to the −Y axis direction line. . That is, a 12-point lattice of specific angles “0 degrees”, “45 degrees”, “60 degrees”, “90 degrees”, “120”,..., “300 degrees”, “315 degrees” It is provided for each sign shape code.
[0042]
Further, a counter is provided for these 12 angles so that the tangent angle of the contour extracted from the video image can be voted.
[0043]
In this embodiment, these voting angles are expressed by a histogram so that the shape type of the sign obtained from the video image can be determined from the tendency of the histogram.
[0044]
Further, as shown in FIG. 3, the template in the database 29 is stored in polygon data Hi as a sign shape Mi indicating a standard type of road sign and a plurality of signs classified into this kind of sign shape Mi. And the distribution function Ni obtained from the color Gi (the surrounding color, the central color, etc.) of the sign, the presence / absence of numbers Ei, and the distribution (color, shape, internal shape) for characterizing them. It corresponds.
[0045]
The operation of the road sign automatic recognition apparatus configured as described above will be described below with reference to the flowcharts of FIGS.
[0046]
In this description, a video image of the front (slightly right or left) when the target road is already driven by a car equipped with the video camera 1 is recorded on the video tape 2, and this video tape 2 is recorded on the video deck. 4 to play. Further, the target color setting processing unit 30 informs the HSV conversion processing unit 16 of the color of the road sign to be converted, and the conversion start command processing unit 31 inputs the frame number ki of the video image from the video deck 4, A conversion start signal is sent to the HSV conversion processing unit 16 for each input.
[0047]
In the above-described initial reproduction screen (road signs and roads are displayed), the operator draws, for example, a parabolic slit fi by pen input on the touch panel 14 of the display unit 13 (S401).
[0048]
Next, the slit setting processing unit 15 makes a locus (Y = aX) of the parabolic slit fi.²+ B) is obtained (S403). The slit fi may be a semi-ellipse or a semi-circle, but is a parabola in the present embodiment.
[0049]
The locus of the slit fi is stored in the image memory 12 and can be displayed as shown in FIG.
[0050]
The slit fi will be described with reference to FIG. When the moving direction is photographed with the video camera 1 while the automobile is running, the road scene is shown in FIG. 6 as the automobile travels, and the surrounding road sign Ri (other trees, guardrails, etc.) is the center of the screen (fo ) And move radially toward the periphery of the screen.
[0051]
That is, the road sign Ri ′ that was near the center fo of the screen becomes a road sign Ri that is located on the edge side of the screen away from the center fo as shown in FIG. Come.
[0052]
Therefore, if the recognition process is performed on the road sign Ri on the slit, the recognition process with high accuracy can be performed.
[0053]
That is, since the lower part of the screen is a road, when detecting a sign, the part can be ignored. Therefore, a parabolic slit fi as shown in FIG. The label Ri is applied.
[0054]
Then, the locus (Y = aX) obtained by the slit setting processing unit 15²+ B) is sent to the HSV conversion processing unit 16.
[0055]
Next, the HSV conversion processing unit 16 determines whether or not a conversion start signal is sent from the conversion start command processing unit 31 (S405).
[0056]
If it is determined in step S405 that a conversion start signal has been input, the slit fi obtained by the slit setting processing unit 15 is applied to the video image (S407). Next, the HSV conversion processing unit 16 performs HSV conversion on the RGB video image applied to the slit fi, and stores the HSV image data in the frame memory 17 (S409). In this HSV conversion, H is hue (Hue), S is saturation (Saturation), and V is lightness (Value).
[0057]
Based on the converted value, a sign presence probability calculation unit, which will be described later, obtains a road sign existence probability value.
[0058]
Next, the sign presence / absence provisional determination processing unit 18 uses the sign probability calculation processing unit 20 to have color components of the color mi (red, yellow, blue, etc.) set in the image data on the slit fi of the frame memory 17. The probability P is determined (S410), and it is determined whether or not the road sign Ri is on the slit with the value of the probability P (S411). A method for obtaining the existence probability will be described later.
[0059]
In step 411, it is determined whether or not there is a road sign on the slit fi based on the probability distribution on the slit obtained in S410. Specifically, the probability distribution on the slit fi is p0 (i), and the smoothed distribution is p1 (i). Further, smoothing is performed on p1 (i) to obtain p2 (i). FIG. 7 shows p0 (i), p1 (i), and p2 (i) as images. Here, the horizontal axis is the pixel number i on the slit. As shown in FIG. 7, if p1 (i) is continuously larger than p2 (i) and the integrated value of the space exceeds a certain threshold value (a shaded portion in the figure), the range of the slit is The range where road signs can exist.
[0060]
If it is determined in step S411 that the color of the road sign relating to the slit fi exists, the detection area setting processing unit 19 is notified of the range of the slit fi (S409).
[0061]
The detection area setting processing unit 19 uses the detected area of the sign on the slit as a reference, and applies a detection area Wi of a predetermined size (for example, a square shape with a road sign) to this range (S419). .
[0062]
Then, the sign probability calculation processing unit 20 selects the detection area to be processed based on the hue (Hue), saturation (Saturation), and lightness (Value) of the image data in the detection area stored in the frame memory 17. An existence probability value representing the possibility of the marker color is calculated while tracing in the X and Y directions (S421).
[0063]
Further, this calculation is performed as shown in Equation 1, Equation 2, Equation 3, and Equation 4. For example, the number of target colors mi is n, and the hue of each color is H_i= 0 to 255, i = 0, 1, 2,..., N−1. When the hue / saturation / lightness of the color to be converted is (h, s, v), the probability that the color is a marker color is defined as follows:
[0064]
[Expression 1]

Here, the existence probability by hue (h) is
[Expression 2]

That is, if the absolute value of h-Hi is small, the presence probability of the sign is high.
[0065]
Also, the existence probability based on the degree of saturation (s) is
[Equation 3]

Where S_thAnd S_thIs a constant.
[0066]
Furthermore, the existence probability based on brightness (v) is
[Expression 4]

Where V_thAnd V_thIs a constant.
[0067]
When n = 1, the algorithm of each of the above equations is single color detection.
[0068]
In the above equation, when only the hue is used, P_s(S) = P_vP (h, s, v) = P when (v) = 1_hAn image of the conversion curve of (h) is shown in FIG.
[0069]
Next, the sign presence determination processing unit 21 determines whether a sign exists from the value of P (h, s, v) (S423).
[0070]
If it is determined in step S423 that a sign is present, the binarization processing unit 22 dynamically creates a threshold value from the histogram of the probability distribution obtained as described above, and uses this predetermined threshold value to be 2. The value is converted (S425).
[0071]
Next, as shown in FIG. 5, in order to remove noise, the obtained binarized image is expanded and reduced (S501).
[0072]
Next, the contour detection processing unit 24 detects the contour of the sign from the binarized image (S503). First, an edge portion of a binarized image that is bulky with a slit is searched. An 8-connected contour line ri is obtained from the searched position with a 3 × 3 mask.
[0073]
As shown on the left side of FIG. 9, the contour in step S503 has a lot of unevenness. For this reason, the shape of the road sign of the video image is recognized from the detected contour by the following processing.
[0074]
First, the shape type determination processing unit 25 performs calculation for obtaining a tangent angle at a point on the contour (S505).
[0075]
When calculating the angle of the tangent, a local least squares method is applied. For example, when calculating the tangent angle of the i-th point on the contour, 2w + 1 pieces of data from i-w to i + w are used. Furthermore, in order to shorten the calculation time, a mechanism equivalent to the pipeline adopted in the computer field is introduced. Specifically, when calculating the angle of the tangent by the least square method, x, y, x with respect to the coordinate value (x, y) of each point², Y², Xy must be calculated, but the cumulative S for x at the i-th point_{x, i}Taking the calculation of as an example,
[Equation 5]

And at the (i + 1) th point, the cumulative S with respect to x_{x, i + 1}Is
[Formula 6]

It becomes. As a result, S_{x, i + 1}The addition of 2w + 1 times for calculating requires only one addition and one subtraction.
[0076]
x, y, x calculated at the i-th point², Y², Xy is the average value of S_{x, i}, S_{y, i}, S_x ² _{, i}, S_y ² _{, i}, S_{xy, i}Then the angle of the tangent is θ_iIs given by:
[0077]
[Expression 7]

Tangent angle θ obtained by equation (7)_iHas an uncertainty of π as shown in FIG. Where the point (x_iw, Y_iw) And point (x_{i + w}, Y_{i + w}) To the tangent line obtained from_iw, Y ’_iw) And (x ’_{i + w}, Y ’_{i + w}). If Equation 8 (Equation 8) or Equation 9 (Equation 9) is negative, the tangent angle θ calculated in Equation 7_iAdd π to.
[0078]
[Equation 8]

[Equation 9]

At this time, the shape type determination processing unit 25 performs the tangent angle θ_iIs voted for a specific angle counter (not shown) (S505).
[0079]
In addition, voting for a specific angle refers to the tangent angle of each point on the contour extracted as a candidate road sign as γ_iTo vote for. Specifically, first, each specific angle γ_iOne counter C for_jAnd clear this counter.
[0080]
Next, voting is performed on the calculated tangent angle of each point on the contour as follows.
[Expression 10]

The voted result is obtained as a histogram distribution (S509).
[0081]
Next, the standard marker shape Mi group stored in the database 29 is read (S511), and the standard shape having the angle group most similar to the histogram distribution is determined as the marker shape captured by the video camera 1 (S513). For example, when the peak of the histogram is not clear, that is, when there is a vote of 0 degrees, 45 degrees, 90 degrees,... 315 degrees, the optimum circle is searched assuming that the shape is a circle. To do. If contour points greater than a certain number of points can fit the optimum circle, it is determined that the contour is a circle. Further, when peaks of 0 degrees, 90 degrees, 180 degrees, and 270 degrees are obtained from the histogram, it is determined to be a quadrangle, and the database quadrangle most similar to the quadrangle is recognized as the shape of the detected sign. If it is not classified into any shape, it is determined that it is not a sign.
[0082]
Next, the sign recognition processing unit obtains the probability distribution NQi of the density of the image data in the contour area, searches for the sign data most similar to the distribution NQi from the database (S515), and captures the searched sign data with the camera. (S517). Then, the recognized road sign number, the frame number of the video image (the value of the video counter of the video deck), and the road number are transmitted.
[0083]
Specifically, first, the size of the detected road sign area is normalized according to the size of the sign data in the database. Next, integral distributions in both the horizontal and vertical directions of the corresponding binarized image are calculated. Calculate the correlation value between both vertical and horizontal distributions and the vertical and horizontal distributions of the signs learned in the road information database. If the correlation value is the largest and exceeds a certain threshold, It is judged that the corresponding label was detected.
[0084]
That is, as shown in FIG. 3, when the sign shape Mi is determined to be round and the distribution of the sign image data in the area of the video image is most correlated with the distribution function Na1, the video image in the area is closed to the vehicle. Recognize as a road sign.
[0085]
When the processing is completed, the process returns to S405.
[0086]
<Embodiment 2>
FIG. 11 is an external view of the automatic road sign recognition apparatus of the second embodiment. This road sign automatic recognition device 40 has a GPS receiver 41, an inertial navigation device 42 (INS), a video camera 1, a video deck 4, a personal computer main unit 43, and a display 13 connected to each other by dedicated lines. It is a configuration, which is mounted on a car and captures the direction of the road while recognizing the road sign in real time, and updates the road sign in the database to the current road sign.
[0087]
The GPS receiver 41 is a GPS receiver that uses a DGPS (Differential Global Positioning System) method, that is, a relative positioning method. The GPS receiver 41 receives GPS signals (radio waves) from GPS satellites and receives the three-dimensional position coordinates of the video camera 1. (X, y, z) is obtained, and the data is transmitted to the inertial navigation device 42 via the RS232C interface, and the three-dimensional position coordinates (x, y, z) of the video camera 1 are stored in the personal computer main unit. 43.
[0088]
Each time a shutter trigger signal is sent from the personal computer main body, which will be described later, the time when the shutter trigger signal is input from the GPS time when the above three-dimensional position coordinates are obtained (hereinafter referred to as the shutter time) is used. Send to the main body.
[0089]
The inertial navigation device 42 is fixed to the traveling vehicle by dead reckoning calculation based on the three-dimensional position coordinates (x, y, z) of the video camera 1 from the GPS receiver 41 and the vehicle speed from a vehicle speed encoder (not shown). In addition, the position coordinates (x, y, z) of the video camera 1 are accurately obtained, and at the same time, the camera angle (ψ, ω, κ) that is the attitude of the video camera, that is, the shooting direction with respect to the north-south axis of the earth coordinate system The tilt angle ψ, the tilt angle ω with respect to the east-west axis, and the tilt angle κ with respect to the vertical direction are obtained in real time.
[0090]
In addition, it has an internal timer (not shown) with a resolution of 1 / 1,000,000 seconds, time is set every time a PPS signal is input from GPS (every second), and is measured by INS every 20 msec. The posture and position are sent to the personal computer main body 43.
[0091]
Therefore, accumulation of errors of the internal timer with respect to the GPS clock can be avoided.
[0092]
By using this dead reckoning calculation, positioning is always possible even in places where GPS positioning is not possible, such as inside tunnels.
In the personal computer main body 43, a travel distance value from a distance sensor (not shown) is input, and for example, a shutter signal is sent to the video camera 1 every 5 m and a video image obtained by photographing the traveling direction of the road is input.
[0093]
When the video image of the video camera 1 is reproduced on the video deck 4, the video image and the frame number are input.
[0094]
When the shutter time, the position coordinates of the camera 1, the camera angle, and the shooting time are input, the data and the video image are associated with each other.
[0095]
That is, the three-dimensional position of the video camera 1 when the road sign is photographed is associated with the photographing time and the video image. Specifically, the inertial navigation device 42 synchronizes an internal timer using a PPS signal output every 1 sec from the GPS receiver 41, and the time t of the internal timer is set._kAnd the position data and attitude of the inertial navigation device 42 are sequentially stored in correspondence with each other, and the video image is taken for each frame at the shooting time t._pAre sequentially stored.
[0096]
And last t_k-1And the current time tk are divided at 1/1 million second intervals, and this divided time t_kkiIs interpolated between the position data and the posture at the above-described shooting time t._pThe data (position and orientation) matching the above is found, and this data is associated with the current video image (one frame).
[0097]
That is, the video image (one frame) when the road sign is photographed while traveling is associated with the camera position and the camera posture.
[0098]
Then, according to the configuration of the first embodiment, the road sign is recognized from the video image, and the stored road sign corresponding to the recognized road sign is updated.
[0099]
That is, the second embodiment includes a database 45 shown in FIG. 12, a camera parameter setting processing unit 46, a marker position calculation processing unit 47, and an update processing unit 48 in addition to the configuration of the above-described embodiment. .
[0100]
In the database 45, road names (numbers), sign numbers (types are known by numbers), and sign positions (X, Y, Z) are stored in advance.
[0101]
The camera parameter setting processing unit 46 sets the viewing angle of the video camera, the camera size, the height, the optical characteristics, etc. (collectively referred to as camera parameters) input to the marker position calculation processing unit 47 by the operator.
[0102]
The sign position calculation processing unit 47 associates the input camera posture, camera position, shooting time tp, and video image (one frame) as described above.
[0103]
Then, using the camera parameters described above and the camera position and orientation when the video image obtained as described above is taken, the relative position between the road sign and the camera in the video image is obtained, and the relative position and The absolute position of the road sign in the video image is determined from the camera position, posture, etc., and sent to the update processing unit 48.
[0104]
Here, calculation of the relative position between the camera and the road sign will be described.
[0105]
As shown in FIG. 13, a camera coordinate system (XYZ) is defined. Here, the X axis of the camera coordinate system is parallel to the x axis of the image plane, and the Y axis is parallel to the y axis. The Z axis of the camera coordinate system is the same as the camera direction. The center position of the road sign detected on the image plane is (x_i, Y_i) And the size of the sign is s_iThe relative position of the detected road sign and the camera (X_i, Y_i, Z_i) Is given by Equation 11 (Equation 11).
[0106]
## EQU11 ##

Here, k is a constant determined by various parameters such as the focal length of the camera and the size per pixel._iIs the actual size of the sign.
[0107]
Next, the update processing unit 48 inputs the recognized sign number ki and the road number from the sign recognition processing unit 26, and records a position data record corresponding to the absolute position of the sign obtained by the sign position calculation processing unit 47. Reserve and update the label number of the record to the recognized label number ki.
[0108]
Accordingly, the road information can be updated from the recognized road sign, vehicle position information, camera parameters, and the like.
[0109]
【The invention's effect】
As described above, according to the present invention, when a video image is displayed as a moving image, a road sign that radiates from the center of the screen to the periphery of the screen is applied to the slit line, and only the color data (RGB) applied to the slit at this time is applied. Is subjected to HSV conversion, and the existence probability is determined from this color and the color of the road sign to be detected in advance, and when there is a possibility of being on the slit, a predetermined size area is set on the image plane.
[0110]
Then, when the sign color exists over the entire area in this area, a histogram of the tangent angle of each point is obtained with respect to the contour of the image data in the area, and the angle of the road sign stored in advance The one that matches the distribution is determined as the road sign of the video image.
[0111]
Next, the image data in the area of the video image is matched with the image data of the standard sign stored in advance to recognize the road sign.
[0112]
Therefore, as compared with the conventional method for processing the entire image, an effect that the processing time can be shortened comprehensively in all processes from detection to recognition of road signs is obtained.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of an automatic road sign recognition apparatus according to a first embodiment of the present invention.
FIG. 2 is an explanatory diagram for explaining an outline of the road sign automatic recognition device according to the first embodiment;
FIG. 3 is an explanatory diagram for explaining a template;
FIG. 4 is a flowchart illustrating the operation of the first embodiment.
FIG. 5 is a flowchart illustrating the operation of the first embodiment.
FIG. 6 is an explanatory diagram for explaining a slit.
FIG. 7 is an explanatory diagram illustrating calculation of a road sign presence range.
FIG. 8 is an image diagram of existence probabilities by hue (here, the horizontal axis is hue, and the vertical axis is enhancement factor (0 to 3)).
FIG. 9 is an explanatory diagram for explaining the outline of image data in an area.
FIG. 10 is an explanatory diagram illustrating calculation of a tangent angle.
FIG. 11 is an external view of a road sign automatic recognition device according to a second embodiment.
FIG. 12 is a schematic configuration diagram of the second embodiment.
FIG. 13 is an explanatory diagram illustrating calculation of a relative position between a camera and a road sign.
FIG. 14 is an explanatory diagram for explaining a relationship between a method for tracing a contour of a road sign of a video image and an angle distribution table;
FIG. 15 is an explanatory diagram for explaining a conventional road sign recognition method;
[Explanation of symbols]
1 Video camera
2 Video tape
4 VCR
10 Road sign automatic recognition device
11 Video capture
14 Touch panel
15 Slit setting processing section
16 HSV conversion processor
17 frame memory
18 Sign presence / absence provisional judgment processing section
19 Detection area setting processor
20 Sign probability calculation processing section
21 Sign presence determination processing unit
24 Contour detection processing unit
25 Shape type determination processing section

Claims

A method for automatically recognizing a road sign of a video image for recognizing a road sign while playing a video after displaying a video image of a traveling direction captured by a photographing means while traveling on a road on a screen as a still image,
Computer
Concatenation from one end of the road portion to be the front side in the still image to the other end of the road section, the curve of one pixel width which is semicircular or semi-elliptical or parabolic, extracting the road sign A step of setting as a slit line for
Step wherein with the video playback of the video image on the video play video image overlapping the slit lines, said slit lines extracts the image data of RGB to be present in the region that is projected to the image data HSV converter When,
Using the value of the image data that has been subjected to HSV conversion to obtain a presence probability that a marker color input in advance exists in the area on the video image reproduced from the moving image based on hue, saturation, and brightness;
When there is a high probability that the marker color is present, obtaining a position on the area in the video image that has been reproduced and obtained the image data, and setting an area of a predetermined size at this position ;
HSV conversion of the image data of the video image of the video playback existing in the area, and obtaining the presence probability of the marker color from these values;
When the existence probability is high, obtaining the outline of the road sign in the area, obtaining the tangent angle of each point of the point sequence forming the outline;
Each time this tangent angle is determined , when the difference between the tangent angle and a specific angle in a pre-set sign shape angle distribution table is equal to or less than a threshold , voting for the specific angle;
The sign shape angle distribution table having the most similar number of distributions by comparing the distribution of the number of votes of the voted voting angle with the distribution of the number of specific angles in the sign shape angle distribution table every time the contour is made a round. And a step of recognizing the shape of the road sign as the outline shape of the road sign.

The existence probability is
The similarity between the color of the HSV image data and the input marker color is defined as a function for each hue, saturation, and lightness, and the product of these functions is the existence probability of the marker color. The method for automatically recognizing a road sign of a video image according to claim 1.

The voting step includes
A sign shape angle distribution table showing a distribution of angle of sides forming the shape of the road sign,
Pre-set for every road sign shape,
When the area is set , an image data group in which pixels as markers in the area are continuous with a certain length is used as the road marker, and the tangent angle of each point of the point sequence forming this contour Calculating
The calculated tangent angle is performed by voting for the specific angle when the magnitude of the difference between the specific angle of the predetermined sign shape angle distribution table and the tangent angle is equal to or less than a threshold value. 3. A method for automatically recognizing a road sign of a video image according to claim 1 or 2.

The recognition of the road sign is
The features of road signs are stored in a normalized distribution in advance for each road sign corresponding to the sign number,
When the contour shape is recognized, the image data after binarization of the road sign is normalized by obtaining an integral distribution in the vertical and horizontal directions, and the normalized distribution and the normal stored in advance 4. The method for automatically recognizing a road sign of a video image according to claim 1, wherein the step of recognizing the one having the highest correlation with the digitized distribution as the photographed road sign is performed.

5. The method for automatically recognizing a road sign of a video image according to claim 4, wherein a sign number and a position coordinate corresponding to the recognized road sign are notified to the outside.

After displaying the video image obtained by photographing a moving direction of the screen still image by the photographing means while traveling on the road, a road sign automatic recognition apparatus for recognizing video image road signs with video playback,
Concatenation from one end of the road portion to be the front side in the still image to the other end of the road section, the curve of one pixel width which is semicircular or semi-elliptical or parabolic, extracting the road sign Slit setting means for setting as a slit line for,
HSV wherein with the video playback of the video image on the video play video image overlapping the slit lines, said slit lines extracts the image data of RGB to be present in the region to be projected, the image data to HSV converter Conversion means;
The similarity between the value of the image data subjected to the HSV conversion and the previously input marker color is defined as a function for each hue, saturation, and brightness, and the product of these functions is defined as the presence probability of the marker color. A sign probability calculation means to
When the slit line is set, a sign presence / absence provisional judgment means for temporarily judging whether the slit line overlaps a road sign of the video image played back on the slit line based on the existence probability of the sign probability calculation means;
When it is determined that there is a possibility that the slit line overlaps the road sign, the position on the video image reproduced by the moving image is detected, and an area of a predetermined size is detected at the detected position. Detection area setting means to be set;
When it is determined by the sign probability calculation means that the probability that the inputted sign color exists in the entire area is high, a contour detection means for detecting the outline of the image data group of the sign color in the area; ,
A group of image data of a predetermined level or more in the area is used as the road sign, and the tangent angle of each point of the point sequence forming the contour is calculated, and the calculated tangent angle is stored in advance on the road sign side. When the magnitude of the difference between the specific angle for specifying the angle and the tangent angle is equal to or less than a threshold value, the counter of the specific angle counts the calculated tangential angle to obtain the distribution of the number of voting angles. And a shape type determining means for recognizing the distribution of the number of voting angles and the shape most similar to a plurality of types of road signs stored in advance as the outline shape of the road sign. Automatic road sign recognition device for images.

When the probability that the marker color exists in the area is high, binarization means for binarizing image data in the area;
Filtering means for removing noise other than unnecessary data other than image data for forming a contour in the binarized image data group and sending the remaining image data to the contour detecting means. 7. The apparatus for automatically recognizing a road sign of a video image according to claim 6 .

The shape type determining means includes
The angle of the side forming the shape of the road sign is a specific angle, a sign shape angle distribution table arranged for each specific angle, a database provided in advance for every road sign,
When the area is set , an image data group in which pixels as markers in the area are continuous with a certain length is used as the road marker, and the tangent angle of each point of the point sequence forming this contour Means for calculating
When the calculated tangent angle is equal to or less than a threshold value , the calculated tangent angle is counted in a counter of the specific angle when the difference between the specific angle in the previously provided sign shape angle distribution table and the tangential angle is less than or equal to a threshold value. Means to
Every time it goes around the contour, the distribution of voting angles voted on the counter is obtained,
7. The video image according to claim 6 , comprising a distribution of the voting angle and means for recognizing a shape most similar to a plurality of types of road signs stored in advance as the outline shape of the road sign. Automatic road sign recognition device.

A database pre-stored in correspondence with the sign number for every road sign, with a normalized distribution of the characteristics of the road sign,
When the contour shape is determined, normalization is performed by obtaining an integral distribution in the vertical and horizontal directions for the image data after binarization of the road sign , and in the normalized distribution stored in advance, 8. The automatic road sign recognition apparatus for video images according to claim 6 or 7 , further comprising a sign recognition means for recognizing the one having the highest correlation with the normalized distribution as the photographed road sign.

The sign recognition means includes
The apparatus for automatically recognizing a road sign of a video image according to claim 9, wherein a sign number corresponding to the recognized road sign is notified to the outside.

After displaying the video image obtained by photographing a moving direction of the screen in a still image by driving while photographing means road, a road sign automatic recognition program that recognizes the video image road signs with video playback,
The computer,
Concatenation from one end of the road portion to be the front side in the still image to the other end of the road section, the curve of one pixel width which is semicircular or semi-elliptical or parabolic, extracting the road sign Means to set as a slit line for,
Wherein with the video playback of the video image on the video play video image overlapping the slit lines, said slit lines extracts the image data of RGB to be present in the region to be projected, means for the image data HSV converter ,
Means for obtaining an existence probability that a pre-input marker color exists in the region on the video image reproduced from the moving image by using the value of the image data subjected to the HSV conversion, from hue, saturation, and brightness;
When the probability that the marker color exists is high , a position on an area on the video image that has been obtained by reproducing the image data is obtained, and an area having a predetermined size is set at the position .
Means for HSV-converting the image data of the video image of the moving image reproduction existing in the area, and determining the presence probability of the marker color from these values;
When the existence probability is high, obtain a contour of the road sign in the area, and determine a tangent angle of each point of the point sequence forming the contour;
Each time the tangent angle is obtained , when the difference between the specific angle of the marker shape angle distribution table provided in advance and the tangent angle is equal to or less than a threshold value, means for voting on the specific angle,
The sign shape angle distribution table having the most similar number of distributions by comparing the distribution of the number of votes of the voted voting angle with the distribution of the number of specific angles in the sign shape angle distribution table every time the contour is made a round. A video image road sign automatic recognition program for executing a function as means for recognizing a road sign shape as a contour shape of the road sign.