JP3822468B2 - 画像処理装置及びその方法 - Google Patents
画像処理装置及びその方法 Download PDFInfo
- Publication number
- JP3822468B2 JP3822468B2 JP2001218812A JP2001218812A JP3822468B2 JP 3822468 B2 JP3822468 B2 JP 3822468B2 JP 2001218812 A JP2001218812 A JP 2001218812A JP 2001218812 A JP2001218812 A JP 2001218812A JP 3822468 B2 JP3822468 B2 JP 3822468B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- boundary line
- backprojection
- boundary
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＴＶ・ビデオカメラなどから入力される時系列画像から、ある平面上に存在する境界線を安定に検出することに用いられるものであり、画像情報に基づいて高速に機器の制御を行うことに有用な画像処理装置及びその方法に関する。
【０００２】
例えば、車両に取り付けたカメラから得られる時系列画像において道路面上の白線を安定に検出することなどに用いられる。
【０００３】
【従来の技術】
従来から、自動車に搭載したカメラから得られる時系列のカメラ画像から平面（道路面）上の境界線（白線）を検出する方法としてさまざまな画像処理技術が提案されてきた。
【０００４】
そのひとつに、前処理として、白線と道路面の輝度勾配に着目して、カメラ画像上でエッジ強度の二値化を行い、白線候補を限定する方法がある。
【０００５】
この二値化したカメラ画像に対し、白線のテンプレートを複数用意してテンプレートマッチングにより白線を検出する方法や、複数の白線候補を設定し、仮定した白線上に最も多くのエッジ点が存在する白線候補を白線として検出する方法などがある。
【０００６】
これらの方法においては、まず前処理であるエッジ強度の二値化処理のためのしきい値を、天候条件、照明条件の変化によらず最適な値に設定するのが困難である。
【０００７】
また、車両前方の白線を検出する場合には、一般的にカメラの光軸が車両の進行方向と平行やや下向きになるようにカメラを設置する。このようにカメラを設置した場合、図５に示すように、カメラ画像上において走行レーンの左側の白線は画像中央付近から左下方向への直線、一方右側の白線は右下方向への直線、または曲線となる。このとき、図６に示すように、車両が走行レーン内のどこに位置するかによってカメラ画像上で白線の傾きは変化する。
【０００８】
つまり、テンプレートマッチングによる白線検出においては、計算量を削減するために画像上に探索領域を設定するが、車両の走行位置によって白線の傾きが異なるため探索領域を適応的に変える必要があり、そのための探索領域設定の処理が複雑となる。
【０００９】
同様に、仮定した白線候補上で最も多くエッジ点が存在するものを白線として検出する方法では白線候補の方向を設定する必要があるが、車両の走行位置によって白線の傾きが異なるため、境界線候補の方向設定の処理が複雑になることが考えられる。
【００１０】
さらに、テンプレートマッチングによる白線検出においては、カメラ画像上では、近傍と遠方で白線の幅が異なることと、さらに、曲線などに対応するため、多数のテンプレートを用意する必要があり、このテンプレートの選択などで処理が複雑になるという問題もある。
【００１１】
【発明が解決しようとする課題】
上述したように、エッジ検出に二値化などのしきい値処理を必要とする境界線検出では、雨天時などの撮像状況が悪いときに対応するしきい値設定が難しく、ロバストな境界線検出が困難である。
【００１２】
また、従来の境界線検出では、現在のフレームで境界線を検出したときに、その境界線と過去に検出された境界線との対応付けを行っていなかったため、車両の振動等により画像が上下動した後などに、検出精度が落ちる問題がある。
【００１３】
また、カメラから取り込まれた時系列画像上で境界線を検出する方法では、車両が走行レーン上の走行位置によって、カメラ画像上の白線の傾きが変化するため、領域設定や方向設定などの処理が複雑になり計算量が問題となる。
【００１４】
さらに、テンプレートマッチングにより白線を検出する方法では、カメラから取り込まれた時系列画像上では、手前側と奥側で境界線の線幅、傾きなどが異なるため、多数のテンプレートを用意する必要がある。また、テンプレートを切り替える判定のための処理も必要になり、計算量が増加する。
【００１５】
そこで、本発明は、平面における消失点に向かう境界線を確実に、かつ、計算量が少なく検出できる画像処理装置及びその方法を提供する。
【００１６】
【課題を解決するための手段】
請求項１の発明は、平面と、消失点に向かって延びる境界線が撮影されている時系列画像を取り込む画像取得手段と、前記画像取得手段によって取り込まれた時系列画像の前記平面への逆投影画像を生成する逆投影画像生成手段と、前記逆投影画像生成手段によって生成された逆投影画像上で前記境界線を検出する境界線検出手段と、を具備し、前記逆投影画像生成手段は、前記時系列画像上での各点の輝度に基づくエッジ情報を前記平面へ逆投影することで逆投影像を生成し、前記境界線検出手段は、前記逆投影画像生成手段によって生成された逆投影画像に基づいて境界線候補を検出する境界線候補検出手段と、前記境界線候補検出手段によって検出した境界線候補群から所定の条件に基づいて境界線を選択する境界線選択手段と、を具備し、前記境界線候補検出手段は、前記逆投影画像生成手段によって生成された逆投影画像上で境界線候補線分を抽出する線分抽出手段と、前記線分抽出手段によって抽出した境界線候補線分と、過去の時系列画像で検出された境界線候補の対応付けを行う対応付け手段と、前記対応付け手段において対応のとれた境界線候補線分を境界線候補に統合することにより境界線候補を更新する境界線候補更新手段と、前記対応付け手段において対応のとれなかった境界線候補線分を新たに境界線候補として生成する境界線候補登録手段と、を具備したことを特徴とする画像処理装置である。
【００１７】
請求項２の発明は、平面と、消失点に向かって延びる境界線が撮影されている時系列画像を取り込む画像取得手段と、前記画像取得手段によって取り込まれた時系列画像の前記平面への逆投影画像を生成する逆投影画像生成手段と、前記逆投影画像生成手段によって生成された逆投影画像上で前記境界線を検出する境界線検出手段と、を具備し、前記逆投影画像生成手段は、前記時系列画像上での各点の輝度に基づくエッジ情報を前記平面へ逆投影することで逆投影像を生成するものであって、前記時系列画像上での各点における輝度の微分ベクトルを生成する微分ベクトル生成手段と、前記時系列画像上での各点における境界線の方向に対する法線ベクトルを生成する法線ベクトル生成手段と、前記時系列画像上での各点における前記微分ベクトル生成手段で求めた微分ベクトルと前記法線ベクトル生成手段で求めた法線ベクトルの内積を計算する内積計算手段と、前記各点における前記内積計算手段で計算した内積値を前記平面へ逆投影変換してエッジ逆投影像を生成する逆投影変換手段と、を具備したことを特徴とする画像処理装置である。
【００２７】
本発明は、シーンの撮影によって得られる時系列画像を用い、その時系列画像を平面に逆投影した逆投影画像を生成し、その逆投影画像上で境界線の検出を行うものである。
【００２８】
例えば、入力画像を車両に搭載したカメラから得られる時系列画像とし、逆投影する平面を道路面、検出対象である境界線を道路面上の白線とすると、各フレームで複数の境界線候補線分を検出してフレーム間で境界線候補として対応を取り、この境界線候補が過去にどれくらい検出されているか等の各境界線候補の属性値により白線を選択するため、あるフレームで白線が検出されなくても影響が小さく、時間軸方向でのロバスト性が高い。
【００２９】
また、境界線を安定に検出するには正しい境界線候補を検出する必要があるが、この境界線候補検出の基本処理である境界線候補線分抽出処理は、二値化等のしきい値処理を行わないので、高いロバスト性を実現できる。
【００３０】
また、この境界線候補線分抽出処理は、境界線候補線分がもつべき属性の判定を厳しい条件で行っている。この結果得られた境界線候補線分を用いて境界線を検出するため、誤検出が少ない。
【００３１】
さらに、この境界線候補検出処理は図５のような時系列画像を平面上に逆投影した逆投影画像上で行っている。時系列画像上の境界線は、逆投影画像上ではその境界線が直線であれば画像の垂直方向に存在する直線、曲線であればほぼ一定の曲率でカーブし、幅一定の平行な線群になる。つまり、車両の走行レーン上の走行位置変化は、図６に示すように白線の平行移動となる。このため水平方向にピークの探索を行い、垂直方向に追跡を行うという簡単な処理で境界線候補を検出でき、計算量も低減できる。
【００３２】
【発明の実施の形態】
以下、本発明の一実施形態である画像処理装置２０について、図１から図１２を用いて説明する。
【００３３】
図１に、本実施形態の画像処理装置２０の構成を示す。
【００３４】
本実施形態の画像処理装置においては、「平面」とは道路面のことであり、「境界線」とは走行レーンをなす白線や路肩のことであるが、環境を屋内にした場合には平面は床、通路などの面であり、境界線は床、通路などと壁の境界である。また、「逆投影画像」とは、図５に示すように、カメラ画像をある平面に投影処理した画像である。つまり、本実施形態でいう逆投影画像とは、道路面を真上から法線方向に見た図になる。また、「消失点」とは、車両の進行方向を撮影した時系列画像においては、静止体がわき出してくる点をいう。
【００３５】
画像処理装置２０は、画像を時系列に取り込むことが可能な装置である画像取り込み部１４により得られた時系列画像から、逆投影画像生成部１により平面への逆投影画像を生成する。
【００３６】
次に、逆投影画像生成部１で生成された逆投影画像に対し、境界線検出部２より、平面上の境界線を検出する。
【００３７】
この画像処理装置２０は、パソコンなどのコンピュータによって、下記で説明する各部の機能をプログラムすることによって実現できる。
【００３８】
以下、各部の具体的な構成について述べる。
【００３９】
（１）画像取り込み部１４
画像取り込み部１４は、時系列画像は取得可能なＴＶカメラであり、道路を走行する車両の前部に取り付けられ、進行方向を撮影している。
【００４０】
（２）逆投影画像生成部１
図２に示すように、逆投影画像生成部１は前記時系列画像から平面への逆投影画像を生成するものである。
【００４１】
そして、時系列画像上の各点の微分ベクトルを生成する微分ベクトル生成部３、時系列画像上の各点を逆投影画像上に投影した場合にその点を通る境界線を求め、その境界線を時系列画像上に戻したときの法線ベクトルを生成する法線ベクトル生成部４、時系列上の各点について微分ベクトルと法線ベクトルの内積を計算する内積計算部５、この内積計算した値を平面に逆投影することでエッジ逆投影画像を生成する逆投影変換部６からなる。
【００４２】
（２−１）微分ベクトル生成部３
微分ベクトル生成部３において、１次微分フィルタなどで前記時系列画像上の各点の輝度について微分ベクトル（ｄｘ, ｄｙ）を計算する。つまり、輝度勾配を計算する。
【００４３】
例えば、３×３、５×５のソーベルフィルタなどを用いて、水平方向エッジｄｘ、垂直方向エッジｄｙを求めることにより微分ベクトルを生成する。
【００４４】
（２−２）法線ベクトル生成部４
法線ベクトル生成部４において、前記時系列画像上で各点を通る境界線を仮定する。
【００４５】
この境界線が曲線の場合は、連続したフレーム間で曲率がほとんど変化しないものとみなし、前フレームに後述する境界線外挿部９で求めた円弧の曲率を用いて境界線を仮定する。そして、各点における、この境界線の法線方向を法線ベクトルとする。すなわち、ある点Ｐ１における、曲線状の境界線に対する接線と直交するベクトルが、法線ベクトルである。
【００４６】
なお、境界線が直線の場合には、その直線と直交する法線方向を求め、これを各点共通の法線ベクトルとする。
【００４７】
図７にカメラ画像を示す。このカメラ画像上の上限ラインと下限ラインの間の逆投影変換領域について逆投影画像を生成する。
【００４８】
カメラ画像における上限ラインより上の画像は、遠方であり手前側に比べ解像度が低く境界線検出の精度が低下するため、この領域の境界線は逆投影画像上では検出しない。この上限ラインは無限遠点の下側に設定する。
【００４９】
また、下限ラインとは、カメラ画像に車両のボンネットなどが映っている場合に除外するために設定し、その下限は画像下端である。
【００５０】
この逆投影画像変換領域外の境界線は、相対的に解像度の高い逆投影変換領域で求めた境界線の曲率を用いて外挿する。
【００５１】
具体的な法線ベクトルの求め方は、前フレームでの境界線外挿部９により求めた逆投影画像上での参考曲線の曲率をカメラ画像上に変換することで、図７に示す点線のように点Ｐ１を通る境界線を仮定する。Ｐ１におけるこの境界線の法線方向をＰ１の法線ベクトルｎ１（図７中では、ｎ１の上に矢印を付している）として求める。
【００５２】
このように、過去（前フレーム）で検出された逆投影画像上の参考曲線の曲率を、カメラ画像上に変換して利用することで、曲線上のどの点であっても境界線の法線方向のエッジ強度を検出することができる。
【００５３】
この法線ベクトル生成部４において境界線を曲率ではなく二次微分係数を用いて放物線で仮定することもできる。
【００５４】
また、境界線を近似する方法は、本実施形態のような二次曲線に限定するものではなく、多次の多項式などで近似することも考えられる。
【００５５】
（２−３）内積計算部５
内積計算部５において、前記時系列画像上の各点の前記微分ベクトルと前記法線ベクトルの内積を計算することにより、境界線の法線方向のエッジ強度を求める。
【００５６】
この内積値の値は、境界線の左側のエッジは正の値になり、右側のエッジは負の値となる。その理由は、道路に白線が描かれているので、左側のエッジは、白から黒の輝度勾配（微分ベクトルの値）を持ち、逆に、右側のエッジは、黒から白の輝度勾配（微分ベクトルの値）を持つからである。
【００５７】
（２−４）逆投影変換部６
逆投影変換部６において、前記内積値を各画素のエッジ情報として平面へ逆投影したエッジ逆投影画像を生成する。
【００５８】
つまり、図８に示すように、境界線の左側のエッジは正の画素値（白）をもち、右側のエッジは負の画素値（黒）を有するスカラー画像を生成できる。この理由は、上記したように境界線の左側のエッジは正の値になり、右側のエッジは負の値となり、正を白の画素値に、負を黒の画素値で表しているからある。
【００５９】
このスカラ画像上において、境界線は画像下側でほぼ垂直、画像上側に行くにしたがってほぼ一定の曲率でカーブする平行な線群になり、この後の検出処理が容易になる。
【００６０】
（３）境界線検出部２
図３に示すように、境界線検出部２は、逆投影画像上で境界線候補を検出する境界線候補検出部７、境界線候補検出部７で検出した境界線候補群から実際の境界線を選択する境界線選択部８、境界線選択部８で選択された境界線の奥行き部分を外挿する境界線外挿部９、検出した境界線情報から消失点を推定する消失点推定部１０から構成される。
【００６１】
（３−１）境界線候補検出部７
図４に示すように、境界線候補検出部７は、逆投影画像上で境界線候補線分を抽出する線分抽出部１１、この線分抽出部１１で抽出した白線候補線分と過去の時系列画像において登録された境界線候補との対応付けを行う境界線候補更新部１２、また、この線分抽出部１１で抽出した境界線候補線分を統合して新たに境界線候補を登録する境界線候補登録部１３から構成される。
【００６２】
（３−１−１）線分抽出部１１
まず、線分抽出部１１は、前処理として、画像全体を平滑化してノイズ成分などを除外する。この平滑化にはガウシアンフィルタなどを用いる。
【００６３】
次に、逆投影画像生成部１で生成した逆投影画像の水平ラインを探索して、正の領域、負の領域それぞれでピークを求める。
【００６４】
ピークが求められたら探索するラインを垂直方向に１画素ずらして同様にピークを求める。
【００６５】
垂直方向に移動する前後で、水平ラインにおけるピーク位置のずれがしきい値以下であれば、接続して次のラインに移り同様の処理を繰り返す。この処理を逆投影画像すべてにおいて行うことで、正のピークを接続した線分と、負のピークを接続した線分が生成される。
【００６６】
図９に示すように、これらの抽出された線分の中で、正負ペアで存在する線分を境界線候補線分として抽出する。これは、白線の左側エッジと、右側エッジとが常に対になっているからである。
【００６７】
（３−１−２）境界線候補更新部１２
境界線候補更新部１２は、前フレームまでで検出されている境界線候補があれば、優先度順にソートして、順番を並び替えて記憶している。すなわち、それぞれの境界線候補は、持続時間、平均エッジ強度、検出時間、消失時間などを属性値として同時に記憶されている。ここで、「持続時間」とはこの境界線候補が何フレーム連続で検出されているか、「検出時間」とはこの境界線候補が初めて検出されてから何フレーム経過しているか、「消失時間」とはこの境界線候補が不検出になってから何フレーム経過しているか、を表す。
【００６８】
そして、優先度は境界線候補の持続時間、平均エッジ強度、検出時間、消失時間等で決定する。
【００６９】
次に、優先度の高い境界線候補から、抽出された境界線候補線分をマージできるか判断する。
【００７０】
具体的には、境界線候補線分と、境界線候補のエッジ強度、傾きなどの差がしきい値以下であれば、同一の境界線であるとして境界線候補線分を境界線候補にマージして、統合させる。
【００７１】
複数の境界線候補線分を、一つの境界線候補にマージする場合には、これら複数の境界線候補線分の間で接続可能であるかを判断する。
【００７２】
具体的には、境界線候補線分の間で、傾き、境界線の幅、エッジ強度、横方向の位置などの差が全てしきい値以下であれば、これらの境界線候補線分は同一の境界線候補とみなしマージする。
【００７３】
そして、境界線候補線分が境界線候補にマージされたら、持続時間等の各属性値を更新する。
【００７４】
（３−１−３）境界線候補登録部１３
境界線候補登録部１３は、境界線候補更新部１２で過去に検出済みの境界線候補にマージされなかった残りの境界線候補線分の中で、手前側にあり、かつ、しきい値以上の長さを有するものがあれば、新たに境界線候補として登録する。
【００７５】
これは、手前側は奥側に比べ解像度が高く、信頼性の高い境界線候補線分が抽出されているからである。その境界線候補線分と滑らかに接続できると判断される奥の方の境界線候補線分をマージして新しい境界線候補として登録する。
【００７６】
（３−２）境界線選択部８
境界線選択部８は、この更新、または新たに登録された境界線候補の中から走行車線の左右に対応すると思われる境界線を、境界線候補の水平位置、エッジ強度、左右の境界線候補間隔などの条件により、選択する。
【００７７】
（３−３）境界線外挿部９
境界線外挿部９は、左右の白線が検出されたら、それぞれの境界線の各点について曲率を計算し、それら全ての単純平均をとる。
【００７８】
その曲率の平均を用いて図１０に示すように、円弧で境界線の奥側を外挿する。また、境界線の各点の曲率に対して重み付けを行い、その重み付き平均値を用いて外挿することもできる。このようにして求められた連続した曲線は、参考曲線である。
【００７９】
これは、逆投影画像上では、境界線の曲率をほぼ一定にみなすことができることに着目している。また、手前側の境界線候補線分は奥の方に比べて情報量も多く、曲率を安定に求めることができるので、手前から得られる曲率で奥の方のおおまかな境界線を当てはめることが可能である。
【００８０】
また、境界線外挿部９において、参考曲線を円弧に当てはめるのではなく放物線にあてはめることもできる。逆投影画像上においてカーブは曲率一定の円弧で考えるのが妥当であるが、二次微分係数で外挿した放物線で扱う方が処理的には容易であるし、精度劣化もそれほどない。
【００８１】
また、二次曲線だけでなく３次以上の多項式で境界線を近似することも可能である。
【００８２】
最後に、図１１に示すように、逆投影画像上で求めた参考曲線の座標値をカメラ画像上に変換する。
【００８３】
（３−４）消失点推定部１０
消失点推定部１０では、検出した境界線の情報から消失点の位置を推定する。
【００８４】
図１２はカメラから得られた時系列画像例であり、左境界直線、右境界直線はそれぞれ検出された境界線の手前側を１次微分の平均で直線近似したものである。このカメラ画像の手前側部分の境界直線方向からこのフレームでの消失点vp1を推定する。この消失点を基に次フレームの逆投影画像生成を行う。
【００８５】
また、このvp1を仮の消失点として、前フレームでの消失点vp0と現フレームの消失点vp1の間に内挿した点を消失点とする方法もある。これは、除々に消失点を修正することによって、フレーム間で逆投影画像の大きな変化をなくし、フレーム間で境界線候補の対応を取りやすくするためである。このフィードバック処理により車両のゆれなどに対する高い追従性能が得ることができる。
【００８６】
（変更例）
なお、本発明は前記実施形態で記載した内容に限定されるものではない。
【００８７】
例えば、逆投影画像生成部１では、前記実施形態のようにエッジ情報を有する逆投影画像を生成するのではなく、時系列画像の濃淡情報を平面に逆投影して濃淡逆投影画像を生成することもできる。
【００８８】
この場合、逆投影画像生成部１では、図７に示すようにカメラ画像の逆投影変換領域の各画素を平面へ逆投影変換して濃淡逆投影画像を生成する。
【００８９】
この濃淡逆投影画像から境界線を検出する場合には、境界線候補検出部７における線分抽出部１１の方法を次のように変更する。
【００９０】
まず、前処理として、画像全体を平滑化してノイズ成分などを除外する。この平滑化には、ガウシアンフィルタなどを用いる。
【００９１】
次に、濃淡逆投影画像の水平ラインを走査して輝度値のピークを求める。ピークが求められたら走査するラインを垂直方向に１画素ずらして同様にピークを求める。垂直方向に移動する前後で水平ラインにおけるピーク位置のずれがしきい値以下であれば、接続して次のラインに移り同様の処理を繰り返す。
【００９２】
この処理を濃淡逆投影画像すべてにおいて行うことで、輝度ピークを接続した線分が生成される。この線分を境界線候補線分として抽出する。
【００９３】
【発明の効果】
本発明を用いることにより、雨天時などの撮像状況の悪い場合にでもロバストに境界線を検出することが可能である。
【００９４】
また、逆投影画像を生成することにより、境界線の探索が容易になり、境界線検出の計算コストも低減することができる。
【図面の簡単な説明】
【図１】本実施形態の画像処理装置の構成である。
【図２】逆投影画像生成部１の構成例である。
【図３】境界線検出部２の構成例である。
【図４】境界線候補検出部７の構成例である。
【図５】カメラ画像と逆投影画像の関係を示す。
【図６】車両の走行位置と、カメラ画像、逆投影画像それぞれとの関係を示す。
【図７】法線ベクトル生成法について示す。
【図８】逆投影画像例である。
【図９】境界線候補線分の抽出例である。
【図１０】境界線を外挿した例である。
【図１１】逆投影画像上の境界線をカメラ画像上に変換したものである。
【図１２】消失点の推定法について示す。
【符号の説明】
１ 逆投影画像生成部
２ 境界線線検出部
３ 微分ベクトル生成部
４ 法線ベクトル生成部
５ 内積計算部
６ 逆投影変換部
７ 境界線候補検出部
８ 境界線選択部
９ 境界線外挿部
１０ 消失点推定部
１１ 線分抽出部
１２ 境界線候補更新部
１３ 境界線候補登録部
１４ 画像取得部
２０ 画像処理装置
【発明の属する技術分野】
本発明は、ＴＶ・ビデオカメラなどから入力される時系列画像から、ある平面上に存在する境界線を安定に検出することに用いられるものであり、画像情報に基づいて高速に機器の制御を行うことに有用な画像処理装置及びその方法に関する。
【０００２】
例えば、車両に取り付けたカメラから得られる時系列画像において道路面上の白線を安定に検出することなどに用いられる。
【０００３】
【従来の技術】
従来から、自動車に搭載したカメラから得られる時系列のカメラ画像から平面（道路面）上の境界線（白線）を検出する方法としてさまざまな画像処理技術が提案されてきた。
【０００４】
そのひとつに、前処理として、白線と道路面の輝度勾配に着目して、カメラ画像上でエッジ強度の二値化を行い、白線候補を限定する方法がある。
【０００５】
この二値化したカメラ画像に対し、白線のテンプレートを複数用意してテンプレートマッチングにより白線を検出する方法や、複数の白線候補を設定し、仮定した白線上に最も多くのエッジ点が存在する白線候補を白線として検出する方法などがある。
【０００６】
これらの方法においては、まず前処理であるエッジ強度の二値化処理のためのしきい値を、天候条件、照明条件の変化によらず最適な値に設定するのが困難である。
【０００７】
また、車両前方の白線を検出する場合には、一般的にカメラの光軸が車両の進行方向と平行やや下向きになるようにカメラを設置する。このようにカメラを設置した場合、図５に示すように、カメラ画像上において走行レーンの左側の白線は画像中央付近から左下方向への直線、一方右側の白線は右下方向への直線、または曲線となる。このとき、図６に示すように、車両が走行レーン内のどこに位置するかによってカメラ画像上で白線の傾きは変化する。
【０００８】
つまり、テンプレートマッチングによる白線検出においては、計算量を削減するために画像上に探索領域を設定するが、車両の走行位置によって白線の傾きが異なるため探索領域を適応的に変える必要があり、そのための探索領域設定の処理が複雑となる。
【０００９】
同様に、仮定した白線候補上で最も多くエッジ点が存在するものを白線として検出する方法では白線候補の方向を設定する必要があるが、車両の走行位置によって白線の傾きが異なるため、境界線候補の方向設定の処理が複雑になることが考えられる。
【００１０】
さらに、テンプレートマッチングによる白線検出においては、カメラ画像上では、近傍と遠方で白線の幅が異なることと、さらに、曲線などに対応するため、多数のテンプレートを用意する必要があり、このテンプレートの選択などで処理が複雑になるという問題もある。
【００１１】
【発明が解決しようとする課題】
上述したように、エッジ検出に二値化などのしきい値処理を必要とする境界線検出では、雨天時などの撮像状況が悪いときに対応するしきい値設定が難しく、ロバストな境界線検出が困難である。
【００１２】
また、従来の境界線検出では、現在のフレームで境界線を検出したときに、その境界線と過去に検出された境界線との対応付けを行っていなかったため、車両の振動等により画像が上下動した後などに、検出精度が落ちる問題がある。
【００１３】
また、カメラから取り込まれた時系列画像上で境界線を検出する方法では、車両が走行レーン上の走行位置によって、カメラ画像上の白線の傾きが変化するため、領域設定や方向設定などの処理が複雑になり計算量が問題となる。
【００１４】
さらに、テンプレートマッチングにより白線を検出する方法では、カメラから取り込まれた時系列画像上では、手前側と奥側で境界線の線幅、傾きなどが異なるため、多数のテンプレートを用意する必要がある。また、テンプレートを切り替える判定のための処理も必要になり、計算量が増加する。
【００１５】
そこで、本発明は、平面における消失点に向かう境界線を確実に、かつ、計算量が少なく検出できる画像処理装置及びその方法を提供する。
【００１６】
【課題を解決するための手段】
請求項１の発明は、平面と、消失点に向かって延びる境界線が撮影されている時系列画像を取り込む画像取得手段と、前記画像取得手段によって取り込まれた時系列画像の前記平面への逆投影画像を生成する逆投影画像生成手段と、前記逆投影画像生成手段によって生成された逆投影画像上で前記境界線を検出する境界線検出手段と、を具備し、前記逆投影画像生成手段は、前記時系列画像上での各点の輝度に基づくエッジ情報を前記平面へ逆投影することで逆投影像を生成し、前記境界線検出手段は、前記逆投影画像生成手段によって生成された逆投影画像に基づいて境界線候補を検出する境界線候補検出手段と、前記境界線候補検出手段によって検出した境界線候補群から所定の条件に基づいて境界線を選択する境界線選択手段と、を具備し、前記境界線候補検出手段は、前記逆投影画像生成手段によって生成された逆投影画像上で境界線候補線分を抽出する線分抽出手段と、前記線分抽出手段によって抽出した境界線候補線分と、過去の時系列画像で検出された境界線候補の対応付けを行う対応付け手段と、前記対応付け手段において対応のとれた境界線候補線分を境界線候補に統合することにより境界線候補を更新する境界線候補更新手段と、前記対応付け手段において対応のとれなかった境界線候補線分を新たに境界線候補として生成する境界線候補登録手段と、を具備したことを特徴とする画像処理装置である。
【００１７】
請求項２の発明は、平面と、消失点に向かって延びる境界線が撮影されている時系列画像を取り込む画像取得手段と、前記画像取得手段によって取り込まれた時系列画像の前記平面への逆投影画像を生成する逆投影画像生成手段と、前記逆投影画像生成手段によって生成された逆投影画像上で前記境界線を検出する境界線検出手段と、を具備し、前記逆投影画像生成手段は、前記時系列画像上での各点の輝度に基づくエッジ情報を前記平面へ逆投影することで逆投影像を生成するものであって、前記時系列画像上での各点における輝度の微分ベクトルを生成する微分ベクトル生成手段と、前記時系列画像上での各点における境界線の方向に対する法線ベクトルを生成する法線ベクトル生成手段と、前記時系列画像上での各点における前記微分ベクトル生成手段で求めた微分ベクトルと前記法線ベクトル生成手段で求めた法線ベクトルの内積を計算する内積計算手段と、前記各点における前記内積計算手段で計算した内積値を前記平面へ逆投影変換してエッジ逆投影像を生成する逆投影変換手段と、を具備したことを特徴とする画像処理装置である。
【００２７】
本発明は、シーンの撮影によって得られる時系列画像を用い、その時系列画像を平面に逆投影した逆投影画像を生成し、その逆投影画像上で境界線の検出を行うものである。
【００２８】
例えば、入力画像を車両に搭載したカメラから得られる時系列画像とし、逆投影する平面を道路面、検出対象である境界線を道路面上の白線とすると、各フレームで複数の境界線候補線分を検出してフレーム間で境界線候補として対応を取り、この境界線候補が過去にどれくらい検出されているか等の各境界線候補の属性値により白線を選択するため、あるフレームで白線が検出されなくても影響が小さく、時間軸方向でのロバスト性が高い。
【００２９】
また、境界線を安定に検出するには正しい境界線候補を検出する必要があるが、この境界線候補検出の基本処理である境界線候補線分抽出処理は、二値化等のしきい値処理を行わないので、高いロバスト性を実現できる。
【００３０】
また、この境界線候補線分抽出処理は、境界線候補線分がもつべき属性の判定を厳しい条件で行っている。この結果得られた境界線候補線分を用いて境界線を検出するため、誤検出が少ない。
【００３１】
さらに、この境界線候補検出処理は図５のような時系列画像を平面上に逆投影した逆投影画像上で行っている。時系列画像上の境界線は、逆投影画像上ではその境界線が直線であれば画像の垂直方向に存在する直線、曲線であればほぼ一定の曲率でカーブし、幅一定の平行な線群になる。つまり、車両の走行レーン上の走行位置変化は、図６に示すように白線の平行移動となる。このため水平方向にピークの探索を行い、垂直方向に追跡を行うという簡単な処理で境界線候補を検出でき、計算量も低減できる。
【００３２】
【発明の実施の形態】
以下、本発明の一実施形態である画像処理装置２０について、図１から図１２を用いて説明する。
【００３３】
図１に、本実施形態の画像処理装置２０の構成を示す。
【００３４】
本実施形態の画像処理装置においては、「平面」とは道路面のことであり、「境界線」とは走行レーンをなす白線や路肩のことであるが、環境を屋内にした場合には平面は床、通路などの面であり、境界線は床、通路などと壁の境界である。また、「逆投影画像」とは、図５に示すように、カメラ画像をある平面に投影処理した画像である。つまり、本実施形態でいう逆投影画像とは、道路面を真上から法線方向に見た図になる。また、「消失点」とは、車両の進行方向を撮影した時系列画像においては、静止体がわき出してくる点をいう。
【００３５】
画像処理装置２０は、画像を時系列に取り込むことが可能な装置である画像取り込み部１４により得られた時系列画像から、逆投影画像生成部１により平面への逆投影画像を生成する。
【００３６】
次に、逆投影画像生成部１で生成された逆投影画像に対し、境界線検出部２より、平面上の境界線を検出する。
【００３７】
この画像処理装置２０は、パソコンなどのコンピュータによって、下記で説明する各部の機能をプログラムすることによって実現できる。
【００３８】
以下、各部の具体的な構成について述べる。
【００３９】
（１）画像取り込み部１４
画像取り込み部１４は、時系列画像は取得可能なＴＶカメラであり、道路を走行する車両の前部に取り付けられ、進行方向を撮影している。
【００４０】
（２）逆投影画像生成部１
図２に示すように、逆投影画像生成部１は前記時系列画像から平面への逆投影画像を生成するものである。
【００４１】
そして、時系列画像上の各点の微分ベクトルを生成する微分ベクトル生成部３、時系列画像上の各点を逆投影画像上に投影した場合にその点を通る境界線を求め、その境界線を時系列画像上に戻したときの法線ベクトルを生成する法線ベクトル生成部４、時系列上の各点について微分ベクトルと法線ベクトルの内積を計算する内積計算部５、この内積計算した値を平面に逆投影することでエッジ逆投影画像を生成する逆投影変換部６からなる。
【００４２】
（２−１）微分ベクトル生成部３
微分ベクトル生成部３において、１次微分フィルタなどで前記時系列画像上の各点の輝度について微分ベクトル（ｄｘ, ｄｙ）を計算する。つまり、輝度勾配を計算する。
【００４３】
例えば、３×３、５×５のソーベルフィルタなどを用いて、水平方向エッジｄｘ、垂直方向エッジｄｙを求めることにより微分ベクトルを生成する。
【００４４】
（２−２）法線ベクトル生成部４
法線ベクトル生成部４において、前記時系列画像上で各点を通る境界線を仮定する。
【００４５】
この境界線が曲線の場合は、連続したフレーム間で曲率がほとんど変化しないものとみなし、前フレームに後述する境界線外挿部９で求めた円弧の曲率を用いて境界線を仮定する。そして、各点における、この境界線の法線方向を法線ベクトルとする。すなわち、ある点Ｐ１における、曲線状の境界線に対する接線と直交するベクトルが、法線ベクトルである。
【００４６】
なお、境界線が直線の場合には、その直線と直交する法線方向を求め、これを各点共通の法線ベクトルとする。
【００４７】
図７にカメラ画像を示す。このカメラ画像上の上限ラインと下限ラインの間の逆投影変換領域について逆投影画像を生成する。
【００４８】
カメラ画像における上限ラインより上の画像は、遠方であり手前側に比べ解像度が低く境界線検出の精度が低下するため、この領域の境界線は逆投影画像上では検出しない。この上限ラインは無限遠点の下側に設定する。
【００４９】
また、下限ラインとは、カメラ画像に車両のボンネットなどが映っている場合に除外するために設定し、その下限は画像下端である。
【００５０】
この逆投影画像変換領域外の境界線は、相対的に解像度の高い逆投影変換領域で求めた境界線の曲率を用いて外挿する。
【００５１】
具体的な法線ベクトルの求め方は、前フレームでの境界線外挿部９により求めた逆投影画像上での参考曲線の曲率をカメラ画像上に変換することで、図７に示す点線のように点Ｐ１を通る境界線を仮定する。Ｐ１におけるこの境界線の法線方向をＰ１の法線ベクトルｎ１（図７中では、ｎ１の上に矢印を付している）として求める。
【００５２】
このように、過去（前フレーム）で検出された逆投影画像上の参考曲線の曲率を、カメラ画像上に変換して利用することで、曲線上のどの点であっても境界線の法線方向のエッジ強度を検出することができる。
【００５３】
この法線ベクトル生成部４において境界線を曲率ではなく二次微分係数を用いて放物線で仮定することもできる。
【００５４】
また、境界線を近似する方法は、本実施形態のような二次曲線に限定するものではなく、多次の多項式などで近似することも考えられる。
【００５５】
（２−３）内積計算部５
内積計算部５において、前記時系列画像上の各点の前記微分ベクトルと前記法線ベクトルの内積を計算することにより、境界線の法線方向のエッジ強度を求める。
【００５６】
この内積値の値は、境界線の左側のエッジは正の値になり、右側のエッジは負の値となる。その理由は、道路に白線が描かれているので、左側のエッジは、白から黒の輝度勾配（微分ベクトルの値）を持ち、逆に、右側のエッジは、黒から白の輝度勾配（微分ベクトルの値）を持つからである。
【００５７】
（２−４）逆投影変換部６
逆投影変換部６において、前記内積値を各画素のエッジ情報として平面へ逆投影したエッジ逆投影画像を生成する。
【００５８】
つまり、図８に示すように、境界線の左側のエッジは正の画素値（白）をもち、右側のエッジは負の画素値（黒）を有するスカラー画像を生成できる。この理由は、上記したように境界線の左側のエッジは正の値になり、右側のエッジは負の値となり、正を白の画素値に、負を黒の画素値で表しているからある。
【００５９】
このスカラ画像上において、境界線は画像下側でほぼ垂直、画像上側に行くにしたがってほぼ一定の曲率でカーブする平行な線群になり、この後の検出処理が容易になる。
【００６０】
（３）境界線検出部２
図３に示すように、境界線検出部２は、逆投影画像上で境界線候補を検出する境界線候補検出部７、境界線候補検出部７で検出した境界線候補群から実際の境界線を選択する境界線選択部８、境界線選択部８で選択された境界線の奥行き部分を外挿する境界線外挿部９、検出した境界線情報から消失点を推定する消失点推定部１０から構成される。
【００６１】
（３−１）境界線候補検出部７
図４に示すように、境界線候補検出部７は、逆投影画像上で境界線候補線分を抽出する線分抽出部１１、この線分抽出部１１で抽出した白線候補線分と過去の時系列画像において登録された境界線候補との対応付けを行う境界線候補更新部１２、また、この線分抽出部１１で抽出した境界線候補線分を統合して新たに境界線候補を登録する境界線候補登録部１３から構成される。
【００６２】
（３−１−１）線分抽出部１１
まず、線分抽出部１１は、前処理として、画像全体を平滑化してノイズ成分などを除外する。この平滑化にはガウシアンフィルタなどを用いる。
【００６３】
次に、逆投影画像生成部１で生成した逆投影画像の水平ラインを探索して、正の領域、負の領域それぞれでピークを求める。
【００６４】
ピークが求められたら探索するラインを垂直方向に１画素ずらして同様にピークを求める。
【００６５】
垂直方向に移動する前後で、水平ラインにおけるピーク位置のずれがしきい値以下であれば、接続して次のラインに移り同様の処理を繰り返す。この処理を逆投影画像すべてにおいて行うことで、正のピークを接続した線分と、負のピークを接続した線分が生成される。
【００６６】
図９に示すように、これらの抽出された線分の中で、正負ペアで存在する線分を境界線候補線分として抽出する。これは、白線の左側エッジと、右側エッジとが常に対になっているからである。
【００６７】
（３−１−２）境界線候補更新部１２
境界線候補更新部１２は、前フレームまでで検出されている境界線候補があれば、優先度順にソートして、順番を並び替えて記憶している。すなわち、それぞれの境界線候補は、持続時間、平均エッジ強度、検出時間、消失時間などを属性値として同時に記憶されている。ここで、「持続時間」とはこの境界線候補が何フレーム連続で検出されているか、「検出時間」とはこの境界線候補が初めて検出されてから何フレーム経過しているか、「消失時間」とはこの境界線候補が不検出になってから何フレーム経過しているか、を表す。
【００６８】
そして、優先度は境界線候補の持続時間、平均エッジ強度、検出時間、消失時間等で決定する。
【００６９】
次に、優先度の高い境界線候補から、抽出された境界線候補線分をマージできるか判断する。
【００７０】
具体的には、境界線候補線分と、境界線候補のエッジ強度、傾きなどの差がしきい値以下であれば、同一の境界線であるとして境界線候補線分を境界線候補にマージして、統合させる。
【００７１】
複数の境界線候補線分を、一つの境界線候補にマージする場合には、これら複数の境界線候補線分の間で接続可能であるかを判断する。
【００７２】
具体的には、境界線候補線分の間で、傾き、境界線の幅、エッジ強度、横方向の位置などの差が全てしきい値以下であれば、これらの境界線候補線分は同一の境界線候補とみなしマージする。
【００７３】
そして、境界線候補線分が境界線候補にマージされたら、持続時間等の各属性値を更新する。
【００７４】
（３−１−３）境界線候補登録部１３
境界線候補登録部１３は、境界線候補更新部１２で過去に検出済みの境界線候補にマージされなかった残りの境界線候補線分の中で、手前側にあり、かつ、しきい値以上の長さを有するものがあれば、新たに境界線候補として登録する。
【００７５】
これは、手前側は奥側に比べ解像度が高く、信頼性の高い境界線候補線分が抽出されているからである。その境界線候補線分と滑らかに接続できると判断される奥の方の境界線候補線分をマージして新しい境界線候補として登録する。
【００７６】
（３−２）境界線選択部８
境界線選択部８は、この更新、または新たに登録された境界線候補の中から走行車線の左右に対応すると思われる境界線を、境界線候補の水平位置、エッジ強度、左右の境界線候補間隔などの条件により、選択する。
【００７７】
（３−３）境界線外挿部９
境界線外挿部９は、左右の白線が検出されたら、それぞれの境界線の各点について曲率を計算し、それら全ての単純平均をとる。
【００７８】
その曲率の平均を用いて図１０に示すように、円弧で境界線の奥側を外挿する。また、境界線の各点の曲率に対して重み付けを行い、その重み付き平均値を用いて外挿することもできる。このようにして求められた連続した曲線は、参考曲線である。
【００７９】
これは、逆投影画像上では、境界線の曲率をほぼ一定にみなすことができることに着目している。また、手前側の境界線候補線分は奥の方に比べて情報量も多く、曲率を安定に求めることができるので、手前から得られる曲率で奥の方のおおまかな境界線を当てはめることが可能である。
【００８０】
また、境界線外挿部９において、参考曲線を円弧に当てはめるのではなく放物線にあてはめることもできる。逆投影画像上においてカーブは曲率一定の円弧で考えるのが妥当であるが、二次微分係数で外挿した放物線で扱う方が処理的には容易であるし、精度劣化もそれほどない。
【００８１】
また、二次曲線だけでなく３次以上の多項式で境界線を近似することも可能である。
【００８２】
最後に、図１１に示すように、逆投影画像上で求めた参考曲線の座標値をカメラ画像上に変換する。
【００８３】
（３−４）消失点推定部１０
消失点推定部１０では、検出した境界線の情報から消失点の位置を推定する。
【００８４】
図１２はカメラから得られた時系列画像例であり、左境界直線、右境界直線はそれぞれ検出された境界線の手前側を１次微分の平均で直線近似したものである。このカメラ画像の手前側部分の境界直線方向からこのフレームでの消失点vp1を推定する。この消失点を基に次フレームの逆投影画像生成を行う。
【００８５】
また、このvp1を仮の消失点として、前フレームでの消失点vp0と現フレームの消失点vp1の間に内挿した点を消失点とする方法もある。これは、除々に消失点を修正することによって、フレーム間で逆投影画像の大きな変化をなくし、フレーム間で境界線候補の対応を取りやすくするためである。このフィードバック処理により車両のゆれなどに対する高い追従性能が得ることができる。
【００８６】
（変更例）
なお、本発明は前記実施形態で記載した内容に限定されるものではない。
【００８７】
例えば、逆投影画像生成部１では、前記実施形態のようにエッジ情報を有する逆投影画像を生成するのではなく、時系列画像の濃淡情報を平面に逆投影して濃淡逆投影画像を生成することもできる。
【００８８】
この場合、逆投影画像生成部１では、図７に示すようにカメラ画像の逆投影変換領域の各画素を平面へ逆投影変換して濃淡逆投影画像を生成する。
【００８９】
この濃淡逆投影画像から境界線を検出する場合には、境界線候補検出部７における線分抽出部１１の方法を次のように変更する。
【００９０】
まず、前処理として、画像全体を平滑化してノイズ成分などを除外する。この平滑化には、ガウシアンフィルタなどを用いる。
【００９１】
次に、濃淡逆投影画像の水平ラインを走査して輝度値のピークを求める。ピークが求められたら走査するラインを垂直方向に１画素ずらして同様にピークを求める。垂直方向に移動する前後で水平ラインにおけるピーク位置のずれがしきい値以下であれば、接続して次のラインに移り同様の処理を繰り返す。
【００９２】
この処理を濃淡逆投影画像すべてにおいて行うことで、輝度ピークを接続した線分が生成される。この線分を境界線候補線分として抽出する。
【００９３】
【発明の効果】
本発明を用いることにより、雨天時などの撮像状況の悪い場合にでもロバストに境界線を検出することが可能である。
【００９４】
また、逆投影画像を生成することにより、境界線の探索が容易になり、境界線検出の計算コストも低減することができる。
【図面の簡単な説明】
【図１】本実施形態の画像処理装置の構成である。
【図２】逆投影画像生成部１の構成例である。
【図３】境界線検出部２の構成例である。
【図４】境界線候補検出部７の構成例である。
【図５】カメラ画像と逆投影画像の関係を示す。
【図６】車両の走行位置と、カメラ画像、逆投影画像それぞれとの関係を示す。
【図７】法線ベクトル生成法について示す。
【図８】逆投影画像例である。
【図９】境界線候補線分の抽出例である。
【図１０】境界線を外挿した例である。
【図１１】逆投影画像上の境界線をカメラ画像上に変換したものである。
【図１２】消失点の推定法について示す。
【符号の説明】
１ 逆投影画像生成部
２ 境界線線検出部
３ 微分ベクトル生成部
４ 法線ベクトル生成部
５ 内積計算部
６ 逆投影変換部
７ 境界線候補検出部
８ 境界線選択部
９ 境界線外挿部
１０ 消失点推定部
１１ 線分抽出部
１２ 境界線候補更新部
１３ 境界線候補登録部
１４ 画像取得部
２０ 画像処理装置
Claims (10)
- 平面と、消失点に向かって延びる境界線が撮影されている時系列画像を取り込む画像取得手段と、
前記画像取得手段によって取り込まれた時系列画像の前記平面への逆投影画像を生成する逆投影画像生成手段と、
前記逆投影画像生成手段によって生成された逆投影画像上で前記境界線を検出する境界線検出手段と、
を具備し、
前記逆投影画像生成手段は、
前記時系列画像上での各点の輝度に基づくエッジ情報を前記平面へ逆投影することで逆投影像を生成し、
前記境界線検出手段は、
前記逆投影画像生成手段によって生成された逆投影画像に基づいて境界線候補を検出する境界線候補検出手段と、
前記境界線候補検出手段によって検出した境界線候補群から所定の条件に基づいて境界線を選択する境界線選択手段と、
を具備し、
前記境界線候補検出手段は、
前記逆投影画像生成手段によって生成された逆投影画像上で境界線候補線分を抽出する線分抽出手段と、
前記線分抽出手段によって抽出した境界線候補線分と、過去の時系列画像で検出された境界線候補の対応付けを行う対応付け手段と、
前記対応付け手段において対応のとれた境界線候補線分を境界線候補に統合することにより境界線候補を更新する境界線候補更新手段と、
前記対応付け手段において対応のとれなかった境界線候補線分を新たに境界線候補として生成する境界線候補登録手段と、
を具備した
ことを特徴とする画像処理装置。 - 平面と、消失点に向かって延びる境界線が撮影されている時系列画像を取り込む画像取得手段と、
前記画像取得手段によって取り込まれた時系列画像の前記平面への逆投影画像を生成する逆投影画像生成手段と、
前記逆投影画像生成手段によって生成された逆投影画像上で前記境界線を検出する境界線検出手段と、
を具備し、
前記逆投影画像生成手段は、前記時系列画像上での各点の輝度に基づくエッジ情報を前記平面へ逆投影することで逆投影像を生成するものであって、
前記時系列画像上での各点における輝度の微分ベクトルを生成する微分ベクトル生成手段と、
前記時系列画像上での各点における境界線の方向に対する法線ベクトルを生成する法線ベクトル生成手段と、
前記時系列画像上での各点における前記微分ベクトル生成手段で求めた微分ベクトルと前記法線ベクトル生成手段で求めた法線ベクトルの内積を計算する内積計算手段と、
前記各点における前記内積計算手段で計算した内積値を前記平面へ逆投影変換してエッジ逆投影像を生成する逆投影変換手段と、
を具備した
ことを特徴とする画像処理装置。 - 前記境界線候補検出手段は、
前記逆投影画像生成手段によって生成されたエッジ逆投影画像上における正の値を有する点ついて連続したエッジ強度のピークを連結して線分を求めると共に、前記エッジ逆投影画像上における負の値を有する点ついて連続したエッジ強度のピークを連結して線分を求め、
この線分の正負のペアを境界線の候補として抽出する
ことを特徴とする請求項１記載の画像処理装置。 - 前記逆投影画像生成手段は、
前記時系列画像上での各点における輝度の微分ベクトルを生成する微分ベクトル生成手段と、
前記時系列画像上での各点における境界線の方向に対する法線ベクトルを生成する法線ベクトル生成手段と、
前記時系列画像上での各点における前記微分ベクトル生成手段で求めた微分ベクトルと前記法線ベクトル生成手段で求めた法線ベクトルの内積を計算する内積計算手段と、
前記各点における前記内積計算手段で計算した内積値を前記平面へ逆投影変換してエッジ逆投影像を生成する逆投影変換手段と、
を具備し、
前記境界線検出手段は、
前記検出した境界線の候補の前記逆投影画像上の各点から参考曲線を求め、
前記法線ベクトル生成手段は、
前記時系列画像上の各点において前記参考曲線を対応させ、各点における参考曲線の法線方向をその点の法線ベクトルとする
ことを特徴とする請求項３記載の画像処理装置。 - 前記逆投影画像生成手段は、前記画像上での各点の濃淡情報を前記平面へ逆投影することで逆投影画像生成する
ことを特徴とする請求項１または２記載の画像処理装置。 - 前記画像処理装置は、境界線を出力する境界線出力手段を有し、
この境界線出力手段は、
前記境界線検出手段によって検出された前記逆投影画像上の境界線を、前記時系列画像上に投影変換する境界線変換手段と、
前記境界線変換手段によって前記時系列画像上に変換された境界線を表示する境界線表示手段と、
を具備した
ことを特徴とする請求項１から５の少なくとも一項に記載の画像処理装置。 - 平面と、消失点に向かって延びる境界線が撮影されている時系列画像を取り込む画像取得ステップと、
前記取り込まれた時系列画像の前記平面への逆投影画像を生成する逆投影画像生成ステップと、
前記逆投影画像生成ステップによって生成された逆投影画像上で前記境界線を検出する境界線検出ステップと、
を具備し、
前記逆投影画像生成ステップは、
前記時系列画像上での各点の輝度に基づくエッジ情報を前記平面へ逆投影することで逆投影像を生成し、
前記境界線検出ステップは、
前記逆投影画像生成ステップにおいて生成された逆投影画像に基づいて境界線候補を検出する境界線候補検出ステップと、
前記境界線候補検出ステップにおいて検出した境界線候補群から所定の条件に基づいて境界線を選択する境界線選択ステップと、
を具備し、
前記境界線候補検出ステップは、
前記逆投影画像生成ステップにおいて生成された逆投影画像上で境界線候補線分を抽出する線分抽出ステップと、
前記線分抽出ステップにおいて抽出した境界線候補線分と、過去の時系列画像で検出された境界線候補の対応付けを行う対応付けステップと、
前記対応付けステップにおいて対応のとれた境界線候補線分を境界線候補に統合することにより境界線候補を更新する境界線候補更新ステップと、
前記対応付けステップにおいて対応のとれなかった境界線候補線分を新たに境界線候補として生成する境界線候補登録ステップと、
を具備した
ことを特徴とする画像処理方法。 - 平面と、消失点に向かって延びる境界線が撮影されている時系列画像を取り込む画像取得ステップと、
前記取り込まれた時系列画像の前記平面への逆投影画像を生成する逆投影画像生成ステップと、
前記逆投影画像生成ステップによって生成された逆投影画像上で前記境界線を検出する境界線検出ステップと、
を具備し、
前記逆投影画像生成ステップは、
前記時系列画像上での各点の輝度に基づくエッジ情報を前記平面へ逆投影することで逆投影像を生成し、
前記逆投影画像生成ステップは、
前記時系列画像上での各点における輝度の微分ベクトルを生成する微分ベクトル生成ステップと、
前記時系列画像上での各点における境界線の方向に対する法線ベクトルを生成する法線ベクトル生成ステップと、
前記時系列画像上での各点における前記微分ベクトル生成ステップで求めた微分ベクトルと前記法線ベクトル生成ステップで求めた法線ベクトルの内積を計算する内積計算ステップと、
前記各点における前記内積計算ステップで計算した内積値を前記平面へ逆投影変換してエッジ逆投影像を生成する逆投影変換ステップと、
を具備した
ことを特徴とする画像処理方法。 - 平面と、消失点に向かって延びる境界線が撮影されている時系列画像を取り込む画像取得機能と、
前記画像取得機能によって取り込まれた時系列画像の前記平面への逆投影画像を生成する逆投影画像生成機能と、
前記逆投影画像生成機能によって生成された逆投影画像上で前記境界線を検出する境界線検出機能と、
を実現し、
前記逆投影画像生成機能は、
前記時系列画像上での各点の輝度に基づくエッジ情報を前記平面へ逆投影することで逆投影像を生成し、
前記境界線検出機能は、
前記逆投影画像生成機能によって生成された逆投影画像に基づいて境界線候補を検出する境界線候補検出機能と、
前記境界線候補検出機能によって検出した境界線候補群から所定の条件に基づいて境界線を選択する境界線選択機能と、
を実現し、
前記境界線候補検出機能は、
前記逆投影画像生成機能によって生成された逆投影画像上で境界線候補線分を抽出する線分抽出機能と、
前記線分抽出機能によって抽出した境界線候補線分と、過去の時系列画像で検出された境界線候補の対応付けを行う対応付け機能と、
前記対応付け機能において対応のとれた境界線候補線分を境界線候補に統合することにより境界線候補を更新する境界線候補更新機能と、
前記対応付け機能において対応のとれなかった境界線候補線分を新たに境界線候補として生成する境界線候補登録機能と、
をコンピュータによって実現する
ことを特徴とする画像処理方法のプログラム。 - 平面と、消失点に向かって延びる境界線が撮影されている時系列画像を取り込む画像取得機能と、
前記画像取得機能によって取り込まれた時系列画像の前記平面への逆投影画像を生成する逆投影画像生成機能と、
前記逆投影画像生成機能によって生成された逆投影画像上で前記境界線を検出する境界線検出機能と、
を実現し、
前記逆投影画像生成機能は、
前記時系列画像上での各点の輝度に基づくエッジ情報を前記平面へ逆投影することで逆投影像を生成し、
前記逆投影画像生成機能は、
前記時系列画像上での各点における輝度の微分ベクトルを生成する微分ベクトル生成機能と、
前記時系列画像上での各点における境界線の方向に対する法線ベクトルを生成する法線ベクトル生成機能と、
前記時系列画像上での各点における前記微分ベクトル生成機能で求めた微分ベクトルと前記法線ベクトル生成機能で求めた法線ベクトルの内積を計算する内積計算機能と、
前記各点における前記内積計算機能で計算した内積値を前記平面へ逆投影変換してエッジ逆投影像を生成する逆投影変換機能と、
をコンピュータによって実現する
ことを特徴とする画像処理方法のプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001218812A JP3822468B2 (ja) | 2001-07-18 | 2001-07-18 | 画像処理装置及びその方法 |
| US10/196,246 US7095432B2 (en) | 2001-07-18 | 2002-07-17 | Image processing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001218812A JP3822468B2 (ja) | 2001-07-18 | 2001-07-18 | 画像処理装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003030626A JP2003030626A (ja) | 2003-01-31 |
| JP3822468B2 true JP3822468B2 (ja) | 2006-09-20 |
Family
ID=19052928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001218812A Expired - Fee Related JP3822468B2 (ja) | 2001-07-18 | 2001-07-18 | 画像処理装置及びその方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7095432B2 (ja) |
| JP (1) | JP3822468B2 (ja) |
Families Citing this family (97)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US5910854A (en) | 1993-02-26 | 1999-06-08 | Donnelly Corporation | Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices |
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US5668663A (en) | 1994-05-05 | 1997-09-16 | Donnelly Corporation | Electrochromic mirrors and devices |
| US6891563B2 (en) * | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
| US6326613B1 (en) | 1998-01-07 | 2001-12-04 | Donnelly Corporation | Vehicle interior mirror assembly adapted for containing a rain sensor |
| US8294975B2 (en) * | 1997-08-25 | 2012-10-23 | Donnelly Corporation | Automotive rearview mirror assembly |
| US6172613B1 (en) | 1998-02-18 | 2001-01-09 | Donnelly Corporation | Rearview mirror assembly incorporating vehicle information display |
| US6124886A (en) | 1997-08-25 | 2000-09-26 | Donnelly Corporation | Modular rearview mirror assembly |
| US8288711B2 (en) | 1998-01-07 | 2012-10-16 | Donnelly Corporation | Interior rearview mirror system with forwardly-viewing camera and a control |
| US6445287B1 (en) | 2000-02-28 | 2002-09-03 | Donnelly Corporation | Tire inflation assistance monitoring system |
| US6329925B1 (en) | 1999-11-24 | 2001-12-11 | Donnelly Corporation | Rearview mirror assembly with added feature modular display |
| US6477464B2 (en) | 2000-03-09 | 2002-11-05 | Donnelly Corporation | Complete mirror-based global-positioning system (GPS) navigation solution |
| US6693517B2 (en) | 2000-04-21 | 2004-02-17 | Donnelly Corporation | Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants |
| WO2001064481A2 (en) * | 2000-03-02 | 2001-09-07 | Donnelly Corporation | Video mirror systems incorporating an accessory module |
| US7167796B2 (en) | 2000-03-09 | 2007-01-23 | Donnelly Corporation | Vehicle navigation system for use with a telematics system |
| US7370983B2 (en) | 2000-03-02 | 2008-05-13 | Donnelly Corporation | Interior mirror assembly with display |
| US7581859B2 (en) * | 2005-09-14 | 2009-09-01 | Donnelly Corp. | Display device for exterior rearview mirror |
| WO2006124682A2 (en) | 2005-05-16 | 2006-11-23 | Donnelly Corporation | Vehicle mirror assembly with indicia at reflective element |
| US7255451B2 (en) | 2002-09-20 | 2007-08-14 | Donnelly Corporation | Electro-optic mirror cell |
| AU2002251807A1 (en) | 2001-01-23 | 2002-08-19 | Donnelly Corporation | Improved vehicular lighting system for a mirror assembly |
| US6918674B2 (en) * | 2002-05-03 | 2005-07-19 | Donnelly Corporation | Vehicle rearview mirror system |
| WO2003093857A2 (en) | 2002-05-03 | 2003-11-13 | Donnelly Corporation | Object detection system for vehicle |
| AU2003237424A1 (en) | 2002-06-06 | 2003-12-22 | Donnelly Corporation | Interior rearview mirror system with compass |
| US7329013B2 (en) | 2002-06-06 | 2008-02-12 | Donnelly Corporation | Interior rearview mirror system with compass |
| US7310177B2 (en) | 2002-09-20 | 2007-12-18 | Donnelly Corporation | Electro-optic reflective element assembly |
| AU2003278863A1 (en) | 2002-09-20 | 2004-04-08 | Donnelly Corporation | Mirror reflective element assembly |
| US7289037B2 (en) | 2003-05-19 | 2007-10-30 | Donnelly Corporation | Mirror assembly for vehicle |
| JP3864945B2 (ja) * | 2003-09-24 | 2007-01-10 | アイシン精機株式会社 | 路面走行レーン検出装置 |
| JP3956926B2 (ja) * | 2003-09-24 | 2007-08-08 | アイシン精機株式会社 | 路面走行レーン検出装置 |
| US7446924B2 (en) * | 2003-10-02 | 2008-11-04 | Donnelly Corporation | Mirror reflective element assembly including electronic component |
| US7308341B2 (en) | 2003-10-14 | 2007-12-11 | Donnelly Corporation | Vehicle communication system |
| JP4052650B2 (ja) | 2004-01-23 | 2008-02-27 | 株式会社東芝 | 障害物検出装置、方法及びプログラム |
| JP2005215985A (ja) * | 2004-01-29 | 2005-08-11 | Fujitsu Ltd | 走行車線判定プログラムおよびその記録媒体、走行車線判定装置ならびに走行車線判定方法 |
| US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| DE102004040143A1 (de) * | 2004-08-19 | 2006-02-23 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Fahrerinformation |
| US7881496B2 (en) | 2004-09-30 | 2011-02-01 | Donnelly Corporation | Vision system for vehicle |
| DE102004048400A1 (de) * | 2004-10-01 | 2006-04-06 | Robert Bosch Gmbh | Verfahren für die Erfassung einer optischen Struktur |
| JP2006146760A (ja) * | 2004-11-24 | 2006-06-08 | Aisin Seiki Co Ltd | 画像変換方法及び画像変換装置 |
| JP4637618B2 (ja) * | 2005-03-18 | 2011-02-23 | 株式会社ホンダエレシス | 車線認識装置 |
| US8312910B2 (en) * | 2005-04-18 | 2012-11-20 | Zimmer Robyn A | Easy access hanging structure for window origami panels |
| JP4300199B2 (ja) * | 2005-06-13 | 2009-07-22 | 株式会社東芝 | 移動ロボット、移動ロボットの位置姿勢算出方法、移動ロボットの自律走行システム |
| DE102005044979A1 (de) * | 2005-09-20 | 2007-03-22 | Adc Automotive Distance Control Systems Gmbh | Verfahren zur Erkennung von Fahrspurmarkierungen |
| CN101535087B (zh) | 2005-11-01 | 2013-05-15 | 唐纳利公司 | 具有显示装置的内部后视镜 |
| US8339526B2 (en) | 2006-03-09 | 2012-12-25 | Gentex Corporation | Vehicle rearview mirror assembly including a high intensity display |
| JP4797846B2 (ja) * | 2006-07-12 | 2011-10-19 | トヨタ自動車株式会社 | 区画線検出装置及び車線検出装置 |
| US7972045B2 (en) | 2006-08-11 | 2011-07-05 | Donnelly Corporation | Automatic headlamp control system |
| TWI334517B (en) * | 2007-08-30 | 2010-12-11 | Ind Tech Res Inst | Method for predicting lane line and lane departure warning system using the same |
| US20110115912A1 (en) | 2007-08-31 | 2011-05-19 | Valeo Schalter Und Sensoren Gmbh | Method and system for online calibration of a video system |
| US8154418B2 (en) | 2008-03-31 | 2012-04-10 | Magna Mirrors Of America, Inc. | Interior rearview mirror system |
| JP4661934B2 (ja) * | 2008-10-09 | 2011-03-30 | 株式会社デンソー | 画像処理装置 |
| US9487144B2 (en) | 2008-10-16 | 2016-11-08 | Magna Mirrors Of America, Inc. | Interior mirror assembly with display |
| WO2010146695A1 (ja) * | 2009-06-18 | 2010-12-23 | 富士通株式会社 | 画像処理装置および画像処理方法 |
| US9280711B2 (en) * | 2010-09-21 | 2016-03-08 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
| US9959595B2 (en) | 2010-09-21 | 2018-05-01 | Mobileye Vision Technologies Ltd. | Dense structure from motion |
| JP5210416B2 (ja) * | 2011-06-13 | 2013-06-12 | シャープ株式会社 | 立体画像生成装置、立体画像生成方法、プログラム、および記録媒体 |
| GB2497728A (en) * | 2011-12-14 | 2013-06-26 | Londonpharma Ltd | Statin formulations for transmucosal delivery |
| US10457209B2 (en) | 2012-02-22 | 2019-10-29 | Magna Electronics Inc. | Vehicle vision system with multi-paned view |
| US9319637B2 (en) | 2012-03-27 | 2016-04-19 | Magna Electronics Inc. | Vehicle vision system with lens pollution detection |
| US8879139B2 (en) | 2012-04-24 | 2014-11-04 | Gentex Corporation | Display mirror assembly |
| WO2014033936A1 (ja) * | 2012-08-31 | 2014-03-06 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| US9707896B2 (en) | 2012-10-15 | 2017-07-18 | Magna Electronics Inc. | Vehicle camera lens dirt protection via air flow |
| US9445057B2 (en) | 2013-02-20 | 2016-09-13 | Magna Electronics Inc. | Vehicle vision system with dirt detection |
| JP6403750B2 (ja) | 2013-03-15 | 2018-10-10 | ジェンテックス コーポレイション | 表示ミラーアセンブリ |
| CN105555612B (zh) | 2013-09-24 | 2018-06-01 | 金泰克斯公司 | 显示镜组件 |
| US9511715B2 (en) | 2014-01-31 | 2016-12-06 | Gentex Corporation | Backlighting assembly for display for reducing cross-hatching |
| CN106061794B (zh) | 2014-03-21 | 2019-06-07 | 金泰克斯公司 | 三态显示镜组件 |
| KR101894262B1 (ko) | 2014-04-01 | 2018-09-04 | 젠텍스 코포레이션 | 자동 디스플레이 미러 어셈블리 |
| WO2016044746A1 (en) | 2014-09-19 | 2016-03-24 | Gentex Corporation | Rearview assembly |
| JP6505839B2 (ja) | 2014-11-07 | 2019-04-24 | ジェンテックス コーポレイション | 全画面表示ミラーアクチュエータ |
| US10071689B2 (en) | 2014-11-13 | 2018-09-11 | Gentex Corporation | Rearview mirror system with a display |
| US10131279B2 (en) | 2014-12-03 | 2018-11-20 | Gentex Corporation | Display mirror assembly with an RF shield bezel |
| USD746744S1 (en) | 2014-12-05 | 2016-01-05 | Gentex Corporation | Rearview device |
| US9744907B2 (en) | 2014-12-29 | 2017-08-29 | Gentex Corporation | Vehicle vision system having adjustable displayed field of view |
| US9720278B2 (en) | 2015-01-22 | 2017-08-01 | Gentex Corporation | Low cost optical film stack |
| KR102050326B1 (ko) | 2015-04-20 | 2019-11-29 | 젠텍스 코포레이션 | 어플리케를 갖춘 후면뷰 조립체 |
| EP3297870B1 (en) | 2015-05-18 | 2020-02-05 | Gentex Corporation | Full display rearview device |
| WO2016209877A1 (en) | 2015-06-22 | 2016-12-29 | Gentex Corporation | System and method for processing streamed video images to correct for flicker of amplitude-modulated lights |
| CN108349436B (zh) | 2015-10-30 | 2019-12-20 | 金泰克斯公司 | 后视装置 |
| EP3368374B1 (en) | 2015-10-30 | 2023-12-27 | Gentex Corporation | Toggle paddle |
| USD797627S1 (en) | 2015-10-30 | 2017-09-19 | Gentex Corporation | Rearview mirror device |
| USD798207S1 (en) | 2015-10-30 | 2017-09-26 | Gentex Corporation | Rearview mirror assembly |
| DE102016120775B4 (de) | 2015-11-02 | 2025-02-20 | Cognex Corporation | System und Verfahren zum Erkennen von Linien in einem Bild mit einem Sichtsystem |
| USD800618S1 (en) | 2015-11-02 | 2017-10-24 | Gentex Corporation | Toggle paddle for a rear view device |
| US10937168B2 (en) | 2015-11-02 | 2021-03-02 | Cognex Corporation | System and method for finding and classifying lines in an image with a vision system |
| CN105869109B (zh) * | 2016-03-28 | 2018-12-07 | 长安大学 | 基于不同高度逆投影面的停车和抛落物区分方法 |
| USD845851S1 (en) | 2016-03-31 | 2019-04-16 | Gentex Corporation | Rearview device |
| USD817238S1 (en) | 2016-04-29 | 2018-05-08 | Gentex Corporation | Rearview device |
| US10025138B2 (en) | 2016-06-06 | 2018-07-17 | Gentex Corporation | Illuminating display with light gathering structure |
| USD809984S1 (en) | 2016-12-07 | 2018-02-13 | Gentex Corporation | Rearview assembly |
| USD854473S1 (en) | 2016-12-16 | 2019-07-23 | Gentex Corporation | Rearview assembly |
| JP2020505802A (ja) | 2016-12-30 | 2020-02-20 | ジェンテックス コーポレイション | オンデマンドスポッタービューを備えた全画面表示ミラー |
| CN110312641A (zh) | 2017-03-17 | 2019-10-08 | 金泰克斯公司 | 双显示倒车摄像系统 |
| CN111383457B (zh) * | 2018-12-30 | 2021-02-09 | 浙江宇视科技有限公司 | 车位状态检测方法及装置、设备及存储介质 |
| EP4388243A4 (en) | 2021-08-20 | 2024-12-04 | Gentex Corporation | LIGHTING ASSEMBLY AND LIGHTING SYSTEM HAVING A LIGHTING ASSEMBLY |
| WO2025017924A1 (ja) * | 2023-07-20 | 2025-01-23 | 日産自動車株式会社 | 物体検出方法及び物体検出装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2669031B2 (ja) * | 1989-02-28 | 1997-10-27 | 日産自動車株式会社 | 自律走行車両 |
| JPH07111734B2 (ja) * | 1989-03-30 | 1995-11-29 | 本田技研工業株式会社 | 走行路判別方法 |
| US5307419A (en) * | 1990-11-30 | 1994-04-26 | Honda Giken Kogyo Kabushiki Kaisha | Control device of an autonomously moving body and evaluation method for data thereof |
| JP3134749B2 (ja) | 1995-12-13 | 2001-02-13 | 三菱自動車工業株式会社 | 白線検出方法 |
| JP3961584B2 (ja) | 1996-02-08 | 2007-08-22 | 株式会社デンソー | 区画線検出装置 |
| JP3525733B2 (ja) | 1998-04-15 | 2004-05-10 | 日産自動車株式会社 | 道路白線検出装置 |
| JP2000092970A (ja) | 1998-09-28 | 2000-04-04 | Kubota Corp | コンバインの脱穀装置 |
-
2001
- 2001-07-18 JP JP2001218812A patent/JP3822468B2/ja not_active Expired - Fee Related
-
2002
- 2002-07-17 US US10/196,246 patent/US7095432B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US7095432B2 (en) | 2006-08-22 |
| JP2003030626A (ja) | 2003-01-31 |
| US20030016287A1 (en) | 2003-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3822468B2 (ja) | 画像処理装置及びその方法 | |
| US8170368B2 (en) | Correcting device and method for perspective transformed document images | |
| KR100377067B1 (ko) | 이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및장치 | |
| JP4415198B2 (ja) | 画像合成装置及びプログラム | |
| JP4157620B2 (ja) | 移動物体検出装置及びその方法 | |
| CN109784344A (zh) | 一种用于地平面标识识别的图像非目标滤除方法 | |
| Seeger et al. | Binarising camera images for OCR | |
| US6055323A (en) | Face image processing system | |
| JP5975598B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| WO2009114967A1 (zh) | 基于移动扫描的图像处理方法及装置 | |
| CN101697228A (zh) | 一种文本图像处理方法 | |
| Lelore et al. | Super-resolved binarization of text based on the fair algorithm | |
| JP3800785B2 (ja) | 白線認識装置 | |
| JP2888735B2 (ja) | 走行レーン検出装置 | |
| JP6882885B2 (ja) | 障害物検出装置および障害物検出方法 | |
| US7489832B2 (en) | Imaging apparatus, image processing method for imaging apparatus and recording medium | |
| JP2829934B2 (ja) | 移動車の環境認識装置 | |
| JP2003233899A (ja) | 路肩検出装置及び方法 | |
| JP4631199B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びにプログラム | |
| JP2962799B2 (ja) | 移動車の走行路端検出装置 | |
| JP3230509B2 (ja) | 動画像処理装置 | |
| JP4221534B2 (ja) | ２値画像の特徴量抽出方法 | |
| JP4622141B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びにプログラム | |
| CN113632450B (zh) | 摄影系统及图像处理装置 | |
| CN115170657A (zh) | 钢轨识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051227 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060622 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3822468 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090630 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100630 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100630 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110630 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120630 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120630 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130630 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |