JPH1170884A - Self-advancing own vehicle position detecting device - Google Patents
Self-advancing own vehicle position detecting deviceInfo
- Publication number
- JPH1170884A JPH1170884A JP9361927A JP36192797A JPH1170884A JP H1170884 A JPH1170884 A JP H1170884A JP 9361927 A JP9361927 A JP 9361927A JP 36192797 A JP36192797 A JP 36192797A JP H1170884 A JPH1170884 A JP H1170884A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- road
- reference position
- deviation
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims description 53
- 238000001514 detection method Methods 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 abstract 2
- 239000006185 dispersion Substances 0.000 abstract 1
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Steering Control In Accordance With Driving Conditions (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Processing (AREA)
- Feedback Control In General (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、自動走行における
滑らかな操舵制御を実現するために、車載カメラにより
車両前方の道路画像を撮像し、得られた画像情報に基づ
いて基準位置からの偏位を算出する自動走行用自車位置
検出装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for realizing smooth steering control in automatic driving, in which a vehicle-mounted camera captures a road image ahead of a vehicle, and a deviation from a reference position based on the obtained image information. The present invention relates to a self-vehicle position detection device for automatic traveling that calculates
【0002】[0002]
【従来の技術】車載カメラにより車両前方の道路画像を
撮像し、得られた画像情報に基づいて自車両の基準位置
からの偏位、すなわち自車両の走行車線内での位置を算
出し、この情報に従って自動走行車両の操舵制御を行う
ものとしては、例えば特開平4−373,004号公報
に記載のものが知られている。2. Description of the Related Art An on-vehicle camera captures an image of a road ahead of a vehicle and calculates a deviation of the own vehicle from a reference position, that is, a position of the own vehicle in a traveling lane, based on the obtained image information. Japanese Patent Laid-Open Publication No. 4-373,004 discloses an example of a device that performs steering control of an automatic traveling vehicle according to information.
【0003】この自車位置検出装置では、道路の白線を
カメラで撮像し、この白線に沿って自動走行を行うが、
この際、白線が局部的に途切れても基準位置からの偏位
が推定できるように、白線の計測点を複数ケ所設定する
とともに、各計測点毎に他の計測点での入力値にも信頼
度を与えるメンバシップ関数を設定し、これにより各計
測点の入力値の有効範囲を拡大し、各計測点での制御式
に他の計測点の入力値も反映させることとしている。In this vehicle position detection device, a white line on the road is imaged by a camera, and the vehicle travels automatically along the white line.
At this time, in order to be able to estimate the deviation from the reference position even if the white line is locally interrupted, a plurality of measurement points of the white line are set, and the input values at other measurement points are also reliable for each measurement point. A membership function that gives a degree is set, thereby expanding the effective range of the input value of each measurement point, and reflecting the input values of other measurement points in the control formula at each measurement point.
【0004】すなわち、ある計測点における白線が途切
れても他の計測点の白線データを用いて基準位置からの
偏位を算出し、常にこの演算結果に基づいて操舵制御を
行うというものである。That is, even if the white line at a certain measurement point is interrupted, the deviation from the reference position is calculated using the white line data at another measurement point, and the steering control is always performed based on the calculation result.
【0005】[0005]
【発明が解決しようとする課題】しかしながら、このよ
うな従来の自車位置検出装置にあっては、走行路の白線
が破線である場合には、たとえその破線の切れ目が車両
の近くにあったとしても、画像処理の中では、遠方まで
の複数の計測点データを用いて、基準位置からの偏位が
算出される。However, in such a conventional vehicle position detecting device, when the white line of the traveling path is a broken line, the break of the broken line is close to the vehicle. However, in the image processing, the deviation from the reference position is calculated using data of a plurality of measurement points up to a distant place.
【0006】したがって、画像上で、距離精度の良い近
距離で白線データが検出されない場合には、距離精度の
悪い遠距離の白線データを用いて基準位置からの偏位が
算出されることになり、得られる演算結果には誤差が含
まれてしまう。Therefore, if white line data is not detected at a short distance with good distance accuracy on the image, the deviation from the reference position is calculated using long-distance white line data with poor distance accuracy. In addition, the obtained calculation result includes an error.
【0007】そして、この結果を操舵制御側に出力する
と、この誤差による影響が「車両のふらつき」といった
形で現われることになる。特に、白線が破線である直線
路を走行する状態が続く場所で操舵制御を行う場合にお
いては、常に目標のライン上をふらつかずに走行するこ
とが望ましく、そのためには操舵制御側へ出力する信号
のばらつきが少なくなければならない。このばらつきを
後処理の操舵制御側で取り除くのは、制御の応答性等を
考慮するときわめて困難であった。When this result is output to the steering control side, the effect of this error appears in a form such as "vehicle wobble". In particular, in the case where steering control is performed in a place where a state in which the vehicle travels on a straight road with a white line as a broken line is desirable, it is desirable to always travel without swaying on a target line, and for that purpose, a signal output to the steering control side Must be small. It is extremely difficult to remove this variation on the steering control side of the post-processing in consideration of the response of the control.
【0008】本発明は、このような従来技術の問題点に
鑑みてなされたものであり、操舵制御のふらつきの少な
い、特に変化点の数が少ない信号を操舵制御側へ出力す
ることができる自動走行用自車位置検出装置を提供する
ことを目的とする。SUMMARY OF THE INVENTION The present invention has been made in view of such problems of the prior art, and has been made in consideration of the above-described problems. It is an object of the present invention to provide a traveling vehicle position detecting device.
【0009】[0009]
【課題を解決するための手段】上記目的を達成するた
め、請求項1記載の自動走行用自車位置検出装置は、車
両の操舵制御に関する自動走行用自車位置検出装置であ
って、車両に搭載され、車両前方の道路画像を撮像する
撮像手段と、道路の形状を道路モデルとして記憶する道
路形状記憶手段と、座標系を変換して画像上の座標値を
求める座標変換手段と、前回の演算時における直線或い
は曲線式の近傍に領域を設定する領域設定手段と、前記
撮像手段により撮像した画像情報を走査し、車線を表す
特徴点の位置座標を求める特徴点座標検出手段と、前記
特徴点座標検出手段で抽出した特徴点の座標を参照し
て、特徴点を表す画素を、直線或いは曲線を構成するよ
うに結んで構成される車線を求める車線抽出手段と、前
記特徴点座標検出手段で抽出した特徴点の座標値と、前
記道路形状記憶手段に記憶されている道路モデルの前記
座標変換手段により変換した画像座標値とを比較して、
曲線、勾配その他の道路形状を表すパラメータと、基準
位置からの偏位、高さ、ヨー角、ピッチ角、ロール角そ
の他の撮像手段の姿勢を表すパラメータのうち、少なく
とも基準位置からの偏位と曲率の変化成分を算出する変
化量算出手段と、前記変化量算出手段で算出された変化
量および前記車線抽出手段により抽出された車線形状か
ら、前記道路形状記憶手段に記憶されている道路モデル
や前記座標変換手段その他の各パラメータを更新するパ
ラメータ更新手段と、基準位置からの偏位を車両制御側
に出力する出力信号選択手段とを備え、前記出力信号選
択手段は、前記特徴点座標検出手段での処理結果から、
自車両の近傍での車線を表す特徴点の情報を用いて前記
パラメータ更新手段で更新された基準位置からの偏位の
確信度を判定し、確信度に応じて車両制御側に出力する
信号を更新することを特徴とする。According to one aspect of the present invention, there is provided a self-vehicle position detecting device for an automatic vehicle related to steering control of a vehicle. An image pickup unit mounted to pick up a road image ahead of the vehicle, a road shape storage unit that stores a road shape as a road model, a coordinate conversion unit that converts a coordinate system to obtain a coordinate value on the image, Area setting means for setting an area in the vicinity of a straight line or a curved line at the time of calculation; feature point coordinate detection means for scanning image information taken by the imaging means to obtain position coordinates of feature points representing lanes; A lane extracting means for determining a lane formed by connecting pixels representing the characteristic points so as to form a straight line or a curve with reference to the coordinates of the characteristic points extracted by the point coordinate detecting means; And the coordinate values of the extracted feature points is compared with the image coordinate value converted by the coordinate converting unit of the road models stored in the road shape storing means,
Curve, slope and other parameters representing the road shape, and deviation from the reference position, height, yaw angle, pitch angle, roll angle and other parameters representing the attitude of the imaging means, at least the deviation from the reference position A change amount calculating means for calculating a change component of curvature, a road model stored in the road shape storage means from a change amount calculated by the change amount calculating means and a lane shape extracted by the lane extracting means; A parameter updating unit for updating the coordinate conversion unit and other parameters; and an output signal selecting unit for outputting a deviation from a reference position to a vehicle control side, wherein the output signal selecting unit is the feature point coordinate detecting unit. From the processing result in,
Using the information of the feature points representing the lane in the vicinity of the own vehicle, determine the confidence of the deviation from the reference position updated by the parameter updating means, and output a signal to the vehicle control side according to the confidence. It is characterized by updating.
【0010】また、請求項2に記載の自動走行用自車位
置検出装置は、前記出力信号選択手段は、基準位置から
の偏位の確信度に加えて、車両前方の曲率の程度に応じ
て車両制御側に出力する信号を更新することを特徴とす
る。According to a second aspect of the present invention, in the self-vehicle position detecting apparatus for automatic traveling, the output signal selecting means may be configured to determine a degree of curvature in front of the vehicle in addition to a certainty of deviation from a reference position. A signal output to the vehicle control side is updated.
【0011】また、請求項3に記載の自動走行用自車位
置検出装置は、走行路の路面状態を直接的または間接的
に検出する路面状態検出手段をさらに備え、前記出力信
号選択手段は、基準位置からの偏位の確信度、車両前方
の曲率の程度および前記路面状態検出手段により検出さ
れた走行路の路面状態に応じて、車両制御側に出力する
信号を更新することを特徴とする。Further, the self-vehicle position detecting device for automatic driving according to a third aspect of the present invention further comprises a road surface state detecting means for directly or indirectly detecting a road surface state of a traveling road, and the output signal selecting means comprises: A signal output to the vehicle control side is updated according to the degree of certainty of the deviation from the reference position, the degree of curvature ahead of the vehicle, and the road surface condition of the traveling road detected by the road surface condition detecting means. .
【0012】上記請求項1乃至3記載の自動走行用自車
位置検出装置において、前記撮像手段は、実施形態にお
ける撮像部1に相当し、例えばビデオカメラで構成する
ことができる。また、前記道路形状記憶手段、座標変換
手段、領域設定手段、特徴点座標検出手段、車線抽出手
段、変化量算出手段、パラメータ更新手段、出力信号選
択手段は、実施形態における画像処理部2に相当し、例
えばマイクロコンピュータで構成することができる。ま
た、路面状態検出手段は、実施形態における路面状態検
出部12に相当し、たとえば直接的に路面の湿潤を測定
する超音波ドップラーセンサの出力信号や、間接的に路
面の状態を推定するためのワイパスイッチまたは前照灯
スイッチの状態信号を処理する。[0012] In the self-vehicle position detecting device for an automatic traveling according to any one of the first to third aspects, the image pickup means corresponds to the image pickup section 1 in the embodiment, and may be constituted by, for example, a video camera. The road shape storage unit, coordinate conversion unit, area setting unit, feature point coordinate detection unit, lane extraction unit, change amount calculation unit, parameter update unit, and output signal selection unit correspond to the image processing unit 2 in the embodiment. However, for example, it can be constituted by a microcomputer. The road surface state detecting means corresponds to the road surface state detecting unit 12 in the embodiment, and is, for example, an output signal of an ultrasonic Doppler sensor for directly measuring the wetness of the road surface or an indirect estimation of the road surface state. Process the status signal of the wiper switch or headlight switch.
【0013】[0013]
【作用】図1は、第1の発明の自動走行用自車位置検出
装置を示す機能ブロック図であり、本図を参照しながら
第1の発明の作用を説明する。撮像手段101は、車両
に搭載され車両前方の道路画像を撮像するものであり、
例えばビデオカメラである。道路形状記憶手段102
は、道路の形状を道路モデルとして記憶するものであ
り、例えばメモりである。なお、このメモリは、撮像し
た画像や初期条件、道路モデルやカメラ姿勢を表す各パ
ラメータ等を格納すると共に、演算処理を行う際のワー
クエリアとしても機能する。FIG. 1 is a functional block diagram showing a self-vehicle position detecting apparatus for automatic traveling according to the first invention. The operation of the first invention will be described with reference to this drawing. The imaging unit 101 is mounted on the vehicle and captures a road image ahead of the vehicle.
For example, a video camera. Road shape storage means 102
Stores the shape of the road as a road model, and is, for example, a memory. This memory stores captured images, initial conditions, road models, parameters representing camera attitude, and the like, and also functions as a work area when performing arithmetic processing.
【0014】座標変換手段103は、道路上で処理対象
となる地点の座標系を変換して画像上の座標値を求め
る。領域設定手段104は、前回の演算時における道路
形状を表す直線或いは曲線式の近傍に処理領域を設定す
る。The coordinate conversion means 103 converts a coordinate system of a point to be processed on a road to obtain a coordinate value on an image. The area setting means 104 sets a processing area near a straight line or a curved line representing the road shape at the time of the previous calculation.
【0015】特徴点座標検出手段105は、撮像手段1
01により撮像した画像情報を走査し、例えば空間微分
処理により得られるエッジ情報を利用して車線を表す特
徴点の位置座標を求める。The feature point coordinate detecting means 105 includes the image pickup means 1
In step 01, the captured image information is scanned, and for example, position coordinates of a feature point representing a lane are obtained using edge information obtained by spatial differentiation processing.
【0016】車線抽出手段106は、特徴点座標検出手
段105で抽出した特徴点の座標を参照して、例えば最
小二乗法を用いて特徴点を表す画素が直線或いは曲線を
構成するように近似する。The lane extracting means 106 refers to the coordinates of the characteristic points extracted by the characteristic point coordinate detecting means 105 and approximates the pixels representing the characteristic points by using, for example, the least squares method so as to form a straight line or a curve. .
【0017】変化量算出手段107は、特徴点座標検出
手段105で抽出した特徴点の座標値と、道路形状記憶
手段102に記憶されている道路モデルを座標変換手段
103によって変換した際の画像座標値とを比較して、
道路形状を表すパラメータ(曲率および勾配)と撮像手
段101の姿勢を表すパラメータ(基準位置からの偏
位、高さ、ヨー角、ピッチ角、ロール角)の変化成分を
算出する。The change amount calculation means 107 calculates the coordinate values of the feature points extracted by the feature point coordinate detection means 105 and the image coordinates obtained by converting the road model stored in the road shape storage means 102 by the coordinate conversion means 103. Compare with the value
A change component of a parameter (curvature and gradient) representing the road shape and parameters (deviation from the reference position, height, yaw angle, pitch angle, and roll angle) representing the attitude of the imaging unit 101 are calculated.
【0018】パラメータ更新手段108は、変化量算出
手段107で算出された変化量および車線抽出手段10
6で抽出された車線形状に基づいて、道路形状記憶手段
102に記憶されている道路モデルや座標変換手段10
3等の各パラメータを更新する。The parameter updating means 108 calculates the change amount calculated by the change amount calculating means 107 and the lane extracting means 10.
6, the road model stored in the road shape storage means 102 and the coordinate transformation means 10 based on the lane shape extracted in Step 6.
The parameters such as 3 are updated.
【0019】そして、出力信号選択手段109は、特徴
点座標検出手段105での処理結果およびパラメータ更
新手段108で処理された基準位置からの偏位と道路の
曲率に基づいて情報の確信度を判定し、確信度に応じて
操舵制御の基になる信号を後続の車両制御側に出力す
る。以下、この出力信号選択手段109の出力に基づい
て、車両制御側は操舵制御を行う。The output signal selecting means 109 determines the degree of certainty of the information based on the processing result of the feature point coordinate detecting means 105, the deviation from the reference position processed by the parameter updating means 108 and the curvature of the road. Then, a signal serving as a basis for steering control is output to the following vehicle control side according to the certainty factor. Hereinafter, the vehicle control side performs the steering control based on the output of the output signal selection means 109.
【0020】このように第1の発明は、遠方までの複数
の領域での白線データを用いて基準位置からの偏位を算
出し、これを操舵制御側に出力する際に、画像上で距離
精度の良い場所に白線情報が存在している場合には、デ
ータの確信度を高く設定し、存在しない場合にはデータ
の確信度を低く設定して、この確信度と道路前方の曲率
に応じて操舵制御側に出力する信号を変える。これによ
り、操舵制御のふらつきの要因となるばらつきが少な
い、特に変化点の数が少ない信号を操舵制御へ出力する
ことが可能となる。As described above, the first aspect of the present invention calculates the deviation from the reference position using the white line data in a plurality of areas up to a distant place, and when outputting the deviation to the steering control side, the distance on the image is calculated. If the white line information exists in a place with high accuracy, set the data confidence to a high value.If it does not exist, set the data confidence to a low value. To change the signal output to the steering control. As a result, it is possible to output to the steering control a signal with little variation that causes fluctuations in the steering control, particularly with a small number of change points.
【0021】図6は、第2の発明の自動走行用自車位置
検出装置を示す機能ブロック図であり、本図を参照しな
がら第2の発明の作用を説明する。撮像手段101、道
路形状記憶手段102、座標変換手段103、領域設定
手段104、特徴点座標検出手段105、車線抽出手段
106、変化量算出手段107およびパラメータ更新手
段108の構成およびその機能は、上述した第1の発明
と同様である。FIG. 6 is a functional block diagram showing a self-vehicle position detecting device for automatic traveling according to the second invention. The operation of the second invention will be described with reference to FIG. The configurations and functions of the imaging unit 101, road shape storage unit 102, coordinate conversion unit 103, region setting unit 104, feature point coordinate detection unit 105, lane extraction unit 106, change amount calculation unit 107, and parameter update unit 108 are described above. This is the same as the first invention.
【0022】路面状態検出手段110は、路面状態の湿
潤や照度を検出した信号を処理するものであり、たとえ
ば直接的に路面の湿潤状況を測定する超音波ドップラー
センサの出力信号、または降雨状態から間接的に路面の
湿潤状況を推定するワイパスイッチの状態信号あるいは
トンネル内部や夜間走行などにおける走行路が低照度で
あることを推定する前照灯スイッチの状態信号を処理す
る。The road surface condition detecting means 110 processes a signal which detects the wetness or illuminance of the road surface condition. For example, an output signal of an ultrasonic Doppler sensor for directly measuring the wetness condition of the road surface, or from a rainfall condition. A state signal of a wiper switch for indirectly estimating a wet state of a road surface or a state signal of a headlight switch for estimating that a traveling road in a tunnel or at night is low in illuminance is processed.
【0023】そして、出力信号選択手段109は、特徴
点座標検出手段105での処理結果およびパラメータ更
新手段108で処理された基準位置からの偏位と道路の
曲率、さらには路面状態検出手段110からの出力結果
に基づいて情報の確信度を判定し、確信度に応じて操舵
制御の基になる信号を後続の車両制御側に出力する。以
下、この出力信号選択手段109の出力に基づいて、車
両制御側は操舵制御を行う。The output signal selecting means 109 outputs the processing result of the feature point coordinate detecting means 105, the deviation from the reference position processed by the parameter updating means 108, the curvature of the road, and the road surface state detecting means 110. Is determined on the basis of the output result of the above, and a signal serving as a basis for steering control is output to the subsequent vehicle control side according to the certainty. Hereinafter, the vehicle control side performs the steering control based on the output of the output signal selection means 109.
【0024】このように第2の発明は、遠方までの複数
の領域での白線データを用いて基準位置からの偏位を算
出し、これを操舵制御側に出力する際に、画像上で距離
精度の良い場所に白線情報が存在している場合には、デ
ータの確信度を高く設定し、存在しない場合にはデータ
の確信度を低く設定して、この確信度と道路前方の曲率
と走行路の路面状態といった三つの出力結果に応じて操
舵制御側に出力する信号を変える。これにより、操舵制
御のふらつきの要因となるばらつきが少ない、特に変化
点の数が少ない信号を操舵制御へ出力することが可能と
なる。As described above, according to the second invention, the deviation from the reference position is calculated using the white line data in a plurality of areas up to a distance, and when the deviation is output to the steering control side, the distance on the image is calculated. If the white line information exists in a place with high accuracy, the data confidence is set high, and if it does not exist, the data confidence is set low. A signal to be output to the steering control side is changed according to three output results such as a road surface condition. As a result, it is possible to output to the steering control a signal with little variation that causes fluctuations in the steering control, particularly with a small number of change points.
【0025】[0025]
【発明の効果】請求項1記載の発明によれば、距離精度
の高い算出値に基づいて操舵制御を行うので、例えば操
舵角をほとんど伴わない直線路で白線が破線である場合
などには、推定誤差等による出力値のばらつき、特に出
力値の変化点の数を少なくでき、その結果、操舵制御時
の細かなふらつきを抑制することができる。According to the first aspect of the present invention, since the steering control is performed based on the calculated value with high distance accuracy, for example, when the white line is a broken line on a straight road with almost no steering angle, Variations in output values due to estimation errors and the like, particularly the number of output value change points, can be reduced, and as a result, fine fluctuations during steering control can be suppressed.
【0026】請求項2記載の発明によれば、常に操舵角
を伴って走行しなければならないような曲率半径の小さ
なカーブ路では、遠方までの複数の領域での白線情報を
用いて常に最新の基準位置からの偏位情報により操舵制
御を行うので、直線路だけでなくカーブ路においても滑
らかな操舵制御が可能となる。According to the second aspect of the present invention, on a curved road having a small radius of curvature which must always travel with a steering angle, the latest white line information in a plurality of areas up to a long distance is always used. Since steering control is performed based on deviation information from the reference position, smooth steering control can be performed not only on a straight road but also on a curved road.
【0027】請求項3記載の発明によれば、走行路面の
状態を考慮して制御側に出力する信号を算出するので、
夜間や雨天などのように環境の悪い場面でも滑らかな操
舵制御が可能となる。According to the third aspect of the present invention, the signal to be output to the control side is calculated in consideration of the state of the traveling road surface.
Smooth steering control is possible even in a bad environment such as nighttime or rainy weather.
【0028】[0028]
【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。第1実施形態 図2は、本発明の第1実施形態を示すブロック図であ
る。図2において、撮像部1は例えばビデオカメラであ
り、車両前部に前向きに設置され、車両前方の道路画像
を撮像して電気信号に変換する。Embodiments of the present invention will be described below with reference to the drawings. First Embodiment FIG. 2 is a block diagram showing a first embodiment of the present invention. In FIG. 2, an imaging unit 1 is, for example, a video camera, is installed in front of a vehicle, and captures a road image ahead of the vehicle to convert it into an electric signal.
【0029】また、画像処理部2は、例えばマイクロコ
ンピュータで構成され、撮像部1からの映像信号を入力
して画像処理を行い、自車両の基準位置からの偏位、す
なわち走行車線内での横位置を検出する。The image processing unit 2 is constituted by, for example, a microcomputer, and performs image processing by inputting a video signal from the imaging unit 1 to deviate from the reference position of the own vehicle, that is, in the traveling lane. Detect horizontal position.
【0030】そして、車両制御部3では画像処理部2の
検出結果に基づいて自動走行制御の操舵制御を行う。ま
た、表示部4は画像処理部2の検出結果を表示するもの
であり、例えばCRT表示装置や液晶表示装置等であ
る。The vehicle control unit 3 performs the steering control of the automatic traveling control based on the detection result of the image processing unit 2. The display unit 4 displays a detection result of the image processing unit 2, and is, for example, a CRT display device or a liquid crystal display device.
【0031】画像処理部2における情報の処理内容は、
図1の機能ブロックにて説明したとおりであるが、各処
理内容について詳細に説明する。The processing contents of the information in the image processing unit 2 are as follows.
As described with reference to the functional blocks in FIG. 1, each processing content will be described in detail.
【0032】図3は、本実施形態の全体のフローチャー
トであり、まず、本実施形態の自車位置検出装置を操作
することによって装置の電源がON状態のなると(S
2)、初期設定が行われる(S4)。ここで、初期設定
とは、メモリのワークエリアのクリア等の処理が挙げら
れる。また、人が行う操作としては、撮像部1の初期調
整や、車線の形状を表す道路モデルパラメータの初期値
の設定や、カメラの取付け位置や方向を表すカメラ姿勢
パラメータの初期値の設定を行う。FIG. 3 is an overall flowchart of the present embodiment. First, when the self-vehicle position detecting device of the present embodiment is turned on by operating the self-vehicle position detecting device (S).
2), initialization is performed (S4). Here, the initialization includes processing such as clearing of a work area of a memory. In addition, as an operation performed by a person, initial adjustment of the imaging unit 1, setting of initial values of road model parameters representing the shape of the lane, and setting of initial values of camera posture parameters representing the mounting position and direction of the camera are performed. .
【0033】次に、撮像部1において撮像面に受光した
車両前方の道路画像に対する信号をアナログ信号に変換
し(S6)、画像処理部2においてA/D変換器によっ
てこのアナログ信号をディジタル信号に変換する(S
8)。Next, the signal for the road image ahead of the vehicle, which is received on the imaging surface by the imaging unit 1, is converted into an analog signal (S6), and the analog signal is converted into a digital signal by the A / D converter in the image processing unit 2. Convert (S
8).
【0034】次に、車線検出処理(S10)では、車線
の境界を示す白線を検出して車線の形状を直線或いは曲
線式に近似する。そして、各パラメータ(道路形状パラ
メータとカメラ姿勢パラメータ)の前回からの変化量を
求め、この変化量から新たな道路モデルを作成して、そ
の結果をメモリに格納して、次の画像情報を得るために
画像情報取込処理(S6)に戻る。Next, in the lane detecting process (S10), a white line indicating the boundary of the lane is detected, and the shape of the lane is approximated by a straight line or a curved line. Then, the amount of change of each parameter (road shape parameter and camera attitude parameter) from the previous time is obtained, a new road model is created from the amount of change, the result is stored in the memory, and the next image information is obtained. Therefore, the process returns to the image information capturing process (S6).
【0035】出力信号選択手段(S12)では、車線検
出処理(S10)の結果のうち、自車両近傍での白線の
有無と道路の曲率に基づいて、現在の走行車線で操舵制
御を行うのに最適な基準位置からの偏位データを選択し
て車両制御側に出力する。The output signal selecting means (S12) performs steering control in the current traveling lane based on the presence or absence of a white line near the own vehicle and the curvature of the road among the results of the lane detection processing (S10). The deviation data from the optimal reference position is selected and output to the vehicle control side.
【0036】そして、操舵制御処理(S14)では、初
期信号選択処理(S12)からの出力に基づいて、ステ
アリングアクチュエータを制御することにより操舵制御
を行う。In the steering control process (S14), the steering control is performed by controlling the steering actuator based on the output from the initial signal selection process (S12).
【0037】なお、上記のような処理で電源ON(S
2)や初期設定処理(S4)は、システムの起動直後に
一度だけ実行されればよく、それ以下の一連の処理を繰
り返すことにより、装置が動作することになる。Note that the power supply is turned on (S
2) and the initial setting process (S4) need only be executed once immediately after the system is started, and the apparatus operates by repeating a series of processes thereafter.
【0038】次に、本実施形態での重要なポイントとな
る車線検出処理(S10)と出力信号選択処理(S1
2)について、その処理内容を詳しく説明する。Next, the lane detection processing (S10) and the output signal selection processing (S1), which are important points in this embodiment, are performed.
The details of the process 2) will be described in detail.
【0039】まず、車線検出処理(S10)について、
その処理内容を示すフローチャートである図4を用いて
説明する。First, regarding the lane detection processing (S10),
The processing will be described with reference to FIG.
【0040】最初に、エッジ画像作成処理(S100
2)では、例えば3×3画素の空間微分フィルタ(例え
ば,SOBELフィルタ)を用いてエッジ抽出処理を行
い、水平エッジ画像と垂直エッジ画像を作成する。First, an edge image creation process (S100)
In 2), a horizontal edge image and a vertical edge image are created by performing an edge extraction process using, for example, a 3 × 3 pixel spatial differential filter (for example, a SOBEL filter).
【0041】次に、座標変換処理(S1004)では、
メモリに格納されている道路モデルにおいて、道路座標
系で自車両から所定距離だけ離れた対象点に対して、カ
メラ姿勢パラメータ等を用いて画像座標系への座標変換
を行い、対象点の画像座標値(以下、モデル座標値とす
る)を算出する。Next, in the coordinate conversion process (S1004),
In the road model stored in the memory, a target point that is a predetermined distance from the own vehicle in the road coordinate system is subjected to coordinate conversion to an image coordinate system using a camera attitude parameter or the like, and the image coordinates of the target point are calculated. A value (hereinafter referred to as a model coordinate value) is calculated.
【0042】次に、検出領域設定処理(S1006)で
は、例えばCCDカメラの焦点距離等を用いて道路座標
系で一定距離(例えば2m)に相当する画素数を算出
し、この算出された画素数の大きさで上記モデル座標値
を中心とする白線検出領域をエッジ画像上に設定する。Next, in the detection area setting processing (S1006), the number of pixels corresponding to a fixed distance (for example, 2 m) in the road coordinate system is calculated using, for example, the focal length of the CCD camera, and the calculated number of pixels is calculated. A white line detection area centered on the model coordinate value is set on the edge image with the size of.
【0043】次に、マッチング処理(S1008)で
は、検出領域設定処理(S1006)で設定された領域
を左右または上下に走査する。この時、走査方向と走査
するエッジ画像の種類は車線の形状に依存し、直線路の
ように画像上で白線が垂直に近く見える場合には垂直エ
ッジ画像を水平方向に走査し、カーブ路遠方の白線のよ
うに水平に近く見える場合には水平エッジ画像を垂直方
向に走査する。そして、白線の幅に相当する画素数だけ
離れた一定値以上のプラスエッジと一定値以下のマイナ
スエッジの組み合わせを抽出して、どちらかのエッジの
座標値(以下、算出座標値とする)を求める。Next, in the matching processing (S1008), the area set in the detection area setting processing (S1006) is scanned left and right or up and down. At this time, the scanning direction and the type of the edge image to be scanned depend on the shape of the lane. If the white line appears to be nearly vertical on the image like a straight road, the vertical edge image is scanned in the horizontal direction, and the distant curved road is used. If it looks nearly horizontal like the white line, the horizontal edge image is scanned in the vertical direction. Then, a combination of a plus edge of a certain value or more and a minus edge of a certain value or less separated by the number of pixels corresponding to the width of the white line is extracted, and the coordinate value of one of the edges (hereinafter referred to as a calculated coordinate value) is calculated. Ask.
【0044】この際、どちらのエッジの座標値を用いる
かは、処理を通して同一のものとする。そして、このよ
うにして求められたエッジ座標データである算出座標値
とモデル座標値を以降の処理で用いる。At this time, which edge coordinate value is used is the same throughout the processing. Then, the calculated coordinate values and the model coordinate values, which are the edge coordinate data thus obtained, are used in the subsequent processing.
【0045】次に、パラメータ推定処理(S1010)
では、上記算出座標値とモデル座標値から、各パラメー
タの変化量を算出する。このとき、モデル座標値と算出
座標値の画素のずれ量が変化量の基本となる。この画素
のずれ量を用いてカメラ姿勢パラメータであるヨー角、
ピッチ角、ロール角の前回の処理時点からの変化量を算
出する。Next, parameter estimation processing (S1010)
Then, a change amount of each parameter is calculated from the calculated coordinate value and the model coordinate value. At this time, the amount of deviation between the pixel of the model coordinate value and the pixel of the calculated coordinate value is the basis of the amount of change. A yaw angle, which is a camera posture parameter,
The amount of change in the pitch angle and the roll angle from the previous processing time is calculated.
【0046】最後に、パラメータ更新処理(S101
2)では、上記パラメータ推定処理(S1010)で算
出された変化量に基づいて各パラメータを更新し、更新
されたパラメータのうち基準位置からの偏位と車線の曲
率を以降の処理に出力すると共に、車線の形状を表す近
似式を新たな道路モデルとしてメモリに格納する。Finally, the parameter update processing (S101)
In 2), each parameter is updated based on the amount of change calculated in the parameter estimation processing (S1010), and among the updated parameters, the deviation from the reference position and the curvature of the lane are output to the subsequent processing, and , And the approximate expression representing the shape of the lane is stored in the memory as a new road model.
【0047】次に、出力信号選択処理(S12)につい
て、その処理内容を示すフローチャートである図5と、
本実施形態における道路画像の一例である図9を用いて
説明する。Next, FIG. 5 is a flowchart showing the contents of the output signal selection processing (S12).
This will be described with reference to FIG. 9, which is an example of a road image in the present embodiment.
【0048】最初に、白線位置判定処理(S1202)
では、走行車線の白線の状況に応じて車線検出処理(S
10)からの出力結果の一つである基準位置からの偏位
に対して、データの確かさを表す指標として確信度を設
定する。First, the white line position determination processing (S1202)
Then, the lane detection processing (S
A certainty factor is set as an index indicating the certainty of data with respect to the deviation from the reference position, which is one of the output results from 10).
【0049】これは、車線検出処理(S10)で白線5
を検出するために設定した検出領域6のうち、例えば自
車両に最も近い領域を判定領域7とする。そして、この
領域内に白線が存在する場合(図9(a))には、基準
位置からの偏位に対する確信度を高く設定し、白線が存
在しない場合(図9(b))には、この確信度を低く設
定する。This is because the white line 5 is detected in the lane detection processing (S10).
Among the detection areas 6 set for detecting the vehicle, for example, an area closest to the host vehicle is set as the determination area 7. If a white line exists in this region (FIG. 9A), the degree of certainty about the deviation from the reference position is set high, and if there is no white line (FIG. 9B), This certainty factor is set low.
【0050】なお、この判定領域7は、自車両に最も近
い領域一つである必要はなく、例えば図10に示すよう
に複数(例えば四つ)箇所に設定してもよい。このとき
は、第一の判定領域8、第二の判定領域9、第三の判定
領域10、第四の判定領域11の間隔が例えばそれぞれ
2mであるとすると、実線部分が8mで途切れ部分が1
2mの破線に対しては、四つ全ての領域に白線情報が存
在する場合の確信度が一番高くなり、以下、第一の判定
領域8と第二の判定領域9と第三の判定領域10に存在
する場合、第一の判定領域8と第二の判定領域9に存在
する場合、第一の判定領域8だけに存在する場合、第二
の判定領域9と第三の判定領域10と第四の判定領域1
1に存在する場合、第三の判定領域10と第四の判定領
域11に存在する場合、第四の判定領域11だけに存在
する場合、四つの判定領域のどこにも存在しない場合の
順に確信度を低く設定してもよい。The determination area 7 does not need to be one area closest to the host vehicle, but may be set at a plurality (for example, four) as shown in FIG. At this time, if the interval between the first determination region 8, the second determination region 9, the third determination region 10, and the fourth determination region 11 is, for example, 2 m, the solid line portion is 8 m and the discontinuous portion is 1
For the broken line of 2 m, the degree of certainty when the white line information is present in all four areas is the highest, and hereinafter, the first determination area 8, the second determination area 9, and the third determination area 10, if it exists in the first determination area 8 and the second determination area 9, if it exists only in the first determination area 8, the second determination area 9 and the third determination area 10 Fourth determination area 1
1, the third determination area 10 and the fourth determination area 11, the fourth determination area 11 only, and the non-existence of any of the four determination areas. May be set low.
【0051】次に、車線形状判定手段(S1204)で
は、車線検出処理(S10)からの出力結果の一つであ
る道路モデルの曲率情報に基づいて、カーブ路の曲率半
径の大きさに応じて、カーブの程度を分類する。例え
ば、曲率半径300mを基準にしてそれよりも大きな
(直線路に近い)場合と小さな(カーブがきつい)場合
に大別する。なお、カーブの程度は必ずしも二つに大別
することに限ったものではない。Next, in the lane shape determining means (S1204), based on the curvature information of the road model, which is one of the output results from the lane detection processing (S10), the lane shape is determined in accordance with the radius of curvature of the curved road. , Classify the degree of the curve. For example, based on a radius of curvature of 300 m as a reference, it is roughly classified into a case where the radius is larger (closer to a straight road) and a case where the radius is smaller (a sharper curve). It should be noted that the degree of the curve is not necessarily limited to being roughly divided into two.
【0052】最後に、出力信号更新処理(S1206)
では、基準位置からの偏位の確信度とカーブの程度から
操舵制御側へ出力するデータを決定する。例えば、カー
ブの程度が直線路に近い(例えば曲率半径300m以上
とする)場合で、基準位置からの偏位の確信度が高い時
には、この基準位置からの偏位を全体の出力値として操
舵制御へ出力する。Finally, output signal update processing (S1206)
Then, data to be output to the steering control side is determined from the degree of certainty of the deviation from the reference position and the degree of the curve. For example, when the degree of the curve is close to a straight road (for example, the radius of curvature is 300 m or more) and the degree of certainty of the deviation from the reference position is high, the deviation from the reference position is used as the overall output value for steering control. Output to
【0053】また、カーブの程度が直線路に近い場合
で、基準位置からの偏位の確信度が低い時には、それま
での処理の中で一番最近の確信度の高い基準位置からの
偏位を全体の出力値として操舵制御へ出力する。すなわ
ち、直線路に近い走行路で白線が破線の場合には、操舵
制御へ出力する信号は、新規に更新される場合と更新さ
れずに前回の結果を保持する場合がある。When the degree of the curve is close to a straight road and the confidence of the deviation from the reference position is low, the deviation from the reference position with the latest confidence in the processing up to that time is low. Is output to the steering control as an overall output value. That is, when the white line is a dashed line on a running road close to a straight road, the signal output to the steering control may be updated anew, or may retain the previous result without being updated.
【0054】一方、カーブの程度がきつい(例えば曲率
半径300m以下とする)場合は、基準位置からの偏位
の確信度に関係なく、常に新規に更新された信号を全体
の出力値として操舵制御側へ出力する。On the other hand, when the degree of the curve is steep (for example, the radius of curvature is 300 m or less), a newly updated signal is always used as the entire output value regardless of the degree of certainty of deviation from the reference position. Output to the side.
【0055】以上、述べた実施形態によれば、遠方まで
の複数の領域での白線データを用いて基準位置からの偏
位を算出して操舵制御側に出力する際に、画像上で距離
精度のよい自車両の近くの領域に白線情報が存在する場
合には、算出したデータの確信度を高く設定して、自車
両の近くの領域に白線情報が存在しない場合には、算出
したデータの確信度を低く設定して、この確信度と道路
前方のカーブの程度に応じて最適な信号を選択するの
で、滑らかな操舵制御を行うための信号を出力すること
が可能な装置を実現することができる。According to the above-described embodiment, when calculating the deviation from the reference position using the white line data in a plurality of areas up to a distant place and outputting the deviation to the steering control side, the distance accuracy on the image is calculated. If the white line information exists in the area near the own vehicle, the confidence level of the calculated data is set high. If the white line information does not exist in the area near the own vehicle, the calculated data Since the optimal signal is selected according to the confidence and the degree of the curve ahead of the road by setting the confidence to be low, it is possible to realize a device capable of outputting a signal for performing smooth steering control. Can be.
【0056】第2実施形態 図7は、本発明の第2実施形態を示すブロック図であ
り、上述した第1実施形態と、路面状態検出部12が付
加されている点が相違し、その他の構成は同じである。 Second Embodiment FIG. 7 is a block diagram showing a second embodiment of the present invention. The second embodiment differs from the first embodiment in that a road surface state detector 12 is added. The configuration is the same.
【0057】この路面状態検出部12は、たとえば超音
波ドップラーセンサやワイパスイッチや前照灯スイッチ
であり、路面の湿潤状態や照度状態を直接的または間接
的に検出するセンサである。The road surface condition detecting unit 12 is, for example, an ultrasonic Doppler sensor, a wiper switch, or a headlight switch, and is a sensor that directly or indirectly detects a wet state or an illuminance state of the road surface.
【0058】本実施形態の自動走行用自車位置検出装置
では、上述した第1実施形態と同様に図3に示す全体フ
ローチャートにしたがって操作処理が実行される。In the self-vehicle position detecting device for automatic traveling according to the present embodiment, the operation processing is executed in accordance with the overall flowchart shown in FIG. 3 as in the first embodiment described above.
【0059】特に、図3のステップ12の出力信号の選
択処理ルーチンにおける処理が相違するので、図8およ
び道路画像の一例である図9を参照しながら説明する。In particular, since the processing in the output signal selection processing routine in step 12 in FIG. 3 is different, it will be described with reference to FIG. 8 and FIG. 9 which is an example of a road image.
【0060】最初に、白線位置判定処理(S1202)
では、走行車線の白線の状況に応じて車線検出処理(S
10)からの出力結果の一つである基準位置からの偏位
に対して、データの確かさを表す指標として確信度を設
定する。First, the white line position determination processing (S1202)
Then, the lane detection processing (S
A certainty factor is set as an index indicating the certainty of data with respect to the deviation from the reference position, which is one of the output results from 10).
【0061】これは、車線検出処理(S10)で白線5
を検出するために設定した検出領域6のうち、例えば自
車両に最も近い領域を判定領域7とする。そして、この
領域内に白線が存在する場合(図9(a))には、基準
位置からの偏位に対する確信度を高く設定し、白線が存
在しない場合(図9(b))には、この確信度を低く設
定する。This is because the white line 5 in the lane detection processing (S10)
Among the detection areas 6 set for detecting the vehicle, for example, an area closest to the host vehicle is set as the determination area 7. If a white line exists in this region (FIG. 9A), the degree of certainty about the deviation from the reference position is set high, and if there is no white line (FIG. 9B), This certainty factor is set low.
【0062】なお、この判定領域7は、自車両に最も近
い領域一つである必要はなく、例えば図10に示すよう
に複数(例えば四つ)箇所に設定してもよい。このとき
は、第一の判定領域8、第二の判定領域9、第三の判定
領域10、第四の判定領域11の間隔が例えばそれぞれ
2mであるとすると、実線部分が8mで途切れ部分が1
2mの破線に対しては、四つ全ての領域に白線情報が存
在する場合の確信度が一番高くなり、以下、第一の判定
領域8と第二の判定領域9と第三の判定領域10に存在
する場合、第一の判定領域8と第二の判定領域9に存在
する場合、第一の判定領域8だけに存在する場合、第二
の判定領域9と第三の判定領域10と第四の判定領域1
1に存在する場合、第三の判定領域10と第四の判定領
域11に存在する場合、第四の判定領域11だけに存在
する場合、四つの判定領域のどこにも存在しない場合の
順に確信度を低く設定してもよい。The determination area 7 does not need to be one area closest to the host vehicle, but may be set at a plurality (for example, four) as shown in FIG. At this time, if the interval between the first determination region 8, the second determination region 9, the third determination region 10, and the fourth determination region 11 is, for example, 2 m, the solid line portion is 8 m and the discontinuity portion is 1
For the broken line of 2 m, the degree of certainty when the white line information is present in all four areas is the highest, and hereinafter, the first determination area 8, the second determination area 9, and the third determination area 10, if it exists in the first determination area 8 and the second determination area 9, if it exists only in the first determination area 8, the second determination area 9 and the third determination area 10 Fourth determination area 1
1, the third determination area 10 and the fourth determination area 11, the fourth determination area 11 only, and the non-existence of any of the four determination areas. May be set low.
【0063】次に、車線形状判定手段(S1204)で
は、車線検出処理(S10)からの出力結果の一つであ
る道路モデルの曲率情報に基づいて、カーブ路の曲率半
径の大きさに応じて、カーブの程度を分類する。例え
ば、曲率半径300mを基準にしてそれよりも大きな
(直線路に近い)場合と小さな(カーブがきつい)場合
に大別する。なお、カーブの程度は必ずしも二つに大別
することに限ったものではない。Next, in the lane shape determining means (S1204), based on the curvature information of the road model, which is one of the output results from the lane detection processing (S10), the lane shape is determined in accordance with the radius of curvature of the curved road. , Classify the degree of the curve. For example, based on a radius of curvature of 300 m as a reference, it is roughly classified into a case where the radius is larger (closer to a straight road) and a case where the radius is smaller (the curve is tighter). It should be noted that the degree of the curve is not necessarily limited to being roughly divided into two.
【0064】次に、湿潤状態判定処理(S1206)で
は、路面状態検出センサであるたとえば超音波ドップラ
ーセンサからの出力信号またはワイパスイッチの状態信
号から、路面の湿潤状態を推定する。たとえば、ワイパ
スイッチが、OFF、間欠、Lo、Hiの四段階である
場合、路面の湿潤状態をワイパスイッチの状態に対応付
けて二段階に大別し、OFFと間欠の場合には路面がド
ライであると推定して出力信号「0」を、LoまたはH
iの場合には路面がウェットであると推定して出力信号
「1」を割り当てる。超音波ドップラーセンサからの出
力信号においても同様に、ドライとウェットの二段階に
大別する。ただし、湿潤状態は必ずしも二つに大別する
ことに限られない。Next, in the wet state determination processing (S1206), the wet state of the road surface is estimated from an output signal from a road surface state detection sensor, for example, an ultrasonic Doppler sensor or a state signal of a wiper switch. For example, when the wiper switch has four stages of OFF, intermittent, Lo, and Hi, the wet state of the road surface is roughly classified into two stages in association with the state of the wiper switch. And the output signal “0” is changed to Lo or H
In the case of i, the road surface is estimated to be wet, and the output signal “1” is assigned. Similarly, the output signal from the ultrasonic Doppler sensor is roughly divided into two stages, dry and wet. However, the wet state is not necessarily limited to roughly divided into two.
【0065】次に、照度状態判定処理(S1208)で
は、路面状態検出センサであるたとえば前照灯スイッチ
の状態信号から路面の照度を推定する。たとえば、前照
灯スイッチが、OFF、スモール、Lo、Hiの四段階
である場合、路面の照度状態を前照灯スイッチの状態に
対応付けて二段階に大別し、OFFとHiの場合には走
行路の遠方まで明るいと推定して出力信号「0」を、L
oまたはスモールの場合には走行路の遠方は暗いと推定
して出力信号「1」を割り当てる。ただし、照度状態は
必ずしも二つに大別することに限られない。Next, in the illuminance state determination process (S1208), the illuminance of the road surface is estimated from a state signal of, for example, a headlight switch which is a road surface state detection sensor. For example, when the headlight switch has four stages of OFF, small, Lo, and Hi, the illuminance state of the road surface is roughly classified into two stages in association with the state of the headlight switch. Estimates that the output signal "0" is bright up to the far side of
In the case of o or small, it is presumed that the far side of the traveling path is dark, and the output signal “1” is assigned. However, the illuminance state is not necessarily limited to two.
【0066】最後に、出力信号更新処理(S1210)
では、基準位置からの偏位の確信度とカーブの程度、さ
らには路面の湿潤状態や照度状態を用いて、操舵制御側
へ出力するデータを決定する。例えば、カーブの程度が
直線路に近い(例えば曲率半径300m以上とする)場
合で、基準位置からの偏位の確信度が高い時には、この
基準位置からの偏位を全体の出力値として操舵制御へ出
力する。Finally, output signal update processing (S1210)
Then, data to be output to the steering control side is determined using the degree of certainty of the deviation from the reference position and the degree of the curve, as well as the wet state and the illuminance state of the road surface. For example, when the degree of the curve is close to a straight road (for example, the radius of curvature is 300 m or more) and the degree of certainty of the deviation from the reference position is high, the deviation from the reference position is used as the overall output value for steering control. Output to
【0067】また、カーブの程度が直線路に近い場合
で、基準位置からの偏位の確信度が低い時には、それま
での処理の中で一番最近の確信度の高い基準位置からの
偏位を全体の出力値として操舵制御へ出力する。すなわ
ち、直線路に近い走行路で白線が破線の場合には、操舵
制御へ出力する信号は、新規に更新される場合と更新さ
れずに前回の結果を保持する場合がある。If the degree of the curve is close to a straight road and the degree of certainty of the deviation from the reference position is low, the deviation from the reference position with the highest degree of certainty in the processing up to that time is performed. Is output to the steering control as an overall output value. That is, when the white line is a dashed line on a running road close to a straight road, the signal output to the steering control may be updated anew, or may retain the previous result without being updated.
【0068】一方、カーブの程度がきつい(例えば曲率
半径300m以下とする)場合は、湿潤状態信号が
「0」で、かつ照度状態信号が「0」である場合には、
基準位置からの偏位の確信度に関係なく、常に新規に更
新された信号を全体の出力値として操舵制御側へ出力す
る。また、湿潤状態信号または照度状態信号のどちらか
が「1」である場合には、直線路の場合と同様に、基準
位置からの偏位の確信度が高い時には、この基準位置か
らの偏位を全体の出力値として操舵制御へ出力する。ま
た、基準位置からの偏位の確信度が低い時には、それま
での処理の中で一番最近の確信度の高い基準位置からの
偏位を全体の出力値として操舵制御へ出力する。On the other hand, when the degree of curve is sharp (for example, the radius of curvature is 300 m or less), when the wet state signal is “0” and the illuminance state signal is “0”,
Regardless of the degree of certainty of deviation from the reference position, a newly updated signal is always output to the steering control side as an overall output value. When either the wet state signal or the illuminance state signal is “1”, similarly to the case of the straight road, when the certainty of the deviation from the reference position is high, the deviation from the reference position is determined. Is output to the steering control as an overall output value. When the degree of certainty of the deviation from the reference position is low, the deviation from the reference position with the highest degree of certainty in the processing up to that point is output to the steering control as the entire output value.
【0069】以上、述べた実施形態によれば、遠方まで
の複数の領域での白線データを用いて基準位置からの偏
位を算出して操舵制御側に出力する際に、画像上で距離
精度のよい自車両の近くの領域に白線情報が存在する場
合には、算出したデータの確信度を高く設定して、自車
両の近くの領域に白線情報が存在しない場合には、算出
したデータの確信度を低く設定して、この確信度と道路
前方のカーブの程度に応じて最適な信号を選択するの
で、滑らかな操舵制御を行うための信号を出力すること
が可能な装置を実現することができる。According to the above-described embodiment, when calculating the deviation from the reference position using the white line data in a plurality of areas up to a distant place and outputting the deviation to the steering control side, the distance accuracy on the image is calculated. If the white line information exists in the area near the own vehicle, the confidence level of the calculated data is set high. If the white line information does not exist in the area near the own vehicle, the calculated data Since the optimal signal is selected according to the confidence and the degree of the curve ahead of the road by setting the confidence to be low, it is possible to realize a device capable of outputting a signal for performing smooth steering control. Can be.
【0070】なお、以上説明した実施形態は、本発明の
理解を容易にするために記載されたものであって、本発
明を限定するために記載されたものではない。したがっ
て、上記の実施形態に開示された各要素は、本発明の技
術的範囲に属する全ての設計変更や均等物をも含む趣旨
である。The embodiments described above are described for facilitating the understanding of the present invention, and are not described for limiting the present invention. Therefore, each element disclosed in the above embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention.
【図1】第1発明の自動走行用自車位置検出装置を示す
機能ブロック図である。FIG. 1 is a functional block diagram showing a self-vehicle position detecting device for automatic traveling according to a first invention.
【図2】本発明の第1実施形態を示すブロック図であ
る。FIG. 2 is a block diagram showing a first embodiment of the present invention.
【図3】第1実施形態全体の演算処理を示すフローチャ
ートである。FIG. 3 is a flowchart illustrating the calculation processing of the entire first embodiment.
【図4】図3の車線検出のサブルーチンを示すフローチ
ャートである。FIG. 4 is a flowchart showing a sub-routine for lane detection in FIG. 3;
【図5】図3の出力信号選択のサブルーチンを示すフロ
ーチャートである。FIG. 5 is a flowchart showing a subroutine for selecting an output signal in FIG. 3;
【図6】第2発明の自動走行用自車位置検出装置を示す
機能ブロック図である。FIG. 6 is a functional block diagram showing a self-vehicle position detecting device for automatic traveling according to a second invention.
【図7】本発明の第1実施形態を示すブロック図であ
る。FIG. 7 is a block diagram showing a first embodiment of the present invention.
【図8】第1実施形態の出力信号選択のサブルーチンを
示すフローチャートである。FIG. 8 is a flowchart illustrating a subroutine for selecting an output signal according to the first embodiment.
【図9】実施形態における道路画像の一例を示す図であ
り、(a)はデータの確信度が高い例、(b)はデータ
の確信度が低い例をそれぞれ示す。FIGS. 9A and 9B are diagrams illustrating an example of a road image according to the embodiment, in which FIG. 9A illustrates an example of high data certainty and FIG. 9B illustrates an example of low data certainty.
【図10】実施形態における確信度設定の別例を示す図
である。FIG. 10 is a diagram illustrating another example of the certainty factor setting in the embodiment.
1…撮像部 2…画像処理部 3…車両制御部 4…表示部 5…白線 6…検出領域 7…判定領域 8…第一の判定領域 9…第二の判定領域 10…第三の判定領域 11…第四の判定領域 12…路面状態検出部 101…撮像手段 102…道路形状記憶手段 103…座標変換手段 104…領域設定手段 105…特徴点座標検出手段 106…車線抽出手段 107…変化量算出手段 108…パラメータ更新手段 109…出力信号選択手段 110…路面状態検出手段 REFERENCE SIGNS LIST 1 imaging unit 2 image processing unit 3 vehicle control unit 4 display unit 5 white line 6 detection region 7 determination region 8 first determination region 9 second determination region 10 third determination region DESCRIPTION OF SYMBOLS 11 ... Fourth determination area 12 ... Road surface state detection part 101 ... Imaging means 102 ... Road shape storage means 103 ... Coordinate conversion means 104 ... Area setting means 105 ... Feature point coordinate detection means 106 ... Lane extraction means 107 ... Change amount calculation Means 108: Parameter updating means 109: Output signal selecting means 110: Road surface state detecting means
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 FI G08G 1/16 G06F 15/62 380 // B62D 137:00 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 6 Identification code FIG08G 1/16 G06F 15/62 380 // B62D 137: 00
Claims (3)
位置検出装置であって、 車両に搭載され、車両前方の道路画像を撮像する撮像手
段と、 道路の形状を道路モデルとして記憶する道路形状記憶手
段と、 座標系を変換して画像上の座標値を求める座標変換手段
と、 前回の演算時における直線或いは曲線式の近傍に領域を
設定する領域設定手段と、 前記撮像手段により撮像した画像情報を走査し、車線を
表す特徴点の位置座標を求める特徴点座標検出手段と、 前記特徴点座標検出手段で抽出した特徴点の座標を参照
して、特徴点を表す画素を、直線或いは曲線を構成する
ように結んで構成される車線を求める車線抽出手段と、 前記特徴点座標検出手段で抽出した特徴点の座標値と、
前記道路形状記憶手段に記憶されている道路モデルの前
記座標変換手段により変換した画像座標値とを比較し
て、曲線、勾配その他の道路形状を表すパラメータと、
基準位置からの偏位、高さ、ヨー角、ピッチ角、ロール
角その他の撮像手段の姿勢を表すパラメータのうち、少
なくとも基準位置からの偏位と曲率の変化成分を算出す
る変化量算出手段と、 前記変化量算出手段で算出された変化量および前記車線
抽出手段により抽出された車線形状から、前記道路形状
記憶手段に記憶されている道路モデルや前記座標変換手
段その他の各パラメータを更新するパラメータ更新手段
と、 基準位置からの偏位を車両制御側に出力する出力信号選
択手段とを備え、 前記出力信号選択手段は、前記特徴点座標検出手段での
処理結果から、自車両の近傍領域での車線を表す特徴点
情報を用いて前記パラメータ更新手段で更新された基準
位置からの偏位の確信度を判定し、当該確信度に応じて
車両制御側に出力する信号を更新することを特徴とする
自動走行用自車位置検出装置。1. A self-vehicle position detecting device for automatic driving related to steering control of a vehicle, comprising: an image pickup means mounted on the vehicle for picking up a road image ahead of the vehicle; and a road shape storing a shape of the road as a road model. Storage means, coordinate conversion means for converting a coordinate system to obtain a coordinate value on an image, area setting means for setting an area near a straight line or a curvilinear expression in a previous calculation, and an image taken by the imaging means A feature point coordinate detection unit that scans information and obtains position coordinates of a feature point representing a lane; and refers to the coordinates of the feature point extracted by the feature point coordinate detection unit, thereby defining a pixel representing the feature point as a straight line or a curve. Lane extraction means for obtaining a lane constituted by connecting to form a coordinate value of the feature point extracted by the feature point coordinate detection means,
By comparing the road model stored in the road shape storage unit with the image coordinate values converted by the coordinate conversion unit, a curve, a slope, and other parameters representing a road shape,
A deviation amount from a reference position, a height, a yaw angle, a pitch angle, a roll angle, and other parameters representing the attitude of the imaging unit, and at least a deviation amount from the reference position and a change amount calculating unit that calculates a change component of curvature. A parameter for updating the road model and the coordinate conversion means and other parameters stored in the road shape storage means from the change amount calculated by the change amount calculation means and the lane shape extracted by the lane extraction means; Updating means, output signal selecting means for outputting the deviation from the reference position to the vehicle control side, the output signal selecting means, based on the processing result of the feature point coordinate detecting means, in an area near the own vehicle A signal to be output to the vehicle control side according to the degree of certainty determined from the reference position updated by the parameter updating means using the feature point information representing the lane of the vehicle. Automatic traveling vehicle position detecting apparatus characterized by update.
の偏位の確信度に加えて、車両前方の曲率の程度に応じ
て車両制御側に出力する信号を更新することを特徴とす
る請求項1記載の自動走行用自車位置検出装置。2. The method according to claim 1, wherein the output signal selection means updates a signal to be output to the vehicle control side in accordance with the degree of curvature ahead of the vehicle in addition to the certainty of deviation from the reference position. Item 4. The self-vehicle position detecting device for automatic traveling according to Item 1.
に検出する路面状態検出手段をさらに備え、 前記出力信号選択手段は、基準位置からの偏位の確信
度、車両前方の曲率の程度および前記路面状態検出手段
により検出された走行路の路面状態に応じて、車両制御
側に出力する信号を更新することを特徴とする請求項2
記載の自動走行用自車位置検出装置。3. A road surface condition detecting means for directly or indirectly detecting a road surface condition of a traveling road, wherein the output signal selecting means includes a certainty degree of deviation from a reference position and a degree of curvature in front of the vehicle. 3. A signal output to a vehicle control side is updated according to a road surface condition of a traveling road detected by the road surface condition detecting means.
The self-vehicle position detecting device for automatic driving according to the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP36192797A JP3882304B2 (en) | 1997-07-04 | 1997-12-10 | Self-driving vehicle position detector |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9-194742 | 1997-07-04 | ||
JP19474297 | 1997-07-04 | ||
JP36192797A JP3882304B2 (en) | 1997-07-04 | 1997-12-10 | Self-driving vehicle position detector |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1170884A true JPH1170884A (en) | 1999-03-16 |
JP3882304B2 JP3882304B2 (en) | 2007-02-14 |
Family
ID=26508699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP36192797A Expired - Fee Related JP3882304B2 (en) | 1997-07-04 | 1997-12-10 | Self-driving vehicle position detector |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3882304B2 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11115554A (en) * | 1997-10-21 | 1999-04-27 | Fuji Heavy Ind Ltd | Vehicle motion control device |
JP2002027447A (en) * | 2000-07-12 | 2002-01-25 | Fuji Heavy Ind Ltd | Outside monitoring device with fail-safe function |
US6823241B2 (en) | 2000-10-02 | 2004-11-23 | Nissan Motor Co., Ltd. | Lane recognition apparatus for vehicle |
JP2008028957A (en) * | 2006-07-25 | 2008-02-07 | Denso Corp | Image processing apparatus for vehicle |
WO2011040119A1 (en) * | 2009-09-30 | 2011-04-07 | 日立オートモティブシステムズ株式会社 | Vehicle controller |
JP2012118871A (en) * | 2010-12-02 | 2012-06-21 | Aisin Aw Co Ltd | Travel support system, travel support program, and travel support method |
US8385601B2 (en) | 2010-03-08 | 2013-02-26 | Nippon Soken, Inc. | In-vehicle white line recognition apparatus |
JP2013191040A (en) * | 2012-03-14 | 2013-09-26 | Alpine Electronics Inc | Lane mark detector and reliability calculation method of lane mark |
US8744194B2 (en) | 2009-04-09 | 2014-06-03 | Denso Corporation | Boundary line recognition apparatus |
DE112016002932B4 (en) | 2015-06-29 | 2024-04-25 | Denso Corporation | Lane Departure Avoidance System |
-
1997
- 1997-12-10 JP JP36192797A patent/JP3882304B2/en not_active Expired - Fee Related
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11115554A (en) * | 1997-10-21 | 1999-04-27 | Fuji Heavy Ind Ltd | Vehicle motion control device |
JP2002027447A (en) * | 2000-07-12 | 2002-01-25 | Fuji Heavy Ind Ltd | Outside monitoring device with fail-safe function |
US6823241B2 (en) | 2000-10-02 | 2004-11-23 | Nissan Motor Co., Ltd. | Lane recognition apparatus for vehicle |
JP2008028957A (en) * | 2006-07-25 | 2008-02-07 | Denso Corp | Image processing apparatus for vehicle |
US8744194B2 (en) | 2009-04-09 | 2014-06-03 | Denso Corporation | Boundary line recognition apparatus |
CN102481931A (en) * | 2009-09-30 | 2012-05-30 | 日立汽车系统株式会社 | Vehicle Controller |
JP2011073529A (en) * | 2009-09-30 | 2011-04-14 | Hitachi Automotive Systems Ltd | Vehicle controller |
US8630793B2 (en) | 2009-09-30 | 2014-01-14 | Hitachi Automotive Systems, Ltd. | Vehicle controller |
WO2011040119A1 (en) * | 2009-09-30 | 2011-04-07 | 日立オートモティブシステムズ株式会社 | Vehicle controller |
US8385601B2 (en) | 2010-03-08 | 2013-02-26 | Nippon Soken, Inc. | In-vehicle white line recognition apparatus |
JP2012118871A (en) * | 2010-12-02 | 2012-06-21 | Aisin Aw Co Ltd | Travel support system, travel support program, and travel support method |
US8913786B2 (en) | 2010-12-02 | 2014-12-16 | Aisin Aw Co., Ltd. | Driving support system, driving support program, and driving support method |
JP2013191040A (en) * | 2012-03-14 | 2013-09-26 | Alpine Electronics Inc | Lane mark detector and reliability calculation method of lane mark |
DE112016002932B4 (en) | 2015-06-29 | 2024-04-25 | Denso Corporation | Lane Departure Avoidance System |
Also Published As
Publication number | Publication date |
---|---|
JP3882304B2 (en) | 2007-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3780848B2 (en) | Vehicle traveling path recognition device | |
JP4856612B2 (en) | Object detection device | |
JP3736346B2 (en) | Lane detection device | |
US7619668B2 (en) | Abnormality detecting apparatus for imaging apparatus | |
JP4832321B2 (en) | Camera posture estimation apparatus, vehicle, and camera posture estimation method | |
US9773177B2 (en) | Surrounding environment recognition device | |
JP3780922B2 (en) | Road white line recognition device | |
US7580548B2 (en) | Abnormality detecting apparatus for imaging apparatus | |
US10896336B2 (en) | Parking compartment recognition apparatus | |
US20020041229A1 (en) | Lane-keep assisting system for vehicle | |
JP2002259995A (en) | Position detector | |
JPH1170884A (en) | Self-advancing own vehicle position detecting device | |
JP3823782B2 (en) | Leading vehicle recognition device | |
JP4296287B2 (en) | Vehicle recognition device | |
JP5011186B2 (en) | Driving support device and driving support system | |
JP3525733B2 (en) | Road white line detector | |
JP3700625B2 (en) | Road white line recognition device | |
JPH0981757A (en) | Vehicle position detecting device | |
JP4033106B2 (en) | Ranging performance degradation detection device for vehicles | |
JP2003196798A (en) | Device for detecting white line | |
JP2635232B2 (en) | Inter-vehicle distance detection device | |
JP3517999B2 (en) | Vehicle recognition device | |
JPH10103968A (en) | Curve curvature estimation device | |
JP2003061087A (en) | Outside recognition device for vehicle | |
JPH09179989A (en) | Road recognition device for vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060725 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060925 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061106 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121124 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |