JP3501841B2 - Three-dimensional object region detection device, distance measuring device to three-dimensional object region, and their detection and measurement method - Google Patents
Three-dimensional object region detection device, distance measuring device to three-dimensional object region, and their detection and measurement methodInfo
- Publication number
- JP3501841B2 JP3501841B2 JP09753694A JP9753694A JP3501841B2 JP 3501841 B2 JP3501841 B2 JP 3501841B2 JP 09753694 A JP09753694 A JP 09753694A JP 9753694 A JP9753694 A JP 9753694A JP 3501841 B2 JP3501841 B2 JP 3501841B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- road surface
- parallax
- dimensional object
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明は、立体物領域検出装置お
よびその検出方法更には、立体物領域迄の距離測定装置
及びその測定方法に関するものでであり、更に詳しくは
車両等の移動体に於ける画像処理に於いて、前方の物体
の距離分布や走行路を検出するに際し、計算量を減少さ
せると同時に高精度に検出する事の出来る立体物領域検
出装置及び立体物領域迄の距離測定装置に関するもので
ある。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional object area detecting apparatus and its detecting method, and more particularly to a distance measuring apparatus to the three-dimensional object area and its measuring method, and more particularly to a moving body such as a vehicle. In the image processing in the image processing, when detecting the distance distribution of the object in front and the traveling path, the calculation amount is reduced and at the same time the three-dimensional object area detection device and the distance measurement to the three-dimensional object area can be detected with high accuracy It relates to the device.
【０００２】[0002]
【従来の技術】従来から、車両等の移動体の安全走行の
為若しくは車両等の移動体の無人或いは自動走行を目的
として、ステレオ画像から画像処理を行い、立体物領域
を抽出する方法が知られている。係る公知の方法では、
例えば、道路平面方程式を算出して、一方の画像（第１
の画像）を道路平面に投影変換した後、更に他方の画像
（第２の画像）の位置にこれを投影した投影画像（第３
の画像）を作成し、道路面を第２と第３の画像に於いて
一致させる。2. Description of the Related Art Conventionally, there has been known a method of performing image processing from a stereo image and extracting a three-dimensional object region for the safe traveling of a moving body such as a vehicle or for the purpose of unmanned or automatic traveling of a moving body such as a vehicle. Has been. In such known method,
For example, by calculating the road plane equation, one of the images (first
Image) is projected onto the road plane and then projected onto the position of the other image (second image).
Image), and the road surface is made to match in the second and third images.
【０００３】そして、前記第２の画像と第３の画像とか
らその差分画像を作成して、道路面に関する画像部分を
消去させて、最後に残った差分量のある領域を立体物領
域として抽出する様にしたものである。係る投影変換方
法に於いては、予め座標変換テーブルを作成しておき、
一方の画像（第１の画像）の各データを、このテーブル
に記憶させておいた座標に配置するか、或いはかかる投
影変換処理を演算によって実行する事で実現しているも
のである。Then, a difference image is created from the second image and the third image, the image portion relating to the road surface is erased, and the last remaining area having the difference amount is extracted as a three-dimensional object area. It is something that I have done. In this projection conversion method, a coordinate conversion table is created in advance,
This is realized by arranging each data of one image (first image) at the coordinates stored in this table, or by executing such projection conversion processing by calculation.
【０００４】[0004]
【発明が解決しようとする課題】然しながら、係る従来
の方法に於いては、座標変換テーブルを記憶しておく為
に所定のメモリが必要であり、又道路面方程式が変化し
た時の為の座標変換テーブルまで用意するとなると、メ
モリの量がかなり必要となり、コストアップに繋がる事
になる。However, in such a conventional method, a predetermined memory is required to store the coordinate conversion table, and the coordinates for changing the road surface equation are required. If a conversion table is prepared, a large amount of memory will be required, leading to an increase in cost.
【０００５】一方、係る座標変換を計算によって行う場
合には、その計算量は非常に多くなり、演算処理効率或
いは演算処理能力の低下を来す事になる。本発明の目的
は、上記した従来技術の欠点を改良し、座標テーブルを
使用せずに、少ない演算量で簡単に立体物領域の抽出処
理を実現する立体物領域検出装置或いは立体物領域迄の
距離測定装置を提供するものである。On the other hand, when such coordinate conversion is performed by calculation, the amount of calculation becomes very large, resulting in a decrease in calculation processing efficiency or calculation processing capacity. The object of the present invention is to improve the above-mentioned drawbacks of the prior art, and to realize a solid object area detecting device or a solid object area that easily realizes extraction processing of a solid object area with a small amount of calculation without using a coordinate table. A distance measuring device is provided.
【０００６】[0006]
【課題を解決するための手段】本発明は上記した目的を
達成するため、以下に記載されたような技術構成を採用
するものである。即ち、本発明に於ける第１の態様とし
ては、移動体に搭載された、２個の画像撮像手段から構
成され、前記各撮像手段は、互いに平行で且つ路面に平
行に配置されると共に、然かも前記各撮像手段で得られ
た画像間に所定の視差が発生する様に、互いに所定の間
隔を隔てて配置されており、更に画像の走査線方向が、
前記視差発生方向と一致する様に構成されているステレ
オ画像撮像手段と、道路面に対する前記ステレオ画像撮
像手段の俯角を検出する俯角検出手段と、前記俯角より
前記画像画面上に於ける道路面視差を演算する道路面視
差演算手段と、前記ステレオ画像検出手段により撮像さ
れた一方の画像に於いて、前記道路面視差を打ち消す様
に、前記画像に於ける垂直方向の走査毎に、前記視差が
発生する方向に、前記画像情報を前記道路面視差分ずつ
ずらせながら、道路面視差分調整画像を作成する道路面
視差分調整画像作成手段と、係る道路面視差分調整画像
と前記したステレオ画像検出手段により撮像された他方
の画像との差分を演算して差分画像を作成する差分画像
作成手段及び前記差分画像から立体物領域を検出する立
体物領域検出手段とから構成され、前記道路面視差分調
整画像作成手段は、前記道路面視差を遅延量とする遅延
回路である立体物領域検出装置であり、又、第２の態様
としては、移動体に搭載された、２個の撮像手段から構
成され、前記各撮像手段は、互いに平行で且つ路面に平
行に配置されると共に、然かも前記各撮像手段で得られ
た画像間に所定の視差が発生する様に、互いに所定の間
隔を隔てて配置されており、更に画像の走査線方向が、
前記視差発生方向と一致する様に構成されているステレ
オ画像撮像手段と、道路面に対する前記ステレオ画像撮
像手段の俯角を検出する俯角検出手段と、前記俯角より
前記画像画面上に於ける道路面視差を演算する道路面視
差演算手段と、前記ステレオ画像検出手段により撮像さ
れた一方の画像に於いて、前記道路面視差を打ち消す様
に、前記画像に於ける垂直方向の走査毎に、前記視差が
発生する方向に、前記画像情報を前記道路面視差分ずつ
ずらせながら、道路面視差分調整画像を作成する道路面
視差分調整画像作成手段と、係る道路面視差分調整画像
と前記したステレオ画像検出手段により撮像された他方
の画像との差分を演算して差分画像を作成する差分画像
作成手段と、前記差分画像から立体物領域を検出する立
体物領域検出手段と、前記検出された立体物領域に付い
て相関演算により前記立体物領域迄の距離を解析する距
離解析手段と、距離解析手段により出力された距離情報
を評価して、信頼性のある距離情報を選択して出力する
距離算出手段とから構成され、前記道路面視差分調整画
像作成手段は、前記道路面視差を遅延量とする遅延回路
である立体物領域迄の距離測定装置である。In order to achieve the above-mentioned object, the present invention adopts the technical constitution as described below. That is, as a first aspect of the present invention, it is composed of two image pickup means mounted on a moving body, and the respective pickup means are arranged in parallel with each other and in parallel with a road surface, and Of course, they are arranged at a predetermined interval from each other so that a predetermined parallax occurs between the images obtained by the respective image pickup means, and the scanning line direction of the images is
Stereo image capturing means configured to match the parallax generation direction, depression angle detecting means for detecting a depression angle of the stereo image capturing means with respect to a road surface, and road surface parallax on the image screen from the depression angle. In the one image captured by the road surface parallax calculating means and the stereo image detecting means, the parallax is calculated for each vertical scanning in the image so as to cancel the road surface parallax. A road surface difference adjustment image creating means for creating a road surface difference adjustment image while shifting the image information by the road surface difference by the image generation direction, and the road surface difference adjustment image and the stereo image detection. Difference image creating means for creating a difference image by calculating a difference from the other image captured by the means, and three-dimensional object area detecting means for detecting a three-dimensional object area from the difference image. Consists, the road surface viewed differential tone
The adjusted image creating means is a delay that uses the road surface parallax as a delay amount.
A three-dimensional object area detection device which is a circuit, and as a second aspect, is composed of two image pickup means mounted on a moving body, and the respective image pickup means are parallel to each other and parallel to a road surface. Along with the arrangement, they are arranged at a predetermined distance from each other so that a predetermined parallax occurs between the images obtained by the respective image pickup means, and the scanning line direction of the image is
Stereo image capturing means configured to match the parallax generation direction, depression angle detecting means for detecting a depression angle of the stereo image capturing means with respect to a road surface, and road surface parallax on the image screen from the depression angle. In the one image captured by the road surface parallax calculating means and the stereo image detecting means, the parallax is calculated for each vertical scanning in the image so as to cancel the road surface parallax. A road surface difference adjustment image creating unit that creates a road surface difference adjustment image while shifting the image information in the direction of occurrence by the road surface difference difference, the road surface difference adjustment image, and the stereo image detection. Difference image creating means for creating a difference image by calculating a difference from the other image captured by the means, and three-dimensional object area detecting means for detecting a three-dimensional object area from the difference image. , For the detected three-dimensional object area, distance analysis means for analyzing the distance to the three-dimensional object area by correlation calculation, and distance information output by the distance analysis means are evaluated to obtain reliable distance information. And a distance calculation means for selecting and outputting the road surface difference adjustment image.
The image creating means is a delay circuit using the road surface parallax as a delay amount.
It is a distance measuring device to a three-dimensional object area.
【０００７】[0007]
【作用】本発明に係る立体物領域検出装置或いは立体物
領域迄の距離測定装置及びそれらの方法は、上記した様
な技術構成を有しているので、従来の方法に比べて座標
変換テーブルを使用しない事から演算処理操作が容易簡
便となり、又演算処理回路も少なくてすむ事から、低コ
ストで高速の検出結果をうる事が可能となる。Since the three-dimensional object region detecting apparatus or the distance measuring apparatus to the three-dimensional object area and the methods thereof according to the present invention have the above-described technical configurations, a coordinate conversion table is used as compared with the conventional method. Since it is not used, the arithmetic processing operation is easy and simple, and since the number of arithmetic processing circuits is small, it is possible to obtain a high-speed detection result at low cost.
【０００８】つまり、本発明に於いては、従来の方法と
は異なり、道路面の視差は画面の垂直方向に連続的に変
化するが、立体物に対する視差は同一物体では一定であ
るという知見に基づいて、画像処理に際して所定の画像
に於ける垂直走査時の走査位置毎に、その走査位置毎の
画像データを前記道路面視差を打ち消す様な方向に、視
差方向と同一方向に所定の量だけ移動させる事により、
差分画像を作成し、係る差分画像から立体物領域を高速
度に検出する様にしたものである。That is, according to the present invention, unlike the conventional method, the parallax on the road surface continuously changes in the vertical direction of the screen, but the parallax for a three-dimensional object is constant for the same object. Based on this, at the time of image processing, for each scanning position in vertical scanning in a predetermined image, the image data for each scanning position is moved by a predetermined amount in the same direction as the parallax direction in such a direction as to cancel the road surface parallax. By moving
A difference image is created and a three-dimensional object area is detected at high speed from the difference image.
【０００９】[0009]
【実施例】以下に、本発明に係る立体物領域検出装置の
一具体例の構成を図面を参照しながら詳細に説明する。
図１及び図２は、本発明に係る立体物領域検出装置に於
けるステレオ画像撮像手段の構成とその取付け状態を示
す図であり、又図３は、本発明に係る立体物領域検出装
置の構成の概略を示すブロックダイアグラムである。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The structure of a concrete example of a three-dimensional object region detecting apparatus according to the present invention will be described below in detail with reference to the drawings.
FIG. 1 and FIG. 2 are diagrams showing a configuration and a mounting state of a stereo image capturing means in a three-dimensional object area detecting device according to the present invention, and FIG. 3 is a three-dimensional object area detecting device according to the present invention. It is a block diagram which shows the outline of a structure.
【００１０】即ち、図１から図３に於いて、車両等の移
動体１に搭載された、２個の画像撮像手段２１、２２か
ら構成され、前記各撮像手段２１、２２は、互いにその
光軸Ｒ１、Ｒ２が平行で且つ路面３に平行に配置される
と共に、然かも前記各撮像手段２１、２２で得られた画
像間に所定の視差ｓが発生する様に、互いに所定の間隔
ｍを隔てて配置されている。That is, in FIG. 1 to FIG. 3, it is composed of two image pickup means 21 and 22 mounted on a moving body 1 such as a vehicle, and each of the image pickup means 21 and 22 has its own optical signal. The axes R1 and R2 are arranged parallel to each other and parallel to the road surface 3, and a predetermined distance m is set between them so that a predetermined parallax s is generated between the images obtained by the image pickup means 21 and 22. It is arranged apart.
【００１１】更に画像の走査線方向が、前記視差発生方
向と一致する様に構成されているステレオ画像撮像手段
２と、道路面３に対する前記ステレオ画像撮像手段２の
俯角θを検出する俯角検出手段５と、前記俯角より前記
画像画面上に於ける道路面視差Ｒｓを演算する道路面視
差演算手段６と、前記ステレオ画像検出手段２に於ける
第１の画像撮像手段２１により撮像された一方の画像７
に於いて、前記道路面視差Ｒｓを打ち消す様に、前記画
像７に於ける垂直方向の走査毎に、前記視差ｓが発生す
る方向に、前記画像情報をその時点における前記道路面
視差Ｒｓ分ずつずらせながら、道路面視差分調整画像を
作成する道路面視差分調整画像作成手段９と、係る道路
面視差分調整画像と前記ステレオ画像検出手段２２によ
り撮像された他方の画像８との差分を演算して差分画像
を作成する差分画像作成手段１０及び前記差分画像から
立体物領域を検出する立体物領域検出手段１１とから構
成されている立体物領域検出装置が示されている。Furthermore, the scanning line direction of the image is configured so that the parallax generation direction coincides with the stereo image pickup means 2, and the depression angle detection means for detecting the depression angle θ of the stereo image pickup means 2 with respect to the road surface 3. 5, a road surface parallax calculating means 6 for calculating the road surface parallax Rs on the image screen from the depression angle, and one of the images picked up by the first image pick-up means 21 in the stereo image detecting means 2. Image 7
In order to cancel the road surface parallax Rs, the image information is divided by the road surface parallax Rs at that point in the direction in which the parallax s occurs every time the image 7 is scanned in the vertical direction. While shifting, the road view difference adjustment image creating means 9 for creating the road view difference adjustment image and the difference between the road view difference adjustment image and the other image 8 imaged by the stereo image detecting means 22 are calculated. There is shown a three-dimensional object area detecting device including a difference image creating means 10 for creating a difference image and a three-dimensional object area detecting means 11 for detecting a three-dimensional object area from the difference image.
【００１２】本発明に於ける前記ステレオ画像撮像手段
２は、通常は、公知の画像撮像手段２１、２２を採用す
る事が出来、その一般的な構成例は、図２に示す様に、
焦点距離ｆを有するレンズ２３と前記レンズ２３に対向
して配置されたＣＣＤ等から構成される光検知素子２４
とから構成されるものであり、それぞれの光軸Ｒ１とＲ
２とは、互いに平行でカメラ基線長ｍだけ離れて配置さ
れていると共に、道路面に対しても平行となる様に配置
されているものである。As the stereo image pickup means 2 in the present invention, generally known image pickup means 21 and 22 can be adopted, and a general configuration example thereof is as shown in FIG.
A light detecting element 24 composed of a lens 23 having a focal length f and a CCD or the like arranged facing the lens 23.
And the respective optical axes R1 and R
The reference numerals 2 are parallel to each other and are separated from each other by a camera base length m, and are also parallel to the road surface.
【００１３】係る構成に於いては、通常の視差ｓは、前
記カメラ基線長の方向に発生する。本発明に於ける前記
ステレオ画像撮像手段２に於いては、例えば、図２の左
側の画像撮像手段２１により、図４に示される様な画像
７が撮像され、又図２の右側の画像撮像手段２２によ
り、図５に示される様な画像８が撮像され、両画像が合
成される事によりステレオ画像が形成される事になる。In such a structure, the normal parallax s occurs in the direction of the camera base line length. In the stereo image capturing means 2 in the present invention, for example, the image capturing means 21 on the left side of FIG. 2 captures the image 7 as shown in FIG. 4, and the image capturing on the right side of FIG. The means 22 captures the image 8 as shown in FIG. 5, and both images are combined to form a stereo image.
【００１４】又、本発明に於ける立体物領域検出装置に
於いては、俯角検出手段５が設けられており、当該ステ
レオ画像撮像手段２と道路面３に対する俯角θを検出す
る。係る俯角検出手段５の構成は特に限定されるもので
はなく、従来一般的に使用されている俯角測定方法を使
用する事が出来る。一方、本発明に於ける前記ステレオ
画像撮像手段２から得られる２つのステレオ画像から適
宜の差分画像を得る為に、本発明に於いては、道路面視
差Ｒｓと言うパラメータを使用するものである。Further, in the three-dimensional object area detecting device according to the present invention, the depression angle detecting means 5 is provided, and the depression angle θ with respect to the stereo image pickup means 2 and the road surface 3 is detected. The configuration of the depression angle detecting means 5 is not particularly limited, and a depression angle measuring method generally used in the past can be used. On the other hand, in order to obtain an appropriate difference image from the two stereo images obtained from the stereo image pickup means 2 in the present invention, a parameter called road surface parallax Rs is used in the present invention. .
【００１５】即ち、本発明に於ける道路面視差Ｒｓは、
以下の式１若しくは式２に示されるパラメータで有る。
本発明等の知見によれば、本装置の構成で発生する視差
は、前記ステレオ画像に於ける各撮像画像に於いて、道
路面３の視差は画面の垂直方向には連続的に変化してい
るが、道路上に設けられた立体物領域４の視差は同一の
物体に関する限り一定であることが判明したものであ
り、その為、前記したステレオ画像の画像処理に於い
て、かかる道路面視差Ｒｓを利用して、所定の差分画像
を作成する事により、効率的に立体物領域の抽出が行わ
れる事を知得したものである。That is, the road surface parallax Rs in the present invention is
It is a parameter shown in the following Expression 1 or Expression 2.
According to the knowledge of the present invention, the parallax generated by the configuration of the present device is that in each captured image in the stereo image, the parallax of the road surface 3 continuously changes in the vertical direction of the screen. However, it has been found that the parallax of the three-dimensional object region 4 provided on the road is constant as far as the same object is concerned. Therefore, in the image processing of the stereo image, the parallax of the road surface is It is known that a three-dimensional object region can be efficiently extracted by creating a predetermined difference image using Rs.
【００１６】つまり、本発明に於いて定義される前記道
路面視差Ｒｓは、次式（１）及び式（２）で示される様
に、画像の垂直位置によって変化するものである。即ち
道路面視差Ｒｓは、画像上の任意の垂直位置をｙとする
と垂直位置ｙの関数として変化するものであり、従って
係る道路面視差Ｒｓは、画像を垂直方向に走査する毎に
変化するものである。That is, the road surface parallax Rs defined in the present invention changes depending on the vertical position of the image as shown in the following equations (1) and (2). That is, the road surface parallax Rs changes as a function of the vertical position y, where y is an arbitrary vertical position on the image. Therefore, the road surface parallax Rs changes every time the image is scanned in the vertical direction. Is.
【００１７】
ｙ＜Ｍの時 Ｒｓ＝０ ・・・・・・・・・（１）
ｙ≧Ｍの時 Ｒｓ＝ｍ／ｈ×（ｙ−Ｍ）・・・（２）
ここでＭ＝ｙ0 ＋ｋ×ｆ×ｔａｎ（θ）で撮像画面に於
ける消失点Ｅの垂直位置、ｍは、左右の画像撮像手段２
１、２２間の間隔（ｍｍ）、ｈは、ステレオ画像撮像装
置２の高さ（ｍｍ）、ｙは、画像上の垂直位置（ｄｏ
ｔ）、ｆは、撮像手段２１、２２の焦点距離（ｍｍ）、
ｙ0 は、画像の垂直中心位置（ｄｏｔ）、ｋは、任意の
係数、θは、当該ステレオ画像撮像手段２の道路面に対
する俯角、をそれぞれ示すものである。When y <M, Rs = 0 ... (1) When y ≧ M, Rs = m / h × (y−M) (2) Here, M = y 0 + k × f × tan (θ) is the vertical position of the vanishing point E on the imaging screen, and m is the left and right image capturing means 2
The distance (mm) between 1 and 22, h is the height (mm) of the stereo image pickup device 2, and y is the vertical position (do) on the image.
t) and f are focal lengths (mm) of the image pickup means 21 and 22,
y 0 is the vertical center position (dot) of the image, k is an arbitrary coefficient, and θ is the depression angle of the stereo image capturing means 2 with respect to the road surface.
【００１８】その為、本発明に於いては、例えば、前記
ステレオ画像撮像手段２に於ける一つの画像撮像手段２
１により撮像された図４に示す画像７に於ける垂直位置
ｙ毎の画像データを、前記道路面視差Ｒｓを打ち消す様
な方向、つまり視差ｓの方向に前記画像７に於ける垂直
方向の走査毎に、移動させる事によって、図７に示され
る様な道路面視差分調整画像１１を作成するものであ
る。Therefore, in the present invention, for example, one image pickup means 2 in the stereo image pickup means 2 is used.
Image data for each vertical position y in the image 7 shown in FIG. By moving each time, the road surface view difference adjustment image 11 as shown in FIG. 7 is created.
【００１９】 その為、本発明に於ける立体物領域検出
装置には、道路面視差分調整画像作成手段９が設けられ
ているものであって、係る道路面視差分調整画像作成手
段９は、係る道路面視差Ｒｓを遅延量とする遅延回路で
構成されるものである。本発明に於ける立体物領域検出
装置に於いては、上記により得られた図７に示される道
路面視差分調整画像１１と前記したステレオ画像検出手
段２の他方の画像撮像手段２２により撮像された他方の
図５に示される画像８との差分を演算して図８に示され
る様な差分画像１２を作成するものであり、その為、係
る差分画像１２を作成する為の差分画像作成手段１０が
設けられている。Therefore, the three-dimensional object area detection device according to the present invention is provided with the road surface view difference adjustment image creating means 9 , and the road surface view difference adjusting image creating means 9 is the engagement Ru road surface parallax Rs are those <br/> configured delay circuits to delay. In the three-dimensional object area detecting device according to the present invention, the road surface view difference adjustment image 11 shown in FIG. 7 obtained above and the other image capturing means 22 of the stereo image detecting means 2 are used for image capturing. On the other hand, the difference image from the other image 8 shown in FIG. 5 is calculated to create the difference image 12 as shown in FIG. 8. Therefore, a difference image creating means for creating the difference image 12 is created. 10 are provided.
【００２０】係る差分画像作成手段１０の構成は特に限
定されるものではなく、従来公知の差分画像作成手段、
方法を採用する事が可能である。本発明に於いては、か
くして得られた差分画像１２を適宜の記憶手段に格納し
ておき、後述する立体物領域検出操作に利用するもので
ある。上記本発明に係る立体物領域検出装置に於いて
は、前記した道路面視差分調整画像作成手段９によっ
て、所定の画像７全体に前記した処理を実行して道路面
視差分調整画像１１を作成し、図５に示された他方の撮
像画像８全体とから差分画像１２を作成する様にしても
よく、又前記一方の画像７に対して、垂直方向ｙに走査
処理するに際して、１ライン走査する毎にその１ライン
分の画像情報を適宜の記憶手段３０に格納させ、その１
ライン分の画像情報毎に道路面視差Ｒｓを算出する回路
３１を介して図５に示された他方の撮像画像８の同一ラ
イン毎の画像情報との間で上記した差分演算処理を実行
し、最終的に、図８に示される様な差分画像１２を作成
する様にしたもので有ってもよい。The structure of the difference image creating means 10 is not particularly limited, and a conventionally known difference image creating means,
It is possible to adopt the method. In the present invention, the difference image 12 thus obtained is stored in an appropriate storage means and used for a three-dimensional object area detecting operation described later. In the three-dimensional object region detecting apparatus according to the present invention, the road surface view difference adjustment image creating means 9 creates the road surface view difference adjustment image 11 by performing the above-described processing on the entire predetermined image 7. However, the difference image 12 may be created from the whole of the other picked-up image 8 shown in FIG. 5, and one line scan is performed for the one image 7 in the vertical direction y. Each time the image information for one line is stored in the appropriate storage means 30,
The difference calculation processing described above is executed between the image information of the same line of the other captured image 8 shown in FIG. 5 via the circuit 31 for calculating the road surface parallax Rs for each line of image information. Finally, the difference image 12 as shown in FIG. 8 may be created.
【００２１】本発明に於いて、上記した差分画像作成手
段１０により、前記した道路面視差分調整画像１１と前
記した撮像画像８との差分をとる事によって、図８に示
す様に道路面に関する情報は消去され、立体物領域に関
する輪郭部分のみに付いての差分値情報が画面上に残る
事になる。上記した様に、本発明に於ける立体物領域検
出方法では、前記した様に道路面視差Ｒｓを打ち消す様
に、画像情報を垂直方向の走査位置毎に、視差方向に移
動させるものであり、しかも遅延時間を可変する事が出
来る遅延回路を使用して実現したものであるので、回路
の構成が簡略化され、演算処理も高速化を達成出来るの
で、リアルタイムでの差分演算処理が可能となる。In the present invention, the difference image creating means 10 described above calculates the difference between the road surface view difference adjustment image 11 and the picked-up image 8 to obtain the road surface as shown in FIG. The information is erased, and the difference value information about only the contour portion related to the three-dimensional object area remains on the screen. As described above, in the three-dimensional object region detection method according to the present invention, as described above, the image information is moved in the parallax direction at each vertical scanning position so as to cancel the road surface parallax Rs. Moreover, since it is realized by using a delay circuit that can vary the delay time, the circuit configuration is simplified and the calculation processing can be speeded up, so that the difference calculation processing can be performed in real time. .
【００２２】本発明に係る立体物領域検出装置に於いて
は、車両等の移動体が、道路を走行するに際し、上下に
振動する事が多く、その為、ステレオ画像撮像手段２に
ピッチングが発生し、検出される俯角θが変化する事が
考えられる。係る場合には、適宜のピッチ量検出手段１
３を設け、係るピッチ量検出手段１３が出力する検出さ
れたピッチ量に応答して、前記道路面視差分調整画像作
成手段９の遅延量を補正調整する事により、対処する事
が可能である。In the three-dimensional object area detecting apparatus according to the present invention, a moving body such as a vehicle often vibrates up and down when traveling on a road. Therefore, pitching occurs in the stereo image pickup means 2. However, the detected depression angle θ may change. In this case, an appropriate pitch amount detecting means 1
3 is provided, and the delay amount of the road surface difference adjustment image creating unit 9 is corrected and adjusted in response to the detected pitch amount output by the pitch amount detecting unit 13 to cope with the problem. .
【００２３】例えば、本発明に於いて、回転角速度検出
センサー等を設け、静止時のステレオ画像撮像手段２の
道路面３に対する俯角θと、回転角速度検出センサーの
出力を積分してステレオ画像撮像手段２のピッチ方向の
角度変位量を検出し、その結果得られた値を、前記の俯
角θに足し合わせる等の方法によって、当該ステレオ画
像撮像手段２の移動時に於ける消失点Ｅの垂直位置の変
化量を算出して、正確な消失点Ｅの垂直位置を確定させ
る事が可能となる。For example, in the present invention, a rotational angular velocity detection sensor or the like is provided, and the depression angle θ of the stereo image capturing means 2 at rest with the road surface 3 and the output of the rotational angular velocity detection sensor are integrated to form a stereo image capturing means. The amount of angular displacement in the pitch direction 2 is detected, and the value obtained as a result is added to the depression angle θ to determine the vertical position of the vanishing point E when the stereo image capturing means 2 is moved. It is possible to calculate the amount of change and determine the correct vertical position of the vanishing point E.
【００２４】このように、それぞれの画像処理に当たっ
て、消失点Ｅの正確な位置が判明すれば、前記した式
（１）及び式（２）から、正確な道路面視差Ｒｓを求め
る事が出来るので、正確な立体物領域を抽出する事が可
能となる。更に、本発明に於いては、かくして求められ
た正確な立体物領域に対して、前記ステレオ画像撮像手
段２からの距離ｄを演算により求めるものである。As described above, if the exact position of the vanishing point E is found in each image processing, the accurate road surface parallax Rs can be obtained from the above equations (1) and (2). It is possible to extract an accurate three-dimensional object area. Further, in the present invention, the distance d from the stereo image pickup means 2 is calculated by the calculation with respect to the accurate three-dimensional object area thus obtained.
【００２５】本発明に於ける前記立体物領域に対する距
離ｄの演算方法は、特に特定されるものではなく、従来
の距離算出演算手段１６及び適宜の評価解析手段１５が
使用できる。本発明に於いては、係る距離の算出を正確
に行う為、例えば、前記ステレオ画像撮像を視差ｓ発生
方向に微分して、左右画像の明るさの直流分を除去した
もの等を距離解析手段として使用し、前記した方法によ
り求められた立体物領域に付いて相関演算により視差を
算出し、その相関結果を評価して、最も良いデータを選
択して視差を求め、係る視差から前記立体物領域までの
距離を求める事により、正確な立体物領域迄の距離を算
出する事が出来る。The method of calculating the distance d with respect to the three-dimensional object area in the present invention is not particularly specified, and the conventional distance calculation calculating means 16 and appropriate evaluation analyzing means 15 can be used. In the present invention, in order to accurately calculate the distance, for example, the stereo image pickup is differentiated in the parallax s generation direction to remove the direct current component of the brightness of the left and right images, and the like. , The parallax is calculated by the correlation calculation for the three-dimensional object area obtained by the method described above, the correlation result is evaluated, the best data is selected to obtain the parallax, and the three-dimensional object is obtained from the parallax. By obtaining the distance to the area, the accurate distance to the three-dimensional object area can be calculated.
【００２６】又、前記立体物領域の複数個の位置に対す
る距離を上記の方法で演算する事により、立体物領域に
対する距離の分布を求める事が可能となる。本発明に於
いては、更に前記立体物領域として検出された領域が、
移動体が走行する走行道路上に存在しているか否かを判
断する必要があり、その為、前記した方法で求められた
立体物領域以外の領域を走行路検出領域データとして使
用し、走行路を検出する走行路領域検出手段１４が更に
設けられている事が望ましい。By calculating the distances to a plurality of positions of the three-dimensional object area by the above method, it is possible to obtain the distribution of the distances to the three-dimensional object area. In the present invention, the area further detected as the three-dimensional object area,
It is necessary to judge whether or not the moving body is present on the traveling road. Therefore, the area other than the three-dimensional object area obtained by the above method is used as the traveling road detection area data, and the traveling road is detected. It is desirable that a traveling road area detecting means 14 for detecting the is further provided.
【００２７】係る走行路領域は、走行路を含んだ路面の
みのデータであり、走行路を検出するに十分な情報量を
有している反面、余分な立体物領域のデータが含まれて
いない為、処理データ量が少なく、従って高速化が可能
であり、且つより正確な検出が可能となる。図９は、本
発明に係る立体物領域迄の距離測定装置の一具体例の構
成例を示すブロックダイアグラムであり、図３に示され
る本発明に係る立体物領域検出装置に走行路検出手段１
４と、評価解析手段１５及び距離演算手段１６とが付加
されているものである。The traveling road area is data of only the road surface including the traveling road, and has a sufficient amount of information for detecting the traveling road, but does not include data of an extra three-dimensional object area. Therefore, the amount of processed data is small, and therefore the speed can be increased and more accurate detection can be performed. FIG. 9 is a block diagram showing a configuration example of a specific example of the distance measuring apparatus to the three-dimensional object area according to the present invention. The three-dimensional object area detecting apparatus according to the present invention shown in FIG.
4, the evaluation analysis means 15 and the distance calculation means 16 are added.
【００２８】図１０は、本発明に於ける立体物領域検出
方法の一具体例に於ける操作手順を示すフローチャート
である。即ち、図９に於いて、スタート後、ステップ
（１）に於いて、図１乃至図３に示されたステレオ画像
撮像手段２を使用してステレオ画像７及び８を撮像する
と共に、ステップ（２）に於いて、道路面３に対する前
記ステレオ画像撮像手段の俯角θを検出し、ステップ
（３）に於いて前記ステップで検出された俯角と、前記
した２個の撮像手段２１、２２の配置間隔ｍ、前記ステ
レオ画像撮像手段２の高さｈ、及び現在の画像上の走査
位置ｙ、ｙ0 とに関する情報から、前記画像画面上に於
ける道路面視差Ｒｓを演算する。FIG. 10 is a flow chart showing an operation procedure in a specific example of the method for detecting a three-dimensional object region according to the present invention. That is, in FIG. 9, after the start, in step (1), the stereo images 7 and 8 are captured using the stereo image capturing means 2 shown in FIGS. ), The depression angle θ of the stereo image pickup means with respect to the road surface 3 is detected, and the depression angle detected in the step in step (3) and the arrangement interval between the two pickup means 21 and 22 described above. The road surface parallax Rs on the image screen is calculated from m, the height h of the stereo image pickup means 2, and the information about the scanning positions y and y 0 on the current image.
【００２９】次いで、ステップ（４）に於いて、前記ス
テレオ画像検出手段により撮像された一方の画像７に於
ける、前記道路面視差Ｒｓを打ち消す様に、前記画像７
に於ける垂直方向の走査毎に、前記視差ｓが発生する方
向に、前記画像情報を前記道路面視差Ｒｓ分ずつずらせ
ながら、道路面視差分調整画像１１を作成する。その
後、ステップ（５）に移り、係る道路面視差分調整画像
１１と前記したステレオ画像検出手段２２により撮像さ
れた他方の画像８との差分を演算して差分画像１２を作
成した後、ステップ（６）に進んで、前記差分画像１２
から立体物領域４を検出してＥＮＤとなる。Next, in step (4), the image 7 is so arranged as to cancel the road surface parallax Rs in the one image 7 taken by the stereo image detecting means.
The road surface view difference adjustment image 11 is created by shifting the image information by the road surface parallax Rs in the direction in which the parallax s occurs each time the vertical scanning is performed. Then, the process proceeds to step (5), the difference between the road surface difference adjustment image 11 and the other image 8 captured by the stereo image detecting means 22 is calculated to create the difference image 12, and then the step ( Proceeding to 6), the difference image 12
Then, the three-dimensional object area 4 is detected to become END.
【００３０】一方、本発明に於ける立体物領域迄の距離
測定方法の一具体例の手順を図１１のフローチャートに
示す。即ち、スタート後ステップ（１）に於いて、図１
乃至図３に示されたステレオ画像撮像手段２を使用して
ステレオ画像７及び８を撮像すると共に、ステップ
（２）に於いて、道路面３に対する前記ステレオ画像撮
像手段の俯角θを検出し、ステップ（３）に於いて、ピ
ッチの有無が判断され、ＮＯであれば、直接ステップ
（４）に進み前記ステップで検出された俯角と、前記し
た２個の撮像手段２１、２２の配置間隔ｍ、前記ステレ
オ画像撮像手段２の高さｈ、及び現在の画像上の走査位
置ｙ、ｙ0 とに関する情報から、前記画像画面上に於け
る道路面視差Ｒｓを演算するが、ＹＥＳ、即ちピッチが
存在すると判断された場合には、ステップ（５）に進ん
で道路面視差Ｒｓ補正データを算出し、ステップ（４）
に戻って道路面視差Ｒｓを演算する。On the other hand, the procedure of one specific example of the method for measuring the distance to the three-dimensional object region in the present invention is shown in the flowchart of FIG. That is, in step (1) after the start, as shown in FIG.
Through the stereo image capturing means 2 shown in FIG. 3 to capture the stereo images 7 and 8, and in step (2), the depression angle θ of the stereo image capturing means with respect to the road surface 3 is detected. In step (3), the presence or absence of a pitch is judged, and if NO, the process directly proceeds to step (4) and the depression angle detected in the step and the arrangement interval m between the two image pickup means 21 and 22 described above. , The height h of the stereo image pickup means 2 and the information about the scanning positions y and y 0 on the current image, the road surface parallax Rs on the image screen is calculated, but YES, that is, the pitch is If it is determined that the road surface parallax Rs correction data is calculated, the process proceeds to step (5), and step (4) is performed.
Then, the road surface parallax Rs is calculated.
【００３１】次いで、ステップ（６）に於いて、前記ス
テレオ画像検出手段により撮像された一方の画像７に於
ける、前記道路面視差Ｒｓを打ち消す様に、前記画像７
に於ける垂直方向の走査毎に、前記視差ｓが発生する方
向に、前記画像情報を前記道路面視差Ｒｓ分ずつずらせ
ながら、道路面視差分調整画像１１を作成する。その
後、ステップ（７）に移り、係る道路面視差分調整画像
１１と前記したステレオ画像検出手段２２により撮像さ
れた他方の画像８との差分を演算して差分画像１２を作
成した後、ステップ（８）に進んで、前記差分画像１２
から立体物領域４を検出する。Next, in step (6), the image 7 is so arranged as to cancel the road surface parallax Rs in the one image 7 picked up by the stereo image detecting means.
The road surface view difference adjustment image 11 is created by shifting the image information by the road surface parallax Rs in the direction in which the parallax s occurs each time the vertical scanning is performed. Then, the process proceeds to step (7), the difference between the road surface difference adjustment image 11 and the other image 8 captured by the stereo image detecting means 22 is calculated to create the difference image 12, and then the step ( 8), the difference image 12
Then, the three-dimensional object area 4 is detected.
【００３２】次いで、ステップ（９）に於いて、ステッ
プ（８）で得られた立体物領域４に対する相関演算と評
価処理を実行し、ステップ（１０）に進んで、ステップ
（９）で得られた評価を活用して、公知の距離演算方法
により係る立体物領域迄の距離を演算する。次いでステ
ップ（１１）に於いて、係る立体物領域４が、走行路上
に存在するか否かを判断し、ＹＥＳであれば、ステップ
（１２）に於いて、その立体物領域を障害物と判断し、
又ＮＯであればステップ（１３）に於いて、その立体物
領域を非障害物と判断し、ＥＮＤとなる。Next, in step (9), the correlation calculation and evaluation processing for the three-dimensional object area 4 obtained in step (8) are executed, and the process proceeds to step (10) to obtain in step (9). Utilizing such evaluation, the distance to the three-dimensional object region is calculated by a known distance calculation method. Next, in step (11), it is determined whether or not the three-dimensional object region 4 exists on the traveling road. If YES, the three-dimensional object region is determined to be an obstacle in step (12). Then
On the other hand, if NO, then in step (13), the three-dimensional object area is judged to be a non-obstacle, and END is set.
【００３３】次に、本発明に係る上記具体例に於ける立
体物領域迄の距離を演算する為に、視差ｓを求め、当該
視差ｓから、当該立体物領域迄の距離を演算する具体的
方法の例を以下に説明する。即ち、本発明に於いては、
先ず２つの異なる視点から得られた画像情報に於ける輝
度情報を用いて、２つの輝度情報群中の計測対象物間に
於ける位置ずれ、即ち視差を求めるものであって、その
方法の一つとして、上記した相関演算がある。Next, in order to calculate the distance to the three-dimensional object area in the above concrete example of the present invention, the parallax s is obtained, and the distance from the parallax s to the three-dimensional object area is calculated. An example of the method is described below. That is, in the present invention,
First, by using the luminance information in the image information obtained from two different viewpoints, the positional shift between the measurement objects in the two luminance information groups, that is, the parallax is obtained. One of them is the above-mentioned correlation calculation.
【００３４】該相関演算方法は、上記した様に、画像デ
ータから視差を求めるものであって、例えば、図１２
（Ａ）と図１２（Ｂ）に示される様な、左右画像、即
ち、図１２（Ａ）は左側撮像装置により得られた画像で
あり、又図１２（Ｂ）は右側撮像装置により得られた画
像であるとすると、先ず図１２（Ｂ）に示す様に同図の
右側撮像画像について相関計算を行う領域単位（縦ｈド
ット、横ｗドット）に分割する。As described above, the correlation calculation method obtains the parallax from the image data.
Left and right images as shown in FIGS. 12A and 12B, that is, FIG. 12A is an image obtained by the left imaging device, and FIG. 12B is obtained by the right imaging device. 12B, first, as shown in FIG. 12B, the right side captured image in FIG. 12 is divided into area units (vertical h dots, horizontal w dots) for which correlation calculation is performed.
【００３５】そして、図２に示される立体物領域４につ
いて式（３）を用いて相関計算を行い、図１３に示す様
に、相関値Ｖ(i) が最小となる最も相関の強い時のずら
し量ｉを求めるものである。次いで、より精度のよい情
報をうる為に、式（３）によるＶ(i) のグラフの最小値
部分で補間計算を行い、少数点以下の精度でずらし量を
算出する。Then, the correlation calculation is performed for the three-dimensional object region 4 shown in FIG. 2 by using the equation (3), and as shown in FIG. 13, when the correlation value V (i) is the smallest and the correlation is strongest. The shift amount i is obtained. Next, in order to obtain more accurate information, interpolation calculation is performed in the minimum value portion of the graph of V (i) according to equation (3), and the shift amount is calculated with an accuracy of a decimal point or less.
【００３６】このずらし量ｉをｉ0 とすると、求める視
差はｉ0 に比例しており、撮像装置の構成による係数Ｋ
を事前に求めておくと、視差は以下の式（４）で求める
事が出来る。Assuming that the shift amount i is i 0 , the parallax to be obtained is proportional to i 0 , and the coefficient K depending on the configuration of the image pickup device.
If is calculated in advance, the parallax can be calculated by the following equation (4).
【００３７】 [0037]
【００３８】尚、式（３）中、データＡは、右画像輝度
データであり、又データＢは、左画像輝度データであ
る。上記の様にして得られた相関結果について、それを
評価して信頼性のあるものだけを選択して、それについ
て算出した視差から後述する演算式（６）を用いて距離
を算出するが、その評価方法としては、以下に示す式
（５）を用いて、その評価値Ｈが１に近いａ以上のもの
を良い結果として評価する。In the equation (3), the data A is the right image brightness data, and the data B is the left image brightness data. With respect to the correlation result obtained as described above, only the reliable one is evaluated and selected, and the distance is calculated from the parallax calculated for it using the operation formula (6) described later. As the evaluation method, the following expression (5) is used, and the evaluation value H whose evaluation value H is close to 1 or more is evaluated as a good result.
【００３９】 [0039]
【００４０】尚、式（５）中、Ｓは相関計算における最
大ずらし量を示すものである。そこで、次に、当該立体
物領域迄の距離を演算する具体的方法、つまり立体視に
付いてその具体例を説明する。本発明に於ける該立体物
領域迄の距離を演算する方法としては、前記した様に求
められた距離計測対象間の位置ずれ、つまり視差と、予
め計測しておいた２視点間の距離、画角、画角中の輝度
情報数、視点の角度等より、距離を求めるものである。In the equation (5), S represents the maximum shift amount in the correlation calculation. Therefore, next, a specific method for calculating the distance to the three-dimensional object area, that is, a specific example will be described for stereoscopic viewing. As a method of calculating the distance to the three-dimensional object area in the present invention, the positional deviation between the distance measurement objects obtained as described above, that is, the parallax and the distance between the two viewpoints measured in advance, The distance is obtained from the angle of view, the number of pieces of luminance information in the angle of view, the angle of the viewpoint, and the like.
【００４１】図１４は、本発明に於ける立体物領域迄の
距離を演算する方法、つまり立体視の方法の具体的構成
例を説明する図であり、図１４（Ａ）中、３１は計測対
象物体であり、３２、３３はレンズ、３４、３５は撮像
素子、又３６、３７はレンズ撮像素子を含んだ撮像装置
の光軸である。又、ｄは、撮像装置と対象物との距離で
あり、又、ｆはレンズの焦点距離を示す。FIG. 14 is a diagram for explaining a concrete configuration example of the method of calculating the distance to the three-dimensional object region in the present invention, that is, the stereoscopic method. In FIG. 14A, 31 is a measurement. Target objects are lenses 32 and 33, lenses 34 and 35 are image pickup devices, and reference numerals 36 and 37 are optical axes of an image pickup apparatus including the lens image pickup devices. Further, d is the distance between the image pickup device and the object, and f is the focal length of the lens.
【００４２】更に、ａ、ｂは、それぞれ対象物３１の同
一点が撮像装置３４、３５に投影された位置の光軸から
の距離である。一方、ｍは、２台の撮像装置間の距離
（基線長）である。又、図１４（Ｂ）は図１４（Ａ）の
右側の撮像装置を基線長ｍだけ移動させ、レンズ３４と
３５を重ねた状態にしたものである。Further, a and b are the distances from the optical axis of the positions where the same point of the object 31 is projected on the image pickup devices 34 and 35, respectively. On the other hand, m is the distance (baseline length) between the two imaging devices. Further, FIG. 14 (B) shows a state in which the image pickup device on the right side of FIG. 14 (A) is moved by the base line length m, and the lenses 34 and 35 are overlapped.
【００４３】この図から理解される様に、三角形ＡＢＣ
と三角形ＡＤＦとは互いに相似である。そこで、図１２
（Ｂ）におけるａ＋ｂの値とｍの比は、ｆとｄの比と同
じとなる。上記演算方法を式にすると次式（６）とな
る。、
（ａ ＋ ｂ） ： ｍ ＝ ｆ：ｄ ・・・・・（６）
かかる式（６）を変形して式（７）の様になる。As can be seen from this figure, the triangle ABC
And the triangle ADF are similar to each other. Therefore, FIG.
The ratio of a + b and m in (B) is the same as the ratio of f and d. When the above calculation method is expressed by an equation, the following equation (6) is obtained. , (A + b): m = f: d (6) The formula (6) is transformed into the formula (7).
【００４４】
上記の於ける（ａ ＋ ｂ）（視差と言う）が算出され
ると前記式（７）を用いて立体物領域迄の距離ｄを計測
する。[0044] When (a + b) (referred to as parallax) in the above is calculated, the distance d to the three-dimensional object region is measured using the above equation (7).
【００４５】[0045]
【発明の効果】本発明に係る立体物領域検出装置或いは
立体物領域迄の距離測定装置及びそれらの方法は、従来
の方法に比べて座標変換テーブルを使用しない事から、
処理滑りデータの量も少なくて済、演算処理操作が容易
簡便となり、又演算処理回路も少なくてすむ事から、低
コストで高速且つ高精度の検出結果をうる事が可能とな
る。The three-dimensional object region detecting apparatus or the distance measuring apparatus to the three-dimensional object area and the methods according to the present invention do not use the coordinate conversion table as compared with the conventional methods.
Since the amount of processing slip data is small, the arithmetic processing operation is easy and simple, and the number of arithmetic processing circuits is small, it is possible to obtain high-speed and high-accuracy detection results at low cost.
【図１】図１は、本発明に係る立体物領域検出装置に於
けるステレオ画像撮像手段を移動体に搭載した例を示す
図である。FIG. 1 is a diagram showing an example in which a stereoscopic image capturing means in a three-dimensional object region detecting apparatus according to the present invention is mounted on a moving body.
【図２】図２は、本発明に係る立体物領域検出装置に於
けるステレオ画像撮像手段の構成例を示すダイアグラム
である。FIG. 2 is a diagram showing a configuration example of a stereo image capturing means in the three-dimensional object region detecting apparatus according to the present invention.
【図３】図３は、本発明に於けるステレオ画像撮像装置
の一具体例に於ける構成例を示すブロックダイアグラム
である。FIG. 3 is a block diagram showing a configuration example of a specific example of a stereo image pickup device according to the present invention.
【図４】図４は、前記ステレオ画像撮像手段により撮像
された第１の画像の例を示す図である。FIG. 4 is a diagram showing an example of a first image captured by the stereo image capturing means.
【図５】図５は、前記ステレオ画像撮像手段により撮像
された第２の画像の例を示す図である。FIG. 5 is a diagram showing an example of a second image captured by the stereo image capturing means.
【図６】図６は、本発明に於ける道路面視差Ｒｓを演算
する為に必要な画像情報の例を示す図である。FIG. 6 is a diagram showing an example of image information necessary for calculating a road surface parallax Rs in the present invention.
【図７】図７は、本発明に於いて作成される道路面視差
分調整画像の例を示す図である。FIG. 7 is a diagram showing an example of a road surface view difference adjustment image created in the present invention.
【図８】図８は、本発明に於いて得られる差分画像の例
を示す図である。FIG. 8 is a diagram showing an example of a difference image obtained in the present invention.
【図９】図９は、本発明に於ける立体物領域迄の距離測
定装置の構成の一例を示すブロックダイアグラムであ
る。FIG. 9 is a block diagram showing an example of the configuration of a distance measuring device to a three-dimensional object region according to the present invention.
【図１０】図１０は、本発明に係る立体物領域検出方法
の操作手順を示すフローチャートである。FIG. 10 is a flowchart showing an operation procedure of the three-dimensional object region detecting method according to the present invention.
【図１１】図１１は、本発明に係る立体物領域迄の距離
測定方法の操作手順を示すフローチャートである。FIG. 11 is a flowchart showing an operating procedure of a distance measuring method to a three-dimensional object region according to the present invention.
【図１２】図１２は、本発明に於ける相関計算を行う場
合に使用される画像であり、図１２（Ａ）は、左側の画
像であり、図１２（Ｂ）は、右側の画像である。FIG. 12 is an image used when performing a correlation calculation in the present invention, FIG. 12 (A) is a left image, and FIG. 12 (B) is a right image. is there.
【図１３】図１３は、ずらし量ｉと相関値Ｖ(i) との関
係を示すグラフである。FIG. 13 is a graph showing the relationship between the shift amount i and the correlation value V (i).
【図１４】図１４は、本発明に於ける立体物領域迄の距
離測定の為の演算方法の例を示す図であり、図１４
（Ａ）は、該立体物領域迄の距離測定装置の概略的構成
を示すブロック図であり、図１４（Ｂ）は図１４（Ａ）
の右側の撮像装置を基線長ｍだけ移動させ、レンズ３４
と３５を重ねた状態にした図である。FIG. 14 is a diagram showing an example of a calculation method for measuring a distance to a three-dimensional object region in the present invention.
FIG. 14A is a block diagram showing a schematic configuration of a distance measuring device to the three-dimensional object region, and FIG. 14B is FIG. 14A.
The image pickup device on the right side of the
It is the figure which made it the state which piled up and 35.
１…移動体 ２…ステレオ画像撮像手段 ３…道路面 ４…立体物領域 ５…俯角検出手段 ６…道路面視差Ｒｓ検出手段 ７…第１の撮像画面 ８…第２の撮像画面 ９…道路面視差分調整画像作成手段 １０…差分画像作成手段 １１…立体物領域検出手段 １２…差分画像 １３…ピッチ量検出手段 １４…走行路検出手段 １５…相関評価手段 １６…距離演算手段 ２１…第１の撮像手段 ２２…第２の撮像手段 ２３…レンズ ２４…光受光手段 ３１…物体 ３２、３３…レンズ ３４、３５…撮像素子 ３６、３７…撮像装置の光軸 1 ... mobile 2 ... Stereo image capturing means 3 ... Road surface 4 ... Three-dimensional object area 5 ... Depression angle detection means 6 ... Road surface parallax Rs detection means 7 ... First imaging screen 8 ... Second imaging screen 9: Road surface difference adjustment image creating means 10 ... Difference image creating means 11 ... Three-dimensional object area detecting means 12 ... Difference image 13 ... Pitch amount detecting means 14 ... Running path detection means 15 ... Correlation evaluation means 16 ... Distance calculation means 21 ... First imaging means 22 ... Second image pickup means 23 ... Lens 24 ... Light receiving means 31 ... Object 32, 33 ... Lens 34, 35 ... Image sensor 36, 37 ... Optical axis of imaging device
───────────────────────────────────────────────────── フロントページの続き (72)発明者 可児 博之 愛知県西尾市下羽角町岩谷14番地 株式 会社日本自動車部品総合研究所内 (56)参考文献 特開 平７−250268（ＪＰ，Ａ) 特開 平７−250319（ＪＰ，Ａ) 特開 平３−96451（ＪＰ，Ａ) 特開 平７−294251（ＪＰ，Ａ) 特開 平２−39275（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G01C 3/00 - 3/32 G01B 11/00 - 11/30 102 G06T 1/00 - 9/40 G08G 1/00 - 9/02 B60R 1/00 B60R 21/00 - 21/00 630 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Hiroyuki Kani 14 Iwatani, Shimohakaku-cho, Nishio-shi, Aichi Japan Auto Parts Research Institute, Inc. (56) Reference JP-A-7-250268 (JP, A) JP-A 7-250319 (JP, A) JP 3-96451 (JP, A) JP 7-294251 (JP, A) JP 2-39275 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) G01C 3/00-3/32 G01B 11/00-11/30 102 G06T 1/00-9/40 G08G 1/00-9/02 B60R 1/00 B60R 21/00-21 / 00 630
Claims (5)
段から構成され、前記各撮像手段は、互いに平行で且つ
路面に平行に配置されると共に、然かも前記各撮像手段
で得られた画像間に所定の視差が発生する様に、互いに
所定の間隔を隔てて配置されており、更に画像の走査線
方向が、前記視差発生方向と一致する様に構成されてい
るステレオ画像撮像手段と、道路面に対する前記ステレ
オ画像撮像手段の俯角を検出する俯角検出手段と、前記
俯角より前記画像画面上に於ける道路面視差を演算する
道路面視差演算手段と、前記ステレオ画像検出手段によ
り撮像された一方の画像に於いて、前記道路面視差を打
ち消す様に、前記画像に於ける垂直方向の走査毎に、前
記視差が発生する方向に、前記画像情報を前記道路面視
差分ずつずらせながら、道路面視差分調整画像を作成す
る道路面視差分調整画像作成手段と、係る道路面視差分
調整画像と前記したステレオ画像検出手段により撮像さ
れた他方の画像との差分を演算して差分画像を作成する
差分画像作成手段及び前記差分画像から立体物領域を検
出する立体物領域検出手段とから構成され、 前記道路面視差分調整画像作成手段は、前記道路面視差
を遅延量とする遅延回路である事を特徴とする立体物領
域検出装置。1. An image pickup device mounted on a moving body, comprising two image pickup devices, wherein the respective image pickup devices are arranged in parallel with each other and in parallel with a road surface. Stereo image capturing means, which are arranged at a predetermined interval from each other so that a predetermined parallax is generated between the images, and in which the scanning line direction of the images matches the parallax generation direction. Depression angle detecting means for detecting the depression angle of the stereo image capturing means with respect to the road surface, road surface parallax computing means for computing the road surface parallax on the image screen from the depression angle, and imaging by the stereo image detecting means In one of the images, the image information should not be shifted by the road surface parallax in the direction in which the parallax occurs in each vertical scanning in the image so as to cancel the road surface parallax. But A road surface difference adjustment image creating means for creating a road surface difference adjustment image, and calculating the difference between the road surface difference adjustment image and the other image captured by the stereo image detecting means. And a three-dimensional object area detecting means for detecting a three-dimensional object area from the difference image. The road surface parallax difference adjustment image creating means is a delay with the road surface parallax as a delay amount. A three-dimensional object area detection device characterized by being a circuit.
ら構成され、前記各撮像手段は、互いに平行で且つ路面
に平行に配置されると共に、然かも前記各撮像手段で得
られた画像間に所定の視差が発生する様に、互いに所定
の間隔を隔てて配置されており、更に画像の走査線方向
が、前記視差発生方向と一致する様に構成されているス
テレオ画像撮像手段と、道路面に対する前記ステレオ画
像撮像手段の俯角を検出する俯角検出手段と、前記俯角
より前記画像画面上に於ける道路面視差を演算する道路
面視差演算手段と、前記ステレオ画像検出手段により撮
像された一方の画像に於いて、前記道路面視差を打ち消
す様に、前記画像に於ける垂直方向の走査毎に、前記視
差が発生する方向に、前記画像情報を前記道路面視差分
ずつずらせながら、道路面視差分調整画像を作成する道
路面視差分調整画像作成手段と、係る道路面視差分調整
画像と前記したステレオ画像検出手段により撮像された
他方の画像との差分を演算して差分画像を作成する差分
画像作成手段と、前記差分画像から立体物領域を検出す
る立体物領域検出手段と、前記検出された立体物領域に
付いて相関演算により前記立体物領域迄の距離を解析す
る距離解析手段と、距離解析手段により出力された距離
情報を評価して、信頼性のある距離情報を選択して出力
する距離算出手段とから構成され、 前記道路面視差分調整画像作成手段は、前記道路面視差
を遅延量とする遅延回路である事を特徴とする立体物領
域迄の距離測定装置。2. It is composed of two image pickup means mounted on a moving body, and the respective image pickup means are arranged in parallel to each other and in parallel to a road surface, and are obtained by the respective image pickup means. Stereo image capturing means arranged so as to generate a predetermined parallax between the images, with a predetermined interval therebetween, and further configured so that the scanning line direction of the images matches the parallax generation direction. Depression angle detecting means for detecting the depression angle of the stereo image capturing means with respect to the road surface, road surface parallax computing means for computing the road surface parallax on the image screen from the depression angle, and the stereo image detecting means for imaging. In one of the images, so as to cancel the road surface parallax, for each vertical scanning in the image, in the direction in which the parallax occurs, while shifting the image information by the road surface parallax, A road image difference adjustment image creating unit that creates a road image difference adjustment image, and a difference image is calculated by calculating a difference between the road image difference adjustment image and the other image captured by the stereo image detecting unit. Difference image creating means for creating, three-dimensional object area detecting means for detecting a three-dimensional object area from the difference image, and distance analysis for analyzing the distance to the three-dimensional object area by correlating the detected three-dimensional object area And a distance calculation unit that evaluates the distance information output by the distance analysis unit and selects and outputs reliable distance information, wherein the road surface difference adjustment image creation unit is the road A device for measuring a distance to a three-dimensional object region, which is a delay circuit having a parallax as a delay amount.
外の領域を走行路検出領域データとして使用し、走行路
領域として検出する走行路領域検出手段が更に設けられ
ている事を特徴とする請求項２記載の立体物領域迄の距
離測定装置。3. An area other than the area detected as the three-dimensional object area is used as the road area detection area data, and a road area detecting means for detecting the road area is further provided. Item 2. A distance measuring device to a three-dimensional object area.
ら構成され、前記各撮像手段は、互いに平行で且つ路面
に平行に配置されると共に、然かも前記各撮像手段で得
られた画像間に所定の視差が発生する様に、互いに所定
の間隔を隔てて配置されており、更に画像の走査線方向
が、前記視差発生方向と一致する様に構成されているス
テレオ画像撮像手段を用いて道路上の被測定物を検出す
る方法に於いて、前記道路面に対する前記ステレオ画像
撮像手段の俯角を検出する工程と、前記検出した俯角、
前記２個の撮像手段の配置間隔、前記ステレオ画像撮像
手段の高さ、及び現在の画像上の走査位置とに関する情
報から、前記画像画面上に於ける道路面視差を演算する
工程と、前記道路面視差を遅延量とする遅延回路によっ
て、前記ステレオ画像検出手段により撮像された一方の
画像に於ける、前記道路面視差を打ち消す様に、前記画
像に於ける垂直方向の走査毎に、前記視差が発生する方
向に、前記画像情報を前記道路面視差分ずつずらせなが
ら、道路面視差分調整画像を作成する工程と、係る道路
面視差分調整画像と前記したステレオ画像検出手段によ
り撮像された他方の画像との差分を演算して差分画像を
作成する工程と、前記差分画像から立体物領域を検出す
る工程とから構成されている事を特徴とする立体物領域
検出方法。4. The image pickup device comprises two image pickup means mounted on a moving body, and the image pickup means are arranged parallel to each other and parallel to a road surface, and the image pickup means are obtained by the image pickup means. A stereo image capturing means, which is arranged at a predetermined interval from each other so that a predetermined parallax is generated between the images, and is configured so that the scanning line direction of the image matches the parallax generation direction. In a method of detecting an object to be measured on a road using the step of detecting the depression angle of the stereo image capturing means with respect to the road surface, the detected depression angle,
Calculating a road surface parallax on the image screen from information about an arrangement interval of the two image pickup means, a height of the stereo image pickup means, and a scanning position on a current image; A delay circuit having a plane parallax as a delay amount causes the parallax for each vertical scanning in the image so as to cancel the road plane parallax in one image captured by the stereo image detecting means. In a direction in which the image information is shifted by the road surface difference by the road difference, a step of creating a road surface difference adjustment image, and the other image captured by the road surface difference adjustment image and the stereo image detecting means. The method for detecting a three-dimensional object region, the method including: a step of calculating a difference from the difference image and creating a difference image; and a step of detecting a three-dimensional object region from the difference image.
ら構成され、前記各撮像手段は、互いに平行で且つ路面
に平行に配置されると共に、然かも前記各撮像手段で得
られた画像間に所定の視差が発生する様に、互いに所定
の間隔を隔てて配置されており、更に画像の走査線方向
が、前記視差発生方向と一致する様に構成されているス
テレオ画像撮像手段を用いて道路上の被測定物を検出す
る方法に於いて、前記道路面に対する前記ステレオ画像
撮像手段の俯角を検出する工程と、前記検出した俯角、
前記２個の撮像手段の配置間隔、前記ステレオ画像撮像
手段の高さ、及び現在の画像上の走査位置とに関する情
報から、前記画像画面上に於ける道路面視差を演算する
工程と、前記道路面視差を遅延量とする遅延回路によっ
て、前記ステレオ画像検出手段により撮像された一方の
画像に於ける、前記道路面視差を打ち消す様に、前記画
像に於ける垂直方向の走査毎に、前記視差が発生する方
向に、前記画像情報を前記道路面視差分ずつずらせなが
ら、道路面視差分調整画像を作成する工程と、係る道路
面視差分調整画像と前記したステレオ画像検出手段によ
り撮像された他方の画像との差分を演算して差分画像を
作成する工程と、前記差分画像から立体物領域を検出す
る工程と、前記検出された立体物領域に付いて相関演算
により前記立体物領域迄の距離を解析する工程と、前記
距離解析手段により出力された距離情報を評価して、信
頼性のある距離情報を選択して出力する距離算出工程と
から構成されている事を特徴とする立体物領域迄の距離
測定方法。5. The image pickup device comprises two image pickup means mounted on a moving body, wherein the image pickup means are arranged in parallel with each other and in parallel with a road surface, and the image pickup means are obtained by the respective image pickup means. A stereo image capturing means, which is arranged at a predetermined interval from each other so that a predetermined parallax is generated between the images, and is configured so that the scanning line direction of the image matches the parallax generation direction. In a method of detecting an object to be measured on a road using the step of detecting the depression angle of the stereo image capturing means with respect to the road surface, the detected depression angle,
Calculating a road surface parallax on the image screen from information about an arrangement interval of the two image pickup means, a height of the stereo image pickup means, and a scanning position on a current image; A delay circuit having a plane parallax as a delay amount causes the parallax for each vertical scanning in the image so as to cancel the road plane parallax in one image captured by the stereo image detecting means. In a direction in which the image information is shifted by the road surface difference by the road difference, a step of creating a road surface difference adjustment image, and the other image captured by the road surface difference adjustment image and the stereo image detecting means. The step of calculating a difference image by calculating a difference with the image, the step of detecting a three-dimensional object area from the difference image, and the three-dimensional object by the correlation operation for the detected three-dimensional object area. And a distance calculation step of evaluating distance information output by the distance analysis means and selecting and outputting reliable distance information. How to measure the distance to the three-dimensional object area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09753694A JP3501841B2 (en) | 1994-05-11 | 1994-05-11 | Three-dimensional object region detection device, distance measuring device to three-dimensional object region, and their detection and measurement method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09753694A JP3501841B2 (en) | 1994-05-11 | 1994-05-11 | Three-dimensional object region detection device, distance measuring device to three-dimensional object region, and their detection and measurement method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07306037A JPH07306037A (en) | 1995-11-21 |
| JP3501841B2 true JP3501841B2 (en) | 2004-03-02 |
Family
ID=14194978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09753694A Expired - Fee Related JP3501841B2 (en) | 1994-05-11 | 1994-05-11 | Three-dimensional object region detection device, distance measuring device to three-dimensional object region, and their detection and measurement method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3501841B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4531921B2 (en) * | 2000-04-06 | 2010-08-25 | 日本信号株式会社 | Distance measuring device |
| JP4861574B2 (en) | 2001-03-28 | 2012-01-25 | パナソニック株式会社 | Driving assistance device |
| JP5083443B2 (en) * | 2001-03-28 | 2012-11-28 | パナソニック株式会社 | Driving support device and method, and arithmetic device |
| JP5013319B2 (en) * | 2007-09-28 | 2012-08-29 | サクサ株式会社 | Stereo image processing apparatus and image processing program |
| CN102792333B (en) * | 2010-03-19 | 2016-11-23 | 拉碧斯半导体株式会社 | Image processing apparatus, method, program and record medium |
| JP5588332B2 (en) * | 2010-12-10 | 2014-09-10 | 東芝アルパイン・オートモティブテクノロジー株式会社 | Image processing apparatus for vehicle and image processing method for vehicle |
| JP5760884B2 (en) | 2011-09-09 | 2015-08-12 | 株式会社デンソー | Vehicle turning prediction device |
-
1994
- 1994-05-11 JP JP09753694A patent/JP3501841B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07306037A (en) | 1995-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6445814B2 (en) | Three-dimensional information processing apparatus and method | |
| JP5293131B2 (en) | Compound eye distance measuring device for vehicle and compound eye distance measuring method | |
| EP1087257A2 (en) | Mounting stereo camera system of a vehicle | |
| JPH07280563A (en) | Car-to-car distance detector | |
| JP3765862B2 (en) | Vehicle environment recognition device | |
| JPH08136237A (en) | Device for calculating gradient of road and car speed controller | |
| JP3562250B2 (en) | Leading vehicle detection device | |
| JP3501841B2 (en) | Three-dimensional object region detection device, distance measuring device to three-dimensional object region, and their detection and measurement method | |
| JP3842988B2 (en) | Image processing apparatus for measuring three-dimensional information of an object by binocular stereoscopic vision, and a method for recording the same, or a recording medium recording the measurement program | |
| JPH1021401A (en) | Three-dimensional information processor | |
| JPH0948298A (en) | Object position measurement method on the road | |
| JP3516118B2 (en) | Object recognition method and object recognition device | |
| JPH1023311A (en) | Image information input method and device therefor | |
| JP3631541B2 (en) | Object tracking method using stereo images | |
| JP3556319B2 (en) | Distance measuring device | |
| JPH09231370A (en) | Picture information input device | |
| JPH1141521A (en) | Image pickup device, instrument and method for measuring distance between vehicles | |
| JP3912638B2 (en) | 3D image processing device | |
| CN111260538A (en) | Positioning and vehicle-mounted terminal based on long-baseline binocular fisheye camera | |
| JPH11259792A (en) | Method and device for recognizing vehicle | |
| JPH1096607A (en) | Object detector and plane estimation method | |
| JP3525712B2 (en) | Three-dimensional image capturing method and three-dimensional image capturing device | |
| JPH09231369A (en) | Picture information input device | |
| JP3099692B2 (en) | Method of measuring the position of an object on a traveling path | |
| JP2566395B2 (en) | Three-dimensional coordinate measuring device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20030527 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20031203 |
|
| LAPS | Cancellation because of no payment of annual fees |