JP4797441B2

JP4797441B2 - Image processing apparatus for vehicle

Info

Publication number: JP4797441B2
Application number: JP2005148097A
Authority: JP
Inventors: 祐之宇佐美; 友康玉置
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2005-05-20
Filing date: 2005-05-20
Publication date: 2011-10-19
Anticipated expiration: 2025-05-20
Also published as: JP2006325094A; CN101032169B; CN101032169A

Description

本発明は、撮像画像に基づいて路面上の白線及び立体物を検出する車両用画像処理装置に関する。 The present invention relates to an image processing apparatus for a vehicle that detects a white line and a three-dimensional object on a road surface based on a captured image.

従来から、カメラにより撮像された画像の輝度分布に基づいて作成された輝度のヒストグラムを用いてカメラのシャッタスピードを制御する制御装置が知られている（例えば、特許文献１参照）。この制御装置は、輝度分布ヒストグラムの度数を輝度の低い側から順に加算した積算値と輝度の高い側から順に加算した積算値がそれぞれの設定値を超えるときの低い側と高い側での区間長さが互いに等しくなるようにシャッタスピードを調節するものである。
特開平１１−２５８６５４号公報 2. Description of the Related Art Conventionally, there has been known a control device that controls the shutter speed of a camera using a luminance histogram created based on the luminance distribution of an image captured by the camera (see, for example, Patent Document 1). This control device is a section length on the low side and the high side when the integrated value obtained by adding the frequencies of the luminance distribution histogram in order from the low luminance side and the integrated value added in order from the high luminance side exceed the respective set values. The shutter speed is adjusted so that the two are equal to each other.
Japanese Patent Laid-Open No. 11-258654

しかしながら、上述の従来技術の制御装置は、路面上の白線と立体物を検出したいときに、それぞれを検出するために用いる画像のシャッタスピードを、白線検出と立体物検出を区別せずに撮像された画像全体の輝度分布に基づいて制御することになる。そのため、白線と立体物のそれぞれの検出処理に適した画像を撮像することができない。 However, when the control device of the above-described prior art wants to detect a white line and a three-dimensional object on the road surface, the shutter speed of the image used for detecting each is captured without distinguishing between the white line detection and the three-dimensional object detection. Control is performed based on the luminance distribution of the entire image. Therefore, it is not possible to capture an image suitable for each detection process of the white line and the three-dimensional object.

そこで、本発明は、立体物検出と白線検出のそれぞれの処理に適した画像を得ることができる車両用画像処理装置の提供を目的とする。 Accordingly, an object of the present invention is to provide an image processing apparatus for a vehicle that can obtain images suitable for respective processes of solid object detection and white line detection.

上記課題を解決するため、本発明の一局面によれば、
フレームの露出を調節するためのカメラ制御値を算出処理する算出処理手段と、
前記算出処理手段により算出されたカメラ制御値を適用して撮像する撮像手段と、
前記撮像手段により撮像されたフレームに対して白線検出処理と立体物検出処理を行う検出処理手段とを備える車両用画像処理装置であって、
前記撮像手段は、前記算出処理手段により白線と立体物のそれぞれの検出に適するように算出処理されたカメラ制御値をフレーム毎に適用して撮像し、
前記検出処理手段は、白線用カメラ制御値が適用されて撮像されたフレームに対して白線検出処理を行い、立体物用カメラ制御値が適用されて撮像されたフレームに対して立体物検出処理を行うことを特徴とする車両用画像処理装置が提供される。これにより、白線検出と立体物検出に適した個別のカメラ制御値が適用された個別のフレームの使用が可能となるので、立体物検出と白線検出のそれぞれの処理に適した画像を得ることができる。 In order to solve the above problems, according to one aspect of the present invention,
Calculation processing means for calculating a camera control value for adjusting the exposure of the frame;
Imaging means for imaging by applying the camera control value calculated by the calculation processing means;
A vehicle image processing apparatus comprising: a white line detection process and a three-dimensional object detection process for a frame imaged by the imaging means;
The imaging unit applies the camera control value calculated by the calculation processing unit so as to be suitable for detection of each of the white line and the three-dimensional object, and captures an image for each frame.
The detection processing means performs white line detection processing on a frame imaged by applying a white line camera control value, and performs solid object detection processing on a frame imaged by applying the solid object camera control value. A vehicular image processing device is provided. As a result, it is possible to use individual frames to which individual camera control values suitable for white line detection and solid object detection are applied, so that it is possible to obtain images suitable for the respective processes of solid object detection and white line detection. it can.

また、本局面において、前記撮像手段は、撮像したフレームを、フレームカウンタと撮像する際に適用したカメラ制御値とを付与した上で前記検出処理手段に送信し、前記検出処理手段は、その付与されたフレームカウンタに応じて、白線検出処理すべきフレームと立体物検出処理すべきフレームを区別することが好適である。これにより、検出処理手段が、検出処理すべきフレームを白線用と立体物用で間違えて取り込むことを防止することができる。 Further, in this aspect, the imaging unit transmits the captured frame to the detection processing unit after adding a frame counter and a camera control value applied when imaging, and the detection processing unit It is preferable to distinguish a frame to be subjected to the white line detection process and a frame to be subjected to the three-dimensional object detection process in accordance with the frame counter that has been set. Thereby, it is possible to prevent the detection processing means from erroneously taking in a frame to be detected for white lines and a solid object.

また、前記算出処理手段は、白線検出処理用と区別がなされたフレームを基に白線用カメラ制御値を算出処理し、立体物検出処理用と区別がなされたフレームを基に立体物用カメラ制御値を算出処理し、それらの算出処理されたカメラ制御値を所定の送信順序で前記撮像手段に送信することが好適である。この場合、撮像手段は、前記所定の送信順序でカメラ制御値の送信があることに従うことによって、白線用カメラ制御値と立体物用カメラ制御値を間違えてフレームに適用することを防止することができる。 The calculation processing means calculates a white line camera control value based on the frame distinguished from the white line detection process, and controls the solid object camera based on the frame distinguished from the solid object detection process. It is preferable to calculate values and transmit the calculated camera control values to the imaging unit in a predetermined transmission order. In this case, the imaging unit can prevent the white line camera control value and the three-dimensional object camera control value from being mistakenly applied to the frame by following the transmission of the camera control value in the predetermined transmission order. it can.

また、前記算出処理手段は、前記撮像手段への所定の送信タイミングにカメラ制御値の算出処理が間に合わない場合には前回算出処理されたカメラ制御値を送信するようにしてもよい。この場合、前回算出処理されたカメラ制御値を撮像手段に送信したとしても、撮像手段が前記の送信順序に従っていれば、白線用カメラ制御値と立体物用カメラ制御値を間違えてフレームに適用することはない。 The calculation processing unit may transmit the camera control value that has been previously calculated when the calculation process of the camera control value is not in time for a predetermined transmission timing to the imaging unit. In this case, even if the previously calculated camera control value is transmitted to the imaging unit, if the imaging unit follows the transmission order, the white line camera control value and the three-dimensional object camera control value are mistakenly applied to the frame. There is nothing.

また、前記撮像手段は、受信しているうちで最新の白線用カメラ制御値と最新の立体物用カメラ制御値を適用して撮像するようにしてもよい。この場合、白線検出と立体物検出に適した最新の個別のカメラ制御値が適用された最新の個別のフレームの使用が可能となる。 In addition, the imaging unit may apply the latest white line camera control value and the latest three-dimensional object camera control value while receiving. In this case, it is possible to use the latest individual frame to which the latest individual camera control value suitable for white line detection and solid object detection is applied.

本発明によれば、立体物検出と白線検出のそれぞれの処理に適した画像を得ることができる。 According to the present invention, it is possible to obtain an image suitable for each of the three-dimensional object detection and the white line detection.

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。図１は本発明の車両用画像処理装置を用いたシステムの構成の一例を示した図である。本画像処理システムは、カメラＥＣＵ（Electric Control Unit）１０とステレオＥＣＵ２０を備える。それぞれのＥＣＵは、中央処理演算装置（ＣＰＵ）、プログラムを記憶するＲＯＭ、データを一時的に記憶するＲＡＭ、入力インターフェース、出力インターフェースなどの複数の回路要素が一ユニットとして構成されたものである。コンピュータとも呼ばれる。 The best mode for carrying out the present invention will be described below with reference to the drawings. FIG. 1 is a diagram showing an example of a system configuration using the vehicle image processing apparatus of the present invention. The image processing system includes a camera ECU (Electric Control Unit) 10 and a stereo ECU 20. Each ECU comprises a plurality of circuit elements such as a central processing unit (CPU), a ROM for storing programs, a RAM for temporarily storing data, an input interface, and an output interface as a unit. Also called a computer.

カメラＥＣＵ１０は、撮像手段として、撮像素子１１，１２やレンズ１５，１６といったステレオカメラを構成するカメラモジュール１７、カメラＣＰＵ１３、画像出力部１４等を有する。撮像素子１１，１２は、例えば、ＣＣＤ（Charge Coupled Device）で構成されている。カメラＣＰＵ１３は、ステレオＥＣＵ２０からの後述するカメラ制御値に基づいてカメラ側のフレームの露出を調節するカメラ制御を行う。カメラＣＰＵ１３は、出力インターフェースである画像出力部１４を介して、カメラモジュール１７の撮像したフレーム、撮像する際に適用したカメラ制御値、フレームカウンタ等を画像信号としてステレオＥＣＵ２０に送信する。なお、撮像素子は２個に限らず、それ以上の数を有してもよい。 The camera ECU 10 includes a camera module 17, a camera CPU 13, an image output unit 14, and the like that constitute a stereo camera such as the imaging elements 11 and 12 and the lenses 15 and 16 as imaging means. The image sensors 11 and 12 are constituted by, for example, a CCD (Charge Coupled Device). The camera CPU 13 performs camera control for adjusting the exposure of the frame on the camera side based on a later-described camera control value from the stereo ECU 20. The camera CPU 13 transmits the frame captured by the camera module 17, the camera control value applied at the time of imaging, the frame counter, and the like to the stereo ECU 20 as image signals via the image output unit 14 that is an output interface. Note that the number of image pickup devices is not limited to two, and may be greater than that.

ステレオＥＣＵ２０は、入力インターフェースである画像入力部２１、幾何変換ＬＳＩ等を有する幾何変換処理部２２、画像処理ＬＳＩ等を有する画像認識処理部２４及び各処理部を監督するＳＶ−ＣＰＵ２３を有する。 The stereo ECU 20 includes an image input unit 21 that is an input interface, a geometric conversion processing unit 22 having a geometric conversion LSI, an image recognition processing unit 24 having an image processing LSI, and an SV-CPU 23 that supervises each processing unit.

カメラＥＣＵ１０の画像出力部１４から出力された画像信号は、ステレオＥＣＵ２０の入力インターフェースである画像入力部２１に送られる。画像出力部１４と画像入力部２１は、所定のデジタル伝送方式のインターフェースである。 The image signal output from the image output unit 14 of the camera ECU 10 is sent to the image input unit 21 that is an input interface of the stereo ECU 20. The image output unit 14 and the image input unit 21 are predetermined digital transmission system interfaces.

画像信号を受けた画像入力部２１は、画像信号の画像データを幾何変換処理部２２に送る。幾何変換処理部２２は、キャリブレーションデータを用いて、ステレオ演算処理に使用されるカメラモジュール１７の撮像したフレームから、撮像素子１１，１２やレンズ１５，１６等によるハード的な内部誤差要因（レンズ歪み、光軸ずれ、焦点距離ずれ及び撮像素子歪み等）の影響を取り除き、エピポーラ線を画像水平線にあわせる周知の処理を行う。幾何変換処理部２２は、メモリ２５に記憶された幾何変換用のＬＵＴ（Look Up Table）に基づき入力画像を変換する。 Upon receiving the image signal, the image input unit 21 sends image data of the image signal to the geometric transformation processing unit 22. The geometric conversion processing unit 22 uses a calibration data to generate a hardware internal error factor (lens) by the imaging elements 11 and 12 and the lenses 15 and 16 from a frame captured by the camera module 17 used for the stereo calculation process. A known process for removing the influence of distortion, optical axis deviation, focal length deviation, imaging element distortion, etc.) and aligning the epipolar line with the image horizontal line is performed. The geometric transformation processing unit 22 transforms the input image based on a geometric transformation LUT (Look Up Table) stored in the memory 25.

画像認識処理部２４は、幾何変換処理部２２からの幾何変換された画像データに基づいて立体物検出処理や白線検出処理やシャッタ制御を行う。それらの処理や制御のための画像処理プログラムや処理すべき画像データはメモリ２６に記録され、画像認識処理部２４は、それらを読み込んでそれらの処理・制御を行う。 The image recognition processing unit 24 performs solid object detection processing, white line detection processing, and shutter control based on the geometrically transformed image data from the geometric transformation processing unit 22. The image processing program for the processing and control and the image data to be processed are recorded in the memory 26, and the image recognition processing unit 24 reads them and performs the processing and control thereof.

画像認識処理部２４が実行する立体物検出処理は、例えばステレオ視の技術によって撮像したフレームから立体物を検出する画像処理プログラムによる処理である。立体物検出処理は、例えば左右に配置された撮像素子１１，１２により撮像された一対の画像の相関を求め、同一物体に対する視差に基づいて三角測量の要領でその物体までの距離を算出するものである。 The three-dimensional object detection process executed by the image recognition processing unit 24 is a process by an image processing program that detects a three-dimensional object from a frame captured by, for example, a stereo vision technique. In the three-dimensional object detection processing, for example, the correlation between a pair of images captured by the imaging elements 11 and 12 arranged on the left and right is obtained, and the distance to the object is calculated in the manner of triangulation based on the parallax with respect to the same object. It is.

つまり、画像認識処理部２４は、撮像素子１１，１２により撮像された一組のステレオ画像から同一の撮像対象物が写っている部分を抽出し、一組のステレオ画像同士でその撮像対象物の同一点を対応づけ、対応づけられた点（対応点）のずれ量（視差）を求めることによって撮像対象物までの距離を算出する。撮像対象物が前方にある場合、撮像素子１１による画像と撮像素子１２による画像とを重ね合わせると、撮像対象物が左右横方向にずれる。そして、片方の画像を１画素ずつシフトしながら最も重なり合う位置を求める。このときシフトした画素数をｎとする。レンズの焦点距離をｆ、光軸間の距離をｍ、画素ピッチをｄとすると、撮像対象物までの距離Ｌは、『Ｌ＝（ｆ・ｍ）／（ｎ・ｄ）』という関係式が成立する。この（ｎ・ｄ）が視差である。 That is, the image recognition processing unit 24 extracts a portion in which the same imaging target object is captured from a set of stereo images captured by the imaging elements 11 and 12, and sets the imaging target object between the pair of stereo images. The distance to the object to be imaged is calculated by associating the same point and obtaining the shift amount (parallax) of the associated point (corresponding point). When the imaging object is in front, when the image by the imaging element 11 and the image by the imaging element 12 are overlapped, the imaging object is shifted in the horizontal direction. Then, the most overlapping position is obtained while shifting one image pixel by pixel. The number of pixels shifted at this time is n. Assuming that the focal length of the lens is f, the distance between the optical axes is m, and the pixel pitch is d, the distance L to the object to be imaged is expressed by a relational expression “L = (f · m) / (n · d)”. To establish. This (n · d) is parallax.

また、画像認識処理部２４が実行する白線検出処理は、撮像したフレームから路面上の白線を検出する画像処理プログラムによる処理である。白線検出処理では、まず、輝度によって２値化された撮像したフレームの中から路面上の白線に該当すると考えられる画素（白線候補点）が選出される。そして、白線候補点が直線的に並んでいれば、選出された白線候補点は路面上の白線であると判断される。 The white line detection process executed by the image recognition processing unit 24 is a process performed by an image processing program that detects a white line on the road surface from the captured frame. In the white line detection process, first, pixels (white line candidate points) that are considered to correspond to the white line on the road surface are selected from the captured frames binarized by luminance. If the white line candidate points are linearly arranged, it is determined that the selected white line candidate point is a white line on the road surface.

また、画像認識処理部２４が実行するシャッタ制御は、適切なカメラ制御値（シャッタスピードＳや制御ゲインＫ）を算出処理・調節する。フレームの露出はシャッタスピードＳに応じて変化し、シャッタスピードＳを遅くすれば通る光が保持されるため暗い場所での撮影も可能になる。画像認識処理部２４は、撮像したフレームにおける目標明るさＤ_Ｒと撮像したフレームにおける実明るさＤ_Ａから所定の関数Ｆに基づいて適切なカメラ制御値を算出する。例えば、シャッタスピードＳの今回値をＳ_Ｎ、シャッタスピードＳの前回値をＳ_Ｎ−１、制御ゲインＫとして、所定関数Ｆ『Ｓ_Ｎ＝Ｓ_Ｎ−１＋Ｋ・（Ｄ_Ｒ−Ｄ_Ａ）』に基づいて、カメラ制御値が算出される。 The shutter control executed by the image recognition processing unit 24 calculates and adjusts appropriate camera control values (shutter speed S and control gain K). The exposure of the frame changes according to the shutter speed S, and if the shutter speed S is slowed down, the light passing therethrough is retained, so that shooting in a dark place is possible. Image recognition processing unit 24 calculates the appropriate camera control values based from real brightness D _A in the target brightness D _R and the imaging frame of the imaging frame on a predetermined function F. For example, given that the current value of the shutter speed S is S _N , the previous value of the shutter speed S is S _N−1 , and the control gain K, the predetermined function F “S _N = S _N−1 + K · (D _R −D _A )” Based on the above, a camera control value is calculated.

ＳＶ−ＣＰＵ２３は、各処理部を監督（supervisor）するＣＰＵである。画像認識処理部２４が兼ねても可である。ＳＶ−ＣＰＵ２３は、画像認識処理部２４によるシャッタ制御の結果であるカメラ制御値をカメラＥＣＵ１０内のカメラＣＰＵ１３に送信・指示する。 The SV-CPU 23 is a CPU that supervises each processing unit. The image recognition processing unit 24 may also serve. The SV-CPU 23 transmits and instructs a camera control value as a result of shutter control by the image recognition processing unit 24 to the camera CPU 13 in the camera ECU 10.

このようなカメラＥＣＵ１０やステレオＥＣＵ２０を車両に搭載することによって、路上の障害物等の画像認識情報を利用する制御に使用することが可能である。例えば、ＳＶ−ＣＰＵ２３が、車内ＬＡＮを介して、画像認識処理結果を必要とする他のＥＣＵにその結果を送信すればよい。他のＥＣＵとは、例えば、衝突回避・衝突軽減システムを制御するＥＣＵ、車線維持支援システムや車線逸脱警報システムを制御するＥＣＵ、車間ＥＣＵ、ブレーキＥＣＵ等である。 By mounting such a camera ECU 10 or stereo ECU 20 on a vehicle, it can be used for control using image recognition information such as obstacles on the road. For example, the SV-CPU 23 may transmit the result to another ECU that requires the image recognition processing result via the in-vehicle LAN. Other ECUs include, for example, an ECU that controls a collision avoidance / collision reduction system, an ECU that controls a lane keeping support system and a lane departure warning system, an inter-vehicle ECU, a brake ECU, and the like.

それでは、本発明の車両用画像処理装置の動作について図を参照しながら説明する。 The operation of the vehicle image processing apparatus of the present invention will be described with reference to the drawings.

ある対象物を画像処理により検出する場合、その対象物が最適な明るさとなるように、シャッタスピード等のカメラ制御値を調節することによって、カメラの露出を制御することが好ましい。その一つの手法として、カメラ制御値の決定の基準となるウィンドウを撮像画像上に設定するものがある。図７で示されるように、白線検出処理において検出された白線３０を適切に認識できるようにするためには、路面に明るさ基準ウィンドウ３３を設定すればよい。一方、図８で示されるように、立体物検出処理において検出された先行車や障害物をはじめとする立体物３２を適切に認識できるようにするためには、立体物３２の周囲に明るさ基準ウィンドウ３４を設定すればよい。しかしながら、白線検出と立体物検出の両方を行う場合には、明るさの基準をどのように設定するのかという点が重要になってくる。 When a certain object is detected by image processing, it is preferable to control the camera exposure by adjusting camera control values such as shutter speed so that the object has an optimal brightness. As one of the methods, there is a method in which a window serving as a reference for determining a camera control value is set on a captured image. As shown in FIG. 7, in order to appropriately recognize the white line 30 detected in the white line detection process, a brightness reference window 33 may be set on the road surface. On the other hand, as shown in FIG. 8, in order to appropriately recognize the three-dimensional object 32 including the preceding vehicle and the obstacle detected in the three-dimensional object detection process, the brightness around the three-dimensional object 32 is bright. The reference window 34 may be set. However, when performing both white line detection and three-dimensional object detection, it is important how to set the brightness reference.

また、立体物を検出するときに白線用のカメラ制御値を用いると、映像がサチュレーションを起こしてしまい、立体物の情報を収集できなくなってしまうことがある。さらに、カメラＥＣＵ１０側が、白線用カメラ制御値を適正に適用した白線用映像と立体物用カメラ制御値を適正に適用した立体物用映像を単純に切り替えることができたとしても、カメラＥＣＵ１０とステレオＥＣＵ２０間で撮像したフレームに関する整合がとれていなければ、ステレオＥＣＵ２０側が、画像処理のタイミングをずらしてしまったり、画像処理すべき画像を取り込み間違いしてしまったりするおそれがある。 Further, if a white line camera control value is used when detecting a three-dimensional object, the image may saturate and information on the three-dimensional object may not be collected. Further, even if the camera ECU 10 side can simply switch between the white line video appropriately applying the white line camera control value and the solid object video appropriately applying the solid object camera control value, the camera ECU 10 and the stereo If the frames regarding the frames captured between the ECUs 20 are not matched, the stereo ECU 20 side may shift the timing of image processing or may mistakenly capture an image to be processed.

そこで、本発明の車両用画像処理装置は、立体物検出と白線検出のそれぞれの処理に適した画像を得るために、以下のように動作する。 Therefore, the vehicle image processing apparatus of the present invention operates as follows in order to obtain images suitable for each of the three-dimensional object detection and the white line detection.

図２は、カメラＥＣＵ１０とステレオＥＣＵ２０間で行われる画像処理シーケンスの一部を切り出した図である。 FIG. 2 is a diagram in which a part of an image processing sequence performed between the camera ECU 10 and the stereo ECU 20 is cut out.

ステレオＥＣＵ２０内のＳＶ−ＣＰＵ２３は、カメラＥＣＵ１０内のカメラＣＰＵ１３とシリアル通信を行う。ＳＶ−ＣＰＵ２３は、シリアル通信で、画像認識処理部２４のシャッタ制御で算出された白線用カメラ制御値（図２上方にある符号ａ１，ａ２，ａ３の実線矢印）と立体物用カメラ制御値（図２上方にある符号ｂ１，ｂ２，ｂ３の点線矢印）を必ず交互にカメラＣＰＵ１３に送信する。例えば５０ｍｓの送信周期で、白線用カメラ制御値と立体物用カメラ制御値が送信される（図５参照）。また、白線用カメラ制御値と立体物用カメラ制御値の送信順序が定められ、通信カウンタが、奇数の場合（図２中の符号（i），（iii），（v））には白線用カメラ制御値が送信され、偶数の場合（図２中の符号（ii），（iv），（vi））には立体物用カメラ制御値が送信される。 The SV-CPU 23 in the stereo ECU 20 performs serial communication with the camera CPU 13 in the camera ECU 10. The SV-CPU 23 uses serial communication and white line camera control values (solid arrows indicated by reference signs a1, a2, and a3 in the upper part of FIG. 2) calculated by the shutter control of the image recognition processing unit 24 and a three-dimensional camera control value ( 2 are always transmitted alternately to the camera CPU 13. For example, the white line camera control value and the three-dimensional object camera control value are transmitted in a transmission cycle of 50 ms (see FIG. 5). Also, when the transmission order of the white line camera control value and the three-dimensional object camera control value is determined and the communication counter is an odd number (symbols (i), (iii), (v) in FIG. 2), The camera control value is transmitted, and when it is an even number (symbols (ii), (iv), (vi) in FIG. 2), the three-dimensional object camera control value is transmitted.

なお、ＳＶ−ＣＰＵ２３は、カメラ制御値を送信する場合、画像認識処理部２４のカメラ制御値の算出タイミングにかかわらず、その送信タイミングにおける最新の算出結果であるカメラ制御値を送信する。すなわち、画像認識処理部２４によるカメラ制御値の算出処理が高負荷等の理由により送信タイミングに間に合わなければ、前回算出されたカメラ制御値が送信される。 Note that, when the camera control value is transmitted, the SV-CPU 23 transmits the camera control value that is the latest calculation result at the transmission timing regardless of the calculation timing of the camera control value of the image recognition processing unit 24. That is, if the calculation process of the camera control value by the image recognition processing unit 24 is not in time for the transmission timing due to a high load or the like, the camera control value calculated last time is transmitted.

一方、カメラＥＣＵ１０は、２フレームを最小単位に白線用カメラ制御を行い、１フレームを最小単位に立体物用カメラ制御を行う。つまり、ＳＶ−ＣＰＵ２３からの白線用カメラ制御値は２フレーム毎に適用され、ＳＶ−ＣＰＵ２３からの立体物用カメラ制御値は１フレーム毎に適用される。 On the other hand, the camera ECU 10 performs white line camera control with 2 frames as a minimum unit, and performs solid object camera control with 1 frame as a minimum unit. That is, the white line camera control value from the SV-CPU 23 is applied every two frames, and the three-dimensional object camera control value from the SV-CPU 23 is applied every frame.

ここで、カメラの１フレームは２つのフィールドという要素から成り立っている。つまり、走査線の奇数本目に走査が行われる「奇数（ＯＤＤ）フィールド」と、走査線の偶数本目に走査が行われる「偶数（ＥＶＥＮ）フィールド」である。カメラＥＣＵ１０は、撮像した１フレーム毎にフレームカウンタＮ（Ｎ＝１，２，３，・・・）を順番に付与する。フィールドもさらに区別できるように「１ｏ，１ｅ」，「２ｏ，２ｅ」，・・・と付与してもよい。 Here, one frame of the camera is composed of two fields. That is, there are an “odd (ODD) field” in which scanning is performed on an odd number of scanning lines and an “even (EVEN) field” in which scanning is performed on an even number of scanning lines. The camera ECU 10 assigns a frame counter N (N = 1, 2, 3,...) In order for each captured frame. The fields may be assigned as “1o, 1e”, “2o, 2e”,.

このような条件の下、カメラＥＣＵ１０によるカメラ制御は、以下のように行われる。図６は、カメラＥＣＵ１０がカメラ制御する際のフローチャートである。カメラＥＣＵ１０は、フレームカウンタＮに応じて白線用カメラ制御を行うか立体物用カメラ制御を行うかを決定している（ステップ７０）。フレームカウンタＮを３で割った余りが０であるカウンタを付与したフレームに対しては白線用カメラ制御値を適用して白線用カメラ制御を実行する（ステップ７２）。一方、フレームカウンタＮを３で割った余りが１であるカウンタを付与したフレームに対しては立体物用カメラ制御値を適用して立体物用カメラ制御を実行する（ステップ７４）。 Under such conditions, camera control by the camera ECU 10 is performed as follows. FIG. 6 is a flowchart when the camera ECU 10 controls the camera. The camera ECU 10 determines whether to perform white line camera control or three-dimensional object camera control according to the frame counter N (step 70). White line camera control is executed by applying a white line camera control value to a frame to which a counter having a remainder of 0 obtained by dividing the frame counter N by 3 is applied (step 72). On the other hand, the camera control value for a three-dimensional object is executed by applying the camera control value for a three-dimensional object to a frame to which a counter having a remainder of 1 obtained by dividing the frame counter N by 3 is applied (step 74).

したがって、図２の場合、カメラＥＣＵ１０は、「フレームカウンタ３」，「６」，「９」毎に白線用カメラ制御値を適用して撮像し、「フレームカウンタ１」，「４」，「７」，「１０」毎に立体物用カメラ制御値を適用して撮像する。 Therefore, in the case of FIG. 2, the camera ECU 10 applies the white line camera control value for each of “frame counter 3”, “6”, and “9” to capture an image, and “frame counter 1”, “4”, “7”. ”And“ 10 ”to capture the image by applying the three-dimensional object camera control value.

なお、カメラＥＣＵ１０は、受信している最新の立体物用カメラ制御値若しくは白線用カメラ制御値をそれぞれの最小単位毎に適用して撮像する。つまり、カメラ制御値の受信タイミングと撮像のタイミングとの同期はとれていなくてもよい。 The camera ECU 10 captures an image by applying the received latest three-dimensional object camera control value or white line camera control value for each minimum unit. That is, the reception timing of the camera control value and the imaging timing need not be synchronized.

したがって、カメラＥＣＵ１０が、上述のように、フレームカウンタが３のフレームに対してカメラ制御を行う場合には白線用カメラ制御値ａ１が適用され、フレームカウンタが７のフレームに対してカメラ制御を行う場合には立体物用カメラ制御値ｂ１が適用される。これに対し、フレームカウンタが５のフレームに対してカメラ制御が行われる場合には、白線用カメラ制御値ａ２はまだ受信していないため、そのとき最新のカメラ制御値である白線用カメラ制御値ａ１が適用される。フレームカウンタが２や８のフレームについても、同様である。 Therefore, when the camera ECU 10 performs camera control on the frame whose frame counter is 3, as described above, the white line camera control value a1 is applied, and the frame counter performs camera control on the 7 frame. In this case, the three-dimensional object camera control value b1 is applied. On the other hand, when the camera control is performed for the frame whose frame counter is 5, the white line camera control value a2 has not been received yet, and the white line camera control value which is the latest camera control value at that time is not received. a1 is applied. The same applies to frames with a frame counter of 2 or 8.

次に、上述のようなカメラ制御を行ったカメラＥＣＵ１０は、撮像したフレームの画像データとともに、当該フレームのカメラ制御値とフレームカウンタをステレオＥＣＵ２０に送信する。このとき、「１．フレームカウンタＮを３で割った余りが０（Ｎｍｏｄ３＝０）であるフレームは白線用カメラ制御により撮像した白線用フレームである」、「２．フレームカウンタＮを３で割った余りが１又は２（Ｎｍｏｄ３＝１，２）であるフレームは立体物用カメラ制御により撮像した立体物用フレームである」といった通信定義を予め設定しておく。カメラＥＣＵ１０はそれらのデータをこの通信定義に従ってステレオＥＣＵ２０に送信する。 Next, the camera ECU 10 that has performed the camera control as described above transmits the camera control value of the frame and the frame counter to the stereo ECU 20 together with the image data of the captured frame. At this time, “1. A frame in which the remainder obtained by dividing the frame counter N by 3 is 0 (N mod 3 = 0) is a white line frame imaged by the white line camera control”, “2. A communication definition such that a frame whose remainder is 1 or 2 (N mod 3 = 1, 2) is a three-dimensional object frame imaged by the three-dimensional object camera control is set in advance. The camera ECU 10 transmits these data to the stereo ECU 20 according to this communication definition.

カメラＥＣＵ１０から画像データを受けたステレオＥＣＵ２０は、フレームに付与されたフレームカウンタに応じて白線用フレームと立体物フレームを区別する。ステレオＥＣＵ２０は、上記の通信定義に従い、処理すべきフレームのフレームカウンタＮが「Ｎｍｏｄ３＝０」を満たすとき白線用カメラ制御により撮像した白線用フレームであるとして白線検出処理を行う。一方、処理すべきフレームのフレームカウンタＮが「Ｎｍｏｄ３＝１，２」を満たすとき立体物用カメラ制御により撮像した立体物用フレームであるとして立体物検出処理を行う。そして、白線検出処理の後に白線用カメラ制御値算出等の白線認識後処理が行われ、立体物検出処理の後に立体物用カメラ制御値算出等の立体物認識後処理が行われる。 The stereo ECU 20 that has received the image data from the camera ECU 10 distinguishes the white line frame and the three-dimensional object frame in accordance with a frame counter assigned to the frame. In accordance with the above communication definition, the stereo ECU 20 performs the white line detection process on the assumption that the frame counter N of the frame to be processed satisfies the “N mod 3 = 0” as a white line frame captured by the white line camera control. On the other hand, when the frame counter N of the frame to be processed satisfies “N mod 3 = 1, 2”, the three-dimensional object detection process is performed assuming that the frame is a three-dimensional object image captured by the three-dimensional object camera control. Then, a white line recognition post-process such as white line camera control value calculation is performed after the white line detection process, and a three-dimensional object recognition post-process such as calculation of the three-dimensional object camera control value is performed after the three-dimensional object detection process.

ここで、図３及び図４は、カメラＥＣＵ１０から画像データを受けたステレオＥＣＵ２０が処理するフローチャートである。図３において、ステレオＥＣＵ２０は、上記の通信定義に従い、処理すべきフレームのフレームカウンタＮの確認を行う（ステップ１０，１２）。「Ｎｍｏｄ３＝１」ならば、ステレオＥＣＵ２０内の画像認識処理部２４は立体物検出処理を行う（ステップ１４）。そして、画像認識処理部２４は、立体物検出処理がなされたフレームを基に立体物用カメラ制御値を算出する（ステップ１６）。一方、ステップ１２において「Ｎｍｏｄ３＝１」でなければ、フェール処理が行われる（ステップ１８）。 Here, FIGS. 3 and 4 are flowcharts processed by the stereo ECU 20 that has received the image data from the camera ECU 10. In FIG. 3, the stereo ECU 20 checks the frame counter N of the frame to be processed in accordance with the above communication definition (steps 10 and 12). If “N mod 3 = 1”, the image recognition processing unit 24 in the stereo ECU 20 performs a three-dimensional object detection process (step 14). Then, the image recognition processing unit 24 calculates a three-dimensional object camera control value based on the frame subjected to the three-dimensional object detection process (step 16). On the other hand, if “N mod 3 = 1” is not satisfied in step 12, fail processing is performed (step 18).

また、図４においても同様に、ステレオＥＣＵ２０は、上記の通信定義に従い、処理すべきフレームのフレームカウンタＮの確認を行う（ステップ３０，３２）。「Ｎｍｏｄ３＝０」ならば、ステレオＥＣＵ２０内の画像認識処理部２４は白線検出処理を行う（ステップ３４）。そして、画像認識処理部２４は、白線検出処理がなされたフレームを基に白線用カメラ制御値を算出する（ステップ３６）。一方、ステップ３２において「Ｎｍｏｄ３＝０」でなければ、フェール処理が行われる（ステップ３８）。 Similarly, in FIG. 4, the stereo ECU 20 confirms the frame counter N of the frame to be processed in accordance with the communication definition (steps 30 and 32). If “N mod 3 = 0”, the image recognition processing unit 24 in the stereo ECU 20 performs white line detection processing (step 34). Then, the image recognition processing unit 24 calculates a white line camera control value based on the frame subjected to the white line detection process (step 36). On the other hand, if “N mod 3 = 0” is not satisfied in step 32, fail processing is performed (step 38).

ここで、ステップ１２とステップ３２のように、ステレオＥＣＵ２０は、フレームカウンタに従って制御を切り替えている。処理負荷増大等の理由により、白線検出処理若しくは立体物検出処理の時間が増えてタイミングがずれた場合には、その回のメイン周回をあきらめ（ステップ１８，３８のフェール処理）、タイミングを取り直して再スタートする。処理時間の制限として、例えば、白線検出処理は１６．７ｍｓ以内、立体物検出処理は８３．３ｍｓ以内に設定しておく。また、ステレオＥＣＵ２０内の画像認識処理部２４の起動タイミングは、白線検出はＥＶＥＮ起動、立体物検出はＯＤＤ起動であるため、初期起動時にフレームカウンタとＯＤＤ／ＥＶＥＮ起動のタイミングを合わせるために、空回しをする必要がある。例えば、立体物の画像をＥＶＥＮ起動で受けたり、白線の画像をＯＤＤ起動で受けたりすることがある。その場合には、その回の処理を廃棄して、ＳＶ−ＣＰＵ２３による白線用カメラ制御値と立体物用カメラ制御値のカメラＥＣＵ１０への送信タイミングに合わせる必要がある。 Here, as in step 12 and step 32, the stereo ECU 20 switches control according to the frame counter. If the timing of the white line detection process or the three-dimensional object detection process is increased due to an increase in processing load or the like, the timing is shifted (the fail process in steps 18 and 38), and the timing is reset. Restart. As processing time limitations, for example, white line detection processing is set within 16.7 ms, and solid object detection processing is set within 83.3 ms. Further, the activation timing of the image recognition processing unit 24 in the stereo ECU 20 is EVEN activation for white line detection and ODD activation for three-dimensional object detection. Therefore, in order to match the frame counter and ODD / EVEN activation timing at the initial activation, Need to turn. For example, a solid object image may be received by EVEN activation, and a white line image may be received by ODD activation. In that case, it is necessary to discard the processing at that time and match the transmission control timing of the white line camera control value and the three-dimensional object camera control value to the camera ECU 10 by the SV-CPU 23.

以上のように、ステレオＥＣＵ２０は、付与されたフレームカウンタに応じて白線検出処理すべきフレームと立体物検出処理すべきフレームを区別することによって、検出処理すべきフレームを白線用と立体物用で間違えて取り込むことを防止することができる。そして、フレームの区別を行ったステレオＥＣＵ２０は、白線検出処理用と区別がなされたフレームを基に白線検出処理と白線用カメラ制御値の算出処理を行い、立体物検出処理用と区別がなされたフレームを基に立体物検出処理と立体物用カメラ制御値の算出処理を行っている。 As described above, the stereo ECU 20 distinguishes between the frame to be subjected to the white line detection process and the frame to be subjected to the three-dimensional object detection process according to the assigned frame counter. It is possible to prevent mistaken capturing. Then, the stereo ECU 20 that has distinguished the frame performs the white line detection process and the white line camera control value calculation process based on the frame that is distinguished from the white line detection process, and is distinguished from the solid object detection process. Based on the frame, a three-dimensional object detection process and a three-dimensional object camera control value calculation process are performed.

そして、このように算出処理された白線用カメラ制御値と立体物用カメラ制御値に関して、「通信カウンタが奇数の場合には白線用カメラ制御値を送信し、偶数の場合には立体物用カメラ制御値を送信する」といった送信順序の決め事を設定し、それに従ってステレオＥＣＵ２０がカメラＥＣＵ１０への送信を行っている。したがって、カメラＥＣＵ１０は、その送信順序でカメラ制御値の送信があることに従うことによって、白線用カメラ制御値と立体物用カメラ制御値を間違えてフレームに適用することを防止することができる。 Then, regarding the white line camera control value and the three-dimensional object camera control value calculated in this way, “when the communication counter is an odd number, the white line camera control value is transmitted, and when the communication counter is an even number, the three-dimensional object camera control value is transmitted. The stereo ECU 20 performs transmission to the camera ECU 10 according to the determined transmission order such as “transmit the control value”. Therefore, the camera ECU 10 can prevent the white line camera control value and the three-dimensional object camera control value from being mistakenly applied to the frame by following the transmission of the camera control value in the transmission order.

さらに、このような送信順序によるステレオＥＣＵ２０からの各カメラ制御値に関して、カメラＥＣＵ１０は、フレームカウンタＮを３で割った余りが０であるカウンタを付与したフレームに対しては白線用カメラ制御値を適用して白線用カメラ制御を実行する。一方、フレームカウンタＮを３で割った余りが１であるカウンタを付与したフレームに対しては立体物用カメラ制御値を適用して立体物用カメラ制御を実行する。各カメラ制御を実行したカメラＥＣＵ１０は、撮像したフレームの画像データを、当該フレームのカメラ制御値とフレームカウンタとを付与した上で、ステレオＥＣＵ２０に送信する。このよう流れが、カメラＥＣＵ１０とステレオＥＣＵ２０間で繰り返されることとなり、立体物検出と白線検出のそれぞれの処理に適した画像を得ることができるようになる。 Further, regarding each camera control value from the stereo ECU 20 according to such a transmission order, the camera ECU 10 assigns a white line camera control value to a frame to which a counter having a remainder of 0 obtained by dividing the frame counter N by 3 is assigned. Apply the white line camera control. On the other hand, the camera control value for a three-dimensional object is executed by applying the camera control value for the three-dimensional object to a frame to which a counter having a remainder of 1 obtained by dividing the frame counter N by 3 is applied. Camera ECU10 which performed each camera control transmits the image data of the imaged flame | frame to stereo ECU20, after giving the camera control value and frame counter of the said flame | frame. Such a flow is repeated between the camera ECU 10 and the stereo ECU 20, and images suitable for the respective processes of the three-dimensional object detection and the white line detection can be obtained.

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。例えば、本発明の走査方式は特に限定せず、インターレース方式でもノンインターレース方式でもよい。 The preferred embodiments of the present invention have been described in detail above. However, the present invention is not limited to the above-described embodiments, and various modifications and substitutions can be made to the above-described embodiments without departing from the scope of the present invention. Can be added. For example, the scanning method of the present invention is not particularly limited, and may be an interlace method or a non-interlace method.

本発明の車両用画像処理装置を用いたシステムの構成の一例を示した図である。It is the figure which showed an example of the structure of the system using the image processing apparatus for vehicles of this invention. カメラＥＣＵ１０とステレオＥＣＵ２０間で行われる画像処理シーケンスの一部を切り出した図である。It is the figure which extracted a part of image processing sequence performed between camera ECU10 and stereo ECU20. 立体物検出処理のフローチャートである。It is a flowchart of a solid object detection process. 白線検出処理のフローチャートである。It is a flowchart of a white line detection process. カメラ制御値を一定周期で送信するタイマルーチンである。This is a timer routine for transmitting camera control values at a constant cycle. カメラＥＣＵ１０がカメラ制御する際のフローチャートである。It is a flowchart at the time of camera ECU10 controlling a camera. 路面に明るさ基準ウィンドウが設定されたことを示す図である。It is a figure which shows that the brightness reference window was set to the road surface. 立体物の周囲に明るさ基準ウィンドウが設定されたことを示す図である。It is a figure which shows that the brightness reference window was set around the solid object.

Explanation of symbols

１０カメラＥＣＵ
１１，１２撮像素子
１３カメラＣＰＵ
１４画像出力部
１５，１６レンズ
１７カメラモジュール
１８，２５，２６メモリ
２０ステレオＥＣＵ
２１画像入力部
２２画像変換処理部
２３ＳＶ−ＣＰＵ
２４画像認識処理部 10 Camera ECU
11, 12 Image sensor
13 Camera CPU
14 Image output unit 15, 16 Lens 17 Camera module 18, 25, 26 Memory 20 Stereo ECU
21 Image Input Unit 22 Image Conversion Processing Unit 23 SV-CPU
24 Image recognition processor

Claims

Calculation processing means for calculating a camera control value for adjusting the exposure of the frame;
Imaging means for imaging by applying the camera control value calculated by the calculation processing means;
A vehicle image processing apparatus comprising: a white line detection process and a three-dimensional object detection process for a frame imaged by the imaging means;
The imaging unit applies the camera control value calculated by the calculation processing unit so as to be suitable for detection of each of the white line and the three-dimensional object to capture an image, and the detected frame and the frame counter are captured. To
The detection processing unit distinguishes between a frame to be subjected to white line detection processing and a frame to be subjected to solid object detection processing according to the frame counter, and is calculated by the calculation processing unit based on a frame that is distinguished from that for white line detection processing. A solid object that has been subjected to white line detection processing on a frame that has been imaged by applying the processed white line camera control value and that has been calculated by the calculation processing unit based on a frame that has been distinguished from that for solid object detection processing An image processing apparatus for a vehicle, which performs a three-dimensional object detection process on a frame captured by applying a camera control value.

The vehicle image processing apparatus according to claim 1, wherein the camera control values calculated by the calculation processing unit are transmitted to the imaging unit in a predetermined transmission order.

The vehicle image processing device according to claim 2 , wherein the calculation processing unit transmits the camera control value that has been previously calculated when the calculation process of the camera control value is not in time for a predetermined transmission timing to the imaging unit.

The vehicular image processing apparatus according to claim 3 , wherein the imaging unit applies the latest white line camera control value and the latest three-dimensional object camera control value while receiving.