JP3797251B2 - 車両用画像処理装置および車両用画像処理方法 - Google Patents
車両用画像処理装置および車両用画像処理方法 Download PDFInfo
- Publication number
- JP3797251B2 JP3797251B2 JP2002055726A JP2002055726A JP3797251B2 JP 3797251 B2 JP3797251 B2 JP 3797251B2 JP 2002055726 A JP2002055726 A JP 2002055726A JP 2002055726 A JP2002055726 A JP 2002055726A JP 3797251 B2 JP3797251 B2 JP 3797251B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- compression
- image data
- decompression
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 97
- 238000003672 processing method Methods 0.000 title claims description 20
- 230000006835 compression Effects 0.000 claims description 140
- 238000007906 compression Methods 0.000 claims description 140
- 230000006837 decompression Effects 0.000 claims description 116
- 238000003384 imaging method Methods 0.000 claims description 32
- 238000010257 thawing Methods 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims 1
- 230000002123 temporal effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 31
- 238000000034 method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両用画像処理装置および車両用画像処理方法に関する。
【０００２】
【従来の技術】
従来技術として、特開平１１−１５０７２６号公報に記載された車両用動画像処理方法および車両用動画像処理装置がある。
この従来技術では、できるだけＣＰＵ（Central Processing Unit：中央演算処理装置）等のハードウェアに計算負荷を与えずに、車両から撮影した進行方向の動画像を適切に圧縮するための圧縮方法および装置を提案している。
図１１は、従来例を説明する図である。
１はＣＣＤ（Charge Coupled Device：電荷結合素子）カメラ、２は圧縮装置、３は解凍装置、４は画像処理装置、５は車両制御装置、６はブレーキアクチュエータ、７はステアリングアクチュエータ、８はスロットルアクチュエータ、９は変速アクチュエータ、２１は撮像部、２２は伝送部、２３は画像処理部、２４はＣＰＵである。
すなわち、具体的には、図１１に示す構成図のように、ＣＣＤカメラ１で撮影した画像データを、圧縮装置２にて圧縮符号化するに際し、車両の移動に伴う画像の変化度合いに応じて、変化の小さい第１領域と、変化の大きい第２領域とに分割し、それぞれの領域に適合する圧縮方式で圧縮符号化する。例えば、第１領域は、静止画像に適合した圧縮方式により、第２領域は、動画像に適合した圧縮方式によりそれぞれ圧縮符号化する。
【０００３】
【発明が解決しようとする課題】
上記の従来例の構成においては、撮像した画像を元に分割領域や圧縮方式を設定する構成になっているため、画像情報を逐次、解析し、道路部分の解析や、好ましい圧縮方式を選択するための画像全体の解析を行う必要がある。また、道路側壁の位置や前方車両の車の位置などは、画像上において、おおむね、その出現場所が予想できるため、その予想に合わせて、分割領域と圧縮方式を設定することもできる。しかし、道路形状や道路側壁状態の不連続性や外乱混入の可能性を考慮すると、定期的に画像全体の構成を確認する必要がある。また、確認するためのきっかけが特になければ、ランダムな時刻に全体の画像構成を探索するような構成にする必要がある。このことは、すばやく状況を判断するためには、頻繁に画像全体の位置関係を確認する必要があり、このことがＣＰＵ２４の負担を増加させる。前記全体画像に対する探索周期を伸ばせば、ＣＰＵ２４の負担は軽減するが、物体の検知などの発見が遅れたり、必要な部分の画像が劣化するなどの問題を包含している。
また、圧縮方式の選択が、車両制御装置５の制御周期の情報に基づいて変更する構成になっていないため、画像系処理と自動車制御系処理を同一のコンピュータのＣＰＵ２４で構成しようとするとき、演算に関する処理を効率的に分散することができず、必要以上に性能が高いＣＰＵ２４が必要となり、システム全体のコストを上昇させる原因となる。
【０００４】
本発明の目的は、撮像画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる車両用画像処理装置および車両用画像処理方法を提供することにある。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、本発明においては特許請求の範囲に記載するような構成をとる。
すなわち、請求項１記載の車両用画像処理装置は、車両周囲を撮像する撮像手段と、前記撮像手段により撮像された画像データを圧縮する圧縮手段と、前記圧縮手段によって圧縮された画像データを解凍する解凍手段と、前記解凍手段から得られる画像データの画像処理を行う画像処理手段と、前記撮像手段が撮像した際の車両制御状況又は車両周囲状況に基づいて、前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、該決定した圧縮の特性及び該解凍の特性をそれぞれ該圧縮手段及び該解凍手段に指示する特性決定手段と、を有することを特徴とする。
また、請求項２記載の車両用画像処理装置は、請求項１記載の車両用画像処理装置において、前記特性決定手段は、道路属性を検出する道路属性検出手段を含み、該道路属性検出手段により高速道路であると検出した場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、非高速道路であると検出した場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、請求項３記載の車両用画像処理装置は、請求項１記載の車両用画像処理装置において、前記特性決定手段は、車両の周囲の交通量密度を検出する交通量密度検出手段を含み、該交通量密度検出手段により検出された交通量密度が小さい場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、交通量密度が大きい場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、請求項４記載の車両用画像処理装置は、請求項１記載の車両用画像処理装置において、前記特性決定手段は、車両制御装置の制御周期を検出する制御周期検出手段を含み、該制御周期検出手段により検出された制御周期が短い場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、請求項５記載の車両用画像処理方法は、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際の車両制御状況又は車両周囲状況に基づいて、画像データを圧縮する際の圧縮の特性及び該圧縮された画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
また、請求項６記載の車両用画像処理方法は、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、高速道路を走行中である場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、高速道路を走行中でない場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
また、請求項７記載の車両用画像処理方法は、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、車両の周囲の交通量密度が小さい場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、車両の周囲の交通量密度が大きい場合には、時空間的な間引き量が小さくなるように画像デ ータを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
また、請求項８記載の車両用画像処理方法は、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、車両制御の制御周期が短い場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
【発明の効果】
請求項１の車両用画像処理装置によれば、撮像部の圧縮装置により時空間的に圧縮し、撮像部から画像処理部へ伝送し、画像処理部の解凍装置により解凍して、元画像に近い情報に復元し、その画像情報に対して画像処理装置により画像処理を行う構成において、前記撮像手段が撮像した際の車両制御状況又は車両周囲状況に基づいて、前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、該決定した圧縮の特性及び該解凍の特性をそれぞれ該圧縮手段及び該解凍手段に指示する構成とすることにより、撮像装置からの取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項２の車両用画像処理装置によれば、請求項１の特性を決定する具体的な条件として、ナビゲーションシステムなどにより取得される道路属性を用い、高速道路と市街地等の非高速道路の判断からフィードフォーワード的に圧縮装置と解凍装置の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項３の車両用画像処理装置によれば、請求項１の特性を決定する具体的な条件として、レーザレーダやインフラ（infrastructure）から得られる交通密度に関する情報からフィードフォーワード的に圧縮装置と解凍装置の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項４の車両用画像処理装置によれば、請求項１の特性を決定する具体的な条件として、走行速度等の自車両に関する情報からフィードフォーワード的に圧縮装置と解凍装置の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項５の車両用画像処理方法によれば、撮像された画像情報を時空間的に圧縮し、解凍して、元画像に近い情報に復元し、その画像情報に対して画像処理を行う構成において、車両周囲を撮像する際の車両制御状況又は車両周囲状況に基づいて、画像データを圧縮する際の圧縮の特性及び該圧縮された画像データを解凍する際の解凍の特性を決定する構成とすることにより、撮像画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項６の車両用画像処理方法によれば、特性を決定する具体的な条件として、ナビゲーションシステムなどにより取得される道路属性を用い、高速道路と市街地等の非高速道路の判断からフィードフォーワード的に圧縮と解凍の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項７の車両用画像処理方法によれば、特性を決定する具体的な条件として、レーザレーダやインフラから得られる交通密度に関する情報からフィードフォーワード的に圧縮と解凍の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項８の車両用画像処理方法によれば、特性を決定する具体的な条件として、走行速度等の自車両に関する情報からフィードフォーワード的に圧縮と解凍の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
【０００６】
【発明の実施の形態】
実施の形態１
図１は、本発明の実施の形態１の車両用画像処理装置の構成を示すブロック図である。
１はＣＣＤカメラ（電子式のカメラ）、２は圧縮装置、３は解凍装置、４は画像処理装置、５は車両制御装置、６はブレーキアクチュエータ、７はステアリングアクチュエータ、８はスロットルアクチュエータ、９は変速アクチュエータ、１０はレーダ、２１は撮像部、２２は伝送部、２３は画像処理部、２４はＣＰＵ、２５は特性変更装置、１１は道路属性検出装置、１２はナビゲーション装置である。
図１に示すように、本実施の形態１では、発明の前提とする基本的な構成として、撮像装置である例えばＣＣＤカメラ１（およびそのドライバ、シャッタ制御を含む）、ＣＣＤカメラ１による撮像情報を時空間的に変換する圧縮装置２、ＣＣＤカメラ１と圧縮装置２からなる撮像部２１と画像処理部２２とを接続する伝送部２２、圧縮装置２からの信号が入力され、ＣＣＤカメラ１で撮像した情報に復元する解凍装置３、解凍後の情報を処理する画像処理装置４、画像処理装置４によって得られた車両の周囲情報に関する処理結果に基づき、作用する車両制御装置５、画像処理装置４と車両制御装置５を含むＣＰＵ２４、車両制御装置５からの信号送信により具体的に駆動される車両のブレーキアクチュエータ６、ステアリングアクチュエータ７、スロットルアクチュエータ８、変速アクチュエータ９、車両の前方を監視し、前方車両との車間距離等を知らせる信号を車両制御装置５に入力するレーダ１０が存在する。
上記の基本的な構成のほかに、本発明のポイントであるナビゲーション装置１２を含む道路属性検出装置１１を有する特性変更装置２５が存在し、その出力は、圧縮装置２と解凍装置３とに接続されている。道路属性検出装置１１の具体的なシステムは、本実施の形態１では、ＧＰＳ（Global Positioning System：汎世界測位システム）付きのナビゲーション装置１２などであり、ＧＰＳなどにより自車両の場所を検出し、その場所をナビゲーション内に具備する地図を参照する。そして、地図に記載された道路属性情報を取得し、「自動車専用道路」「高速道路」「一般国道」「市街地」などの道路属性を圧縮装置２と解凍装置３とに伝達する。以下の説明では、「高速道路」「自動車専用道路」を「高速道路」とし、それ以外の道路を「非高速道路」として２種類に分けて説明する。
【０００７】
図２は、本実施の形態１において、空間的圧縮比特性を説明する図である。
【０００８】
まず、道路属性検出装置１１により「高速道路」と判断された場合、この信号は、圧縮装置２に入力される。ここでは、図２に示すように、圧縮時の上限とする空間周波数を低めに設定し、空間的な周波数の高い細かい情報を圧縮段階で欠落させる。一般的に、高速道路では、人間や細い物体の存在は、障害物検出にあまり考慮する必要がないため、大きな車両のみに着目する。よって、空間的な周波数が低い物体のみに着目すれば、ＡＣＣ（Adaptive Cruise Control：自車両の設定速度よりも遅い先行車が存在すると、設定速度を落して追従走行するシステム）やブレーキ制御にはおおむね利用できる。この信号は、解凍装置３にも同期して入力され（必ずしも同期して入力させなくてもよい）、解凍するときの上限周波数を考慮して圧縮信号が解凍される。解凍画像については、空間周波数の高い成分が欠落した画像になるが、高速道路上の存在物の都合上から、空間周波数の高い成分が欠落していても大きな問題にならない。また、画像処理装置４においても、高い周波数を含んだ画像でないならば、ウインドの大きさや移動量を変更し、画像処理自体の演算量を低減することができる。
【０００９】
空間的な周波数を低めに抑えたときの解凍画像においては、現画像に比較して、基本的に、車などの大きな物体に付いての圧縮・解凍による情報欠落はほとんどない。多少、輪郭部分がぼける場合がある。一方、現画像で細い物体や輝度が頻繁に変化する物体に対しては、解凍したときに細かく復元できていない。しかし、高速道路においては、それでも大きな問題はない。
【００１０】
道路属性検出装置１１により「非高速道路」と判定された場合、一般的に、歩行者や自転車などが多数存在する一般道路であり、この場合、高い空間周波数を含んだ情報は、重要な情報となる。そこで、圧縮装置２および解凍装置３においても、高い空間周波数を制限しない特性とし、解凍後の復元画像の劣化が小さいものとなる。細かい部分まで、復元後も見ることができる。前述の空間的な周波数を低めに抑えたときの復元画像に対して、高い空間周波数を制限しない場合の復元画像のほうが細かい物体表現が可能となる。この復元画像を入力し、画像処理装置４では、細かい対象物の検出を行うことができる。ただし、画像処理に対する演算量は、高い周波数を制限した復元像に対してよりも、大きくなる。
【００１１】
次に、本実施の形態１のフローを図３、図４に示す。
【００１２】
まず、３０１において、前方の道路画像を撮像する。３０２では、自車両が現在走行している道路の属性をナビゲーション装置１２を備えた道路属性検出装置１１により検出する。３０３において、その道路属性が高速道路である場合、３０５へ、そうでない場合３０４へ進む。高速道路である場合、３０５で、高い空間周波数を制限して圧縮する（すなわち、特性変更装置２５が、時空間的な間引き量を大きくする特性の変更を指示する）。一方、高速道路でない場合、３０４で、高い空間周波数を制限しないで圧縮する（すなわち、特性変更装置２５が、時空間的な間引き量を小さくする特性の変更を指示する）。
【００１３】
次に、図３のＡ以降は、圧縮した画像を復元する処理を示す。３０６において、３０５、３０４に対応して、高速道路なら、３０８で、高い空間周波数を制限した形で解凍する。高速道路でない一般道路である場合、３０７で、普通の解凍をする。すなわち、この場合の解凍においては、あえて高い周波数成分を考慮する必要が無いため、Ａからの流れは、３０７を介して３０９へ進む。
【００１４】
３０９で、制御のための一般的な画像処理を行う。３１０では、例えば、撮影画像から取得した対象物との距離に応じた各種アクチュエータ（ブレーキアクチュエータ６、ステアリングアクチュエータ７、スロットルアクチュエータ８、変速アクチュエータ９）に出力指令値を算定する（この手法は、公知）。３１２で、制御オン／オフを判断し、オフの場合は処理を終了し、オンの場合は、Ｂ、すなわち、３０１へ戻る（ここでは、特に、制御の内容に言及しない）。
【００１５】
次に、効果について説明する。ここでは、レーンキープ装置やＡＣＣ装置などに着目する。周囲の状況を認識して、その結果に基づき、車両の各種アクチュエータを制御するというＩＴＳ（Intelligent Transport System：高度道路交通システム）においては、ＣＰＵを画像処理用と制御用に共用して利用することが好ましい。それにより、システムコストを低減することができる。一般的に、高速道路を走行するとき、ＩＴＳ制御コントローラとしては、高速走行している車両の操舵や加減速度をアクチュエータによって制御する場合、比較的短い制御周期で細かい操作量を制御する必要がある。なぜなら、車両が高速で走行しているため、微妙な操舵制御や加減速制御をしないと、不適切な車両挙動となり、ドライバに違和感として感じられる。この場合は、制御負荷は大きくなる。
【００１６】
一方、市街地走行の場合、一般的に時速４０ｋｍ以下ならば、車両挙動制御にとって、さほど微妙な制御周期や制御量を要求しないため、制御負荷は大きくない。この制御にかかわる制御負荷の関係と上記の画像処理装置の関係を平行して考える。一般的なシステム構成としては、撮像装置であるＣＣＤカメラ１と圧縮装置２は、バックミラー上などに設置され、個別のＣＰＵなどを有するシステムとして設置される。圧縮装置２からの信号は、シリアル通信などを介して解凍装置３、画像処理装置４、車両制御装置５からなるコントローラ（画像処理部２３）に入力される。
【００１７】
この後者のコントローラにおいて、ＣＰＵを共用し、システムのコストを低減することを考える。
【００１８】
前述のように、高速道路では、高い空間周波数成分が制限された復元像を処理するため、画像処理の処理負担は小さい。一方、非高速道路では、高い周波数を有する細かい画像を処理するため、画像処理の演算負担は大きい。
【００１９】
以上のように、高速道路では、画像処理の負担が小さいが、制御のための演算負担が大きい。非高速道路では、画像処理の負担が大きいが、制御のための演算負担が小さい。この関係から、ＣＰＵの演算能力を的確にバランスよく利用することができ、必要以上なＣＰＵ能力を用意する必要がない。すなわち、圧縮の特性を変更する際に用いる条件は、画像系の負荷が大きいときは、制御系の負荷が小さく、画像系の負荷が小さいときは、制御系の負荷が大きくなる特徴があるため、ＣＰＵを効率的に作動させることができる。
【００２０】
なお、本実施の形態１は、特許請求の範囲の請求項１の車両用画像処理装置に対応する。すなわち、車両周囲を撮像する撮像手段（ＣＣＤカメラ１）と、前記撮像手段により撮像された画像データを圧縮する圧縮手段（圧縮装置２）と、前記圧縮手段によって圧縮された画像データを解凍する解凍手段（解凍装置３）と、前記解凍手段から得られる画像データの画像処理を行う画像処理手段（画像処理装置４）と、前記撮像手段が撮像した際の車両制御状況又は車両周囲状況に基づいて、前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、該決定した圧縮の特性及び該解凍の特性をそれぞれ該圧縮手段及び該解凍手段に指示する特性決定手段（特性変更装置２５）と、を有することを特徴とする。すなわち、上記従来例のように、画像の更新周期の早い、遅いで分割し、圧縮方法を変えるのではなく、車両制御上、必要最低限な画像情報が確保できる程度に圧縮の特性（圧縮率）を決定する。したがって、車両制御上、不要な情報（細かい画像）は削除される。
また、本実施の形態１は、特許請求の範囲の請求項２の車両用画像処理装置に対応する。すなわち、前記特性決定手段は、道路属性を検出する道路属性検出手段（道路属性検出装置１１）を含み、該道路属性検出手段により高速道路であると検出した場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、非高速道路であると検出した場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、本実施の形態１は、特許請求の範囲の請求項５の車両用画像処理方法に対応する。すなわち、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際の車両制御状況又は車両周囲状況に基づいて、画像データを圧縮する際の圧縮の特性及び該圧縮された画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
また、本実施の形態１は、特許請求の範囲の請求項６の車両用画像処理方法に対応する。すなわち、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、高速道路を走行中である場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、高速道路を走行中でない場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
【００２１】
実施の形態２
実施の形態１では、高速道路か非高速道路かを、道路属性判断手段（道路属性検出装置１１）によって決定した。この判別手段の本質的な機能としては、低い空間周波数への圧縮変換により、解凍するときに、高い空間周波数を削除してしまっても画像処理に支障をきたさない場面において、その圧縮手法を適用することにある。実施の形態１では、その場面を高速道路か非高速道路かで分類した。本実施の形態２では、その判断を車両の周囲の交通量密度とした。
【００２２】
具体的には、図５に示すように、図１の実施の形態１において、ナビゲーション装置１２を有する道路属性検出装置１１のほかに、ＶＩＣＳ装置（Vehicle Information and Communication System：道路交通情報通信システム）１３が追加されている。前述のように、高速道路であっても一般道路であっても、道路が込んでいる場合、自車両に対する周囲車両との距離は短くなるので、周囲の障害物は、大きな映像となる。この場合、高い空間周波数までを含まない圧縮・解凍機能で対応できる。一方、渋滞でない場合、結果的に周囲車両の像は小さくなるため、細かい像として周囲対象を捉える必要がある。そこで、この場合は、高い空間周波数まで含めた圧縮・解凍を行う。ただし、後述するように、渋滞でない場合は、実施の形態１と同じ判断によって圧縮・解凍特性が決定される。なお、上記の判断は、道路属性検出装置１１内のアルゴリズムにより、好ましい圧縮時の制限空間周波数が決定される。
【００２３】
この場合、ＶＩＣＳなどのインフラ情報として得られる渋滞情報と自車両位置、および、自車両走行場所から自車両周囲の渋滞の程度を判断し、上述の関係で圧縮・解凍の空間周波数を決定する。
【００２４】
次に、本実施の形態２の場合における、制御手法との関係について説明する。渋滞する場合、ＡＣＣやレーンキープ・サポートシステム（道路の白線内を自動的に走行するシステム）といった高速走行時に利用する装置は使用できない。よって、インチング装置（渋滞時に、先行車に自動的に追従走行する装置）のように自車両近傍車両との接触関係を検出する必要がある。この制御では、多少違和感があっても、周囲車両との接触を回避するために、すばやくブレーキをかける必要があり、センシングで軽減されたＣＰＵ画像処理負荷を制御側のアルゴリズムに使われることになる。一方、渋滞していない場合は、実施の形態１のシステムを起動し、道路属性で圧縮・解凍特性を変化させる。
【００２５】
次に、本実施の形態２のフローを図６、図７に示す。
【００２６】
６０１で、前方の道路画像を撮像する。６０２において自車両が走行しているところの道路属性をナビゲーション装置１２を備えた道路属性検出装置１１により検出する。高速道路である場合、６０３へ移行し、ＶＩＣＳ装置１３からのＶＩＣＳ信号で渋滞している道路上に自車両が存在しないかを判定する。渋滞していない場合、６０４にて、高速走行しているものと考え、高い空間周波数を制限した圧縮を行う。
【００２７】
一方、６０２で、高速でない場合や、６０３で、高速でも渋滞している場合は、高速走行していないものと判断し、６０５で、高い空間周波数を制限しない通常の圧縮を行う。
【００２８】
図６のＡ以降は、圧縮した画像を復元する処理を示す。６０６において、６０４、６０５に対応して、高い空間周波数を制限した場合は、６０８で、高い空間周波数を制限した形で解凍する。高い空間周波数を制限しない場合は、普通の解凍をする。すなわち、この場合の解凍においては、あえて高い周波数成分を考慮する必要が無いため、Ａからの流れは、６０７を介して６０９へ進む。
【００２９】
６０９で、制御のための一般的な画像処理を行う。６１０では、例えば、撮影画像から取得した対象物との距離に応じた各種アクチュエータに出力指令値を算定する（この手法は、公知）。６１２で、制御オン／オフを判断し、オフの場合は処理を終了し、オンの場合は、Ｂ、すなわち、６０１へ戻る（ここでは、特に、制御の内容に言及しない）。
【００３０】
なお、本実施の形態２は、特許請求の範囲の請求項３の車両用画像処理装置に対応する。すなわち、前記特性決定手段（特性変更装置２５）は、車両の周囲の交通量密度を検出する交通量密度検出手段（ＶＩＣＳ装置１３）を含み、該交通量密度検出手段により検出された交通量密度が小さい場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、交通量密度が大きい場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、本実施の形態２は、特許請求の範囲の請求項７の車両用画像処理方法に対応する。すなわち、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、車両の周囲の交通量密度が小さい場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、車両の周囲の交通量密度が大きい場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
【００３１】
実施の形態３
実施の形態３の構成を図８に示す。
本実施の形態３は、前述の画像処理系（画像処理装置４）のＣＰＵ２４の演算量と制御系（車両制御装置５）のＣＰＵ２４の演算量のバランスに着目した実施の形態である。本実施の形態３の場合、制御系の制御周期が短く、かつ、微少量の出力になったとき、制御系のＣＰＵ２４の負荷が増大する。本実施の形態３では、このＣＰＵ２４の負荷状態を検出するＣＰＵモニタ１４が備えられており、このＣＰＵモニタ１４により制御系のＣＰＵ２４の負荷が増大したときに、画像処理系に対して、高い空間周波数を制限した圧縮・解凍の指示を出す。逆に、制御系の制御周期や操作量に大きな変化がなく、制御系のＣＰＵ２４の負荷が軽減しているとき、できるだけ精度よく検出することを目標として、画像処理系に対して、高い空間周波数も含んだ圧縮・解凍の指示を出す。
【００３２】
制御の負荷は、例えば、ブレーキ動作中や、白線を見失い、白線を検索中などのときは負荷が大きい。一方、ブレーキアクチュエータ制御などを行わず、白線などもトラッキングしている場合は、制御負荷が軽いと考える。
【００３３】
本実施の形態３の制御フローを図９、図１０に示す。
【００３４】
まず、９０１にて前方道路画像を撮像する。一方、９０２において、ＣＰＵモニタ１４により車両制御を行うルーチンのＣＰＵ２４の負荷をモニタする。９０３において、ＣＰＵ２４の負荷があらかじめ設定された所定の値よりも大きければ、制御へのＣＰＵ２４の負荷を、画像処理によりさらに大きくしないように、９０５で、高周波数を制限した圧縮を行う。一方、ＣＰＵ負荷が小さい場合は、９０４で、高周波数を制限しない通常の圧縮を行う。
【００３５】
図９のＡ以降は、圧縮した画像を復元する処理を示す。９０５、９０４に対応して、高い空間周波数を制限した場合は、９０８で、高い空間周波数を制限した形で復元する。高い空間周波数を制限した場合は、９０７で普通の解凍をする。すなわち、この場合の解凍においては、あえて高い周波数成分を考慮する必要が無いため、Ａからの流れは、９０７を介して９０９へ進む。
【００３６】
９０９で、制御のための一般的な画像処理を行う。９１０では、例えば、撮影画像から取得した対象物との距離に応じた各種アクチュエータに出力指令値を算定する（この手法は、公知）。９１２で、制御オン／オフを判断し、オフの場合は処理を終了し、オンの場合は、Ｂ、すなわち、９０１へ戻る（ここでは、特に、制御の内容に言及しない）。
【００３７】
なお、本実施の形態３は、特許請求の範囲の請求項４の車両用画像処理装置に対応する。すなわち、前記特性決定手段（特性変更装置２５）は、車両制御装置の制御周期を検出する制御周期検出手段（ＣＰＵモニタ１４）を含み、該制御周期検出手段により検出された制御周期が短い場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、本実施の形態３は、特許請求の範囲の請求項８の車両用画像処理方法に対応する。すなわち、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、車両制御の制御周期が短い場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
【図面の簡単な説明】
【図１】本発明の実施の形態１の構成図
【図２】空間的圧縮比特性を説明する図
【図３】本発明の実施の形態１のフローチャート
【図４】本発明の実施の形態１のフローチャート
【図５】本発明の実施の形態２の構成図
【図６】本発明の実施の形態２のフローチャート
【図７】本発明の実施の形態２のフローチャート
【図８】本発明の実施の形態３の構成図
【図９】本発明の実施の形態３のフローチャート
【図１０】本発明の実施の形態３のフローチャート
【図１１】従来技術を説明する図
【符号の説明】
１：ＣＣＤカメラ
２：圧縮装置
３：解凍装置（復元装置）
４：画像処理装置
５：車両制御装置
６：ブレーキアクチュエータ
７：ステアリングアクチュエータ
８：スロットルアクチュエータ
９：変速アクチュエータ
１０：レーダ
１１：道路属性検出装置
１２：ナビゲーション装置
１３：ＶＩＣＳ装置
１４：ＣＰＵモニタ
２１：撮像部
２２：伝送部
２３：画像処理部
２４：ＣＰＵ
２５：特性変更装置
【発明の属する技術分野】
本発明は、車両用画像処理装置および車両用画像処理方法に関する。
【０００２】
【従来の技術】
従来技術として、特開平１１−１５０７２６号公報に記載された車両用動画像処理方法および車両用動画像処理装置がある。
この従来技術では、できるだけＣＰＵ（Central Processing Unit：中央演算処理装置）等のハードウェアに計算負荷を与えずに、車両から撮影した進行方向の動画像を適切に圧縮するための圧縮方法および装置を提案している。
図１１は、従来例を説明する図である。
１はＣＣＤ（Charge Coupled Device：電荷結合素子）カメラ、２は圧縮装置、３は解凍装置、４は画像処理装置、５は車両制御装置、６はブレーキアクチュエータ、７はステアリングアクチュエータ、８はスロットルアクチュエータ、９は変速アクチュエータ、２１は撮像部、２２は伝送部、２３は画像処理部、２４はＣＰＵである。
すなわち、具体的には、図１１に示す構成図のように、ＣＣＤカメラ１で撮影した画像データを、圧縮装置２にて圧縮符号化するに際し、車両の移動に伴う画像の変化度合いに応じて、変化の小さい第１領域と、変化の大きい第２領域とに分割し、それぞれの領域に適合する圧縮方式で圧縮符号化する。例えば、第１領域は、静止画像に適合した圧縮方式により、第２領域は、動画像に適合した圧縮方式によりそれぞれ圧縮符号化する。
【０００３】
【発明が解決しようとする課題】
上記の従来例の構成においては、撮像した画像を元に分割領域や圧縮方式を設定する構成になっているため、画像情報を逐次、解析し、道路部分の解析や、好ましい圧縮方式を選択するための画像全体の解析を行う必要がある。また、道路側壁の位置や前方車両の車の位置などは、画像上において、おおむね、その出現場所が予想できるため、その予想に合わせて、分割領域と圧縮方式を設定することもできる。しかし、道路形状や道路側壁状態の不連続性や外乱混入の可能性を考慮すると、定期的に画像全体の構成を確認する必要がある。また、確認するためのきっかけが特になければ、ランダムな時刻に全体の画像構成を探索するような構成にする必要がある。このことは、すばやく状況を判断するためには、頻繁に画像全体の位置関係を確認する必要があり、このことがＣＰＵ２４の負担を増加させる。前記全体画像に対する探索周期を伸ばせば、ＣＰＵ２４の負担は軽減するが、物体の検知などの発見が遅れたり、必要な部分の画像が劣化するなどの問題を包含している。
また、圧縮方式の選択が、車両制御装置５の制御周期の情報に基づいて変更する構成になっていないため、画像系処理と自動車制御系処理を同一のコンピュータのＣＰＵ２４で構成しようとするとき、演算に関する処理を効率的に分散することができず、必要以上に性能が高いＣＰＵ２４が必要となり、システム全体のコストを上昇させる原因となる。
【０００４】
本発明の目的は、撮像画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる車両用画像処理装置および車両用画像処理方法を提供することにある。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、本発明においては特許請求の範囲に記載するような構成をとる。
すなわち、請求項１記載の車両用画像処理装置は、車両周囲を撮像する撮像手段と、前記撮像手段により撮像された画像データを圧縮する圧縮手段と、前記圧縮手段によって圧縮された画像データを解凍する解凍手段と、前記解凍手段から得られる画像データの画像処理を行う画像処理手段と、前記撮像手段が撮像した際の車両制御状況又は車両周囲状況に基づいて、前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、該決定した圧縮の特性及び該解凍の特性をそれぞれ該圧縮手段及び該解凍手段に指示する特性決定手段と、を有することを特徴とする。
また、請求項２記載の車両用画像処理装置は、請求項１記載の車両用画像処理装置において、前記特性決定手段は、道路属性を検出する道路属性検出手段を含み、該道路属性検出手段により高速道路であると検出した場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、非高速道路であると検出した場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、請求項３記載の車両用画像処理装置は、請求項１記載の車両用画像処理装置において、前記特性決定手段は、車両の周囲の交通量密度を検出する交通量密度検出手段を含み、該交通量密度検出手段により検出された交通量密度が小さい場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、交通量密度が大きい場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、請求項４記載の車両用画像処理装置は、請求項１記載の車両用画像処理装置において、前記特性決定手段は、車両制御装置の制御周期を検出する制御周期検出手段を含み、該制御周期検出手段により検出された制御周期が短い場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、請求項５記載の車両用画像処理方法は、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際の車両制御状況又は車両周囲状況に基づいて、画像データを圧縮する際の圧縮の特性及び該圧縮された画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
また、請求項６記載の車両用画像処理方法は、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、高速道路を走行中である場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、高速道路を走行中でない場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
また、請求項７記載の車両用画像処理方法は、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、車両の周囲の交通量密度が小さい場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、車両の周囲の交通量密度が大きい場合には、時空間的な間引き量が小さくなるように画像デ ータを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
また、請求項８記載の車両用画像処理方法は、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、車両制御の制御周期が短い場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
【発明の効果】
請求項１の車両用画像処理装置によれば、撮像部の圧縮装置により時空間的に圧縮し、撮像部から画像処理部へ伝送し、画像処理部の解凍装置により解凍して、元画像に近い情報に復元し、その画像情報に対して画像処理装置により画像処理を行う構成において、前記撮像手段が撮像した際の車両制御状況又は車両周囲状況に基づいて、前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、該決定した圧縮の特性及び該解凍の特性をそれぞれ該圧縮手段及び該解凍手段に指示する構成とすることにより、撮像装置からの取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項２の車両用画像処理装置によれば、請求項１の特性を決定する具体的な条件として、ナビゲーションシステムなどにより取得される道路属性を用い、高速道路と市街地等の非高速道路の判断からフィードフォーワード的に圧縮装置と解凍装置の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項３の車両用画像処理装置によれば、請求項１の特性を決定する具体的な条件として、レーザレーダやインフラ（infrastructure）から得られる交通密度に関する情報からフィードフォーワード的に圧縮装置と解凍装置の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項４の車両用画像処理装置によれば、請求項１の特性を決定する具体的な条件として、走行速度等の自車両に関する情報からフィードフォーワード的に圧縮装置と解凍装置の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項５の車両用画像処理方法によれば、撮像された画像情報を時空間的に圧縮し、解凍して、元画像に近い情報に復元し、その画像情報に対して画像処理を行う構成において、車両周囲を撮像する際の車両制御状況又は車両周囲状況に基づいて、画像データを圧縮する際の圧縮の特性及び該圧縮された画像データを解凍する際の解凍の特性を決定する構成とすることにより、撮像画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項６の車両用画像処理方法によれば、特性を決定する具体的な条件として、ナビゲーションシステムなどにより取得される道路属性を用い、高速道路と市街地等の非高速道路の判断からフィードフォーワード的に圧縮と解凍の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項７の車両用画像処理方法によれば、特性を決定する具体的な条件として、レーザレーダやインフラから得られる交通密度に関する情報からフィードフォーワード的に圧縮と解凍の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項８の車両用画像処理方法によれば、特性を決定する具体的な条件として、走行速度等の自車両に関する情報からフィードフォーワード的に圧縮と解凍の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
【０００６】
【発明の実施の形態】
実施の形態１
図１は、本発明の実施の形態１の車両用画像処理装置の構成を示すブロック図である。
１はＣＣＤカメラ（電子式のカメラ）、２は圧縮装置、３は解凍装置、４は画像処理装置、５は車両制御装置、６はブレーキアクチュエータ、７はステアリングアクチュエータ、８はスロットルアクチュエータ、９は変速アクチュエータ、１０はレーダ、２１は撮像部、２２は伝送部、２３は画像処理部、２４はＣＰＵ、２５は特性変更装置、１１は道路属性検出装置、１２はナビゲーション装置である。
図１に示すように、本実施の形態１では、発明の前提とする基本的な構成として、撮像装置である例えばＣＣＤカメラ１（およびそのドライバ、シャッタ制御を含む）、ＣＣＤカメラ１による撮像情報を時空間的に変換する圧縮装置２、ＣＣＤカメラ１と圧縮装置２からなる撮像部２１と画像処理部２２とを接続する伝送部２２、圧縮装置２からの信号が入力され、ＣＣＤカメラ１で撮像した情報に復元する解凍装置３、解凍後の情報を処理する画像処理装置４、画像処理装置４によって得られた車両の周囲情報に関する処理結果に基づき、作用する車両制御装置５、画像処理装置４と車両制御装置５を含むＣＰＵ２４、車両制御装置５からの信号送信により具体的に駆動される車両のブレーキアクチュエータ６、ステアリングアクチュエータ７、スロットルアクチュエータ８、変速アクチュエータ９、車両の前方を監視し、前方車両との車間距離等を知らせる信号を車両制御装置５に入力するレーダ１０が存在する。
上記の基本的な構成のほかに、本発明のポイントであるナビゲーション装置１２を含む道路属性検出装置１１を有する特性変更装置２５が存在し、その出力は、圧縮装置２と解凍装置３とに接続されている。道路属性検出装置１１の具体的なシステムは、本実施の形態１では、ＧＰＳ（Global Positioning System：汎世界測位システム）付きのナビゲーション装置１２などであり、ＧＰＳなどにより自車両の場所を検出し、その場所をナビゲーション内に具備する地図を参照する。そして、地図に記載された道路属性情報を取得し、「自動車専用道路」「高速道路」「一般国道」「市街地」などの道路属性を圧縮装置２と解凍装置３とに伝達する。以下の説明では、「高速道路」「自動車専用道路」を「高速道路」とし、それ以外の道路を「非高速道路」として２種類に分けて説明する。
【０００７】
図２は、本実施の形態１において、空間的圧縮比特性を説明する図である。
【０００８】
まず、道路属性検出装置１１により「高速道路」と判断された場合、この信号は、圧縮装置２に入力される。ここでは、図２に示すように、圧縮時の上限とする空間周波数を低めに設定し、空間的な周波数の高い細かい情報を圧縮段階で欠落させる。一般的に、高速道路では、人間や細い物体の存在は、障害物検出にあまり考慮する必要がないため、大きな車両のみに着目する。よって、空間的な周波数が低い物体のみに着目すれば、ＡＣＣ（Adaptive Cruise Control：自車両の設定速度よりも遅い先行車が存在すると、設定速度を落して追従走行するシステム）やブレーキ制御にはおおむね利用できる。この信号は、解凍装置３にも同期して入力され（必ずしも同期して入力させなくてもよい）、解凍するときの上限周波数を考慮して圧縮信号が解凍される。解凍画像については、空間周波数の高い成分が欠落した画像になるが、高速道路上の存在物の都合上から、空間周波数の高い成分が欠落していても大きな問題にならない。また、画像処理装置４においても、高い周波数を含んだ画像でないならば、ウインドの大きさや移動量を変更し、画像処理自体の演算量を低減することができる。
【０００９】
空間的な周波数を低めに抑えたときの解凍画像においては、現画像に比較して、基本的に、車などの大きな物体に付いての圧縮・解凍による情報欠落はほとんどない。多少、輪郭部分がぼける場合がある。一方、現画像で細い物体や輝度が頻繁に変化する物体に対しては、解凍したときに細かく復元できていない。しかし、高速道路においては、それでも大きな問題はない。
【００１０】
道路属性検出装置１１により「非高速道路」と判定された場合、一般的に、歩行者や自転車などが多数存在する一般道路であり、この場合、高い空間周波数を含んだ情報は、重要な情報となる。そこで、圧縮装置２および解凍装置３においても、高い空間周波数を制限しない特性とし、解凍後の復元画像の劣化が小さいものとなる。細かい部分まで、復元後も見ることができる。前述の空間的な周波数を低めに抑えたときの復元画像に対して、高い空間周波数を制限しない場合の復元画像のほうが細かい物体表現が可能となる。この復元画像を入力し、画像処理装置４では、細かい対象物の検出を行うことができる。ただし、画像処理に対する演算量は、高い周波数を制限した復元像に対してよりも、大きくなる。
【００１１】
次に、本実施の形態１のフローを図３、図４に示す。
【００１２】
まず、３０１において、前方の道路画像を撮像する。３０２では、自車両が現在走行している道路の属性をナビゲーション装置１２を備えた道路属性検出装置１１により検出する。３０３において、その道路属性が高速道路である場合、３０５へ、そうでない場合３０４へ進む。高速道路である場合、３０５で、高い空間周波数を制限して圧縮する（すなわち、特性変更装置２５が、時空間的な間引き量を大きくする特性の変更を指示する）。一方、高速道路でない場合、３０４で、高い空間周波数を制限しないで圧縮する（すなわち、特性変更装置２５が、時空間的な間引き量を小さくする特性の変更を指示する）。
【００１３】
次に、図３のＡ以降は、圧縮した画像を復元する処理を示す。３０６において、３０５、３０４に対応して、高速道路なら、３０８で、高い空間周波数を制限した形で解凍する。高速道路でない一般道路である場合、３０７で、普通の解凍をする。すなわち、この場合の解凍においては、あえて高い周波数成分を考慮する必要が無いため、Ａからの流れは、３０７を介して３０９へ進む。
【００１４】
３０９で、制御のための一般的な画像処理を行う。３１０では、例えば、撮影画像から取得した対象物との距離に応じた各種アクチュエータ（ブレーキアクチュエータ６、ステアリングアクチュエータ７、スロットルアクチュエータ８、変速アクチュエータ９）に出力指令値を算定する（この手法は、公知）。３１２で、制御オン／オフを判断し、オフの場合は処理を終了し、オンの場合は、Ｂ、すなわち、３０１へ戻る（ここでは、特に、制御の内容に言及しない）。
【００１５】
次に、効果について説明する。ここでは、レーンキープ装置やＡＣＣ装置などに着目する。周囲の状況を認識して、その結果に基づき、車両の各種アクチュエータを制御するというＩＴＳ（Intelligent Transport System：高度道路交通システム）においては、ＣＰＵを画像処理用と制御用に共用して利用することが好ましい。それにより、システムコストを低減することができる。一般的に、高速道路を走行するとき、ＩＴＳ制御コントローラとしては、高速走行している車両の操舵や加減速度をアクチュエータによって制御する場合、比較的短い制御周期で細かい操作量を制御する必要がある。なぜなら、車両が高速で走行しているため、微妙な操舵制御や加減速制御をしないと、不適切な車両挙動となり、ドライバに違和感として感じられる。この場合は、制御負荷は大きくなる。
【００１６】
一方、市街地走行の場合、一般的に時速４０ｋｍ以下ならば、車両挙動制御にとって、さほど微妙な制御周期や制御量を要求しないため、制御負荷は大きくない。この制御にかかわる制御負荷の関係と上記の画像処理装置の関係を平行して考える。一般的なシステム構成としては、撮像装置であるＣＣＤカメラ１と圧縮装置２は、バックミラー上などに設置され、個別のＣＰＵなどを有するシステムとして設置される。圧縮装置２からの信号は、シリアル通信などを介して解凍装置３、画像処理装置４、車両制御装置５からなるコントローラ（画像処理部２３）に入力される。
【００１７】
この後者のコントローラにおいて、ＣＰＵを共用し、システムのコストを低減することを考える。
【００１８】
前述のように、高速道路では、高い空間周波数成分が制限された復元像を処理するため、画像処理の処理負担は小さい。一方、非高速道路では、高い周波数を有する細かい画像を処理するため、画像処理の演算負担は大きい。
【００１９】
以上のように、高速道路では、画像処理の負担が小さいが、制御のための演算負担が大きい。非高速道路では、画像処理の負担が大きいが、制御のための演算負担が小さい。この関係から、ＣＰＵの演算能力を的確にバランスよく利用することができ、必要以上なＣＰＵ能力を用意する必要がない。すなわち、圧縮の特性を変更する際に用いる条件は、画像系の負荷が大きいときは、制御系の負荷が小さく、画像系の負荷が小さいときは、制御系の負荷が大きくなる特徴があるため、ＣＰＵを効率的に作動させることができる。
【００２０】
なお、本実施の形態１は、特許請求の範囲の請求項１の車両用画像処理装置に対応する。すなわち、車両周囲を撮像する撮像手段（ＣＣＤカメラ１）と、前記撮像手段により撮像された画像データを圧縮する圧縮手段（圧縮装置２）と、前記圧縮手段によって圧縮された画像データを解凍する解凍手段（解凍装置３）と、前記解凍手段から得られる画像データの画像処理を行う画像処理手段（画像処理装置４）と、前記撮像手段が撮像した際の車両制御状況又は車両周囲状況に基づいて、前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、該決定した圧縮の特性及び該解凍の特性をそれぞれ該圧縮手段及び該解凍手段に指示する特性決定手段（特性変更装置２５）と、を有することを特徴とする。すなわち、上記従来例のように、画像の更新周期の早い、遅いで分割し、圧縮方法を変えるのではなく、車両制御上、必要最低限な画像情報が確保できる程度に圧縮の特性（圧縮率）を決定する。したがって、車両制御上、不要な情報（細かい画像）は削除される。
また、本実施の形態１は、特許請求の範囲の請求項２の車両用画像処理装置に対応する。すなわち、前記特性決定手段は、道路属性を検出する道路属性検出手段（道路属性検出装置１１）を含み、該道路属性検出手段により高速道路であると検出した場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、非高速道路であると検出した場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、本実施の形態１は、特許請求の範囲の請求項５の車両用画像処理方法に対応する。すなわち、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際の車両制御状況又は車両周囲状況に基づいて、画像データを圧縮する際の圧縮の特性及び該圧縮された画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
また、本実施の形態１は、特許請求の範囲の請求項６の車両用画像処理方法に対応する。すなわち、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、高速道路を走行中である場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、高速道路を走行中でない場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
【００２１】
実施の形態２
実施の形態１では、高速道路か非高速道路かを、道路属性判断手段（道路属性検出装置１１）によって決定した。この判別手段の本質的な機能としては、低い空間周波数への圧縮変換により、解凍するときに、高い空間周波数を削除してしまっても画像処理に支障をきたさない場面において、その圧縮手法を適用することにある。実施の形態１では、その場面を高速道路か非高速道路かで分類した。本実施の形態２では、その判断を車両の周囲の交通量密度とした。
【００２２】
具体的には、図５に示すように、図１の実施の形態１において、ナビゲーション装置１２を有する道路属性検出装置１１のほかに、ＶＩＣＳ装置（Vehicle Information and Communication System：道路交通情報通信システム）１３が追加されている。前述のように、高速道路であっても一般道路であっても、道路が込んでいる場合、自車両に対する周囲車両との距離は短くなるので、周囲の障害物は、大きな映像となる。この場合、高い空間周波数までを含まない圧縮・解凍機能で対応できる。一方、渋滞でない場合、結果的に周囲車両の像は小さくなるため、細かい像として周囲対象を捉える必要がある。そこで、この場合は、高い空間周波数まで含めた圧縮・解凍を行う。ただし、後述するように、渋滞でない場合は、実施の形態１と同じ判断によって圧縮・解凍特性が決定される。なお、上記の判断は、道路属性検出装置１１内のアルゴリズムにより、好ましい圧縮時の制限空間周波数が決定される。
【００２３】
この場合、ＶＩＣＳなどのインフラ情報として得られる渋滞情報と自車両位置、および、自車両走行場所から自車両周囲の渋滞の程度を判断し、上述の関係で圧縮・解凍の空間周波数を決定する。
【００２４】
次に、本実施の形態２の場合における、制御手法との関係について説明する。渋滞する場合、ＡＣＣやレーンキープ・サポートシステム（道路の白線内を自動的に走行するシステム）といった高速走行時に利用する装置は使用できない。よって、インチング装置（渋滞時に、先行車に自動的に追従走行する装置）のように自車両近傍車両との接触関係を検出する必要がある。この制御では、多少違和感があっても、周囲車両との接触を回避するために、すばやくブレーキをかける必要があり、センシングで軽減されたＣＰＵ画像処理負荷を制御側のアルゴリズムに使われることになる。一方、渋滞していない場合は、実施の形態１のシステムを起動し、道路属性で圧縮・解凍特性を変化させる。
【００２５】
次に、本実施の形態２のフローを図６、図７に示す。
【００２６】
６０１で、前方の道路画像を撮像する。６０２において自車両が走行しているところの道路属性をナビゲーション装置１２を備えた道路属性検出装置１１により検出する。高速道路である場合、６０３へ移行し、ＶＩＣＳ装置１３からのＶＩＣＳ信号で渋滞している道路上に自車両が存在しないかを判定する。渋滞していない場合、６０４にて、高速走行しているものと考え、高い空間周波数を制限した圧縮を行う。
【００２７】
一方、６０２で、高速でない場合や、６０３で、高速でも渋滞している場合は、高速走行していないものと判断し、６０５で、高い空間周波数を制限しない通常の圧縮を行う。
【００２８】
図６のＡ以降は、圧縮した画像を復元する処理を示す。６０６において、６０４、６０５に対応して、高い空間周波数を制限した場合は、６０８で、高い空間周波数を制限した形で解凍する。高い空間周波数を制限しない場合は、普通の解凍をする。すなわち、この場合の解凍においては、あえて高い周波数成分を考慮する必要が無いため、Ａからの流れは、６０７を介して６０９へ進む。
【００２９】
６０９で、制御のための一般的な画像処理を行う。６１０では、例えば、撮影画像から取得した対象物との距離に応じた各種アクチュエータに出力指令値を算定する（この手法は、公知）。６１２で、制御オン／オフを判断し、オフの場合は処理を終了し、オンの場合は、Ｂ、すなわち、６０１へ戻る（ここでは、特に、制御の内容に言及しない）。
【００３０】
なお、本実施の形態２は、特許請求の範囲の請求項３の車両用画像処理装置に対応する。すなわち、前記特性決定手段（特性変更装置２５）は、車両の周囲の交通量密度を検出する交通量密度検出手段（ＶＩＣＳ装置１３）を含み、該交通量密度検出手段により検出された交通量密度が小さい場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、交通量密度が大きい場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、本実施の形態２は、特許請求の範囲の請求項７の車両用画像処理方法に対応する。すなわち、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、車両の周囲の交通量密度が小さい場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、車両の周囲の交通量密度が大きい場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
【００３１】
実施の形態３
実施の形態３の構成を図８に示す。
本実施の形態３は、前述の画像処理系（画像処理装置４）のＣＰＵ２４の演算量と制御系（車両制御装置５）のＣＰＵ２４の演算量のバランスに着目した実施の形態である。本実施の形態３の場合、制御系の制御周期が短く、かつ、微少量の出力になったとき、制御系のＣＰＵ２４の負荷が増大する。本実施の形態３では、このＣＰＵ２４の負荷状態を検出するＣＰＵモニタ１４が備えられており、このＣＰＵモニタ１４により制御系のＣＰＵ２４の負荷が増大したときに、画像処理系に対して、高い空間周波数を制限した圧縮・解凍の指示を出す。逆に、制御系の制御周期や操作量に大きな変化がなく、制御系のＣＰＵ２４の負荷が軽減しているとき、できるだけ精度よく検出することを目標として、画像処理系に対して、高い空間周波数も含んだ圧縮・解凍の指示を出す。
【００３２】
制御の負荷は、例えば、ブレーキ動作中や、白線を見失い、白線を検索中などのときは負荷が大きい。一方、ブレーキアクチュエータ制御などを行わず、白線などもトラッキングしている場合は、制御負荷が軽いと考える。
【００３３】
本実施の形態３の制御フローを図９、図１０に示す。
【００３４】
まず、９０１にて前方道路画像を撮像する。一方、９０２において、ＣＰＵモニタ１４により車両制御を行うルーチンのＣＰＵ２４の負荷をモニタする。９０３において、ＣＰＵ２４の負荷があらかじめ設定された所定の値よりも大きければ、制御へのＣＰＵ２４の負荷を、画像処理によりさらに大きくしないように、９０５で、高周波数を制限した圧縮を行う。一方、ＣＰＵ負荷が小さい場合は、９０４で、高周波数を制限しない通常の圧縮を行う。
【００３５】
図９のＡ以降は、圧縮した画像を復元する処理を示す。９０５、９０４に対応して、高い空間周波数を制限した場合は、９０８で、高い空間周波数を制限した形で復元する。高い空間周波数を制限した場合は、９０７で普通の解凍をする。すなわち、この場合の解凍においては、あえて高い周波数成分を考慮する必要が無いため、Ａからの流れは、９０７を介して９０９へ進む。
【００３６】
９０９で、制御のための一般的な画像処理を行う。９１０では、例えば、撮影画像から取得した対象物との距離に応じた各種アクチュエータに出力指令値を算定する（この手法は、公知）。９１２で、制御オン／オフを判断し、オフの場合は処理を終了し、オンの場合は、Ｂ、すなわち、９０１へ戻る（ここでは、特に、制御の内容に言及しない）。
【００３７】
なお、本実施の形態３は、特許請求の範囲の請求項４の車両用画像処理装置に対応する。すなわち、前記特性決定手段（特性変更装置２５）は、車両制御装置の制御周期を検出する制御周期検出手段（ＣＰＵモニタ１４）を含み、該制御周期検出手段により検出された制御周期が短い場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、本実施の形態３は、特許請求の範囲の請求項８の車両用画像処理方法に対応する。すなわち、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、車両制御の制御周期が短い場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
【図面の簡単な説明】
【図１】本発明の実施の形態１の構成図
【図２】空間的圧縮比特性を説明する図
【図３】本発明の実施の形態１のフローチャート
【図４】本発明の実施の形態１のフローチャート
【図５】本発明の実施の形態２の構成図
【図６】本発明の実施の形態２のフローチャート
【図７】本発明の実施の形態２のフローチャート
【図８】本発明の実施の形態３の構成図
【図９】本発明の実施の形態３のフローチャート
【図１０】本発明の実施の形態３のフローチャート
【図１１】従来技術を説明する図
【符号の説明】
１：ＣＣＤカメラ
２：圧縮装置
３：解凍装置（復元装置）
４：画像処理装置
５：車両制御装置
６：ブレーキアクチュエータ
７：ステアリングアクチュエータ
８：スロットルアクチュエータ
９：変速アクチュエータ
１０：レーダ
１１：道路属性検出装置
１２：ナビゲーション装置
１３：ＶＩＣＳ装置
１４：ＣＰＵモニタ
２１：撮像部
２２：伝送部
２３：画像処理部
２４：ＣＰＵ
２５：特性変更装置
Claims (8)
- 車両周囲を撮像する撮像手段と、
前記撮像手段により撮像された画像データを圧縮する圧縮手段と、
前記圧縮手段によって圧縮された画像データを解凍する解凍手段と、
前記解凍手段から得られる画像データの画像処理を行う画像処理手段と、
前記撮像手段が撮像した際の車両制御状況又は車両周囲状況に基づいて、前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、該決定した圧縮の特性及び該解凍の特性をそれぞれ該圧縮手段及び該解凍手段に指示する特性決定手段と、
を有することを特徴とする車両用画像処理装置。 - 前記特性決定手段は、道路属性を検出する道路属性検出手段を含み、該道路属性検出手段により高速道路であると検出した場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、非高速道路であると検出した場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする請求項１に記載の車両用画像処理装置。
- 前記特性決定手段は、車両の周囲の交通量密度を検出する交通量密度検出手段を含み、該交通量密度検出手段により検出された交通量密度が小さい場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、交通量密度が大きい場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする請求項１に記載の車両用画像処理装置。
- 前記特性決定手段は、車両制御装置の制御周期を検出する制御周期検出手段を含み、該制御周期検出手段により検出された制御周期が短い場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする請求項１に記載の車両用画像処理装置。
- 車両周囲を撮像するステップと、
撮像された車両周囲の画像データを圧縮するステップと、
圧縮された画像データを解凍するステップと、
解凍された画像データの画像処理を行うステップと、
車両周囲を撮像する際の車両制御状況又は車両周囲状況に基づいて、画像データを圧縮する際の圧縮の特性及び該圧縮された画像データを解凍する際の解凍の特性を決定するステップと、
を有することを特徴とする車両用画像処理方法。 - 車両周囲を撮像するステップと、
撮像された車両周囲の画像データを圧縮するステップと、
圧縮された画像データを解凍するステップと、
解凍された画像データの画像処理を行うステップと、
車両周囲を撮像する際に、高速道路を走行中である場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、高速道路を走行中でない場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、
を有することを特徴とする車両用画像処理方法。 - 車両周囲を撮像するステップと、
撮像された車両周囲の画像データを圧縮するステップと、
圧縮された画像データを解凍するステップと、
解凍された画像データの画像処理を行うステップと、
車両周囲を撮像する際に、車両の周囲の交通量密度が小さい場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、車両の周囲の交通量密度が大きい場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、
を有することを特徴とする車両用画像処理方法。 - 車両周囲を撮像するステップと、
撮像された車両周囲の画像データを圧縮するステップと、
圧縮された画像データを解凍するステップと、
解凍された画像データの画像処理を行うステップと、
車両周囲を撮像する際に、車両制御の制御周期が短い場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、
を有することを特徴とする車両用画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002055726A JP3797251B2 (ja) | 2002-03-01 | 2002-03-01 | 車両用画像処理装置および車両用画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002055726A JP3797251B2 (ja) | 2002-03-01 | 2002-03-01 | 車両用画像処理装置および車両用画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003259354A JP2003259354A (ja) | 2003-09-12 |
| JP3797251B2 true JP3797251B2 (ja) | 2006-07-12 |
Family
ID=28666496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002055726A Expired - Fee Related JP3797251B2 (ja) | 2002-03-01 | 2002-03-01 | 車両用画像処理装置および車両用画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3797251B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4735339B2 (ja) * | 2006-03-03 | 2011-07-27 | 日産自動車株式会社 | 映像表示装置 |
| KR20070091931A (ko) * | 2006-03-08 | 2007-09-12 | 주식회사 현대오토넷 | 거리 센서 및 카메라를 이용한 차량 자동 주차 시스템 및그 제어방법 |
| AU2008354776A1 (en) * | 2008-04-18 | 2009-10-22 | Tele Atlas B.V. | Method of using laser scanned point clouds to create selective compression masks |
| JP2013051522A (ja) * | 2011-08-30 | 2013-03-14 | Honda Elesys Co Ltd | 画像圧縮装置、画像圧縮方法および画像圧縮プログラム |
| JP2017183914A (ja) | 2016-03-29 | 2017-10-05 | パナソニックＩｐマネジメント株式会社 | 画像処理装置 |
| US11794816B2 (en) | 2017-06-16 | 2023-10-24 | Honda Motor Co., Ltd. | Automated driving vehicle |
| JPWO2018230698A1 (ja) | 2017-06-16 | 2020-02-27 | 本田技研工業株式会社 | イベント配車装置、イベント配車方法、プログラム、および管理システム |
| US11586223B2 (en) | 2017-06-16 | 2023-02-21 | Honda Motor Co., Ltd. | Vehicle and service management device |
| JPWO2018230678A1 (ja) | 2017-06-16 | 2020-06-25 | 本田技研工業株式会社 | 車内演出装置、車内演出システム、車内演出方法、プログラムおよび指示計測装置 |
-
2002
- 2002-03-01 JP JP2002055726A patent/JP3797251B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003259354A (ja) | 2003-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10745006B2 (en) | Managing automated driving complexity of the forward path using perception system measures | |
| US12249193B2 (en) | Partial sensor data sharing for connected vehicles | |
| JP7085525B2 (ja) | 車両データで使用する動的データ圧縮システムおよび方法 | |
| WO2020188928A1 (ja) | データ通信に基づいて意思決定を行うシステム | |
| US20210368109A1 (en) | High-speed image readout and processing | |
| CN111361559B (zh) | 车辆控制装置 | |
| CN111038387B (zh) | 车辆用图像处理装置及图像处理方法、存储介质 | |
| KR102688017B1 (ko) | 압축된 이미지 데이터에 의한 센서 폐색의 검출 | |
| JP3797251B2 (ja) | 車両用画像処理装置および車両用画像処理方法 | |
| US11546503B1 (en) | Dynamic image compression for multiple cameras of autonomous vehicles | |
| US20220048509A1 (en) | Vehicular control system with traffic jam assist | |
| US11257193B2 (en) | Image processing apparatus | |
| WO2021200004A1 (ja) | 情報処理装置及び情報処理方法 | |
| JP2024515761A (ja) | データ駆動型の動的に再構成された視差マップ | |
| JP7163077B2 (ja) | 駐車支援装置、及び駐車支援方法 | |
| US20240210939A1 (en) | Camera image compression for autonomous driving vehicles | |
| WO2024021083A1 (en) | Sensor data transfer with self adaptive configurations for autonomous driving vehicle | |
| US12181615B2 (en) | Temporally and spectrally adaptive sonar for autonomous vehicle navigation | |
| US20240291993A1 (en) | Rule-based digitized image compression | |
| US20240317256A1 (en) | Vehicular driving assistance system with enhanced road curve management | |
| US20240320988A1 (en) | Camera perception techniques to detect light signals of an object for driving operation | |
| JP2019194810A (ja) | 遠隔運転管理装置及びプログラム | |
| US20250016437A1 (en) | Important area specification system, important area specification device, important area specification method, and program | |
| CN116552561A (zh) | 车辆及其控制装置、控制方法以及存储介质 | |
| WO2024237021A1 (ja) | 情報処理装置および情報処理方法、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040326 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060110 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060224 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060410 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120428 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |