JP7115180B2 - 画像処理システムおよび画像処理方法 - Google Patents

Description

本発明は、車外の撮像画像に含まれる対象物を特定するための画像処理システムおよび画像処理方法に関する。

特許文献１には、車外を撮像するステレオカメラと、撮像した画像を撮像対象までの距離を示す距離画像に変換する距離画像作成部と、距離画像を平面画像に変換する視点変換部と、平面画像のデータのない部分から立体物にラベリングを行うラベリング部と、ラベリングしたグループの特徴をテンプレートデータと照合してマッチングを行うクラスタリング部と、マッチングの結果により立体物を特定する画像判定部とを備えた立体物認識装置が開示されている。

特開２００５－３４６３８１号公報

特許文献１に開示される技術では、撮像された立体物がテンプレートデータとのマッチングにより特定されるが、撮像される立体物を全てテンプレートデータとして予め保持することは困難であり、また立体物が不定形状であればテンプレートデータで特定できないこともある。特定できなかった種類の立体物が再度撮像された場合に特定できるようになれば好ましい。

本発明はこうした状況に鑑みてなされたものであり、その目的は、撮像画像に含まれる特定不可の対象物を将来的に特定可能にする技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像処理システムは、車外を撮像した撮像画像を取得する画像取得部と、撮像画像に含まれる対象物を特定する際に参照される辞書データを保持する辞書保持部と、辞書データをもとに撮像画像に含まれる対象物を特定する特定部と、車両の挙動状態を示す挙動情報を取得する挙動情報取得部と、特定部により特定不可とされた対象物に対する車両の挙動情報にもとづいて、特定不可の対象物を車両が回避すべき対象物であるか否かに分類し、複数の特定不可の対象物の画像データを類似する類似画像群にさらに分類する分類部と、を備える。特定不可の対象物の画像データは、分類部の分類結果とともに辞書データの作成に用いられる。

本発明の別の態様は、画像処理方法である。この方法は、車外の撮像画像を取得するステップと、撮像画像に含まれる対象物を特定する際に参照される辞書データを保持するステップと、辞書データをもとに撮像画像に含まれる対象物を特定するステップと、車両の挙動状態を示す挙動情報を取得するステップと、特定不可とされた対象物に対する車両の挙動情報にもとづいて、特定不可の対象物を車両が回避すべき対象物であるか否かに分類し、複数の特定不可の対象物の画像データを類似する類似画像群にさらに分類するステップと、を含む。特定不可の対象物の画像データは、分類結果とともに辞書データの作成に用いられる。

本発明によれば、撮像画像に含まれる特定不可の対象物を将来的に特定可能にする技術を提供できる。

画像処理システムの概要について説明するための図であり、第１枠体および第２枠体を付加した撮像画像を示す図である。 画像処理システムの機能構成について説明するための図である。 車両の回避動作について説明するための図である。 対象物を通過する際の車両の揺れ度合いを示す図である。 分類部による特定不可の対象物の分類結果について説明するための図である。 特定不可の対象物の画像データを分類する処理について説明するためのフローチャートである。

図１は、画像処理システム１の概要について説明するための図であり、第１枠体４６および第２枠体４８を付加した撮像画像４０を示す。撮像画像４０は、車両前方の車外を撮像して取得される。撮像画像４０には、車両である第１対象物４２と、水たまりである第２対象物４４とが含まれる。対象物は枠体にある範囲の画像データとして抽出される。なお、対象物には、陥没穴や溝などの道路上に形成された物が含まれる。

画像処理システム１が車両の走行方向に存在する第２対象物４４が走行の障害になることを特定すると、車載端末は第２対象物４４を回避するように運転者に注意喚起したり、第２対象物４４に接触しないように制御したりする。

画像処理システム１は、第１対象物４２および第２対象物４４を認識する画像処理にて、予め保持する辞書データを参照して、辞書データに含まれるいずれの対象物に該当するか判定する。ここで、画像処理システム１は、第１対象物４２および第２対象物４４を特定の対象であると抽出し、第１対象物４２を車両であると特定するものの、第２対象物４４を特定できないことがある。これは、道路上に存在し得る水たまりなどは不定形であり、辞書データで保持される水たまりの特徴と大きく異なると、画像処理システム１が特定できないためである。また、辞書データに予め登録されていない対象物も画像処理システム１で特定できない。

そこで、画像処理システム１は、特定不可の第２対象物４４が存在する場合に、車両が第２対象物４４を回避する挙動を示すか、第２対象物４４を回避せずに通過する挙動を示すか車両の挙動を監視し、挙動の検出結果にもとづいて第２対象物４４を車両が回避すべき対象物であるか否か分類し、第２対象物４４の画像データを辞書データの作成に用いる。これにより、次に第２対象物４４に似た水たまりがある場合に画像処理システム１が特定できる可能性を高めることができる。

図２は、画像処理システム１の機能構成について説明するための図である。図２において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像処理装置１０は、通信部２０、画像取得部２１、特定部２２、車両情報解析部２４、分類部２６、学習部２８および辞書保持部３０を備える。車載端末１２は、撮像部３２、位置情報取得部３４および挙動情報検出部３６を備える。

車載端末１２の撮像部３２は、車外を撮像して撮像画像を生成し、画像処理装置１０の通信部２０に送る。撮像部３２は、車両前方に限られず、車両後方や車両の周囲を撮像してよい。

位置情報取得部３４は、ＧＰＳ（Global Positioning System）を利用して車両の位置情報およびその時刻を取得する。位置情報取得部３４は、例えばナビゲーション装置から車両の位置情報およびその時刻を取得する。

挙動情報検出部３６は、車両の挙動状態を示す挙動情報を検出して通信部２０に送る。車両の挙動情報は、車両の回避動作を示すための情報として、例えば舵角と、車速と、その時刻とを含む。また、車両の挙動情報は、車両の対象物を通過するときの揺れ度合いを示す情報として、鉛直方向の加速度とその時刻とを含む。なお、車両の挙動を示す情報に撮像画像が含まれてよく、他の車両用センサの情報が含まれてもよい。

画像処理装置１０の通信部２０は、車載端末１２からネットワークを介して情報を送受する。通信部２０は、車載端末１２から撮像画像、位置情報および挙動情報を受信し、画像処理により特定した対象物の情報を車載端末１２に送信する。図２では、車載端末１２は１つだけ示すが、実際は複数であり、画像処理装置１０は、複数の車載端末１２から情報を収集する。

画像取得部２１は撮像部３２により撮像された車外の撮像画像を取得する。辞書保持部３０は、撮像画像に含まれる対象物を特定する際に参照される辞書データを保持する。辞書データは、自動車、バイク、人、ごみ袋、水たまりなどの対象物を特定するための情報であって、それぞれの画像データから抽出された対象物のテンプレートにより構成される。辞書保持部３０は、辞書データである対象物のテンプレートに、車両が回避すべきである対象物であるか否かを示す属性情報を付加して保持する。例えば、自動車、バイク、人などは、車両が回避すべき対象物に分類され、水たまりや傘などは、車両が回避しなくてよい対象物に分類される。また、同じ種類の対象物でもその大きさによって、回避すべき対象物であるか否かに分けられてよい。

特定部２２は、辞書データをもとに撮像画像に含まれる対象物を特定する。具体的に、特定部２２は、撮像画像に含まれる対象物を抽出して辞書データを参照して特定する。特定部２２は、画像データに含まれる対象物と辞書データに含まれるいずれかのテンプレートとの一致度合いが所定値以上であれば、対象物がその辞書データのテンプレートに一致すると特定し、特定した対象物が車両の進行方向と重なっている場合に車両が回避すべき対象物であるかか否かを特定する。特定部２２の特定結果は、通信部２０を介して車載端末１２に送信される。なお、辞書データは、テンプレートだけに限られず、画像を分類器で分類するためのルールやパラメータであってもよい。

特定部２２は、画像データに含まれる対象物が辞書データに含まれるいずれのテンプレートにも所定値以上に一致しないと判定した場合、対象物を特定できないとし、特定不可の対象物の画像データを分類部２６に送る。特定不可の対象物の画像データは、例えば、図１に示す第２枠体４８内の抽出された画像である。

車両情報解析部２４は、挙動情報検出部３６により検出された車両の挙動情報を取得し、取得した挙動情報にもとづいて、車両が対象物に対する車両の回避動作の有無を検出する。車両情報解析部２４は、車両の挙動情報を取得する挙動情報取得部としても機能する。

図３は、車両の回避動作について説明するための図である。図３（ａ）から図３（ｃ）では、２車線の道路の左車線を走行している車両５０の移動軌跡を示し、車両５０の進行方向に重なる位置に対象物５２が存在している。図３（ａ）および図３（ｂ）では、車両５０が対象物５２に対して回避動作をした場合を示し、図３（ｃ）では、車両５０が対象物５２に対して回避動作をしなかった場合を示す。

図３（ａ）では、車両５０が対象物５２を回避するために車線変更をしており、車両情報解析部２４は、対象物５２が抽出された時刻の直後にて、舵角と車速の挙動情報により車両の旋回を検出すると、対象物５２に対する車両の回避動作が有ることを検出する。なお、回避動作の有無と対象物５２との関連付けは、撮像画像の撮像時刻と、挙動情報の検出時刻と、位置情報の取得時刻とにより行う。

図３（ｂ）では、車両５０が対象物５２を回避するために車線変更をして元の車線に戻る車線変更をしており、車両情報解析部２４は、対象物５２が抽出された時刻の直後にて、舵角と車速の挙動情報により車両の旋回を検出すると、対象物５２に対する車両の回避動作が有ることを検出する。

図３（ｃ）では、車両５０が対象物５２を回避することなく直進しており、車両情報解析部２４は、対象物５２が抽出された時刻の直後にて、舵角と車速の挙動情報により車両の旋回がないことを検出すると、対象物５２に対する車両の回避動作が無いことを検出する。なお、車両情報解析部２４は、車両５０が対象物５２を通過した場合、車両に大きな揺れが発生するか、車両５０の挙動情報にもとづいて検出する。

図２に戻る。分類部２６は、特定部２２により特定不可とされた対象物に対する挙動情報にもとづいて、特定不可の対象物を車両が回避すべき対象物であるか否かに分類する。分類部２６は、特定不可の対象物に対する車両の挙動を車両情報解析部２４から受け取って、車両の挙動によって特定不可の対象物を車両が回避すべき対象物であるか否かに分類する。

分類部２６は、特定不可の対象物に対する車両の回避の有無にもとづいて特定不可の対象物を車両が回避すべき対象物であるか否かに分類する。例えば、車両が特定不可の対象物を回避した場合は、回避すべき対象物である可能性が高く、車両が回避しない場合は、回避しなくてよい対象物である可能性が高い。このように、対象物が特定不可であっても、車両の挙動をもとに回避すべきか否かの属性情報を付加することができ、回避すべきか否かを判定するための辞書データに用いることが可能となる。

分類部２６は、車両が対象物を回避しなかった場合に、車両の揺れ度合いによって車両が対象物を回避すべき対象物であるか否かに分類する。ここで図４を参照して説明する。

図４は、対象物を通過する際の車両の揺れ度合いを示す図である。図４（ａ）および図４（ｂ）の縦軸は鉛直方向の加速度を示し、横軸は時間を示す。図４（ａ）および図４（ｂ）において、時刻ｔにて図３（ｃ）に示す車両５０が対象物５２の上を通る。

図４（ａ）では、車両５０が対象物５２を通る時刻ｔにてあまり揺れておらず、分類部２６は、鉛直方向の加速度が所定の閾値ｔｈ以下であるため、車両５０が対象物５２を回避しなくてよいと分類する。

図４（ｂ）では、車両５０が対象物５２を通る時刻ｔにて大きく揺れており、分類部２６は、鉛直方向の加速度が所定の閾値ｔｈ以上であるため、車両５０が対象物５２を回避すべきであると分類する。このように、分類部２６は、車両５０が対象物５２を回避しなかった場合であっても、車両５０の揺れ度合いが所定の閾値以上であれば対象物５２を回避すべきであると分類でき、回避すべきか否かに分類する精度を高めることができる。

図２に戻る。分類部２６は、同じ特定不可の対象物に対する複数の車両の回避動作の有無を取得し、特定不可の対象物に対する車両の回避割合によって、特定不可の対象物を車両が回避すべきか否かに分類する。例えば、特定不可の対象物に対して車両が回避した場合でも、同じ道路を走行する他の多くの車両はその対象物を回避していない可能性がある。このように、特定不可の対象物に対する複数の車両の挙動情報にもとづくことで、回避すべきか否かに分類する精度を高めることができる。なお、車両が回避する割合が５割以上であれば、分類部２６はその対象物を回避すべき対象物であると分類し、車両が回避する割合が５割未満であれば、分類部２６はその対象物を回避しなくてよい対象物であると分類する。

なお、分類部２６は、特定不可の対象物に対する車両の回避割合と、特定不可の対象物を通るときの車両の揺れ度合いとにもとづいて、特定不可の対象物を車両が回避すべきか否かに分類してよい。

分類部２６は、複数の特定不可の対象物の画像データを回避すべきか否かに分類した後、複数の特定不可の対象物の画像データを既知の手法で類似する類似画像群にさらに分類する。つまり、分類部２６は、複数の特定不可の対象物の画像データを似ている物同士でグループ化する。この分類結果について図５を参照しつつ説明する。

図５は、分類部２６による特定不可の対象物の分類結果について説明するための図である。分類部２６は、特定不可の対象物の画像データを車両が回避すべき対象物を含む画像データのグループである第１画像群と、車両が回避しなくてよい対象物を含む画像データのグループである第２画像群とに振り分ける。例えば水たまりと陥没穴は形状が似ているが、水たまりは回避しなくてよい一方で、陥没穴は回避すべきである。第１画像群と第２
画像群との振り分けにより、水たまりと陥没穴のように似た形状であっても車両挙動によって区別できる。

分類部２６は、第１画像群に含まれる対象物を類似する複数の第１類似画像群に分類し、第２画像群に含まれる対象物を類似する複数の第２類似画像群に分類する。類似画像群に含まれる画像データは、所定のスコア以上の類似度を有する。これにより、特定不可の対象物の画像データの特徴を捉えやすくなり、辞書データに用いた際に特定部２２の認識率を向上できる。

分類部２６は、ネットワークを介して類似画像群に類似する画像を取得して、類似する画像に付加されたラベル名を類似画像群に付けてよい。

図２に戻る。学習部２８は、分類部２６により分類された特定不可の対象物の類似画像群をもとに学習し、学習結果を新たな種類の辞書データとして辞書保持部３０に送る。学習部２８は、特定不可の対象物の類似画像群に含まれる対象物の画像データが所定個数以上になれば、その類似画像群から特徴量を算出し、その特徴量を学習して新たな対象物を特定するためのデータとして算出する。このように、特定部２２により特定不可とされた対象物の画像データは、分類部２６の分類結果とともに辞書データの作成に用いられる。

辞書データには、類似画像群ごとに生成された新たな対象物を特定するためのデータが追加される。このように、特定不可の対象物の画像データをもとに、その特定不可の対象物に類似する対象物を特定するための辞書データを作成できる。これにより、過去に特定不可とされた対象物に類似する対象物が撮像されても特定不可とならず、特定部２２が回避すべき対象物であるか否かを特定できる。

図６は、特定不可の対象物の画像データを分類する処理について説明するためのフローチャートである。画像取得部２１は、車外の撮像画像４０を取得する（Ｓ１０）。特定部２２は、辞書データを参照して撮像画像４０に含まれる対象物を特定する（Ｓ１２）。

特定部２２が対象物を特定できた場合（Ｓ１４のＮ）、その特定結果が車載端末１２に送信され、本処理が終了する。特定部２２が対象物を特定できず、回避すべき対象物であるか否か判定できなかった場合（Ｓ１４のＹ）、特定不可の対象物を分類する処理が開始され、車両情報解析部２４が特定不可の対象物に対する車両の挙動情報を取得し（Ｓ１６）、特定不可の対象物に対して車両が回避動作をとったか導出する。

分類部２６は、特定不可の対象物に対する車両の回避動作の有無にもとづいて、その対象物を車両が回避すべき対象物であるか否かに分類する（Ｓ１８）。分類部２６は、複数の特定不可の対象物の画像データを類似する類似画像群に分類する（Ｓ２０）。学習部２８は、特定不可の対象物の類似画像群から特徴量を算出し（Ｓ２２）、特徴量をもとに学習して、新たな種類の対象物として特定可能にする辞書データを作成する（Ｓ２４）。

なお実施例はあくまでも例示であり、各構成要素の組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施例では、図２に示すように、画像処理装置１０が特定部２２および辞書保持部３０を備えている態様を示したが、特定部２２および辞書保持部３０の構成は、車載端末１２にも設けられてもよい。車載端末１２は、撮像画像に含まれる対象物を特定し、特定できなかった場合に特定できなかった画像データおよびその撮像時刻を画像処理装置１０に送信してよい。この変形例では、画像処理装置１０が辞書データを更新すると、更新した辞書データを車載端末１２に送信する。

１ 画像処理システム、 １０ 画像処理装置、 １２ 車載端末、 ２０ 通信部、 ２１ 画像取得部、 ２２ 特定部、 ２４ 車両情報解析部、 ２６ 分類部、 ２８ 学習部、 ３０ 辞書保持部、 ３２ 撮像部、 ３４ 位置情報取得部、 ３６ 挙動情報検出部。

Claims (6)

1. 車外を撮像した撮像画像を取得する画像取得部と、
   撮像画像に含まれる対象物を特定する際に参照される辞書データを保持する辞書保持部と、
   辞書データをもとに撮像画像に含まれる対象物を特定する特定部と、
   車両の挙動状態を示す挙動情報を取得する挙動情報取得部と、
   前記特定部により特定不可とされた対象物に対する車両の挙動情報にもとづいて、特定不可の対象物を車両が回避すべき対象物であるか否かに分類し、複数の特定不可の対象物の画像データを類似する類似画像群にさらに分類する分類部と、を備え、
   特定不可の対象物の画像データは、前記分類部の分類結果とともに辞書データの作成に用いられることを特徴とする画像処理システム。
2. 前記分類部は、特定不可の対象物の画像データを車両が回避すべき対象物を含む画像データのグループである第１画像群と、車両が回避しなくてよい対象物を含む画像データのグループである第２画像群とに振り分けることを特徴とする請求項１に記載の画像処理システム。
3. 前記分類部は、第１画像群に含まれる対象物を類似する複数の類似画像群に分類し、第２画像群に含まれる対象物を類似する複数の類似画像群に分類し、
   辞書データには、類似画像群ごとに生成された新たな対象物を特定するためのデータが追加されることを特徴とする請求項２に記載の画像処理システム。
4. 前記分類部は、特定不可の対象物に対する車両の回避動作の有無にもとづいて、特定不可の対象物を車両が回避すべき対象物であるか否かに分類することを特徴とする請求項１から３のいずれかに記載の画像処理システム。
5. 前記画像取得部および前記挙動情報取得部は、複数の車両から撮像画像および挙動情報を取得し、
   前記分類部は、特定不可の対象物に対する複数の車両の挙動情報にもとづいて導出された車両の回避割合によって、特定不可の対象物を車両が回避すべき対象物であるか否かに分類することを特徴とする請求項４に記載の画像処理システム。
6. 車外の撮像画像を取得するステップと、
   撮像画像に含まれる対象物を特定する際に参照される辞書データを保持するステップと、
   辞書データをもとに撮像画像に含まれる対象物を特定するステップと、
   車両の挙動状態を示す挙動情報を取得するステップと、
   特定不可とされた対象物に対する車両の挙動情報にもとづいて、特定不可の対象物を車両が回避すべき対象物であるか否かに分類し、複数の特定不可の対象物の画像データを類似する類似画像群にさらに分類するステップと、を含み、
   特定不可の対象物の画像データは、分類結果とともに辞書データの作成に用いられることを特徴とする画像処理方法。

Images