JP2020101935A - 画像認識装置 - Google Patents

Abstract

【課題】画像認識の精度を向上させることができる画像認識装置を提供すること。【解決手段】撮影画像に基づいて自車両の進路を認識する画像認識装置２０は、所定周期ごとに、車載カメラ２１ａから撮影画像を取得する画像取得部２１と、取得した撮影画像において、画素ごとのエントロピーを抽出する抽出部２５と、抽出部２５により抽出されたエントロピーに基づいて、画素ごとの画素信頼度を算出し、出力する信頼度算出部２６と、信頼度算出部２６により出力された画素信頼度に基づいて進路を認識する進路認識部２８と、を備える。信頼度算出部２６は、所定期間における画素信頼度の時系列を参照して、算出された画素信頼度を選別し、選抜された画素信頼度を出力する。【選択図】 図１

Description

本発明は、画像認識装置に関するものである。

従来、自動運転を実施するため、画像から車線を認識する画像認識装置が提案されている（例えば、特許文献１）。画像認識装置の中には、撮影画像から算出された画素信頼度に基づいて、候補車線の車線信頼度を算出し、当該車線信頼度に基づいて候補車線の選別を行う画像認識装置が提案されている（特許文献１）。

特表２０１７−５３３４８２号公報

ところで、同じ対象に対して複数の撮影画像から画素信頼度を算出する場合、対象の種類や撮影状況によっては、同じ対象物であっても画素信頼度の高低にばらつきが生じる場合がある。画素信頼度にばらつきがある場合、画像認識が適切に行いにくく、認識精度が低くなるという問題があった。

本発明は、上記事情に鑑みてなされたものであり、その主たる目的は、画像認識の精度を向上させることができる画像認識装置を提供することにある。

上記課題を解決するための手段は、撮影画像に基づいて自車両の進路を認識する画像認識装置において、所定周期ごとに、撮影装置から撮影画像を取得する画像取得部と、取得した撮影画像において、画素ごとのエントロピーを抽出する抽出部と、前記抽出部により抽出されたエントロピーに基づいて、画素ごとの画素信頼度を算出し、出力する信頼度算出部と、前記信頼度算出部により出力された画素信頼度に基づいて進路を認識する進路認識部と、を備え、前記信頼度算出部は、所定期間における画素信頼度の時系列を参照して、算出された画素信頼度を選別し、選抜された画素信頼度を出力する。

周辺状況や撮影装置の都合により、撮影対象が明確となっていない撮影画像を取得した場合や、識別が難しい場合であっても、画素信頼度の時系列を参照して、算出された画素信頼度を選別する。このため、画素信頼度の算出精度を向上させることができ、画像認識の精度を向上させることができる。

運転支援システムを示すブロック図。 クラス分けの態様を示す模式図。 エントロピーを示す模式図。 占有格子図を示す模式図。 画像認識処理を示すフローチャート。

以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付してある。

本実施形態にかかる画像認識装置が適用される運転支援システムについて、図面を参照しつつ説明する。運転支援システム１０は、車両に備えられ、運転支援を実行する。

図１に示すように、運転支援システム１０は、撮影装置としての単眼カメラ２１ａと通信可能に接続されている。単眼カメラ２１ａは、ＣＣＤやＣＯＭＳ等の撮像素子が用いられているカメラである。単眼カメラ２１ａは、例えば車両のフロントガラスの上端付近に配置されており、自車両の前方の道路を含む周辺環境を撮影（撮像）する。単眼カメラ２１ａで撮影された撮影画像は、画像認識装置２０に出力される。なお、単眼カメラ２１ａを備えたが、複数台のカメラ（複眼カメラ）を備えてもよい。

画像認識装置２０は、ＣＰＵ、ＲＯＭ（メモリ）、ＲＡＭ、入出力インターフェース等を備えたコンピュータである。画像認識装置２０は、各種機能を備える。例えば、画像認識装置２０は、画像取得部２１としての機能と、区画線検出部２２としての機能と、物体検出部２３としての機能と、を備える。また、画像認識装置２０は、分類部２４としての機能と、抽出部２５としての機能と、信頼度算出部２６としての機能と、フィードバック部２７としての機能と、進路認識部２８としての機能と、を備える。画像認識装置２０が備える記憶用メモリに記憶されたプログラムが実行されることで、各種機能が実現される。画像認識装置２０は、撮影画像に基づき、自車両が走行可能な進路を認識し、認識結果を出力するように構成されている。なお、各種機能は、ハードウェアである電子回路によって実現されてもよく、あるいは、少なくとも一部をソフトウェア、すなわちコンピュータ上で実行される処理によって実現されてもよい。これらの画像認識装置２０の各種機能については後述する。

画像認識装置２０は、車両制御装置３０に接続されている。車両制御装置３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等を備えたコンピュータ（ＥＣＵ）であり、車両制御部３１としての機能を備える。

車両制御部３１は、自車両のハンドル４１（操舵角）、アクセル４２（加速量）、ブレーキ４３（制動量）を制御して、画像認識装置２０により認識された進路に基づいて、自車両を走行させるように構成されている。より詳しくは、車両制御部３１は、車幅方向における自車両の横位置が、画像認識装置２０により認識された進路（自車両が走行可能な進路）内において所定位置（例えば、中央）に維持した状態で、自車両が所定の速度で走行するように、自車両の進行方向や速度を制御する。

なお、車両制御部３１は、画像認識装置２０に備えられていてもよいし、逆に、車両制御装置３０が画像認識装置２０の各種機能のうちすべて又はその一部を備えるようにしてもよい。また、車両制御装置３０と画像認識装置２０を一体化してもよい。

次に、画像認識装置２０の各種機能について説明する。

画像取得部２１は、単眼カメラ２１ａが撮影した撮影画像を取得する。画像取得部２１は、所定周期（例えば、１００ｍｓ）ごとに撮影画像を取得する。

区画線検出部２２は、画像取得部２１により取得された撮影画像から、自車両が走行する車線（以降、自車線と呼称）を区画する区画線（例えば、白線）を検出する。具体的には、区画線検出部２２は、撮影画像の輝度に基づいて、車線を区切る区画線と路面とのコントラスト（エッジ強度）の変化点をエッジ候補点として抽出する。そして、抽出したエッジ候補点の連なりから区画線の候補線を抽出する。より具体的には、撮影画像を所定のサンプリング周期で連続的に処理しており、画像の水平方向において、急激に輝度が変化する複数の点をエッジ候補点として抽出する。そして、抽出した複数のエッジ候補点にハフ変換を施してエッジ候補点の連なりを取得し、取得したエッジ候補点の連なりを左右の輪郭とする候補線を複数抽出する。

そして、区画線検出部２２は、複数の候補線のそれぞれについて、各エッジ候補点において、車線を区画する区画線（白線）としての特徴を備えている度合いを算出し、特徴を備えている度合いが最も大きい候補線を、車線を区画する区画線であるとして検出する。区画線検出部２２は、検出した区画線のうち、自車両に近接し、且つ、自車両を含むように配置された左右の区画線を、自車線を区画する区画線（白線）として認識する。なお、区画線の認識方法は、これに限らず任意に変更してもよい。また、区画線は、白線に限らず、道路（路面）の境界を示すもの（例えば、縁石やガードレール等）であってもよい。

物体検出部２３は、取得された撮像画像と予め用意された物体識別用の辞書情報とに基づいて、自車両前方に存在する物体の種類を判定する。物体識別用の辞書情報は、例えば自動車、二輪車、歩行者、路上障害物といった物体の種類に応じて個別に用意され、メモリに予め記憶されている。自動車の辞書情報としては、少なくとも前部パターンと後部パターンとの辞書情報が用意されている。さらには、自動車の前部又は後部のパターンとして、例えば大型車、普通車、軽自動車、自動二輪車、自転車等を含む軽車両、等の複数の車種ごとに辞書情報が用意されていることが好ましい。

物体検出部２３は、撮像画像と辞書情報とをパターンマッチングにより照合することで、物体の種類を判定する。また、物体検出部２３は、撮像画像と辞書情報とに基づいて、自車両の進行方向およびこれに略直交する横方向の物体の位置情報（物体の横幅等を含む）を取得する。物体の認識方法は、これに限らず任意に変更してもよい。例えば、レーダ装置を備えて、レーダ装置の検出情報に基づいて物体認識を行ってもよい。

分類部２４は、セマンティックセグメンテーション（Semantic Segmentaion）を実施するものである。すなわち、分類部２４は、ディープニューラルネットワーク（ＤＮＮ）を用いて、撮影画像の各画素（ピクセル）をその意味（周辺の画素の情報）に基づいて解析し、クラス分け（カテゴリ分類）する。なお、クラス分けを、画素ごとにラベルを付与するともいう。

クラス分けを行うことにより、具体的には、白線（区画線）、路面（走行スペース）、他車両、自車両、歩行者、構造物（建物など）、樹木、空というように、画素ごとにクラスが対応付けられる。この結果、図２に示すように、撮影画像は、クラスごとに分類される。図２（ａ）は、元の撮影画像であり、図２（ｂ）は、クラス分けされた撮影画像を図示したものである。図２（ｂ）では、表示色を異ならせることによりクラスの違いを図示する。

抽出部２５は、各画素のエントロピーを抽出するものである。エントロピーとは、平均情報量のことを示し、情報の無秩序さ、曖昧さ、不確実さを表す尺度である。エントロピーが高ければ高いほど、不確かさが高くなるといえる。エントロピーの算出方法は、次の数式（１）に示し、画像の不確かさを数式（２）に示す。

ところで、自車両が安全に走行可能な進路を認識する場合に、撮影画像に含まれるすべての情報を認識する必要はなく、進路に係る情報だけを認識すれば十分である。つまり、進路に係る特定のクラスにおける各画素のエントロピーを抽出すれば十分である。進路に係る特定のクラスとは、例えば、白線（区画線）、路面、車両、歩行者等のクラスであり、樹木、空等のクラスは原則として、不要である。なお、車両や歩行者のクラスがあるのは、路面上に車両や歩行者が存在する場合には、進路を変更する必要があるからである。そこで、抽出部２５は、進路に係る特定のクラスにおける各画素のエントロピーを抽出するように構成されている。

また、自車両が安全に走行可能な進路を認識する場合、自車両を走行させると予定されている進路以外の進路を認識することは不要である。自車両を走行させると予定されている進路は、車両の目的地や操舵角などの車両情報により推定可能である。そこで、抽出部２５は、予定進路の領域内及びその近傍の画素についてエントロピーを抽出するように構成されている。本実施形態では、画像認識装置２０が、車両情報を取得し、車両情報に基づいて予定進路を推定する推定部に相当する。

また、撮影画像において境界におけるエントロピーは極端に高くなる傾向がある（図３参照）。図３では、エントロピーが高い領域を図示している。ここで述べる境界とは、識別対象間の境界のことであり、例えば、路面と構造物との間の境界、路面と白線との境界、路面と歩道の境界、樹木と空の境界などのことである。エントロピーが極端に高い画素があると、それに引きずられて全体のエントロピーが高くなり、認識精度に影響が生じる。そこで、抽出部２５は、撮影画像において境界付近を除いてエントロピーを算出するように構成されている。

また、本実施形態では、区画線検出部２２により区画線が検出されるように構成されている。そして、物体検出部２３により車両や歩行者などの物体が検出されるようになっている。これらが検出された場合、抽出部２５は、検出された対象（区画線、車両、歩行者）が含まれる領域における各画素のエントロピーを抽出するように構成されている。

次に、信頼度算出部２６について説明する。信頼度算出部２６は、抽出部２５により抽出されたエントロピーに基づいて画素ごとに画素信頼度を算出する。基本的には、信頼度算出部２６は、画素のエントロピーが高いほど、当該画素の画素信頼度を低く算出する。

また、クラスごとに認識精度が異なることがわかっている。例えば、白線（区画線）は、画像パターンがある程度同じであるため、白線のクラスは、認識されやすいクラスであるといえる。一方、歩行者のクラスにおいては、画像パターンにばらつきがあるため、認識されにくいクラスであるといえる。このため、信頼度算出部２６は、画素に対応付けられたクラスに応じて、重みづけを異ならせて画素信頼度を算出する。例えば、区画線＞路面＞移動体（車両、歩行者）の順番で、区画線のクラスにおける画素信頼度が最も高くなりやすくするように、クラスに応じて、重みづけを異ならせて画素信頼度を算出する。

また、各クラスにおける面積により正規化を行う。つまり、面積が広いほど、画素信頼度が高くなりやすくなる。このため、信頼度算出部２６は、クラスの面積が広いほど、画素信頼度が低くなるように重みづけを行う。

このように画素ごとに画素信頼度を算出した後、信頼度算出部２６は、算出結果を、単眼カメラ２１ａの位置（路面からの高さ及び俯角）に基づいて平面（車両を真上から見下ろした図）に変換する。その際、占有格子地図(occupancy grid map)によって画素信頼度を出力（表示）する。これにより、図４に示すように、占有格子地図上において、画素信頼度が高い部分は白くなりやすくなり、低い部分は黒くなりやすくなるように、出力される。

また、占有格子地図上に画素信頼度を出力する場合、信頼度算出部２６は、画素信頼度の時系列（履歴）を参照して、算出された画素信頼度を選抜し、選抜された結果のみを出力するように構成されている。具体的には、信頼度算出部２６は、画素信頼度の時系列から傾向を判断し、傾向からはずれた画素信頼度を除去し、傾向に沿った画素信頼度を選抜する。例えば、信頼度算出部２６は、所定期間における画素信頼度の時系列から平均値又は中央値を算出し、平均値又は中央値を中心とする所定の範囲内に存在する画素信頼度を選抜し、出力する。一方で、所定の範囲内に存在しない画素信頼度を除外する。この場合において、画素信頼度が増加傾向、又は減少傾向であることが判断できた場合、これらの傾向からはずれたときも除外してもよい。

なお、画素信頼度の時系列を参照する際、自車両の移動に伴い、撮影画像上、比較対象となる画素（領域）も移動することを考慮する必要がある。どのように比較対象となる画素が移動したかは、自車両の速度や進行方向により特定すればよい。

同様に、画素信頼度の時系列を参照する際、移動体（他車両、歩行者など）の移動に伴い、撮影画像上、比較対象となる画素（領域）が移動する場合があることを考慮する必要がある。この場合、自車両の速度、進行方向、及び移動体の速度及び進行方向により特定すればよい。

なお、画素信頼度が除去された（選抜されなかった）場合、当該領域（画素）において画素信頼度が最低であるとして結果が出力される。また、エントロピーの抽出対象となる領域でなかったなどの理由により、画素信頼度が算出されなかった場合、同様に、当該領域（画素）において画素信頼度が最低であるとして結果が出力される。

次に、フィードバック部２７について説明する。フィードバック部２７は、信頼度算出部２６により出力された結果を、分類部２４に戻し、次周期以降のクラス分けに反映させるように構成されている。具体的には、フィードバック部２７は、画素信頼度が予め決められた第１閾値よりも低い領域を注目領域として分類部２４に指定する。

分類部２４は、注目領域が指定された場合、当該注目領域においては通常よりも高密度で画素のクラス分けを行う。つまり、分類部２４は、当該注目領域においては通常よりも画素のサイズを細かくして（解像度を上げて）画素のクラス分けを行う。

フィードバック部２７は、画素信頼度が予め決められた第２閾値よりも高い領域を安定領域として分類部２４に指定する。分類部２４は、安定領域が指定された場合、当該安定領域においては通常よりも低密度で画素のクラス分けを行う。つまり、分類部２４は、当該安定領域においては通常よりも画素のサイズを粗くして（解像度を下げて）画素のクラス分けを行う。

次に、進路認識部２８について説明する。進路認識部２８は、信頼度算出部２６により出力された結果、つまり、画素ごとの画素信頼度に基づいて車両が安定して走行可能な進路を特定する。具体的には、路面のクラスが対応付けられた画素において、画素信頼度が予め決められた閾値よりも高い領域を進路として特定する。その際、なるべく予定進路に沿った進路を特定することが望ましい。

車両制御部３１は、進路認識部２８により認識された進路に基づいて、自車両を走行させる。その際、車両制御部３１は、信頼度算出部２６により出力された結果を取得し、画素信頼度に基づいて各種制御量（操舵角、アクセル、ブレーキなどの制御量）を変更してもよい。例えば、車両制御部３１は、画素信頼度が通常値よりも低い領域を進む場合、速度を通常よりも遅くして走行させてもよい。また、画素信頼度が予め決められた所定値よりも低い場合には、走行を停止してもよい。

また、例えば、車両制御部３１は、認識された進路の中に、画素信頼度が通常値よりも低い領域が含まれている場合、当該領域に進入するまでに時間的、距離的な余裕があるのであれば、車両を走行させるか否か、及び制御量の決定を保留してもよい。そして、所定期間かけて当該領域における画素信頼度の履歴を取得し、履歴を参照して車両を走行させるか否か、及び制御量を決定してもよい。すなわち、当該領域における画素信頼度が通常値よりも高くなるのを待って、決定してもよい。

次に、画像認識装置２０が所定周期ごとに実行する画像認識処理について図５に基づいて説明する。まず、画像取得部２１としての画像認識装置２０は、撮影画像を取得する（ステップＳ１０１）。

次に、区画線検出部２２としての画像認識装置２０は、取得された撮影画像に基づいて区画線を検出する（ステップＳ１０２）。また、物体検出部２３としての画像認識装置２０は、取得された撮影画像に基づいて物体を検出する（ステップＳ１０３）。

次に、分類部２４としての画像認識装置２０は、取得された撮影画像に基づいて画素ごとにクラス分けを行う（ステップＳ１０４）。その際、前回の周期でフィードバック部２７により注目領域が指定されていた場合、画像認識装置２０は、当該注目領域においては通常よりも画素のサイズを細かくして画素のクラス分けを行う。また、安定領域が指定された場合、当該安定領域においては通常よりも画素のサイズを粗くして画素のクラス分けを行う。

次に、抽出部２５としての画像認識装置２０は、画素ごとのエントロピーを算出する（ステップＳ１０５）。ステップＳ１０５において、画像認識装置２０は、進路に係る特定のクラスであって、予定進路の領域内及びその近傍の領域に絞って、画素のエントロピーを抽出する。その際、画像認識装置２０は、撮影画像において境界付近の画素は除外してエントロピーを抽出する。

また、区画線検出部２２により区画線が検出されていた場合、検出された区画線が含まれている領域における画素のエントロピーを抽出する。また、物体検出部２３により物体が検出されていた場合、検出された物体が含まれている領域における画素のエントロピーを抽出する。

次に、信頼度算出部２６としての画像認識装置２０は、エントロピーに基づいて画素ごとの画素信頼度を算出し、出力する（ステップＳ１０６）。その際、信頼度算出部２６は、画素に対応付けられたクラスに応じて、重みづけを異ならせて画素信頼度を算出する。また、各クラスにおける面積により正規化を行う。また、画像認識装置２０は、算出結果を、占有格子地図上に画素信頼度を出力（表示）する。その際、画像認識装置２０は、画素信頼度の時系列を参照して、算出された画素信頼度を選抜し、選抜された結果のみを占有格子地図上に出力する。

また、フィードバック部２７としての画像認識装置２０は、信頼度算出部２６により出力された結果を、次周期以降のクラス分けに反映させることを決定する（ステップＳ１０７）。つまり、画像認識装置２０は、画素信頼度が予め決められた第１閾値よりも低い領域を注目領域として指定し、次周期以降のクラス分けに反映させることを決定する。また、画像認識装置２０は、画素信頼度が予め決められた第２閾値よりも高い領域を安定領域として指定し、次周期以降のクラス分けに反映させることを決定する。

その後、進路認識部２８としての画像認識装置２０は、算出された画素ごとの画素信頼度に基づいて車両が安定して走行可能な進路を特定し、車両制御装置３０に出力する（ステップＳ１０８）。そして、画像認識処理を終了する。車両制御装置３０は、画像認識装置２０により認識された進路に応じて自車両の走行を制御する。

以上詳述した上記実施形態によれば、次の優れた効果が得られる。

周辺状況や単眼カメラ２１ａの都合により、撮影対象（路面や白線など）が不明確な撮影画像を取得してしまった場合や、認識が難しい撮影画像を取得してしまった場合であっても、信頼度算出部２６は、画素信頼度の時系列を参照して、算出された画素信頼度を選別している。このため、環境等の変化による一時的な画素信頼度の異常値を除外することができ、画素信頼度の算出精度を向上させることができる。したがって、画像認識の精度、つまり、自車両が安定的に走行可能な進路を精度よく認識することができる。

抽出部２５は、自車両の進路に係る特定のクラスにおける各画素のエントロピーを抽出するため、計算効率が良くなり、結果として算出精度を向上させることができる。つまり、無駄な領域の画像認識を省き、必要な領域の画像認識を十分に行うことができるため、認識精度を向上させることができる。また、計算負担を軽くすることができる。

クラスによっては、パターンがある程度決まっているなどの理由により認識しやすいクラスが存在する。また、逆に認識しにくいクラスも存在する。例えば、白線は移動体や樹木などに比較して認識しやすいクラスである。そこで、信頼度算出部２６は、クラス別に画素信頼度の重みづけを実施するように構成されている。これにより、画素信頼度の算出精度を向上させることができる。

クラスごとの画素信頼度の総和で、クラスごとの信頼度を判断する場合、クラスの面積により、影響が生じる。そこで、各クラスの面積に基づいて画素信頼度を正規化することにより、面積の大きさに関係なく、画素信頼度に基づく判断を行うことができる。これにより、精度を向上させることができる。

物体と物体の境界、あるいは白線と路面との境界の部分では、エントロピーが高くなり、誤認識の原因となり得る。そこで抽出部２５は、撮影画像における境界を除いてエントロピーを抽出するように構成されている。これにより、誤認識を抑制し、画素信頼度の算出精度を向上させることができる。

抽出部２５は、区画線検出部２２又は物体検出部２３により検出された対象（白線、車両、歩行者など）が含まれる領域における画素についてエントロピーを抽出し、画素信頼度を算出するように構成されている。このように複数の手法により検出（認識）すべき対象を絞り込むため、認識精度をより向上させることができる。また、画素信頼度を算出すべき領域を減らすことができ、計算効率を向上させることができる。

抽出部２５は、予定進路が含まれる領域内の画素についてエントロピーを抽出するように構成されている。これにより、自車両を安全に走行可能な進路を認識するために認識することが必要な領域に絞って認識することができ、認識精度をより向上させることができる。

分類部２４は、フィードバック部２７により画素信頼度が閾値よりも低いと指定された注目領域に対して、画素のサイズを通常よりも細かくして画素ごとのクラス分けを行う。このため、画素信頼度の算出精度を向上させることができる。

一方、画素信頼度が閾値よりも高いと指定された安定領域では、以降、認識精度が十分高くなると予想される。このような領域において再度詳細な認識する場合、計算効率が悪くなる。また、そのような安定領域において画素信頼度が低くなる場合には、何らかの誤認識が生じている可能性が高い。そこで、安定領域に対して画素のサイズを通常よりも粗くして画素ごとのクラス分けを行う。これにより、画素信頼度のブレを抑制し、画素信頼度の算出精度を向上させることができる。

（他の実施形態）
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。なお、以下では、各実施形態で互いに同一又は均等である部分には同一符号を付しており、同一符号の部分についてはその説明を援用する。

・上記実施形態において、クラス別に画素信頼度の重みづけを行わなくてもよい。

・上記実施形態において、クラスごとの面積に基づいて画素信頼度の正規化しなくてもよい。
・上記実施形態では、境界付近のエントロピーを抽出しなかったが、境界付近のエントロピーを抽出してもよい。

・上記実施形態において、区画線検出部２２を設けなくてもよい。同様に、物体検出部２３を設けなくてもよい。

・上記実施形態において、予定進路を推定し、予定進路が含まれる領域内のエントロピーを抽出するように領域を絞っていたが、そのように領域を絞らなくてもよい。

・上記実施形態において、フィードバック部２７を設けなくてもよい。つまり、フィードバック制御を行わなくてもよい。

・上記実施形態において、フィードバック部２７は、信頼度算出部２６にフィードバックを行ってもよい。例えば、画素信頼度が閾値よりも高いと指定された安定領域に対しては、次周期以降、画素信頼度が高くなるように重みづけを行わせるようにしてもよい。これにより、計算効率を向上させ、また、誤判定の発生を抑制することができる。

・上記実施形態において、フィードバック部２７は、次周期以降に反映させたが、現在の周期における結果に対して反映させてもよい。つまり、同じ撮影画像に対して、画素のサイズを異ならせて、クラス分け、エントロピー抽出、画素信頼度算出等を行ってもよい。

・上記実施形態において、画像認識装置２０は、占有格子地図上に画素信頼度を出力させたが、出力形式は任意に変更してもよい。顕著性マップ（saliency map）上に算出結果を出力（表示）させてもよい。これにより、他のシステムにおいて算出結果を利用しやすくなる。

・上記実施形態及び変形例において、本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

２０…画像認識装置、２１…画像取得部、２１ａ…単眼カメラ、２５…抽出部、２６…信頼度算出部、２８…進路認識部。

Claims (9)

1. 撮影画像に基づいて自車両の進路を認識する画像認識装置（２０）において、
   所定周期ごとに、撮影装置（２１ａ）から撮影画像を取得する画像取得部（２１）と、
   取得した撮影画像において、画素ごとのエントロピーを抽出する抽出部（２５）と、
   前記抽出部により抽出されたエントロピーに基づいて、画素ごとの画素信頼度を算出し、出力する信頼度算出部（２６）と、
   前記信頼度算出部により出力された画素信頼度に基づいて進路を認識する進路認識部（２８）と、を備え、
   前記信頼度算出部は、所定期間における画素信頼度の時系列を参照して、算出された画素信頼度を選別し、選抜された画素信頼度を出力する画像認識装置。
2. 各画像を解析し、各画素ごとにクラス分けを行う分類部（２４）を備え、
   前記抽出部は、自車両の進路に係る特定のクラスにおける各画素のエントロピーを抽出する請求項１に記載の画像認識装置。
3. 前記信頼度算出部は、クラス別に画素信頼度の重みづけを行う請求項２に記載の画像認識装置。
4. 前記信頼度算出部は、各クラスの面積に基づいて画素信頼度を正規化する請求項２又は３に記載の画像認識装置。
5. 前記信頼度算出部により算出された画素信頼度に基づいて領域を指定するフィードバック部（２７）を備え、
   前記分類部は、前記フィードバック部により画素信頼度が閾値よりも低いと指定された注目領域に対して画素のサイズを通常よりも細かくして画素ごとのクラス分けを行う請求項２〜４のうちいずれか１項に記載の画像認識装置。
6. 前記抽出部は、前記撮影画像において対象間の境界を除いてエントロピーを抽出する請求項１〜５のうちいずれか１項に記載の画像認識装置。
7. 撮影画像の画像パターンに基づいて対象を検出する検出部（２２，２３）を備え、
   前記抽出部は、前記検出部により検出された対象が含まれる領域における画素についてエントロピーを抽出する請求項１〜６のうちいずれか１項に記載の画像認識装置。
8. 車両情報を取得し、車両情報に基づいて車両の予定進路を推定する推定部（２０）を備え、
   前記抽出部は、予定進路が含まれる領域内の画素についてエントロピーを抽出する請求項１〜７のうちいずれか１項に記載の画像認識装置。
9. 前記信頼度算出部により算出された画素信頼度に基づいて領域を指定するフィードバック部を備え、
   前記フィードバック部により画素信頼度が閾値よりも高いと指定された安定領域では、画素信頼度が高くなるように重みづけが行われる請求項１〜８のうちいずれか１項に記載の画像認識装置。