JP7485011B2 - 道路劣化診断装置、道路劣化診断システム、道路劣化診断方法、及び、プログラム - Google Patents

Description

本開示は、道路劣化診断装置、道路劣化診断システム、道路劣化診断方法、及び、記録媒体に関する。

道路劣化診断技術として、特許文献１には、レーザスキャン装置を搭載する路面性状測定車で道路を走行して、路面にスキャン光を照射して路面の凹凸を計測することで路面の劣化を検知する方法が開示されている。

また、他の道路劣化診断技術として、特許文献２には、レーザスキャン装置で得られる路面の凹凸のデータと、撮像装置で撮影された路面の画像データを解析した結果と、を組み合わせて路面の劣化を検知する方法が開示されている。

なお、関連技術として、特許文献３には、加速度センサを用いた道路劣化診断技術が開示されている。

特開２０１７－１３８２３８号公報 特開２０１６－０５７８６１号公報 特開２０１３－１４０４４８号公報

林 純一郎 「生活環境へ拡張する画像処理」Journal of the Japan Society for Precision Engineering vol.83, No. 10, 2017, pp928 - 931

上述の特許文献１および２に記載された技術では、レーザスキャナ装置が使用されているために路面の凹凸が精度良く測定できるが、当該装置が大型で専用車両が必要となり、システムが非常に高価となる。

本開示の目的の一つは、上述の課題を解決し、低コストで精度良く道路劣化を検出できる、道路劣化診断装置、道路劣化診断システム、道路劣化診断方法、及び、記録媒体を提供することである。

本開示の一態様における第１の道路劣化診断装置は、道路を撮影した画像を取得する画像情報取得手段と、取得した前記画像から水溜りを検出する水溜検出手段と、検出した前記水溜りの形状に基づいて道路劣化を検出する道路劣化検出手段と、を備える。

本開示の一態様における第２の道路劣化診断装置は、道路を撮影した画像を取得する画像情報取得手段と、取得した前記画像に基づき水溜りを検出する水溜検出手段と、前記画像から、検出した前記水溜りの特徴量を抽出し、水溜りの特徴量から道路劣化の種別を判定するモデルと、抽出された前記特徴量とに基づいて道路劣化を検出する道路劣化検出手段と、を備える。

本開示の一態様における道路劣化診断システムは、本開示の一態様における道路劣化診断装置と、前記道路を撮影した前記画像を前記道路劣化診断装置に送信する撮像装置と、を備える。

本開示の一態様における道路劣化診断方法は、道路を撮影した画像を取得し、取得した前記画像に基づき水溜りを検出し、検出した前記水溜りの形状に基づいて道路劣化を検出する。

本開示の一態様におけるコンピュータが読み取り可能な記録媒体は、コンピュータに、道路を撮影した画像を取得する処理と、取得した前記画像に基づき水溜りを検出する処理と、検出した前記水溜りの形状に基づいて道路劣化を検出する処理と、を実行させるプログラムを格納する。

本開示の効果は、低コストで精度良く道路劣化を検出できることである。

第１の実施形態における道路劣化診断システム１０の概要を示す概略図である。 第１の実施形態における道路劣化診断システム１０の構成の一例を示すブロック図である。 第１の実施形態における、道路劣化診断処理を示すフローチャートである。 第１の実施形態における、道路をカメラで撮影した場合の模式図である。 第１の実施形態における、道路領域を平面図上にマッピングした例を示す模式図である 第１の実施形態における、水溜形状判定処理の詳細を示すフローチャートである。 第１の実施形態における、水溜りの形状および形状の判定方法を示した模式図である。 第１の実施形態における、判定結果の出力例を示す図である。 第１の実施形態における、判定結果の出力例を示す図である。 第２の実施形態における道路劣化診断システム１００の構成の一例を示すブロック図である。 第２の実施形態における、天候情報の例を示す図である。 第２の実施形態における、水溜りの形状の時間的変化の例を示す図である。 第２の実施形態における、画像情報取得処理の詳細を示すフローチャートである。 第３の実施形態における道路劣化診断システム１１０の構成の一例を示すブロック図である。 第３の実施形態における、ＩＲＩと道路劣化レベルとの関係の一例を示すテーブルである。 第３の実施形態における、道路劣化の検出結果の出力例を示す図である。 第３の実施形態における、道路劣化診断処理を示すフローチャートである。 第３の実施形態における、道路劣化レベル判定処理の詳細を示すフローチャートである。 第４の実施形態における、道路劣化診断システム１の構成の一例を示すブロック図である。 コンピュータ５００のハードウェア構成の例を示すブロック図である。

実施形態について図面を参照して詳細に説明する。なお、各図面、及び、明細書記載の各実施形態において、同様の構成要素には同一の符号を付与し、説明を適宜省略する。

（第１の実施形態）
第１の実施形態について説明する。

はじめに、第１の実施形態における道路劣化診断システムの構成を説明する。図１は、第１の実施形態における道路劣化診断システム１０の概要を示す概略図である。図１を参照すると、道路劣化診断システム１０は、複数の撮像装置２０Ａ、Ｂ、…Ｎ（以下、まとめて、撮像装置２０とも記載）、道路劣化診断装置３０、及び、複数の車両４０Ａ、Ｂ、…Ｎ（以下、まとめて、車両４０とも記載）を含む。

道路劣化診断システム１０では、撮像装置２０Ａ、Ｂ、…Ｎは、それぞれ、例えば、地方自治体や、道路管理会社等、道路を管理する機関に属する車両４０Ａ、Ｂ、…Ｎに搭載される。また、道路劣化診断システム１０では、道路劣化診断装置３０と撮像装置２０Ａ、Ｂ、…Ｎとが、例えば、通信ネットワークを介して通信可能なように接続される。

道路劣化診断装置３０は、例えば、上述の機関の道路管理部門に配置される。なお、道路劣化診断装置３０は、上述の機関の道路管理部門以外の場所に配置されてもよい。この場合、道路劣化診断装置３０は、クラウドコンピューティングシステムにより実現されてもよい。車両４０の車種は、フロントのボンネットが短く、道路の画像が広く撮影可能な車種、例えば、バンなどが好ましいが、制限されない。

なお、本実施形態では、撮像装置２０が車両に搭載される場合について説明する。この場合、撮像装置２０は、例えば、車両に搭載されるドライブレコーダでもよい。また、撮像装置２０は、自転車やドローン等の他の移動体に搭載されてもよく、また、人が撮像装置２０を持ち歩いてもよい。

次いで、図２を参照しながら、各装置の構成を説明する。図２は、第１の実施形態における道路劣化診断システム１０の構成の一例を示すブロック図である。
（撮像装置の構成）
撮像装置２０は、図２に示すように、撮像部２１、時刻取得部２２、地点取得部２３、記憶部２４、および送信部２５を含む。

撮像部２１は、道路の画像を撮影する。撮像部２１は、車両４０が道路を走行中に、所定の間隔で、走行している道路の路面が含まれるように撮影する。

時刻取得部２２は、撮像部２１が画像を撮影した時刻（以下、撮影時刻とも記載）を取得する。時刻取得部２２は、撮影時刻を、当該撮影時刻で撮像部２１が撮影した画像に関連付けられるように構成される。

地点取得部２３は、撮像部２１が撮影した地点（以下、撮影地点とも記載）を取得する。地点取得部２３は、撮影地点を、当該撮影地点で撮像部２１が撮影した画像に関連付けられるように構成される。地点取得部２３は、例えば、ＧＰＳ（global Positioning System）受信機であり、撮像部２１が備えるものであっても、別体でもよい。

記憶部２４は、撮像部２１が撮影した画像、当該画像に関連付けられた撮影時刻および撮影地点を含む画像情報を記憶する。記憶部２４は、例えば、ＲＡＭ（Random Access Memory）であってもよく、またはＵＳＢ（Universal Serial Bus）メモリなどの可搬型の記憶媒体であってもよい。

送信部２５は、記憶部２４から画像情報を取得し、通信ネットワークを介して、道路劣化診断装置３０に送信する。画像情報の送信は、例えば、画像を撮影する度に当該画像の画像情報を送信する形態でもよく、所定の期間ごとに、各期間に撮影された１以上の画像の画像情報を送信する形態でもよい。

また、記憶部２４がＵＳＢメモリのような可搬型の記憶媒体の場合、ＵＳＢメモリの画像が、道路劣化診断装置３０により直接読み出されてもよい。この場合、例えば、車両４０の運転者が、画像が記憶されたＵＳＢメモリを、道路劣化診断装置３０のオペレータに渡し、当該オペレータが道路劣化診断装置３０にＵＳＢメモリを読み取らせてもよい。
（道路劣化診断装置の構成）
道路劣化診断装置３０は、画像情報取得部３１、水溜検出部３２、道路劣化検出部３３、および表示制御部３４を含む。道路劣化診断装置３０の構成要素の一部又は全部が、上述のように、クラウドコンピューティングシステムにより実現されてもよい。例えば、画像情報取得部３１がクラウド上に配置され、水溜検出部３２、道路劣化検出部３３および表示制御部３４が、道路管理部門に配置されてもよい。

画像情報取得部３１は、撮像装置２０から送信される画像情報を、通信ネットワークを介して受信し、図示しない記憶部に保存する。画像情報取得部３１は、保存した画像情報から、道路劣化診断の対象の画像情報を取得する。また、画像情報取得部３１は、ＵＳＢメモリなどの記憶媒体から、道路劣化診断の対象の画像情報を読み出しても（取得しても）よい。

水溜検出部３２は、画像情報取得部３１が取得した画像情報の画像に基づき、当該画像に含まれる路面上の水溜りを検出する。

道路劣化検出部３３は、検出した水溜りの形状の判定を行う。ここで、道路劣化検出部３３は、例えば、水溜りの形状を「局所的」や「直線的（溝状）」と判定する。

この場合、道路劣化検出部３３は、例えば、検出した水溜りを囲む矩形（水溜りに外接する矩形）を算出して、矩形の長手方向と短手方向との長さの比を用いて、水溜りの形状を判定してもよい。

道路劣化検出部３３は、検出した水溜りを囲む矩形の、長手方向の長さｘと短手方向の長さｙの比率ｘ／ｙに応じて、水溜りの形状を検出する。道路劣化検出部３３は、長手方向の長さｘと短手方向との長さｙとが大きく異ならない場合、すなわち、比率ｘ／ｙが所定の閾値未満であれば、検出した水溜りの形状を局所的と判定してもよい。つまり、局所的とは、ある一方向に突出して広がっていない形状を意味する。

また、道路劣化検出部３３は、長手方向の長さｘと短手方向との長さｙとが大きく異なる場合、すなわち、比率ｘ／ｙが所定の閾値以上であれば、検出した水溜りの形状を直線的（溝状）と判定してもよい。つまり、直線的（溝状）とは、ある一方向に突出して広がっている形状を意味する。

また、道路劣化検出部３３検出した水溜りを囲む矩形の、長手方向の長さｘと短手方向の長さｙの比率ｘ／ｙに加えて、長さｘやｙに関する所定の閾値を用いて、水溜りの形状を「局所的」や「直線的（溝状）」と判定してもよい。

道路劣化検出部３３は、水溜りの形状の判定結果に応じて、道路劣化を検出する。ここで、道路劣化検出部３３は、例えば、道路劣化の種別として、ポットホールまたは轍を検出する。

ポットホールとは、路面の舗装表面のアスファルトに生じた直径０．１～１ｍ程度の穴のことである。ポットホールは、例えば、次のようにして形成される。頻繁な渋滞や交通量過多のために、路面に小さなひび割れが生じる。その小さなひび割れから雨水等が染み込み、アスファルトとその下の砂地の部分との間にすき間ができる。そして、すき間が大きくなったところに、通過する車の重みや衝撃で道路の一部が崩壊することでアスファルトが剥がれて穴が形成される。

また、轍とは、道路の路面において、タイヤの通る部分だけに形成され溝状の窪みである。轍は、例えば、アスファルトが夏期の高温時に軟らかくなり、車両の荷重により流動するように動くことにより形成されたり、車両の加重が繰り返しかかることにより、アスファルトの隙間が潰されることにより形成されたりする。

一般的に、道路劣化により生じた穴や窪みの深さが深いほど、劣化度合いが大きいと考えられる。したがって、劣化度合いの大きい道路劣化により生じた穴や窪みには、降雨後に水溜りが形成される。道路劣化がポットホールや轍の場合、水溜りの形状は、ポットホールや轍に特徴的な形状となる。したがって、水溜りの形状から、ポットホールや轍のような道路劣化を検出できる。

例えば、道路劣化検出部３３は、水溜りの形状が局所的であれば、道路劣化としてポットホールが発生していると判定する。また、道路劣化検出部３３は、水溜りの形状が直線的（溝状）であれば、道路劣化として轍が発生していると判定する。

表示制御部３４は、道路劣化検出部３３による画像情報道路劣化の検出結果を、例えばディスプレイを介して表示する。

次に、第１の実施形態の動作について説明する。
（道路劣化診断処理）
道路劣化診断装置３０における、道路劣化診断処理について説明する。

図３は、第１の実施形態における、道路劣化診断処理を示すフローチャートである。道路劣化診断処理は、例えば、道路劣化診断装置３０が各車両４０の撮像装置２０から画像情報を受信した後に、オペレータ等により、道路劣化診断の実行指示が入力された場合に実行される。実行指示の入力では、例えば、道路劣化の検出を行う対象地点が指定される。

なお、ここでは、撮像装置２０から受信した画像情報が、図示しない記憶部に保存されているとする。

画像情報取得部３１は、図示しない記憶部から、対象地点に合致する撮影地点の画像情報を取得する（ステップＳ２０１）。なお、画像情報取得部３１は、通信ネットワークを介して接続された、図示しないデータベース等の記憶部から、画像を取得してもよい。また、画像情報取得部３１は、ＵＳＢメモリまたはＳＤカード等の記憶媒体から画像を取得してもよい。

水溜検出部３２は、撮像装置２０から取得した画像情報の画像から、道路領域を抽出する（ステップＳ２０２）。ここで、水溜検出部３２は、例えば、画像認識技術を用いて、道路領域を検出する。この場合、画像認識技術として、道路領域の画像を機械学習やディープラーニングにより学習させたＡＩ（Artificial Intelligence）が用いられてもよい。また、水溜検出部３２は、例えば、ハフ（Hough）変換によって道路領域を検出してもよい。

ハフ変換では、例えば、取得した画像にエッジ抽出処理を施したエッジ画像において、抽出されたエッジの各点を、所定の点を原点として、原点からエッジの各点の距離と、原点から各点への角度とを用いて、各点を通る直線を求める。そして、ハフ変換では、各点を通る直線を、各点の直線を表すパラメータである距離と角度との空間（パラメータ空間）に変換することで、各直線のパラメータが一致する点を算出することで、エッジ画像における直線を検出する。

水溜検出部３２は、検出した道路領域の画像を、路面を上から見た平面図上にマッピングする（ステップＳ２０３）。

ここで、図４および図５を参照して、水溜検出部３２による検出した道路領域の平面図上へのマッピングの例を説明する。

図４は、第１の実施形態における、道路をカメラで撮影した場合の模式図である。図４以降の各図において、斜線の塗りつぶし部分は、路面における水溜り、または、濡れている部分を示す。一般的に、カメラで撮影した遠近法の画像では、道路の両側が平行に延びていく直線道路であっても、道路の両側がある一点、すなわち消失点に向かって延びていく。すなわち、撮影画像の手前側（車両に近い側）と奥側（車両から遠い側）とで、同じ大きさの物体が異なる大きさとなる。このため、図４に示すように、同じ大きさの水溜りが、撮影画像の手前側では大きく映り、撮影画像の奥側では小さく映る。したがって、本実施形態では、検出した道路領域の画像を、路面を上から見たような平面図上にマッピングして、正確な水溜りの形状を検出する。

図５は、第１の実施形態における、道路領域を、平面図上にマッピングした例を示す模式図である。マッピングの方法は、例えば、道路の幅が、最も手前側の道路幅と同じになるような倍率で、マッピングしてもよい。また、マッピングの方法としては、これに限らず、周知の技術を用いて行ってもよい。

水溜検出部３２は、抽出した道路領域内の水溜りを検出する（ステップＳ２０４）。ここで、水溜検出部３２は、例えば、画像認識技術を用いて、道路領域上の水溜りを検出する。この場合も、画像認識技術として、水溜りの画像を機械学習により学習させた学習モデルが用いられてもよい。また、水溜検出部３２は、例えば、道路領域における乾いた路面と水溜りができた路面との違い、つまり道路領域における路面の色の違いにより、水溜りを検出してもよい。また、水溜検出部３２は、画像中の道路領域における反射成分が、拡散反射成分であるか鏡面反射成分であるかを区別することにより、反射成分が路面であるか水溜りであるかを判定してもよい。この場合、水溜検出部３２は、例えば、拡散反射成分と鏡面反射成分とを、例えば、非特許文献１に示すように、ラプラシアン（Laplacian）フィルタによって区別する。この手法では、太陽光を利用可能な昼間に限らず、夜においても街灯や車両のライトを光源として、反射成分の区別が可能である。

次に、道路劣化検出部３３は、検出した水溜りの形状を判定する（ステップＳ２０５）。図６は、第１の実施形態における、水溜り形状判定処理（ステップＳ２０５）の詳細を示すフローチャートである。図７は、第１の実施形態における、水溜りの形状および形状の判定方法を示した模式図である。なお、図７は、ステップＳ２０３でマッピングした道路領域における水溜りを表している。道路劣化検出部３３は、道路領域において検出された各水溜りについて、以下の処理を行う。

図６を参照すると、道路劣化検出部３３は、検出した水溜りを、当該水溜りの輪郭に接するような矩形で囲む（ステップＳ３０１）。道路劣化検出部３３は、検出した水溜りを囲んだ矩形から、長手方向の長さｘおよび短手方向の長さｙを取得する（ステップＳ３０２）。道路劣化検出部３３は、取得した長手方向の長さｘおよび短手方向の長さｙから、比率ｘ／ｙを算出する（ステップＳ３０３）。

例えば、道路劣化検出部３３は、図７に示すように、検出された水溜りＰ１～Ｐ４を囲む矩形Ｒ１～Ｒ４を算出する。道路劣化検出部３３は、算出した矩形Ｒ１～Ｒ４のそれぞれについて、長手方向の長さｘ１～ｘ４、短手方向の長さｙ１～ｙ４を取得する。道路劣化検出部３３は、水溜りＰ１～Ｐ４のそれぞれについて、比率ｘ１／ｙ１、ｘ２／ｙ２、ｘ３／ｙ３、ｘ４／ｙ４を得る。

道路劣化検出部３３は、算出した比率ｘ／ｙに応じて、検出した水溜りの形状が、局所的か、直線的（溝状）かを判定する（ステップＳ３０４）。ここで、道路劣化検出部３３は、算出した比率ｘ／ｙが所定の閾値未満である場合に、水溜りの形状を局所的と判定する。また、道路劣化検出部３３は、算出した比率ｘ／ｙが所定の閾値以上である場合に、水溜りの形状を直線的（溝状）と判定する。図７に示した例では、道路劣化検出部３３は、水溜りＰ１の形状を局所的と判定し、水溜りＰ２、Ｐ３の形状を直線的（溝状）と判定する。

次に、道路劣化検出部３３は、判定された水溜りの形状に基づいて道路劣化を検出する（ステップＳ２０６）。ここで、道路劣化検出部３３は、水溜りの形状が局所的であれば、当該水溜りの位置に、ポットホールが発生していると判定する。また、道路劣化検出部３３は、水溜りの形状が直線的（溝状）であれば、当該水溜の位置に、轍が発生していると判定する。図７に示した例では、道路劣化検出部３３は、水溜りＰ１の位置に、ポットホールがあると判定し、水溜りＰ２、Ｐ３の位置に、轍があると判定する。

表示制御部３４は、道路劣化の検出結果を、例えばディスプレイに表示する（ステップＳ２０７）。図８および図９は、第１の実施形態における道路劣化の検出結果の表示例を示す図である。表示制御部３４は、検出結果として、例えば、道路を撮影した画像における、道路劣化が検出された水溜りの位置に、当該道路劣化があること、及び、当該道路劣化の種別を示した画像を表示する。図８の例では、ポットホールと判定した水溜りＰ１の周囲が、道路劣化を示す矩形の枠で強調され、種別「ポットホール」が表記されている。また、轍と判定した水溜りＰ２、Ｐ３の周囲も、矩形の枠で強調され、種別「轍」が表記されている。さらに、表示制御部３４は、検出結果として、例えば、マップ上の、道路劣化が検出された画像の撮影地点に、当該道路劣化があること、及び、当該道路劣化の種別を示した画像を表示してもよい。図９の例では、図８の道路劣化が検出された地点「Ａ１」に、道路劣化を示す丸印が表記され、当該丸印の周囲に、種別「ポットホール」、「轍」が表記されている。

以上により、第１の実施形態の動作が完了する。

なお、上述した第１の実施形態では、画像情報取得部３１が取得して画像内の道路領域を平面図上にマッピングして、当該平面図上で、水溜りの検出や道路劣化の検出を行った。しかしながら、これに限らず、画像情報取得部３１が取得した画像上で、水溜りの検出や道路劣化の検出を行う等、平面図以外の画像上で、水溜りの検出や道路劣化の検出を行ってもよい。

また、第１の実施形態では、道路劣化検出部３３が、水溜りを囲む矩形の長手方向と短手方向との比率で水溜まりの形状を判定したが、道路劣化に対応する形状を検出できれば、例えば、既知のパターン認識技術や、水溜まりの画像と形状との関係を、機械学習やディープラーニングにより学習させたＡＩ等の他の方法を用いて、水溜まりの画像から水溜まりの形状（局所的、直線状）を判定してもよい。この場合、ポットホール、轍以外の道路劣化に対応する、局所的、直線状以外の形状を判定し、ポットホール、轍以外の道路劣化を検出してもよい。パターン認識や上述したＡＩにより、水溜まりの形状がひび割れ特有の形状と判定された場合、道路劣化としてひび割れを検出してもよい。また、水溜りの画像から、水溜まりの形状（局所的、直線状）を判定するだけでなく、例えば、轍の場合であれば、水溜りが車線に沿って形成されている等の水溜りの向きを考慮してもよい。この場合、水溜りの向きとは、水溜りの長手方向である。

また、道路劣化検出部３３は、水溜まりの画像と道路劣化の種別との関係を、機械学習やディープラーニングにより学習させたＡＩの道路劣化判定モデルを用いて、水溜まりの画像から道路劣化の種別を判定してもよい。

また、水溜検出部３２は、ラベルを付した水溜まりの画像を教師データとして、機械学習やディープラーニングにより学習させたＡＩの水溜まり判定モデルを用いて、撮像装置２０から取得した画像から水溜まりを判定してもよい。

さらに、道路劣化検出部３３は、水溜まりの有無と道路劣化の種別とを付した画像を教師データとして、機械学習やディープラーニングにより学習したＡＩの道路劣化判定モデルを用いて、撮像装置２０から取得した画像から水溜まり及び道路劣化の種別を判定してもよい。この場合には、道路劣化検出部３３は、水溜検出部３２の機能を備えていてもよい。

また、第１の実施形態では、水溜りの形状に基づいて道路劣化を検出した。しかしながら、これに限らず、水溜りの形状に加えて、路面が乾いている時の画像の解析結果（以下、乾燥時の解析結果とも記載）を用いて、道路劣化を検出してもよい。この場合、例えば、水溜検出部３２や道路劣化検出部３３は、検出した水溜りの位置に、乾燥時の解析結果で検出されたハンドホールまたはマンホール等の特定の設備や構造物がある場合、当該水溜りを道路劣化の検出対象から除外してもよい。これにより、例えば、ハンドホールまたはマンホール等により形成された局所的な水溜りを、誤って、ポットホールとして検出してしまうように、設備や構造物により形成された水溜りの形状に基づき、道路劣化を誤って検出することを防ぎ、道路劣化の検出精度を向上できる。

次に、第１の実施形態の効果を説明する。

第１の実施形態によれば、低コストで精度良く道路劣化を検出できる。その理由は、道路を撮影した画像に基づき水溜りを検出し、検出した水溜りの形状に基づいて道路劣化を検出するためである。

（第２の実施形態）
第２の実施形態について説明する。

第２の実施形態は、降雨終了後の特定の時間帯に撮影された画像を用いて水溜りを検出する点で、第１の実施形態とは異なる。

第２の実施形態における道路劣化診断システムの構成を説明する。図１０は、第２の実施形態における道路劣化診断システム１００の構成の一例を示すブロック図である。第２の実施形態において、第１の実施形態と同様の部分については、同じ符号を付して、説明を省略し、異なる部分についてのみ説明する。
（道路劣化診断装置の構成）
道路劣化診断装置３００は、記憶部３０１、画像情報取得部３０２、天候情報取得部３０３、水溜検出部３２、道路劣化検出部３３、および表示制御部３４を含む。

記憶部３０１は、撮像装置２０から受信した画像情報を記憶する。また、記憶部３０１は、天候情報取得部３０３が取得する天候情報を記憶する。

天候情報取得部３０３は、外部の情報源、例えば、気象庁またはインターネット向け気象サイト等から、天候情報を取得する。天候情報取得部３０３は、取得した天候情報を記憶部３０１に保存する。

図１１は、第２の実施形態における、天候情報の例を示す図である。天候情報は、図１１のように、地域、及び、当該地域における時間区分ごとの天候を含む。また、天候情報は、さらに、時間区分ごとの降水量や、気温、湿度などを含んでいてもよい。

なお、天候情報取得部３０３は、各車両４０に搭載された撮像装置２０から、天候情報を受信してもよい。この場合、天候情報取得部３０３は、撮像装置２０から、例えば、走行地点、走行時刻、及び、車両４０におけるワイパーの動作有無や雨滴センサの出力に基づいて判定された天候（降雨の有無）を、天候情報として受信する。

画像情報取得部３０２は、記憶部３０１に記憶された画像情報から、降雨終了後の特定の時間帯に撮影された画像を含む画像情報を取得する。

ここで、降雨終了後の水溜りの形状の、時間的変化について説明する。図１２は、第２の実施形態における、水溜りの形状の時間的変化の例を示す図である。図１２において、水溜りＰ１１は、道路劣化により生じた深い水溜りであり、水溜りＰ１２は、道路劣化によるものではなく、正常な路面における微細な凹凸等により生じた浅い水溜まりである。すなわち、水溜りＰ１１の深さは、水溜りＰ１２より深い。

図１２に示すように、一般的に、降雨終了時刻ｔ０では、路面全体が濡れているため、水溜りの検出が難しい。降雨終了時刻後の時刻ｔ１では、路面の水溜まり以外の部分は乾くため、水溜りＰ１１や水溜りＰ１２が現れる。さらに、その後の時刻ｔ２では、浅い水溜りが乾くため、水溜まりＰ１２は消滅するが、水溜まりＰ１１は残る。そして、その後の時刻ｔ３では、深い水溜りも乾くため、水溜まりＰ１１も消滅する。

したがって、時刻ｔ２に撮影された画像に基づいて検出された水溜りの形状を用いて、道路劣化を検出することで、検出精度を向上できる。

ここでは、時刻ｔ２のばらつきを考慮し、検出対象の道路劣化により生じた深い水溜りが残り、道路劣化ではない凹凸により生じた浅い水溜まりが消滅していると想定される時間を、時間帯（以下、対象時間帯とも記載）により指定する。対象時間帯は、例えば、降雨終了時刻からの時間ＴＡ（所定の時間）、及び、時間長ＴＬ（所定の長さ）により指定される。

対象時間帯を指定するための時間ＴＡ、及び、時間長ＴＬは、例えば、オペレータ等により、予め設定される。また、時間ＴＡ、及び、時間長ＴＬには、検出対象の道路劣化により生じる窪みの深さや、対象地点の気温、湿度、降雨時の雨量、降雨の継続時間、路面の舗装方法等に応じた、異なる値が設定されてもよい。

画像情報取得部３０２は、記憶部３０１に記憶された天候情報を参照し、撮影地点が天候情報において降雨があった地域に含まれ、かつ、撮影時刻が対象時間帯に含まれる画像情報を取得する。

水溜検出部３２は、取得した画像情報に含まれる画像に基づき、第１の実施形態と同様に、水溜りを検出する。

道路劣化検出部３３は、検出された水溜りの形状に基づき、第１の実施形態と同様に、道路劣化を検出する。

表示制御部３４は、第１の実施形態と同様に、道路劣化の検出結果を、例えばディスプレイに表示する。

次に、第２の実施形態の動作について説明する。
（道路劣化診断処理）
第２の実施形態の道路劣化診断処理のフローチャートは、第１の実施形態の道路劣化診断処理のフローチャート（図３）と同様となる。ただし、画像情報取得処理（ステップＳ２０１）において、以下の処理を行う。

第２の実施形態の画像情報取得処理（ステップＳ２０１）では、画像情報取得部３０２が、天候情報を参照し、撮影地点が天候情報において降雨があった地域に含まれ、かつ、撮影時刻が対象時間帯に含まれる画像情報を取得する。

図１３は、第２の実施形態における、画像情報取得処理（ステップＳ２０１）の詳細を示すフローチャートである。

ここで、記憶部３０１には、撮像装置２０から送信された画像情報、及び、天候情報取得部３０３が取得した天候情報が記憶されていると仮定する。

画像情報取得部３０２は、記憶部３０１から天候情報を取得する（ステップＳ５０１）。

画像情報取得部３０２は、取得した天候情報から、地域（以下、対象地域とも記載）をひとつ選択する（ステップＳ５０２）。

画像情報取得部３０２は、対象地域で降雨があったかどうかを判定する（ステップＳ５０３）。

降雨がなかった場合（ステップＳ５０３／ＮＯ）、ステップＳ５０２からの処理が繰り返される。

降雨があった場合（ステップＳ５０３／ＹＥＳ）、画像情報取得部３０２は、降雨の継続時間が所定値以上であるかどうかを判定する（ステップＳ５０４）。ここで、画像情報取得部３０２は、降雨の継続時間の代わりに、降雨終了時刻までの所定期間の累積雨量が所定値以上であるかどうかを判定してもよい。

継続時間が所定値未満であった場合（ステップＳ５０４／ＮＯ）、ステップＳ５０２からの処理が繰り返される。

継続時間が所定値以上であった場合（ステップＳ５０４／ＹＥＳ）、画像情報取得部３０２は、降雨後の対象時間帯（降雨終了時刻より時間ＴＡ（所定の時間）後から時間長ＴＬ（所定の長さ）の時間帯）を算出する（ステップＳ５０５）。

画像情報取得部３０２は、記憶部３０１に記憶された画像情報から、撮影地点が対象地域に含まれ、かつ、撮影時刻が対象時間帯に含まれる画像情報を取得する（ステップＳ５０６）。

以降、天候情報に含まれるすべての地域について、ステップＳ５０２からの処理が繰り返される（ステップＳ５０７）。

画像情報取得処理（ステップＳ２０１）以降の、水溜検出部３２が道路領域を抽出してから、表示制御部３４が道路劣化の検出結果を表示するまでの処理（ステップＳ２０２～２０７）は、第１の実施形態と同様である。なお、これらの処理は、画像情報取得部３０２が取得した各撮影地点における各撮影時刻の画像情報について行われる。

以上により、第２の実施形態の動作が完了する。

次に、第２の実施形態の効果を説明する。

第２の実施形態によれば、第１の実施形態に比べて、より精度良く道路劣化を検出できる。その理由は、道路劣化診断装置３００が、降雨があった撮影地点における、降雨終了時刻より所定時間後から所定の長さの時間帯（対象時間帯）に撮影された画像から検出された水溜りの形状に基づき、道路劣化を検出するためである。対象時間帯として、道路劣化により生じた深い水溜まりは残り、道路劣化により生じたものではない浅い水溜まりは消滅しているような時間帯を指定することで、道路劣化により生じたものではない浅い水溜まりを道路劣化の検出対象から除外できる。

（第３の実施形態）
第３の実施形態について説明する。

第３の実施形態は、加速度情報に基づいて算出した道路劣化レベルを出力する点で、第２の実施形態と異なる。

第３の実施形態では、道路の画像を撮影している車両４０の振動（上下方向の加速度）を計測し、当該計測結果（加速度情報）に基づくＩＲＩ（International Roughness Index）を算出し、画像から検出した水溜りと算出したＩＲＩとに基づく道路劣化のレベルを、画像内の水溜りの周囲に表示する。

第３の実施形態における道路劣化診断システムの構成を説明する。図１４は、第３の実施形態における道路劣化診断システム１１０の構成の一例を示すブロック図である。第３の実施形態において、第２の実施形態と同様の部分については、同じ符号を付して説明を省略し、異なる部分についてのみ説明する。
（撮像装置の構成）
第３の実施形態の撮像装置２００は、第２の実施形態の撮像装置２０の構成に加えて、さらに、センサ２６を備える。

センサ２６は、車両４０の垂直方向の運動の変異を計測する。センサ２６は、例えば、３軸加速度センサである。センサ２６は、加速度情報を生成する。加速度情報は、車両４０の垂直方向の運動の変異、すなわち振動を示す。車両４０において路面の凹凸に対して生じる振動は、車両４０の車種や経年劣化等により異なる。そのため、路面の凹凸が同じであっても、車両４０によって加速度情報は異なる。そこで、例えば、同一速度で同じ凹凸上を走行した場合の加速度情報が、車両４０によらず同じとなるように、キャリブレーションを行ってもよい。また、キャリブレーションを、他の周知の方法を用いて行ってもよい。

送信部２５は、撮像部２１が撮影した画像、当該画像に関連付けられた撮影時刻、撮影地点、および、加速度情報を含む画像情報を、道路劣化診断装置３１０に送信する。送信された画像情報は、道路劣化診断装置３１０の記憶部３０１に記憶される。
（道路劣化診断装置の構成）
第３の実施形態の道路劣化診断装置３１０は、第２の実施形態の道路劣化診断装置３００の構成に加えて、さらに、道路劣化レベル判定部３０４を含む。また、表示制御部３４の代わりに表示制御部３０５を含む。

道路劣化レベル判定部３０４は、撮像装置２００のセンサ２６により生成された加速度情報に基づいてＩＲＩを算出する。そして、道路劣化レベル判定部３０４は、算出したＩＲＩを用いて、道路劣化のレベルを判定する。ここで、道路劣化レベル判定部３０４は、例えば、加速度情報と路面の平坦性との相関関係から、加速度情報を路面の平坦性に変換し、平坦性とＩＲＩとの相関関係から、変換した平坦性をＩＲＩに変換する手法により、ＩＲＩを算出してもよい、また、道路劣化レベル判定部３０４は、他の周知の手法により、ＩＲＩを算出してもよい。

道路劣化レベル判定部３０４は、加速度情報から算出したＩＲＩに応じて、道路劣化をレベル別けする。道路劣化レベル判定部３０４は、例えば、算出したＩＲＩに応じて、道路劣化を、高・中・低の３段階にレベル別けする。

図１５は、第３の実施形態における、ＩＲＩと道路劣化レベルとの関係の一例を示すテーブルである。図１５のテーブルでは、ＩＲＩを、低、中、高の３つにレベル別けしている。

道路劣化レベル判定部３０４は、例えば、図１５のようなテーブルを参照して、検出した道路劣化のレベルを判定する。

表示制御部３０５は、道路劣化の検出結果を、判定した道路劣化レベルとともに表示する。

図１６は、第３の実施形態における、道路劣化の検出結果の出力例を示す図である。

表示制御部３０５は、例えば、道路を撮影した画像における、道路劣化が検出された水溜りの位置に、当該道路劣化があること、当該道路劣化の種別、及び、当該道路劣化のＩＲＩまたは道路劣化レベルを示した画像を表示する。表示制御部３０５は、道路劣化のＩＲＩと道路劣化レベルの両方を表示してもよい。図１６の例では、ポットホールと判定した水溜りＰ１の周囲が、道路劣化を示す矩形の枠で強調され、種別「ポットホール」、ＩＲＩ「７．３」、道路劣化レベル「中」が表示されている。なお、表示制御部３０５は、道路劣化レベルを文字で表示する代わりに、道路劣化を示す矩形の枠や水溜まりを、道路劣化レベルに応じた色で表示してもよい。

次に、第３の実施形態の動作について説明する。

図１７は、第３の実施形態における、道路劣化診断処理を示すフローチャートである。第３の実施形態の道路劣化診断処理において、画像情報を取得してから、各地点における道路劣化の種別を検出するまでの処理（ステップＳ４０１～Ｓ４０６）は、第２の実施形態の処理（ステップＳ２０１～Ｓ２０６）と同様となる。

次に、道路劣化レベル判定部３０４は、検出された道路劣化のレベルを判定する（ステップＳ４０７）。

図１８は、第３の実施形態における、道路劣化レベル判定処理（ステップＳ４０７）の詳細を示すフローチャートである。

道路劣化レベル判定部３０４は、道路劣化が検出された画像に関連づけられた加速度情報を記憶部３０１から取得する（ステップＳ６０１）。

道路劣化レベル判定部３０４は、取得した加速度情報に基づいて、ＩＲＩを算出する（ステップＳ６０２）。

道路劣化レベル判定部３０４は、ＩＲＩと道路劣化レベルとの関係を示す参照テーブルに基づいて、検出された道路劣化のレベルを判定する（ステップＳ６０３）。

次に、表示制御部３０５は、道路劣化の検出結果を、判定した道路劣化レベルとともに表示する（ステップＳ４０８）。

以上により、第３の実施形態の動作が完了する。

次に、第３の実施形態の効果を説明する。

第３の実施形態によれば、水溜りの形状に基づき検出された道路劣化とともに、そのレベルを把握できる。その理由は、道路劣化診断装置３１０が、加速度情報に基づいて、道路劣化レベルを判定し、検出された道路劣化とともに提示するからである。

（第４の実施形態）
第４の実施形態について説明する。

図１９は、第４の実施形態における、道路劣化診断システム１の構成の一例を示すブロック図である。

図１９を参照すると、道路劣化診断システム１は、撮像装置２、及び、道路劣化診断装置３を含む。撮像装置２は、撮像部４を含む。道路劣化診断装置３は、画像情報取得部５、水溜検出部６、および道路劣化検出部７を含む。画像情報取得部５、水溜検出部６、および道路劣化検出部７は、それぞれ、画像情報取得手段、水溜検出手段、および道路劣化検出手段の一実施形態である。

画像情報取得部５は、道路を撮影した画像を取得する。例えば、画像情報取得部５は、車両に搭載された撮像装置２の撮像部４が撮影した道路の画像を、撮像装置２から、通信ネットワーク等を介して取得する。

水溜検出部６は、取得した画像に基づき水溜りを検出する。例えば、水溜検出部６は、ハフ変換等を用いて、取得した画像から道路を抽出し、抽出した道路における水溜りを、画像認識等の周知の方法を用いて検出する。

道路劣化検出部７は、検出した水溜りの形状に基づいて道路劣化を検出する。例えば、道路劣化検出部７は、検出された水溜りの縦横の長さの比率等の形状に関するパラメータを算出して、当該パラメータに基づいて水溜りの形状を判定し、当該形状に基づいて、道路劣化を検出する。

次に、第４の実施形態の効果を説明する。

第４の実施形態によれば、低コストで精度良く道路劣化を検出できる。その理由は、道路劣化診断装置３が、道路を撮影した画像に基づき水溜りを検出し、検出した水溜りの形状に基づいて、道路劣化を検出するためである。

（ハードウェア構成）
上述した各実施形態において、各装置（撮像装置２０、２００、道路劣化診断装置３０、３００、３１０等）の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、コンピュータ５００とプログラムとの任意の組み合わせにより実現されてもよい。

図２０は、コンピュータ５００のハードウェア構成の例を示すブロック図である。図２０を参照すると、コンピュータ５００は、例えば、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、プログラム５０４、記憶装置５０５、ドライブ装置５０７、通信インタフェース５０８、入力装置５０９、出力装置５１０、入出力インタフェース５１１、及び、バス５１２を含む。

プログラム５０４は、各装置の各機能を実現するための命令（instruction）を含む。プログラム５０４は、予め、ＲＯＭ５０２やＲＡＭ５０３、記憶装置５０５に格納される。ＣＰＵ５０１は、プログラム５０４に含まれる命令を実行することにより、各装置の各機能を実現する。例えば、道路劣化診断装置３００のＣＰＵ５０１がプログラム５０４に含まれる命令を実行することにより、画像情報取得部３０２、天候情報取得部３０３、水溜検出部３２、道路劣化検出部３３、および表示制御部３４の機能を実現する。また、例えば、道路劣化診断装置３００のＲＡＭ５０３が、記憶部３０１のデータを記憶してもよい。

ドライブ装置５０７は、記録媒体５０６の読み書きを行う。通信インタフェース５０８は、通信ネットワークとのインタフェースを提供する。入力装置５０９は、例えば、マウスやキーボード等であり、オペレータ等からの情報の入力を受け付ける。出力装置５１０は、例えば、ディスプレイであり、オペレータ等へ情報を出力（表示）する。入出力インタフェース５１１は、周辺機器とのインタフェースを提供する。バス５１２は、これらハードウェアの各構成要素を接続する。なお、プログラム５０４は、通信ネットワークを介してＣＰＵ５０１に供給されてもよいし、予め、記録媒体５０６に格納され、ドライブ装置５０７により読み出され、ＣＰＵ５０１に供給されてもよい。

なお、図２０に示されているハードウェア構成は例示であり、これら以外の構成要素が追加されていてもよく、一部の構成要素を含まなくてもよい。

各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ異なるコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つのコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。

また、各装置の各構成要素の一部または全部は、プロセッサ等を含む汎用または専用の回路（circuitry）や、これらの組み合わせによって実現されてもよい。これらの回路は、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

また、各装置の各構成要素の一部又は全部が複数のコンピュータや回路等により実現される場合、複数のコンピュータや回路等は、集中配置されてもよいし、分散配置されてもよい。

また、道路劣化診断装置３０、３００、３１０は車両４０に配置されてもよいし、車両４０とは異なる場所に配置され、通信ネットワークを介して撮像装置２０、２００と接続されてもよい。

以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。また、各実施形態における構成は、本開示のスコープを逸脱しない限りにおいて、互いに組み合わせることが可能である。

この出願は、２０２０年３月２７日に出願された日本出願特願２０２０－０５８０７０を基礎とする優先権を主張し、その開示のすべてをここに取り込む。

１、１００、１１０ 道路劣化診断システム
２、２０、２００ 撮像装置
３、３０、３００、３１０ 道路劣化診断装置
４、２１ 撮像部
５、３１、３０２ 画像情報取得部
６、３２ 水溜検出部
７、３３ 道路劣化検出部
２２ 時刻取得部
２３ 地点取得部
２４、３０１ 記憶部
２５ 送信部
２６ センサ
３４、３０５ 表示制御部
４０ 車両
３０３ 天候情報取得部
３０４ 道路劣化レベル判定部
５００ コンピュータ
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ プログラム
５０５ 記憶装置
５０６ 記録媒体
５０７ ドライブ装置
５０８ 通信インタフェース
５０９ 入力装置
５１０ 出力装置
５１１ 入出力インタフェース
５１２ バス

Claims (10)

1. 道路を撮影した画像を取得する画像情報取得手段と、
   取得した前記画像に基づき水溜りを検出する水溜検出手段と、
   検出した前記水溜りの形状に基づいて、前記水溜りを形成する道路劣化の種別を検出する道路劣化検出手段と、
   を含む道路劣化診断装置。
2. 前記道路劣化検出手段は、
   前記水溜りの形状が、長手方向の長さと短手方向との長さの比率が第１の閾値以下の場合に、検出した前記水溜りの位置にポットホールが発生していると判定する
   請求項１に記載の道路劣化診断装置。
3. 前記道路劣化検出手段は、
   前記水溜りの形状が、長手方向の長さと短手方向との長さの比率が第２の閾値以上の場合に、検出した前記水溜りの位置に轍が発生していると判定する
   請求項１に記載の道路劣化診断装置。
4. 前記画像情報取得手段は、降雨があった撮影地点における、降雨終了時刻より所定時間後から所定の長さの時間帯に撮影された前記画像を取得する、
   請求項１乃至３のいずれか１項に記載の道路劣化診断装置。
5. 前記画像情報取得手段は、前記降雨があった撮影地点のうちの、当該降雨の継続時間、または、当該降雨終了時刻までの所定期間における累積雨量が所定値以上の撮影地点における前記画像を取得する、
   請求項４に記載の道路劣化診断装置。
6. 前記画像は、前記道路を走行する移動体が備える撮像装置によって撮影され、
   前記道路劣化診断装置は、さらに、
   前記移動体が備えるセンサで計測される加速度情報であって、前記画像に関連づけられた加速度情報を取得し、当該加速度情報が表す前記移動体の振動が大きいほど高い道路劣化レベルを判定する道路劣化レベル判定手段と、
   前記判定した道路劣化の種別と、前記道路劣化レベルとを、関連づけて表示する表示手段と、
   を備える、請求項１乃至５のいずれか１項に記載の道路劣化診断装置。
7. 請求項１乃至６のいずれか１項に記載の道路劣化診断装置と、
   前記道路を撮影した前記画像を前記道路劣化診断装置に送信する撮像装置と、
   を備える道路劣化診断システム。
8. コンピュータが、
   道路を撮影した画像を取得し、
   取得した前記画像に基づき水溜りを検出し、
   検出した前記水溜りの形状に基づいて、前記水溜りを形成する道路劣化の種別を検出する
   道路劣化診断方法。
9. コンピュータに、
   道路を撮影した画像を取得する処理と、
   取得した前記画像に基づき水溜りを検出する処理と、
   検出した前記水溜りの形状に基づいて、前記水溜りを形成する道路劣化の種別を検出する処理と、
   を実行させるプログラム。
10. 道路を撮影した画像を取得する画像情報取得手段と、
    取得した前記画像に基づき水溜りを検出する水溜検出手段と、
    前記画像から、検出した前記水溜りの特徴量を抽出し、前記水溜りの前記特徴量から道路劣化の種別を判定するモデルと、抽出された前記特徴量とに基づいて、前記水溜りを形成する道路劣化の種別を検出する道路劣化検出手段と、
    を含む道路劣化診断装置。

Images