特許 7501612 道路劣化判定装置、道路劣化判定方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-10

(45)【発行日】2024-06-18

(54)【発明の名称】道路劣化判定装置、道路劣化判定方法、及び、プログラム

(51)【国際特許分類】

   G08G 1/00 20060101AFI20240611BHJP

   G06T 7/00 20170101ALI20240611BHJP

   B60W 40/06 20120101ALI20240611BHJP

【ＦＩ】

G08G1/00 J

G06T7/00 650A

B60W40/06

【請求項の数】 10

(21)【出願番号】P 2022511768

(86)(22)【出願日】2021-03-12

(86)【国際出願番号】 JP2021010096

(87)【国際公開番号】W WO2021200037

(87)【国際公開日】2021-10-07

【審査請求日】2022-08-16

(31)【優先権主張番号】P 2020062853

(32)【優先日】2020-03-31

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】十文字 奈々

【審査官】白石 剛史

(56)【参考文献】

【文献】特開２０１８－０８７４８４（ＪＰ，Ａ）

【文献】特開２０１６－０５７８６１（ＪＰ，Ａ）

【文献】特開２０１８－０８１４０４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００

Ｇ０６Ｔ ７／００

Ｂ６０Ｗ ４０／０６

(57)【特許請求の範囲】

【請求項1】

路面の画像の撮影に関する複数の属性の値のうち、道路劣化の判定に用いる路面の画像を選択するために用いられる属性の値の優先度を、道路上の地点ごとに予め記憶する優先度記憶手段と、
記憶された前記優先度に基づき、道路劣化を判定する対象とする前記道路上の一の地点で撮影された路面の画像を選択する選択手段と、
選択された前記画像と、画像から道路劣化を判定するモデルとを用いて、前記一の地点における道路劣化を判定する、判定手段と、
を備えた、
道路劣化判定装置。

【請求項2】

さらに、
前記道路上の地点ごとに、当該地点で撮影された路面の画像と前記モデルとを用いて得られた道路劣化の判定結果、及び、当該地点の道路劣化の状態に基づき、当該地点における前記属性の値の優先度を決定する、決定手段と、
を備えた、請求項１に記載の道路劣化判定装置。

【請求項3】

前記選択手段は、前記道路上の地点ごとに設定された、前記属性ごとの各値の優先スコアの合計値に基づき、前記道路上の一の地点で撮影された路面の画像を選択する、
請求項１に記載の道路劣化判定装置。

【請求項4】

さらに、
道路上の地点ごとに、当該地点で撮影された路面の画像と前記モデルとを用いて得られた道路劣化の判定結果、及び、当該地点の道路劣化の状態に基づき、当該地点における前記属性ごとの各値の優先度を決定し、当該優先度に基づき、当該地点における前記属性ごとの各値の優先スコアを決定する、決定手段と、
を備えた、請求項３に記載の道路劣化判定装置。

【請求項5】

前記決定手段は、前記画像と前記モデルとを用いて得られた道路劣化の判定結果と、当該地点の道路劣化の状態と、の一致率を算出し、当該一致率が大きいほど、優先度が高くなるように、優先度を決定する、
請求項２または４に記載の道路劣化判定装置。

【請求項6】

前記決定手段は、前記画像と前記モデルとを用いて得られた道路劣化の判定結果と、当該地点の道路劣化の状態と、の一致率を算出し、当該一致率と相関を有する属性について、優先度を決定する、
請求項２、４、及び、５のうちのいずれか一項に記載の道路劣化判定装置。

【請求項7】

前記属性は、画像を撮影した車両の車種、画像を撮影した時刻における天候、画像を撮影した時刻を含む時間帯のうちの少なくとも１つを含む、
請求項１乃至６のうちのいずれか一項に記載の道路劣化判定装置。

【請求項8】

前記属性は、路面の画像を撮影した車両のフロントガラス映り込み状況及びフロントガラス汚れ状況のうちの少なくともいずれかを含む車内環境を含む、
請求項１乃至７のいずれか一項に記載の道路劣化判定装置。

【請求項9】

道路劣化判定装置が、
路面の画像の撮影に関する複数の属性の値のうち、道路劣化の判定に用いる路面の画像を選択するために用いられる属性の値の優先度に基づき、道路劣化を判定する対象とする道路上の一の地点で撮影された路面の画像を選択し、
選択された前記画像と、画像から道路劣化を判定するモデルとを用いて、前記一の地点における道路劣化を判定する、
道路劣化判定方法。

【請求項10】

コンピュータに、
路面の画像の撮影に関する複数の属性の値のうち、道路劣化の判定に用いる路面の画像を選択するために用いられる属性の値の優先度に基づき、道路劣化を判定する対象とする道路上の一の地点で撮影された路面の画像を選択し、
選択された前記画像と、画像から道路劣化を判定するモデルとを用いて、前記一の地点における道路劣化を判定する、
処理を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、道路劣化判定装置、道路劣化判定方法、及び、記録媒体に関する。

【背景技術】

【0002】

道路劣化判定では、車両から撮影した道路画像をコンピュータで解析することにより、道路劣化を自動で検出する装置の導入が進められている。

【0003】

このような装置の一例が、特許文献１に開示されている。特許文献１には、解析の精度を向上させるために、正常な解析を妨げる可能性がある画像、例えば、木や建物の影が路面に写り込んだ画像、濡れた路面の画像等を除いた画像を選定し、解析に用いることが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－５７８６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

道路画像の解析の精度を向上させるために、画像撮影に関する様々な属性の値を、解析に用いる画像の選定条件に設定することが考えられる。しかしながら、このような選定条件は、道路における地点（環境）によって異なる可能性がある。例えば、画像を撮影した時間帯に関する条件を設定する場合、時間帯による道路の明るさの違いにより、ある地点では時間帯Ａで撮像された画像による解析精度が時間帯Ｂで撮像された画像による解析精度より高くても、他の地点では時間帯Ａで撮像された画像による解析精度が時間帯Ｂで撮像された画像による解析精度より低い可能性がある。

【0006】

特許文献１に開示された技術では、地点（環境）に応じて異なる選定条件を用いることは開示されていない。

【0007】

本開示の目的の一つは、上述の課題を解決し、道路劣化判定において、さまざまな地点における判定精度を向上できる、道路劣化判定装置、道路劣化判定方法、及び、記録媒体を提供することである。

【課題を解決するための手段】

【0008】

本開示の一態様における道路劣化判定装置は、道路上の地点ごとに設定された、当該地点で撮影された路面の画像の撮影に関する属性の値の優先度に基づき、前記道路上の一の地点で撮影された路面の画像を選択する選択手段と、前記選択した画像と画像から道路劣化を判定するモデルとを用いて、前記一の地点における道路劣化を判定する、判定手段と、を備える。

【0009】

本開示の一態様における道路劣化判定方法は、道路上の地点ごとに設定された、当該地点で撮影された路面の画像の撮影に関する属性の値の優先度に基づき、前記道路上の一の地点で撮影された路面の画像を選択し、前記選択した画像と画像から道路劣化を判定するモデルとを用いて、前記一の地点における道路劣化を判定する。

【0010】

本開示の一態様におけるコンピュータが読み取り可能な記録媒体は、コンピュータに、道路上の地点ごとに設定された、当該地点で撮影された路面の画像の撮影に関する属性の値の優先度に基づき、前記道路上の一の地点で撮影された路面の画像を選択し、前記選択した画像と画像から道路劣化を判定するモデルとを用いて、前記一の地点における道路劣化を判定する、処理を実行させるプログラムを格納する。

【発明の効果】

【0011】

本開示の効果は、道路劣化判定において、さまざまな地点における判定精度を向上できることである。

【図面の簡単な説明】

【0012】

【図1】第１の実施形態における道路劣化判定システム１０の概要を示す概略図である。

【図2】第１の実施形態における道路劣化判定システム１０の構成を示すブロック図である。

【図3】第１の実施形態における、属性が付加された画像情報の例を示す図である。

【図4】第１の実施形態における、道路劣化の判定結果の例を示す図である。

【図5】第１の実施形態における、道路劣化判定モデルによる判定結果から算出した劣化割合の例を示す図である。

【図6】第１の実施形態における、道路劣化状況（正解データ）から算出した劣化割合の例を示す図である。

【図7】第１の実施形態における、属性値の優先度の例を示す図である。

【図8】第１の実施形態における、優先度設定処理を示すフローチャートである。

【図9】第１の実施形態における、道路劣化判定処理を示すフローチャートである。

【図10】第２の実施形態における道路劣化判定システム１０の構成を示すブロック図である。

【図11】第２の実施形態における、属性ごとの属性値の優先度の例を示す図である。

【図12】第２の実施形態における、スコアテーブルの例を示す図である。

【図13】第２の実施形態の優先度設定処理を示すフローチャートである。

【図14】第２の実施形態の道路劣化判定処理のフローチャートである。

【図15】第２の実施形態における、画像情報に対して算出された合計スコアの例を示す図である。

【図16】第３の実施形態における道路劣化判定装置３０の構成の例を示すブロック図である。

【図17】コンピュータ５００のハードウェア構成の例を示すブロック図である。

【発明を実施するための形態】

【0013】

実施形態について図面を参照して詳細に説明する。なお、各図面、及び、明細書記載の各実施形態において、同様の構成要素には同一の符号を付与し、説明を適宜省略する。

【0014】

（第１の実施形態）
第１の実施形態について説明する。

【0015】

はじめに、第１の実施形態における道路劣化判定システムの構成を説明する。図１は、第１の実施形態における道路劣化判定システム１０の概要を示す概略図である。図１を参照すると、道路劣化判定システム１０は、複数の撮像装置２０＿１、２０＿２、…２０＿Ｎ（Ｎは自然数を表す）（以下、まとめて、撮像装置２０とも記載）、道路劣化判定装置３０、及び、複数の車両４０＿１、４０＿２、…４０＿Ｎ（Ｎは自然数を表す）（以下、まとめて、車両４０とも記載）を含む。

【0016】

道路劣化判定システム１０では、撮像装置２０＿１、２０＿２、…２０＿Ｎは、それぞれ、例えば、地方自治体や、道路管理会社等、道路を管理する機関に属する車両４０＿１、４０＿２、…４０＿Ｎに搭載される。また、道路劣化判定システム１０では、道路劣化判定装置３０、及び、撮像装置２０＿１、２０＿２、…２０＿Ｎが、例えば、通信ネットワークを介して通信可能なように接続される。

【0017】

道路劣化判定装置３０、例えば、上述の機関の道路管理部門に配置される。なお、道路劣化判定装置３０、上述の機関の道路管理部門以外の場所に配置されてもよい。この場合、道路劣化判定装置３０は、クラウドコンピューティングシステムにより実現されてもよい。なお、本実施形態では、撮像装置２０が車両４０に搭載される場合について説明する。この場合、撮像装置２０は、例えば、車両に搭載されるドライブレコーダでもよい。また、撮像装置２０は、自転車やドローン等の他の移動体に搭載されてもよく、また、人が撮像装置２０を持ち歩いてもよい。

【0018】

次いで、図２を参照しながら、各装置の構成を説明する。図２は、第１の実施形態における道路劣化判定システム１０の構成を示すブロック図である。

【0019】

また、本開示では、道路を対象とする劣化を判定するが、道路以外の構造物にも適用できる。例えば、構造物は、道路（例えば、路面、標識、並びに、トンネルなどの天井及び側壁）、鉄道、港湾、ダム、及び通信施設などの社会基盤における構造物でもよい。あるいは、構造物は、学校、病院、公園、及び、社会福祉施設など生活関連の社会資本における構造物でもよい。

【0020】

（撮像装置の構成）
撮像装置２０は、図２に示すように、撮像部２１、時刻取得部２２、地点取得部２３、記憶部２４、及び、送信部２５を含む。

【0021】

撮像部２１は、車両４０が走行する道路を撮影する。撮像部２１は、車両４０が道路を走行中に、所定の間隔で、車両４０の周囲を撮影する。撮影により得られる画像は、車両４０の前方の道路、及びその周囲を含む。また、撮影により得られる画像は、撮像装置２０が移動体全般に搭載される場合、当該移動体が移動する道路、及び、その周囲の画像であり、人の場合、人が移動する道路、及び、その周囲の画像である。

【0022】

時刻取得部２２は、撮像部２１が画像を撮影した、日付、及び、時刻（以下、撮影日、及び、撮影時刻とも記載）を取得する。時刻取得部２２は、撮影日、及び、撮影時刻を、撮像部２１に出力する。

【0023】

地点取得部２３は、撮像部２１が撮影した、道路上の地点（以下、撮影地点とも記載）を取得する。地点取得部２３は、例えば、ＧＰＳ（Global Positioning System）受信機であり、撮像部２１が備えるものであっても、別体でもよい。地点取得部２３は、撮影地点を、撮像部２１に出力する。

【0024】

撮像部２１は、時刻取得部２２から撮影日、及び、撮影時刻を取得し、地点取得部２３から撮影地点を取得し、撮影した画像に、撮影日、撮影時刻、及び、撮影地点を関連付けて、画像情報として、記憶部２４に記憶させる。

【0025】

記憶部２４は、車両ＩＤ（Identifier）を記憶する。また、記憶部２４は、画像情報を記憶する。記憶部２４は、例えば、ＲＡＭ（Random Access Memory）、またはＵＳＢ（Universal Serial Bus）メモリなどの可搬型の記憶媒体であってもよい。

【0026】

また、記憶部２４がＵＳＢメモリのような可搬型の記憶媒体の場合、ＵＳＢメモリの画像が、道路劣化判定装置３０により直接読み出されてもよい。この場合、例えば、車両４０の運転者が、画像が記憶されたＵＳＢメモリを、道路劣化判定装置３０のオペレータに渡し、当該オペレータが道路劣化判定装置３０にＵＳＢメモリを読み取らせてもよい。

【0027】

送信部２５は、記憶部２４から画像情報を取得し、通信ネットワークを介して、道路劣化判定装置３０に送信する。画像情報の送信は、例えば、画像を撮影する度に当該画像を含む画像情報を送信する形態でもよく、所定の期間ごとに、各期間に撮影された１以上の画像のそれぞれを含む画像情報を送信する形態でもよい。

【0028】

（道路劣化判定装置の構成）
道路劣化判定装置３０は、図２に示すように、画像取得部３１、画像記憶部３２、モデル記憶部３３、劣化状況記憶部３４、優先度決定部３５、優先度記憶部３６、選択部３７、及び、判定部３８を含む。

【0029】

なお、道路劣化判定装置３０の構成要素の一部又は全部が、上述のように、クラウドコンピューティングシステムにより実現されてもよい。

【0030】

また、道路劣化判定装置３０は、道路の路面上の劣化を判定する。ここで、路面上の劣化とは、例えば、路面の凹凸、轍、ひび割れ、及び、ポットホール等である。

【0031】

画像取得部３１は、撮像装置２０から送信される画像情報を、通信ネットワークを介して受信する。画像取得部３１は、取得した画像情報に、少なくとも１つの属性について、その値（以下、属性値とも記載）を付加して、画像記憶部３２に記憶させる。

【0032】

図３は、第１の実施形態における、属性が付加された画像情報の例を示す図である。図３の例では、画像情報は、撮像装置２０から送信された画像情報に含まれる、車両ＩＤ、撮影日、撮影時刻、撮影地点、及び、画像ファイルに、情報ＩＤが付加されている。情報ＩＤは画像情報を識別するための識別子である。さらに、属性として、車種、天候、時間帯が付加されている。

【0033】

ここで、車種には、例えば、車両４０の形式を表す名前や識別子が設定される。また、車種には、セダン、バン、ワゴン等の車両４０のタイプが設定されてもよい。天候には、例えば、気象庁やインターネット上の気象サイト等から取得した、画像情報に含まれる撮影時間における撮影地点の天候種別（晴れ、曇り、雨等）が設定される。時間帯には、例えば、画像情報に含まれる撮影日及び撮影時刻により決定される、所定の時間帯が設定される。

【0034】

また、画像情報に付加する属性は、さらに、車内環境（フロントガラス映り込み状況、フロントガラス汚れ状況）や道路状況を含んでいてもよい。フロントガラス映り込み状況には、例えば、フロントガラスへの車内の映り込みのレベルが設定される。フロントガラス汚れ状況には、例えば、フロントガラスの汚れのレベルが設定される。道路状況には、道路領域における影の有無、積雪の有無、乾燥レベル、舗装の種別等が設定される。これら車内環境や道路状況は、例えば、画像情報に含まれる画像に、パターンマッチング等の周知の画像分析技術や、機械学習やディープラーニングにより学習させたＡＩ（Artificial Intelligence）モデルに適用することにより、取得される。

【0035】

また、画像取得部３１は、ＵＳＢメモリなどの記憶媒体から、画像情報を読み出しても（取得しても）よい。

【0036】

画像記憶部３２は、画像取得部３１により属性が付加された画像情報を記憶する。

【0037】

モデル記憶部３３は、オペレータ等により予め入力された、道路劣化判定モデルを記憶する。道路劣化判定モデルは、道路領域（路面）の画像から道路劣化の有無を判定（推定）するためのモデルであり、例えば、道路劣化の画像を機械学習やディープラーニングにより学習することにより得られる。道路劣化判定モデルは、道路領域（路面）の画像を入力すると、道路劣化の判定結果を出力する。

【0038】

図４は、第１の実施形態における、道路劣化の判定結果の例を示す図である。図４では、道路領域において、複数の矩形が、判定された道路劣化（ひび割れ）に沿って示されている。ここで、矩形は、道路領域を複数の部分領域に分割して、部分領域ごとに道路劣化（ひび割れ）の有無を判定する場合において、道路劣化（ひび割れ）が有りと判定された部分領域を示す。

【0039】

道路劣化判定モデルは、道路劣化の判定結果として、例えば、図４のように、道路領域において、道路劣化が有りと判定された部分領域を示した画像を出力する。

【0040】

劣化状況記憶部３４は、オペレータ等により予め入力された、道路上の各地点における道路劣化状況を、当該劣化状況の取得時間とともに記憶する。道路劣化状況は、道路の実際の劣化の状況である。道路劣化状況は、優先度決定部３５により、各地点における属性値の優先度を決定するときに「正解データ」として用いられる。道路劣化状況は、例えば、図４のような、道路劣化判定モデルによる画像の各部分領域の判定結果に対して、検査員等が、画像、或いは、実際の路面の状況を確認し、判定結果を修正することにより得られる。この場合、取得時間には、道路劣化判定モデルによる判定に用いた画像の撮影時間が用いられる。

【0041】

なお、道路の実際の劣化の状況を表していれば、道路劣化状況は、例えば、レーザースキャナー及び加速度センサを搭載した車両を走行させて得られた結果等、他の周知の方法で得られたものでもよい。

【0042】

優先度決定部３５は、道路上の地点ごとに、画像に付加されている属性値の優先度を決定する。優先度は、道路劣化判定モデルを用いた道路劣化判定を行うときに、画像を選択する（優先度の高い画像を選択する）ために用いられる。

【0043】

優先度決定部３５は、劣化状況記憶部３４から、優先度を算出する対象の地点（以下、優先度算出対象地点とも記載）の道路劣化状況と、当該劣化状況の取得時間とを取得する。また、優先度決定部３５は、画像記憶部３２から、撮影時間が、優先度を算出する対象の期間（以下、優先度算出対象期間とも記載）内の画像情報を取得する。ここで、優先度算出対象期間は、劣化状況記憶部３４から取得した道路劣化状況（正解データ）から、劣化の状況が大きく変わっていないことが予想される期間であり、例えば、劣化状況の取得時間から、所定時間以内の任意の期間である。さらに、優先度決定部３５は、モデル記憶部３３から道路劣化判定モデルを取得する。

【0044】

優先度決定部３５は、優先度算出対象期間の画像情報に含まれる画像の各々を、道路劣化判定モデルに入力し、道路劣化の判定結果を取得する。そして、優先度決定部３５は、取得した判定結果の各々と、劣化状況記憶部３４から取得した道路劣化状況（正解データ）とを比較する。ここで、優先度決定部３５は、道路劣化判定モデルによる判定結果と道路劣化状況（正解データ）とのそれぞれについて、画像の道路領域における劣化割合を算出し、比較する。道路領域における劣化割合は、例えば、画像上の道路領域全体の面積に対する、道路劣化と判定された部分領域の面積の割合である。

【0045】

図５は、第１の実施形態における、道路劣化判定モデルによる判定結果から算出した劣化割合の例を示す図である。図５の例では、各地点の画像情報に加えて、劣化割合が示されている。また、図６は、第１の実施形態における、道路劣化状況（正解データ）から算出した劣化割合の例を示す図である。図６の例では、各地点における、劣化割合が示されている。

【0046】

なお、優先度決定部３５は、上述の劣化割合以外に、道路劣化の有無や、道路劣化の数を比較してもよい。

【0047】

優先度決定部３５は、上述の比較の結果に基づき、属性値の優先度を決定する。優先度決定部３５は、例えば、画像ごとに、道路劣化判定モデルによる判定結果と道路劣化状況（正解データ）との一致率を算出する。そして、優先度決定部３５は、各画像に対して算出された一致率と各画像の属性値に基づき、一致率が高いほど、属性値の優先度が高くなるように、優先度を決定する。ここで、優先度決定部３５は、例えば、各属性のとり得る属性値ごとに一致率の平均値を算出する。そして、優先度決定部３５は、一致率の平均値が大きいほど、優先度が高くなるように、属性値の優先度を決定する。また、優先度決定部３５は、例えば、多変量解析等の統計的手法により、一致率と相関を有する属性（相関の度合いが所定値以上の属性）を求め、当該相関を有する属性について、属性値ごとの一致率の平均値を算出してもよい。

【0048】

図７は、第１の実施形態における、属性値の優先度の例を示す図である。図７の例では、優先度の高い順（優先度の値の小さい順）に、属性値が示されている。

【0049】

優先度決定部３５は、決定した各地点における属性値の優先度を、優先度記憶部３６に保存する。

【0050】

優先度記憶部３６は、優先度決定部３５により決定された、各地点における属性値の優先度を記憶する。

【0051】

選択部３７は、優先度記憶部３６から、道路劣化を判定する対象の地点（以下、判定対象地点とも記載）の属性値の優先度を取得する。選択部３７は、画像記憶部３２に記憶されている画像情報から、撮影地点が判定対象地点であり、撮影時間が判定する対象の期間（以下、判定対象期間とも記載）内の画像情報であり、属性値の優先度が高い（優先度が最も高い、或いは、優先度が所定値以上の）画像情報を選択する。判定対象期間は、上述の優先度算出対象期間と異なっていてもよいし、重なっていてもよい。

【0052】

判定部３８は、判定対象地点について、道路劣化判定モデルを用いて、道路劣化を判定する。判定部３８は、選択部３７により選択された画像情報に含まれる画像を、道路劣化判定モデルに入力して、道路劣化の判定結果を得る。判定部３８は、判定結果を、図示しない表示装置等に出力する（表示させる）。

【0053】

次に、第１の実施形態の動作について説明する。

【0054】

（優先度設定処理）
優先度設定処理について説明する。

【0055】

図８は、第１の実施形態における、優先度設定処理を示すフローチャートである。優先度設定処理は、例えば、道路上の各地点について、複数の画像情報が取得できた時点で、オペレータ等の指示に応じて実行される。

【0056】

ここでは、図３のような画像情報が画像記憶部３２に記憶されているとする。また、道路劣化判定モデルが予めモデル記憶部３３に記憶され、各地点の道路劣化状況が劣化状況記憶部３４に記憶されているとする。

【0057】

優先度決定部３５は、道路上の地点から、優先度算出対象地点を一つ選択する（ステップＳ１０１）。

【0058】

優先度決定部３５は、劣化状況記憶部３４から、優先度算出対象地点の道路劣化状況と、当該劣化状況の取得時間とを取得する（ステップＳ１０２）。

【0059】

優先度決定部３５は、画像記憶部３２から、撮影地点が優先度算出対象地点であり、撮影時間が優先度算出対象期間内の画像情報を取得する（ステップＳ１０３）。

【0060】

優先度決定部３５は、優先度算出対象期間の画像情報に含まれる画像の各々を、道路劣化判定モデルに入力し、道路劣化の判定結果を取得する（ステップＳ１０４）。

【0061】

優先度決定部３５は、取得した判定結果の各々と、劣化状況記憶部３４から取得した道路劣化状況（正解データ）とを比較する（ステップＳ１０５）。例えば、優先度決定部３５は、地点Ａ１＿１について、取得した判定結果の各々に基づき、図５のように、劣化割合を算出する。また、優先度決定部３５は、道路劣化状況に基づき、地点Ａ１＿１について、図６のように、劣化割合を算出する。優先度決定部３５は、これらの劣化割合の一致率を算出する。

【0062】

優先度決定部３５は、比較の結果に基づき、属性値の優先度を決定する（ステップＳ１０６）。例えば、優先度決定部３５は、地点Ａ１＿１について、各画像について算出した一致率と属性値に基づき、図７のように、属性値の優先度を決定する。

【0063】

優先度決定部３５は、決定した属性値の優先度を、優先度記憶部３６に保存する（ステップＳ１０７）。

【0064】

優先度決定部３５は、道路上のすべての地点について、ステップＳ１０１からの処理を繰り返す（ステップＳ１０８）。

【0065】

なお、地点によっては、優先度算出対象期間の画像情報の数が少なく、適切な優先度が決定できないことが考えられる。したがって、優先度決定処理は、優先度算出対象期間の十分な数の画像情報が得られたタイミングで行うことが好ましい。また、道路環境の変化（例えば、樹木の成長や、周囲の新たな構造物等）により、属性値の優先度は変化する可能性がある。したがって、優先度設定処理は、優先度算出対象期間を、例えば、直近の期間に更新しながら、定期的に行うことが好ましい。

【0066】

（道路劣化判定処理）
道路劣化判定装置３０における、道路劣化判定処理について説明する。

【0067】

図９は、第１の実施形態における、道路劣化判定処理を示すフローチャートである。道路劣化判定処理は、上述した優先度設定処理により、各地点における属性値の優先度が決定された後に、オペレータ等の指示に応じて実行される。実行指示では、例えば、上述の判定対象地点、及び、判定対象期間が指定される。

【0068】

ここでは、図７のような、各地点における属性値の優先度が、優先度記憶部３６に記憶されていると仮定する。また、道路劣化判定モデルが予めモデル記憶部３３に記憶されていると仮定する。

【0069】

選択部３７は、優先度記憶部３６から、判定対象地点の属性値の優先度を取得する（ステップＳ２０１）。例えば、選択部３７は、地点Ａ１＿１について、図７のような、属性値の優先度を取得する。

【0070】

選択部３７は、画像記憶部３２から、撮影地点が判定対象地点であり、撮影時間が判定対象期間内の画像情報を取得する（ステップＳ２０２）。

【0071】

選択部３７は、ステップＳ２０２で取得した画像情報から、ステップＳ２０１で取得した属性値の優先度に基づき、画像情報を選択する（ステップＳ２０３）。ここで、選択部３７は、例えば、優先度が最も高い、或いは、優先度が所定値以上の属性値を有する画像情報を選択する。例えば、選択部３７は、地点Ａ１＿１について、図７の優先度に基づき、優先度が１である「属性：天候、属性値：曇り」を有する画像情報を取得する。

【0072】

判定部３８は、ステップＳ２０３で取得した画像情報に含まれる画像を、道路劣化判定モデルに入力し、道路劣化の判定結果を取得する（ステップＳ２０４）。

【0073】

判定部３８は、判定結果を、図示しない表示装置等に出力する（表示させる）（ステップＳ２０５）。例えば、判定部３８は、図４と同様の形式で判定結果を出力する。

【0074】

以上により、第１の実施形態の動作が完了する。

【0075】

なお、各実施形態は、画像情報に加えて、画像情報以外の情報を用いて道 路劣化を算出してもよい。例えば、各実施形態は、加速度センサなどを用い て検出した加速度を用いて、道路劣化を算出してもよい。また、各実施形態 は、道路劣化の指標として、わだち掘れ量を用いてもよい。この場合、道路 劣化の指標の値は、一般的に、０以上の整数（単位は、ｍｍ）となる。なお 、わだち掘れ量の値としては、有理数が用いられてもよい。あるいは、各実 施形態は、道路劣化の指標として、国際ラフネス指数（ＩＲＩ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｒｏｕｇｈｎｅｓｓ Ｉｎｄｅｘ）を用いてもよい。この 場合、劣化度の値は、０以上の有理数（単位は、ｍｍ／ｍ）となる。あるい は、各実施形態は、道路劣化の指標として、維持管理指数（Ｍａｉｎｔｅｎａｎｃｅ Ｃｏｎｔｒｏｌ Ｉｎｄｅｘ（ＭＣＩ））を用いてもよい。ＭＣＩは、ひび割れ率、わだち掘れ量、及び、平たん性から求められる複合劣化 指標である。

【0076】

次に、第１の実施形態の効果を説明する。

【0077】

第１の実施形態によれば、道路劣化判定において、さまざまな地点における判定精度を向上できる。その理由は、以下による。すなわち、道路劣化判定装置３０の選択部３７が、道路上の地点ごとに設定された、当該地点で撮影された路面の画像の撮影に関する属性の値の優先度に基づき、道路上の一の地点で撮影された路面の画像を選択する。そして、判定部３８が、選択した画像と画像から道路劣化を判定するモデルとを用いて、一の地点における道路劣化を判定するためである。

【0078】

また、第１の実施形態によれば、道路劣化判定において、さまざまな地点における判定精度を向上できるような、路面の画像の撮影に関する属性の値の優先度を決定できる。その理由は、以下による。すなわち、道路劣化判定装置３０の優先度決定部３５が、道路上の地点ごとに、当該地点で撮影された路面の画像とモデルとを用いて得られた道路劣化の判定結果、及び、当該地点の道路劣化の状態に基づき、当該地点における属性の値の優先度を決定するためである。

【0079】

（第２の実施形態）
第２の実施形態について説明する。

【0080】

第２の実施形態では、属性値の優先度の代わりに、優先度を用いて各属性の属性値に付与されたスコアの合計値に基づいて、画像情報を選択する点で第１の実施形態と異なる。

【0081】

第２の実施形態において、第１の実施形態と同様の機能を有する構成の部分については、説明を省略し、異なる機能を有する構成についてのみ説明する。

【0082】

（道路劣化判定装置の構成）
図１０は、第２の実施形態における道路劣化判定システム１０の構成の例を示すブロック図である。

【0083】

第２の実施形態における道路劣化判定装置３０は、第１の実施形態における道路劣化判定装置３０の構成に加えて、さらに、優先スコア記憶部３９を含む。第１の実施形態における道路劣化判定装置３０の優先度決定部３５、選択部３７が、それぞれ、優先度決定部３５Ａ、選択部３７Ａに置き換わっている。

【0084】

優先度決定部３５Ａは、道路上の地点ごとに、画像に付加されている属性についてのスコアテーブルを生成する。スコアテーブルは、各属性の属性値の優先スコアを示す。優先スコアは、第１の実施形態の優先度と同様に、道路劣化判定モデルを用いた道路劣化判定を行うときに、画像を選択する（優先スコアの合計値の大きい画像を選択する）ために用いられる。

【0085】

優先度決定部３５Ａは、第１の実施形態の優先度決定部３５と同様に、優先度算出対象期間の画像情報に含まれる画像の各々を道路劣化判定モデルに入力して得られた道路劣化の判定結果の各々と、劣化状況記憶部３４から取得した道路劣化状況（正解データ）とを比較する。優先度決定部３５Ａは、比較の結果に基づき、属性ごとに、属性値の優先度を決定する。優先度決定部３５は、例えば、画像ごとに、道路劣化判定モデルによる判定結果と道路劣化状況（正解データ）との一致率を算出する。そして、優先度決定部３５Ａは、属性ごとに、第１の実施形態と同様の手法で、一致率が高いほど、属性値の優先度が高くなるように、優先度を決定する。

【0086】

図１１は、第２の実施形態における、属性ごとの属性値の優先度の例を示す図である。図１１の例では、例えば、属性「天候」について、属性値「曇り」、「晴れ」、「雨」にそれぞれ、優先度「１」、「２」、「３」が設定されている。

【0087】

さらに、優先度決定部３５Ａは、属性ごとに、優先度が高いほど優先スコアが高くなるように、優先スコアを決定することにより、スコアテーブルを生成する。

【0088】

図１２は、第２の実施形態における、スコアテーブルの例を示す図である。図１２の例では、優先度「１」、「２」、「３」に、それぞれ、スコア「３０」、「２０」、「０」が設定されている。

【0089】

優先スコア記憶部３９は、優先度決定部３５Ａにより生成された、各地点のスコアテーブルを記憶する。

【0090】

選択部３７Ａは、優先スコア記憶部３９から、判定対象地点のスコアテーブルを取得する。そして、選択部３７Ａは、画像記憶部３２に記憶されている画像情報から、撮影地点が判定対象地点であり、判定対象期間内の画像情報であり、属性値の合計スコアが高い（合計スコアが最も高い、或いは、合計スコアが所定値以上の）画像情報を選択する。合計スコアは、スコアテーブルによって示される、各属性の属性値に対する優先スコアを合計することにより得られる。

【0091】

次に、第２の実施形態の動作について説明する。

【0092】

（優先度設定処理）
図１３は、第２の実施形態の優先度設定処理を示すフローチャートである。第２の実施形態の優先度設定処理における、道路劣化判定モデルによる道路劣化の判定結果と道路劣化状況（正解データ）との比較までの処理（ステップＳ３０１～ステップＳ３０５）は、第１の実施形態の優先度設定処理における、ステップＳ１０１～ステップＳ１０５と同じである。

【0093】

優先度決定部３５Ａは、比較の結果に基づき、属性ごとに、属性値の優先度を決定する（ステップＳ３０６）。例えば、優先度決定部３５Ａは、地点Ａ１＿１について、各画像について算出した一致率と属性値に基づき、図１１のように、属性ごとの属性値の優先度を決定する。

【0094】

優先度決定部３５Ａは、属性ごとに優先スコアを決定することにより、スコアテーブルを生成する（ステップＳ３０７）。例えば、優先度決定部３５Ａは、地点Ａ１＿１について、図１２のように、スコアテーブルを生成する。

【0095】

優先度決定部３５Ａは、決定したスコアテーブルを、優先スコア記憶部３９に保存する（ステップＳ３０８）。

【0096】

優先度決定部３５Ａは、道路上のすべての地点について、ステップＳ３０１からの処理を繰り返す（ステップＳ３０９）。

【0097】

（画像情報選択処理）
図１４は、第２の実施形態の道路劣化判定処理のフローチャートである。

【0098】

選択部３７Ａは、優先スコア記憶部３９から、判定対象地点の属性値の優先度を取得する（ステップＳ４０１）。例えば、選択部３７Ａは、地点Ａ１＿１について、図１２のような、スコアテーブルを取得する。

【0099】

選択部３７Ａは、画像記憶部３２から、撮影地点が判定対象地点であり、撮影時間が判定対象期間内の画像情報を取得する（ステップＳ４０２）。

【0100】

選択部３７Ａは、ステップＳ４０２で取得した各画像情報について、ステップＳ４０１で取得したスコアテーブルに基づき、合計スコアを算出する（ステップＳ４０３）。

【0101】

図１５は、第２の実施形態における、画像情報に対して算出された合計スコアの例を示す図である。例えば、選択部３７Ａは、３つの画像情報について、図１５のように合計スコアを算出する。

【0102】

選択部３７Ａは、ステップＳ４０２で取得した画像情報から、ステップＳ４０３で算出した合計スコアに基づき、画像情報を選択する（ステップＳ４０４）。ここで、選択部３７Ａは、例えば、合計スコアが最も高い、或いは、合計スコアが所定値以上の画像情報を選択する。例えば、選択部３７Ａは、地点Ａ１＿１について、図１５の合計スコアに基づき、合計スコアが８０である「属性：車種、属性値：ＳＵＶ」、「属性：天候、属性値：曇り」、「属性：時間帯、属性値：12:00-14:00」を有する画像情報を取得する。

【0103】

判定部３８は、ステップＳ４０４で取得した画像情報に含まれる画像を、道路劣化判定モデルに入力し、道路劣化の判定結果を取得する（ステップＳ４０５）。

【0104】

判定部３８は、判定結果を、図示しない表示装置等に出力する（表示させる）（ステップＳ４０６）。

【0105】

以上により、第２の実施形態の動作が完了する。

【0106】

次に、第２の実施形態の効果を説明する。

【0107】

第２の実施形態によれば、第１の実施形態と同様に、道路劣化判定において、さまざまな地点における判定精度を向上できる。その理由は、以下による。すなわち、道路劣化判定装置３０の選択部３７Ａが、道路上の地点ごとに設定された、属性ごとの各値の優先スコアの合計値に基づき、道路上の一の地点で撮影された路面の画像を選択する。そして、判定部３８が、選択した画像と画像から道路劣化を判定するモデルとを用いて、一の地点における道路劣化を判定するためである。

【0108】

（第３の実施形態）
第３の実施形態について説明する。

【0109】

図１６は、第３の実施形態における道路劣化判定装置３０の構成の例を示すブロック図である。図１６を参照すると、第３の実施形態における道路劣化判定装置３０は、選択部３７、及び、判定部３８を含む。選択部３７、及び、判定部３８は、それぞれ、本開示の選択手段、及び、判定手段の一実施形態である。

【0110】

選択部３７は、道路上の地点ごとに設定された、当該地点で撮影された路面の画像の撮影に関する属性の値の優先度に基づき、道路上の一の地点で撮影された路面の画像を選択する。

【0111】

判定部３８は、選択した画像と画像から道路劣化を判定するモデルとを用いて、一の地点における道路劣化を判定する。

【0112】

第３の実施形態によれば、道路劣化判定において、さまざまな地点における判定精度を向上できる。その理由は、以下による。すなわち、道路劣化判定装置３０の選択部３７が、道路上の地点ごとに設定された、当該地点で撮影された路面の画像の撮影に関する属性の値の優先度に基づき、道路上の一の地点で撮影された路面の画像を選択する。そして、判定部３８が、選択した画像と画像から道路劣化を判定するモデルとを用いて、一の地点における道路劣化を判定するためである。

【0113】

（ハードウェア構成）
上述した各実施形態において、各装置（撮像装置２０、道路劣化判定装置３０等）の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、コンピュータ５００とプログラムとの任意の組み合わせにより実現されてもよい。

【0114】

図１７は、コンピュータ５００のハードウェア構成の例を示すブロック図である。図１７を参照すると、コンピュータ５００は、例えば、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、プログラム５０４、記憶装置５０５、ドライブ装置５０７、通信インタフェース５０８、入力装置５０９、出力装置５１０、入出力インタフェース５１１、及び、バス５１２を含む。

【0115】

プログラム５０４は、各装置の各機能を実現するための命令（instruction）を含む。プログラム５０４は、予め、ＲＯＭ５０２やＲＡＭ５０３、記憶装置５０５に格納される。ＣＰＵ５０１は、プログラム５０４に含まれる命令を実行することにより、各装置の各機能を実現する。例えば、道路劣化判定装置３０のＣＰＵ５０１がプログラム５０４に含まれる命令を実行することにより、画像取得部３１、優先度決定部３５、選択部３７、及び、判定部３８等の機能を実現する。また、例えば、道路劣化判定装置３０のＲＡＭ５０３が、画像記憶部３２、モデル記憶部３３、劣化状況記憶部３４、及び、優先度記憶部３６のデータを記憶してもよい。

【0116】

ドライブ装置５０７は、記録媒体５０６の読み書きを行う。通信インタフェース５０８は、通信ネットワークとのインタフェースを提供する。入力装置５０９は、例えば、マウスやキーボード等であり、オペレータ等からの情報の入力を受け付ける。出力装置５１０は、例えば、ディスプレイであり、オペレータ等へ情報を出力（表示）する。入出力インタフェース５１１は、周辺機器とのインタフェースを提供する。バス５１２は、これらハードウェアの各構成要素を接続する。なお、プログラム５０４は、通信ネットワークを介してＣＰＵ５０１に供給されてもよいし、予め、記録媒体５０６に格納され、ドライブ装置５０７により読み出され、ＣＰＵ５０１に供給されてもよい。

【0117】

なお、図１７に示されているハードウェア構成は例示であり、これら以外の構成要素が追加されていてもよく、一部の構成要素を含まなくてもよい。

【0118】

各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ異なるコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つのコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。

【0119】

また、各装置の各構成要素の一部または全部は、プロセッサ等を含む汎用または専用の回路（circuitry）や、これらの組み合わせによって実現されてもよい。これらの回路は、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

【0120】

また、各装置の各構成要素の一部又は全部が複数のコンピュータや回路等により実現される場合、複数のコンピュータや回路等は、集中配置されてもよいし、分散配置されてもよい。

【0121】

また、道路劣化判定装置３０は車両４０に配置されてもよいし、車両４０とは異なる場所に配置され、通信ネットワークを介して撮像装置２０と接続されてもよい。

【0122】

以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。また、各実施形態における構成は、本開示のスコープを逸脱しない限りにおいて、互いに組み合わせることが可能である。

【0123】

この出願は、２０２０年３月３１日に出願された日本出願特願２０２０－０６２８５３を基礎とする優先権を主張し、その開示のすべてをここに取り込む。

【符号の説明】

【0124】

１０ 道路劣化判定システム
２０ 撮像装置
２１ 撮像部
２２ 時刻取得部
２３ 地点取得部
２４ 記憶部
２５ 送信部
３０ 道路劣化判定装置
３１ 画像取得部
３２ 画像記憶部
３３ モデル記憶部
３４ 劣化状況記憶部
３５，３５Ａ 優先度決定部
３６ 優先度記憶部
３７，３７Ａ 選択部
３８ 判定部
３９ 優先スコア記憶部
４０ 車両
５００ コンピュータ
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ プログラム
５０５ 記憶装置
５０６ 記録媒体
５０７ ドライブ装置
５０８ 通信インタフェース
５０９ 入力装置
５１０ 出力装置
５１１ 入出力インタフェース
５１２ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】