特許 7611578 路面判定装置、及び、路面判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-26

(45)【発行日】2025-01-10

(54)【発明の名称】路面判定装置、及び、路面判定方法

(51)【国際特許分類】

   G08G 1/00 20060101AFI20241227BHJP

   G08G 1/09 20060101ALI20241227BHJP

   G06T 7/00 20170101ALI20241227BHJP

【ＦＩ】

G08G1/00 J

G08G1/09 F

G06T7/00 350B

G06T7/00 650A

【請求項の数】 14

(21)【出願番号】P 2021161098

(22)【出願日】2021-09-30

(65)【公開番号】P2023050804

(43)【公開日】2023-04-11

【審査請求日】2024-08-08

【早期審査対象出願】

(73)【特許権者】

【識別番号】501138231

【氏名又は名称】国立研究開発法人防災科学技術研究所

(74)【代理人】

【識別番号】100214260

【弁理士】

【氏名又は名称】相羽 昌孝

(74)【代理人】

【識別番号】100139114

【弁理士】

【氏名又は名称】田中 貞嗣

(74)【代理人】

【識別番号】100139103

【弁理士】

【氏名又は名称】小山 卓志

(72)【発明者】

【氏名】中村 一樹

(72)【発明者】

【氏名】砂子 宗次朗

(72)【発明者】

【氏名】上石 勲

(72)【発明者】

【氏名】宮島 亜希子

【審査官】▲高▼木 真顕

(56)【参考文献】

【文献】米国特許第０９１３９２０４（ＵＳ，Ｂ１）

【文献】特開平０８－２６３７８３（ＪＰ，Ａ）

【文献】国際公開第２０１５／１２９０４５（ＷＯ，Ａ１）

【文献】特開２０２１－００２１６３（ＪＰ，Ａ）

【文献】特開２００７－３０９８３２（ＪＰ，Ａ）

【文献】特開２００４－１９１２７６（ＪＰ，Ａ）

【文献】特開２００９－０２０５７７（ＪＰ，Ａ）

【文献】特表２０２２－５０８３００（ＪＰ，Ａ）

【文献】特表２０２１－５０８８６３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０１７８５７２（ＵＳ，Ａ１）

【文献】特開２０２２－０５０５９９（ＪＰ，Ａ）

【文献】特開２０２１－１３９６４３（ＪＰ，Ａ）

【文献】「混合型雪面状態を自動認識するAI道路管理支援システムのプロトタイプを開発」，ウェザーニューズ[online]，ウェザーニューズ，2019年02月08日，［2024年10月24日検索］，<https://jp.weathernews.com/wp-content/uploads/2019/02/20190208.pdf>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｂ６０Ｗ ３０／００ － ６０／００

Ｇ０６Ｆ １８／００ － １８／４０

Ｇ０６Ｎ ３／００ － ９９／００

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

道路の路面が撮影された判定対象の画像データと、当該画像データが撮影された地点及び時刻に関連する付加要素データとを含む路面データを取得するデータ取得部と、
前記データ取得部により取得された前記路面データに基づいて、前記地点及び前記時刻における前記路面の状態を判定する判定部と、を備え、
前記判定部は、
前記データ取得部により取得された前記路面データに含まれる前記判定対象の画像データを、前記路面が撮影された学習対象の画像データを含む路面データと、当該路面の状態を複数の路面区分に分類したときの分類結果が付与された正解ラベルとで構成される学習用データにより機械学習が行われた学習モデルに入力することにより、前記路面の状態として、当該路面に対する前記路面区分の分類結果を出力する路面区分分類部と、
前記路面データに含まれる前記付加要素データに基づいて、前記路面区分が発生する発生可能性の有無を前記路面区分毎に判定し、前記路面区分毎の発生可能性の有無に基づいて、前記路面区分分類部が出力した前記路面区分の分類結果を補正する路面区分補正部と、を備える、
路面判定装置。

【請求項2】

道路の路面が撮影された判定対象の画像データと、当該画像データが撮影された地点及び時刻に関連する付加要素データとを含む路面データを取得するデータ取得部と、
前記データ取得部により取得された前記路面データに基づいて、前記地点及び前記時刻における前記路面の状態を判定する判定部と、を備え、
前記判定部は、
前記データ取得部により取得された前記路面データに含まれる前記判定対象の画像データ及び前記付加要素データを、前記路面が撮影された学習対象の画像データ並びに当該画像データが撮影された前記地点及び前記時刻に関連する前記付加要素データを含む路面データと、当該路面の状態を複数の路面区分に分類したときの分類結果が付与された正解ラベルとで構成される学習用データにより機械学習が行われた学習モデルに入力することにより、前記路面の状態として、当該路面に対する前記路面区分の分類結果を出力する路面区分分類部と、
前記路面データに含まれる前記付加要素データに基づいて、前記路面区分が発生する発生可能性の有無を前記路面区分毎に判定し、前記路面区分毎の発生可能性の有無に基づいて、前記路面区分分類部が出力した前記路面区分の分類結果を補正する路面区分補正部と、を備える、
路面判定装置。

【請求項3】

前記路面区分分類部は、
前記路面区分の分類結果として、前記路面が複数の前記路面区分にそれぞれ分類されるときの確度を前記路面区分毎に出力し、
前記路面区分補正部は、
前記路面区分毎の発生可能性の有無に基づいて、複数の前記路面区分から前記発生可能性が無しと判定した前記路面区分を除外し、その除外した後の残りの前記路面区分毎の確度に基づいて、前記路面の状態を判定する、
請求項１又は請求項２に記載の路面判定装置。

【請求項4】

前記データ取得部は、
前記付加要素データとして、前記地点及び前記時刻よりも前の過去時刻から前記時刻までの期間における複数の気象要素を含む気象データを取得し、
前記路面区分補正部は、
前記気象データを分析することにより前記路面区分毎の発生可能性の有無を判定する、
請求項１乃至請求項３のいずれか一項に記載の路面判定装置。

【請求項5】

前記データ取得部は、
前記付加要素データとして、前記地点及び前記時刻において前記道路を車両が走行中に録音された環境音データを取得し、
前記路面区分補正部は、
前記環境音データを分析することにより水しぶきの有無を判定し、前記水しぶきの有無に応じて、前記路面区分毎の発生可能性の有無を判定する、
請求項１乃至請求項４のいずれか一項に記載の路面判定装置。

【請求項6】

前記データ取得部は、
前記付加要素データとして、前記地点及び前記時刻において前記道路を車両が走行中に記録された加速度データを取得し、
前記路面区分補正部は、
前記加速度データを分析することによりすべり成分の有無を検出し、前記すべり成分の有無に応じて、前記路面区分毎の発生可能性の有無を判定する、
請求項１乃至請求項５のいずれか一項に記載の路面判定装置。

【請求項7】

複数の前記路面区分は、
乾燥、濡れ、水たまり、冠水、湿雪、凍結、及び、圧雪を少なくとも含むものである、
請求項１乃至請求項６のいずれか一項に記載の路面判定装置。

【請求項8】

前記判定部により判定された前記路面の状態を道路区間毎に集計し、前記道路区間毎の路面の状態を含む路面判定情報を提供する情報提供部を備える、
請求項１乃至請求項７のいずれか一項に記載の路面判定装置。

【請求項9】

前記情報提供部は、
前記路面判定情報に道路状況を付加することで、地図上に前記道路区間毎の路面の判定結果及び前記道路状況を表示するための道路交通情報を提供する、
請求項８に記載の路面判定装置。

【請求項10】

前記情報提供部は、
前記路面の状態を前記道路区間毎に集計する際、前記道路区間に含まれる複数の地点における前記路面の判定結果に対して、多数決にて最終的な前記路面の判定結果を決定する、又は、最新の時刻の前記路面の判定結果を優先する、
請求項８又は請求項９に記載の路面判定装置。

【請求項11】

前記画像データは、
携帯端末装置、車載装置、道路監視装置又は無人飛行体が備えるカメラで撮影されたものであり、
前記データ取得部は、
携帯端末装置、車載装置、道路監視装置又は無人飛行体から前記画像データを受信することにより、前記画像データを取得する、
請求項１乃至請求項１０のいずれか一項に記載の路面判定装置。

【請求項12】

コンピュータを、
請求項１乃至請求項１１のいずれか一項に記載の路面判定装置が備える各部として機能させる、
路面判定プログラム。

【請求項13】

道路の路面が撮影された判定対象の画像データと、当該画像データが撮影された地点及び時刻に関連する付加要素データとを含む路面データを取得するデータ取得ステップと、
前記データ取得ステップにより取得された前記路面データに基づいて、前記地点及び前記時刻における前記路面の状態を判定する判定ステップと、を備え、
前記判定ステップは、
前記データ取得ステップにより取得された前記路面データに含まれる前記判定対象の画像データを、前記路面が撮影された学習対象の画像データを含む路面データと、当該路面の状態を複数の路面区分に分類したときの分類結果が付与された正解ラベルとで構成される学習用データにより機械学習が行われた学習モデルに入力することにより、前記路面の状態として、当該路面に対する前記路面区分の分類結果を出力する路面区分分類ステップと、
前記路面データに含まれる前記付加要素データに基づいて、前記路面区分が発生する発生可能性の有無を前記路面区分毎に判定し、前記路面区分毎の発生可能性の有無に基づいて、前記路面区分分類ステップが出力した前記路面区分の分類結果を補正する路面区分補正ステップと、を備える、
路面判定方法。

【請求項14】

道路の路面が撮影された判定対象の画像データと、当該画像データが撮影された地点及び時刻に関連する付加要素データとを含む路面データを取得するデータ取得ステップと、
前記データ取得ステップにより取得された前記路面データに基づいて、前記地点及び前記時刻における前記路面の状態を判定する判定ステップと、を備え、
前記判定ステップは、
前記データ取得ステップにより取得された前記路面データに含まれる前記判定対象の画像データ及び前記付加要素データを、前記路面が撮影された学習対象の画像データ並びに当該画像データが撮影された前記地点及び前記時刻に関連する前記付加要素データを含む路面データと、当該路面の状態を複数の路面区分に分類したときの分類結果が付与された正解ラベルとで構成される学習用データにより機械学習が行われた学習モデルに入力することにより、前記路面の状態として、当該路面に対する前記路面区分の分類結果を出力する路面区分分類ステップと、
前記路面データに含まれる前記付加要素データに基づいて、前記路面区分が発生する発生可能性の有無を前記路面区分毎に判定し、前記路面区分毎の発生可能性の有無に基づいて、前記路面区分分類ステップが出力した前記路面区分の分類結果を補正する路面区分補正ステップと、を備える、
路面判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、路面判定装置、及び、路面判定方法に関する。

【背景技術】

【0002】

道路の路面の状態は、車両走行時の安全性に多大な影響を与える要因の１つである。また、道路を管理する事業者にとっては、道路の路面の状態は、例えば、降雪時に凍結防止剤を散布する作業の要否や散布範囲を決定する際や、降雨時に道路冠水が発生した際の通行規制や排水作業の要否等の重要な判断基準となる。このような事情から、路面の状態を判定する路面判定装置として、例えば、カメラにより撮影された画像データに対して所定の画像処理を行うことにより、路面の状態を判定するドライブレコーダが開発されている（例えば、特許文献１参照）

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－００２１６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された路面判定装置は、上記のように、カメラにより撮影された画像データを用いて路面の状態を判定するものである。しかしながら、カメラで路面を撮影する際、例えば、撮影時の周囲の明るさ、逆光、路面の反射等のように、実際の撮影条件は様々な状況に応じて変動するため、画像データに対する画像処理だけでは路面の判定精度を向上させるには限界があった。

【0005】

本発明は、上述した課題に鑑みてなされたものであって、路面の判定精度を向上させることを可能とする路面判定装置、及び、路面判定方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明の一態様に係る路面判定装置は、
道路の路面が撮影された判定対象の画像データと、当該画像データが撮影された地点及び時刻に関連する付加要素データとを含む路面データを取得するデータ取得部と、
前記データ取得部により取得された前記路面データに基づいて、前記地点及び前記時刻における前記路面の状態を判定する判定部と、を備える。

【発明の効果】

【0007】

本発明の一態様に係る路面判定装置によれば、判定部が、道路の路面が撮影された判定対象の画像データと、当該画像データが撮影された地点及び時刻に関連する付加要素データとを含む路面データに基づいて、当該地点及び当該時刻における路面の状態を判定する。そのため、判定部が路面の状態を判定する際に、付加要素データを考慮することで、画像データだけでは判定が困難な状況を補足したり、画像データだけでもある程度の精度を確保できるような状況についてもさらに補強したりすることできる。したがって、道路の路面の状態を判定する際の判定精度を向上させることができる。

【0008】

上記以外の課題、構成及び効果は、後述する発明を実施するための形態にて明らかにされる。

【図面の簡単な説明】

【0009】

【図1】路面判定システム１の一例を示す全体図である。

【図2】第１の実施形態に係る路面判定装置４Ａの一例を示すブロック図である。

【図3】路面データベース４０１の一例を示すデータ構成図である。

【図4】第１の実施形態に係る路面判定装置４Ａの一例を示す機能説明図である。

【図5】第１の実施形態に係る学習モデル４０３Ａの一例を示す模式図である。

【図6】路面区分の一例を示す模式図である。

【図7】判定部４１１による第１の判定例を示す説明図である。

【図8】判定部４１１による第２の判定例を示す説明図である。

【図9】判定部４１１による第３の判定例を示す説明図である。

【図10】第１の実施形態に係る路面判定システム１の動作の一例を示すフローチャートである。

【図11】第１の実施形態に係る路面判定システム１の動作の一例を示すフローチャート（図１０の続き）である。

【図12】路面判定情報表示画面１１の一例を示す図である。

【図13】道路交通情報表示画面１２の一例を示す図である。

【図14】第２の実施形態に係る路面判定装置４Ｂの一例を示す機能説明図である。

【図15】第２の実施形態に係る学習モデル４０３Ｂの一例を示す模式図である。

【図16】第３の実施形態に係る路面判定装置４Ｃの一例を示す機能説明図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して本発明を実施するための実施形態について説明する。以下では、本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。

【0011】

（第１の実施形態）
図１は、路面判定システム１の一例を示す全体図である。路面判定システム１は、道路を走行中の車両１０にて取得されたセンサデータや気象データ等に基づいて道路の路面の状態を判定し、その判定結果を各車両１０や道路管理事業者等に提供するシステムである。

【0012】

路面判定システム１は、その主要な構成要素として、端末装置２と、気象情報提供装置３と、路面判定装置４Ａと、道路交通情報提供装置５とを備える。各装置２～５は、有線又は無線のネットワーク６に接続されて、各種のデータ（図１には一部のデータの送受信を破線の矢印にて図示）を相互に送受信可能に構成される。なお、各装置２～５の数は、適宜変更されてもよいし、ネットワーク６の構成は、図１の例に限られない。

【0013】

端末装置２は、例えば、車両１０に持ち込み可能なスマートフォンやタブレット端末等の携帯端末装置、車両１０に設置されたドライブレコーダ、カーナビゲーションシステム、衝突防止システム、駐車支援システム等の車載装置で構成される。本実施形態では、端末装置２は、ドライバが所持するスマートフォンで構成されており、例えば、ダッシュボードの固定スタンド（不図示）に設置された状態で使用される場合を中心に説明する。なお、車両１０の車種や用途は任意のものでよく、例えば、家庭用の車両、タクシー、バス、トラック等の商用車、道路管理事業者が管理する車両等のいずれでもよい。

【0014】

端末装置２は、位置センサ２１、カメラ２２、マイク２３、加速度センサ２４等を含むセンサ群２０を備え、車両１０が走行中にセンサ群２０にてそれぞれ取得した位置データ、画像データ、環境音データ、加速度データ等のセンサデータを所定の送信周期で路面判定装置４Ａに送信するとともに、路面判定情報、道路交通情報等を受信する。また、端末装置２は、各種の入力操作を受け付けるとともに、各種のアプリケーションやウェブブラウザ等のプログラムによる表示画面や音声を介して各種の情報（画像データ、路面判定情報、道路交通情報等）を出力する。

【0015】

位置センサ２１は、衛生測位信号を受信するとともに、必要に応じて加速度センサ２４と組み合わせることで、端末装置２（車両１０）の現在位置（緯度、経度）や進行方向を位置データとして計測する。カメラ２２は、車両１０の前方を撮影可能な位置及び向きにて固定スタンドに設置された状態で使用される場合には、車両１０の前方に位置する路面を撮影し、画像データを生成する。マイク２３は、車両１０で使用される場合には、走行中の車両１０の環境音（走行音）を環境音データとして録音する。加速度センサ２４は、例えば、３軸の加速度センサ（３軸の角速度センサをさらに組み合わせたものでもよい）で構成され、車両１０で使用される場合には、走行中の車両１０の加速度を加速度データとして記録する。

【0016】

気象情報提供装置３は、気象庁や気象情報提供事業者等により運営され、気象メッシュ情報を他の装置（例えば、端末装置２、路面判定装置４Ａ、道路交通情報提供装置５等）に提供（送信）する。気象情報提供装置３は、例えば、サーバやクラウドとして機能する汎用又は専用のコンピュータ等で構成される。

【0017】

気象情報提供装置３は、気象メッシュ情報として、現在時刻又は過去時刻における気象実況データと、現在時刻から所定時間後の将来時刻（例えば、１時間後、２時間後等）における気象予報データとを提供する。気象メッシュ情報は、メッシュ状に区切られた地域毎の気象要素として、天候、気温、湿度、降雨量、降雪量（乾雪、湿雪）、日射量、積雪深、風速等を含む。気象メッシュ情報の提供方法は、プル式及びプッシュ式のいずれでもよく、提供対象となる日時、期間、時間間隔、地域等が指定されてもよい。

【0018】

路面判定装置４Ａは、端末装置２からセンサデータ（位置データ、画像データ、環境音データ、加速度データ等）を受信するとともに、気象情報提供装置３から気象メッシュ情報を受信し、それらのデータに基づいて、各地点及び各時点における路面の状態を判定する。路面判定装置４Ａは、その路面の判定結果を示す路面判定情報を他の装置（例えば、端末装置２、道路交通情報提供装置５等）に提供（送信）する。路面判定装置４Ａは、例えば、サーバやクラウドとして機能する汎用又は専用のコンピュータ等で構成される。

【0019】

道路交通情報提供装置５は、道路管理事業者等により運営され、道路交通情報を他の装置（例えば、端末装置２等）に提供（送信）する。道路交通情報提供装置５は、例えば、サーバやクラウドとして機能する汎用又は専用のコンピュータ等で構成される。

【0020】

道路交通情報提供装置５は、道路交通情報として、現在時刻における道路実況データと、現在時刻から所定時間後の将来時刻（例えば、１時間後、２時間後等）における道路予測データとを提供する。道路交通情報は、例えば、各道路の路面の状態、渋滞、事故、工事等に関する道路状況を含むものであり、道路状況を地図上に重畳した状態で提供されてもよい。道路交通情報の提供方法は、プル式及びプッシュ式のいずれでもよく、提供対象となる日時、道路、地域が指定されてもよい。

【0021】

図２は、第１の実施形態に係る路面判定装置４Ａの一例を示すブロック図である。図３は、路面データベース４０１の一例を示すデータ構成図である。

【0022】

路面判定装置４Ａは、ＨＤＤ、ＳＳＤ、メモリ等により構成される記憶部４０と、ＣＰＵ、ＧＰＵ、ＭＰＵ等のプロセッサにより構成される制御部４１と、キーボード、マウス、タッチパネル等により構成される入力部４２と、ディスプレイ、タッチパネル等により構成される表示部４３と、所定の通信規格（有線及び無線のいずれでもよい）に基づくネットワーク６とのインターフェースである通信部４４と、プリンタ、スキャナ、ＵＳＢメモリ等の外部機器とのインターフェースである外部機器インターフェース（Ｉ／Ｆ）部４５と、ＣＤ、ＤＶＤ等の記憶媒体とのインターフェースであるメディア入出力部４６とを備える。なお、入力部４２、表示部４３、外部機器Ｉ／Ｆ部４５、及び、メディア入出力部４６は、適宜省略されてもよい。

【0023】

記憶部４０には、基本プログラムであるオペレーティングシステム（ＯＳ）、路面判定装置４Ａの動作を制御する路面判定プログラム４００、路面判定プログラム４００で使用される各種のデータとして、路面データベース４０１、気象データベース４０２、学習モデル４０３Ａ等が記憶されている。なお、路面判定プログラム４００、及び、路面判定プログラム４００で使用される各種のデータは、基本的には記憶部４０に記憶されているが、これらのプログラムやデータは、通信部４４や外部機器Ｉ／Ｆ部４５を介して外部の記憶装置から取得されてもよいし、メディア入出力部４６を介して記憶媒体から取得されてもよいし、適宜更新されてもよい。

【0024】

路面データベース４０１は、端末装置２から受信したセンサデータ等を記憶するデータベースである。路面データベース４０１は、図３に示すように、各レコードに対して複数のフィールドを有し、各フィールドには、時刻、位置データ、画像データ、環境音データ、加速度データ、路面の状態、及び、路面区分毎の確度に関する情報がそれぞれ登録される。路面の状態（図６参照）、及び、路面区分毎の確度は、路面判定装置４Ａによる路面の判定結果であり、詳細は後述する。

【0025】

気象データベース４０２は、気象情報提供装置３から受信した気象メッシュ情報を記憶するデータベースである。気象データベース４０２には、気象メッシュ情報が随時登録されることで、各地域及び各時刻（過去時刻、現在時刻、将来時刻）における複数の気象要素が蓄積される。気象メッシュ情報は、上記のように、メッシュ状に区切られた地域毎の気象要素として、天候、気温、湿度、降雨量、降雪量（乾雪、湿雪）、日射量、積雪深、風速等を含む。なお、１メッシュ当たりの大きさは、例えば、１ｋｍ四方、５ｋｍ四方、２０ｋｍ四方等であり、気象要素毎に異なる大きさでもよい。また、気象要素の値は、瞬時値でもよいし、時間による積算が可能な気象要素（例えば、降雨量、降雪量等）であれば積算値でもよい。

【0026】

制御部４１は、路面判定プログラム４００を実行することにより、図２に示すように、データ取得部４１０、判定部４１１、及び、情報提供部４１２として機能する。また、判定部４１１は、路面区分分類部４１１０、及び、路面区分補正部４１１１として機能する。

【0027】

図４は、第１の実施形態に係る路面判定装置４Ａの一例を示す機能説明図である。図５は、第１の実施形態に係る学習モデル４０３Ａの一例を示す模式図である。図６は、路面区分の一例を示す模式図である。路面判定装置４Ａは、路面判定方法を実施する主体として動作し、路面判定装置４Ａの各部で行われる処理内容は、路面判定方法の各ステップに相当する。

【0028】

データ取得部４１０は、走行中の車両１０により道路の路面が撮影された判定対象の画像データと、当該画像データが撮影された地点（以下、「判定対象地点」という）及び時刻（以下、「判定対象時刻」という）に関連する付加要素データとを含む路面データを取得する。

【0029】

判定対象の画像データは、端末装置２のカメラ２２により走行中の車両１０のフロントガラス越しに道路の路面が撮影されたデータである。画像データは、カラー画像、グレースケール画像、及び、赤外線等で撮影された画像のいずれでもよいし、二次元画像及び三次元画像のいずれでもよい。また、画像データは、静止画像及び動画像のいずれでもよい。画像データが、所定の撮影周期にてカメラ２２により撮影された静止画像である場合には、データ取得部４１０は、画像データを１つずつ取得してもよいし、複数をまとめて取得してもよい。画像データが、カメラ２２により撮影された動画像である場合には、データ取得部４１０は、動画像が所定の撮影期間にて分割されたときの分割後の画像データを１つずつ取得してもよいし、複数をまとめて取得してもよい。画像データが動画像である場合には、例えば、水しぶきの状況、降雨や降雪の状況のように、動的な情報が画像データに含まれるため、路面の判定精度をより向上させることができる。

【0030】

付加要素データは、例えば、気象データ、環境音データ、加速度データ等である。本実施形態では、付加要素データは、これらの３種類である場合について説明するが、付加要素データは、これらのうち少なくとも１種類でもよいし、判定対象地点及び判定対象時刻に関連するものであれば、他の付加要素データを含むものでもよい。付加要素データが、本実施形態のように、例えば、スマートフォン等の端末装置２に内蔵されたセンサで取得可能なデータである場合には、新たなセンサの設置等が必要ないため、システムの導入コストを抑制することができる。

【0031】

気象データは、判定対象地点（又は当該判定対象地点を含む地域）及び判定対象時刻よりも前の過去時刻から判定対象時刻までの判定対象期間における複数の気象要素（例えば、気温、降雨量、降雪量等）を含むデータである。気象データは、例えば、気象データベース４０２に蓄積された気象メッシュ情報を参照し、画像データが撮影されたときに合わせて取得された位置データに基づく判定対象地点、及び、画像データが撮影された撮影時点に基づく判定対象期間を抽出条件として気象データベース４０２から取得される。なお、気象データは、気象情報提供装置３から直接取得されてもよい。

【0032】

環境音データは、判定対象地点及び判定対象時刻において車両１０が走行中にマイク２３により録音されたデータであり、判定対象時刻の前後を含む所定の録音期間を有する時系列データである。なお、画像データが動画像である場合には、環境音データの録音期間は、その動画像が撮影された撮影期間と同じ時間帯であることが好ましい。

【0033】

加速度データは、判定対象地点及び判定対象時刻において車両１０が走行中に加速度センサ２４により記録されたデータであり、判定対象時刻の前後を含む所定の記録期間を有する時系列データである。なお、画像データが動画像である場合には、加速度データの記録期間は、その動画像が撮影された撮影期間と同じ時間帯であることが好ましい。

【0034】

例えば、データ取得部４１０は、判定対象の画像データと、付加要素データとしての環境音データ及び加速度データとを端末装置２から受信し、路面データベース４０１に登録する。また、データ取得部４１０は、気象情報提供装置３から気象メッシュ情報を受信し、気象データベース４０２に登録する。そして、データ取得部４１０は、例えば、端末装置２から受信した判定対象の画像データに対する判定対象地点（＝位置データ）及び判定対象期間を抽出条件として気象データベース４０２を参照することで、付加要素データとしての気象データを取得する。その結果として、データ取得部４１０は、判定対象の画像データと、付加要素データ（気象データ、環境音データ及び加速度データ）とを含む路面データを取得する。

【0035】

判定部４１１は、データ取得部４１０により取得された路面データに基づいて、当該路面データに含まれる判定対象の画像データが撮影された判定対象地点及び判定対象時点における路面の状態を判定する。本実施形態では、判定部４１１は、機械学習済みの学習モデル４０３Ａ（図５）を用いて路面の状態を判定するものであり、その構成として、路面区分分類部４１１０、及び、路面区分補正部４１１１を備える。また、判定部４１１は、上記のようにして判定した路面の判定結果を路面データベース４０１に登録することで、路面データベース４０１には、路面の判定結果が蓄積される。

【0036】

判定部４１１で用いられる学習モデル４０３Ａは、複数の学習用データを用いて機械学習が行われた学習済みの学習モデルである。学習用データは、教師あり学習における学習用データ（トレーニングデータ）、検証データ及びテストデータとして用いられるデータである。学習モデル４０３Ａは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）で構成される。

【0037】

学習モデル４０３Ａは、図５に示すように、路面が撮影された学習対象の画像データを含む路面データと、当該路面の状態を複数の路面区分に分類したときの分類結果が付与された正解ラベルとで構成される学習用データを用いて機械学習が行われる。すなわち、機械学習の学習フェーズにおいて、学習用データを構成する学習対象の画像データを入力データとして学習モデルに入力することで出力された路面区分の分類結果（出力データ）と、学習用データを構成する路面区分の判定結果（正解ラベル）とを比較し、その比較結果に基づいて畳み込みニューラルネットワークの重み付けパラメータを調整することで、機械学習が行われる。

【0038】

複数の路面区分は、図６に示すように、乾燥、濡れ、水たまり、冠水、湿雪、凍結、及び、圧雪を少なくとも含むものである。本実施形態では、複数の路面区分は、上記の７種類を採用した場合について説明する。学習モデル４０３Ａは、多クラス（本実施形態では、７クラス）の分類器として機能し、路面が複数の路面区分にそれぞれ分類されるときの確度を路面区分毎に出力する。路面区分毎の確度は、所定の範囲（例えば、０～１）の数値にて出力される。なお、路面区分の分類方法や分類数は、図６に示す７種類の例に限られない。

【0039】

路面区分分類部４１１０は、機械学習の推論フェーズを実行する主体であり、図４に示すように、データ取得部４１０により取得された路面データに含まれる判定対象の画像データを、学習済みの学習モデル４０３Ａに入力することにより、路面の状態として、当該路面に対する路面区分の分類結果を出力する。その際、路面区分分類部４１１０は、路面区分の分類結果として、路面が複数の路面区分にそれぞれ分類されるときの確度を路面区分毎に出力する。なお、路面区分分類部４１１０は、画像データを学習モデル４０３Ａに入力する際の前処理として、画像データに対して所定の画像調整処理（例えば、画像フォーマット、画像サイズ、画像フィルタ、画像マスク等）を施してもよい。

【0040】

路面区分補正部４１１１は、路面データに含まれる付加要素データに基づいて、路面区分が発生する発生可能性の有無を路面区分毎に判定し、その路面区分毎の発生可能性の有無に基づいて、路面区分分類部４１１０による路面区分の分類結果を補正する。その際、路面区分補正部４１１１は、路面区分毎の発生可能性の有無に基づいて、複数の路面区分から発生可能性が無しと判定した路面区分を除外し、その除外した後の残りの路面区分毎の確度に基づいて、路面の状態を判定する。

【0041】

例えば、路面データに含まれる付加要素データとして、気象データが取得されている場合には、路面区分補正部４１１１は、その気象データを分析することにより路面区分毎の発生可能性の有無を判定する。また、路面データに含まれる付加要素データとして、環境音データが取得されている場合には、路面区分補正部４１１１は、その環境音データを分析することにより水しぶきの有無を判定し、水しぶきの有無に応じて、路面区分毎の発生可能性の有無を判定する。さらに、路面データに含まれる付加要素データとして、加速度データが取得されている場合には、路面区分補正部４１１１は、その加速度データを分析することによりすべり成分の有無を検出し、すべり成分の有無に応じて、路面区分毎の発生可能性の有無を判定する。

【0042】

そして、路面区分補正部４１１１は、残りの路面区分毎の確度のうち最も確度が高い路面区分を、その路面データが取得された判定対象地点及び判定対象時点における路面の状態として出力する。なお、判定部４１１が、路面区分補正部４１１１を備えないようにしてもよく、その場合には、路面区分分類部４１１０が出力した路面区分毎の確度のうち最も確度が高い路面区分を、その路面の状態として出力すればよい。また、道路管理作業の検討を行う上で確度が高い順に複数の路面区分の可能性が必要な場合には、判定部４１１は、路面区分分類部４１１０が出力した路面区分毎の確度をそのまま出力してもよいし、路面区分補正部４１１１が発生可能性無しと判定した路面区分を除外した後の残りの路面区分毎の確度を出力してもよい。その際、判定部４１１は、路面区分毎の確度に代えて又は加えて路面区分毎の確度をその値が高い順に並べたときの路面区分の確度順位を出力してもよい。

【0043】

以下に、路面区分補正部４１１１が分類結果を補正する場合の３つの具体例について、図７乃至図９を参照して説明する。

【0044】

図７は、判定部４１１による第１の判定例を示す説明図である。第１の判定例では、路面データに含まれる判定対象の画像データが学習モデル４０３Ａに入力された結果として出力された路面区分毎の確度をその値が高い順に並べたときの路面区分の確度順位が、以下に示すような判定結果である場合について説明する。
１：濡れ＞２：冠水＞３：凍結＞４：水たまり＞５：湿雪＞６：乾燥＞７：圧雪

【0045】

まず、路面区分補正部４１１１は、判定対象地点及び判定対象期間における気象データを分析する。その分析結果として、例えば、その判定対象地点の気温が、画像データが撮影された時刻（判定対象時刻）よりも前の過去時刻（例えば、６時間前）からその判定対象時刻まで継続して氷点下の気温である場合には、路面区分補正部４１１１は、「水たまり」、「冠水」の路面分類の発生可能性は無しと判定する。したがって、路面区分補正部４１１１は、「水たまり」、「冠水」の路面分類を除外する。

【0046】

次に、路面区分補正部４１１１は、判定対象地点及び判定対象時刻における環境音データの周波数を分析する。その分析結果として、例えば、環境音データに、水しぶきの音が検出されなかった場合には、路面区分補正部４１１１は、「水たまり」、「冠水」、「湿雪」の路面分類の発生可能性は無しと判定する。ここでは、「水たまり」、「冠水」の路面分類は除外済みのため、路面区分補正部４１１１は、「湿雪」の路面分類を除外する。

【0047】

次に、路面区分補正部４１１１は、判定対象地点及び判定対象時刻における加速度データを分析する。その分析結果として、例えば、加速度データに、すべり成分が検出された場合には、路面区分補正部４１１１は、「乾燥」、「濡れ」、「水たまり」、「冠水」の路面分類の発生可能性は無しと判定する。ここでは、「水たまり」、「冠水」の路面分類は除外済みのため、路面区分補正部４１１１は、「乾燥」、「濡れ」の路面分類を除外する。

【0048】

そして、路面区分補正部４１１１は、複数の路面区分から、上記のようにして、発生可能性が無しと判定した路面区分を除外した後の残りの「凍結」、「圧雪」の路面区分毎の確度における確度順位に基づいて、判定対象地点における路面の状態は、「凍結」の路面区分に分類されると判定する。

【0049】

図８は、判定部４１１による第２の判定例を示す説明図である。第２の判定例では、学習モデル４０３Ａによる路面区分の確度順位が、以下に示すような判定結果である場合について説明する。
１：圧雪＞２：濡れ＞３：湿雪＞４：凍結＞５：冠水＞６：水たまり＞７：乾燥

【0050】

まず、気象データの分析結果として、例えば、判定対象地点の気温が、過去時刻（例えば、６時間前）から判定対象時刻まで継続して所定の凍結判定温度（例えば、３℃）以上である場合には、路面区分補正部４１１１は、「凍結」の路面分類の発生可能性は無しと判定する。したがって、路面区分補正部４１１１は、「凍結」の路面分類を除外する。凍結判定温度は、放射冷却現象を考慮して３℃と設定したが、例えば、路面凍結が想定される０℃から５℃の間の任意の温度と設定されてもよい。

【0051】

次に、環境音データの周波数の分析結果として、例えば、環境音データに、水しぶきの音が検出された場合には、路面区分補正部４１１１は、「乾燥」、「濡れ」、「凍結」、「圧雪」の路面分類の発生可能性は無しと判定する。ここでは、「凍結」の路面分類は除外済みのため、路面区分補正部４１１１は、「乾燥」、「濡れ」、「圧雪」の路面分類を除外する。

【0052】

次に、加速度データの分析結果として、例えば、加速度データに、すべり成分が検出された場合には、路面区分補正部４１１１は、「乾燥」、「濡れ」、「水たまり」、「冠水」の路面分類の発生可能性は無しと判定する。ここでは、「乾燥」、「濡れ」の路面分類は除外済みのため、路面区分補正部４１１１は、「水たまり」、「冠水」の路面分類を除外する。

【0053】

そして、路面区分補正部４１１１は、複数の路面区分から、上記のようにして、発生可能性が無しと判定した路面区分を除外した後の残りの路面区分は、「湿雪」であるため、判定対象地点における路面の状態は、「湿雪」の路面区分に分類されると判定する。

【0054】

図９は、判定部４１１による第３の判定例を示す説明図である。第３の判定例では、学習モデル４０３Ａによる路面区分の確度順位が、以下に示すような判定結果である場合について説明する。
１：凍結＞２：濡れ＞３：冠水＞４：水たまり＞５：湿雪＞６：圧雪＞７：乾燥

【0055】

まず、気象データの分析結果として、例えば、判定対象地点の気温が、過去時刻（例えば、６時間前）から判定対象時刻まで継続して凍結判定温度よりも高く、かつ、その判定対象地点の降雨量が、過去時刻（例えば、２４時間前）から判定対象時刻までの期間に０でない時間帯があり、かつ、その判定対象地点の降雪量が、過去時刻（例えば、２週間前）から判定対象時刻まで継続して０である場合には、路面区分補正部４１１１は、「乾燥」、「凍結」の路面分類の発生可能性は無しと判定する。したがって、路面区分補正部４１１１は、「乾燥」、「凍結」の路面分類を除外する。

【0056】

次に、環境音データの周波数の分析結果として、例えば、環境音データに、水しぶきの音が検出されなかった場合には、路面区分補正部４１１１は、「水たまり」、「冠水」、「湿雪」の路面分類の発生可能性は無しと判定する。したがって、路面区分補正部４１１１は、「水たまり」、「冠水」、「湿雪」の路面分類を除外する。

【0057】

次に、加速度データの分析結果として、例えば、加速度データに、すべり成分が検出されなかった場合には、路面区分補正部４１１１は、「湿雪」、「凍結」、「圧雪」の路面分類の発生可能性は無しと判定する。ここでは、「湿雪」、「凍結」の路面分類は除外済みのため、路面区分補正部４１１１は、「圧雪」の路面分類を除外する。

【0058】

そして、路面区分補正部４１１１は、複数の路面区分から、上記のようにして、発生可能性が無しと判定した路面区分を除外した後の残りの路面区分は、「濡れ」であるため、判定対象地点における路面の状態は、「濡れ」の路面区分に分類されると判定する。

【0059】

なお、図７乃至図９では、路面区分補正部４１１１が、気象データ、環境音データ及び加速度データの順番で付加要素データを分析する場合について説明したが、路面区分補正部４１１１が付加要素データを分析する順番は適宜入れ替えてもよい。また、図７乃至図９では、路面区分補正部４１１１が、気象データ、環境音データ及び加速度データの３種類のデータを分析する場合について説明したが、データ取得部４１０が、付加要素データとして、気象データ、環境音データ及び加速度データのうちの任意の１種類又は２種類のデータを取得したような場合には、路面区分補正部４１１１は、データ取得部４１０により取得された１種類又は２種類のデータを分析するようにしてもよい。

【0060】

情報提供部４１２は、データ取得部４１０により路面データが取得されたことに応じて、当該路面データに対する路面の判定結果を示す路面判定情報を生成し、その路面データに含まれる判定対象の画像データを撮影した端末装置２に提供（送信）する。路面判定情報は、各種のアプリケーションやウェブブラウザ等の任意のプログラムにて取り扱い可能な任意の形式で生成される。

【0061】

また、情報提供部４１２は、判定部４１１による路面の判定結果に基づいて、路面の状態を道路区間別で集計し、道路区間別の路面の状態を含む道路区間別路面判定情報を、面提供情報と同様に任意の形成で生成し、例えば、端末装置２、道路交通情報提供装置５等に提供（送信）する。道路区間は、例えば、道路を所定の距離（例えば、１００ｍ）で区切った場合の各区間である。

【0062】

例えば、情報提供部４１２は、路面データベース４０１を参照することにより道路区間別の路面の状態を集計すればよく、特定の道路区間に対し、複数の地点における路面の判定結果が登録されている場合には、多数決にて最終的な路面の判定結果を決定してもよいし、最新の時刻の判定結果を優先してもよい。また、情報提供部４１２は、路面の判定結果を通行方向別、車線別に集計してもよい。なお、情報提供部４１２は、端末装置２、道路交通情報提供装置５等からの出力要求に応じて道路区間別路面判定情報を出力してもよいし、所定の出力周期にて道路区間別路面判定情報を出力してもよい。

【0063】

図１０及び図１１は、第１の実施形態に係る路面判定システム１の動作の一例を示すフローチャートである。以下では、車両１０の固定スタンドに設置された端末装置２が、その車両１０が道路を走行中にセンサデータ（位置データ、画像データ、環境音データ及び加速度データ）を所定の送信周期で路面判定装置４Ａに送信する場合の動作について説明する。

【0064】

まず、ステップＳ１００において、端末装置２は、所定の送信周期が到来する毎に、その時点（判定対象時点）におけるセンサデータ（位置データ、画像データ、環境音データ及び加速度データ）を路面判定装置４Ａに送信する。なお、画像データの撮影周期が、画像データの送信周期よりも短い場合には、端末装置２は、複数の時点（複数の判定対象時点）の画像データをまとめて送信すればよい。

【0065】

次に、ステップＳ１０１において、路面判定装置４Ａのデータ取得部４１０は、ステップＳ１００にて送信されたセンサデータ（位置データ、画像データ、環境音データ及び加速度データ）を受信することで、判定対象の画像データと、付加要素データとしての環境音データ及び加速度データとを取得する。そして、データ取得部４１０は、それらのデータを路面データベース４０１に登録する。

【0066】

また、ステップＳ１１０において、気象情報提供装置３は、気象メッシュ情報を路面判定装置４Ａに送信する。次に、ステップＳ１１１において、データ取得部４１０は、ステップＳ１１０にて送信された気象メッシュ情報を受信し、気象データベース４０２に登録する。そして、ステップＳ１１２において、データ取得部４１０は、ステップＳ１０１にて受信した位置データに基づく判定対象地点、及び、ステップＳ１０１にて受信した画像データが撮影された撮影時点に基づく判定対象期間を抽出条件として気象データベース４０２を参照することで、付加要素データとしての気象データを取得する。上記ステップＳ１０１、Ｓ１１２の結果として、ステップＳ１２０において、データ取得部４１０は、判定対象の画像データと、付加要素データとしての気象データ、環境音データ及び加速度データとを含む路面データを取得する。

【0067】

次に、ステップＳ１３０（Ｓ１３１～Ｓ１３３）において、判定部４１１は、ステップＳ１２０にて取得された路面データに基づいて、当該路面データに含まれる判定対象の画像データが撮影された地点（判定対象地点）及び時刻（判定対象時刻）における路面の状態を判定し、路面データベース４０１に登録する。

【0068】

具体的には、ステップＳ１３１において、路面区分分類部４１１０は、路面データに含まれる判定対象の画像データを、学習済みの学習モデル４０３Ａに入力することにより、当該路面に対する路面区分の分類結果、すなわち、路面区分毎の確度を出力する。

【0069】

次に、ステップＳ１３２において、路面区分補正部４１１１は、路面データに含まれる付加要素データ（気象データ、環境音データ及び加速度データ）に基づいて、路面区分が発生する発生可能性の有無を路面区分毎に判定する。そして、ステップＳ１３３において、路面区分補正部４１１１は、複数の路面区分から発生可能性が無しと判定した路面区分を除外し、その除外した後の残りの路面区分毎の確度に基づいて、路面の状態を判定する。その結果、路面区分補正部４１１１は、例えば、図７乃至図９に示すように、残りの路面区分毎の確度のうち最も確度が高い路面区分を、その判定対象地点における路面の状態として出力する。

【0070】

次に、ステップＳ１４０において、情報提供部４１２は、ステップＳ１３０にて判定された路面の判定結果を示す路面判定情報を、ステップＳ１０１にて受信したセンサデータの送信元である端末装置２に送信する。そして、ステップＳ１４１において、端末装置２は、ステップＳ１４０にて送信された路面判定情報を受信し、その路面判定情報が示す路面の判定結果を表示画面（図１２）に表示する。

【0071】

図１２は、路面判定情報表示画面１１の一例を示す図である。路面判定情報表示画面１１は、カメラ２２により撮影された画像を表示する画像表示領域１１０と、路面判定情報を表示する判定結果表示領域１１１とを備える。

【0072】

図１２に示す判定結果表示領域１１１は、カメラ２２により撮影された画像データに対する路面の判定結果を示すものであり、判定結果表示領域１１１には、画像データに対する路面の判定結果のうち最も確度が高い路面区分として、「冠水」と判定されたときの状況が表示されている。なお、路面判定情報表示画面１１には、路面の判定結果に基づく情報が付加的に表示されてもよく、例えば、路面の判定結果が「凍結」である場合には、ドライバに注意喚起を促す警告のメッセージやアイコンが表示されてもよい。

【0073】

また、ステップＳ１５０において、情報提供部４１２は、複数の端末装置２から所定の送信周期で送信された画像データ等を受信することに応じて、上記のステップＳ１１０～Ｓ１３３を繰り返し行うことで、路面データベース４０１に蓄積された路面の判定結果を任意の時間間隔（例えば、分単位や時間単位）で道路区間別に集計し、道路区間別の路面の状態を含む道路区間別路面判定情報を生成し、道路交通情報提供装置５に送信する。なお、情報提供部４１２は、道路区間別路面判定情報を端末装置２に送信してもよい。

【0074】

次に、ステップＳ１５１において、道路交通情報提供装置５は、ステップＳ１５０にて送信された道路区間別路面判定情報を受信すると、その道路区間別路面判定情報に、例えば、渋滞、事故、工事等の道路状況を付加することで道路交通情報を生成し、その道路交通情報を複数の端末装置２に送信する。そして、ステップＳ１５２において、複数の端末装置２の各々は、ステップＳ１５１にて送信された道路交通情報を受信し、その道路交通情報が示す道路区間別の路面の判定結果、渋滞、事故、工事等の道路状況を表示画面（図１３）に表示する。

【0075】

図１３は、道路交通情報表示画面１２の一例を示す図である。道路交通情報表示画面１２は、地図上に各種の道路状況（路面区分、渋滞、事故、工事等）を表示する地図表示領域１２０と、路面区分の表示態様を示す凡例を表示する凡例表示領域１２１とを備える。

【0076】

図１３に示す地図表示領域１２０は、道路区間別の路面区分を地図上に重畳して表示するものであり、判定結果表示領域１１１には、端末装置２（車両１０）の現在位置を示すマーク１２０ａが表示されている。道路区間別の路面区分は、路面判定装置４Ａが複数の車両１０が走行することにより収集された画像データに基づく多数の路面の判定結果を集計することで生成されたものである。なお、地図表示領域１２０には、路面判定情報表示画面１１と同様に、路面の判定結果に基づく情報が付加的に表示されてもよいし、路面の判定結果に基づく、端末装置２（車両１０）の目的地までの走行推奨経路が表示されてもよい。

【0077】

以上のようにして、図１０及び図１１に示す一連の動作を終了する。路面判定装置４Ａは、複数の端末装置２から路面データを随時受信することで、上記のような路面判定処理を並行して実行する。なお、上記の各ステップの順序は適宜変更してもよい。

【0078】

したがって、本実施形態に係る路面判定装置４Ａ及び路面判定方法によれば、判定部４１１が、判定対象の画像データと、当該画像データが撮影された地点及び時刻に関連する付加要素データとを含む路面データに基づいて、当該地点及び当該時刻における路面の状態を判定する。そのため、判定部４１１が路面の状態を判定する際に、付加要素データを考慮することで、画像データだけでは判定が困難な状況を補足したり、画像データだけでもある程度の精度を確保できるような状況についてもさらに補強したりすることできる。よって、道路の路面の状態を判定する際の判定精度を向上させることができる。

【0079】

（第２の実施形態）
図１４は、第２の実施形態に係る路面判定装置４Ｂの一例を示す機能説明図である。図１５は、第２の実施形態に係る学習モデル４０３Ｂの一例を示す模式図である。

【0080】

第１の実施形態に係る路面判定装置４Ａは、路面区分分類部４１１０が、路面データに含まれる判定対象の画像データを学習モデル４０３Ａに入力することにより、路面区分の分類結果を出力し、路面区分補正部４１１１が、路面データに含まれる付加要素データに基づいて、その路面区分の分類結果を補正するものである。これに対し、第２の実施形態に係る路面判定装置４Ｂは、路面区分補正部４１１１を省略するとともに、路面区分分類部４１１０が、路面データに含まれる判定対象の画像データ及び付加要素データを学習モデル４０３Ｂに入力することにより、路面区分の分類結果を出力するものである。なお、路面判定システム１の基本的な構成及び動作は、第１の実施形態と同様のため、以下では、相違点を中心に説明する。

【0081】

判定部４１１は、機械学習済みの学習モデル４０３Ｂ（図１５）を用いて路面の状態を判定するものであり、その構成として、路面区分分類部４１１０を備える。

【0082】

判定部４１１で用いられる学習モデル４０３Ｂは、図１５に示すように、路面が撮影された学習対象の画像データ及び付加要素データを含む路面データと、当該路面の状態を複数の路面区分に分類したときの分類結果が付与された正解ラベルとで構成される学習用データを用いて機械学習が行われる。すなわち、機械学習の学習フェーズにおいて、学習用データを構成する学習対象の画像データ及び付加要素データを入力データとして学習モデルに入力することで出力された路面区分の分類結果（出力データ）と、学習用データを構成する路面区分の判定結果（正解ラベル）とを比較し、その比較結果に基づいて畳み込みニューラルネットワークの重み付けパラメータを調整することで、機械学習が行われる。

【0083】

路面区分分類部４１１０は、機械学習の推論フェーズを実行する主体であり、データ取得部４１０により取得された路面データに含まれる判定対象の画像データ及び付加要素データを、学習済みの学習モデル４０３Ｂに入力することにより、路面の状態として、当該路面に対する路面区分の分類結果を出力する。その際、学習モデル４０３Ｂが、路面区分の分類結果として、路面区分毎の確度に出力する場合には、路面区分分類部４１１０は、その路面区分毎の確度のうち最も確度が高い路面区分を、その路面の状態として出力する。なお、路面区分分類部４１１０は、路面区分の分類結果として、路面区分毎の確度を出力してもよいし、その路面区分毎の確度のうち最も確度が高い路面区分を出力してもよい。

【0084】

したがって、本実施形態に係る路面判定装置４Ｂ及び路面判定方法によれば、判定部４１１が、第１の実施形態と同様に、判定対象の画像データと付加要素データとを含む路面データに基づいて、当該地点及び当該時刻における路面の状態を判定する。そのため、判定部４１１が路面の状態を判定する際に、付加要素データを考慮することで、画像データだけでは判定が困難な状況を補足したり、画像データだけでもある程度の精度を確保できるような状況についてもさらに補強したりすることできる。よって、道路の路面の状態を判定する際の判定精度を向上させることができる。

【0085】

（第３の実施形態）
図１６は、第３の実施形態に係る路面判定装置４Ｃの一例を示す機能説明図である。

【0086】

第３の実施形態に係る路面判定装置４Ｃは、第２の実施形態に係る路面区分分類部４１１０及び学習モデル４０３Ｂと、第１の実施形態に係る路面区分補正部４１１１とを組み合わせたものである。なお、路面判定システム１の基本的な構成及び動作は、第１及び第２の実施形態と同様のため、以下では、相違点を中心に説明する。

【0087】

判定部４１１は、機械学習済みの学習モデル４０３Ｂ（図１５）を用いて路面の状態を判定するものであり、その構成として、路面区分分類部４１１０、及び、路面区分補正部４１１１を備える。判定部４１１で用いられる学習モデル４０３Ｂは、第２の実施形態と同様であるため、説明を省略する。

【0088】

路面区分分類部４１１０は、路面データに含まれる判定対象の画像データ及び付加要素データを学習モデル４０３Ｂに入力することにより、路面区分の分類結果として、路面区分毎の確度を出力する。路面区分補正部４１１１は、路面データに含まれる付加要素データに基づいて、路面区分分類部４１１０が出力した路面区分の分類結果を補正する。路面区分補正部４１１１は、第１の実施形態と同様に機能するため、説明を省略する。

【0089】

したがって、本実施形態に係る路面判定装置４Ｃ及び路面判定方法によれば、判定部４１１が、第１及び第２の実施形態と同様に、判定対象の画像データと付加要素データとを含む路面データに基づいて、当該地点及び当該時刻における路面の状態を判定する。そのため、判定部４１１が路面の状態を判定する際に、付加要素データを考慮することで、画像データだけでは判定が困難な状況を補足したり、画像データだけでもある程度の精度を確保できるような状況についてもさらに補強したりすることできる。よって、道路の路面の状態を判定する際の判定精度を向上させることができる。

【0090】

（他の実施形態）
本発明は上述した実施形態に制約されるものではなく、本発明の主旨を逸脱しない範囲内で種々変更して実施することが可能である。そして、それらはすべて、本発明の技術思想に含まれるものである。

【0091】

上記実施形態では、路面判定装置４Ａ～４Ｃのデータ取得部４１０は、車両１０上のカメラ２２（端末装置２）で撮影された画像データを取得する場合について説明したが、道路の路面が撮影された画像データであれば、車両１０上のカメラ２２以外の装置で撮影された画像データを取得するようにしてもよい。例えば、データ取得部４１０は、道路に設置された道路監視装置が備える道路監視カメラで撮影された画像データを取得してもよいし、ドローン等の無人飛行体が備えるドローンカメラで撮影された画像データを取得してもよい。その場合、データ取得部４１０は、道路監視装置又は無人飛行体が備えるセンサ群により検出された付加要素データをさらに取得するようにしてもよい。

【0092】

上記実施形態では、判定部４１１は、学習済みの学習モデル４０３Ａ、４０３Ｂを用いて路面の状態を判定する場合について説明したが、学習モデル４０３Ａ、４０３Ｂは、バッチ学習又はオンライン学習による再学習が行われるものでもよい。その場合、学習用データは、例えば、学習モデル４０３Ａ、４０３Ｂによる路面区分の分類結果が路面区分補正部４１１１により補正された画像データを用いるようにすればよい。また、再学習の処理は、路面判定装置４Ａ～４Ｃにより行われてもよいし、他の装置により行われてもよい。

【0093】

上記実施形態では、学習モデル４０３Ａ、４０３Ｂを用いた機械学習の具体的な手法として、畳み込みニューラルネットワークを採用した場合について説明したが、学習モデル４０３Ａ、４０３Ｂは、任意の他の機械学習の手法を採用してもよい。他の機械学習の手法としては、例えば、決定木、回帰木等のツリー型、バギング、ブースティング等のアンサンブル学習、再帰型ニューラルネットワーク等の他のニューラルネット型(ディープラーニングを含む)、階層型クラスタリング、非階層型クラスタリング、ｋ近傍法、ｋ平均法等のクラスタリング型、主成分分析、因子分析、ロジスティク回帰等の多変量解析、サポートベクターマシン等が挙げられる。

【0094】

上記実施形態では、判定部４１１は、路面データに基づいて、現在時刻における路面の状態を判定する場合について説明したが、路面データが、例えば、所定時間毎（例えば、１時間毎等）の気象予報データのように、将来時刻における付加要素データを含む場合には、将来時刻における路面の状態を予測するようにしてもよい。

【0095】

例えば、学習モデルの入力データに、将来時刻における付加要素データを追加するとともに、学習モデルの出力データに、将来時刻における路面区分の分類結果を追加することで、路面区分分類部４１１０は、路面データに含まれる判定対象の画像データ及び現在時刻及び将来時刻における付加要素データを学習モデルに入力することにより、路面の状態として、現在時刻及び将来時刻における路面区分の分類結果を出力するようにしてもよい。そして、路面区分補正部４１１１は、路面データに含まれる現在時刻及び将来時刻における付加要素データに基づいて、現在時刻及び将来時刻における路面区分毎の発生可能性の有無を判定し、その判定結果に基づいて、路面区分分類部４１１０による現在時刻及び将来時刻における路面区分の分類結果を補正するようにしてもよい。また、路面判定装置４Ａ～４Ｃの制御部４１が、学習モデル４０３Ａ、４０３Ｂによる現在時刻における路面区分の分類結果と、将来時刻における付加要素データ（例えば、所定時間毎の気象予報データ）とに基づいて、将来時刻における路面の状態を予測する路面区分予測部をさらに備えるようにしてもよい。

【0096】

上記実施形態では、路面区分補正部４１１１が、路面区分分類部４１１０による路面区分の分類結果を補正する場合について説明したが、外部の装置から、時刻、位置、及び路面区分の分類結果（路面区分毎の確度）を受け付けて、その受け付けた路面区分の分類結果を補正し、その結果を外部の装置に送り返すようにしてもよい。路面区分補正部４１１１は、例えば、外部の装置から受け付けた時刻及び位置に基づいて気象データを抽出し、その気象データに基づいて発生可能性の有無を路面区分毎に判定することで、路面区分毎の確度を補正すればよい。その際、補正の結果は、例えば、外部の装置から受け付けた路面区分毎の確度に対して、発生可能性無しと判定した路面区分の確度を０に修正したものでもよいし、発生可能性無しと判定した路面区分を除外した後の残りの路面区分毎の確度のうち最も確度が高い路面区分を表すものでもよい。

【0097】

上記実施形態では、情報提供部４１２は、路面判定情報や道路区間別路面判定情報を、例えば、端末装置２、道路交通情報提供装置５等に提供する場合について説明したが、路面の判定結果に基づく提供情報であれば、他の情報（例えば、地図、交通、防災、人流、物流等）と組み合わせた提供情報を提供するようにしてもよい。その場合、提供情報の提供先の装置としては、上記の例に限られず、任意の装置に提供可能である。

【0098】

上記実施形態では、路面判定装置４Ａ～４Ｃの制御部４１が、路面判定プログラム４００を実行することにより、データ取得部４１０、判定部４１１、及び、情報提供部４１２として機能する場合について説明したが、端末装置２、道路交通情報提供装置５、車載装置、車両（車両制御装置）、道路監視装置又は無人飛行体、等の各装置が備える制御部が、路面判定プログラム４００を実行することにより、路面判定装置４Ａ～４Ｃと同様に機能するようにしてもよいし、データ取得部４１０、判定部４１１、及び、情報提供部４１２のうちの一部として機能するようにしてもよい。その場合、路面データベース４０１、気象データベース４０２、及び、学習モデル４０３Ａは、各装置の記憶部に記憶されてもよいし、外部の装置に記憶されてもよい。

【0099】

上記実施形態では、路面判定プログラム４００は、記憶部４０に記憶されたものとして説明した。これに対し、路面判定プログラム４００は、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、ＤＶＤ等のコンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、路面判定プログラム４００は、外部の装置からネットワーク６経由でダウンロードさせることにより提供されてもよい。また、判定部４１１で用いられる各種の学習モデルは、記憶部４０に記憶されていてもよいし、外部の装置に記憶されて、ネットワーク６経由でアクセスしてもよい。

【符号の説明】

【0100】

１…路面判定システム、２…端末装置、３…気象情報提供装置、
４Ａ～４Ｃ…路面判定装置、５…道路交通情報提供装置、６…ネットワーク、
１０…車両、１１…路面判定情報表示画面、１２…道路交通情報表示画面、
２０…センサ群、２１…位置センサ、２２…カメラ、２３…マイク、
２４…加速度センサ、
４０…記憶部、４１…制御部、４２…入力部、４３…表示部、４４…通信部、
４５…外部機器Ｉ／Ｆ部、４６…メディア入出力部、
１１０…画像表示領域、１１１…判定結果表示領域、
１２０…地図表示領域、１２１…凡例表示領域、
４００…路面判定プログラム、４０１…路面データベース、
４０２…気象データベース、４０３Ａ、４０３Ｂ…学習モデル、
４１０…データ取得部、４１１…判定部、４１２…情報提供部、
４１１０…路面区分分類部、４１１１…路面区分補正部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】