特開 2022-181641 路面状態判定装置、路面状態判定システム、車両、路面状態判定方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022181641

(43)【公開日】2022-12-08

(54)【発明の名称】路面状態判定装置、路面状態判定システム、車両、路面状態判定方法、及びプログラム

(51)【国際特許分類】

   G01W 1/00 20060101AFI20221201BHJP

【ＦＩ】

G01W1/00 J

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021088688

(22)【出願日】2021-05-26

(71)【出願人】

【識別番号】000005278

【氏名又は名称】株式会社ブリヂストン

(71)【出願人】

【識別番号】597010972

【氏名又は名称】株式会社ネクスコ・エンジニアリング北海道

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100186015

【弁理士】

【氏名又は名称】小松 靖之

(74)【代理人】

【識別番号】100176728

【弁理士】

【氏名又は名称】北村 慎吾

(72)【発明者】

【氏名】岩▲崎▼ 悠志

(72)【発明者】

【氏名】高橋 翔

(72)【発明者】

【氏名】萩原 亨

(72)【発明者】

【氏名】大廣 智則

(57)【要約】

【課題】画像による路面状態判定の精度を向上させる。
【解決手段】路面状態判定装置は、道路を走行する車両に取り付けられた画像センサにより前記道路の複数の区間を撮像して得られた区間ごとの画像データに基づいて、区間ごとの路面状態の識別結果を取得し、前記複数の区間のそれぞれを第１区間、前記第１区間の前、後、又は前後にある少なくとも１つの区間を第２区間としたとき、前記第１区間の路面状態の識別結果である第１識別結果と、前記第２区間の路面状態の識別結果である第２識別結果とを参照して、前記第１区間の路面状態を判定する制御部を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

道路を走行する車両に取り付けられた画像センサにより前記道路の複数の区間を撮像して得られた区間ごとの画像データに基づいて、区間ごとの路面状態の識別結果を取得し、前記複数の区間のそれぞれを第１区間、前記第１区間の前、後、又は前後にある少なくとも１つの区間を第２区間としたとき、前記第１区間の路面状態の識別結果である第１識別結果と、前記第２区間の路面状態の識別結果である第２識別結果とを参照して、前記第１区間の路面状態を判定する制御部を備える路面状態判定装置。

【請求項2】

前記制御部は、区間ごとの画像データを、路面状態を識別するための識別モデルに入力することで、区間ごとの路面状態の識別結果を前記識別モデルから取得する請求項１に記載の路面状態判定装置。

【請求項3】

区間ごとの路面状態の識別結果は、区間ごとの路面状態が複数のクラスのそれぞれに該当する確率を含み、
前記制御部は、前記第１識別結果及び前記第２識別結果に含まれる確率を比較することで、前記第１区間の路面状態が該当するクラスを判定する請求項２に記載の路面状態判定装置。

【請求項4】

前記制御部は、前記第１識別結果及び前記第２識別結果のうち、最も多くの識別結果において確率が最も高いクラスを、前記第１区間の路面状態が該当するクラスとして判定する請求項３に記載の路面状態判定装置。

【請求項5】

前記制御部は、前記第１識別結果及び前記第２識別結果において確率の平均が最も高いクラスを、前記第１区間の路面状態が該当するクラスとして判定する請求項３に記載の路面状態判定装置。

【請求項6】

前記制御部は、前記道路が撮像されたときの気象を示す気象データを取得し、取得した気象データに基づいて、前記第１識別結果及び前記第２識別結果のそれぞれに含まれる確率にクラスごとの重み付けを行う請求項３から請求項５のいずれか１項に記載の路面状態判定装置。

【請求項7】

前記識別モデルは、機械学習を行った学習済みモデルを含む請求項２から請求項６のいずれか１項に記載の路面状態判定装置。

【請求項8】

請求項１から請求項７のいずれか１項に記載の路面状態判定装置と、
前記画像センサと
を備える路面状態判定システム。

【請求項9】

請求項８に記載の路面状態判定システムを備える車両。

【請求項10】

道路を走行する車両に取り付けられた画像センサにより前記道路の複数の区間を撮像し、
撮像画像として得られた区間ごとの画像データに基づいて、区間ごとの路面状態の識別結果をコンピュータにより取得し、
前記複数の区間のそれぞれを第１区間、前記第１区間の前、後、又は前後にある少なくとも１つの区間を第２区間としたとき、前記第１区間の路面状態の識別結果である第１識別結果と、前記第２区間の路面状態の識別結果である第２識別結果とを前記コンピュータにより参照して、前記第１区間の路面状態を判定する路面状態判定方法。

【請求項11】

道路を走行する車両に取り付けられた画像センサにより前記道路の複数の区間を撮像して得られた区間ごとの画像データに基づいて、区間ごとの路面状態の識別結果を取得する処理と、
前記複数の区間のそれぞれを第１区間、前記第１区間の前、後、又は前後にある少なくとも１つの区間を第２区間としたとき、前記第１区間の路面状態の識別結果である第１識別結果と、前記第２区間の路面状態の識別結果である第２識別結果とを参照して、前記第１区間の路面状態を判定する処理と
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、路面状態判定装置、路面状態判定システム、車両、路面状態判定方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、車両に搭載され、路面状態を判定する装置が開示されている。この装置は、車両位置と地図情報とに基づいて路面の舗装種別を検出し、舗装種別と走行音とに対応する第１の路面状態を判定し、舗装種別と路面画像とに対応する第２の路面状態を判定し、第１の路面状態又は第２の路面状態を他の装置に出力する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７－３０９８３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像による路面状態判定では、画像によっては、光の加減、又は道路上の物体の写り込みなどの要因により正確な判定ができない場合がある。

【0005】

本開示の目的は、画像による路面状態判定の精度を向上させることである。

【課題を解決するための手段】

【0006】

本開示の一態様としての路面状態判定装置は、道路を走行する車両に取り付けられた画像センサにより前記道路の複数の区間を撮像して得られた区間ごとの画像データに基づいて、区間ごとの路面状態の識別結果を取得し、前記複数の区間のそれぞれを第１区間、前記第１区間の前、後、又は前後にある少なくとも１つの区間を第２区間としたとき、前記第１区間の路面状態の識別結果である第１識別結果と、前記第２区間の路面状態の識別結果である第２識別結果とを参照して、前記第１区間の路面状態を判定する制御部を備える。
本態様によれば、画像による路面状態判定の精度が向上する。

【0007】

本開示の一実施形態として、前記制御部は、区間ごとの画像データを、路面状態を識別するための識別モデルに入力することで、区間ごとの路面状態の識別結果を前記識別モデルから取得する。
本実施形態によれば、画像による路面状態判定の効率が向上する。

【0008】

本開示の一実施形態として、区間ごとの路面状態の識別結果は、区間ごとの路面状態が複数のクラスのそれぞれに該当する確率を含み、前記制御部は、前記第１識別結果及び前記第２識別結果に含まれる確率を比較することで、前記第１区間の路面状態が該当するクラスを判定する。
本実施形態によれば、第１区間の路面状態の誤判定を防止しやすくなる。

【0009】

本開示の一実施形態として、前記制御部は、前記第１識別結果及び前記第２識別結果のうち、最も多くの識別結果において確率が最も高いクラスを、前記第１区間の路面状態が該当するクラスとして判定する。
本実施形態によれば、第１区間の路面状態の識別結果を補正することができる。

【0010】

本開示の一実施形態として、前記制御部は、前記第１識別結果及び前記第２識別結果において確率の平均が最も高いクラスを、前記第１区間の路面状態が該当するクラスとして判定する。
本実施形態によれば、第１区間の路面状態の識別結果を補正することができる。

【0011】

本開示の一実施形態として、前記制御部は、前記道路が撮像されたときの気象を示す気象データを取得し、取得した気象データに基づいて、前記第１識別結果及び前記第２識別結果のそれぞれに含まれる確率にクラスごとの重み付けを行う。
本実施形態によれば、画像による路面状態判定の精度が更に向上する。

【0012】

本開示の一実施形態として、前記識別モデルは、機械学習を行った学習済みモデルを含む。
本実施形態によれば、多くのデータを識別モデルに学習させることで、画像による路面状態判定の精度を向上させることができる。

【0013】

本開示の一態様としての路面状態判定システムは、前記路面状態判定装置と、前記画像センサとを備える。
本態様によれば、画像による路面状態判定の精度が向上する。

【0014】

本開示の一態様としての車両は、前記路面状態判定システムを備える。
本態様によれば、画像による路面状態判定を車両で行うことができる。

【0015】

本開示の一態様としての路面状態判定方法は、道路を走行する車両に取り付けられた画像センサにより前記道路の複数の区間を撮像し、撮像画像として得られた区間ごとの画像データに基づいて、区間ごとの路面状態の識別結果をコンピュータにより取得し、前記複数の区間のそれぞれを第１区間、前記第１区間の前、後、又は前後にある少なくとも１つの区間を第２区間としたとき、前記第１区間の路面状態の識別結果である第１識別結果と、前記第２区間の路面状態の識別結果である第２識別結果とを前記コンピュータにより参照して、前記第１区間の路面状態を判定する、というものである。
本態様によれば、画像による路面状態判定の精度が向上する。

【0016】

本開示の一態様としてのプログラムは、道路を走行する車両に取り付けられた画像センサにより前記道路の複数の区間を撮像して得られた区間ごとの画像データに基づいて、区間ごとの路面状態の識別結果を取得する処理と、前記複数の区間のそれぞれを第１区間、前記第１区間の前、後、又は前後にある少なくとも１つの区間を第２区間としたとき、前記第１区間の路面状態の識別結果である第１識別結果と、前記第２区間の路面状態の識別結果である第２識別結果とを参照して、前記第１区間の路面状態を判定する処理とをコンピュータに実行させる。
本態様によれば、画像による路面状態判定の精度が向上する。

【発明の効果】

【0017】

本開示によれば、画像による路面状態判定の精度が向上する。

【図面の簡単な説明】

【0018】

【図1】本開示の実施形態に係る路面状態判定システムの構成を示す図である。

【図2】本開示の実施形態に係る路面状態判定の手順を示す図である。

【図3】本開示の実施形態に係る区間ごとの画像データ、及び区間ごとの路面状態の識別結果の例を示す図である。

【図4】本開示の実施形態に係る路面状態判定装置の構成を示すブロック図である。

【図5】本開示の実施形態に係る路面状態判定システムの動作を示すフローチャートである。

【図6】本開示の実施形態に係る路面状態判定装置の動作の一例を示すフローチャートである。

【図7】本開示の実施形態に係る路面状態判定装置の動作の別の例を示すフローチャートである。

【発明を実施するための形態】

【0019】

以下、本開示の一実施形態について、図を参照して説明する。

【0020】

各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。

【0021】

図１を参照して、本実施形態に係る路面状態判定システム１０の構成を説明する。

【0022】

路面状態判定システム１０は、路面状態判定装置２０と、画像センサ３０とを備える。

【0023】

路面状態判定装置２０は、コンピュータである。路面状態判定装置２０は、本実施形態ではＰＣであるが、スマートフォン若しくはタブレットなどのモバイル機器、クラウドコンピューティングシステム若しくはその他のコンピューティングシステムに属するサーバ機器、又は専用機器であってもよい。「ＰＣ」は、personal computerの略語である。

【0024】

画像センサ３０は、道路１１を走行する車両５０に取り付けられる。具体的には、画像センサ３０は、車両５０の前方を撮像できるように、車両５０の前方に向けてダッシュボード上又はバックミラー近傍に取り付けられる。画像センサ３０は、例えば、ＣＭＯＳセンサ、ＣＣＤセンサ、又はこれらのいずれかを内蔵したカメラである。「ＣＭＯＳ」は、complementary metal oxide semiconductorの略語である。「ＣＣＤ」は、charge coupled deviceの略語である。画像センサ３０は後方を撮像できるようにしてもよい。

【0025】

車両５０は、例えば、ガソリン車、ディーゼル車、ＨＶ、ＰＨＶ、ＥＶ、又はＦＣＶなどの任意の種類の自動車である。「ＨＶ」は、hybrid vehicleの略語である。「ＰＨＶ」は、plug-in hybrid vehicleの略語である。「ＥＶ」は、electric vehicleの略語である。「ＦＣＶ」は、fuel cell vehicleの略語である。

【0026】

図１及び図２を参照して、本実施形態の概要を説明する。

【0027】

画像センサ３０は、道路１１の複数の区間を撮像する。路面状態判定装置２０は、撮像画像として得られた区間ごとの画像データ６０に基づいて、区間ごとの路面状態の識別結果を取得する。具体的には、路面状態判定装置２０は、区間ごとの画像データ６０を識別モデル７０に入力することで、区間ごとの路面状態の識別結果を識別モデル７０から取得する。路面状態判定装置２０は、複数の区間のそれぞれを第１区間、第１区間の前、後、又は前後にある少なくとも１つの区間を第２区間としたとき、第１区間の路面状態の識別結果である第１識別結果と、第２区間の路面状態の識別結果である第２識別結果とを参照して、第１区間の路面状態を判定する。したがって、本実施形態によれば、画像による路面状態判定の精度が向上する。

【0028】

識別モデル７０は、路面状態を識別するための任意の識別モデルでよいが、本実施形態では、機械学習を行った学習済みモデルを含む。例えば、過去に画像センサ３０により得られた画像データに実際の路面状態をラベルとして紐付けることで、機械学習用の教師データを作成することができる。そして、この教師データを用いて、ニューラルネットワーク又はディープラーニングなど、既知の機械学習アルゴリズムによる機械学習を行うことで、識別モデル７０としての学習済みモデルを生成することができる。本実施形態によれば、多くのデータを識別モデル７０に学習させることで、画像による路面状態判定の精度を向上させることができる。

【0029】

本実施形態では、識別モデル７０は、区間ごとの路面状態の識別結果として、ラベルごとの確率を出力する。ラベルごとの確率とは、路面状態が各ラベルに対応するクラスに該当する確率のことである。すなわち、本実施形態では、区間ごとの路面状態の識別結果は、区間ごとの路面状態が複数のクラスのそれぞれに該当する確率を含む。

【0030】

本実施形態では、複数のクラスとして、「乾燥」、「半湿」、「潤湿」、「シャーベット」、「積雪」、「圧雪」、及び「凍結」という７つのクラスが定義されるが、これら７つのクラスの代わりに、「乾燥」、「半湿」、「潤湿」、「シャーベット」、及び「雪」の５つのクラスなど、任意の２つ以上のクラスが定義されてよい。

【0031】

図３は、区間ごとの画像データ６０の例として、第１区間画像６１、前区間画像６２、及び後区間画像６３を示している。各区間の長さは、１０メートルなどの一定距離に設定されている。ある区間を第１区間、第１区間の前後１つずつの区間を第２区間としたとき、第１区間画像６１は、第１区間を撮像して得られた画像の例である。前区間画像６２は、第１区間の１つ前の区間を撮像して得られた画像の例である。後区間画像６３は、第１区間の１つ後の区間を撮像して得られた画像の例である。

【0032】

図３は、区間ごとの路面状態の識別結果の例として、第１区間画像６１、前区間画像６２、及び後区間画像６３が識別モデル７０に入力されたときに識別モデル７０からそれぞれ出力された識別結果を更に示している。第１区間画像６１に対応する識別結果に含まれる「潤湿」及び「乾燥」の確率はそれぞれ３０％及び５０％である。第１区間画像６１に対応する識別結果に含まれる他のラベルの確率がいずれも３０％より低いとすると、第１区間の路面状態は乾燥状態である可能性が高いと考えられる。しかし、前区間画像６２に対応する識別結果に含まれる「潤湿」の確率が９０％であるため、第１区間の１つ前の区間の路面状態は潤湿状態である可能性が非常に高い。後区間画像６３に対応する識別結果に含まれる「潤湿」の確率も９０％であるため、第１区間の１つ後の区間の路面状態も潤湿状態である可能性が非常に高い。よって、第１区間の路面状態も潤湿状態である可能性が高くなる。実際に、図３に示した第１区間画像６１にはワイパーが写り込んでおり、第１区間の路面状態の識別結果に悪影響が生じたと考えられる。

【0033】

本実施形態では、第１区間の路面状態判定時に、第１区間画像６１に対応する識別結果だけでなく、前区間画像６２に対応する識別結果、後区間画像６３に対応する識別結果、又はこれらの両方が参照される。したがって、第１区間の路面状態の誤判定を防止しやすくなる。

【0034】

図４を参照して、本実施形態に係る路面状態判定装置２０の構成を説明する。

【0035】

路面状態判定装置２０は、制御部２１と、記憶部２２と、通信部２３と、入力部２４と、出力部２５とを備える。

【0036】

制御部２１は、少なくとも１つのプロセッサ、少なくとも１つのプログラマブル回路、少なくとも１つの専用回路、又はこれらの任意の組合せを含む。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「ＣＰＵ」は、central processing unitの略語である。「ＧＰＵ」は、graphics processing unitの略語である。プログラマブル回路は、例えば、ＦＰＧＡである。「ＦＰＧＡ」は、field-programmable gate arrayの略語である。専用回路は、例えば、ＡＳＩＣである。「ＡＳＩＣ」は、application specific integrated circuitの略語である。制御部２１は、路面状態判定装置２０の各部を制御しながら、路面状態判定装置２０の動作に関わる処理を実行する。

【0037】

記憶部２２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらの任意の組合せを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。「ＲＡＭ」は、random access memoryの略語である。「ＲＯＭ」は、read only memoryの略語である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。「ＳＲＡＭ」は、static random access memoryの略語である。「ＤＲＡＭ」は、dynamic random access memoryの略語である。ＲＯＭは、例えば、ＥＥＰＲＯＭである。「ＥＥＰＲＯＭ」は、electrically erasable programmable read only memoryの略語である。記憶部２２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部２２には、路面状態判定装置２０の動作に用いられるデータと、路面状態判定装置２０の動作によって得られたデータとが記憶される。

【0038】

通信部２３は、少なくとも１つの通信用インタフェースを含む。通信用インタフェースは、例えば、ＬＡＮインタフェース、ＬＴＥ、４Ｇ規格、若しくは５Ｇ規格などの移動通信規格に対応したインタフェース、又はBluetooth（登録商標）などの近距離無線通信規格に対応したインタフェースである。「ＬＡＮ」は、local area networkの略語である。「ＬＴＥ」は、Long Term Evolutionの略語である。「４Ｇ」は、4th generationの略語である。「５Ｇ」は、5th generationの略語である。通信部２３は、路面状態判定装置２０の動作に用いられるデータを受信し、また路面状態判定装置２０の動作によって得られるデータを送信する。

【0039】

入力部２４は、少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、カメラ、又はマイクロフォンである。入力部２４は、路面状態判定装置２０の動作に用いられるデータを入力する操作を受け付ける。入力部２４は、路面状態判定装置２０に備えられる代わりに、外部の入力機器として路面状態判定装置２０に接続されてもよい。接続用インタフェースとしては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの規格に対応したインタフェースを用いることができる。「ＵＳＢ」は、Universal Serial Busの略語である。「ＨＤＭＩ（登録商標）」は、High-Definition Multimedia Interfaceの略語である。

【0040】

出力部２５は、少なくとも１つの出力用インタフェースを含む。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。「ＬＣＤ」は、liquid crystal displayの略語である。「ＥＬ」は、electro luminescenceの略語である。出力部２５は、路面状態判定装置２０の動作によって得られるデータを出力する。出力部２５は、路面状態判定装置２０に備えられる代わりに、外部の出力機器として路面状態判定装置２０に接続されてもよい。接続用インタフェースとしては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの規格に対応したインタフェースを用いることができる。

【0041】

路面状態判定装置２０の機能は、本実施形態に係るプログラムを、制御部２１としてのプロセッサで実行することにより実現される。すなわち、路面状態判定装置２０の機能は、ソフトウェアにより実現される。プログラムは、路面状態判定装置２０の動作をコンピュータに実行させることで、コンピュータを路面状態判定装置２０として機能させる。すなわち、コンピュータは、プログラムに従って路面状態判定装置２０の動作を実行することにより路面状態判定装置２０として機能する。

【0042】

プログラムは、非一時的なコンピュータ読取り可能な媒体に記憶しておくことができる。非一時的なコンピュータ読取り可能な媒体は、例えば、フラッシュメモリ、磁気記録装置、光ディスク、光磁気記録媒体、又はＲＯＭである。プログラムの流通は、例えば、プログラムを記憶したＳＤカード、ＤＶＤ、又はＣＤ－ＲＯＭなどの可搬型媒体を販売、譲渡、又は貸与することによって行う。「ＳＤ」は、Secure Digitalの略語である。「ＤＶＤ」は、digital versatile discの略語である。「ＣＤ－ＲＯＭ」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。

【0043】

コンピュータは、例えば、可搬型媒体に記憶されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、application service providerの略語である。プログラムは、電子計算機による処理の用に供する情報であってプログラムに準ずるものを含む。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。

【0044】

路面状態判定装置２０の一部又は全ての機能が、制御部２１としてのプログラマブル回路又は専用回路により実現されてもよい。すなわち、路面状態判定装置２０の一部又は全ての機能が、ハードウェアにより実現されてもよい。

【0045】

図５を参照して、本実施形態に係る路面状態判定システム１０の動作を説明する。この動作は、本実施形態に係る路面状態判定方法に相当する。

【0046】

ステップＳ１の処理は、１０メートルなど、車両５０が走行する一定距離の区間ごとに実行される。ステップＳ２からステップＳ４の処理も区間ごとに実行される。ステップＳ２からステップＳ４の処理は、本実施形態では、道路１１の複数の区間の全てについてステップＳ１の処理が実行された後に実行されるが、１つ以上の区間についてステップＳ１の処理が実行された後、残りの区間についてステップＳ１の処理が実行されるのと並行して実行されてもよい。本実施形態の一変形例として、ステップＳ１の処理は、一定時間ごとに実行されてもよい。

【0047】

ステップＳ１において、画像センサ３０は、道路１１の各区間を撮像する。撮像画像として得られた画像データ６０は、車両５０に搭載されたフラッシュメモリ又は磁気記録装置などの媒体に記憶されるか、又は車両５０に搭載された通信機により、インターネットなどのネットワークを介して外部に送信される。路面状態判定装置２０の制御部２１は、通信部２３、又はＵＳＢなどの規格に対応した他のインタフェースを介して、車両５０に搭載された媒体に記憶された画像データ６０を取得する。あるいは、制御部２１は、通信部２３を介して、車両５０に搭載された通信機により送信された画像データ６０を受信することで、画像データ６０を取得する。

【0048】

複数の区間のそれぞれを第１区間、第１区間の前、後、又は前後にある少なくとも１つの区間を第２区間とする。どの区間を第２区間とするか、及びいくつの区間を第２区間とするかは、任意に定められてよいが、本実施形態では、最初に撮像された区間が第１区間である場合は、第１区間の１つ後の区間を第２区間とする。最後に撮像された区間が第１区間である場合は、第１区間の１つ前の区間を第２区間とする。それ以外の場合は、第１区間の１つ前の区間と、第１区間の１つ後の区間とをそれぞれ第２区間とする。

【0049】

ステップＳ２において、路面状態判定装置２０の制御部２１は、ステップＳ１で得られた第１区間の画像データ６０に基づいて第１識別結果を取得する。具体的には、制御部２１は、第１区間の路面画像を、ステップＳ１で取得した第１区間の画像データ６０から抽出する。路面画像を抽出する方法としては、固定ピクセル数の領域を路面画像として切り出す方法、画像解析を行って認識された路面領域を路面画像として切り出す方法、又は機械学習を用いて識別された路面領域を路面画像として切り出す方法など、任意の方法が用いられてよい。路面画像が車線ごとに切り出されてもよい。制御部２１は、抽出した第１区間の路面画像を、路面状態を識別するための識別モデル７０に入力することで、第１区間の路面状態の識別結果を第１識別結果として識別モデル７０から取得する。本実施形態では、第１識別結果は、第１区間の路面状態が「乾燥」、「半湿」、「潤湿」、「シャーベット」、「積雪」、「圧雪」、及び「凍結」という７つのクラスのそれぞれに該当する確率を含む。

【0050】

ステップＳ３において、路面状態判定装置２０の制御部２１は、ステップＳ１で得られた第２区間の画像データ６０に基づいて第２識別結果を取得する。具体的には、第１区間の画像データ６０についてステップＳ２で実行された処理と同じ処理が、第２区間の画像データ６０について実行される。すなわち、第２区間の路面画像を、ステップＳ１で取得した第２区間の画像データ６０から抽出する。制御部２１は、抽出した第２区間の路面画像を識別モデル７０に入力することで、第２区間の路面状態の識別結果を第２識別結果として識別モデル７０から取得する。本実施形態では、第２識別結果は、第２区間の路面状態が「乾燥」、「半湿」、「潤湿」、「シャーベット」、「積雪」、「圧雪」、及び「凍結」という７つのクラスのそれぞれに該当する確率を含む。

【0051】

本実施形態では、最初に撮像された区間が第１区間である場合以外は、第１区間の路面状態の識別結果が、第１区間の１つ前の区間を第１区間としたときに実行されたステップＳ３の処理で第２識別結果として既に取得されている。そのため、ステップＳ２において、路面状態判定装置２０の制御部２１は、単にその識別結果を第１識別結果として取得してもよい。

【0052】

本実施形態では、２番目に撮像された区間が第１区間である場合は、第１区間の１つ前の区間の路面状態の識別結果が、第１区間の１つ前の区間を第１区間としたときに実行されたステップＳ２の処理で第１識別結果として既に取得されている。そのため、ステップＳ３において、路面状態判定装置２０の制御部２１は、単にその識別結果を第２識別結果として取得してもよい。最初に撮像された区間が第１区間である場合、及び２番目に撮像された区間が第１区間である場合以外は、第１区間の１つ前の区間の路面状態の識別結果が、第１区間の２つ前の区間を第１区間としたときに実行されたステップＳ３の処理で第２識別結果として既に取得されている。そのため、ステップＳ３において、路面状態判定装置２０の制御部２１は、単にその識別結果を第２識別結果として取得してもよい。

【0053】

ステップＳ４において、路面状態判定装置２０の制御部２１は、ステップＳ２及びステップＳ３でそれぞれ取得した第１識別結果及び第２識別結果を参照して、路面状態を判定する。具体的には、制御部２１は、第１識別結果及び第２識別結果に含まれる確率を比較することで、第１区間の路面状態が該当するクラスを判定する。

【0054】

ステップＳ４の処理の一例として、路面状態判定装置２０の制御部２１は、第１識別結果及び第２識別結果のうち、最も多くの識別結果において確率が最も高いクラスを、第１区間の路面状態が該当するクラスとして判定する。この処理は、任意の手順で実行されてよいが、例えば、図６に示すような手順で実行される。

【0055】

図６のステップＳ４０１において、制御部２１は、カウンタｉを１に設定する。ステップＳ４０２において、制御部２１は、ラベルＬｉの票数を記録するＶｉを０に設定する。ステップＳ４０３において、制御部２１は、カウンタｊを１に設定する。

【0056】

図６のステップＳ４０４において、制御部２１は、第１識別結果及び第２識別結果のうち、ｊ番目に撮像された区間の識別結果においてラベルＬｉの確率が最も高いかどうかを判定する。本実施形態では、ラベルＬ１は「乾燥」、ラベルＬ２は「半湿」、ラベルＬ３は「潤湿」、ラベルＬ４は「シャーベット」、ラベルＬ５は「積雪」、ラベルＬ６は「圧雪」、ラベルＬ７は「凍結」である。ｊ番目に撮像された区間の識別結果においてラベルＬｉの確率が最も高い場合、ステップＳ４０５において、制御部２１は、Ｖｉを１インクリメントする。ｊ番目に撮像された区間の識別結果においてラベルＬｉとは別のラベルの確率が最も高い場合、ステップＳ４０５の処理がスキップされる。

【0057】

図６のステップＳ４０６において、制御部２１は、カウンタｊがステップＳ２及びステップＳ３で取得した識別結果の数よりも小さいかどうかを判定する。本実施形態では、識別結果の数は３である。カウンタｊが識別結果の数よりも小さい場合、ステップＳ４０７において、制御部２１は、カウンタｊを１インクリメントする。そして、ステップＳ４０４の処理が再び実行される。カウンタｊが識別結果の数と同じ場合、ステップＳ４０８の処理が実行される。

【0058】

図６のステップＳ４０８において、制御部２１は、カウンタｉがクラスの数よりも小さいかどうかを判定する。本実施形態では、クラスの数は７である。カウンタｉがクラスの数よりも小さい場合、ステップＳ４０９において、制御部２１は、カウンタｉを１インクリメントする。そして、ステップＳ４０２の処理が再び実行される。カウンタｉがクラスの数と同じ場合、ステップＳ４１０の処理が実行される。

【0059】

図６のステップＳ４１０において、制御部２１は、票数が最も多いラベルに対応するクラスを、路面状態が該当するクラスとして判定する。仮に第１識別結果に含まれる「潤湿」及び「乾燥」の確率がそれぞれ３０％及び５０％であり、他のラベルの確率がいずれも３０％より低かったとする。第１区間の１つ前の区間に関する第２識別結果に含まれる「潤湿」及び「乾燥」の確率がそれぞれ９０％及び５％であったとする。第１区間の１つ後の区間に関する第２識別結果に含まれる「潤湿」及び「乾燥」の確率もそれぞれ９０％及び５％であったとする。その場合、ラベルＬ１「乾燥」の票数を記録したＶ１は１、ラベルＬ３「潤湿」の票数を記録したＶ３は２である。「潤湿」の票数が最も多いため、制御部２１は、路面状態が潤湿状態であると判定する。

【0060】

ステップＳ４の処理の別の例として、路面状態判定装置２０の制御部２１は、第１識別結果及び第２識別結果において確率の平均が最も高いクラスを、第１区間の路面状態が該当するクラスとして判定してもよい。この処理は、任意の手順で実行されてよいが、例えば、図７に示すような手順で実行される。

【0061】

図７のステップＳ４１１において、制御部２１は、カウンタｉを１に設定する。ステップＳ４１２において、制御部２１は、ステップＳ２及びステップＳ３で取得した識別結果に含まれるラベルＬｉの確率の平均Ａｉを算出する。

【0062】

図７のステップＳ４１３において、制御部２１は、カウンタｉがクラスの数よりも小さいかどうかを判定する。本実施形態では、クラスの数は７である。カウンタｉがクラスの数よりも小さい場合、ステップＳ４１４において、制御部２１は、カウンタｉを１インクリメントする。そして、ステップＳ４１２の処理が再び実行される。カウンタｉがクラスの数と同じ場合、ステップＳ４１５の処理が実行される。

【0063】

図７のステップＳ４１５において、制御部２１は、確率の平均が最も高いラベルに対応するクラスを、路面状態が該当するクラスとして判定する。仮に第１識別結果に含まれる「潤湿」及び「乾燥」の確率がそれぞれ３０％及び５０％であり、他のラベルの確率がいずれも３０％より低かったとする。第１区間の１つ前の区間に関する第２識別結果に含まれる「潤湿」及び「乾燥」の確率がそれぞれ９０％及び５％であったとする。第１区間の１つ後の区間に関する第２識別結果に含まれる「潤湿」及び「乾燥」の確率もそれぞれ９０％及び５％であったとする。その場合、ラベルＬ１「乾燥」の確率の平均Ａ１は２０％、ラベルＬ３「潤湿」の確率の平均Ａ３は７０％である。「潤湿」の確率の平均が最も高いため、制御部２１は、路面状態が潤湿状態であると判定する。

【0064】

図６のステップＳ４１０では、路面状態が、票数が最も多いラベルに対応するクラスに該当すると判定され、図７のステップＳ４１５では、路面状態が、確率が最も高いラベルに対応するクラスに該当すると判定されるが、別の例として、クラスによって判定の優先度を異ならせることも可能である。例えば、圧雪路面若しくは凍結路面などの危険な路面に相当するクラス、又は局所的に出現する半湿路面に相当するクラスについては、票数が少ないか、又は確率が低くても優先的に判定結果とすることで、安全性を担保した路面管理を実現しやすくなる。

【0065】

上述のように、本実施形態では、路面状態判定装置２０の制御部２１は、道路１１を走行する車両５０に取り付けられた画像センサ３０により道路１１の複数の区間を撮像して得られた区間ごとの画像データ６０に基づいて、区間ごとの路面状態の識別結果を取得する。制御部２１は、複数の区間のそれぞれを第１区間、第１区間の前、後、又は前後にある少なくとも１つの区間を第２区間としたとき、第１区間の路面状態の識別結果である第１識別結果と、第２区間の路面状態の識別結果である第２識別結果とを参照して、第１区間の路面状態を判定する。したがって、本実施形態によれば、画像による路面状態判定の精度が向上する。

【0066】

本実施形態では、路面状態判定装置２０の制御部２１は、区間ごとの画像データ６０を、路面状態を識別するための識別モデル７０に入力することで、区間ごとの路面状態の識別結果を識別モデル７０から取得する。したがって、本実施形態によれば、画像による路面状態判定の効率が向上する。

【0067】

本実施形態では、路面状態判定装置２０の制御部２１は、走行する車両５０から一定間隔で道路１１を撮像して得られた画像に基づく路面状態判定を行う際に、ある時刻の判定結果を、その時刻の時間方向の前、後、又は前後両方の判定結果を用いて補正することができる。具体的には、制御部２１は、図６に示したように、時間方向の重み付き投票処理を実行することで、判定結果を補正することができる。よって、路面状態の誤判定を低減できる。

【0068】

本実施形態の一変形例として、天気予報などの気象情報を反映してもよい。そのような変形例において、路面状態判定装置２０の制御部２１は、道路１１が撮像されたときの気象を示す気象データを取得する。制御部２１は、取得した気象データに基づいて、第１識別結果及び第２識別結果のそれぞれに含まれる確率にクラスごとの重み付けを行う。この変形例によれば、画像による路面状態判定の精度が更に向上する。

【0069】

本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の２つ以上のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の２つ以上のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。

【0070】

例えば、路面状態判定装置２０は、車載機器であってもよい。すなわち、車両５０は、路面状態判定システム１０を備えていてもよい。この例によれば、画像による路面状態判定を車両５０で行うことができる。

【0071】

例えば、路面状態がシャーベット状態、積雪状態、又は圧雪状態と判定された区間の前後では、路面状態が潤湿状態と判定されやすくなるように、第１識別結果及び第２識別結果のそれぞれに含まれる確率が重み付けされてもよい。

【産業上の利用可能性】

【0072】

本開示は、路面状態判定装置、路面状態判定システム、車両、路面状態判定方法、及びプログラムに関する。

【符号の説明】

【0073】

１０：路面状態判定システム、 １１：道路、 ２０：路面状態判定装置、 ２１：制御部、 ２２：記憶部、 ２３：通信部、 ２４：入力部、 ２５：出力部、 ３０：画像センサ、 ５０：車両、 ６０：画像データ、 ６１：第１区間画像、 ６２：前区間画像、 ６３：後区間画像、 ７０：識別モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】