特開 2024-100314 警報通知システム、移動体搭載装置及び監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024100314

(43)【公開日】2024-07-26

(54)【発明の名称】警報通知システム、移動体搭載装置及び監視装置

(51)【国際特許分類】

   G08G 1/09 20060101AFI20240719BHJP

   G08G 1/00 20060101ALI20240719BHJP

   G08G 1/16 20060101ALI20240719BHJP

   G08B 21/00 20060101ALI20240719BHJP

   G08B 25/00 20060101ALI20240719BHJP

   G08B 25/10 20060101ALI20240719BHJP

【ＦＩ】

G08G1/09 F

G08G1/00 J

G08G1/16 A

G08B21/00 U

G08B25/00 510M

G08B25/10 A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023004224

(22)【出願日】2023-01-16

(71)【出願人】

【識別番号】000005290

【氏名又は名称】古河電気工業株式会社

(74)【代理人】

【識別番号】100114292

【弁理士】

【氏名又は名称】来間 清志

(74)【代理人】

【識別番号】100145713

【弁理士】

【氏名又は名称】加藤 竜太

(72)【発明者】

【氏名】下大迫 和隆

【テーマコード（参考）】

5C086

5C087

5H181

【Ｆターム（参考）】

5C086AA60

5C086BA22

5C086CA25

5C086CA28

5C086CB36

5C086DA08

5C086DA14

5C086DA33

5C087AA02

5C087AA03

5C087AA07

5C087AA31

5C087BB20

5C087BB74

5C087DD13

5C087EE07

5C087EE14

5C087FF01

5C087FF02

5C087FF04

5C087FF16

5C087GG02

5C087GG08

5C087GG66

5H181AA01

5H181BB04

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181LL01

5H181LL07

5H181LL08

5H181MC16

(57)【要約】

【課題】道路等の移動経路上に存在する異常をより確実に伝送することができる警報通知システム、移動体搭載装置及び監視装置を提供すること。
【解決手段】警報通知システムＳにおいて、移動体搭載装置１は、画像データを取得する画像データ取得部１０１と、画像データに含まれているオブジェクトに対して、所定の機械学習による学習済みモデルに基づくクラス分類を行うクラス分類部１０２と、オブジェクトの分類結果を第１監視装置２に送信する送信処理部１２０と、を有し、第１監視装置２は、学習済みモデルにより得られるクラス分類に基づいて生成されたテーブルを参照し、移動体搭載装置１から受信した分類結果に基づいて、警報の対象になるか否かを判定する判定部２１０と、判定部２１０により警報の対象になると判定された場合、警報の対象となるオブジェクトが存在していることを外部装置に通知する通知部２０８、３０８と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体に搭載される移動体搭載装置と、前記移動体搭載装置と通信可能であり、それぞれ異なるエリアに設置され、通信ネットワークを介して互いに通信可能な１つ以上の監視装置と、を備える警報通知システムであって、
前記移動体搭載装置は、
画像データを取得する画像データ取得部と、
前記画像データ取得部によって取得された前記画像データに含まれているオブジェクトを抽出し、抽出したオブジェクトに対して、所定の機械学習による学習済みモデルに基づくクラス分類を行うクラス分類部と、
前記クラス分類部により分類されたオブジェクトの分類結果を前記監視装置に送信する送信処理部と、を有し、
前記監視装置は、
前記所定の機械学習による学習済みモデルにより得られるクラス分類に基づいて生成されたテーブルを参照し、前記移動体搭載装置の前記送信処理部から受信した前記分類結果に基づいて、警報の対象になるか否かを判定する判定部と、
前記判定部により警報の対象になると判定された場合、警報の対象となるオブジェクトが存在していることを外部装置に通知する通知部と、を有する警報通知システム。

【請求項2】

前記通知部は、前記移動体搭載装置から送信されてきた分類結果に基づいて、警報の対象になると判定された場合、自身が設置されている場所よりも移動経路上の離れた場所に設置されている前記外部装置としての路側機へ警報の対象となるオブジェクトが存在していることを通知する請求項１に記載の警報通知システム。

【請求項3】

前記分類結果には、クラスごとの確率スコアが含まれ、
前記判定部は、前記テーブルを参照し、前記分類結果に含まれている前記確率スコアに基づいて、警報の対象になるか否かを判定する請求項１に記載の警報通知システム。

【請求項4】

前記監視装置は、前記移動体搭載装置の前記クラス分類部による分類結果に含まれている前記確率スコアが所定の範囲である場合に、該分類結果に対応する前記画像データの送信要求信号を該画像データの送信元である前記移動体搭載装置に送信する送信部を有し、
前記移動体搭載装置は、
前記送信要求信号を受信した場合に、前記画像データから対象となるオブジェクトが含まれている特徴画像データを抽出する抽出部を有し、
前記送信処理部は、該特徴画像データを前記監視装置に送信する特徴画像データ送信部を有する請求項３に記載の警報通知システム。

【請求項5】

前記移動体搭載装置は、
前記画像データから対象となるオブジェクトが含まれている特徴画像データを抽出する抽出部を備え、
前記送信処理部は、前記クラス分類部により分類されたオブジェクトの分類結果と共に前記特徴画像データを前記監視装置に送信する特徴画像データ送信部を有する請求項１に記載の警報通知システム。

【請求項6】

前記監視装置は、
前記特徴画像データ送信部から受信した前記特徴画像データと、前記特徴画像データに含まれるオブジェクトに対して、前記移動体搭載装置の前記クラス分類部で用いられている前記所定の機械学習による学習済みモデルよりも高い精度の学習済みモデルに基づくクラス分類を行う高い精度のクラス分類部を更に有し、
前記判定部は、前記高い精度の学習済みモデルにより得られるクラス分類に基づいて生成されたテーブルを参照し、前記高い精度のクラス分類部により分類された分類結果に基づいて、警報の対象になるか否かを判定する請求項４又は５に記載の警報通知システム。

【請求項7】

前記移動体搭載装置は、
前記画像データを取得したときの位置を示す位置情報を取得する位置情報取得部を更に有し、
前記送信処理部は、前記クラス分類により分類されたオブジェクトの分類結果とともに、前記位置情報取得部により取得された位置情報を前記監視装置に送信する請求項１に記載の警報通知システム。

【請求項8】

前記移動体搭載装置は、前記クラス分類部で用いる前記所定の機械学習による学習済みモデルを一意に識別する識別情報を記憶する第１記憶部を有し、
前記移動体搭載装置の前記送信処理部は、前記クラス分類により分類されたオブジェクトの分類結果とともに、前記所定の機械学習による学習済みモデルの識別情報を前記監視装置へ送信し、
前記監視装置は、前記判定部で用いる前記テーブルが生成された学習済みモデルを一意に識別する識別情報を記憶する第２記憶部と、
前記移動体搭載装置から送信されてきた識別情報と、前記第２記憶部に記憶されている識別情報を比較する比較部と、を備え、
前記通知部は、前記比較部により前記移動体搭載装置から送信されてきた識別情報と、前記第２記憶部に記憶されている識別情報とが一致しない場合、その旨を前記移動体搭載装置に送信する請求項１に記載の警報通知システム。

【請求項9】

請求項１に記載の前記移動体搭載装置と通信可能であり、それぞれ異なるエリアに設置され、通信ネットワークを介して互いに通信可能な１つ以上の監視装置を備える警報通知システムに含まれる監視装置であって、
画像データに含まれ、該画像データから抽出されたオブジェクトに対する所定の機械学習による学習モデルに基づく、クラス分類によって分類されたオブジェクトの分類結果を前記移動体搭載装置から取得する分類結果取得部と、
前記所定の機械学習による学習済みモデルにより得られるクラス分類に基づいて生成されたテーブルを参照し、前記移動体搭載装置の前記送信処理部から受信した前記分類結果に基づいて、警報の対象になるか否かを判定する判定部と、
前記判定部により警報の対象になると判定された場合、警報の対象となるオブジェクトが存在していることを外部装置に通知する通知部と、を備える監視装置。

【請求項10】

移動体に搭載され、請求項１に記載の前記監視装置と通信可能な移動体搭載装置であって、
画像データを取得する画像データ取得部と、
前記画像データ取得部によって取得された前記画像データに含まれているオブジェクトを抽出し、抽出したオブジェクトに対して、所定の機械学習による学習済みモデルに基づくクラス分類を行うクラス分類部と、
前記クラス分類部で用いる前記所定の機械学習による学習済みモデルを一意に識別する識別情報を記憶する第１記憶部と、
前記クラス分類部により分類されたオブジェクトの分類結果と前記所定の機械学習による学習済みモデルの識別情報とを前記監視装置に送信する送信処理部と、を備える移動体搭載装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、警報通知システム、移動体搭載装置及び監視装置に関する。

【背景技術】

【0002】

従来、道路上の警報の対象の存在を通知するシステムが知られている。例えば特許文献１には、第１の車載機と、第２の車載機と、道路情報提供装置とから構成される道路異常警告システムが開示されている。第１の車載機は、車両から道路を撮像して得た画像データを取得し、この画像データに含まれるオブジェクトを検出し、車両の位置を検出する。第１の車載機は、オブジェクトが検出された場合、該オブジェクトを含む画像データ及びオブジェクトが検出されたときの車両の位置情報を道路情報提供装置へ送信し、また、オブジェクトが検出されたときの車両の位置情報を含み、道路上の異常を予告する異常予告情報を第２の車載機へ送信する。

【0003】

また、近年、自動車と道路側の通信設備（例えば、路側機）との間（Ｖ２Ｉ、Vehicle to Infrastructure）で、双方向の無線通信を実現する技術が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－１５１７９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、車載機で取得した画像データのサイズが大きい場合、特許文献１に記載のシステムをＶ２Ｉで実現しようとすると、個々の路側機の通信可能範囲に制限があるため、移動体が高速で路側機を通過すると、画像データのすべてを送信できない可能性がある。また、路側機周辺に多数の自動車が存在し、それぞれで通信を行っている場合には、画像データの送信に時間を要し、遅延が発生する可能性がある。

【0006】

本発明は、これらの事情を鑑み、道路等の移動経路上の警報の対象の存在をより確実に通知することができる警報通知システム、移動体搭載装置及び監視装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

（１）警報通知システムは、移動体に搭載される移動体搭載装置と、前記移動体搭載装置と通信可能であり、それぞれ異なるエリアに設置され、通信ネットワークを介して互いに通信可能な１つ以上の監視装置と、を備える警報通知システムであって、前記移動体搭載装置は、画像データを取得する画像データ取得部と、前記画像データ取得部によって取得された前記画像データに含まれているオブジェクトを抽出し、抽出したオブジェクトに対して、所定の機械学習による学習済みモデルに基づくクラス分類を行うクラス分類部と、前記クラス分類部により分類されたオブジェクトの分類結果を前記監視装置に送信する送信処理部と、を有し、前記監視装置は、前記所定の機械学習による学習済みモデルにより得られるクラス分類に基づいて生成されたテーブルを参照し、前記移動体搭載装置の前記送信処理部から受信した前記分類結果に基づいて、警報の対象になるか否かを判定する判定部と、前記判定部により警報の対象になると判定された場合、警報の対象となるオブジェクトが存在していることを外部装置に通知する通知部と、を有する。

【0008】

（２）（１）に記載の警報通知システムにおいて、前記通知部は、前記移動体搭載装置から送信されてきた分類結果に基づいて、警報の対象になると判定された場合、自身が設置されている場所よりも移動経路上の離れた場所に設置されている前記外部装置としての路側機に警報の対象となるオブジェクトが存在していることを通知する。

【0009】

（３）（１）又は（２）に記載の警報通知システムにおいて、分類結果には、クラスごとの確率スコアが含まれ、前記判定部は、前記テーブルを参照し、前記分類結果に含まれている前記確率スコアに基づいて、警報の対象になるか否かを判定する。

【0010】

（４）（３）に記載の警報通知システムにおいて、監視装置は、前記移動体搭載装置の前記クラス分類部による分類結果に含まれているスコアが所定の範囲である場合に、該分類結果に対応する前記画像データの送信要求信号を該画像データの送信元である前記移動体搭載装置に送信する送信部を有し、前記移動体搭載装置は、前記送信要求信号を受信した場合に、前記画像データから対象となるオブジェクトが含まれている特徴画像データを抽出する抽出部を有し、前記送信処理部は、該特徴画像データを前記監視装置に送信する特徴画像データ送信部を有する。

【0011】

（５）（１）～（３）に記載の警報通知システムにおいて、前記移動体搭載装置は、前記画像データから対象となるオブジェクトが含まれている特徴画像データを抽出する抽出部を備え、前記送信処理部は、前記クラス分類部により分類されたオブジェクトの分類結果と共に前記特徴画像データを前記監視装置に送信する特徴画像データ送信部を有する。

【0012】

（６）（４）又は（５）に記載の警報通知システムにおいて、前記監視装置は、前記特徴画像データ送信部から受信した前記特徴画像データと、前記特徴画像データに含まれるオブジェクトに対して、前記移動体搭載装置の前記クラス分類部で用いられている前記所定の機械学習による学習済みモデルよりも高い精度の学習済みモデルに基づくクラス分類を行う高い精度のクラス分類部を更に有し、前記判定部は、前記高精度の学習済みモデルにより得られるクラス分類に基づいて生成されたテーブルを参照し、前記高い精度のクラス分類部により分類された分類結果に基づいて、警報の対象になるか否かを判定する。

【0013】

（７）（１）～（６）のいずれか１つに記載の警報通知システムにおいて、前記移動体搭載装置は、前記画像データを取得したときの位置を示す位置情報を取得する位置情報取得部を更に有し、前記送信処理部は、前記クラス分類により分類されたオブジェクトの分類結果とともに、前記位置情報取得部により取得された位置情報を前記監視装置に送信する。

【0014】

（８）（１）～（７）のいずれか１つに記載の警報通知システムにおいて、前記移動体搭載装置は、前記クラス分類部で用いる所定の機械学習による学習済みモデルを一意に識別する識別情報を記憶する第１記憶部を有し、前記移動体搭載装置の前記送信処理部は、前記クラス分類により分類されたオブジェクトの分類結果とともに、前記所定の機械学習による学習済みモデルの識別情報を前記監視装置へ送信し、前記監視装置は、前記判定部で用いる前記テーブルが生成された学習済みモデルを一意に識別する識別情報を記憶する第２記憶部と、前記移動体搭載装置から送信されてきた識別情報と、前記第２記憶部に記憶されている識別情報を比較する比較部と、を備え、前記通知部は、前記比較部により前記移動体搭載装置から送信されてきた識別情報と、前記第２記憶部に記憶されている識別情報とが一致しない場合、その旨を前記移動体搭載装置に送信する。

【0015】

（９）監視装置は、（１）～（８）のいずれか１つに記載の前記移動体搭載装置と通信可能であり、それぞれ異なるエリアに設置され、通信ネットワークを介して互いに通信可能な１つ以上の監視装置を備える警報通知システムに含まれる監視装置であって、画像データに含まれ、該画像データから抽出されたオブジェクトに対する所定の機械学習による学習モデルに基づく、クラス分類によって分類されたオブジェクトの分類結果を前記移動体搭載装置から取得する分類結果取得部と、所定の機械学習による学習済みモデルにより得られるクラス分類に基づいて生成されたテーブルを参照し、前記移動体搭載装置の前記送信処理部から受信した前記分類結果に基づいて、警報の対象になるか否かを判定する判定部と、前記判定部により警報の対象になると判定された場合、警報の対象となるオブジェクトが存在していることを外部装置に通知する通知部と、を備える。

【0016】

（１０）移動体搭載装置は、移動体に搭載され、（１）に記載の前記監視装置と通信可能な移動体搭載装置であって、画像データを取得する画像データ取得部と、前記画像データ取得部によって取得された前記画像データに含まれているオブジェクトを抽出し、抽出したオブジェクトに対して、所定の機械学習による学習済みモデルに基づくクラス分類を行うクラス分類部と、前記クラス分類部で用いる前記所定の機械学習による学習済みモデルを一意に識別する識別情報を記憶する第１記憶部と、前記クラス分類部により分類されたオブジェクトの分類結果と前記所定の学習済みモデルの識別情報とを前記監視装置に送信する送信処理部と、を備える。

【発明の効果】

【0017】

本発明によれば、道路等の移動経路上に存在する異常をより確実に伝送することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態に係る警報通知システムを示す概略図である。

【図2】本発明の一実施形態に係る移動体搭載装置のハードウェア及び機能ブロックの構成を示すブロック図である。

【図3】本発明の一実施形態における移動体搭載装置のクラス分類部による分類結果の一例を示すテーブルである。

【図4】本発明の一実施形態に係る第１監視装置のハードウェア及び機能ブロックの構成を示すブロック図である。

【図5】所定の学習済みモデルにより得られるクラス分類に基づいて生成されたテーブルの一例を示す図である。

【図6】本発明の一実施形態における第１監視装置の判定部による学習済みモデルのタイプに応じた警報の対象の判定基準の一例を示すテーブルである。

【図7】本発明の一実施形態に係る第２監視装置のハードウェア及び機能ブロックの構成を示すブロック図である。

【図8】本発明の一実施形態における警報通知処理のうち移動体搭載装置によって実行される処理の一例を示すフローチャートである。

【図9】本発明の一実施形態における警報通知処理のうち第１監視装置によって実行される処理の一例を示すフローチャートである。

【図10】本発明の一実施形態における警報通知処理のうち第１監視装置によって実行される図７に示す処理とは異なる処理の一例を示すフローチャートである。

【図11】本発明の一実施形態における警報通知処理のうち移動体搭載装置によって実行される図７に示す処理のとは異なる処理の一例を示すフローチャートである。

【図12】本発明の一実施形態における警報通知処理のうち第２監視装置によって実行される処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0019】

以下、本発明の実施形態に係る警報通知システムＳについて説明する。なお、以下の実施の形態により本発明が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、及び位置関係を概略的に示してあるに過ぎない。即ち、本発明は、各図で例示された形状、大きさ、及び位置関係のみに限定されるものでない。

【0020】

＜警報通知システムＳの構成と動作について＞
本発明の一実施形態に係る警報通知システムＳの全体的な構成について図１を参照しながら説明する。図１は、本実施形態に係る警報通知システムＳ及び警報通知システムＳが適用される道路４の一例を示す概略図である。本実施形態は、自動車等の車両が走行する道路上における警報の対象の存在を発見する場合に適用されるシステムを想定しているが、所定の移動経路に沿って移動する移動体、例えばドローンのような移動体の進行方向における警報の対象に対処するために適用することもできる。また鉄道のような移動体の進行方向における警報の対象に対処するために適用することもできる。

【0021】

警報通知システムＳは、道路４上の画像データに含まれているオブジェクトを検出し、道路４上において警報の対象が存在していることを通知するための処理（以下、警報通知処理という）を実行するシステムである。警報通知システムＳは、道路４上を走行する車両である移動体５に搭載される移動体搭載装置１と、移動体搭載装置１と無線通信可能な複数の第１監視装置２（監視装置）と、複数の第１監視装置２のそれぞれと通信ネットワークＮＷを介して通信可能に接続される第２監視装置３（監視装置）と、を備える。第１監視装置２は、道路４上または道路４脇などの道路４の周辺に設置される路側機６内に配置され、道路４上を走行する移動体５に搭載される移動体搭載装置１と無線通信可能である。第２監視装置３は、通信ネットワークＮＷを介して複数の路側機６と通信可能に接続される管制サーバ７内に配置される。

【0022】

図１に示すように、本実施形態では、高速道路等の片側２車線の道路４における警報の対象８の存在を通知するシステムを例に説明する。本実施形態における警報の対象８は、移動体５の通常の移動を妨げる要因となる障害物や道路４の状態等をいう。警報の対象８としては、例えばプラスチックや布、ビニール類等のプラスチック類、タイヤ、角材、ロードキル（動物の死骸）、道路４上に散乱した空き缶、道路４のひび割れ、道路４の白線のカスレ等が挙げられる。警報としては、例えば移動体５の操作者に道路４上に異常が存在することを知らせるための音声情報や文字情報等が挙げられる。道路４上の異常の例としては、交通事故や災害なども考えられる。災害とは、例えば、震災による道路のひび割れ、崩落等による道路の損傷や、豪雨による道路への落石や土砂流入などの道路または道路上の異常が挙げられる。道路４は、上り車線、下り車線、両車線を含む概念である。また、道路４上の異常のその他の例としては、道路上の付帯設備等の異常も考えられる。道路上の附帯設備とは、道路表示板や通信装置、照明設備やこれらの構造物、トンネル内の空調機器などの設備や構造物などが挙げられる。これらの付帯設備が、老朽化や前記災害などにより損傷、変形、破損などにより支障が発生した場合にも機械学習による異常の検知を行い発明の対象としてあげられる。

【0023】

通信ネットワークＮＷは、プライベートネットワークやインターネットを含むような広域通信網ＷＡＮ（wide area network）が考えられる。前者のプライベートネットワークでは、例えばＯＬＴ（optical line terminal）、ＯＬＴと光回線を介して接続される複数のＯＮＵ（optical network unit）等によって形成されたＰＯＮアクセスシステムや、レイヤ２スイッチやレイヤ３スイッチなどで構成することができる。一方でＷＡＮ通信網の例では、例えば、ＭＰＬＳ（Multiprotocol Label Switching）ネットワークなどで構成することができる。

【0024】

移動体搭載装置１は、例えば、カーナビゲーション、ＩＴＳ（Intelligent Transportation System）及びＶ２Ｘ通信等を使用する機能を備える。移動体搭載装置１は、道路４上の画像データに含まれているオブジェクトを検出するとともに、第１監視装置２や第２監視装置３から送信される情報に基づいて運転者に道路４上における警報の対象の存在を報知する機能を有する。

【0025】

複数の第１監視装置２は、道路４の周辺（路側）等におけるそれぞれ異なるエリアに設置される。エリアとは、各第１監視装置２が各移動体５に搭載される移動体搭載装置１との通信を担当する範囲を意味し、例えば道路４に沿って設定された地理的範囲を示す。図１に示す例では、複数の第１監視装置２である第１監視装置２Ａ、２Ｂ、２Ｃは、道路４に沿って互いに所定の間隔を空けて設置される。

【0026】

第１監視装置２は、道路４を走行する移動体５に搭載される移動体搭載装置１や周囲に存在する各種装置と無線通信することでＶ２Ｘ（vehicle-to-everything）通信サービスを提供する。また第１監視装置２は、無線通信が可能なエリア（以下、通信可能エリア）内を走行する移動体５の移動体搭載装置１や各種装置との無線通信等によって取得したデータを、通信ネットワークＮＷを介して第２監視装置３に送信する。また本実施形態における第１監視装置２は、道路４上に警報の対象が存在することを、通信ネットワークＮＷを介して他の第１監視装置２や第２監視装置３、移動体搭載装置１に通知する。

【0027】

第２監視装置３は、管制サーバ７内に配置され、通信ネットワークＮＷを介して複数の第１監視装置２と通信可能に接続される。本実施形態における第２監視装置３は、警報通知システムＳの通信を管理する。

【0028】

＜移動体搭載装置１の構成と動作について＞
次に、警報通知処理における移動体搭載装置１の機能的構成について説明する。図２は、移動体搭載装置１のハードウェア及び機能ブロックの構成を例示するブロック図である。

【0029】

移動体搭載装置１は、図２に示すように処理部１０と、撮像部１１と、ＧＮＳＳ部１２と、センサ部１３と、記憶部（第１記憶部）１４と、無線通信部１５と、出力部１６と、を備える。

【0030】

処理部１０は、ＣＰＵ等のプロセッサによって構成される演算装置であり、後述の記憶部１４から各種プログラム、データを読み込んで実行し、移動制御の機能を実現する。本実施形態では、処理部１０は、画像データ取得部１０１と、クラス分類部１０２と、抽出部１０３と、位置情報取得部１１０と、送信処理部１２０と、学習済みモデル照会部１０５と、学習済みモデル変更部１０６と、出力処理部１０７と、の各機能部のデータ処理を実行する。各機能部の動作については後述する。ここで学習済みモデルは、人工知能で得られたモデルであり、例えば、機械学習によるものであってもよいし、深層学習により得られたモデルであってもよい。

【0031】

撮像部１１は、移動体５に配置され、移動体５が走行している道路４を撮像する。撮像部１１は、図示はしないが、光学レンズ部、イメージセンサ等を備える。撮像部１１は、撮像した画像データを処理部１０に送信する。画像データは、静止画であっても動画であってもよい。また、レーダやＬＩＤＡＲ（Light Detection And Ranging）で得られた点群データであってもよい。

【0032】

ＧＮＳＳ（Global Navigation Satellite System）部１２は、アンテナを含み、ＧＮＳＳ信号等を受信する。ＧＮＳＳ信号は、ＧＰＳ（Global Positioning System）又は準天頂衛星システム等のＧＮＳＳを構成する航法衛星等から送信される。ＧＮＳＳ部１２は、受信したＧＮＳＳ信号を処理部１０に送信する。

【0033】

センサ部１３は、移動体５の周囲の情報を検出するための装置である。センサ部１３としては、例えば移動体５の周囲に送信した送信波と反射された受信波に基づいて、移動体５の周囲に存在する物体との距離、方向、相対速度等を検出するレーダやＬＩＤＡＲ（Light Detection And Ranging）であってもよい。本実施形態では、センサ部１３として移動体５の周囲にレーザ光を照射し、周囲の物体を点群データとして検出するＬＩＤＡＲを用いている。ＬＩＤＡＲにより、高い精度で周囲の物体の位置や形状等を検出できる。センサ部１３は、検出した点群データを処理部１０に送信する。

【0034】

記憶部１４は、ハードウェア群を移動体搭載装置１として機能させるための各種プログラム、及び各種データなどの記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ、半導体ドライブ（ＳＳＤ）又はハードディスクドライブ（ＨＤＤ）などで構成することができる。具体的には、記憶部１４は、本実施形態の各機能を処理部１０に実行させるためのプログラム、各種パラメータ、移動体搭載装置１のＩＤやＩＰアドレス等の識別情報、マップ情報、警報通知処理に利用されるデータ、学習済みモデル等が記憶される。マップ情報としては、例えばダイナミックマップ等が挙げられる。警報通知処理に利用されるデータとしては、例えば撮像部１１によって撮像された画像データ及び該画像データの識別情報、該画像データの取得時刻、移動体搭載装置１の位置に関する情報、所定の機械学習による学習済みモデルを一意に識別する識別情報（以下、学習済みモデル識別情報という）、学習済みモデルに関する後述する学習済みモデル情報、後述するクラス分類部１０２による分類結果等が挙げられる。

【0035】

無線通信部１５は、移動体搭載装置１が第１監視装置２と無線により通信するための処理を実行する。無線通信部１５は、例えば画像データの識別情報、クラス分類部１０２による分類結果、学習済みモデル識別情報等を第１監視装置２又は第２監視装置３に送信し、各種制御信号を第１監視装置２から受信する。

【0036】

出力部１６は、車両の運転者等の移動体５の操作者に光、音、映像又はこれらの組み合わせによって道路４上の異常の存在を報知する。出力部１６は、例えば映像を表示するディスプレイや音を発生させるスピーカ、光を発生させるＬＥＤ等の発光機器等によって構成される。

【0037】

次に、処理部１０が移動体搭載装置１の警報通知処理を実行するための機能的構成について説明する。

【0038】

画像データ取得部１０１は、撮像部１１によって撮像された画像データを取得する処理を実行する。画像データ取得部１０１は、例えば道路４上に存在するオブジェクトを被写体として含む画像データを取得する。

【0039】

クラス分類部１０２は、画像データに含まれているオブジェクトに対して、所定の学習済みモデルに基づくクラス分類を実行する。具体的には、クラス分類部１０２は、画像データ取得部１０１によって取得された画像データに含まれているオブジェクトを抽出し、抽出したオブジェクトに対して、所定の学習済みモデルに基づくクラス分類（以下、クラス分類処理という）を行う。

【0040】

図３は、クラス分類部１０２による分類結果の一例を示すテーブルである。クラス分類部１０２は、例えば画像データに含まれているオブジェクトが複数のクラスそれぞれに該当する確率スコアを推論する。例えばクラス分類には、図３に示すように複数のクラスが存在する。図３に示す例では、画像データ内のオブジェクトがタイヤに該当する確率スコアが０．７５となっている。即ち、クラス分類部１０２は、道路４上にタイヤが存在する確率が７５％であると推論している。

【0041】

学習済みモデルは、例えば道路４上に存在するオブジェクトを含む画像データと、オブジェクトの種類を示すクラスであるラベルデータとの組を教師データとして教師あり学習を行うことにより、画像データに含まれているオブジェクトのクラスを分類するために構築された学習モデルである。学習済みモデルは、例えばニューラルネットワークによる深層学習によって構築されたものであってもよい。

【0042】

なお、本実施形態では、移動体搭載装置１は、後述する学習済みモデル照会部１０５及び学習済みモデル変更部１０６による処理により、クラス分類部１０２がオブジェクトのクラス分類を行うために用いる学習済みモデルの学習済みモデル情報を第１監視装置２及び第２監視装置３と共有する。学習済みモデル情報とは、例えば画像データ中のオブジェクトに対するクラス分類の分類基準、オブジェクトの種類を分類する各クラスの内容等が挙げられる。

【0043】

抽出部１０３は、後述する信号送信部２０７、３０７から送信される画像データの送信要求信号を受信した場合に、画像データから対象となるオブジェクトが含まれている特徴画像データを抽出する処理を実行する。

【0044】

位置情報取得部１１０は、移動体搭載装置１が画像データを取得したときの位置を示す位置情報（以下、取得位置情報という）を取得する処理を実行する。取得位置情報は、例えば撮像部１１による画像データの撮像時又は画像データ取得部１０１による画像データの取得時における移動体搭載装置１自身の位置を示す自己位置情報であってもよく、道路４上におけるオブジェクトの位置を示すオブジェクト位置情報であってもよい。位置情報取得部１１０は、自己位置推定部１１１と、オブジェクト位置推定部１１２と、を有する。

【0045】

自己位置推定部１１１は、自己位置情報を推定する処理を実行する。例えば自己位置推定部１１１は、ＧＮＳＳ部１２から受信したＧＮＳＳ信号に基づいて、移動体搭載装置１の自己位置情報を推定してもよい。また例えば自己位置推定部１１１は、管制サーバ７から受信したマップ情報とセンサ部１３から受信した移動体５の周囲の点群データ等に基づいて、自己位置情報を推定してもよい。

【0046】

オブジェクト位置推定部１１２は、オブジェクトの位置を示すオブジェクト位置情報を推定する処理を実行する。オブジェクト位置情報とは、例えばオブジェクトが存在する位置の緯度、経度および高度等の情報、道路４の中央側、道路脇等の道路４におけるオブジェクトの位置を含む情報である。オブジェクト位置推定部１１２は、例えば自己位置推定部１１１によって推定された自己位置情報、クラス分類部１０２によって検出された画像データ中におけるオブジェクトの位置情報、移動体５における撮像部１１の配置、撮像部１１の向き、倍率等の撮像部１１による画像データの撮像条件に基づいてオブジェクト位置情報を推定する。位置情報取得部１１０は、自己位置推定部１１１によって推定された自己位置情報又はオブジェクト位置推定部１１２によって推定されたオブジェクト位置情報を取得位置情報として取得する。

【0047】

送信処理部１２０は、無線通信部１５を介して第１監視装置２又は第２監視装置３にデータを送信する処理を実行する。第１監視装置２又は第２監視装置３に送信されるデータとしては、例えばクラス分類部１０２による分類結果、取得位置情報、画像データの識別情報、学習済みモデル識別情報等が挙げられる。

【0048】

また送信処理部１２０は、抽出部１０３によって画像データから抽出された特徴画像データを第１監視装置２に送信する処理を実行する特徴画像データ送信部１２１を有する。

【0049】

学習済みモデル照会部１０５は、クラス分類部１０２によるクラス分類処理に用いた自身の学習済みモデルが、所定の機械学習による学習済みモデルであるか問い合わせる処理を実行する。具体的には、学習済みモデル照会部１０５は、記憶部１４から学習済みモデル及びその識別情報を読み出す。そして、学習済みモデル照会部１０５は、送信処理部１２０を制御して第１監視装置２又は第２監視装置３に学習済みモデルの識別情報を送信するとともに、自身の学習済みモデルが所定の機械学習による学習済みモデルであるか照会する要求を示す要求信号を送信することで学習済みモデル照会処理を実行する。

【0050】

学習済みモデル変更部１０６は、クラス分類部１０２によって用いられる学習済みモデルが所定の機械学習による学習済みモデルではない場合、学習済みモデルを第２監視装置３によって指定される学習済みモデルに変更する処理を実行する。例えば学習済みモデル変更部１０６は、第２監視装置３によって指定されたリンク先にアクセスし、ダウンロードすることにより、学習済みモデルを取得し、既存の学習済みモデルと差し替えることで学習済みモデルを変更してもよい。第２監視装置３によって指定される学習済みモデルは、第１監視装置２及び第２監視装置３が少なくとも学習済みモデル情報を記憶する学習済みモデルである。即ち、移動体搭載装置１が、第２監視装置３によって指定される学習済みモデルに変更することで、移動体搭載装置１と第１監視装置２及び第２監視装置３とが学習済みモデル情報を共有することになる。

【0051】

出力処理部１０７は、第１監視装置２又は第２監視装置３から警報の対象となるオブジェクトが存在していることを示す通知を受けると、出力部１６を制御して道路４上にオブジェクトが存在することを示す警報を出力する。

【0052】

出力処理部１０７は、出力部１６を制御して第１監視装置２又は第２監視装置３からの通知を出力する処理を実行する。例えば出力処理部１０７は、警報の対象となるオブジェクトのクラス、オブジェクト位置情報等の情報をディスプレイに表示してもよく、スピーカから音声によって発生させてもよい。これにより、移動体５の操作者は、道路４上に存在する障害物等を認識することができる。

【0053】

＜第１監視装置２の構成と動作について＞
次に、警報通知処理における第１監視装置２の機能的構成について説明する。図４は、第１監視装置２のハードウェア及び機能ブロックの構成を例示するブロック図である。

【0054】

第１監視装置２は、図４に示すように処理部２０と、記憶部（第２記憶部）２１と、通信Ｉ／Ｆ部２２と、無線通信部２３と、出力部２４と、を備える。

【0055】

処理部２０は、ＣＰＵ等のプロセッサによって構成される演算装置であり、後述の記憶部２１から各種プログラム、データを読み込んで実行し、移動制御の機能を実現する。本実施形態では、処理部２０は、分類結果取得部２０１と、学習済みモデル識別情報取得部２０２と、特徴画像データ取得部２０３と、高精度クラス分類部２０４と、比較部２０５、判定部２０６、信号送信部（送信部）２０７、通知部２０８と、を備え、各機能部のデータ処理を実行する。各機能部の動作については後述する。

【0056】

記憶部２１は、ハードウェア群を第１監視装置２として機能させるための各種プログラム、及び各種データなどの記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ、半導体ドライブ（ＳＳＤ）又はハードディスクドライブ（ＨＤＤ）などで構成することができる。具体的には、記憶部２１は、本実施形態の各機能を処理部２０に実行させるためのプログラム、第１監視装置２の制御プログラム、各種パラメータ、第１監視装置２のＩＰアドレスやＭＡＣアドレス等の識別情報、通信可能エリアを含む地理的なマップ情報に関する情報、複数の異なるタイプの所定の学習済みモデルの学習済みモデル情報、所定の学習済みモデルを一意に識別する識別情報等が記憶される。

【0057】

通信Ｉ／Ｆ部２２は、第１監視装置２が通信ネットワークＮＷを介して通信するためのインターフェイスである。第１監視装置２は、通信Ｉ／Ｆ部２２を介して第２監視装置３と通信可能に接続される。

【0058】

無線通信部２３は、第１監視装置２が周囲の装置と無線によりＶ２Ｘ通信するための処理を実行する。無線通信部２３は、第１監視装置２の通信可能エリア内を走行する移動体５に搭載される移動体搭載装置１と無線通信を行う。無線通信部２３は、例えば移動体搭載装置１のクラス分類部１０２による分類結果や位置情報取得部１１０によって取得された取得位置情報等を受信する。

【0059】

出力部２４は、移動体５の操作者に光、音、映像又はこれらの組み合わせによって道路４上の警報の対象の存在を報知する。出力部２４は、例えば映像を表示するディスプレイや音を発生させるスピーカ、光を発生させるＬＥＤ等の発光機器等によって構成される。

【0060】

次に、処理部２０が第１監視装置２の警報通知処理を実行するための機能的構成について説明する。

【0061】

分類結果取得部２０１は、無線通信部２３を介して移動体搭載装置１からクラス分類部１０２による分類結果を取得する処理を実行する。本実施形態では、分類結果取得部２０１は、クラス分類部１０２による分類結果とともに、該分類結果に対応する画像データ識別情報、取得位置情報等を取得する。

【0062】

学習済みモデル識別情報取得部２０２は、移動体搭載装置１からクラス分類部１０２による警報通知処理に用いた学習済みモデル識別情報を取得する処理を実行する。

【0063】

特徴画像データ取得部２０３は、移動体搭載装置１の特徴画像データ送信部１２１から特徴画像データを取得する処理を実行する。特徴画像データ取得部２０３は、後述する信号送信部２０７から送信される画像データの送信要求信号を受信した移動体搭載装置１から送信される特徴画像データを取得する。

【0064】

高精度クラス分類部２０４は、特徴画像データ取得部２０３によって取得された特徴画像データと、移動体搭載装置１のクラス分類部１０２で用いられている所定の学習済みモデルよりも高い精度の学習済みモデル（以下、高精度学習済みモデルという）に基づく高い精度のクラス分類を行う（以下、高精度クラス分類処理という）。具体的には、高精度クラス分類部２０４は、特徴画像データに含まれているオブジェクトに対して、高精度学習済みモデルに基づくクラス分類を行う。高精度学習済みモデルは、移動体搭載装置１のクラス分類部１０２によって用いられる学習済みモデルと異なるタイプのものであり、より分類精度の高いタイプである。

【0065】

比較部２０５は、移動体搭載装置１が用いた学習済みモデルが所定の学習済みモデルであるかを判定する処理を実行する。具体的には、比較部２０５は、学習済みモデル識別情報取得部２０２によって取得された学習済みモデル識別情報と、記憶部２１に記憶された学習済みモデル識別情報とを比較し、それらの識別情報が一致する場合、移動体搭載装置１が用いた学習済みモデルが所定の学習済みモデルであると判定し、それらの識別情報が一致しない場合、その旨を学習済みモデル識別情報の送信先である移動体搭載装置１に送信する。

【0066】

判定部２０６は、画像データ内のオブジェクトが警報の対象となるかを判定する処理を実行する。図５は、所定の学習済みモデルにより得られるクラス分類に基づいて生成されたテーブルＴの一例を示す図である。判定部２０６は、比較部２０５よって学習済みモデルが所定の学習済みモデルであると判定された場合、画像データ内のオブジェクトが警報の対象になるかを判定する処理（以下、警報対象判定処理という）を実行する。具体的には、判定部２０６は、図５に示す所定の学習済みモデルにより得られるクラス分類に基づいて生成されたテーブルＴを参照し、移動体搭載装置１の送信処理部１２０から受信した分類結果に基づいて、警報対象判定処理を実行する。図５に示すように、テーブルＴには、所定の学習済みモデルによって分類され、オブジェクトが警報の対象になる可能性のあるクラスの種類と、オブジェクトが警報の対象になる確率スコアの所定の閾値（以下、警報用閾値という）の一覧である。図５に示す例では、一のクラスの確率スコアが０．６以上である場合に、警報の対象になると判定される。判定部２０６は、例えば分類結果に含まれている確率スコアの中で最大となる確率スコアが警報用閾値以上である場合に、警報の対象になると判定してもよい。例えば図３に示す分類結果と図５に示すテーブルＴにより警報対象判定処理を実行する場合、図３に示す分類結果では、タイヤの確率スコアが０．７５であり、図５に示すテーブルＴの警報用閾値が０．６以上であるので、オブジェクトが警報の対象になると判定される。

【0067】

判定部２０６は、学習済みモデルのタイプに応じて警報用閾値を変更してもよい。例えば判定部２０６は、分類精度や信頼性が高いタイプの学習済みモデルの警報用閾値をより低く設定してもよい。図６は、第１監視装置２の判定部２０６による学習済みモデルのタイプに応じた警報の対象の判定基準の一例を示すテーブルである。図６に示す例では、タイプＡが最も分類精度が高いタイプの学習済みモデルであり、警報用閾値が０．６に設定されている。即ち、判定部２０６は、クラス分類部１０２による分類結果がタイプＡの学習済みモデルを用いたものである場合、例えばオブジェクトの分類結果に含まれている確率スコアの中で最大となる確率スコアが０．６以上であると、オブジェクトが警報の対象になると判定する。一方で、判定部２１２は、クラス分類部１０２による分類結果がタイプＣの学習済みモデルを用いたものである場合、例えばオブジェクトの分類結果に含まれている確率スコアの中で最大となる確率スコアが０．８以上でなければオブジェクトが警報の対象になると判定しない。なお、図６に示す例では、タイプＡ、Ｂ、Ｃ以外のその他のタイプの学習済みモデルである場合、判定部２０６は、警報通知判定処理を実行しない。

【0068】

信号送信部２０７は、移動体搭載装置１のクラス分類部１０２による分類結果に含まれている確率スコアの中で最大となる確率スコアが所定の範囲（例えば、０．４～０．６等）である場合に、その分類結果に対応する画像データの送信要求信号を該画像データの送信元である移動体搭載装置１に送信する。この送信要求信号を受信した移動体搭載装置１は、上述したように送信要求信号が示す画像データの特徴画像データを送信要求信号の送信元である第１監視装置２に送信する。そして、第１監視装置２の特徴画像データ取得部２０３によって特徴画像データが取得される。

【0069】

判定部２０６は、特徴画像データ取得部２０３によって特徴画像データが取得された場合、クラス分類部１０２による分類結果を用いずに、高精度クラス分類部２０４によって高精度クラス分類処理された分類結果に基づいて警報の対象となるオブジェクトが存在するかを判定してもよい。例えば判定部２０６は、高精度学習済みモデルにより得られるクラス分類に基づいて生成されたテーブルを参照し、高精度クラス分類部２０４により分類された分類結果に基づいて、オブジェクトが警報の対象となるか否を判定してもよい。具体的には判定部２０６は、高精度クラス分類部２０４による分類結果に含まれている確率スコアの中で最大となる確率スコアが所定の閾値（以下、高精度警報用閾値という）以上である場合に、警報の対象となるオブジェクトが存在すると判定してもよい。なお、高精度クラス分類処理を行わず、ユーザが特徴画像データを確認し、警報の対象となるオブジェクトが存在しているかを判定することもできる。

【0070】

通知部２０８は、判定部２０６によりオブジェクトが警報の対象になると判定された場合、警報の対象となるオブジェクトが存在していることを外部装置に通知する処理を実行する。外部装置とは、一の第１監視装置２自身以外の装置を意味し、例えば他の第１監視装置２であってもよく、第２監視装置３であってもよく、自身が配置される路側機６以外の他の路側機６であってもよい。他の路側機６は、第１監視装置２が配置されているものであってもよく、第１監視装置２が配置されていないものであってもよい。本実施形態では、通知部２０８は、第２監視装置３を介して第１監視装置２が配置されていない路側機６又は他の第１監視装置２に警報の対象になるオブジェクトが存在していることを通知する。通知部２０８は、例えば図１に示すように、オブジェクトが存在する道路４の順走方向Ｘ、即ち移動経路の進行方向においてオブジェクト位置情報が示す位置よりも後方のエリアに存在する他の第１監視装置２や移動体搭載装置１へ警報の対象となるオブジェクトが存在していることを通知する。即ち、通知部２０８は、自身が設置されている場所よりも道路４上の手前に設置されている他の第１監視装置２又は第１監視装置２が配置されていない路側機６に警報の対象となるオブジェクトが存在していることを通知する。これにより、警報の対象となるオブジェクトが存在する位置よりも後方のエリアに存在する移動体５の操作者に注意喚起を行い、移動体５の通常の移動を妨げる障害物等の存在を予め認識させることが可能となる。

【0071】

＜第２監視装置３の構成と動作について＞
次に、警報通知処理における第２監視装置３の機能的構成について説明する。図７は、第２監視装置３のハードウェア及び機能ブロックの構成を例示するブロック図である。

【0072】

第２監視装置３は、図７に示すように処理部３０と、記憶部（第２記憶部）３１と、通信Ｉ／Ｆ部３２と、を備える。

【0073】

処理部３０は、ＣＰＵ等のプロセッサによって構成される演算装置であり、後述の記憶部３１から各種プログラム、データを読み込んで実行し、移動制御の機能を実現する。本実施形態では、処理部３０は、分類結果取得部３０１と、学習済みモデル識別情報取得部３０２と、特徴画像データ取得部３０３と、高精度クラス分類部３０４と、比較部３０５と、判定部３０６と、信号送信部３０７と、通知部３０８と、学習済みモデル変更指示部３０９と、通知統合部３１０と、を備え、各機能部のデータ処理を実行する。

【0074】

記憶部３１は、ハードウェア群を第２監視装置３として機能させるための各種プログラム、及び各種データなどの記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ、半導体ドライブ（ＳＳＤ）又はハードディスクドライブ（ＨＤＤ）などで構成することができる。具体的には、記憶部３１は、本実施形態の各機能を処理部３０に実行させるためのプログラム、第２監視装置３の制御プログラム、各種パラメータ、第２監視装置３のＩＰアドレスやＭＡＣアドレス等の識別情報、複数の路側機６が通信可能エリアを含む地理的なマップ情報に関する情報、複数のタイプの学習済みモデルの学習済みモデル情報、判定部３０６で用いる所定の学習済みモデルを一意に識別する識別情報等が記憶される。

【0075】

通信Ｉ／Ｆ部３２は、第２監視装置３が通信ネットワークＮＷを介して通信するためのインターフェイスである。第２監視装置３は、通信Ｉ／Ｆ部３２を介して複数の第１監視装置２や他の通信装置と通信可能に接続される。

【0076】

次に、処理部３０が第２監視装置３の警報通知処理を実行するための機能的構成について説明する。なお、上述した第１監視装置２が含む機能ブロックと同名の機能ブロックは同等の機能を有しており、重複する再度の説明は省略する場合がある。

【0077】

学習済みモデル変更指示部３０９は、比較部３０５によって学習済みモデルが所定の学習済みモデルではないと判定された場合に、学習済みモデル識別情報の送信元である移動体搭載装置１に学習済みモデルを所定の学習済みモデルに変更することを指示する変更指示信号を送信する。例えば変更指示信号には、所定の学習済みモデルをダウンロード可能なリンク先等の情報も含まれる。

【0078】

通知統合部３１０は、複数の第１監視装置２から警報の対象となるオブジェクトが存在することを示す通知を受けた場合に、同じオブジェクトに対する通知を統合する処理を実行する。具体的には通知統合部３１０は、分類結果取得部３０１によって取得された取得位置情報に基づいて通知が同じオブジェクトに対するものであるか判定し、その判定結果に基づいて通知を統合する。通知統合部３１０は、例えば対応する取得位置情報が同じ位置を示している通知同士を１つに統合する。そして、通知統合部３１０は、通知部３０８が宛先とした他の第１監視装置２に統合した通知を送信する。これにより、宛先となる第１監視装置２や該第１監視装置２と通信可能な移動体搭載装置１に重複した内容の通知が複数回送信される事態を防止できる。

【0079】

次に、本実施形態に係る警報通知システムＳによる警報通知処理の流れについて説明する。なお、以下の動作説明における処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。

【0080】

まず、警報通知システムＳによる警報通知処理のうち移動体搭載装置１によって実行される処理の一例について説明する。図８は、移動体搭載装置１によって実行される処理の一例を示すフローチャートである。

【0081】

図８に示すように、ステップＳ１１において、処理部１０は、ＧＮＳＳ部１２によって検出されたＧＮＳＳ信号と、撮像部１１によって撮像された画像データと、を取得する。具体的には、画像データ取得部１０１が、撮像部１１から送信される画像データを取得し、自己位置推定部１１１は、ＧＮＳＳ部１２から送信されるＧＮＳＳ信号を受信する。

【0082】

ステップＳ１２において、クラス分類部１０２は、クラス分類処理を実行する。具体的には、クラス分類部１０２は、ステップＳ１１において取得された画像データに含まれているオブジェクトを抽出し、抽出したオブジェクトに対して、所定の学習済みモデルに基づくクラス分類を行う。

【0083】

ステップＳ１３において、位置情報取得部１１０は、取得位置情報を取得する処理を実行する。具体的には、まず自己位置推定部１１１により、ステップＳ１１で取得されたＧＮＳＳ信号に基づいて、ステップＳ１１で取得された画像データの撮像時における移動体搭載装置１の自己位置情報が推定される。そして、オブジェクト位置推定部１１２により、自己位置推定部１１１によって推定された自己位置情報、ステップＳ１２で検出された画像データ中におけるオブジェクトの位置情報、画像データの撮像条件等に基づいてオブジェクト位置情報が推定される。

【0084】

ステップＳ１４において、送信処理部１２０は、ステップＳ１２で求めたクラス分類部１０２による分類結果、該分類結果に係る画像データの識別情報、ステップＳ１２でのクラス分類処理で用いた学習済みモデルの識別情報、ステップＳ１３で取得した取得位置情報等を第１監視装置２に送信する。

【0085】

次に、警報通知システムＳによる警報通知処理のうち第１監視装置２によって実行される処理の一例について説明する。図９は、第１監視装置２によって実行される処理の一例を示すフローチャートである。

【0086】

図９に示すように、ステップＳ２１において、処理部２０の分類結果取得部２０１は、無線通信部２３を介して移動体搭載装置１からステップＳ１４で送信された、ステップＳ１２で得られたクラス分類部１０２による分類結果、該分類結果に係る画像データの識別情報、取得位置情報等を取得する。また、学習済みモデル識別情報取得部２０２は、ステップＳ１２でのクラス分類処理で用いた学習済みモデルの識別情報を取得する。

【0087】

ステップＳ２２において、比較部２０５は、ステップＳ２１で取得した学習済みモデルの識別情報に基づいて、ステップＳ１２で用いた学習済みモデルが所定の学習済みモデルであるか否かを判定する。学習済みモデル照合部２１１は、所定の学習済みモデルではないと判定した場合（ステップＳ２２；ＮＯ）、分類結果等の送信元の移動体搭載装置１にその旨を送信するとともに、処理をステップＳ２１に戻す。一方で、学習済みモデル照合部２１１は、所定の学習済みモデルであると判定した場合（ステップＳ２２；ＹＥＳ）、処理をステップＳ２３に移行する。

【0088】

ステップＳ２３において、判定部２０６は、所定の学習済みモデルにより得られるクラス分類に基づいて生成されたテーブルＴを参照し、ステップＳ２１で取得した分類結果に基づいて、ステップＳ１２で抽出されたオブジェクトが警報の対象になるかを判定する処理を実行する。具体的には判定部２０６は、ステップＳ２１で取得した分類結果に含まれている確率スコアの中で最大となる確率スコアが警報用閾値未満である場合（ステップＳ２３；ＮＯ）、処理をステップＳ２１に戻す。一方で、判定部２０６は、ステップＳ２１で取得した分類結果に含まれている確率スコアの中で最大となる確率スコアが警報用閾値以上である場合（ステップＳ２３；ＹＥＳ）、処理をステップＳ２４に移行する。

【0089】

ステップＳ２４において、通知部２０８は、他の第１監視装置２及び第２監視装置３に警報の対象になるオブジェクトが存在していることを通知する。例えば通知部２０８は、第１監視装置２自身が設置されている場所よりも道路４上の手前に設置されている他の第１監視装置２又は第１監視装置２が配置されていない路側機６に警報の対象になるオブジェクトが存在していることを通知する。これにより、一連の警報通知処理が終了する。

【0090】

次に、第１監視装置２が実行する図９に示す処理とは異なる処理の一例について図１０を参照しながら説明する。図１０は、警報通知システムＳによる警報通知処理のうち第１監視装置２によって実行される図９に示す処理とは異なる処理の一例を示すフローチャートである。

【0091】

図１０に示すように、処理部２０は、ステップＳ２１及びステップＳ２２の処理を実行する。なお、ステップＳ２１及びステップＳ２２の処理は、図９に示すステップＳ２１及びステップＳ２２の処理と同様の処理であるので、その説明を省略する。

【0092】

処理部２０は、ステップＳ２２で比較部２０５が、ステップＳ１２で用いた学習済みモデルが所定の学習済みモデルであると判定した場合、処理をステップＳ３１に移行する。ステップＳ３１において、判定部２１２は、ステップＳ２１で取得した分類結果に含まれている確率スコアの中で最大となる確率スコアが所定の範囲であるか否かを判定する。判定部２１２は、分類結果に含まれている確率スコアの中で最大となる確率スコアが所定の範囲外である場合（ステップＳ３１；ＮＯ）、処理をステップＳ２３に移行する。ステップＳ２３の処理の後、ステップＳ２４に処理を移行するか警報通知処理を終了する。なお、ステップＳ２３及びステップＳ２４の処理は、図９に示すステップＳ２３及びステップＳ２４の処理と同様の処理であるので、その説明を省略する。一方で、判定部２１２は、分類結果に含まれている確率スコアの中で最大となる確率スコアが所定の範囲内である場合（ステップＳ３１；ＹＥＳ）、処理をステップＳ３２に移行する。

【0093】

ステップＳ３２において、信号送信部２０７は、図８に示すステップＳ１２で得られた分類結果に対応する画像データの送信要求信号を画像データの送信元である移動体搭載装置１に送信する。

【0094】

ステップＳ３３において、特徴画像データ取得部２０３は、ステップＳ３２で送信要求信号が送信された移動体搭載装置１から特徴画像データを取得する。

【0095】

ステップＳ３４において、高精度クラス分類部２０４は、高精度クラス分類処理を実行する。具体的には、高精度クラス分類部２０４は、ステップＳ３３で取得した特徴画像データと、記憶部２１から抽出した高精度学習済みモデルとに基づいて、画像データに含まれているクラス分類を行う。

【0096】

ステップＳ３５において、判定部２０６は、ステップＳ３４で得られた分類結果に基づいて警報の対象となるオブジェクトが存在するかを判定する。具体的には判定部２０６は、ステップＳ３４で得られた分類結果に含まれている確率スコアの中で最大となる確率スコアが高精度警報用閾値未満である場合（ステップＳ３５；ＮＯ）、処理を終了する。一方で、判定部２０６は、分類結果に含まれている確率スコアの中で最大となる確率スコアが警報用閾値以上である場合（ステップＳ３５；ＹＥＳ）、処理をステップＳ３６に移行する。

【0097】

ステップＳ３６において、通知部２０８は、警報の対象となるオブジェクトが存在していることを他の第１監視装置２及び第２監視装置３、路側機６等の外部装置に通知し、一連の警報通知処理が終了する。

【0098】

次に、警報通知システムＳによる図８～１０に示す処理とは異なる警報通知処理の一例について図１１及び図１２を参照しながら説明する。図１１は、警報通知処理のうち移動体搭載装置１によって実行される処理の一例を示すフローチャートである。図１２は、第２監視装置３によって実行される処理の一例を示すフローチャートである。

【0099】

まず、移動体搭載装置１によって実行される処理の一例について図１１を参照しながら説明する。

【0100】

図１１に示すように、処理部１０は、ステップＳ１１～ステップＳ１４の処理を実行する。なお、ステップＳ１１～ステップＳ１４の処理は、図８に示すステップＳ１１～ステップＳ１４の処理と同様の処理であるので、その説明を省略する。

【0101】

ステップＳ４１において、学習済みモデル照会部１０５は、ステップＳ１２で用いた学習済みモデルが、所定の学習済みモデルであるかを問い合わせる処理を実行する。例えば学習済みモデル照会部１０５は、第２監視装置３にステップＳ１２で用いた学習済みモデルの識別情報を送信するとともに、学習済みモデルが所定のタイプであるか照合するように要求する要求信号を送信する。

【0102】

ステップＳ４２において、第２監視装置３の比較部３０５によってステップＳ１２で用いた学習済みモデルが所定の学習済みモデルであると判定された場合（ステップＳ４２；ＹＥＳ）、処理部１０による警報通知処理を終了する。一方で、所定の学習済みモデルではないと判定された場合（ステップＳ４２；ＮＯ）、処理をステップＳ４３に移行する。

【0103】

ステップＳ４３において、学習済みモデル変更部１０６は、第２監視装置３によって指定されるタイプの学習済みモデルに変更する処理を実行する。例えば学習済みモデル変更部１０６は、第２監視装置３によって指定されたリンク先等にアクセスし、ダウンロードすることにより、学習済みモデルを取得し、既存の学習済みモデルと差し替える。その後、処理部１０は、ステップＳ１２～ステップＳ１４と同様の内容のステップＳ４４～ステップＳ４６の処理を実行する。これにより、移動体搭載装置１は、第２監視装置３と学習済みモデル情報を共有した学習済みモデルを用いてクラス分類処理を実行した分類結果を第２監視装置３に送信することになる。

【0104】

ここで、学習済みモデルのクラス分類等の学習済みモデル情報を移動体搭載装置１と監視装置２、３で共有しない場合、例えば、移動体搭載装置１で有する学習済みモデルを使用してオブジェクトを推論して、確率スコアを監視装置２、３に送った場合、監視装置２、３では、どのような学習済みモデルによる確率スコアであるかを検証できないため、確率スコアを定量的に判断することが困難であると考えられる。また警報をあげるべきか否かを定量的に判断することが困難となる問題がある。

【0105】

これに対して、移動体搭載装置１側で監視装置２、３と情報が共有された所定の学習済みモデルを用いてクラス分類処理が行われるので、監視装置２、３側で把握しているクラス分類で確率スコアを検証でき、確率スコア等を定量的に判断することが容易になる。

【0106】

次に、第２監視装置３によって実行される処理の一例について図１２を参照しながら説明する。

【0107】

図１２に示すように、ステップＳ５１において、処理部３０の分類結果取得部３０１は、第１監視装置２等を介して移動体搭載装置１からステップＳ１１で送信されたステップＳ１２で求めたクラス分類部１０２による分類結果、該分類結果に係る画像データの識別情報、取得位置情報等を取得する。また、学習済みモデル識別情報取得部２０２は、ステップＳ１２でのクラス分類処理で用いた学習済みモデルの識別情報を取得する。

【0108】

ステップＳ５２において、比較部３０５は、ステップＳ１１で取得した学習済みモデルの識別情報に基づいて、ステップＳ１２で用いた学習済みモデルが所定の学習済みモデルであるか否かを判定する。比較部３０５は、ステップＳ１２で用いた学習済みモデルが所定の学習済みモデルではないと判定した場合（ステップＳ５２；ＮＯ）、処理をステップＳ５３に移行する。そして、ステップＳ５３において、学習済みモデル変更指示部３０９は、ステップＳ４１で要求信号を送信した移動体搭載装置１に変更指示信号を送信し、処理をステップＳ５１に戻す。一方で、比較部３０５は、ステップＳ１２で用いた学習済みモデルが所定の学習済みモデルであると判定した場合（ステップＳ５２；ＹＥＳ）、処理をステップＳ５４に移行する。

【0109】

ステップＳ５４において、判定部３０６は、ステップＳ５１で取得した分類結果に基づいて警報の対象となるオブジェクトが存在するかを判定する。具体的には判定部３０６は、ステップＳ５１で取得した分類結果に含まれている確率スコアの中で最大となる確率スコアが警報用閾値未満である場合（ステップＳ５４；ＮＯ）、処理をステップＳ５１に戻す。一方で、判定部３１２は、分類結果に含まれている確率スコアの中で最大となる確率スコアが警報用閾値以上である場合（ステップＳ５４；ＹＥＳ）、処理をステップＳ５５に移行する。

【0110】

ステップＳ５５において、通知部３０８は、警報の対象になるオブジェクトが存在していることを第１監視装置２に通知する。例えば通知部３０８は、オブジェクトが存在する道路４の順走方向Ｘ、即ち移動経路の進行方向においてオブジェクト位置情報が示す位置よりも後方のエリアに存在する第１監視装置２へ警報の対象となるオブジェクトが存在していることを通知する。これにより、一連の警報通知処理が終了する。

【0111】

以上説明した実施形態によれば、以下のような効果を奏する。

【0112】

本実施形態に係る警報通知システムＳは、移動体５に搭載される移動体搭載装置１と、移動体搭載装置１と通信可能であり、それぞれ異なるエリアに設置され、通信ネットワークＮＷを介して互いに通信可能な１つ以上の監視装置２、３と、を備える警報通知システムＳであって、移動体搭載装置１は、画像データを取得する画像データ取得部１０１と、画像データ取得部１０１によって取得された画像データに含まれているオブジェクトを抽出し、抽出したオブジェクトに対して、所定の機械学習による学習済みモデルに基づくクラス分類を行うクラス分類部１０２と、クラス分類部１０２により分類されたオブジェクトの分類結果を監視装置２、３に送信する送信処理部１２０と、を有し、監視装置２、３は、所定の機械学習による学習済みモデルにより得られるクラス分類に基づいて生成されたテーブルＴを参照し、移動体搭載装置１の送信処理部１２０から受信した分類結果に基づいて、警報の対象になるか否かを判定する判定部２０６、３０６と、判定部２０６、３０６により警報の対象になると判定された場合、警報の対象となるオブジェクトが存在していることを外部装置に通知する通知部２０８、３０８と、を有する。これにより、移動体搭載装置１側で画像データに含まれているオブジェクトに対するクラス分類処理を行い、比較的容量が小さい分類結果が第１監視装置２、第２監視装置３側に送信され、監視装置２、３側でオブジェクトが警報の対象であるかが判定される。このため、容量が大きい画像データを送受信せずに道路４における警報の対象の存在を異なるエリアに伝えることができる。このため、移動体搭載装置１が搭載される移動体５の移動速度が速い場合であっても、道路４上の障害物等の存在を確実に異なるエリアに伝えることができる。

【0113】

ここで、学習済みモデルのクラス分類等の学習済みモデル情報を移動体搭載装置１と監視装置２、３で共有しない場合、例えば、移動体搭載装置１で有する学習済みモデルを使用してオブジェクトを推論して、確率スコアを監視装置２、３に送った場合、監視装置２、３では、どのような学習済みモデルによる確率スコアであるかを検証できないため、確率スコアを定量的に判断することが困難であると考えられる。また警報をあげるべきか否かを定量的に判断することが困難となる問題がある。

【0114】

これに対して本実施形態によれば、移動体５に搭載された移動体搭載装置１側で監視装置２、３と情報が共有された所定の機械学習による学習済みモデルを用いてクラス分類処理が行われるので、監視装置２、３側で把握しているクラス分類で確率スコアを検証できる。よって、移動体搭載装置１側からの確率スコア等を定量的に判断することが容易になる。

【0115】

また本実施形態に係る警報通知システムＳにおいて、通知部２０８、３０８は、移動体搭載装置１から送信されてきた分類結果に基づいて、警報の対象になると判定された場合、自身が設置されている場所よりも道路４上の離れた場所に設置されている外部装置としての路側機６へ警報の対象となるオブジェクトが存在していることを通知する。これにより、路側機６を介して警報の対象となるオブジェクトが存在する位置から離れたエリアに存在する移動体５の操作者に道路４上の障害物等の存在する通知することができる。例えば警報の対象となるオブジェクトが存在する位置よりも後方のエリアに存在する移動体５の操作者に注意喚起を行い、道路４上の障害物等の存在を予め認識させることが可能となる。

【0116】

また本実施形態に係る警報通知システムＳにおいて、分類結果には、クラスごとの確率スコアが含まれ、判定部２０６、３０６は、テーブルＴを参照し、分類結果に含まれている確率スコアに基づいて、警報の対象になるか否かを判定する。これにより、より簡素な処理でオブジェクトが警報の対象となるかを判定することができる。

【0117】

また本実施形態に係る警報通知システムＳにおいて、監視装置２、３は、移動体搭載装置１のクラス分類部１０２による分類結果に含まれている確率スコアが所定の範囲である場合に、該分類結果に対応する画像データの送信要求信号を該画像データの送信元である移動体搭載装置に送信する信号送信部２０７、３０７を有し、移動体搭載装置１は、送信要求信号を受信した場合に、画像データから対象となるオブジェクトが含まれている特徴画像データを抽出する抽出部１０３を有し、送信処理部１２０は、該特徴画像データを監視装置２、３に送信する特徴画像データ送信部１２１を有する。これにより、例えば移動体搭載装置１によるクラス分類処理の結果のみでオブジェクトが警報の対象であるか判定することが難しい場合、改めて監視装置２、３側でオブジェクトが警報の対象であるか判定することができる。また、移動体搭載装置１から監視装置２、３側に送信されるデータは、オブジェクトのみを抽出し、未加工の画像データと比較して容量が小さい特徴画像データであるので、より確実に装置間でデータを伝送することができる。

【0118】

また本実施形態に係る警報通知システムＳにおいて、監視装置２、３は、特徴画像データ送信部１２１から受信した特徴画像データと、特徴画像データに含まれるオブジェクトに対して、移動体搭載装置１のクラス分類部１０２で用いられている所定の機械学習による学習済みモデルよりも高い精度の高精度学習済みモデルに基づくクラス分類を行う高精度クラス分類部２０４、３０４を更に有し、判定部２０６、３０６は、高精度学習済みモデルにより得られるクラス分類に基づいて生成されたテーブルを参照し、高精度クラス分類部２０４、３０４により分類された分類結果に基づいて、警報の対象になるか否かを判定する。これにより、例えば監視装置２、３側でも学習済みモデルを用いてオブジェクトが警報の対象であるか判定することができる。

【0119】

また本実施形態に係る警報通知システムＳにおいて、移動体搭載装置１は、画像データを取得したときの位置を示す取得位置情報を取得する位置情報取得部１１０を更に有し、送信処理部１２０は、クラス分類により分類されたオブジェクトの分類結果とともに、位置情報取得部１１０により取得された取得位置情報を監視装置２、３に送信する。これにより、例えば警報の対象になるオブジェクトの位置に関する情報を考慮して、監視装置２、３側で警報の緊急性や重要度を調整することができる。

【0120】

また本実施形態に係る警報通知システムＳにおいて、移動体搭載装置１は、クラス分類部１０２で用いる所定の学習済みモデルを一意に識別する識別情報を記憶する記憶部１４を有し、移動体搭載装置１の送信処理部１２０は、クラス分類により分類されたオブジェクトの分類結果とともに、所定の学習済みモデルの識別情報を監視装置２、３へ送信し、監視装置２、３は、判定部２０６、３０６で用いるテーブルＴが生成された学習済みモデルを一意に識別する識別情報を記憶する記憶部２１、３１と、移動体搭載装置１から送信されてきた識別情報と、記憶部２１，３１に記憶されている識別情報を比較する比較部２０５、３０５と、を備え、通知部２０８、３０８は、比較部２０５、３０５により移動体搭載装置１から送信されてきた識別情報と、記憶部２１、３１に記憶されている識別情報とが一致しない場合、その旨を移動体搭載装置１に送信する。これにより、より確実に移動体搭載装置１と監視装置２、３との間で情報が共有された学習済みモデルで画像データに含まれているオブジェクトが警報の対象になるか判定できる。

【0121】

また本実施形態に係る監視装置２、３は、移動体搭載装置１と通信可能であり、それぞれ異なるエリアに設置され、通信ネットワークＮＷを介して互いに通信可能な１つ以上の監視装置２、３を備える警報通知システムＳに含まれる監視装置２、３であって、画像データに含まれ、該画像データから抽出されたオブジェクトに対する所定の機械学習による学習モデルに基づく、クラス分類によって分類されたオブジェクトの分類結果を移動体搭載装置１から取得する分類結果取得部２０１、３０１と、所定の機械学習による学習済みモデルにより得られるクラス分類に基づいて生成されたテーブルＴを参照し、移動体搭載装置１の送信処理部１２０から受信した分類結果に基づいて、警報の対象になるか否かを判定する判定部２０６、３０６と、判定部２０６、３０６により警報の対象になると判定された場合、警報の対象となるオブジェクトが存在していることを外部装置に通知する通知部２０８、３０８と、を備える。本実施形態によれば、移動体５に搭載された移動体搭載装置１側で第１監視装置２等とクラス分類が共有された所定の機械学習による学習済みモデルを用いて画像データに含まれているオブジェクトに対するクラス分類処理が行われる。そして、比較的容量が小さい分類結果が監視装置２、３側に送信され、監視装置２、３側でオブジェクトが警報の対象であるかが判定される。これにより、容量が大きい画像データを送受信せずに道路４における警報の対象の存在を異なるエリアに伝えることができる。このため、移動体搭載装置１が搭載される移動体５の移動速度が速い場合であっても、道路４上の障害物等の存在を確実に異なるエリアに伝えることができる。

【0122】

また本実施形態に係る移動体搭載装置１は、移動体５に搭載され、監視装置２、３と通信可能な移動体搭載装置１であって、画像データを取得する画像データ取得部１０１と、画像データ取得部１０１によって取得された画像データに含まれているオブジェクトを抽出し、抽出したオブジェクトに対して、所定の機械学習による学習済みモデルに基づくクラス分類を行うクラス分類部１０２と、クラス分類部１０２で用いる所定の機械学習による学習済みモデルを一意に識別する識別情報を記憶する記憶部１４と、クラス分類部により分類されたオブジェクトの分類結果と所定の機械学習による学習済みモデルの識別情報とを監視装置２、３に送信する送信処理部１２０と、を備える。これにより、移動体５に搭載された移動体搭載装置１側で学習済みモデルを用いてクラス分類処理を行い、比較的容量が小さい分類結果とともに使用した学習済みモデルの識別情報を監視装置２、３側に送信するので、監視装置２、３側で分類結果とその根拠となる情報をより確実に取得することができる。よって、移動体搭載装置１が搭載される移動体５の移動速度が速い場合であっても、道路４上の障害物等の存在を確実に異なるエリアに伝えることができる。

【0123】

以上、本発明の実施形態について説明したが、本発明は、上述の実施形態に制限されるものではなく、適宜変更が可能である。

【0124】

上記実施形態では、抽出部１０３が監視装置２、３からの送信要求信号を受信した場合に、画像データから対象となるオブジェクトが含まれている特徴画像データを抽出していたが、送信要求信号の受信の有無にかかわらず、画像データから特徴画像データを抽出してもよい。そして、抽出した特徴画像データをオブジェクトの分類結果とともに監視装置２、３に送信してもよい。即ち、移動体搭載装置１は、画像データから対象となるオブジェクトが含まれている特徴画像データを抽出する抽出部を備え、送信処理部はクラス分類部により分類されたオブジェクトの分類結果と共に特徴画像データを監視装置２、３に送信する特徴画像データ送信部を有する構成であってもよい。

【0125】

例えば移動体搭載装置１が特徴画像データ送信部１２１を備えない構成であってもよく、第１監視装置２が特徴画像データ取得部２０３及び高精度クラス分類部２０４を備えない構成であってもよく、第２監視装置３が特徴画像データ取得部３０３及び高精度クラス分類部３０４を備えない構成であってもよい。

【0126】

また例えば移動体搭載装置１が学習済みモデル照会部１０５及び学習済みモデル変更部１０６を備えない構成であってもよい。

【0127】

また例えば第２監視装置３が学習済みモデル変更指示部３０９及び通知統合部３１０の少なくともいずれかを備えない構成であってもよい。反対に第１監視装置２が学習済みモデル変更指示部及び通知統合部の少なくともいずれかを備える構成であってもよい。

【0128】

また例えば警報通知システムＳは、第２監視装置３を備えない構成であってもよい。

【符号の説明】

【0129】

１、１Ａ、１Ｂ、１Ｃ 移動体搭載装置
２ 第１監視装置（監視装置）
３ 第２監視装置（監視装置）
４ 道路（移動経路）
５ 移動体
１０１ 画像データ取得部
１０２ クラス分類部
２０６、３０６ 判定部
２０８、３０８ 通知部
１２０ 送信処理部
ＮＷ 通信ネットワーク
Ｓ 警報通知システム
Ｔ テーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】