(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024089695
(43)【公開日】2024-07-04
(54)【発明の名称】落石検出システム及び落石検出方法
(51)【国際特許分類】
G08G 1/00 20060101AFI20240627BHJP
G06T 7/00 20170101ALI20240627BHJP
G06V 10/82 20220101ALI20240627BHJP
G16Y 10/40 20200101ALI20240627BHJP
G16Y 20/20 20200101ALI20240627BHJP
G16Y 40/20 20200101ALI20240627BHJP
【ＦＩ】
G08G1/00 J
G06T7/00 350C
G06V10/82
G16Y10/40
G16Y20/20
G16Y40/20
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022205034
(22)【出願日】2022-12-22
(71)【出願人】
【識別番号】506332605
【氏名又は名称】基礎地盤コンサルタンツ株式会社
(74)【代理人】
【識別番号】100080838
【弁理士】
【氏名又は名称】三浦 光康
(74)【代理人】
【識別番号】100194261
【弁理士】
【氏名又は名称】栢原 崇行
(72)【発明者】
【氏名】松村 真一郎
(72)【発明者】
【氏名】峯 啓一郎
(72)【発明者】
【氏名】佐藤 由子
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181BB04
5H181BB15
5H181BB20
5H181CC04
5H181FF04
5H181FF10
5H181FF13
5H181FF27
5H181MC19
5L096AA02
5L096AA06
5L096BA04
5L096CA02
5L096DA02
5L096HA11
(57)【要約】 （修正有）
【課題】落石に関する情報提供を行う。
【解決手段】車両３の前方を撮影することができ、撮影時刻を記録できる撮影装置４と、原子時計５を備えるＧＰＳトラッカー６と、撮影装置４で撮影した画像、画像の撮影時刻及びＧＰＳトラッカー６が取得した位置情報を外部端末７へ伝達可能な伝達手段８と、伝達手段８で伝達された画像及び位置情報を取得可能な外部端末７と、外部端末７に設けられ又は接続され、自然写真から切り抜いた落石画像を教師データとして、教師データと撮影装置４で撮影した画像とを比較して落石を抽出する落石抽出手段９と、落石抽出手段９により落石が抽出された画像の撮影時刻とＧＰＳトラッカー６の原子時計５の時刻を照合し、落石の位置情報を取得する位置情報取得手段１０と、位置情報取得手段１０が取得した落石の位置情報を蓄積する記憶装置１１と、記憶装置１１に蓄積されている落石の位置情報を表示する情報提供手段とからなる。
【選択図】図１
【解決手段】車両３の前方を撮影することができ、撮影時刻を記録できる撮影装置４と、原子時計５を備えるＧＰＳトラッカー６と、撮影装置４で撮影した画像、画像の撮影時刻及びＧＰＳトラッカー６が取得した位置情報を外部端末７へ伝達可能な伝達手段８と、伝達手段８で伝達された画像及び位置情報を取得可能な外部端末７と、外部端末７に設けられ又は接続され、自然写真から切り抜いた落石画像を教師データとして、教師データと撮影装置４で撮影した画像とを比較して落石を抽出する落石抽出手段９と、落石抽出手段９により落石が抽出された画像の撮影時刻とＧＰＳトラッカー６の原子時計５の時刻を照合し、落石の位置情報を取得する位置情報取得手段１０と、位置情報取得手段１０が取得した落石の位置情報を蓄積する記憶装置１１と、記憶装置１１に蓄積されている落石の位置情報を表示する情報提供手段とからなる。
【選択図】図１
【特許請求の範囲】
【請求項1】
車両に搭載されかつ車両から撮影することができると共に、前記撮影時刻を記録できる撮影装置と、前記車両に搭載されかつ原子時計を備えるＧＰＳトラッカーと、前記車両に搭載され、前記撮影装置で撮影した画像、前記画像の撮影時刻及び前記ＧＰＳトラッカーが取得した位置情報を外部端末へ伝達可能な伝達手段と、前記伝達手段で伝達された前記画像及び位置情報を取得可能な前記外部端末と、前記外部端末に設けられ又は接続され、自然写真から切り抜いた落石画像を教師データとして、前記教師データと前記撮影装置で撮影した画像とを比較して落石を抽出する落石抽出手段と、前記落石抽出手段により前記落石が抽出された画像の撮影時刻と前記ＧＰＳトラッカーの原子時計の時刻を照合し、前記落石の位置情報を取得する位置情報取得手段と、前記位置情報取得手段が取得した前記落石の位置情報を蓄積する記憶装置と、前記記憶装置に蓄積されている前記落石の位置情報を提供する情報提供手段とからなる落石検出システム。
【請求項2】
前記落石抽出手段は、前記画像ごとにカスケード分類器により一次判定し、前記カスケード分類器により絞り込んだ前記画像を畳み込みニューラルネットワーク法により二次判定を行い、前記落石を抽出することを特徴とする請求項１に記載の落石検出システム。
【請求項3】
前記画像は動画であり、前記落石抽出手段は前記動画の１フレームごとに前記落石を抽出することを特徴とする請求項２に記載の落石検出システム。
【請求項4】
前記落石抽出手段は、複数の画像から検出された落石が同一の落石であると判定した場合、前記同一の落石のうち１つの落石を代表として抽出することを特徴とする請求項３に記載の落石検出システム。
【請求項5】
前記情報提供手段は、前記位置情報取得手段が取得した前記落石の位置情報を地理情報システムにリアルタイムに表示させることを特徴とする請求項１乃至請求項４のいずれかに記載の落石検出システム。
【請求項6】
車両に搭載された撮影装置により撮影時刻とともに画像を撮影する画像撮影工程と、車両に搭載されかつ原子時計を備えるＧＰＳトラッカーにより車両の位置情報を取得するＧＰＳ情報取得工程と、前記撮影装置で撮影した画像、前記画像の撮影時刻及び前記ＧＰＳ情報を外部端末が取得し、落石抽出手段により自然写真から切り抜いた落石画像を教師データとして、前記教師データと前記撮影装置で撮影した画像とを比較して落石を抽出する落石抽出工程と、位置情報取得手段により前記落石抽出工程により前記落石が抽出された画像の撮影時刻と前記ＧＰＳトラッカーの原子時計の時刻を照合し、前記落石の位置情報を取得する位置情報取得工程と、前記位置情報取得工程で取得した前記落石の位置情報を蓄積するとともに、前記落石の位置情報を提供する情報提供工程とからなる落石検出方法。
【請求項7】
前記落石抽出工程では、前記画像ごとにカスケード分類器により一次判定し、前記カスケード分類器により絞り込んだ前記画像をニューラルネットワークにより二次判定を行い、前記落石を抽出することを特徴とする請求項５に記載の落石検出方法。
【請求項8】
前記画像は動画であり、前記落石抽出手段は前記動画の１フレームごとに前記落石を抽出することを特徴とする請求項６に記載の落石検出方法。
【請求項9】
前記落石抽出工程では、複数の画像から検出された落石が同一の落石であると前記落石抽出手段が判定した場合、前記同一の落石のうち１つの落石を代表として抽出することを特徴とする請求項８に記載の落石検出方法。
【請求項10】
前記情報提供工程では、前記位置情報取得手段が取得した前記落石の位置情報を地理情報システムにリアルタイムに表示させることを特徴とする請求項６乃至請求項９のいずれかに記載の落石検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、道路上の落石を検出し、落石の位置や頻度を測定することができる落石検出システム及び落石検出方法に関する。
【背景技術】
【0002】
地盤が不安定な斜面では、地すべりや落石・崩壊といった災害要因をはらんでいる。道路災害の中でも、特に予測が困難なものに落石があり、落石は集中豪雨時や地震時だけではなく天気の良い昼間や夜間でも突然発生する。
【0003】
これまで多くの研究者によって、落石の予測は地形的には落石危険箇所の絞り込み、地質的には風化変質の進展、物理的には変位や破壊音等の測定など、多方面のアプローチを行ってきたものの、落石の前兆を予測するまでには至っていない。
【0004】
道路防災事業としては発生源の対策や道路際の待ち受け対策が実施されているところであるが、それでも、それらをすり抜けて道路に至り、重大事故が発生している事例が多い。
【0005】
日常の道路パトロール点検で遭遇する小落石から落石の予兆を察知することに期待できるが、実務上は整理の煩雑さから統一的に記録・蓄積している例は少なく、事後処理が主体であるのが現状である。
【0006】
なお、道路上の障害物を検知するシステムとしては「車両で使用される端末装置と、前記端末装置とネットワークを介して通信可能な情報提供装置と、を含む情報提供システムであって、前記端末装置は、前記車両が走行する道路を撮影した撮影画像に係る撮影画像データ及び前記道路を撮影した位置を示す検出位置情報を含む端末情報を前記情報提供装置に送信する端末情報送信部を有し、前記情報提供装置は、前記端末装置から前記端末情報を受信する端末情報受信部と、前記撮影画像に写った任意の物体が予め定められた障害物である場合、前記端末情報に含まれる前記検出位置情報を前記障害物の位置情報とし、前記車両が走行する道路の道路幅に応じて前記車両の進行方向を特定した第１の通知情報及び前記車両の進行方向を特定しない第２の通知情報のいずれかを、前記位置情報が示す位置の周辺の装置に通知する通知部と、を有する、情報提供システム」が知られている（特許文献１）。
【0007】
しかしながら、この情報提供システムでは、道路上の障害物を検出し、通知する機能を有しているものの、自然斜面からの落石現象のみを限定的に記録・蓄積しているものではなかった。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開２０２１－２６３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明は以上のような従来の欠点に鑑み、道路上の落石の位置情報や記録時間を蓄積でき、かつ、落石に関する情報提供を行うことができる落石検出システム及び落石検出方法を提供することを目的としている。
【課題を解決するための手段】
【0010】
上記目的を達成するために、本発明の請求項１に記載の落石検出システムは、車両に搭載されかつ車両から撮影することができると共に、前記撮影時刻を記録できる撮影装置と、前記車両に搭載されかつ原子時計を備えるＧＰＳトラッカーと、前記車両に搭載され、前記撮影装置で撮影した画像、前記画像の撮影時刻及び前記ＧＰＳトラッカーが取得した位置情報を外部端末へ伝達可能な伝達手段と、前記伝達手段で伝達された前記画像及び位置情報を取得可能な前記外部端末と、前記外部端末に設けられ又は接続され、自然写真から切り抜いた落石画像を教師データとして、前記教師データと前記撮影装置で撮影した画像とを比較して落石を抽出する落石抽出手段と、前記落石抽出手段により前記落石が抽出された画像の撮影時刻と前記ＧＰＳトラッカーの原子時計の時刻を照合し、前記落石の位置情報を取得する位置情報取得手段と、前記位置情報取得手段が取得した前記落石の位置情報を蓄積する記憶装置と、前記記憶装置に蓄積されている前記落石の位置情報を公に表示する情報提供手段とからなることを特徴とする。
【0011】
請求項２に記載の落石検出システム前記落石抽出手段は、前記画像ごとにカスケード分類器により一次判定し、前記カスケード分類器により絞り込んだ前記画像をニューラルネットワーク法により二次判定を行い、前記落石を抽出することを特徴とする。
【0012】
請求項３に記載の落石検出システムの前記画像は動画であり、前記落石抽出手段は前記動画の１フレームごとに前記落石を抽出することを特徴とする。
【0013】
請求項４に記載の落石検出システムの前記落石抽出手段は、複数の画像から検出された落石が同一の落石であると判定した場合、前記同一の落石のうち１つの落石を代表として抽出することを特徴とする。
【0014】
請求項５に記載の落石検出システムの前記情報提供手段は、前記位置情報取得手段が取得した前記落石の位置情報を地理情報システムにリアルタイムに表示させることを特徴とする。
【0015】
請求項６に記載の落石検出方法は、車両に搭載された撮影装置により撮影時刻とともに画像を撮影する画像撮影工程と、車両に搭載されかつ原子時計を備えるＧＰＳトラッカーにより車両の位置情報を取得するＧＰＳ情報取得工程と、前記撮影装置で撮影した画像、前記画像の撮影時刻及び前記ＧＰＳ情報を外部端末が取得し、落石抽出手段により自然写真から切り抜いた落石画像を教師データとして、前記教師データと前記撮影装置で撮影した画像とを比較して落石を抽出する落石抽出工程と、位置情報取得手段により前記落石抽出工程により前記落石が抽出された画像の撮影時刻と前記ＧＰＳトラッカーの原子時計の時刻を照合し、前記落石の位置情報を取得する位置情報取得工程と、前記位置情報取得工程で取得した前記落石の位置情報を蓄積するとともに、前記落石の位置情報を提供する情報提供工程とからなることを特徴とする。
【0016】
請求項７に記載の落石検出方法の前記落石抽出工程では、前記画像ごとにカスケード分類器により一次判定し、前記カスケード分類器により絞り込んだ前記画像をニューラルネットワークにより二次判定を行い、前記落石を抽出することを特徴とする。
【0017】
請求項８に記載の落石検出方法の前記画像は動画であり、前記落石抽出手段は前記動画の１フレームごとに前記落石を抽出することを特徴とする。
【0018】
請求項９に記載の落石検出方法の前記落石抽出工程では、複数の画像から検出された落石が同一の落石であると前記落石抽出手段が判定した場合、前記同一の落石のうち１の落石を代表として抽出することを特徴とする。
【0019】
請求項１０に記載の落石検出方法の前記情報提供工程では、前記位置情報取得手段が取得した前記落石の位置情報を地理情報システムにリアルタイムに表示させることを特徴とする。
【発明の効果】
【0020】
以上の説明から明らかなように、本発明にあっては次に列挙する効果が得られる。
（１）請求項１及び請求項６に記載された各発明においては、道路管理者が道路パトロール前に落石が集中する区間や最近の落石が集中する区間を点検注意箇所として認識できるため，点検精度を向上させることができる。
（２）また，点検精度の向上によって，大崩落につながる前兆を事前に予測しやすくなり，適切なリスク回避処置（通行止措置，詳細調査，防災対策）が期待できる。
（３）落石箇所を蓄積することにより落石集中区間が顕在化でき，これを公開することによって，生活道路として利用する近隣住民の緊急時の避難経路の選択（回避行動）が可能になり，二次災害のリスクを低減する効果が期待できる。
（４）また、ＧＰＳトラッカーを用いることにより、落石の位置情報を精度良く取得することができる。
（５）請求項２及び請求項７に記載された各発明も前記（１）～（４）と同様な効果が得られるとともに、画像ごとにカスケード分類器により一次判定するだけでなく、前記カスケード分類器により絞り込んだ前記画像をニューラルネットワークにより二次判定を行うことにより、一次判定に比べ高い的中率で落石を抽出することができる。
（６）請求項３及び請求項８に記載された各発明も前記（１）～（５）と同様な効果が得られるとともに、動画を撮影装置により撮影し、動画の１フレームごとに前記落石を抽出するため、落石の抽出漏れを効率よく防止することができる。
（７）請求項４及び請求項９に記載された各発明も前記（１）～（６）と同様な効果が得られるとともに、複数の画像から重複して落石を検出した場合、１つの落石を代表として抽出するため、重複する落石について複数回のカウントを防止できる。
したがって、より高精度に落石の抽出を行うことができる。
（８）請求項５及び請求項１０に記載された各発明も前記（１）～（７）と同様な効果が得られるとともに、落石の位置情報をリアルタイムに表示できるため、点検精度を更に向上させることができ、二次災害のリスクを更に低減させることができる。
（１）請求項１及び請求項６に記載された各発明においては、道路管理者が道路パトロール前に落石が集中する区間や最近の落石が集中する区間を点検注意箇所として認識できるため，点検精度を向上させることができる。
（２）また，点検精度の向上によって，大崩落につながる前兆を事前に予測しやすくなり，適切なリスク回避処置（通行止措置，詳細調査，防災対策）が期待できる。
（３）落石箇所を蓄積することにより落石集中区間が顕在化でき，これを公開することによって，生活道路として利用する近隣住民の緊急時の避難経路の選択（回避行動）が可能になり，二次災害のリスクを低減する効果が期待できる。
（４）また、ＧＰＳトラッカーを用いることにより、落石の位置情報を精度良く取得することができる。
（５）請求項２及び請求項７に記載された各発明も前記（１）～（４）と同様な効果が得られるとともに、画像ごとにカスケード分類器により一次判定するだけでなく、前記カスケード分類器により絞り込んだ前記画像をニューラルネットワークにより二次判定を行うことにより、一次判定に比べ高い的中率で落石を抽出することができる。
（６）請求項３及び請求項８に記載された各発明も前記（１）～（５）と同様な効果が得られるとともに、動画を撮影装置により撮影し、動画の１フレームごとに前記落石を抽出するため、落石の抽出漏れを効率よく防止することができる。
（７）請求項４及び請求項９に記載された各発明も前記（１）～（６）と同様な効果が得られるとともに、複数の画像から重複して落石を検出した場合、１つの落石を代表として抽出するため、重複する落石について複数回のカウントを防止できる。
したがって、より高精度に落石の抽出を行うことができる。
（８）請求項５及び請求項１０に記載された各発明も前記（１）～（７）と同様な効果が得られるとともに、落石の位置情報をリアルタイムに表示できるため、点検精度を更に向上させることができ、二次災害のリスクを更に低減させることができる。
【図面の簡単な説明】
【0021】
図１乃至図４は本発明の第１の実施形態を示す説明図である。
【図1】第１実施形態の落石検出装置のブロック図。
【図2】第１実施形態の落石検出方法の工程図。
【図3】落石抽出工程の概要図。
【図4】情報提供工程の概要図。
【発明を実施するための形態】
【0022】
以下、図面に示す本発明を実施するための形態により、本発明を詳細に説明する。
【0023】
【0024】
この落石検出システム１は、図１に示すように、車両３に搭載され、例えば車両３の少なくとも前方を撮影することができ、撮影時刻を記録できる撮影装置４と、前記車両３に搭載された、原子時計５を備えるＧＰＳトラッカー６と、前記車両３に搭載され、前記撮影装置４で撮影した画像及び前記画像の撮影時刻と、前記ＧＰＳトラッカー６が取得した位置情報及び原子時計５の時刻（ＧＰＳ情報）を外部端末７へ伝達可能な伝達手段８と、前記伝達手段８で伝達された前記画像及び位置情報を取得可能な前記外部端末７と、前記外部端末７に設けられ又は接続された、自然写真から切り抜いた落石画像を教師データとして、前記教師データと前記撮影装置で撮影した画像とを比較して落石２を抽出する落石抽出手段９と、前記落石抽出手段９により前記落石２が抽出された画像の撮影時刻と前記ＧＰＳトラッカー６の原子時計５の時刻を照合し、前記落石２の位置情報を取得する位置情報取得手段１０と、前記位置情報取得手段１０が取得した前記落石２の位置情報を蓄積する記憶装置１１と、前記記憶装置１１に蓄積されている前記落石２の位置情報を公に表示する情報提供手段１２とで構成されている。
【0025】
また、この落石検出システム１を用いた落石検出方法１３は、図２に示すように、車両３に搭載された撮影装置４により撮影時刻とともに前記車両３の前方の画像を撮影する画像撮影工程１４と、車両３に搭載された、原子時計５を備えるＧＰＳトラッカー６により車両３の位置情報（ＧＰＳ情報）を取得するＧＰＳ情報取得工程１５と、撮影装置４で撮影した画像、前記画像の撮影時刻及び前記ＧＰＳトラッカー６が取得した位置情報を取得し、自然写真から切り抜いた落石画像を教師データとして、前記教師データと前記撮影装置４で撮影した画像とを比較して落石２を抽出する落石抽出工程１６と、前記落石抽出工程１６により前記落石２が抽出された画像の撮影時刻と前記ＧＰＳトラッカー６の原子時計５の時刻を照合し、前記落石２の位置情報を取得する位置情報取得工程１７と、前記位置情報取得工程１７で取得した前記落石２の位置情報を蓄積するとともに、前記落石２の位置情報を表示する情報提供工程１８とで構成されている。
【0026】
撮影工程１４では車両に搭載された撮影装置４を用いて動画又は静止画の撮影を行う。この撮影装置４は、本実施形態においては車両３に搭載されたドライブレコーダー４を用いており、主に車両前方を動画で常時撮影している。このドライブレコーダー４は、動画の撮影時刻も画像とともに記録しており、外部に出力する際には撮影時刻も画像とともに出力できるようになっている。本実施形態においては、ドライブレコーダー４で車両３の前方を常時動画撮影しているが、例えば、所定時間ごと（例えば１秒毎、数秒毎等）に静止画を撮影するものであってもよい。
【0027】
本実施形態においては、ドライブレコーダー４は車両３の前方の画像の記録する装置として使用し、ＧＰＳ内蔵、フレームレート２９．１ｆｐｓ以上、録画サイズ１９２０ｘ１０８０ピクセル以上とする機能要件を満たすものを用いている。
【0028】
車両３の前方の動画記録は、１秒間に２９フレームの画像（１９２０ｘ１０８０ピクセル）とし、後に落石抽出手段９の処理によって検出範囲（９６０ｘ４８０ピクセル）に対して機械学習を行う。
【0029】
なお、画像サイズはこの限りではなく、取り込み画像のサイズはドライブレコーダー４の最大取り込みサイズとし、検出範囲Ｄは道路と側道をカバーする範囲とする。
【0030】
また、車両３にはＧＰＳ情報取得工程１５で用いられるＧＰＳトラッカー６が設けられており、連続的又は断続的に車両３の緯度・経度等の位置情報を取得している。
【0031】
ところで、「ＧＰＳトラッカー」とは、衛星測位機能で位置情報を取得し、それを携帯電話回線やＩｏＴネットワークで送信する端末をいい、離れた場所からリアルタイムに（いわば現在進行形で）機器の位置を確認できる機能を有することが知られているが、本実施形態のＧＰＳトラッカー６は、車両３に搭載され、前記機器の位置を現在進行形で取得する機能と共に、原子時計５が内蔵されている。
【0032】
したがって、本実施形態のＧＰＳトラッカー６は、位置情報とともに、その位置情報を取得した際の時刻も取得できるように構成されている（これらを合わせてＧＰＳ情報という）。ＧＰＳトラッカー６は市販のものを用いることができ、連続的又は断続的に車両３の緯度・経度等の位置情報を時刻とともに取得できるものであれば、どのようなＧＰＳトラッカー６を用いてもよい。本実施形態では、ＧＰＳトラッカー６は車両位置の記録する装置として使用し、測定間隔１秒、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）としてＧＰＳ、ＧＬＯＮＡＳＳ、ＱＺＳＳの３衛星システム以上の利用が可能とする機能要件を満たすものとする。
【0033】
伝達手段８は、撮影装置４及びＧＰＳトラッカー６に接続可能で、持ち運び可能な記録媒体を用いてもよいし、車両３に無線通信手段８を設け、この無線通信手段８を介して撮影装置４及びＧＰＳトラッカー６と外部端末７とをインターネット通信網を介して接続し、リアルタイムにデータの送受信（伝達）する伝達手段８としてもよい。
【0034】
本実態形態においては、撮影装置４から外部端末７へのデータの伝達は、記録媒体を用いて行い、ＧＰＳトラッカー６から外部端末７へのデータの伝達は、インターネット通信網を介して外部端末７と接続してデータの伝達を行う伝達手段８としている。なお、ＧＰＳトラッカー６と外部端末７との間に、ＧＰＳトラッカー６のサービス提供者の端末等を介してデータの伝達を行う伝達手段８としてもよい。データを取得する外部端末７には、これらの伝達手段８に対応した取得手段１９を設けている。
【0035】
外部端末７は、本実施形態においては、伝達手段８を介して伝達されたデータを取得する取得手段１９、落石抽出手段９、位置情報取得手段１０、記憶装置１１等を内蔵で設けているが、これらを外付けで設けてもよい。また、外部端末７はクラウド上に設けられたコンピュータで、無線通信手段８を介して伝達されたデータを受信する受信手段、落石抽出手段９、位置情報取得手段１０及び記憶装置１１を設けたもの等でもよい。
【0036】
落石抽出工程１６では落石抽出手段９を用いて落石の抽出を行う。この落石抽出手段９は、本実施形態においては、外部端末にインストールされたコンピュータプログラムであり、撮影装置４で撮影した画像（静止画又は動画）を、その画像ごとに顔認証等の機械学習で使われるカスケード分類器による手法（判定１）と、落石画像を畳み込みニューラルネットワーク法（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：以下ＣＮＮ法）による手法（判定２）を組み合わせて分析し、落石を抽出する。機械学習に使う教師データは、正解画像は道路上の落石、不正解画像は道路上の落石以外の施設や木々や影などの自然生成物とし、それぞれ写真撮影したもの使用している。本実施形態においては、画像サイズは８０ｘ８０ピクセルとしているが、この限りではない。
【0037】
なお、本実施形態においては、撮影装置４で撮影した画像は１秒間に２９フレームの画像（１９２０ｘ１０８０ピクセル）で，後処理によって道路上の画像に検出範囲Ｄ（９６０ｘ４８０ピクセル）を絞り、この検出範囲Ｄに対して機械学習を行っている。画像サイズはこの限りではなく，取り込み画像のサイズはドライブレコーダーの最大取り込みサイズとし，検出範囲Ｄは道路と側道をカバーする範囲とすることが望ましく、本発明における「道路上」とは道路、側道および側道に接する地山部分を含むものである。また、１フレームごとの検出は、たとえば、フレームレート２９．１ｆｐｓで時速２０ｋｍ／ｈ（山間部の平均時速）の道路パトロール車で動画取り込みする場合、進行方向約２０ｃｍ間隔で漏れなく落石を捕捉することを実現している。
【0038】
落石抽出手段９は、図３に示すように、ドライブレコーダー４で取得した道路前方の動画１フレーム（画像）ごとに検出範囲Ｄに対してカスケード分類器により落石画像を一次抽出し、引き続き、抽出した画像に対しＣＮＮ法によって落石を二次判定する。カスケード分類器の検出器は物体の明暗で判定するＨａａｒ－Ｌｉｋｅ特徴法とする。ＣＮＮ法は単列三連Ｍａｘ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋとしている。ＣＮＮ法で使用する教師データは、先に作成した教師データを６４ｘ６４ピクセルに加工したものとする。
【0039】
ところで、ドライブレコーダーの画像は遠方から前方に近づくため、遠方で抽出した落石は検出範囲を外れない限り何度も抽出され、落石数を過大評価する問題がある。
【0040】
そこで、ＯｐｅｎＣＶ（画像・動画に関する処理機能をまとめたオープンソースのライブラリ）で提供されるＣｏｍｐａｒｅＨｉｓｔ関数を使用し、類似画像検索を行う。これは２枚の画像から作成した色相ヒストグラムを比較し、予め設定した類似度を超えた場合、同一画像と判定する手法である。
【0041】
具体的には、たとえば車両前方５ｍ程度の区間（２０ｋｍ／ｈ走行時で５．５秒間）で二段階判定を通過した落石画像（ｎ枚）から２枚の画像に対し本関数を適用し（組み合わせはｎＣ２通り）、同じ画像（落石）と判定した場合は同じグループフォルダに格納する。次に各フォルダの先頭の１画像を代表画像し、本関数で処理することにより類似画像を除外する。すなわち、落石抽出手段９は、複数の画像から検出された複数の落石が同一の落石であると判定した場合、前記同一の落石のうち１つの落石を代表とする処理を行う。言わば、道路遠方から前方に至るまでに抽出された同じ落石を類似画像検索機能により除外するノイズフィルター処理機能を有しており、重複する落石について複数回のカウントを防止する。
【0042】
位置情報取得工程１７で用いられる位置情報取得手段１０は、本実施形態においては、外部端末７にインストールされたコンピュータプログラムであり、落石抽出手段９で落石を抽出した画像の撮影時刻を抽出するとともに、ＧＰＳトラッカー６からその撮影時刻の緯度・経度等の位置情報を取得する。
【0043】
落石の緯度経度は落石画像の記録時刻からＧＰＳの原子時計の時刻を検索キーにしてＧＰＳトラッカーの測定データから取得する。
【0044】
まず、落石画像の記録時刻を抽出する。落石画像の記録時刻は、ドライブレコーダー４のメーカーにより様々であり、動画ファイル名の一部に表示される場合、例えば、ファイル名が２０２２＿１１＿０８＿１３＿００＿１２＿Ｎｏｒ．ＡＶＩの場合、基点時刻は２０２２年１１月０８日１３時００分１２秒であり、このファイルの１５枚目のフレームに落石が撮影されていたとすれば、落石画像の記録時刻は、フレームレートが２９ｆｐｓの場合、２０２２／１１／８ １３：００：１２に１５÷２９＝０．５１７秒を加算した２０２２年１１月０８日１３時００分１２．５１７秒となる。
【0045】
次に落石画像の記録時刻をＧＰＳトラッカーの記録時刻と照合して、落石画像の緯度経度を算出する。落石画像の記録時刻が２０２２年１１月０８日１３時００分１２．５１７秒の場合、ＧＰＳトラッカー６に内蔵された原子時計の記録から、最も近い時刻に対応する緯度経度を取得し、落石画像の緯度経度とする。例えばＧＰＳトラッカー６が毎秒位置情報を記録している場合には、２０２２年１１月０８日１３時００分１２．５９９秒時点の緯度経度を落石画像の位置情報として位置情報取得手段１０が取得する。これはＧＰＳ機器の時間管理が世界共通のＧＰＳの原子時計に基づいているために実現できる。
【0046】
本実施形態においては、落石抽出手段９及び位置情報取得手段１０は、外部端末７にインストールされたコンピュータプログラムであるので、一連の動画取得から落石の位置出しまで、連続的にこれらのプログラムで実行することができる。
【0047】
これらの落石画像及び位置情報は外部端末７の記憶装置１１に蓄積される。
【0048】
なお、ドライブレコーダーの機種によってはフレームの記録時刻をＮＭＥＡ形式（ＧＰＳの標準出力のフォーマット形式）でテキスト出力される場合でも、直接記録時刻を読むことで、前出の動画ファイル名から落石画像の基点時刻を読むことと同じである。
【0049】
ところで、緯度経度をドライブレコーダー内蔵のＧＰＳを使用しない理由は、落石の多い山間部では天空が開いていない場合がほとんどであり、対応するＧＮＳＳによって捕獲衛星数が足りず位置決め精度が極端に低下するためである。そのため、山間部でも安定的に受信できるように、本出願では専用のＧＰＳトラッカー６を使用している。
【0050】
情報提供工程１８では、情報提供手段１２を用いて記憶装置に蓄積された落石の位置情報を公に表示する。情報提供手段１２は、本実施形態においては、外部端末７に設けられ、抽出した落石の緯度経度と記録時刻をインターネットを介して送信できる送信手段２０と、前記送信手段２０から送信された落石の情報を受信でき、かつ、表示できるインターネット上の地理情報システム２１とで構成している。
【0051】
具体的には、落石画像に対応づけた緯度経度と記録時刻を外部端末７からインターネットを介して地理情報システム２１に送信することで、データを地理情報システム２１のバッチ処理機能によりＧＩＳデータ（地理情報システム２１用のデータ）に変換し、予め設定した時刻又はリアルタイム（データを受信した後すぐ）に落石位置をポイントデータとして地理情報システム２１の地図に自動的に表示する。この地理情報システム２１は外部からアクセスすることができるため、不特定の者あるいはユーザー認証を受けた者が任意のタイミングで落石の分布状況を閲覧できる。
【0052】
なお、地理情報システム２１の地図に落石位置を表示する期間としては、所定の期間に抽出した落石のみを表示してもよいし、観測を開始した後に抽出された落石のすべてを表示してもよいし、単位区間（例えば、進行方向100m区間）ごとに集計した落石数の二時期差分から直近の落石進捗区間を表示してもよい。また、要求に応じて個々の落石に対応する落石画像を表示してもよい。
【0053】
また、情報提供手段１２としては地理情報システム２１を利用する他、その他のシステムを用いてインターネット上に公開する、道路情報提供装置等に落石が頻繁に起こっている旨を表示する等の情報提供手段１２としてもよい。
【産業上の利用可能性】
【0054】
本発明は道路上の最近の落石を抽出し、その情報を提供する産業に利用される。
【符号の説明】
【0055】
１：落石検出システム、 ２：落石、
３：車両、 ４：撮影装置、
５：原子時計、 ６：ＧＰＳトラッカー、
７：外部端末、 ８：伝達手段、
９：落石抽出手段、 １０：位置情報取得手段、
１１：記憶装置、 １２：情報提供手段、
１３：落石検出方法、 １４：画像撮影工程、
１５：ＧＰＳ情報取得工程、 １６：落石抽出工程、
１７：位置情報取得工程、 １８：情報提供工程、
１９：受信手段、 ２０：送信手段、
２１：地理情報システム、 Ｄ：検出範囲。
３：車両、 ４：撮影装置、
５：原子時計、 ６：ＧＰＳトラッカー、
７：外部端末、 ８：伝達手段、
９：落石抽出手段、 １０：位置情報取得手段、
１１：記憶装置、 １２：情報提供手段、
１３：落石検出方法、 １４：画像撮影工程、
１５：ＧＰＳ情報取得工程、 １６：落石抽出工程、
１７：位置情報取得工程、 １８：情報提供工程、
１９：受信手段、 ２０：送信手段、
２１：地理情報システム、 Ｄ：検出範囲。
【図1】
【図2】
【図3】
【図4】