知財求人 - 知財ポータルサイト「IP Force」
特開2024-13788プログラム、方法、システム、道路マップ、および道路マップの作成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024013788
(43)【公開日】2024-02-01
(54)【発明の名称】プログラム、方法、システム、道路マップ、および道路マップの作成方法
(51)【国際特許分類】
G06V 10/80 20220101AFI20240125BHJP
G06T 7/00 20170101ALI20240125BHJP
G06T 7/579 20170101ALI20240125BHJP
【ＦＩ】
G06V10/80
G06T7/00 350B
G06T7/579
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022116149
(22)【出願日】2022-07-21
(71)【出願人】
【識別番号】520298695
【氏名又は名称】株式会社アーバンエックステクノロジーズ
(74)【代理人】
【識別番号】110002815
【氏名又は名称】ＩＰＴｅｃｈ弁理士法人
(72)【発明者】
【氏名】森岡 浩太郎
(72)【発明者】
【氏名】前田 紘弥
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096AA09
5L096BA03
5L096BA04
5L096CA04
5L096DA01
5L096DA02
5L096DA04
5L096FA02
5L096FA09
5L096FA17
5L096FA26
5L096FA67
5L096FA69
5L096GA19
5L096GA51
5L096GA59
5L096HA02
5L096HA11
5L096JA03
5L096JA16
(57)【要約】 （修正有）
【課題】効率的に路面のひび割れの状態を評価するプログラム、方法及びシステム並びに道路マップ及びその作成方法を提供する。
【解決手段】車両に搭載される端末装置と情報処理サーバとを備える損傷検出システムにおいて、情報処理サーバ２０は、走行車両から撮影された路面の動画を取得し、動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、フレームに撮影された路面の損傷を検出しＳ２１、複数のフレームから、フレームに撮影された被写体に関する相対的な位置関係を示す点群データ及びフレーム夫々を撮影した撮影部の推定撮影位置を取得する画像処理を行い、取得した点群データ及び複数のフレームに写った画像を用いて、路面を示す鳥瞰図を生成しＳ２２、生成した鳥瞰図に対して、検出した損傷情報を推定撮影位置を用いて、区画された単位領域毎に割り当てて、単位領域毎の損傷情報を有する路面損傷データを生成するＳ２３。
【選択図】図１４
【解決手段】車両に搭載される端末装置と情報処理サーバとを備える損傷検出システムにおいて、情報処理サーバ２０は、走行車両から撮影された路面の動画を取得し、動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、フレームに撮影された路面の損傷を検出しＳ２１、複数のフレームから、フレームに撮影された被写体に関する相対的な位置関係を示す点群データ及びフレーム夫々を撮影した撮影部の推定撮影位置を取得する画像処理を行い、取得した点群データ及び複数のフレームに写った画像を用いて、路面を示す鳥瞰図を生成しＳ２２、生成した鳥瞰図に対して、検出した損傷情報を推定撮影位置を用いて、区画された単位領域毎に割り当てて、単位領域毎の損傷情報を有する路面損傷データを生成するＳ２３。
【選択図】図１４
【特許請求の範囲】
【請求項1】
路面の損傷を検出するコンピュータに用いられるプログラムであって、
前記コンピュータのプロセッサに、
走行車両から撮影された路面の動画を取得するステップと、
前記動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、前記フレームに撮影された前記路面の損傷を検出するステップと、
前記複数のフレームから、前記フレームに撮影された被写体に関する相対的な位置関係を示す点群データ、および前記フレームそれぞれを撮影した撮影部の推定撮影位置を取得する画像処理を行うステップと、
取得した前記点群データおよび前記複数のフレームに写された画像を用いて、前記路面を示す鳥瞰図を生成するステップと、
生成した前記鳥瞰図に対して、検出された損傷情報を前記推定撮影位置を用いて、区画された単位領域ごとに割り当てて、前記単位領域ごとの損傷情報を有する路面損傷データを生成するステップと、を実行させる、プログラム。
前記コンピュータのプロセッサに、
走行車両から撮影された路面の動画を取得するステップと、
前記動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、前記フレームに撮影された前記路面の損傷を検出するステップと、
前記複数のフレームから、前記フレームに撮影された被写体に関する相対的な位置関係を示す点群データ、および前記フレームそれぞれを撮影した撮影部の推定撮影位置を取得する画像処理を行うステップと、
取得した前記点群データおよび前記複数のフレームに写された画像を用いて、前記路面を示す鳥瞰図を生成するステップと、
生成した前記鳥瞰図に対して、検出された損傷情報を前記推定撮影位置を用いて、区画された単位領域ごとに割り当てて、前記単位領域ごとの損傷情報を有する路面損傷データを生成するステップと、を実行させる、プログラム。
【請求項2】
前記プロセッサに、さらに、
生成された前記路面損傷データを、当該路面が表示された地図情報に評価区間ごとに重畳して、評価区間ごとの損傷情報を有する道路損傷マップを作成するステップを実行させる、請求項１に記載のプログラム。
生成された前記路面損傷データを、当該路面が表示された地図情報に評価区間ごとに重畳して、評価区間ごとの損傷情報を有する道路損傷マップを作成するステップを実行させる、請求項１に記載のプログラム。
【請求項3】
前記プロセッサに、前記鳥瞰図を生成するステップに先だって、
撮影された前記動画に含まれる複数のフレームそれぞれに対して、各フレームに撮影された被写体から、路面領域を抽出するステップを実行させ、
前記鳥瞰図を生成するステップでは、前記点群データのうち、抽出された前記路面領域を構成する点群を判別し、仮想平面を判別した点群にフィッティングした平面データに、前記フレームに写された路面画像をレンダリングする、請求項１に記載のプログラム。
撮影された前記動画に含まれる複数のフレームそれぞれに対して、各フレームに撮影された被写体から、路面領域を抽出するステップを実行させ、
前記鳥瞰図を生成するステップでは、前記点群データのうち、抽出された前記路面領域を構成する点群を判別し、仮想平面を判別した点群にフィッティングした平面データに、前記フレームに写された路面画像をレンダリングする、請求項１に記載のプログラム。
【請求項4】
前記プロセッサに、前記画像処理を行うステップに先だって、
撮影された前記動画に含まれる複数のフレームから、時系列に沿う被写体の変化の大きいフレームであるキーフレームを複数選別するステップを実行させ、
前記画像処理を行うステップでは、選別された前記キーフレームに対して、前記画像処理を行う、請求項１に記載のプログラム。
撮影された前記動画に含まれる複数のフレームから、時系列に沿う被写体の変化の大きいフレームであるキーフレームを複数選別するステップを実行させ、
前記画像処理を行うステップでは、選別された前記キーフレームに対して、前記画像処理を行う、請求項１に記載のプログラム。
【請求項5】
前記画像処理を行うステップでは、
前記撮影部の前記推定撮影位置とともに、推定撮影方向を取得し、
前記路面損傷データを生成するステップでは、
損傷が検出された前記フレームについて、時系列に沿って前後に位置する前記キーフレームそれぞれにおける前記推定撮影位置および前記推定撮影方向から、当該損傷が検出された前記フレームにおける、前記推定撮影位置および前記推定撮影方向を推定して、当該フレームに検出された損傷情報を、前記単位領域ごとに割り当てる、請求項４に記載のプログラム。
前記撮影部の前記推定撮影位置とともに、推定撮影方向を取得し、
前記路面損傷データを生成するステップでは、
損傷が検出された前記フレームについて、時系列に沿って前後に位置する前記キーフレームそれぞれにおける前記推定撮影位置および前記推定撮影方向から、当該損傷が検出された前記フレームにおける、前記推定撮影位置および前記推定撮影方向を推定して、当該フレームに検出された損傷情報を、前記単位領域ごとに割り当てる、請求項４に記載のプログラム。
【請求項6】
前記画像処理を行うステップでは、
前記撮影部の推定撮影位置とともに、推定撮影方向を取得し、
前記路面損傷データを生成するステップでは、
単位領域ごとに区画された前記鳥瞰図に対して、前記損傷情報を、前記撮影部の前記推定撮影位置および前記推定撮影方向を参照して投影することで、前記単位領域ごとに割り当てる、請求項１に記載のプログラム。
前記撮影部の推定撮影位置とともに、推定撮影方向を取得し、
前記路面損傷データを生成するステップでは、
単位領域ごとに区画された前記鳥瞰図に対して、前記損傷情報を、前記撮影部の前記推定撮影位置および前記推定撮影方向を参照して投影することで、前記単位領域ごとに割り当てる、請求項１に記載のプログラム。
【請求項7】
前記プロセッサに、さらに、
前記走行車両の走行に伴い変化する前記撮影部の位置情報を、時刻情報とともに取得するステップと、
前記路面の動画を撮影するステップにおいて撮影された前記フレームに対して、撮影時刻を基準として前記位置情報を関連付けるステップと、を実行させ、
前記プロセッサに、前記路面損傷データを生成するステップに先だって、
前記位置情報から求められる前記走行車両の走行経路と、前記撮影部の前記推定撮影位置から求められる推定撮影軌跡と、を合わせ込むことで、前記点群データのスケールを推定するステップと、
推定された前記スケールを用いて、前記鳥瞰図を前記単位領域ごとに区画するステップと、を実行させる、請求項６に記載のプログラム。
前記走行車両の走行に伴い変化する前記撮影部の位置情報を、時刻情報とともに取得するステップと、
前記路面の動画を撮影するステップにおいて撮影された前記フレームに対して、撮影時刻を基準として前記位置情報を関連付けるステップと、を実行させ、
前記プロセッサに、前記路面損傷データを生成するステップに先だって、
前記位置情報から求められる前記走行車両の走行経路と、前記撮影部の前記推定撮影位置から求められる推定撮影軌跡と、を合わせ込むことで、前記点群データのスケールを推定するステップと、
推定された前記スケールを用いて、前記鳥瞰図を前記単位領域ごとに区画するステップと、を実行させる、請求項６に記載のプログラム。
【請求項8】
路面の損傷を検出するコンピュータが実行する方法であって、
前記コンピュータのプロセッサが、
車両に搭載された撮影部により、路面の動画を撮影するステップと、
撮影された前記動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、前記フレームに撮影された前記路面の損傷を検出するステップと、
前記複数のフレームから、前記フレームに撮影された被写体に関する相対的な位置関係を示す点群データ、および前記フレームそれぞれを撮影した前記撮影部の姿勢情報を取得する画像処理を行うステップと、
取得した前記点群データおよび前記複数のフレームに写された画像を用いて、前記路面を示す鳥瞰図を生成するステップと、
生成した前記鳥瞰図に対して、検出された損傷情報を前記姿勢情報を用いて、区画された単位領域ごとに割り当てて、前記単位領域ごとの損傷情報を有する路面損傷データを生成するステップと、を実行する、方法。
前記コンピュータのプロセッサが、
車両に搭載された撮影部により、路面の動画を撮影するステップと、
撮影された前記動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、前記フレームに撮影された前記路面の損傷を検出するステップと、
前記複数のフレームから、前記フレームに撮影された被写体に関する相対的な位置関係を示す点群データ、および前記フレームそれぞれを撮影した前記撮影部の姿勢情報を取得する画像処理を行うステップと、
取得した前記点群データおよび前記複数のフレームに写された画像を用いて、前記路面を示す鳥瞰図を生成するステップと、
生成した前記鳥瞰図に対して、検出された損傷情報を前記姿勢情報を用いて、区画された単位領域ごとに割り当てて、前記単位領域ごとの損傷情報を有する路面損傷データを生成するステップと、を実行する、方法。
【請求項9】
路面の損傷を検出するコンピュータを備えたシステムであって、
前記コンピュータのプロセッサが、
走行車両から撮影された路面の動画を取得する手段と、
撮影された前記動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、前記フレームに撮影された前記路面の損傷を検出する手段と、
前記複数のフレームから、前記フレームに撮影された被写体に関する相対的な位置関係を示す点群データ、および前記フレームそれぞれを撮影した撮影部の推定撮影位置を取得する画像処理を行う手段と、
取得した前記点群データおよび前記複数のフレームに写された画像を用いて、前記路面を示す鳥瞰図を生成する手段と、
生成した前記鳥瞰図に対して、検出された損傷情報を前記推定撮影位置を用いて、区画された単位領域ごとに割り当てて、前記単位領域ごとの損傷情報を有する路面損傷データを生成する手段と、を備えるシステム。
前記コンピュータのプロセッサが、
走行車両から撮影された路面の動画を取得する手段と、
撮影された前記動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、前記フレームに撮影された前記路面の損傷を検出する手段と、
前記複数のフレームから、前記フレームに撮影された被写体に関する相対的な位置関係を示す点群データ、および前記フレームそれぞれを撮影した撮影部の推定撮影位置を取得する画像処理を行う手段と、
取得した前記点群データおよび前記複数のフレームに写された画像を用いて、前記路面を示す鳥瞰図を生成する手段と、
生成した前記鳥瞰図に対して、検出された損傷情報を前記推定撮影位置を用いて、区画された単位領域ごとに割り当てて、前記単位領域ごとの損傷情報を有する路面損傷データを生成する手段と、を備えるシステム。
【請求項10】
単位領域ごとの損傷情報を有する路面損傷データが、評価区間ごとに地図情報に重畳された道路マップの作成方法であって、
コンピュータのプロセッサが、
走行車両から撮影された路面の動画を取得するステップと、
撮影された前記動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、前記フレームに撮影された前記路面の損傷を検出するステップと、
前記複数のフレームから、前記フレームに撮影された被写体に関する相対的な位置関係を示す点群データ、および前記フレームそれぞれを撮影した撮影部の推定撮影位置を取得する画像処理を行うステップと、
取得した前記点群データおよび前記複数のフレームに写された画像を用いて、前記路面を示す鳥瞰図を生成するステップと、
生成した前記鳥瞰図に対して、検出された損傷情報を前記推定撮影位置を用いて、区画された前記単位領域ごとに割り当てて、前記単位領域ごとの損傷情報を有する路面損傷データを生成するステップと、
生成された前記路面損傷データを、当該路面が表示された地図情報に評価区間ごとに重畳して、評価区間ごとの損傷情報を有する前記道路マップを作成するステップと、を実行する方法。
コンピュータのプロセッサが、
走行車両から撮影された路面の動画を取得するステップと、
撮影された前記動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、前記フレームに撮影された前記路面の損傷を検出するステップと、
前記複数のフレームから、前記フレームに撮影された被写体に関する相対的な位置関係を示す点群データ、および前記フレームそれぞれを撮影した撮影部の推定撮影位置を取得する画像処理を行うステップと、
取得した前記点群データおよび前記複数のフレームに写された画像を用いて、前記路面を示す鳥瞰図を生成するステップと、
生成した前記鳥瞰図に対して、検出された損傷情報を前記推定撮影位置を用いて、区画された前記単位領域ごとに割り当てて、前記単位領域ごとの損傷情報を有する路面損傷データを生成するステップと、
生成された前記路面損傷データを、当該路面が表示された地図情報に評価区間ごとに重畳して、評価区間ごとの損傷情報を有する前記道路マップを作成するステップと、を実行する方法。
【請求項11】
単位領域ごとの損傷情報を有する路面損傷データが、評価区間ごとに地図情報に重畳された道路マップ。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プログラム、方法、システム、道路マップ、および道路マップの作成方法に関する。
【背景技術】
【0002】
近年、例えば特許文献１に示すように、カメラを用いて路面の画像を取得し、路面の損傷の検出を行うシステムが知られている。
【0003】
このようなシステムを用いて道路全体におけるひび割れ率を集計する場合、路面の損傷の位置を手作業により記録する作業が行われていた。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－１５４１７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の方法のように、手作業により路面の損傷の位置を記録する作業は膨大な手間を必要としていた。
【0006】
本開示では、効率的に路面のひび割れの状態を評価することができるシステムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示のプログラムは、路面の損傷を検出するコンピュータに用いられるプログラムであって、コンピュータのプロセッサに、走行車両から撮影された路面の動画を取得するステップと、撮影された動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、フレームに撮影された路面の損傷を検出するステップと、複数のフレームから、フレームに撮影された被写体に関する相対的な位置関係を示す点群データ、およびフレームそれぞれを撮影した撮影部の推定撮影位置を取得する画像処理を行うステップと、取得した前記点群データおよび前記複数のフレームに写された画像を用いて、前記路面を示す鳥瞰図を生成するステップと、生成した鳥瞰図に対して、検出された損傷情報を推定撮影位置を用いて、区画された単位領域ごとに割り当てて、単位領域ごとの損傷情報を有する路面損傷データを生成するステップと、を実行させる。
【発明の効果】
【0008】
本開示によれば、効率的に路面のひび割れの状態を評価することができる。
【図面の簡単な説明】
【0009】
【図1】本実施形態に係る損傷検出システムの構成例を表すブロック図である。
【図3】端末装置を車両に搭載した状態を説明する図である。
【図5】本実施形態に係るフレームからの損傷の検出を説明する図である。
【図6】本実施形態に係るキーフレームの選別を説明する図である。
【図7】本実施形態に係る画像処理の原理を説明する図である。
【図8】本実施形態に係る画像処理により取得されるデータを説明する図である。
【図9】本実施形態に係るフレームにおける路面画像の特性を説明する図である。
【図10】本実施形態に係るスケール推定について説明する図である。
【図11】点群データの平面へのレンダリングを説明する図である。
【図12】鳥瞰図データへの損傷データの割り当てについて説明する図である。
【図13】損傷検出システムにより実行される第１の処理を説明する図である。
【図14】サーバにより実行される処理の概要を説明する図である。
【図15】損傷検出システムにより実行される第２の処理を説明する図である。
【図16】損傷検出システムにより実行される第３の処理を説明する図である。
【図17】損傷検出システムにより実行される第４の処理を説明する図である。
【図18】本実施形態に係る鳥瞰図データの一部を示す図である。
【図19】本実施形態に係る路面損傷データを示す図である。
【図20】本実施形態に係る道路損傷マップを示す図である。
【図23】変形例に係るサーバにおいて、損傷情報の割り当ての処理を説明する図である。
【発明を実施するための形態】
【0010】
以下、図面を参照しながら、実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。
【0011】
＜１．実施形態の概要＞
本開示の損傷検出システム１（以下、単にシステム１という）の実施形態の概要について説明する。
本実施形態に係るシステム１は、走行車両１００から撮影した画像又は動画を用いて、車両１００が走行する道路における路面の損傷を識別して、損傷の有無を検出する。
本開示の損傷検出システム１（以下、単にシステム１という）の実施形態の概要について説明する。
本実施形態に係るシステム１は、走行車両１００から撮影した画像又は動画を用いて、車両１００が走行する道路における路面の損傷を識別して、損傷の有無を検出する。
【0012】
また、システム１は、走行車両１００から撮影した画像又は動画を用いて、評価区間における路面に関連する各種のデータを生成する。
システム１が生成する各種のデータの代表例について以下に定義する。
・鳥瞰図データ（鳥瞰図）：損傷の評価区間における路面の平面図を示す情報
・路面損傷データ：鳥瞰図データに対して単位領域ごとの損傷情報が割り当てられた情報
・道路損傷マップ：地図情報に評価区間ごとの路面損傷データが重畳された道路マップ
これらの各データを作成する処理については後述する。
システム１が生成する各種のデータの代表例について以下に定義する。
・鳥瞰図データ（鳥瞰図）：損傷の評価区間における路面の平面図を示す情報
・路面損傷データ：鳥瞰図データに対して単位領域ごとの損傷情報が割り当てられた情報
・道路損傷マップ：地図情報に評価区間ごとの路面損傷データが重畳された道路マップ
これらの各データを作成する処理については後述する。
【0013】
＜２．システムの全体構成＞
まず、図１を用いて本実施形態に係るシステム１の構成について説明する。図１は、本実施形態に係るシステム１の構成例を表すブロック図である。図１に示されるシステム１は、端末装置１０と、情報処理サーバ２０（以下、単にサーバ２０という）と、を備えている。
端末装置１０とサーバ２０とは、ネットワーク３０を介して相互に通信可能に接続されている。ネットワーク３０は、有線又は無線ネットワークにより構成される。
まず、図１を用いて本実施形態に係るシステム１の構成について説明する。図１は、本実施形態に係るシステム１の構成例を表すブロック図である。図１に示されるシステム１は、端末装置１０と、情報処理サーバ２０（以下、単にサーバ２０という）と、を備えている。
端末装置１０とサーバ２０とは、ネットワーク３０を介して相互に通信可能に接続されている。ネットワーク３０は、有線又は無線ネットワークにより構成される。
【0014】
端末装置１０およびサーバ２０は、無線基地局３１、又は無線ＬＡＮ規格３２を用いて、ネットワーク３０と接続する。なお、端末装置１０およびサーバ２０は、有線通信により、ネットワーク３０と接続されてもよい。
【0015】
ここで、システム１を構成する各装置（例えば、端末装置１０とサーバ２０）の集合体を、１つの「情報処理装置」として把握することができる。すなわち、複数の装置の集合体としてシステム１を実現し、システム１を実現するための複数の機能の配分を、各装置のハードウェアの処理能力に基づき適宜決定することとしてもよい。
【0016】
端末装置１０は、車両１００に搭載される端末である。端末装置１０は、例えば、スマートフォン、タブレット端末、又はラップトップパソコン等の汎用の携帯端末である。端末装置１０として、複数のスマートフォン、タブレット端末、およびラップトップパソコン等を使用してもよい。このような携帯端末は、運転中の車両１００の走行経路の確認を目的として車両１００に搭載される端末であってもよい。
【0017】
また、端末装置１０は、事故発生時の状況記録を目的として車両１００に搭載される汎用のドライブレコーダに、後述する端末装置１０としての各機能を搭載した機器を用いてもよい。
また、端末装置１０は、汎用のドライブレコーダの撮影機能により当該機能を補完してもよい。
また、端末装置１０は、汎用のドライブレコーダの撮影機能により当該機能を補完してもよい。
【0018】
また、本発明において路面の状態を撮影する端末装置１０は、路面の撮影のためにのみ用いられる専用の装置に限られず、他の目的で搭載される端末装置１０が有する撮影機能を利用して、付帯的に路面を撮影する兼用の装置であってもよい。
【0019】
端末装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信ＩＦ１４と、入出力ＩＦ１５とを含んで構成される。
プロセッサ１１は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。
プロセッサ１１は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。
【0020】
メモリ１２は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。
【0021】
ストレージ１３は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）である。
【0022】
通信ＩＦ１４は、システム１が外部の装置と通信するため、信号を入出力するためのインタフェースである。
【0023】
入出力ＩＦ１５は、ユーザからの入力操作を受け付けるための入力装置（例えば、マウス等のポインティングデバイス、キーボード）、および、ユーザに対し情報を提示するための出力装置（ディスプレイ、スピーカ等）とのインタフェースとして機能する。
【0024】
サーバ２０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、通信ＩＦ２４と、入出力ＩＦ２５とを含んで構成される。プロセッサ２１、メモリ２２、ストレージ２３、通信ＩＦ２４、および入出力ＩＦ２５の各構成は、前述したプロセッサ１１、メモリ１２、ストレージ１３、通信ＩＦ１４、および入出力ＩＦ１５の各構成とそれぞれ同様であるため、その説明を省略する。
【0025】
サーバ２０は、汎用のコンピュータ、又はメインフレーム等により実現される。なお、サーバ２０は、１台のコンピュータにより実現されてもよいし、複数台のコンピュータが組み合わされて実現されてもよい。
【0026】
＜３．端末装置１０の構成＞
図２は、端末装置１０の機能的な構成を示すブロック図である。図２に示すように、端末装置１０は、複数のアンテナ（アンテナ１１１、アンテナ１１２）と、各アンテナに対応する無線通信部（第１無線通信部１２１、第２無線通信部１２２）と、操作受付部１３０と、撮影部１５０と、記憶部１６０と、制御部１７０と、ＧＰＳアンテナ１８０と、を備えている。なお、端末装置１０は、操作受付部１３０として、キーボードを備えていてもよい。
図２は、端末装置１０の機能的な構成を示すブロック図である。図２に示すように、端末装置１０は、複数のアンテナ（アンテナ１１１、アンテナ１１２）と、各アンテナに対応する無線通信部（第１無線通信部１２１、第２無線通信部１２２）と、操作受付部１３０と、撮影部１５０と、記憶部１６０と、制御部１７０と、ＧＰＳアンテナ１８０と、を備えている。なお、端末装置１０は、操作受付部１３０として、キーボードを備えていてもよい。
【0027】
端末装置１０は、図２では特に図示していない機能および構成（例えば、電力を保持するためのバッテリー、バッテリーから各回路への電力の供給を制御する電力供給回路など）も有している。図２に示すように、端末装置１０に含まれる各ブロックは、バス等により電気的に接続される。
【0028】
アンテナ１１１は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１１は、空間から電波を受信して受信信号を第１無線通信部１２１へ与える。
【0029】
アンテナ１１２は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１２は、空間から電波を受信して受信信号を第２無線通信部１２２へ与える。
【0030】
第１無線通信部１２１は、端末装置１０が他の無線機器と通信するため、アンテナ１１１を介して信号を送受信するための変復調処理などを行う。第２無線通信部１２２は、端末装置１０が他の無線機器と通信するため、アンテナ１１２を介して信号を送受信するための変復調処理などを行う。第１無線通信部１２１と第２無線通信部１２２とは、チューナー、ＲＳＳＩ（Received Signal Strength Indicator）算出回路、ＣＲＣ（Cyclic Redundancy Check）算出回路、高周波回路などを含む通信モジュールである。第１無線通信部１２１と第２無線通信部１２２とは、端末装置１０が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部１７０へ与える。
【0031】
操作受付部１３０は、ユーザの入力操作を受け付けるための機構を有する。具体的には、操作受付部１３０は、ディスプレイ１３１を含む。なお、操作受付部１３０は静電容量方式のタッチパネルを用いることによって、タッチパネルに対するユーザの接触位置を検出する、タッチスクリーンとして構成されている。なお、操作端末は、タッチパネルを備えていなくてもよい。
【0032】
ディスプレイ１３１は、制御部１７０の制御に応じて、画像、動画、テキストなどのデータを表示する。ディスプレイ１３１は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイによって実現される。
【0033】
撮影部１５０は、車両１００に搭載され、路面の画像を撮影する装置である。具体的には、撮影部１５０は、受光素子により光を受光して、撮影データ１６１を出力するカメラである。
撮影部１５０は、静止画のみならず、動画を撮影することができる。撮影部１５０により動画を撮影する場合には、動画を構成する１フレームごとの画像が撮影データ１６１として扱われる。撮影データ１６１を構成する各画像（以下、フレームという）は、撮影された時刻に関する情報を有している。図３は端末装置１０を車両１００に搭載した状態を説明する図である。
撮影部１５０は、静止画のみならず、動画を撮影することができる。撮影部１５０により動画を撮影する場合には、動画を構成する１フレームごとの画像が撮影データ１６１として扱われる。撮影データ１６１を構成する各画像（以下、フレームという）は、撮影された時刻に関する情報を有している。図３は端末装置１０を車両１００に搭載した状態を説明する図である。
【0034】
図３に示すように、端末装置１０は、撮影部１５０が車両１００の前方（進行方向）を向く姿勢で車両１００の内部に搭載される。本実施形態では、撮影部１５０は、車両１００の前方の路面の状態を継続的に撮影することで路面を撮影した動画データを取得する。
なお、撮影部１５０が、画像データを取得する場合には、撮影部１５０は、所定の時間ごとに断続的に前方の路面の状態を撮影する。
なお、撮影部１５０が、画像データを取得する場合には、撮影部１５０は、所定の時間ごとに断続的に前方の路面の状態を撮影する。
【0035】
図２に示すＧＰＳ（Global Positioning System）アンテナ１８０は、端末装置１０の位置を検出することで、端末装置１０が搭載された車両１００の位置を検出し、車両１００が走行した経路に関する情報を取得する。ＧＰＳアンテナ１８０は、取得した車両１００の位置、および走行経路に関する情報を、時刻情報とともに取得して、制御部１７０の送受信部１７２に送信する。送受信部１７２は、受信した車両１００の位置、および走行経路に関する情報を、位置情報を取得した時刻に関する情報とともに、サーバ２０に送信する。
【0036】
記憶部１６０は、例えばフラッシュメモリ等により構成され、端末装置１０が使用するデータおよびプログラムを記憶する。ある局面において、記憶部１６０は、撮影データ１６１、フレームデータ１６２を記憶している。フレームデータ１６２は、複数の撮影データ１６１に対して後述するデータ加工部１７３の処理により、撮影時刻に関する情報を関連付けられた画像データである。
【0037】
制御部１７０は、記憶部１６０に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、端末装置１０の動作を制御する。制御部１７０は、例えば予め端末装置１０にインストールされているアプリケーション・プログラムである。制御部１７０は、プログラムに従って動作することにより、入力受付部１７１と、送受信部１７２と、データ加工部１７３と、表示処理部１７４と、としての機能を発揮する。
【0038】
入力受付部１７１は、端末装置１０に対するユーザの入力操作を受け付ける処理を行う。
【0039】
送受信部１７２は、端末装置１０が、サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。送受信部１７２は、記憶部１６０に記憶されたフレームデータ１６２を、サーバ２０に送信する処理を実行する。
【0040】
データ加工部１７３は、撮影データ１６１を構成する各フレームに対して、撮影時刻を基準としてＧＰＳアンテナ１８０が取得した車両１００の位置情報を関連付ける。データ加工部１７３は、位置情報が関連付けられた画像データをフレームデータ１６２として記憶部１６０に記憶させる。
【0041】
表示処理部１７４は、ユーザに対し情報を提示する処理を行う。表示処理部１７４は、表示画像をディスプレイ１３１に表示させる処理等を行う。
【0042】
＜４．サーバ２０の構成＞
図４は、サーバ２０の機能的な構成を示す図である。図４に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。
通信部２０１は、サーバ２０が外部の装置と通信するための処理を行う。
図４は、サーバ２０の機能的な構成を示す図である。図４に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。
通信部２０１は、サーバ２０が外部の装置と通信するための処理を行う。
【0043】
＜４－１．記憶部２０２の構成＞
記憶部２０２は、サーバ２０が使用するデータおよびプログラムを記憶する。記憶部２０２は、フレームデータ２０２１と、点群データ２０２２と、姿勢データ（姿勢情報）２０２３と、損傷データ２０２４と、鳥瞰図データ２０２５と、路面損傷データ２０２６と、道路損傷マップ２０２７と、第１学習済みモデル２０２８と、第２学習済みモデル２０２９と、を記憶する。
記憶部２０２は、サーバ２０が使用するデータおよびプログラムを記憶する。記憶部２０２は、フレームデータ２０２１と、点群データ２０２２と、姿勢データ（姿勢情報）２０２３と、損傷データ２０２４と、鳥瞰図データ２０２５と、路面損傷データ２０２６と、道路損傷マップ２０２７と、第１学習済みモデル２０２８と、第２学習済みモデル２０２９と、を記憶する。
【0044】
フレームデータ２０２１は、端末装置１０から送信された画像情報である。すなわち、フレームデータ２０２１は、端末装置１０の撮影部１５０が撮影した撮影データ１６１に対して、端末装置１０のデータ加工部１７３により位置情報が関連付けられた画像データである。
【0045】
点群データ２０２２は、複数のフレームに撮影された被写体に関する相対的な位置関係を示すデータである。点群データ２０２２は、後述する画像処理部２０３４の処理により取得される。
【0046】
姿勢データ（姿勢情報）２０２３は、フレームを撮影した撮影部１５０の姿勢に関する情報である。姿勢データ２０２３には、フレームそれぞれに対する以下の情報が含まれる。
・当該フレームを撮影したタイミングでの撮影部１５０の推定撮影位置に関する情報
・当該フレームを撮影したタイミングでの撮影部１５０の推定撮影方向に関する情報
姿勢データ２０２３は、後述する画像処理部２０３４の処理により取得される。
・当該フレームを撮影したタイミングでの撮影部１５０の推定撮影位置に関する情報
・当該フレームを撮影したタイミングでの撮影部１５０の推定撮影方向に関する情報
姿勢データ２０２３は、後述する画像処理部２０３４の処理により取得される。
【0047】
損傷データ（損傷情報）２０２４は、フレームに対して検出された損傷に関するデータである。損傷情報には、２次元情報であるフレームの平面座標系に基づいて、その位置と種類（程度を含む）に関する情報が含まれる。損傷データ２０２４は、後述する損傷検出部２０３２の処理により取得される。
【0048】
鳥瞰図データ２０２５は、損傷の評価区間における路面の平面図を示すデータである。鳥瞰図データ２０２５は、車両１００の進行方向を向く撮影部１５０により撮影された複数のフレームデータ２０２１に対して、後述する画像処理部２０３４の画像処理により、評価区間を占める路面の平面図としてレンダリングされたデータである。
【0049】
路面損傷データ２０２６は、鳥瞰図データ２０２５に対して単位領域ごとの損傷情報が割り当てられたデータである。路面損傷データ２０２６は、後述するデータ生成部２０３７の処理により生成される。
【0050】
道路損傷マップ２０２７は、地図情報に評価区間ごとの路面損傷データ２０２６が重畳されたデータである。道路損傷マップ２０２７は、後述するデータ生成部２０３７の処理により生成される。
【0051】
第１学習済みモデル２０２８は、画像中に路面の損傷箇所があるかどうかの識別を行うモデルである。第１学習済みモデル２０２８は、学習用データに基づき、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることにより得られる。例えば、本実施形態において、第１学習済みモデル２０２８は、入力される画像情報に対し、損傷の箇所および損傷の種類を出力するように学習されている。
【0052】
このとき、学習用データは、例えば、過去に路面の状態が撮影された画像情報を入力データとし、入力された画像情報に対して、損傷箇所に関する画像の平面座標系での位置に関する情報と、損傷の種類に関する情報と、を正解出力データとする。
第１学習済みモデル２０２８は、学習された状態で記憶部２０２に記憶されているが、撮影部１５０が撮影する撮影データ１６１に基づき、随時、再学習されてもよい。
第１学習済みモデル２０２８は、学習された状態で記憶部２０２に記憶されているが、撮影部１５０が撮影する撮影データ１６１に基づき、随時、再学習されてもよい。
【0053】
具体的には、第１学習済みモデル２０２８は、様々な種類の損傷を有する路面の画像の特徴量（基準特徴量）と、評価対象である撮影データ１６１の特徴量と、を比較して類似度を比較する。これにより、第１学習済みモデル２０２８はフレームに写された路面に、いずれかの種類の損傷があるかどうかを判定する。類似度の評価に際しては、評価対象である撮影データ１６１の特徴量が、基準特徴量に対して、予め設定された閾値の範囲内である場合に、当該損傷があると判断される。なお、様々な種類の損傷について、基準特徴量がそれぞれ設定されている。
【0054】
本実施形態に係る第１学習済みモデル２０２８は、例えば、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数、およびパラメータの組合せにより定義される。本実施形態に係る第１学習済みモデル２０２８は、上述の要請を満たす如何なるパラメータ付き合成関数であってもよいが、多層のニューラルネットワークモデル（以下「多層化ネットワーク」という。）である。多層化ネットワークを用いる第１学習済みモデル２０２８は、入力層と、出力層と、入力層と出力層との間に設けられる少なくとも１層の中間層あるいは隠れ層とを有する。
【0055】
本実施形態に係る多層化ネットワークとしては、例えば、深層学習（Deep Learning）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（Deep Neural Network：ＤＮＮ）が用いられ得る。ＤＮＮとしては、例えば、画像を対象とする畳み込みニューラルネットワーク（Convolution Neural Network：ＣＮＮ）を用いてもよい。
【0056】
第２学習済みモデル２０２９は、フレームに写された被写体から、道路領域を抽出する処理（路面セマンティックセグメンテーション）を行うモデルである。
第２学習済みモデル２０２９は、学習用データに基づき、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることにより得られる。例えば、本実施形態において、第２学習済みモデル２０２９は、入力される画像情報に対し、道路領域に該当する部分を抽出して出力するように学習されている。
第２学習済みモデル２０２９は、学習用データに基づき、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることにより得られる。例えば、本実施形態において、第２学習済みモデル２０２９は、入力される画像情報に対し、道路領域に該当する部分を抽出して出力するように学習されている。
【0057】
このとき、学習用データは、例えば、路面を含む風景を撮影した画像情報を入力データとし、入力された画像情報に対して路面領域を抽出した情報を正解出力データとする。
第２学習済みモデル２０２９は、学習された状態で記憶部２０２に記憶されているが、撮影部１５０が撮影する撮影データ１６１に基づき、随時、再学習されてもよい。
第２学習済みモデル２０２９は、学習された状態で記憶部２０２に記憶されているが、撮影部１５０が撮影する撮影データ１６１に基づき、随時、再学習されてもよい。
【0058】
具体的には、第２学習済みモデル２０２９は、路面を含む風景を撮影した画像情報における路面領域の画像の特徴量（基準特徴量）と、評価対象であるフレームの領域ごとの特徴量と、を比較して類似度を比較する。これにより、第２学習済みモデル２０２９は、フレームのうち、基準特徴量と類似度が高い領域を、路面領域と判断して抽出する。類似度の評価に際しては、評価対象であるフレームの領域ごとの特徴量のうち、基準特徴量に対して、予め設定された閾値の範囲内である領域が、路面領域と判断される。
【0059】
本実施形態に係る第２学習済みモデル２０２９は、例えば、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数、およびパラメータの組合せにより定義される。本実施形態に係る第２学習済みモデル２０２９は、上述の要請を満たす如何なるパラメータ付き合成関数であってもよいが、多層化ネットワークである。多層化ネットワークを用いる第２学習済みモデル２０２９は、入力層と、出力層と、入力層と出力層との間に設けられる少なくとも１層の中間層あるいは隠れ層とを有する。
【0060】
＜４－２．制御部２０３の構成＞
制御部２０３は、サーバ２０のプロセッサ２１がプログラムに従って処理を行うことにより、送受信部２０３１、損傷検出部２０３２、フレーム選別部２０３３、画像処理部２０３４、路面抽出部２０３５、スケール推定部２０３６、データ生成部２０３７としての機能を発揮する。
制御部２０３は、サーバ２０のプロセッサ２１がプログラムに従って処理を行うことにより、送受信部２０３１、損傷検出部２０３２、フレーム選別部２０３３、画像処理部２０３４、路面抽出部２０３５、スケール推定部２０３６、データ生成部２０３７としての機能を発揮する。
【0061】
送受信部２０３１は、サーバ２０が外部の装置に対し通信プロトコルに従って信号を送信する処理、およびサーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。
【0062】
損傷検出部２０３２は、撮影された動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、フレームに撮影された前記路面の損傷を検出する。具体的には、損傷検出部２０３２は、フレームデータ２０２１それぞれに対して、路面の損傷の有無を識別して検出した損傷に関する情報を、フレームの平面座標系における位置情報と対応づけて、損傷情報として出力する。損傷検出部２０３２は、フレームデータ２０２１を第１学習済みモデル２０２８に入力することで、第１学習済みモデル２０２８から出力される路面の損傷情報を取得する。図５は、フレームからの損傷の検出を説明する図である。
【0063】
図５に示すように、損傷検出部２０３２は、各フレームに対して、路面の損傷を囲むバウンディングボックスＢを出力する。このように、損傷を囲むバウンディングボックスＢを出力することで、路面の損傷の有無のみならず、損傷の位置が識別され、損傷の状態についてより詳細な情報が得られる。損傷の位置は、フレームの平面座標系での位置座標が特定される。バウンディングボックスＢによって損傷の位置が強調され、検出された損傷情報の確認が容易となる。なお、損傷の位置に関する情報には、フレームの平面座標系での位置座標に加えて、当該フレームが撮影された位置情報であって、ＧＰＳアンテナ１８０が取得した位置情報としてフレームに関連付けられた情報が含まれる。
【0064】
なお、損傷検出部２０３２は、バウンディングボックスを用いた検出手法に限られず、セグメンテーションによる損傷マップを作成する手法を行ってもよい。この場合には、損傷検出部２０３２は、セグメンテーションにより、フレームに写された被写体について、どのタイプの損傷がどの位置にあるかを示す損傷マップを出力する。この場合の損傷マップは、画像のピクセル単位での位置とその占める領域を表すので、バウンディングボックスより情報量の多い出力になる。
【0065】
図４に示すフレーム選別部２０３３は、フレームデータ２０２１からキーフレームを選別する。キーフレームとは、後述する画像処理に適したフレームを指す。具体的には、キーフレームとは、複数のフレームのうち、互いに充分に被写体が重複しているフレームであって、時系列に沿う被写体の変化の大きいフレームを指す。すなわち、キーフレームとして選定されるためには、時系列の前後において、被写体の重複の程度と、被写体の変化量のバランスがよいことが必要となる。図６は、キーフレームの選別を説明する図である。
【0066】
図６に示すように、フレーム選別部２０３３は、撮影部１５０により撮影された複数のフレーム（フレーム群ＦＧ）から、後述する画像処理に適したフレームを、モーション推定処理により、キーフレームＫＦとして、選別する。モーション推定処理では、フレーム選別部２０３３は、互いに時系列に隣り合う２つのフレーム同士におけるカメラの動き量と撮影シーンの３次元構造間の関係を評価する。これにより、フレーム選別部２０３３は、３次元構成に適したフレームを、キーフレームＫＦとして抽出する。
【0067】
図４に示す画像処理部２０３４は、複数のフレームに対してＳｆＭ（Structure from Motion）処理と呼ばれる３次元構成を伴う画像処理を行う。画像処理部２０３４によるＳｆＭ処理の詳細について、図７を用いて詳述する。図７は、画像処理部２０３４による画像処理の原理を説明する図である。
【0068】
図７に示すように、ＳｆＭ処理では、カメラで撮影した複数の画像（Ｆ1～Ｆ3）から、それらの撮影位置（Ｐ1～Ｐ3）および撮影方向を推定する。そして、ＳｆＭ処理では、被写体の特徴点である同一地点（Ｘj）に対するそれぞれの画像上の位置（Ｘ1j～Ｘ3j）から、被写体全体の三次元モデルを生成する。
作成された三次元モデルは、多くの点データで構成される点群を構成する。ＳｆＭ処理により得られた点群は、あくまで相対的な位置関係の情報であり、地理空間座標が定義されていないデータとなっている。
作成された三次元モデルは、多くの点データで構成される点群を構成する。ＳｆＭ処理により得られた点群は、あくまで相対的な位置関係の情報であり、地理空間座標が定義されていないデータとなっている。
【0069】
すなわち、画像処理部２０３４は、各フレームの被写体である路面および周辺の風景から抽出された特徴点に対して、フレームごとの車両１００の進行方向に対する視差から点群データを生成する。
【0070】
すなわち、画像処理部２０３４は、時系列に並ぶ複数のフレームから、それぞれのフレームに対する撮影部１５０の姿勢に関する情報を推定する。撮影部１５０の姿勢に関する情報には、撮影部１５０の推定撮影位置および推定撮影方向が含まれる。
【0071】
そして、画像処理部２０３４は、幾つかのフレームに共通して映された被写体の一部を特徴点として抽出し、特徴点が写された幾つかのフレームについて、特徴点に対する視差から特徴点に対応する点データを生成する。特徴点は、フレームに写された被写体のうち、路面領域であってもよいし、非路面領域であってもよい。
【0072】
図４に示す画像処理部２０３４は、この処理を複数の特徴点、および時系列に並ぶ複数のフレームの全てに対して行うことで、全てのフレームに写された被写体全体を示す点群データ２０２２を取得する。
なお、画像処理部２０３４は、選別された複数のキーフレームに対して画像処理を行なうこともできる。
なお、画像処理部２０３４は、選別された複数のキーフレームに対して画像処理を行なうこともできる。
【0073】
図８は、画像処理により取得されるデータを説明する図である。図８に示すように、画像処理により取得されるデータには、以下の情報が含まれる。
・撮影された被写体に関する相対的な位置関係を示す点群（点群データ２０２２）
・フレームそれぞれを撮影した撮影部１５０の姿勢情報（撮影部１５０の推定撮影位置および推定撮影方向）
このうち、図８に示す直線は、撮影部１５０の推定撮影位置の軌跡Ｌを示している。また、錐体Ｃは、撮影部１５０の撮影方向を示している。錐体Ｃの位置が、推定撮影位置を示している。
また、各点データは、抽出された特徴点が３次元に再構成されたデータである。このうち、黒で表示された点は、路面上の点をさし、白で表示された点は路面外の点を指している。
・撮影された被写体に関する相対的な位置関係を示す点群（点群データ２０２２）
・フレームそれぞれを撮影した撮影部１５０の姿勢情報（撮影部１５０の推定撮影位置および推定撮影方向）
このうち、図８に示す直線は、撮影部１５０の推定撮影位置の軌跡Ｌを示している。また、錐体Ｃは、撮影部１５０の撮影方向を示している。錐体Ｃの位置が、推定撮影位置を示している。
また、各点データは、抽出された特徴点が３次元に再構成されたデータである。このうち、黒で表示された点は、路面上の点をさし、白で表示された点は路面外の点を指している。
【0074】
ここで、撮影部１５０が撮影するフレームに写る路面画像の特性を説明する。
図９は、フレームに写される路面画像の特性を説明する図である。図９Ａおよび図９Ｂは、時系列に互いに隣り合うフレームである。図９Ａおよび図９Ｂにおいて、同一の領域として、比較領域Ａ１にハッチングを施している。これらの図を比較すると、家屋や街路樹などの非路面領域の画像は、時系列に沿った被写体を見る角度、およびスケールの変化が小さい領域を多く含む。一方、路面領域の画像は、時系列に沿った被写体を見る角度、およびスケールの変化が大きいという特徴が確認される。また、２つの図における比較領域Ａ１を確認することで、路面画像は、フレームごとにスケールが極端に変化するという特徴が確認される。
図９は、フレームに写される路面画像の特性を説明する図である。図９Ａおよび図９Ｂは、時系列に互いに隣り合うフレームである。図９Ａおよび図９Ｂにおいて、同一の領域として、比較領域Ａ１にハッチングを施している。これらの図を比較すると、家屋や街路樹などの非路面領域の画像は、時系列に沿った被写体を見る角度、およびスケールの変化が小さい領域を多く含む。一方、路面領域の画像は、時系列に沿った被写体を見る角度、およびスケールの変化が大きいという特徴が確認される。また、２つの図における比較領域Ａ１を確認することで、路面画像は、フレームごとにスケールが極端に変化するという特徴が確認される。
【0075】
すなわち、走行車両１００から撮影される路面画像は、特徴点が少ないという特徴、およびスケールの変化が大きいという特徴を有している。このうち、スケールの変化については、キーフレームを選別することにより、より顕著になる。
このため、図８に示すように、画像処理部２０３４による画像処理により得られる点群データ２０２２は、一般的なＳｆＭ処理により得られる点群と比較すると、スパースな（粗い）点群データ２０２２となっている。ここで、一般的なＳｆＭ処理とは、画像ごとの被写体とカメラとの間の距離の変化が少ない撮影手順において取得した複数の画像を用いて行うＳｆＭ処理を指す。
このため、図８に示すように、画像処理部２０３４による画像処理により得られる点群データ２０２２は、一般的なＳｆＭ処理により得られる点群と比較すると、スパースな（粗い）点群データ２０２２となっている。ここで、一般的なＳｆＭ処理とは、画像ごとの被写体とカメラとの間の距離の変化が少ない撮影手順において取得した複数の画像を用いて行うＳｆＭ処理を指す。
【0076】
図４に示す路面抽出部２０３５は、フレームデータ２０２１から選別された複数のキーフレームそれぞれから、路面領域を抽出する。路面抽出部２０３５は、各キーフレームを第２学習済みモデル２０２９に入力することで、第２学習済みモデル２０２９から出力されるキーフレームそれぞれの路面領域を取得する。
【0077】
スケール推定部２０３６は、点群データ２０２２のスケールを推定する。図１０は、スケール推定部２０３６によるスケール推定について説明する図である。
図１０は、道路を上方から見た平面図となっている。図１０に示すように、スケール推定部２０３６は、車両１００の走行経路Ｒと、撮影部１５０の推定撮影軌跡Ｌと、を合わせ込むことで、推定撮影軌跡Ｌのスケールを推定する。
図１０は、道路を上方から見た平面図となっている。図１０に示すように、スケール推定部２０３６は、車両１００の走行経路Ｒと、撮影部１５０の推定撮影軌跡Ｌと、を合わせ込むことで、推定撮影軌跡Ｌのスケールを推定する。
【0078】
すなわち、画像処理により取得された推定撮影軌跡Ｌは、地理空間座標が定義されていないので、撮影部１５０の位置情報を用いて、推定撮影軌跡Ｌのスケールを推定し、推定したスケールを点群データ２０２２のスケールとして用いることができる。
ここで、車両１００の走行経路Ｒは、ＧＰＳアンテナ１８０が取得した撮影部１５０の位置情報であって、各フレームに関連付けられたデータから求めることができる。走行経路Ｒには、評価開始から終了までの評価区間の全域における車両１００（撮影部１５０）の位置情報が含まれている。
ここで、車両１００の走行経路Ｒは、ＧＰＳアンテナ１８０が取得した撮影部１５０の位置情報であって、各フレームに関連付けられたデータから求めることができる。走行経路Ｒには、評価開始から終了までの評価区間の全域における車両１００（撮影部１５０）の位置情報が含まれている。
【0079】
一方、撮影部１５０の推定撮影軌跡Ｌは、画像処理部２０３４による画像処理において取得された撮影部１５０の推定撮影位置の時系列に並べた情報である。推定撮影軌跡Ｌには、評価開始から終了までの評価区間の全域における撮影部１５０の推定撮影位置の情報が含まれている。
これらの情報を重ね合わせることで、相対的な位置関係である点群データ２０２２のスケールを推定することができる。
これらの情報を重ね合わせることで、相対的な位置関係である点群データ２０２２のスケールを推定することができる。
【0080】
なお、スケールの推定の処理は、画像処理部２０３４による画像処置の一部として行ってもよい。この場合には、スケールが推定された点群データ２０２２が、画像処理部２０３４による画像処置において取得され、個別のスケール推定の処理は省略することができる。
【0081】
図４に示すデータ生成部２０３７は、取得した点群データ２０２２に平面をフィッティングし、その平面に対応するフレーム画像をレンダリングすることで、路面を示す鳥瞰図データ２０２５を生成する。
図１１は、点群データ２０２２の平面へのレンダリングを説明する図である。このうち、図１１Ａは、点群データへの仮想平面のフィッティングを説明する図、図１１Ｂは、平面への情報の投影処理を説明する図である。
図１１は、点群データ２０２２の平面へのレンダリングを説明する図である。このうち、図１１Ａは、点群データへの仮想平面のフィッティングを説明する図、図１１Ｂは、平面への情報の投影処理を説明する図である。
【0082】
図１１Ａに示すように、データ生成部２０３７は、路面抽出部２０３５が抽出した路面領域に関する情報を用いて、点群データ２０２２のうち、路面に属する点群を判別する。そして、データ生成部２０３７は、路面に属する点群に対して、仮想平面をフィッティングする。これにより、ローカルなカメラ座標における一定領域の平面が推定される。図１１Ｂに示すように進行方向に沿って、このような平面推定を繰り返すことで、平面データＳＤが複数作成される。
【0083】
次に、データ生成部２０３７は、作成した各平面データＳＤに路面画像をレンダリングする。具体的には、平面データＳＤを観測する複数のカメラの推定撮影位置および推定撮影方向を用いて、各カメラの撮影画像を平面データＳＤに投影することでレンダリングを行う。この際、平面データＳＤの位置の微調整および画像の合成処理を行う。
【0084】
次に、データ生成部２０３７は、作成した複数の平面データＳＤを、車両１００の進行方向に沿って、順次つなぎ合わせていく。この際、データ生成部２０３７は、なめらかに繋がるように平面データＳＤの位置の微調整および画像合成処理を行う。
【0085】
データ生成部２０３７は、評価区間の全域における平面データＳＤを繋ぎ合わすことで、鳥瞰図データ２０２５を生成する。生成された鳥瞰図データ２０２５の詳細については後述する。
【0086】
このように、システム１では、路面抽出部２０３５によりフレーム（キーフレーム）における路面領域を抽出し、抽出された路面領域に関する情報を用いて点群データ２０２２から鳥瞰図データ２０２５への変換を行う。このような処理を行うことで、システム１では、スパースな点群データ２０２２から、一定の情報量を備えた鳥瞰図データ２０２５の生成を可能にしている。
【0087】
また、データ生成部２０３７は、生成した鳥瞰図データ２０２５に対して、検出された損傷情報を割り当てることで、路面損傷データ２０２６を生成する。図１２は、鳥瞰図データ２０２５への損傷データ２０２４の割り当てについて説明する図である。
【0088】
図１２に示すように、データ生成部２０３７は、鳥瞰図データ２０２５を所定の単位領域（グリッドＧ）ごとに区画（分割）する。例えば、単位領域は、５０ｃｍ四方の領域とすることができる。
そして、データ生成部２０３７は、撮影部１５０の姿勢情報を用いて、グリッドごとに損傷データ２０２４を割り当てていく。
そして、データ生成部２０３７は、撮影部１５０の姿勢情報を用いて、グリッドごとに損傷データ２０２４を割り当てていく。
【0089】
この際、データ生成部２０３７は、撮影部１５０の推定撮影位置および推定撮影方向を参照して、各フレームから検出された損傷について、異なる座標系である鳥瞰図データ２０２５において対応する位置を判別して投影する。
すなわち、データ生成部２０３７は、損傷が検出されたフレームにおいて、当該フレームの平面座標系で特定される損傷の位置を、当該フレームの推定撮影位置および推定撮影方向を用いて、異なる座標系である鳥観図の座標系に変換する。これにより、データ生成部２０３７は、損傷情報の鳥観図に対する投影（グリッドごとの割り当て）をする。データ生成部２０３７は全ての損傷が検出されたフレームに対してこの処理を行うことで、路面損傷データ２０２６を生成する。なお、データ生成部２０３７は、撮影部１５０の姿勢情報のうち、推定撮影位置のみを用いて、グリッドごとに損傷データ２０２４を割り当ててもよい。
また、データ生成部２０３７により生成された路面損傷データ２０２６の詳細については後述する。
すなわち、データ生成部２０３７は、損傷が検出されたフレームにおいて、当該フレームの平面座標系で特定される損傷の位置を、当該フレームの推定撮影位置および推定撮影方向を用いて、異なる座標系である鳥観図の座標系に変換する。これにより、データ生成部２０３７は、損傷情報の鳥観図に対する投影（グリッドごとの割り当て）をする。データ生成部２０３７は全ての損傷が検出されたフレームに対してこの処理を行うことで、路面損傷データ２０２６を生成する。なお、データ生成部２０３７は、撮影部１５０の姿勢情報のうち、推定撮影位置のみを用いて、グリッドごとに損傷データ２０２４を割り当ててもよい。
また、データ生成部２０３７により生成された路面損傷データ２０２６の詳細については後述する。
【0090】
ここで、画像処理は、キーフレームに対してのみ行っているので、損傷が検出された全てのフレームについて、撮影部の姿勢（推定撮影位置および推定撮影方向）が得られているわけではない。このため、データ生成部２０３７は、損傷が検出されたフレームについて、動画の時系列上で近接するキーフレームＫＦを特定する。そして、データ生成部２０３７は、損傷が検出されたフレームに対して時間的に最も近接するキーフレームにおいて、画像処理により得られた推定撮影位置および推定撮影方向を用いて、当該フレームに検出された損傷情報を、鳥瞰図データ２０２５における単位領域ごとに割り当てる。
【0091】
また、データ生成部２０３７は、生成された路面損傷データ２０２６を、当該路面が表示された地図情報に評価区間ごとに重畳して、評価区間ごとの損傷情報を有する道路損傷マップ２０２７を作成する。生成された道路損傷マップ２０２７の詳細については後述する。
【0092】
＜５．システム１の処理＞
次に、システム１の処理を説明する。
次に、システム１の処理を説明する。
【0093】
＜５―１．第１の処理＞
図１３は、システム１により実行される第１の処理を説明する図である。第１の処理では、端末装置１０による路面の撮影が主に行われる。
図１３は、システム１により実行される第１の処理を説明する図である。第１の処理では、端末装置１０による路面の撮影が主に行われる。
【0094】
図１３に示すように、まず、走行車両１００に搭載された端末装置１０の撮影部１５０が、路面の動画を撮影する（ステップＳ１０１）
具体的には、撮影部１５０は、走行車両１００の前方の路面の動画を連続して撮影する。この際、撮影部１５０は、路面だけではなく、周辺の景色もフレームの被写体として含まれるように、撮影方向が設定されている。撮影部１５０は、撮影により取得した撮影データ１６１を、制御部１７０の入力受付部１７１に送る。制御部１７０は、入力受付部１７１が受け付けた撮影データ１６１を、記憶部１６０に記憶させる。またこの際、ＧＰＳアンテナ１８０が、端末装置１０の位置情報を継続して取得している。
具体的には、撮影部１５０は、走行車両１００の前方の路面の動画を連続して撮影する。この際、撮影部１５０は、路面だけではなく、周辺の景色もフレームの被写体として含まれるように、撮影方向が設定されている。撮影部１５０は、撮影により取得した撮影データ１６１を、制御部１７０の入力受付部１７１に送る。制御部１７０は、入力受付部１７１が受け付けた撮影データ１６１を、記憶部１６０に記憶させる。またこの際、ＧＰＳアンテナ１８０が、端末装置１０の位置情報を継続して取得している。
【0095】
ステップＳ１０１の後に、制御部１７０は、撮影したフレームに対して位置情報を関連付ける（ステップＳ１０２）。
具体的には、制御部１７０のデータ加工部１７３は、撮影データ１６１を構成する各フレームに対して、それぞれが撮影された位置情報を時刻情報に基づいて関連付ける。データ加工部１７３は、位置情報が関連付けられた各フレームを、フレームデータ１６２として、記憶部１６０に記憶させる。
具体的には、制御部１７０のデータ加工部１７３は、撮影データ１６１を構成する各フレームに対して、それぞれが撮影された位置情報を時刻情報に基づいて関連付ける。データ加工部１７３は、位置情報が関連付けられた各フレームを、フレームデータ１６２として、記憶部１６０に記憶させる。
【0096】
ステップＳ１０２の後に、端末装置１０は、フレームデータ１６２をサーバ２０に送信する（ステップＳ１０３）
具体的には、端末装置１０の制御部１７０が、送受信部１７２を介して、フレームデータ１６２をサーバ２０に送信する。
具体的には、端末装置１０の制御部１７０が、送受信部１７２を介して、フレームデータ１６２をサーバ２０に送信する。
【0097】
ステップＳ１０３の後に、サーバ２０は、フレームデータ１６２を取得する（ステップＳ２０１）。
具体的には、サーバ２０の制御部２０３が、送受信部２０３１を介して送信されたフレームデータ１６２を受信し、記憶部２０２に記憶させる。
以上により、第１の処理が終了する。
具体的には、サーバ２０の制御部２０３が、送受信部２０３１を介して送信されたフレームデータ１６２を受信し、記憶部２０２に記憶させる。
以上により、第１の処理が終了する。
【0098】
＜５―２．サーバ２０の処理の概要＞
図１４は、サーバ２０により実行される処理の概要を説明する図である。
サーバ２０は、主に２つのルートの処理を実行する。
サーバ２０は、第２の処理（Ｓ２１）として、各フレームから損傷を検出する。
また、サーバ２０は、第３の処理（Ｓ２２）として、路面再構成による鳥瞰図データ２０２５の生成の処理を実行する。
そして、サーバ２０は、第４の処理（Ｓ２３）として、路面損傷データ２０２６の生成、および道路損傷マップ２０２７の生成の処理を行う。
以上により、サーバ２０の処理が終了する。これらの各処理について詳述する。
図１４は、サーバ２０により実行される処理の概要を説明する図である。
サーバ２０は、主に２つのルートの処理を実行する。
サーバ２０は、第２の処理（Ｓ２１）として、各フレームから損傷を検出する。
また、サーバ２０は、第３の処理（Ｓ２２）として、路面再構成による鳥瞰図データ２０２５の生成の処理を実行する。
そして、サーバ２０は、第４の処理（Ｓ２３）として、路面損傷データ２０２６の生成、および道路損傷マップ２０２７の生成の処理を行う。
以上により、サーバ２０の処理が終了する。これらの各処理について詳述する。
【0099】
＜５―３．第２の処理＞
図１５は、システム１により実行される第２の処理を説明する図である。第２の処理では、サーバ２０によるフレームデータ２０２１に対する損傷検出が主に行われる。
図１５は、システム１により実行される第２の処理を説明する図である。第２の処理では、サーバ２０によるフレームデータ２０２１に対する損傷検出が主に行われる。
【0100】
図１５に示すように、サーバ２０は、学習済みモデルにフレームデータ２０２１の各フレームを入力して、損傷を検出する（ステップＳ２１１）。
具体的には、サーバ２０の制御部２０３における損傷検出部２０３２は、記憶部２０２に記憶されたフレームデータ２０２１の各フレームを、第１学習済みモデル２０２８に入力することで、第１学習済みモデル２０２８から出力された損傷情報を取得する。取得された損傷情報は、記憶部２０２に記憶される。損傷検出部２０３２は評価対象となる全てのフレームに対して、この処理を実行する。
以上により、第２の処理が終了する。
具体的には、サーバ２０の制御部２０３における損傷検出部２０３２は、記憶部２０２に記憶されたフレームデータ２０２１の各フレームを、第１学習済みモデル２０２８に入力することで、第１学習済みモデル２０２８から出力された損傷情報を取得する。取得された損傷情報は、記憶部２０２に記憶される。損傷検出部２０３２は評価対象となる全てのフレームに対して、この処理を実行する。
以上により、第２の処理が終了する。
【0101】
＜５―４．第３の処理＞
図１６は、システム１により実行される第３の処理を説明する図である。第３の処理では、サーバ２０による路面再構成による鳥瞰図データ２０２５の生成が主に行われる。
図１６は、システム１により実行される第３の処理を説明する図である。第３の処理では、サーバ２０による路面再構成による鳥瞰図データ２０２５の生成が主に行われる。
【0102】
図１６に示すように、まず、サーバ２０は、キーフレームを選別する（ステップＳ２２１）。
具体的には、サーバ２０のフレーム選別部２０３３は、記憶部２０２に記憶されたフレームデータ２０２１に対して前述したモーション推定を行うことで、３次元構成に適したフレームを、キーフレームとして選別する。
具体的には、サーバ２０のフレーム選別部２０３３は、記憶部２０２に記憶されたフレームデータ２０２１に対して前述したモーション推定を行うことで、３次元構成に適したフレームを、キーフレームとして選別する。
【0103】
ステップ２２１の後に、サーバ２０は、画像処理により点群データ２０２２とカメラ姿勢を取得する（ステップ２２２）。
具体的には、サーバ２０の制御部２０３における画像処理部２０３４は、選別されたキーフレームに対して前述した画像処理を行うことで、以下の情報を取得する。
・複数のキーフレームに撮影された被写体に関する相対的な位置関係を示す点群データ２０２２
・各キーフレームを撮影したタイミングでの撮影部１５０の推定撮影位置に関する情報
・各キーフレームを撮影したタイミングでの撮影部１５０の推定撮影方向に関する情報
取得されたデータは、点群データ２０２２および姿勢データ２０２３として、記憶部２０２に記憶される。
具体的には、サーバ２０の制御部２０３における画像処理部２０３４は、選別されたキーフレームに対して前述した画像処理を行うことで、以下の情報を取得する。
・複数のキーフレームに撮影された被写体に関する相対的な位置関係を示す点群データ２０２２
・各キーフレームを撮影したタイミングでの撮影部１５０の推定撮影位置に関する情報
・各キーフレームを撮影したタイミングでの撮影部１５０の推定撮影方向に関する情報
取得されたデータは、点群データ２０２２および姿勢データ２０２３として、記憶部２０２に記憶される。
【0104】
また、ステップ２２１の後に、ステップ２２２と並行して、サーバ２０は、キーフレームごとに路面領域を抽出する（ステップ２２３）。
具体的には、サーバ２０の制御部２０３における路面抽出部２０３５が、キーフレームを第２学習済みモデル２０２９に入力することで、キーフレームごとに抽出された路面領域に関するデータを取得する。
具体的には、サーバ２０の制御部２０３における路面抽出部２０３５が、キーフレームを第２学習済みモデル２０２９に入力することで、キーフレームごとに抽出された路面領域に関するデータを取得する。
【0105】
ステップ２２２の後に、サーバ２０は、点群データ２０２２を用いて鳥瞰図データ２０２５を生成する（ステップ２２４）。
具体的には、サーバ２０の制御部２０３におけるデータ生成部２０３７が、取得した点群データ２０２２から前述した手順に沿って平面データを推定する。データ生成部２０３７は、推定した平面データにフレーム画像をレンダリングすることで、評価区間の全域の路面の平面図となる鳥瞰図データ２０２５を生成する。生成された鳥瞰図データ２０２５は記憶部２０２に記憶される。
具体的には、サーバ２０の制御部２０３におけるデータ生成部２０３７が、取得した点群データ２０２２から前述した手順に沿って平面データを推定する。データ生成部２０３７は、推定した平面データにフレーム画像をレンダリングすることで、評価区間の全域の路面の平面図となる鳥瞰図データ２０２５を生成する。生成された鳥瞰図データ２０２５は記憶部２０２に記憶される。
【0106】
ステップ２２４の後に、サーバ２０は、スケールを推定する（ステップ２２５）。
具体的には、サーバ２０の制御部２０３におけるスケール推定部２０３６が、車両１００の走行経路と、撮影部１５０の推定撮影軌跡と、を合わせ込むことで、点群データ２０２２のスケールを推定する。推定されたスケールに関する情報は、鳥瞰図データ２０２５に関連付けて記憶部２０２に記憶される。図１８は、鳥瞰図データ２０２５の一部を示す図である。
具体的には、サーバ２０の制御部２０３におけるスケール推定部２０３６が、車両１００の走行経路と、撮影部１５０の推定撮影軌跡と、を合わせ込むことで、点群データ２０２２のスケールを推定する。推定されたスケールに関する情報は、鳥瞰図データ２０２５に関連付けて記憶部２０２に記憶される。図１８は、鳥瞰図データ２０２５の一部を示す図である。
【0107】
図１８に示すように、鳥瞰図データ２０２５は、路面の評価区間を上方からみた座標系で表現される。この図では、左側の車線を走行した車両により、撮影データ１６１が取得されている。
鳥瞰図データ２０２５は、評価区間の始点から終点にかけて、複数の平面データが車両１００の進行方向に沿って繋ぎ合わされたデータ構造をなしている。
この図において、符号Ｌは、撮影部１５０による推定撮影位置の軌跡を示している。また、符号Ｃは、各フレームに対する撮影部１５０の推定撮影方向を示している。
鳥瞰図データ２０２５は、評価区間の始点から終点にかけて、複数の平面データが車両１００の進行方向に沿って繋ぎ合わされたデータ構造をなしている。
この図において、符号Ｌは、撮影部１５０による推定撮影位置の軌跡を示している。また、符号Ｃは、各フレームに対する撮影部１５０の推定撮影方向を示している。
【0108】
図１６に示すステップ２２５の後に、サーバ２０は、鳥瞰図データ２０２５をグリッド分割する（ステップ２２６）。
具体的には、サーバ２０の制御部２０３におけるデータ生成部２０３７が、鳥瞰図データ２０２５の路面領域について、所定の単位領域ごとに区画する。この際、スケール推定部２０３６が推定したスケールが用いられる。これにより、鳥瞰図データ２０２５に単位領域ごとの区画が形成される。
以上により、第３の処理が終了する。
＜５―５．第４の処理＞
図１７は、システム１により実行される第４の処理を説明する図である。第４の処理では、サーバ２０による路面損傷データ２０２６の生成、および道路損傷マップ２０２７の生成が主に行われる。
具体的には、サーバ２０の制御部２０３におけるデータ生成部２０３７が、鳥瞰図データ２０２５の路面領域について、所定の単位領域ごとに区画する。この際、スケール推定部２０３６が推定したスケールが用いられる。これにより、鳥瞰図データ２０２５に単位領域ごとの区画が形成される。
以上により、第３の処理が終了する。
＜５―５．第４の処理＞
図１７は、システム１により実行される第４の処理を説明する図である。第４の処理では、サーバ２０による路面損傷データ２０２６の生成、および道路損傷マップ２０２７の生成が主に行われる。
【0109】
図１７に示すように、まず、サーバ２０は、損傷情報を鳥瞰図データ２０２５に割り当てて、路面損傷データ２０２６を生成する（ステップＳ２３１）。
具体的には、サーバ２０の制御部２０３におけるデータ生成部２０３７は、撮影部１５０の推定撮影位置および推定撮影方向を参照して、鳥瞰図データ２０２５に対して損傷情報を投影する。生成された路面損傷データ２０２６は、記憶部２０２に記憶される。図１９は、生成された路面損傷データ２０２６を示す図である。
具体的には、サーバ２０の制御部２０３におけるデータ生成部２０３７は、撮影部１５０の推定撮影位置および推定撮影方向を参照して、鳥瞰図データ２０２５に対して損傷情報を投影する。生成された路面損傷データ２０２６は、記憶部２０２に記憶される。図１９は、生成された路面損傷データ２０２６を示す図である。
【0110】
図１９に示すように、路面損傷データ２０２６には、単位領域を区画するグリッドＧが表示されている。路面損傷データ２０２６のグリッドＧには、損傷情報が割り当てられている。図示の例では、符号Ｄ１は、軽度な損傷があることを示しており、符号Ｄ２は、重度な損傷があることを示している。図示のように、単位領域ごとに損傷情報が割り当てられた路面損傷データ２０２６を、ひび割れ率を算出するひび割れ率算出モデルに入力することで、評価区間におけるひび割れ率を定量的に評価することができる。
【0111】
ステップ２３１の後に、サーバ２０は、路面損傷データ２０２６を地図情報に重畳して、道路マップを生成する（ステップＳ２３２）。
具体的には、サーバ２０の制御部２０３におけるデータ生成部２０３７は、生成された路面損傷データ２０２６を、当該路面が表示された地図情報に評価区間ごとに重畳して、評価区間ごとの損傷情報を有する道路損傷マップ２０２７を作成する。生成された道路損傷マップ２０２７は、記憶部２０２に記憶される。以上により、第４の処理が終了する。
図２０は、生成された道路損傷マップ２０２７を示す図である。
具体的には、サーバ２０の制御部２０３におけるデータ生成部２０３７は、生成された路面損傷データ２０２６を、当該路面が表示された地図情報に評価区間ごとに重畳して、評価区間ごとの損傷情報を有する道路損傷マップ２０２７を作成する。生成された道路損傷マップ２０２７は、記憶部２０２に記憶される。以上により、第４の処理が終了する。
図２０は、生成された道路損傷マップ２０２７を示す図である。
【0112】
図２０に示すように、道路損傷マップ２０２７には、評価区間ごとの複数の路面損傷データ２０２６が地図情報に重畳されている。また、損傷の程度により表示態様が色分けされていることで、一定のエリアを占める道路領域について、路面の損傷の程度を直感的に把握することができる。
【0113】
図２１は、図２０に示す道路損傷マップ２０２７の一部の区間を拡大した図である。図示の例では、損傷の程度により表示態様が変更されている。具体的には、図２０では、２０ｍごとのひび割れ率の分布をカラーマップとして表示している。このように、損傷の程度により表示態様を変更することで、評価区間におけるひび割れ率を、ユーザが視覚的に捉えることができる。
【0114】
図２２は、図２０に示す一部の路面について、単位領域ごとの損傷状態を可視化した図である。道路損傷マップ２０２７では、単位領域ごとの損傷状態を可視化することで、ユーザが単位領域ごとの詳細な損傷状態を確認できる。この表示状態において、損傷情報が割り当てられた各グリッドを指定することで、実際に当該場所で損傷が検出されたフレームを表示して、具体的な損傷の状態をユーザに提示してもよい。
【0115】
＜６．小括＞
以上説明したように、本実施形態に係るシステム１では、車両１００に搭載された撮影部１５０により撮影した動画のフレームへの画像処理により、点群データ２０２２を取得し、点群データ２０２２から路面を示す鳥瞰図データ２０２５を生成する。そして、システム１では、鳥瞰図データ２０２５に対して、フレームから検出された損傷データ２０２４を割り当てることで、単位領域ごとの損傷情報を有する路面損傷データ２０２６を生成する。システム１のユーザは、このように生成された路面損傷データ２０２６を用いることで、効率的に評価区間における路面のひび割れの状態や路面に占めるひび割れの割合（ひび割れ率）を評価することができる。
以上説明したように、本実施形態に係るシステム１では、車両１００に搭載された撮影部１５０により撮影した動画のフレームへの画像処理により、点群データ２０２２を取得し、点群データ２０２２から路面を示す鳥瞰図データ２０２５を生成する。そして、システム１では、鳥瞰図データ２０２５に対して、フレームから検出された損傷データ２０２４を割り当てることで、単位領域ごとの損傷情報を有する路面損傷データ２０２６を生成する。システム１のユーザは、このように生成された路面損傷データ２０２６を用いることで、効率的に評価区間における路面のひび割れの状態や路面に占めるひび割れの割合（ひび割れ率）を評価することができる。
【0116】
また、システム１では、ユーザが、評価対象となる路面の周囲に、所定の間隔ごとに距離の基準となる複数の標識を動画の撮影前に予め配置するといった個別の準備を行わない。すなわち、システム１では、ユーザは、走行車両１００の車窓からの風景を撮影部１５０により撮影しただけの簡易的な撮影手順により取得した撮影データ１６１を用いて画像処理を行う。
【0117】
また、システム１では、生成された路面損傷データ２０２６を、当該路面が表示された地図情報に評価区間ごとに重畳して、評価区間ごとの損傷情報を有する道路損傷マップ２０２７を作成する。このため、道路損傷マップ２０２７を確認することで、単一の路面の評価区間だけではなく、一定のエリアにおける路面の損傷の状態について、俯瞰的に可視化することができる。
【0118】
また、システム１では、鳥瞰図データ２０２５を生成する前に、撮影された動画に含まれる複数のフレームそれぞれに対して、各フレームに撮影された被写体から、路面領域を抽出する。そして、システム１では、鳥瞰図データ２０２５を生成する際に、点群データ２０２２のうち、抽出された路面領域を構成する点群を判別し、仮想平面をフィッティングすることで、点群データ２０２２から複数の平面データを推定する。その後に推定した各平面データに、フレーム画像をレンダリングする。
このため、路面上に特徴が少なく、かつ時系列に隣り合うフレームにおけるスケールの変化が大きいという特徴を有する撮影データ１６１から得られた点群データ２０２２がスパースなものであっても、路面評価の実用に耐える程度の情報量を備えた鳥瞰図データ２０２５を生成することができる。
このため、路面上に特徴が少なく、かつ時系列に隣り合うフレームにおけるスケールの変化が大きいという特徴を有する撮影データ１６１から得られた点群データ２０２２がスパースなものであっても、路面評価の実用に耐える程度の情報量を備えた鳥瞰図データ２０２５を生成することができる。
【0119】
また、システム１では、画像処理を行うステップに先だって、撮影された動画に含まれる複数のフレームから、キーフレームを複数選別する。そして、システム１では、画像処理を行う際に、選別されたキーフレームに対して、画像処理を行う。このため、画像処理に特に使用しやすいキーフレームに限って画像処理を行うことで、画像処理に要する負荷を減らすことができる。そして、仮にキーフレームの選別により、点群データ２０２２がよりスパースなものになったとしても、路面領域の抽出を踏まえたレンダリングを行うことで、鳥瞰図データ２０２５に一定の情報量を具備させることができる。
【0120】
また、システム１では、画像処理を行うステップでは、撮影部１５０の姿勢情報として、複数のフレームそれぞれを撮影した撮影部１５０の推定撮影位置、および推定撮影方向を取得する。
そして、システム１では、路面損傷データ２０２６を生成するステップでは、損傷が検出されたフレームについて、取得された推定撮影位置および推定撮影方向を用いて、複数のキーフレームとの位置関係を推定する。そして、システム１では、特定された位置関係を用いて、当該フレームに検出された損傷情報を、単位領域ごとに割り当てる。このように、画像処理により推定された、撮影部１５０の推定撮影位置および推定撮影方向を用いて、フレームから検出された損傷の鳥瞰図データ２０２５における位置を判断することで、損傷の位置を高精度に鳥瞰図データ２０２５に割り当てることができる。
そして、システム１では、路面損傷データ２０２６を生成するステップでは、損傷が検出されたフレームについて、取得された推定撮影位置および推定撮影方向を用いて、複数のキーフレームとの位置関係を推定する。そして、システム１では、特定された位置関係を用いて、当該フレームに検出された損傷情報を、単位領域ごとに割り当てる。このように、画像処理により推定された、撮影部１５０の推定撮影位置および推定撮影方向を用いて、フレームから検出された損傷の鳥瞰図データ２０２５における位置を判断することで、損傷の位置を高精度に鳥瞰図データ２０２５に割り当てることができる。
【0121】
また、システム１では、鳥瞰図データ２０２５を単位領域ごとに区画し、損傷情報を、撮影部１５０の推定撮影位置および推定撮影方向を参照して鳥瞰図データ２０２５に対して投影することで、損傷情報を単位領域ごとに割り当てる。このため、フレームの撮影位置、およびフレームの平面座標系で表現されるフレームに検出された損傷の位置に関する情報を、異なる座標系である鳥瞰図データ２０２５における位置に正確に変換することができる。
【0122】
また、ＧＰＳアンテナ１８０により取得された位置情報ではなく、画像処理により取得されたフレームごとの推定撮影位置と推定撮影方向を用いることで、精度よく鳥瞰図データ２０２５上の位置を判別することができる。
【0123】
また、システム１では、撮影部１５０の位置情報から求められる車両１００の走行経路と、撮影部１５０の推定撮影位置から求められる推定撮影軌跡と、を合わせ込むことで、点群データ２０２２のスケールを推定する。そして、損傷情報を鳥瞰図データ２０２５に割り当てる際に、推定されたスケールを用いて、所定の単位領域にグリッド分割を行う。このため、相対的な点群データ２０２２から生成された鳥瞰図データ２０２５に対して、正確に単位領域を区画することができる。
【0124】
また、一般的にＧＰＳアンテナ１８０から取得される位置情報は一定の誤差を含みやすい。これに対して、システム１では、ＧＰＳアンテナ１８０から取得される位置情報は、スケール推定、および道路マップへの路面損傷情報の重ね合わせの際の利用に留めている。すなわち、前述のとおりシステム１では、画像処理により取得されたフレームごとの推定撮影位置と推定撮影方向を用いて、損傷の位置を鳥瞰図に割り当てているので、路面損傷データにおける損傷位置の精度を確保することができる。
【0125】
＜７．変形例＞
図２３は、変形例に係るデータ生成部２０３７の処理を説明する図である。
図２３に示すように、変形例に係るデータ生成部２０３７は、路面損傷データ２０２６を生成する際に、損傷が検出されたフレームＤＦの前後のキーフレームＫＦから得られた撮影部の姿勢（推定撮影位置および推定撮影方向）を利用する。
図２３は、変形例に係るデータ生成部２０３７の処理を説明する図である。
図２３に示すように、変形例に係るデータ生成部２０３７は、路面損傷データ２０２６を生成する際に、損傷が検出されたフレームＤＦの前後のキーフレームＫＦから得られた撮影部の姿勢（推定撮影位置および推定撮影方向）を利用する。
【0126】
具体的には、データ生成部２０３７は、損傷が検出されたフレームＤＦに対して、時系列に前後に位置する２つのキーフレームＫＦを特定する。そして、データ生成部２０３７は、特定した２つのキーフレームＫＦにおける推定撮影位置および推定撮影方向から、２つのキーフレームＫＦ間での撮影部の姿勢の変化を推定し、損傷フレームの撮影時刻におけるカメラの撮影位置および撮影方向を推定する。
また、その他の方法として、データ生成部２０３７は、キーフレームＫＦと損傷が確認されたフレーム間で画像マッチングを行ってもよい。この場合には、データ生成部２０３７は、損傷が確認されたフレームと点群を対応づけ、損傷が検出されたフレームを撮影した撮影部の姿勢（推定撮影位置および推定撮影方向）を推定してもよい。
また、その他の方法として、データ生成部２０３７は、キーフレームＫＦと損傷が確認されたフレーム間で画像マッチングを行ってもよい。この場合には、データ生成部２０３７は、損傷が確認されたフレームと点群を対応づけ、損傷が検出されたフレームを撮影した撮影部の姿勢（推定撮影位置および推定撮影方向）を推定してもよい。
【0127】
＜８．その他の変形例＞
上述の実施形態においては、端末装置１０の撮影部１５０が走行車両１００の前方の風景を撮影する例を示したが、このような態様に限られない。例えば、撮影部１５０により走行車両１００の後方又は側方の路面を撮影して得られた撮影データ１６１を用いて、前述した各処理をおこなってもよい。
上述の実施形態においては、端末装置１０の撮影部１５０が走行車両１００の前方の風景を撮影する例を示したが、このような態様に限られない。例えば、撮影部１５０により走行車両１００の後方又は側方の路面を撮影して得られた撮影データ１６１を用いて、前述した各処理をおこなってもよい。
【0128】
また、上述の実施形態では、データ生成部２０３７が、撮影部１５０の姿勢情報のうち、推定撮影位置および推定撮影方向の双方を用いて、フレームから検出された損傷情報の鳥瞰図データ２０２５上の位置を判断して割り当てているが、この限りではない。すなわち、データ生成部２０３７は、撮影部１５０の姿勢情報のうち、撮影部１５０の推定撮影位置および推定撮影方向の少なくとも一方を用いて、フレームから検出された損傷情報の鳥瞰図データ２０２５上の位置を判断してもよい。
【0129】
また、上述の実施形態では、スケール推定部２０３６が、車両１００の走行経路と、撮影部１５０の推定撮影位置から求められる推定撮影軌跡と、を合わせ込むことで、点群データ２０２２のスケールを推定しているが、この処理は省略してもよい。すなわち、データ生成部２０３７は、画像処理により取得された撮影部１５０の姿勢情報のみを用いて、フレームから検出された損傷情報の鳥瞰図データ２０２５上の位置を判断してもよい。
【0130】
また、上述の実施形態では、画像処理部２０３４による画像処理、および路面抽出部２０３５による路面抽出の処理において、フレーム選別部２０３３が選別したキーフレームに対してそれぞれ処理を行っているが、この限りではない。すなわち、キーフレームの選別は省略し、全てのフレームデータ２０２１に対して、画像処理部２０３４による画像処理、および路面抽出部２０３５による路面抽出の処理を行ってもよい。
【0131】
また、上述の実施形態では、路面抽出部２０３５により、路面領域の抽出を行っているが、この処理を省略してもよい。この場合には、データ生成部２０３７は、鳥瞰図データ２０２５を生成する際に、点群データ２０２２の全体に対して平面をフィッティングしたうえで、フィッティングされた複数の平面データに対して、フレーム画像のレンダリングを行ってもよい。
【0132】
なお、上述の実施形態では、端末装置１０が、撮影した動画データをサーバ２０に送信する構成を説明したが、この限りではない。例えば、ドライブレコーダなどで撮影した動画データをＳＤカードなどの記憶媒体を用いて、サーバ２０に入力してもよい。すなわち、サーバ２０が動画データを取得する手段については、任意に選択することができる。
路面の動画を撮影する車両としては、路面の検査を行う専用の車両に限られず、例えば配送業者のトラック、公共交通機関のバス、又は一般の乗用車など、任意に選択することができる。
路面の動画を撮影する車両としては、路面の検査を行う専用の車両に限られず、例えば配送業者のトラック、公共交通機関のバス、又は一般の乗用車など、任意に選択することができる。
【0133】
以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。
【0134】
＜付記＞
実施形態で説明した事項を、以下に付記する。
実施形態で説明した事項を、以下に付記する。
【0135】
（付記１）
路面の損傷を検出するコンピュータに用いられるプログラムであって、
コンピュータのプロセッサに、
走行車両から撮影された路面の動画を取得するステップ（ステップＳ２０１）と、
動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、フレームに撮影された路面の損傷を検出するステップ（ステップＳ２１１）と、
複数のフレームから、フレームに撮影された被写体に関する相対的な位置関係を示す点群データ、およびフレームそれぞれを撮影した撮影部の推定撮影位置を取得する画像処理を行うステップ（ステップＳ２２２）と、
取得した前記点群データおよび前記複数のフレームに写された画像を用いて、前記路面を示す鳥瞰図を生成するステップと、
生成した鳥瞰図に対して、検出された損傷情報を推定撮影位置を用いて、区画された単位領域ごとに割り当てて、単位領域ごとの損傷情報を有する路面損傷データを生成するステップ（ステップＳ２３１）と、を実行させる、プログラム。
路面の損傷を検出するコンピュータに用いられるプログラムであって、
コンピュータのプロセッサに、
走行車両から撮影された路面の動画を取得するステップ（ステップＳ２０１）と、
動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、フレームに撮影された路面の損傷を検出するステップ（ステップＳ２１１）と、
複数のフレームから、フレームに撮影された被写体に関する相対的な位置関係を示す点群データ、およびフレームそれぞれを撮影した撮影部の推定撮影位置を取得する画像処理を行うステップ（ステップＳ２２２）と、
取得した前記点群データおよび前記複数のフレームに写された画像を用いて、前記路面を示す鳥瞰図を生成するステップと、
生成した鳥瞰図に対して、検出された損傷情報を推定撮影位置を用いて、区画された単位領域ごとに割り当てて、単位領域ごとの損傷情報を有する路面損傷データを生成するステップ（ステップＳ２３１）と、を実行させる、プログラム。
【0136】
（付記２）
プロセッサに、さらに、
生成された路面損傷データを、当該路面が表示された地図情報に評価区間ごとに重畳して、評価区間ごとの損傷情報を有する道路損傷マップを作成するステップ（ステップＳ２３２）を実行させる、付記１に記載のプログラム。
プロセッサに、さらに、
生成された路面損傷データを、当該路面が表示された地図情報に評価区間ごとに重畳して、評価区間ごとの損傷情報を有する道路損傷マップを作成するステップ（ステップＳ２３２）を実行させる、付記１に記載のプログラム。
【0137】
（付記３）
プロセッサに、鳥瞰図を生成するステップ（ステップＳ２２４）に先だって、
撮影された動画に含まれる複数のフレームそれぞれに対して、各フレームに撮影された被写体から、路面領域を抽出するステップ（ステップＳ２２３）を実行させ、
鳥瞰図を生成するステップ（ステップＳ２２４）では、点群データのうち、抽出された路面領域を構成する点群を判別し、仮想平面を判別した点群にフィッティングした平面データに、前記フレームに写された路面画像をレンダリングする、付記１又は２に記載のプログラム。
プロセッサに、鳥瞰図を生成するステップ（ステップＳ２２４）に先だって、
撮影された動画に含まれる複数のフレームそれぞれに対して、各フレームに撮影された被写体から、路面領域を抽出するステップ（ステップＳ２２３）を実行させ、
鳥瞰図を生成するステップ（ステップＳ２２４）では、点群データのうち、抽出された路面領域を構成する点群を判別し、仮想平面を判別した点群にフィッティングした平面データに、前記フレームに写された路面画像をレンダリングする、付記１又は２に記載のプログラム。
【0138】
（付記４）
プロセッサに、画像処理を行うステップ（ステップＳ２２２）に先だって、
撮影された動画に含まれる複数のフレームから、時系列に沿う被写体の変化の大きいフレームであるキーフレームを複数選別するステップ（ステップＳ２２１）を実行させ、
画像処理を行うステップ（ステップＳ２２２）では、選別されたキーフレームに対して、画像処理を行う、付記１から３のいずれかに記載のプログラム。
プロセッサに、画像処理を行うステップ（ステップＳ２２２）に先だって、
撮影された動画に含まれる複数のフレームから、時系列に沿う被写体の変化の大きいフレームであるキーフレームを複数選別するステップ（ステップＳ２２１）を実行させ、
画像処理を行うステップ（ステップＳ２２２）では、選別されたキーフレームに対して、画像処理を行う、付記１から３のいずれかに記載のプログラム。
【0139】
（付記５）
画像処理を行うステップ（ステップＳ２２２）では、
撮影部の推定撮影位置とともに、推定撮影方向を取得し、
路面損傷データを生成するステップ（ステップＳ２３１）では、
損傷が検出されたフレームについて、取得された推定撮影位置および推定撮影方向を用いて、複数のキーフレームとの位置関係を推定し、特定された位置関係を用いて、当該フレームに検出された損傷情報を、単位領域ごとに割り当てる、付記１から４のいずれかに記載のプログラム。
画像処理を行うステップ（ステップＳ２２２）では、
撮影部の推定撮影位置とともに、推定撮影方向を取得し、
路面損傷データを生成するステップ（ステップＳ２３１）では、
損傷が検出されたフレームについて、取得された推定撮影位置および推定撮影方向を用いて、複数のキーフレームとの位置関係を推定し、特定された位置関係を用いて、当該フレームに検出された損傷情報を、単位領域ごとに割り当てる、付記１から４のいずれかに記載のプログラム。
【0140】
（付記６）
画像処理を行うステップ（ステップＳ２２２）では、
撮影部の推定撮影位置とともに、推定撮影方向を取得し、
路面損傷データを生成するステップ（ステップＳ２３１）では、
単位領域ごとに区画された鳥瞰図に対して、損傷情報を、撮影部の推定撮影位置および推定撮影方向を参照して投影することで、単位領域ごとに割り当てる、付記１から５のいずれかに記載のプログラム。
画像処理を行うステップ（ステップＳ２２２）では、
撮影部の推定撮影位置とともに、推定撮影方向を取得し、
路面損傷データを生成するステップ（ステップＳ２３１）では、
単位領域ごとに区画された鳥瞰図に対して、損傷情報を、撮影部の推定撮影位置および推定撮影方向を参照して投影することで、単位領域ごとに割り当てる、付記１から５のいずれかに記載のプログラム。
【0141】
（付記７）
プロセッサに、さらに、
車両の走行に伴い変化する撮影部の位置情報を、時刻情報とともに取得するステップと、
路面の動画を撮影するステップ（ステップＳ１０１）において撮影されたフレームに対して、撮影時刻を基準として位置情報を関連付けるステップ（ステップＳ１０２）と、を実行させ、
プロセッサに、路面損傷データを生成するステップ（ステップＳ２３１）に先だって、
位置情報から求められる車両の走行経路と、撮影部の推定撮影位置から求められる推定撮影軌跡と、を合わせ込むことで、点群データのスケールを推定するステップ（ステップＳ２２５）と、
推定されたスケールを用いて、鳥瞰図を単位領域ごとに区画するステップ（ステップＳ２２６）と、を実行させる付記６に記載のプログラム。
プロセッサに、さらに、
車両の走行に伴い変化する撮影部の位置情報を、時刻情報とともに取得するステップと、
路面の動画を撮影するステップ（ステップＳ１０１）において撮影されたフレームに対して、撮影時刻を基準として位置情報を関連付けるステップ（ステップＳ１０２）と、を実行させ、
プロセッサに、路面損傷データを生成するステップ（ステップＳ２３１）に先だって、
位置情報から求められる車両の走行経路と、撮影部の推定撮影位置から求められる推定撮影軌跡と、を合わせ込むことで、点群データのスケールを推定するステップ（ステップＳ２２５）と、
推定されたスケールを用いて、鳥瞰図を単位領域ごとに区画するステップ（ステップＳ２２６）と、を実行させる付記６に記載のプログラム。
【0142】
（付記８）
路面の損傷を検出するコンピュータが実行する方法であって、
コンピュータのプロセッサが、
車両に搭載された撮影部により、路面の動画を撮影するステップ（ステップＳ２０１）と、
撮影された動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、フレームに撮影された路面の損傷を検出するステップ（ステップＳ２１１）と、
複数のフレームから、フレームに撮影された被写体に関する相対的な位置関係を示す点群データ、およびフレームそれぞれを撮影した撮影部の姿勢情報を取得する画像処理を行うステップ（ステップＳ２２２）と、
取得した点群データにフィッティングした平面データに、前記フレームに写された路面画像をレンダリングすることで、路面を示す鳥瞰図を生成するステップ（ステップＳ２２４）と、
生成した鳥瞰図に対して、検出された損傷情報を姿勢情報を用いて、区画された単位領域ごとに割り当てて、単位領域ごとの損傷情報を有する路面損傷データを生成するステップ（ステップＳ２３１）と、を実行する、方法。
路面の損傷を検出するコンピュータが実行する方法であって、
コンピュータのプロセッサが、
車両に搭載された撮影部により、路面の動画を撮影するステップ（ステップＳ２０１）と、
撮影された動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、フレームに撮影された路面の損傷を検出するステップ（ステップＳ２１１）と、
複数のフレームから、フレームに撮影された被写体に関する相対的な位置関係を示す点群データ、およびフレームそれぞれを撮影した撮影部の姿勢情報を取得する画像処理を行うステップ（ステップＳ２２２）と、
取得した点群データにフィッティングした平面データに、前記フレームに写された路面画像をレンダリングすることで、路面を示す鳥瞰図を生成するステップ（ステップＳ２２４）と、
生成した鳥瞰図に対して、検出された損傷情報を姿勢情報を用いて、区画された単位領域ごとに割り当てて、単位領域ごとの損傷情報を有する路面損傷データを生成するステップ（ステップＳ２３１）と、を実行する、方法。
【0143】
（付記９）
路面の損傷を検出するコンピュータを備えたシステムであって、
コンピュータのプロセッサが、
走行車両から撮影された路面の動画を取得する手段と、
撮影された動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、フレームに撮影された路面の損傷を検出する手段と、
複数のフレームから、フレームに撮影された被写体に関する相対的な位置関係を示す点群データ、およびフレームそれぞれを撮影した撮影部の推定撮影位置を取得する画像処理を行う手段と、
取得した点群データにフィッティングした平面データに、フレームに写された路面画像をレンダリングすることで、路面を示す鳥瞰図を生成する手段と、
生成した鳥瞰図に対して、検出された損傷情報を推定撮影位置を用いて、区画された単位領域ごとに割り当てて、単位領域ごとの損傷情報を有する路面損傷データを生成する手段と、を備えるシステム。
路面の損傷を検出するコンピュータを備えたシステムであって、
コンピュータのプロセッサが、
走行車両から撮影された路面の動画を取得する手段と、
撮影された動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、フレームに撮影された路面の損傷を検出する手段と、
複数のフレームから、フレームに撮影された被写体に関する相対的な位置関係を示す点群データ、およびフレームそれぞれを撮影した撮影部の推定撮影位置を取得する画像処理を行う手段と、
取得した点群データにフィッティングした平面データに、フレームに写された路面画像をレンダリングすることで、路面を示す鳥瞰図を生成する手段と、
生成した鳥瞰図に対して、検出された損傷情報を推定撮影位置を用いて、区画された単位領域ごとに割り当てて、単位領域ごとの損傷情報を有する路面損傷データを生成する手段と、を備えるシステム。
【0144】
（付記１０）
単位領域ごとの損傷情報を有する路面損傷データが、評価区間ごとに地図情報に重畳された道路マップの作成方法であって、
コンピュータのプロセッサが、
走行車両から撮影された路面の動画を取得するステップ（ステップＳ２０１）と、
撮影された動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、フレームに撮影された路面の損傷を検出するステップ（ステップＳ２１１）と、
複数のフレームから、フレームに撮影された被写体に関する相対的な位置関係を示す点群データ、およびフレームそれぞれを撮影した撮影部の推定撮影位置を取得する画像処理を行うステップ（ステップＳ２２２）と、
取得した点群データにフィッティングした平面データに、フレームに写された路面画像をレンダリングすることで、路面を示す鳥瞰図を生成するステップ（ステップＳ２２４）と、
生成した鳥瞰図に対して、検出された損傷情報を推定撮影位置を用いて、区画された単位領域ごとに割り当てて、単位領域ごとの損傷情報を有する路面損傷データを生成するステップ（ステップＳ２３１）と、
生成された路面損傷データを、当該路面が表示された地図情報に評価区間ごとに重畳して、評価区間ごとの損傷情報を有する道路マップを作成するステップ（ステップＳ２３２）と、を実行する方法。
単位領域ごとの損傷情報を有する路面損傷データが、評価区間ごとに地図情報に重畳された道路マップの作成方法であって、
コンピュータのプロセッサが、
走行車両から撮影された路面の動画を取得するステップ（ステップＳ２０１）と、
撮影された動画に含まれる複数のフレームに対して、学習済みモデルを用いた識別を行うことで、フレームに撮影された路面の損傷を検出するステップ（ステップＳ２１１）と、
複数のフレームから、フレームに撮影された被写体に関する相対的な位置関係を示す点群データ、およびフレームそれぞれを撮影した撮影部の推定撮影位置を取得する画像処理を行うステップ（ステップＳ２２２）と、
取得した点群データにフィッティングした平面データに、フレームに写された路面画像をレンダリングすることで、路面を示す鳥瞰図を生成するステップ（ステップＳ２２４）と、
生成した鳥瞰図に対して、検出された損傷情報を推定撮影位置を用いて、区画された単位領域ごとに割り当てて、単位領域ごとの損傷情報を有する路面損傷データを生成するステップ（ステップＳ２３１）と、
生成された路面損傷データを、当該路面が表示された地図情報に評価区間ごとに重畳して、評価区間ごとの損傷情報を有する道路マップを作成するステップ（ステップＳ２３２）と、を実行する方法。
【0145】
（付記１１）
単位領域ごとの損傷情報を有する路面損傷データが、評価区間ごとに地図情報に重畳された道路マップ。
単位領域ごとの損傷情報を有する路面損傷データが、評価区間ごとに地図情報に重畳された道路マップ。
【符号の説明】
【0146】
１…損傷検出システム
１０…端末装置
１５０…撮影部
１６０…記憶部
１７０…制御部
１７１…入力受付部
１７２…送受信部
１７３…データ加工部
１７４…表示処理部
２０…情報処理サーバ
２０１…通信部
２０２…記憶部
２０２１…フレームデータ
２０２２…点群データ
２０２３…姿勢データ
２０２４…損傷データ
２０２５…鳥瞰図データ
２０２６…路面損傷データ
２０２７…道路損傷マップ
２０２８…第１学習済みモデル
２０２９…第２学習済みモデル
２０３…制御部
２０３１…送受信部
２０３２…損傷検出部
２０３３…フレーム選別部
２０３４…画像処理部
２０３５…路面抽出部
２０３６…スケール推定部
２０３７…データ生成部
１０…端末装置
１５０…撮影部
１６０…記憶部
１７０…制御部
１７１…入力受付部
１７２…送受信部
１７３…データ加工部
１７４…表示処理部
２０…情報処理サーバ
２０１…通信部
２０２…記憶部
２０２１…フレームデータ
２０２２…点群データ
２０２３…姿勢データ
２０２４…損傷データ
２０２５…鳥瞰図データ
２０２６…路面損傷データ
２０２７…道路損傷マップ
２０２８…第１学習済みモデル
２０２９…第２学習済みモデル
２０３…制御部
２０３１…送受信部
２０３２…損傷検出部
２０３３…フレーム選別部
２０３４…画像処理部
２０３５…路面抽出部
２０３６…スケール推定部
２０３７…データ生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
