特許 6516384 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6516384

(24)【登録日】2019年4月26日

(45)【発行日】2019年5月22日

(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

(51)【国際特許分類】

   G06F 16/00 20190101AFI20190513BHJP

   G06F 16/50 20190101ALI20190513BHJP

   G06T 1/00 20060101ALI20190513BHJP

   G06T 7/00 20170101ALI20190513BHJP

【ＦＩ】

   G06F17/30 210D

   G06F17/30 170B

   G06T1/00 280

   G06T7/00

【請求項の数】11

【全頁数】24

(21)【出願番号】特願2017-182452(P2017-182452)

(22)【出願日】2017年9月22日

(65)【公開番号】特開2019-57221(P2019-57221A)

(43)【公開日】2019年4月11日

【審査請求日】2018年4月25日

【新規性喪失の例外の表示】特許法第３０条第２項適用 平成２９年５月２１日 ウェブサイトへ掲載 ｈｔｔｐｓ：／／ｍａｉｎｉｃｈｉ．ｊｐ／ａｒｔｉｃｌｅｓ／２０１７０５２１／ｋ００／００ｍ／０２０／０９５０００ｃ 平成２９年６月６日 ウェブサイトへ掲載 ｈｔｔｐ：／／ｉｔｐｒｏ．ｎｉｋｋｅｉｂｐ．ｃｏ．ｊｐ／ａｔｃｌ／ｃｏｌｕｍｎ／１７／０５１９００２００／０５２４００００７／ ｈｔｔｐ：／／ｔｅｃｈｏｎ．ｎｉｋｋｅｉｂｐ．ｃｏ．ｊｐ／ａｔｃｌ／ｆｅａｔｕｒｅ／１５／０５２３０００９９／０５２６００００７／ ｈｔｔｐ：／／ｋｅｎｐｌａｔｚ．ｎｉｋｋｅｉｂｐ．ｃｏ．ｊｐ／ａｔｃｌ／ｃｎｔｃｏｌｕｍｎ／１５／０００２３／００００９／ ｈｔｔｐ：／／ｋｅｎｐｌａｔｚ．ｎｉｋｋｅｉｂｐ．ｃｏ．ｊｐ／ａｔｃｌ／ｂｌｄｎｅｗｓ／１５／０５２４０１３７８／００００９／

(73)【特許権者】

【識別番号】397065480

【氏名又は名称】エヌ・ティ・ティ・コムウェア株式会社

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100181124

【弁理士】

【氏名又は名称】沖田 壮男

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100108578

【弁理士】

【氏名又は名称】高橋 詔男

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(72)【発明者】

【氏名】美濃越 亮太

(72)【発明者】

【氏名】吉田 和史

(72)【発明者】

【氏名】中村 隆幸

(72)【発明者】

【氏名】井藤 雅稔

【審査官】 吉田 誠

(56)【参考文献】

【文献】 国際公開第２０１７／０１４２８８（ＷＯ，Ａ１）

【文献】 特開２０１１−１７９８７４（ＪＰ，Ａ）

【文献】 特開２０１３−２５００５９（ＪＰ，Ａ）

【文献】 特開２００３−２１６９５３（ＪＰ，Ａ）

【文献】 特開２０１６−２１８７６２（ＪＰ，Ａ）

【文献】 特開２０１６−０４５５０８（ＪＰ，Ａ）

【文献】 特開２０１２−２０２８５８（ＪＰ，Ａ）

【文献】 特開２００９−１０３７１９（ＪＰ，Ａ）

【文献】 特開２００５−０４３３２４（ＪＰ，Ａ）

【文献】 特開２００４−２１０４５９（ＪＰ，Ａ）

【文献】 特開２００２−３１０９２０（ＪＰ，Ａ）

【文献】 特開２００２−１８８９９８（ＪＰ，Ａ）

【文献】 特開２００３−２５４９１３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００

Ｇ０６Ｆ １６／５０

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

撮像装置で撮影された面を含む領域の画像を取得する画像取得部と、
複数の画像を選択し、選択している画像間距離と所定設定距離とを比較し、画像間距離が設定距離に比して大きい場合には選択中の画像を検査画像候補に設定し、画像間距離が設定距離に比して小さい場合には選択中の画像を検査画像候補に設定しない、画像抽出部と、
前記検査画像候補に対応する位置情報に基づいて、複数の路面の画像間で、ある路面の画像における路面の領域と、他の路面の画像における路面の領域との少なくとも一部が重複するように、前記画像抽出部が抽出した検査画像候補の中から検査画像を抽出する重複領域抽出部と、
前記重複領域抽出部により抽出された検査画像の各々について、前記検査画像中の面の状態を判定する状態判定部と、
前記検査画像の各々について、前記検査画像中の面の状態に基づいて、前記検査画像中の面の損傷度合を算出する算出部と、を備え、
前記所定設定距離は、
１つの検査画像における路面損傷の認識精度が高いほど大きく設定されることにより、各検査画像に写る路面の重複を少なくし、
１つの検査画像における路面損傷の認識精度が低いほど小さく設定されることにより、各検査画像に写る路面の重複を多くする、
情報処理装置。

【請求項2】

前記部分画像中の面の損傷度合に応じて、複数の段階のいずれであるかを分類する分類判定部をさらに備える、
請求項１に記載の情報処理装置。

【請求項3】

前記画像取得部が取得した前記画像内において、前記画像を分割し、分割された第１部分画像と、前記第１部分画像の頂点部分または辺部分を含む第２部分画像と、を生成する部分画像生成部を備える、
請求項１または２に記載の情報処理装置。

【請求項4】

前記部分画像生成部は、前記画像取得部が取得した前記画像間において、前記画像を分割し、分割された第１部分画像と、前記第１部分画像の頂点部分または辺部分を含む第２部分画像と、を生成する、
請求項３に記載の情報処理装置。

【請求項5】

前記算出部は、前記画像取得部が取得した連続する複数の前記画像の各々について、それぞれの前記画像中の面の損傷度合を算出する、
請求項１に記載の情報処理装置。

【請求項6】

それぞれの前記画像中の面の状態を判定する状態判定部、をさらに備え、
前記算出部は、それぞれの前記画像中の面の状態に基づいて、それぞれの前記画像中の面の損傷度合を算出する、
請求項５に記載の情報処理装置。

【請求項7】

それぞれの前記画像中の面の損傷度合に応じて、複数の段階のいずれであるかを分類する分類判定部をさらに備える、
請求項５または請求項６に記載の情報処理装置。

【請求項8】

前記画像取得部が取得した連続する複数の前記画像間において、前記画像を分割し、分割された第１部分画像と、前記第１部分画像の頂点部分または辺部分を含む第２部分画像と、を生成する、
請求項５から請求項７のいずれか一項に記載の情報処理装置。

【請求項9】

撮像装置で撮影された面を含む領域の画像を取得する画像取得部と、
複数の画像を選択し、選択している画像間距離と所定設定距離とを比較し、画像間距離が設定距離に比して大きい場合には選択中の画像を検査画像候補に設定し、画像間距離が設定距離に比して小さい場合には選択中の画像を検査画像候補に設定しない、画像抽出部と、
前記検査画像候補に対応する位置情報に基づいて、複数の路面の画像間で、ある路面の画像における路面の領域と、他の路面の画像における路面の領域とのうちの少なくとも一部が重複するように、前記画像抽出部が抽出した検査画像候補の中から検査画像を抽出する重複領域抽出部と、
前記重複領域抽出部により抽出された検査画像の各々について、前記検査画像中の面の状態を判定する状態判定部と、
前記検査画像の各々について、前記検査画像中の面の状態に基づいて、前記検査画像中の面の損傷度合を算出する算出部と、を備え、
前記所定設定距離は、
１つの検査画像における路面損傷の認識精度が高いほど大きく設定されることにより、各検査画像に写る路面の重複を少なくし、
１つの検査画像における路面損傷の認識精度が低いほど小さく設定されることにより、各検査画像に写る路面の重複を多くする、
情報処理システム。

【請求項10】

情報処理装置のコンピュータが、
撮像装置で撮像された面を含む領域の画像を取得する画像取得過程と、
複数の画像を選択し、選択している画像間距離と所定設定距離とを比較し、画像間距離が設定距離に比して大きい場合には選択中の画像を検査画像候補に設定し、画像間距離が設定距離に比して小さい場合には選択中の画像を検査画像候補に設定しない、画像抽出過程と、
前記検査画像候補に対応する位置情報に基づいて、複数の路面の画像間で、ある路面の画像における路面の領域と、他の路面の画像における路面の領域とのうちの少なくとも一部が重複するように、前記画像抽出過程にて抽出した検査画像候補の中から検査画像を抽出する重複領域抽出過程と、
前記重複領域抽出過程にて抽出された検査画像の各々について、前記検査画像中の面の状態を判定する状態判定過程と、
前記検査画像の各々について、前記検査画像中の面の状態に基づいて、前記検査画像中の面の損傷度合を算出する算出過程と、を有し、
前記所定設定距離は、
１つの検査画像における路面損傷の認識精度が高いほど大きく設定されることにより、各検査画像に写る路面の重複を少なくし、
１つの検査画像における路面損傷の認識精度が低いほど小さく設定されることにより、各検査画像に写る路面の重複を多くする、
情報処理方法。

【請求項11】

情報処理装置のコンピュータに、
撮像装置で撮像された面を含む領域の画像を取得する画像取得過程と、
複数の画像を選択し、選択している画像間距離と所定設定距離とを比較し、画像間距離が設定距離に比して大きい場合には選択中の画像を検査画像候補に設定し、画像間距離が設定距離に比して小さい場合には選択中の画像を検査画像候補に設定しない、画像抽出過程と、
前記検査画像候補に対応する位置情報に基づいて、複数の路面の画像間で、ある路面の画像における路面の領域と、他の路面の画像における路面の領域とのうちの少なくとも一部が重複するように、前記画像抽出過程にて抽出した検査画像候補の中から検査画像を抽出する重複領域抽出過程と、
前記重複領域抽出過程にて抽出された検査画像の各々について、前記検査画像中の面の状態を判定する状態判定過程と、
前記検査画像の各々について、前記検査画像中の面の状態に基づいて、前記検査画像中の面の損傷度合を算出する算出過程と、実行させるためのプログラムであり、
前記所定設定距離は、
１つの検査画像における路面損傷の認識精度が高いほど大きく設定されることにより、各検査画像に写る路面の重複を少なくし、
１つの検査画像における路面損傷の認識精度が低いほど小さく設定されることにより、各検査画像に写る路面の重複を多くする、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムに関する。

【背景技術】

【0002】

道路、橋梁、施設等の老朽化に伴い、建造物のメンテナンスを効率的に実施することが求められている。建造物のメンテナンスの実施には、建造物の損傷を発見する必要があるが、損傷の目視による確認においては定量的な評価や網羅的な解析が困難である。そのため、機械による自動検出が求められている。特許文献１は、例えば、車載カメラで、日向ができた路面の路面画像、日影ができた路面の路面画像を、それぞれ前後左右の画像中の一部の領域が重複するように撮影し、台形補正、重複した領域の一致度の算出等を行うことで路面画像を接合処理するものである。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−９０３６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の技術を用いて接合処理された画像をそのまま解析すると、解析に要する負荷が大きくなる。また、このような接合処理された画像だけでは建造物の損傷の自動検出ができず、建造物の損傷の定量的な評価や網羅的な解析もできなかった。このように、建造物の損傷の自動検出の際の利便性が十分でないという課題があった。

【0005】

本発明の一態様は、上述の課題を鑑みてなされたものであり、建造物の損傷の自動検出の際の利便性を向上させることができる情報処理装置、情報処理システム、情報処理方法、及びプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

（１）本発明は、上述した課題を解決するためになされたもので、本発明の一態様は、撮像装置で撮影された面を含む領域の画像を取得する画像取得部と、複数の画像を選択し、選択している画像間距離と所定設定距離とを比較し、画像間距離が設定距離に比して大きい場合には選択中の画像を検査画像候補に設定し、画像間距離が設定距離に比して小さい場合には選択中の画像を検査画像候補に設定しない、画像抽出部と、前記検査画像候補に対応する位置情報に基づいて、複数の路面の画像間で、ある路面の画像における路面の領域と、他の路面の画像における路面の領域とのうちの少なくとも一部が重複するように、前記画像抽出部が抽出した検査画像候補の中から検査画像を抽出する重複領域抽出部と、前記重複領域抽出部により抽出された検査画像の各々について、前記検査画像中の面の状態を判定する状態判定部と、前記検査画像の各々について、前記検査画像中の面の状態に基づいて、前記検査画像中の面の損傷度合を算出する算出部と、を備え、前記所定設定距離は、１つの検査画像における路面損傷の認識精度が高いほど大きく設定されることにより、各検査画像に写る路面の重複を少なくし、１つの検査画像における路面損傷の認識精度が低いほど小さく設定されることにより、各検査画像に写る路面の重複を多くする、情報処理装置である。

【0009】

（２）また、本発明の一態様は、上記に記載の情報処理装置であって、前記部分画像中の面の損傷度合に応じて、複数の段階のいずれであるかを分類する分類判定部をさらに備える。

【0010】

（３）また、本発明の一態様は、上記に記載の情報処理装置であって、前記部分画像生成部は、前記画像取得部が取得した前記画像内において、前記画像を分割し、分割された第１部分画像と、前記第１部分画像の頂点部分または辺部分を含む第２部分画像と、を生成する。

【0011】

（４）また、本発明の一態様は、上記に記載の情報処理装置であって、前記部分画像生成部は、前記画像取得部が取得した前記画像間において、前記画像を分割し、分割された第１部分画像と、前記第１部分画像の頂点部分または辺部分を含む第２部分画像と、を生成する。

【0012】

（５）また、本発明の一態様は、上記に記載の情報処理装置であって、前記算出部は、前記画像取得部が取得した連続する複数の前記画像の各々について、それぞれの前記画像中の面の損傷度合を算出する。

【0013】

（６）また、本発明の一態様は、上記に記載の情報処理装置であって、それぞれの前記画像中の面の状態を判定する状態判定部、をさらに備え、前記算出部は、それぞれの前記画像中の面の状態に基づいて、それぞれの前記画像中の面の損傷度合を算出する。

【0014】

（７）また、本発明の一態様は、上記に記載の情報処理装置であって、それぞれの前記画像中の面の損傷度合に応じて、複数の段階のいずれであるかを分類する分類判定部をさらに備える。

【0015】

（８）また、本発明の一態様は、上記に記載の情報処理装置であって、前記画像取得部が取得した連続する複数の前記画像間において、前記画像を分割し、分割された第１部分画像と、前記第１部分画像の頂点部分または辺部分を含む第２部分画像と、を生成する。

【0016】

（９）また、本発明の一態様は、撮像装置で撮影された面を含む領域の画像を取得する画像取得部と、
複数の画像を選択し、選択している画像間距離と所定設定距離とを比較し、画像間距離が設定距離に比して大きい場合には選択中の画像を検査画像候補に設定し、画像間距離が設定距離に比して小さい場合には選択中の画像を検査画像候補に設定しない、画像抽出部と、前記検査画像候補に対応する位置情報に基づいて、複数の路面の画像間で、ある路面の画像における路面の領域と、他の路面の画像における路面の領域とのうちの少なくとも一部が重複するように、前記画像抽出部が抽出した検査画像候補の中から検査画像を抽出する重複領域抽出部と、前記重複領域抽出部により抽出された検査画像の各々について、前記検査画像中の面の状態を判定する状態判定部と、前記検査画像の各々について、前記検査画像中の面の状態に基づいて、前記検査画像中の面の損傷度合を算出する算出部と、を備え、前記所定設定距離は、１つの検査画像における路面損傷の認識精度が高いほど大きく設定されることにより、各検査画像に写る路面の重複を少なくし、１つの検査画像における路面損傷の認識精度が低いほど小さく設定されることにより、各検査画像に写る路面の重複を多くする、情報処理システムである。

【0017】

（１２）また、本発明の一態様は、情報処理装置のコンピュータが、撮像装置で撮像された面を含む領域の画像を取得する画像取得過程と、複数の画像を選択し、選択している画像間距離と所定設定距離とを比較し、画像間距離が設定距離に比して大きい場合には選択中の画像を検査画像候補に設定し、画像間距離が設定距離に比して小さい場合には選択中の画像を検査画像候補に設定しない、画像抽出過程と、前記検査画像候補に対応する位置情報に基づいて、複数の路面の画像間で、ある路面の画像における路面の領域と、他の路面の画像における路面の領域とのうちの少なくとも一部が重複するように、前記画像抽出過程にて抽出した検査画像候補の中から検査画像を抽出する重複領域抽出過程と、前記重複領域抽出過程にて抽出された検査画像の各々について、前記検査画像中の面の状態を判定する状態判定過程と、前記検査画像の各々について、前記検査画像中の面の状態に基づいて、前記検査画像中の面の損傷度合を算出する算出過程と、を有し、前記所定設定距離は、１つの検査画像における路面損傷の認識精度が高いほど大きく設定されることにより、各検査画像に写る路面の重複を少なくし、１つの検査画像における路面損傷の認識精度が低いほど小さく設定されることにより、各検査画像に写る路面の重複を多くする、情報処理方法である。

【0018】

（１３）また、本発明の一態様は、情報処理装置のコンピュータに、撮像装置で撮像された面を含む領域の画像を取得する画像取得過程と、複数の画像を選択し、選択している画像間距離と所定設定距離とを比較し、画像間距離が設定距離に比して大きい場合には選択中の画像を検査画像候補に設定し、画像間距離が設定距離に比して小さい場合には選択中の画像を検査画像候補に設定しない、画像抽出過程と、前記検査画像候補に対応する位置情報に基づいて、複数の路面の画像間で、ある路面の画像における路面の領域と、他の路面の画像における路面の領域とのうちの少なくとも一部が重複するように、前記画像抽出過程にて抽出した検査画像候補の中から検査画像を抽出する重複領域抽出過程と、前記重複領域抽出過程にて抽出された検査画像の各々について、前記検査画像中の面の状態を判定する状態判定過程と、前記検査画像の各々について、前記検査画像中の面の状態に基づいて、前記検査画像中の面の損傷度合を算出する算出過程と、実行させるためのプログラムであり、前記所定設定距離は、１つの検査画像における路面損傷の認識精度が高いほど大きく設定されることにより、各検査画像に写る路面の重複を少なくし、１つの検査画像における路面損傷の認識精度が低いほど小さく設定されることにより、各検査画像に写る路面の重複を多くする、プログラムである。

【発明の効果】

【0019】

本発明によれば、建造物の損傷の自動検出の際の利便性を向上させることができる。

【図面の簡単な説明】

【0020】

【図1】本発明の第１の実施形態に係る情報処理システムの構成の一例を示す概略図である。

【図2】本発明の第１の実施形態に係る路面の画像の一例を示す説明図である。

【図3】本発明の第１の実施形態に係る路面の画像の他の一例を示す説明図である。

【図4】本発明の第１の実施形態に係る路面の画像の他の一例を示す説明図である。

【図5】本発明の第１の実施形態に係る路面の画像の他の一例を示す説明図である。

【図6】本発明の第１の実施形態に係る路面の画像の他の一例を示す説明図である。

【図7】本発明の第１の実施形態に係る情報処理装置の構成の一例を示す概略ブロック図である。

【図8】本発明の第１の実施形態に係る損傷度合の算出処理の一例を示すフローチャートである。

【図9】第２の実施形態に係る情報処理装置の構成の一例を示す概略ブロック図である。

【図10】本発明の第２の実施形態に係る損傷度合の算出処理の一例を示すフローチャートである。

【図11】本発明の第２の実施形態に係る損傷度合の算出処理の一例を示すフローチャートである。

【図12】本発明の第３の実施形態に係る情報処理装置の構成の一例を示す概略ブロック図である。

【図13】本発明の第３の実施形態に係る損傷度合算出処理の一例を示すフローチャートである。

【図14】本発明の第３の実施形態に係る損傷度合算出処理の一例を示すフローチャートである。

【図15】本発明の第４の実施形態に係る路面の損傷種別の一例を示す図である。

【図16】本発明の第４の実施形態に係る路面の損傷種別の他の一例を示す図である。

【図17】本発明の第４の実施形態に係る路面の損傷種別の他の一例を示す図である。

【図18】本発明の第４の実施形態に係る路面の損傷種別の他の一例を示す図である。

【図19】本発明の第４の実施形態に係る路面の損傷種別の他の一例を示す図である。

【図20】本発明の第４の実施形態に係る路面の損傷種別の他の一例を示す図である。

【図21】本発明の第４の実施形態に係る路面の損傷種別の他の一例を示す図である。

【図22】本発明の第４の実施形態に係る路面の損傷種別の他の一例を示す図である。

【図23】本発明の第４の実施形態に係る情報処理装置の構成の一例を示す概略ブロック図である。

【図24】本発明の第４の実施形態に係る損傷種別判定処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下、本発明の各実施形態について図面を参照しながら説明する。

【0022】

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る情報処理システムｓｙｓの構成の一例を示す概略図である。
情報処理システムｓｙｓは、少なくとも情報処理装置１を含んで構成される。情報処理システムｓｙｓは、建造物の表面の状態を解析するシステムである。以下では、一例として、情報処理システムｓｙｓが建造物の表面の損傷を解析する場合について説明する。
建造物は、例えば、道路、橋梁、施設等であり、社会インフラも含まれる。また、表面は、建造物の外部表面又は内部表面である。つまり、建造物の表面とは、例えば、道路の路面や橋梁、施設の上面、側面、下面である。損傷とは、物理的な凹凸、色彩の変化、亀裂や破損等である。以下の説明では、一例として路面の損傷を評価、解析する場合について説明するが、これに限られず、各種建造物の損傷の評価、解析にも適用可能である。

【0023】

路面の損傷は、例えば路面の轍掘れ、ポットホール、ひび割れ（クラックとも称する））、段差、施工継目などが含まれる。ひび割れには、線状ひび割れ、面状ひび割れが含まれる。線状ひび割れは、縦断ひび割れ、横断ひび割れ等が含まれる。面状ひび割れには、亀甲状ひび割れなどが含まれる。

【0024】

情報処理システムｓｙｓにおいて、情報処理装置１は、１または複数の路面の画像Ｐを取得する。路面の画像Ｐは、情報処理システムｓｙｓに撮像装置が含まれる場合に、該撮像装置で撮像して取得してもよいし、定点カメラ、ユーザの手持ちのカメラ、車載カメラ等で撮影された路面の画像Ｐを、ネットワークまたは入力インタフェースを介して取得してもよい。

【0025】

情報処理装置１は、取得した路面の画像に基づいて、画像中の路面の損傷度合を算出する。

【0026】

図２は、本発明の第１の実施形態に係る路面の画像の一例を示す説明図である。図３は、本発明の第１の実施形態に係る路面の画像の他の一例を示す説明図である。図４は、本発明の第１の実施形態に係る路面の画像の他の一例を示す説明図である。図５は、本発明の第１の実施形態に係る路面の画像の他の一例を示す説明図である。図６は、本発明の第１の実施形態に係る路面の画像の他の一例を示す説明図である。
図２に示す路面の画像Ｐ１は、轍Ｄ１の例である。図３に示す路面の画像Ｐ２は、ポットホールＤ２の例である。図４に示す路面の画像Ｐ３は、ひび割れＤ３の例である。図５に示す路面の画像Ｐ４は、段差Ｄ４の例である。図６に示す路面の画像Ｐ５は、パッチングＤ５の例である。情報処理装置１は、図２から図６に図示する例の他、上述した各種の路面の損傷度合を評価、解析する。

【0027】

次に、情報処理システムｓｙｓを用いた路面の損傷の解析の概要を説明する。

【0028】

まず、ユーザは、路面の画像を撮影する。路面の画像は、例えば、車載カメラで撮影された画像、路面や路肩を移動しながら撮影された画像等の移動体により撮影された画像や定点カメラで撮影された画像など、路面が含まれる画像であればいかなる撮影方法で撮影されたものであってもよい。画像は、静止画像に限られず動画像であってもよい。移動体は、例えば、車両、人、飛行体、無人撮影機器、動物などである。例えば、車載カメラで撮影する場合や、ユーザが路面や路肩を移動しながら撮影する場合は、車両やユーザの移動に応じて路面を適宜撮影する。

【0029】

なお、以下の説明では、路面の画像に対して位置情報やタイムスタンプが標準形式（例えば、ＥＸＩＦなど）で格納されている場合の一例を説明するが、位置情報やタイムスタンプの形式や格納方法および抽出方法は任意である。また、位置情報やタイムスタンプは、絶対値であってもよいし相対値であってもよい。
なお、位置情報やタイムスタンプの取得は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサを搭載した撮影機器や外部装置を使用してもよい。

【0030】

次に、情報処理装置１は、通信網、メモリカード等の入力インタフェースを介して路面の画像を取得する。情報処理装置１は、例えば、取得した路面の画像を解析し、画像中の路面の損傷を解析する。情報処理装置１は、例えば、画像中の路面の特徴量を算出して路面の状態を解析したり、人工知能を用いて路面の状態を解析したりする。人工知能は、例えば、多層パーセプトロン（多層ニューラルネットワーク）を備える。人工知能は、路面損傷等の解析対象を撮像した教師画像（例えば、画像Ｐ１〜Ｐ５等）に基づいて、取得した路面の画像に対して深層学習（ディープラーニング）が行われる。なお、人工知能には、従来の人工知能で用いられてきた任意の技術やフレームワーク等を適用してもよい。
情報処理装置１は、路面の画像の解析結果として、路面の損傷度合や、路面の損傷の損傷種別などを出力する。本実施形態では、深層学習により解析する場合の一例について説明する。

【0031】

図７は、本発明の第１の実施形態に係る情報処理装置１の構成の一例を示す概略ブロック図である。
情報処理装置１は、入力部１０と、通信部１３と、記憶部１５と、制御部１７と、出力部１９と、を含んで構成される。制御部１７は、画像取得部１７１と、画像抽出部１７３と、領域抽出部１７５と、算出部１７７と、を含んで構成される。算出部１７７は、状態判定部１７７１と、度合算出部１７７３と、を含んで構成される。

【0032】

入力部１０は、各種情報の入力を受け付ける。入力部１０は、例えば、マウス、タッチパッド等のポインティングデバイスや、キーボードや、外部機器から情報を取得するための入力インタフェース等である。

【0033】

通信部１３は、他の装置と各種情報を送受信する。通信部１３は、例えば、通信用ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）や通信用ポート等を備える。

【0034】

記憶部１５は、各種情報を記憶する。記憶部１５は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備える。また、記憶部１５は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy）、フラッシュメモリ等を備えてもよい。記憶部１５は、情報処理装置１が備えるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、非図示）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、非図示）が実行するための各種プログラムやＣＰＵやＧＰＵが実行した処理の結果などを記憶する。また、記憶部１５は、情報処理装置１による解析結果（学習結果）を記憶する。解析結果とは、例えば、ニューラルネットワークのネットワークの状態を示す情報である。ニューラルネットワークのネットワークの状態を示す情報とは、例えば、ニューラルネットワークを構成する各ノード（ユニット）に係る活性化関数のパラメータの値を示す情報等である。

【0035】

出力部１９は、各種情報を出力する。出力部１９は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ等の表示装置、解析結果を出力する出力インタフェース等である。

【0036】

制御部１７は、情報処理装置１を制御する。具体的には、例えば、記憶部１５に予め記憶されたプログラムを、ＣＰＵやＧＰＵが実行することにより制御する。なお、制御部１７の一部又は全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアの集積回路として実現してもよい。
制御部１７は、画像取得部１７１と、画像抽出部１７３と、領域抽出部１７５と、算出部１７７と、を含んで構成される。算出部１７７は、状態判定部１７７１と、度合算出部１７７３と、を含んで構成される。

【0037】

画像取得部１７１は、入力部１０や通信部１３を介して、１または複数の路面の画像を取得する。画像取得部１７１は、取得した路面の画像を表す情報を、画像抽出部１７３に出力する。

【0038】

画像抽出部１７３は、画像取得部１７１から路面の画像を表す情報が入力されると、路面の画像に対して各種画像処理を行う。画像抽出部１７３は、例えば、路面の画像がエンコードされた動画像である場合には、各フレームを静止画像に変換する。また、画像抽出部１７３は、路面の画像を表す情報に含まれる路面の画像のメタデータを参照して、タイムスタンプ、位置情報などを抽出する。画像抽出部１７３は、取得した一連の路面の画像から、検査画像候補の特定、該検査画像候補の抽出等の処理を実行する。なお、画像抽出部１７３は、取得した一連の路面の画像から、路面損傷の有無を解析しない画像の特定、抽出等の処理を実行してもよい。

【0039】

領域抽出部１７５は、メタデータから抽出した位置情報に基づいて、複数の路面の画像間で重複する路面の領域がなく、且つ欠落する路面の領域が無いように、画像抽出部１７３が抽出した検査画像候補の中から検査画像を抽出する。ここで複数の路面の画像間は、複数フレームの画像間のことである。領域抽出部１７５は、抽出した検査画像を表す情報および対応する位置情報を算出部１７７に出力する。
なお、領域抽出部１７５は、位置情報を用いずに、複数の路面の画像間で重複する路面の領域がなく、且つ欠落する路面の領域が無いように、画像抽出部１７３が抽出した検査画像候補の中から検査画像を抽出してもよい。この場合、例えば、ある検査画像候補と、該検査画像候補と連続する検査画像候補との対応点マッチングを用いればよい。

【0040】

算出部１７７は、深層学習により検査画像中の路面の損傷を解析する。具体的には、状態判定部１７７１は、深層学習により各検査画像中の路面に損傷があるか否かを判定し、路面の損傷が検出された検査画像を「１」、路面の損傷が検出されていない検査画像を「０」のように２値化して損傷有無情報を算出する。度合算出部１７７３は、損傷有無情報に基づいて損傷度合を算出する。具体的には、度合算出部１７７３は、所定区間、例えば２０ｍ区間における損傷有無情報の総和を、該所定区間における検査画像数で除算することで損傷度合を算出する。算出部１７７は、算出した損傷度合と、位置情報とを出力部１９に出力させる。

【0041】

なお、算出部１７７は、損傷度合を算出せずに損傷有無情報をそのまま出力部１９に出力してもよい。
なお、算出部１７７は、算出した損傷度合を、複数の閾値と比較し、損傷度合がいずれの閾値の範囲内であるかを判定し、判定結果に応じて複数の損傷区分に分類してもよい。複数の損傷区分は、例えば、損傷の程度が小さい区分１、損傷の程度が中程度の区分２、損傷の度合いが大きい区分３などの段階的な区分であればよい。この場合、算出部１７７は、損傷度合を出力部１９に出力させる代わりに、又は加えて、損傷区分を出力させてもよい。

【0042】

図８は、本発明の第１の実施形態に係る損傷度合の算出処理の一例を示すフローチャートである。
ステップＳ１０１において、画像取得部１７１は、入力部１０や通信部１３を介して、１または複数の路面の画像を取得する。
ステップＳ１０３において、画像抽出部１７３は、画像取得部１７１から路面の画像を表す情報が入力されると、路面の画像に対して各種画像処理を行う。また、画像抽出部１７３は、路面の画像を表す情報に含まれる路面の画像のメタデータを参照して、タイムスタンプ、位置情報などを抽出する。画像抽出部１７３は、取得した一連の路面の画像から、検査画像候補の特定、該検査画像候補の抽出等の処理を実行する。

【0043】

ステップＳ１０５において、領域抽出部１７５は、メタデータから抽出した位置情報に基づいて、複数の路面の画像間で重複する路面の領域がなく、且つ欠落する路面の領域が無いように、画像抽出部１７３が抽出した検査画像候補の中から検査画像を抽出する。
ステップＳ１０７において、状態判定部１７７１は、深層学習により各検査画像中の路面に損傷があるか否かを判定し、路面の損傷が検出された検査画像を「１」、路面の損傷が検出されていない検査画像を「０」のように２値化して損傷有無情報を算出する。

【0044】

ステップＳ１０９において、度合算出部１７７３は、損傷有無情報に基づいて損傷度合を算出する。具体的には、度合算出部１７７３は、所定区間、例えば２０ｍ区間における損傷有無情報の総和を、該所定区間における検査画像数で除算することで損傷度合を算出する。

【0045】

このように、第１の実施形態による情報処理装置１は、撮像装置で撮影された面を含む領域の画像を取得する画像取得部１７１と、画像取得部１７１が取得した画像に基づいて、面の損傷度合を算出する算出部１７７と、を備える。
これにより、面の損傷を自動検出するとともに、定量的な評価ができるため、建造物の損傷の自動検出の際の利便性を向上させることができる。

【0046】

＜第２の実施形態＞
第２の実施形態では、複数の路面の画像間で領域の一部を重複させて検査画像を抽出する場合の一例について説明する。なお、第２の実施形態では、第１の実施形態と異なる部分を中心に説明する。

【0047】

図９は、第２の実施形態に係る情報処理装置１Ａの構成の一例を示す概略ブロック図である。
情報処理装置１Ａは、入力部１０と、通信部１３と、記憶部１５と、制御部１７と、出力部１９と、を含んで構成される。制御部１７は、画像取得部１７１と、画像抽出部１７３と、重複領域抽出部１７５Ａと、算出部１７７と、を含んで構成される。算出部１７７は、状態判定部１７７１と、度合算出部１７７３と、を含んで構成される。

【0048】

重複領域抽出部１７５Ａは、メタデータから抽出した位置情報に基づいて、複数の路面の画像間で、ある路面の画像における路面の領域と、他の路面の画像における路面の領域と重複する路面の領域とのうちの少なくとも一部が重複するように、画像抽出部１７３が抽出した検査画像候補の中から検査画像を抽出する。換言すれば、重複領域抽出部１７５Ａは、複数の路面の画像間において、時間的に路面の領域が重複するように検査画像候補の中から検査画像を抽出する。また、重複領域抽出部１７５Ａが抽出する各検査画像は、複数の路面の画像間において、ある路面の画像の路面の領域の頂点部分や辺部分が他の路面の画像の路面の領域に含まれる。重複領域抽出部１７５Ａは、抽出した検査画像を表す情報および対応する位置情報を算出部１７７に出力する。

【0049】

図１０は、本発明の第２の実施形態に係る損傷度合の算出処理の一例を示すフローチャートである。
ステップＳ２０１において、画像取得部１７１は、入力部１０や通信部１３を介して、１または複数の路面の画像を取得する。
ステップＳ２０３において、画像抽出部１７３は、後述する画像抽出処理を実行する。
ステップＳ２０５において、重複領域抽出部１７５Ａは、メタデータから抽出した位置情報に基づいて、複数の路面の画像間で、ある路面の画像における路面の領域と、他の路面の画像における路面の領域と重複する路面の領域とのうちの少なくとも一部が重複するように、画像抽出部１７３が抽出した検査画像候補の中から検査画像を抽出する。

【0050】

ステップＳ２０７において、状態判定部１７７１は、深層学習により各検査画像中の路面に損傷があるか否かを判定し、路面の損傷が検出された検査画像を「１」、路面の損傷が検出されていない検査画像を「０」のように２値化して損傷有無情報を算出する。
ステップＳ２０９において、度合算出部１７７３は、損傷有無情報に基づいて損傷度合を算出する。具体的には、度合算出部１７７３は、所定区間、例えば２０ｍ区間における損傷有無情報の総和を、該所定区間における検査画像数で除算することで損傷度合を算出する。

【0051】

図１１は、本発明の第２の実施形態に係る損傷度合の算出処理の一例を示すフローチャートである。
ステップＳ３０１において、画像抽出部１７３は、フレームの路面の画像を選択する。具体的には、路面の画像が未選択の場合、画像抽出部１７３は、最初のフレームの路面の画像を選択する。一方、既にフレームを選択している場合、画像抽出部１７３は、選択中のフレームの次のフレームの路面の画像を選択する。

【0052】

ステップＳ３０３において、画像抽出部１７３は、選択中のフレームの画像に対応する位置情報を参照し、１つ前のフレームに対応する位置情報からの移動距離を算出する。以下では、この移動距離を「画像間の距離」と称する。
ステップＳ３０５において、画像抽出部１７３は、算出した移動距離を、移動距離合計に加算する。移動距離合計は、画像抽出処理の開始時に初期化される。

【0053】

ステップＳ３０７において、画像抽出部１７３は、移動距離合計と、所定設定距離とを比較する。移動距離合計が設定距離に比して大きい場合（ステップＳ３０７；ＹＥＳ）、制御部１７は、ステップＳ３０９の処理を実行する。一方、移動距離合計が設定距離に比して小さい場合（ステップＳ３０７；ＮＯ）、制御部１７は、ステップＳ３１５に処理を実行する。

【0054】

ステップＳ３０９において、画像抽出部１７３は、移動距離合計を０に設定して初期化する。
ステップＳ３１１において、画像抽出部１７３は、選択中の画像を検査画像候補に設定する。

【0055】

ステップＳ３１３において、画像抽出部１７３は、次のフレームの路面の画像の有無を確認する。画像が存在する場合（ステップＳ３１３；ＹＥＳ）、制御部１７、ステップＳ３０１の処理を実行する。画像が存在しない場合（ステップＳ３１３；ＮＯ）、制御部１７は、ステップＳ３１５に処理を実行する。
ステップＳ３１５において、画像抽出部１７３は、検査画像候補を重複領域抽出部１７５Ａに出力する。

【0056】

なお、設定距離は、例えば、１つの検査画像における路面損傷の認識精度に応じて設定されてよい。また、例えば、１つの検査画像において、近傍だけでなく遠くに写る路面損傷を検出できる場合には、設定距離を大きくし、各検査画像に写る路面の重複を少なくしてよい。また、１つの検査画像において、遠くに写る路面損傷を検出不可能な場合には、設定距離を小さくし、各検査画像に写る路面の重複を多くしてよい。これにより、路面損傷の解析に要する負荷を低減しつつ、路面損傷の認識精度を維持することができる。

【0057】

このように、第２の実施形態による情報処理装置１Ａは、撮像装置で撮影された面を含む領域の画像を取得する画像取得部１７１と、画像取得部１７１が取得した画像に基づいて、面の損傷度合を算出する算出部１７７と、を備える。
また、算出部１７７は、画像取得部１７１が取得した連続する複数の画像の各々について、それぞれの画像中の面の損傷度合を算出する。また、情報処理装置１Ａは、それぞれの画像中の面の状態を判定する状態判定部１７７１、をさらに備え、算出部１７７は、それぞれの画像中の面の状態に基づいて、それぞれの画像中の面の損傷度合を算出する。
これにより、面の損傷を自動検出するとともに、定量的な評価ができるため、建造物の損傷の自動検出の際の利便性を向上させることができる。

【0058】

＜第３の実施形態＞
第３の実施形態では、１つの路面の画像内で複数の領域に分割し、該複数の領域のそれぞれが、該画像内の他の領域と一部が重複する場合の一例について説明する。なお、第３の実施形態では、第１の実施形態と異なる部分を中心に説明する。

【0059】

図１２は、本発明の第３の実施形態に係る情報処理装置１Ｂの構成の一例を示す概略ブロック図である。
情報処理装置１Ｂは、入力部１０と、通信部１３と、記憶部１５と、制御部１７と、出力部１９と、を含んで構成される。
制御部１７は、画像取得部１７１と、画像抽出部１７３と、部分画像抽出部１７５Ｂと、算出部１７７と、を含んで構成される。算出部１７７は、状態判定部１７７１と、度合算出部１７７３と、を含んで構成される。

【0060】

部分画像抽出部１７５Ｂは、メタデータから抽出した位置情報に基づいて、それぞれの検査画像候補から互いに一部が重複する複数の路面の領域を抽出する。換言すれば、部分画像抽出部１７５Ｂは、ある検査画像候補内で路面を含む複数の領域を抽出し、該複数の領域のそれぞれは、ある領域の頂点部や辺部が他の領域に含まれる。部分画像抽出部１７５Ｂは、複数の領域を抽出した検査画像候補を、検査画像として特定し、検査画像を表す情報、および検査画像候補から抽出された複数の領域を表す領域情報と、位置情報とを算出部１７７に出力する。

【0061】

算出部１７７は、深層学習により検査画像中の路面の損傷を解析する。具体的には、状態判定部１７７１は、深層学習により各検査画像中の路面に損傷があるか否かを複数の領域のそれぞれで判定して判定スコア（確信度）の値を算出する。
度合算出部１７７３は、損傷有無情報に基づいて損傷度合、例えば、ひび割れ率を算出する。具体的には、度合算出部１７７３は、所定区間、例えば２０ｍ区間における判定スコアの値の総和を、該所定区間における検査画像中の領域数で除算することで損傷度合を算出する。算出部１７７は、算出した損傷度合と、位置情報とを出力部１９に出力させる。ここで、移動距離が所定区間に満たない場合、算出部１７７は、検査画像毎に損傷度合を算出する。

【0062】

なお、算出部１７７は、算出した判定スコアの値と所定閾値とを比較してもよく、例えば、判定スコアの値が所定閾値以上であるときは「１」、判定スコアの値が所定閾値未満であるときは「０」のように２値化してもよい。また、判定スコアの値が所定閾値以下であるときは、判定スコアの値を「０」としてもよい。

【0063】

図１３は、本発明の第３の実施形態に係る損傷度合算出処理の一例を示すフローチャートである。
ステップＳ４０１において、画像取得部１７１は、入力部１０や通信部１３を介して、１または複数の路面の画像を取得する。
ステップＳ４０３において、画像抽出部１７３は、後述する画像抽出処理を実行する。
ステップＳ４０５において、部分画像抽出部１７５Ｂは、メタデータから抽出した位置情報に基づいて、それぞれの検査画像候補から互いに一部が重複する複数の路面の領域を抽出する。部分画像抽出部１７５Ｂは、複数の領域を抽出した検査画像候補を、検査画像として特定し、検査画像を表す情報、および検査画像候補から抽出された複数の領域を表す領域情報と、位置情報とを算出部１７７に出力する。

【0064】

ステップＳ４０７において、状態判定部１７７１は、深層学習により各検査画像中の路面に損傷があるか否かを複数の領域のそれぞれで判定して判定スコア（確信度）の値を算出する。
ステップＳ４０９において、所定区間、例えば２０ｍ区間における判定スコアの値の総和を、該所定区間における検査画像中の領域数で除算することで損傷度合を算出する。

【0065】

図１４は、本発明の第３の実施形態に係る損傷度合の算出処理の一例を示すフローチャートである。
ステップＳ５０１において、画像抽出部１７３は、フレームの路面の画像を選択する。具体的には、路面の画像が未選択の場合、画像抽出部１７３は、最初のフレームの路面の画像を選択する。一方、既にフレームを選択している場合、画像抽出部１７３は、選択中のフレームの次のフレームの路面の画像を選択する。

【0066】

ステップＳ５０３において、画像抽出部１７３は、選択中のフレームの画像に対応する位置情報を参照し、１つ前のフレームに対応する位置情報からの移動距離を算出する。以下では、この移動距離を「画像間の距離」と称する。
ステップＳ５０５において、画像抽出部１７３は、算出した移動距離を、移動距離合計に加算する。移動距離合計は、画像抽出処理の開始時に初期化される。

【0067】

ステップＳ５０７において、画像抽出部１７３は、移動距離合計と、所定設定距離とを比較する。移動距離合計が設定距離に比して大きい場合（ステップＳ５０７；ＹＥＳ）、制御部１７は、ステップＳ５０９の処理を実行する。一方、移動距離合計が設定距離に比して小さい場合（ステップＳ５０７；ＮＯ）、制御部１７は、ステップＳ５１５に処理を実行する。

【0068】

ステップＳ５０９において、画像抽出部１７３は、移動距離合計を０に設定して初期化する。
ステップＳ５１１において、画像抽出部１７３は、選択中の画像を検査画像候補に設定する。

【0069】

ステップＳ５１３において、画像抽出部１７３は、次のフレームの路面の画像の有無を確認する。画像が存在する場合（ステップＳ５１３；ＹＥＳ）、制御部１７、ステップＳ５０１の処理を実行する。画像が存在しない場合（ステップＳ５１３；ＮＯ）、制御部１７は、ステップＳ５１５に処理を実行する。
ステップＳ５１５において、画像抽出部１７３は、検査画像候補と、領域情報とを部分画像抽出部１７５Ｂに出力する。

【0070】

このように、第３の実施形態による情報処理装置１Ｂは、撮像装置で撮影された面を含む領域の画像を取得する画像取得部１７１と、画像取得部１７１が取得した画像に基づいて、面の損傷度合を算出する算出部１７７と、を備える。
情報処理装置１Ｂは、画像取得部１７１が取得した画像を分割し、画像の一部分である部分画像を複数生成する部分画像生成部（部分画像抽出部１７５Ｂ）、をさらに備え、算出部１７７は、部分画像生成部（部分画像抽出部１７５Ｂ）が生成した部分画像の各々について、部分画像中の面の損傷度合を算出する。
情報処理装置１Ｂは、部分画像生成部（部分画像抽出部１７５Ｂ）が生成した部分画像の各々について、部分画像中の面の状態を判定する状態判定部１７７１、をさらに備え、算出部１７７は、部分画像中の面の状態に基づいて、部分画像中の面の損傷度合を算出する。
部分画像生成部（部分画像抽出部１７５Ｂ）は、画像取得部１７１が取得した画像内において、画像を分割し、分割された第１部分画像と、前記第１部分画像の頂点部分または辺部分を含む第２部分画像と、を生成する。
これにより、面の損傷を自動検出するとともに、定量的な評価ができるため、建造物の損傷の自動検出の際の利便性を向上させることができる。

【0071】

なお、状態判定部１７７１は、損傷種別に応じた損傷クラスを算出してもよい。具体的には、例えば、亀甲状ひび割れや複数本の線状ひび割れなどの面状ひび割れを、損傷クラス「１」、縦断ひび割れ、横断ひび割れなどの単数の線状ひび割れを、損傷クラス「０．６」、ひび割れなどの損傷がない損傷クラスを、損傷クラス「０」のように機械学習により領域ごとの損傷クラスを算出してもよい。この場合、第３の実施形態における判定スコアの値の代わりに、損傷クラスの値を用いて損傷度合を算出すればよい。

【0072】

なお、損傷度合がひび割れ率の一例について説明したが、損傷度合は、轍掘れ量であってもよい。また、損傷度合は、ひび割れ率や轍掘れ量の他、損傷区分であってもよい。

【0073】

＜第４の実施形態＞
第１の実施形態から第３の実施形態では、損傷度合を算出する場合の一例について説明した。
第４の実施形態では、損傷の種別を判定する場合の一例について説明する。ここで、第４の実施形態では、第１の実施形態、第２の実施形態、第３の実施形態、各変形例と異なる部分を中心に説明する。
ここで、路面を修繕するときには、路面の損傷の種別に応じて、修繕に係る作業工程、作業日数、費用等が変わる。そのため、路面の損傷の種別が検出できれば、すなわち、路面の状態を評価できれば、これらの見積りが可能となり、ユーザの利便性を向上させることができる。

【0074】

なお、以下の説明では、第１の実施形態、第２の実施形態、第３の実施形態、各変形例で説明した内容、またはこれらの一部または全部を組み合わせて、状態判定部１７７１が路面の領域ごとの判定スコアの値、損傷クラスの値、損傷有無情報のいずれかを損傷スコアとして算出した場合の一例について説明する。
また、第１の実施形態、第２の実施形態、第３の実施形態、各変形例で説明した内容、またはこれらの一部または全部を組み合わせて、度合算出部１７７３が算出した損傷度合を、損傷スコアとして用いてもよい。この場合、損傷度合を算出した所定区間の路面を、１つの路面の領域として扱ってもよいし、所定区間を短い区間として該短い所定区間の路面を１つの路面の領域として扱ってもよい。

【0075】

第４の実施形態では、複数の路面の領域と、それぞれの領域における損傷スコアとの分布に基づいて、路面の損傷の種別を判定する。路面の損傷の種別は、例えば、縦断ひび割れ、横断ひび割れ、亀甲状ひび割れ、縦断ひび割れかつ轍掘れ、施工継目、くぼみ、全体的にまばらに存在する損傷などである。図１５から図２２を参照して説明する。

【0076】

図１５は、本発明の第４の実施形態に係る路面の損傷種別の一例を示す図である。図１６は、本発明の第４の実施形態に係る路面の損傷種別の他の一例を示す図である。図１７は、本発明の第４の実施形態に係る路面の損傷種別の他の一例を示す図である。図１８は、本発明の第４の実施形態に係る路面の損傷種別の他の一例を示す図である。図１９は、本発明の第４の実施形態に係る路面の損傷種別の他の一例を示す図である。図２０は、本発明の第４の実施形態に係る路面の損傷種別の他の一例を示す図である。図２１は、本発明の第４の実施形態に係る路面の損傷種別の他の一例を示す図である。図２２は、本発明の第４の実施形態に係る路面の損傷種別の他の一例を示す図である。
ここで、各図は、路面の一部を表したものであり、各図におけるマス目、すなわち路面の領域数が多い方向が走行方向、路面の領域数が少ない方向が幅員方向である。

【0077】

図１５に図示する例は、縦断ひび割れである。図示する実線は、ひび割れを表し、ハッチで示す複数の領域に渡ってひび割れが縦断している。図１６に図示する例は、横断ひび割れである。図示する実線は、ひび割れを表し、ハッチで示す複数の領域に渡ってひび割れが横断している。図１７に図示する例は、亀甲状ひび割れである。図示する実線は、ひび割れを表し、ハッチで示す複数の領域に渡ってひび割れが縦横格子状、すなわち亀甲状に発生している。図１８に図示する例は、縦断ひび割れかつ轍掘れである。図示する実線は、ひび割れを表し、ハッチで示す複数の領域に渡ってひび割れが複数本縦断し、また、複数本縦断するひび割れが略平行に発生している。図１９に図示する例は、施工継ぎ目である。図示する実線は、施工によって生じた継ぎ目を表し、ハッチで示す複数の領域に渡って、例えば縦断ひび割れよりも多くの領域に渡って継ぎ目が発生している。

【0078】

図２０に図示する例は、くぼみである。図示する実線は、ひび割れを表し、ハッチで示す複数の領域に渡って口の字状にひび割れが発生している。図２１に図示する例は、全体にまばらに存在する損傷である。図示する実線は、ひび割れなどの損傷を表し、ハッチで示す複数の領域でかつ所定区間にまばらに発生している。図２２に図示する例は、亀甲状ひび割れである。図示する実線は、ひび割れを表し、ハッチで示す複数の領域に渡ってひび割れが縦横格子状、すなわち亀甲状に発生している。ここで、図２２に示す２種のハッチは、損傷スコアが第１所定値以上第２所定値未満である領域と、第２所定値以上である領域である。ハッチ中央部分は、損傷スコアが高い領域、すなわち損傷スコアが第２所定値以上である領域である。図２２に図示する例の場合、損傷スコアとして判定スコアの値、または損傷クラスの値を用いればよい。

【0079】

情報処理装置１Ｃは、図１８から図２２に示すような路面の損傷の種別を、路面の領域ごとの損傷スコアおよび損傷スコアが所定値以上である領域の分布に応じて分類判定する。

【0080】

図２３は、本発明の第４の実施形態に係る情報処理装置１Ｃの構成の一例を示す概略ブロック図である。
情報処理装置１Ｃは、入力部１０と、通信部１３と、記憶部１５と、制御部１７と出力部１９と、を含んで構成される。制御部１７は、損傷スコア算出部１７７Ｃと、分類部１７９と、を含んで構成される。分類部１７９は、統合部１７９１と、分類判定部１７９３と、を含んで構成される。

【0081】

損傷スコア算出部１７７Ｃは、上述した情報処理装置１、１Ａ、１Ｂの制御部１７の一部または全部の機能を有し、第１の実施形態、第２の実施形態、第３の実施形態、各変形例で説明した内容、またはこれらの一部または全部を組み合わせて、損傷スコアを算出する。具体的な説明は、上述した各実施形態、各変形例の説明を援用し、記載を省略する。
損傷スコア算出部１７７Ｃは、算出した損傷スコアと、該損傷スコアに対応する路面の領域の情報とを、分類部１７９に出力する。

【0082】

分類部１７９は、各メッシュの損傷スコアの分布に応じて路面の損傷種別を分類する。具体的には、統合部１７９１は、メッシュ毎の損傷スコアを算出する。

【0083】

分類判定部１７９３は、所定区間における領域ごとの損傷スコアの分布と既知の損傷種別毎の損傷の分布を比較して損傷の種別を判定する。具体的には、分類判定部１７９３は、例えば、所定値以上の損傷スコアの領域が所定数、例えば３つ以上縦方向に連続して分布する場合、縦断ひび割れと判定する。また、分類判定部１７９３は、例えば、所定値以上の損傷スコアの領域が所定数、例えば３つ以上横方向に連続して分布する場合、横断ひび割れと判定する。また、分類判定部１７９３は、例えば、所定値以上の損傷スコアの領域が所定数、例えば２つ以上、縦方向に連続し、かつ所定値以上の損傷スコアの領域が所定数、例えば２つ以上、横方向に連続して分布する場合、亀甲状ひび割れと判定する。

【0084】

また、分類判定部１７９３は、例えば、複数の縦断ひび割れが平行して分布する場合、縦断ひび割れかつ轍掘れと判定する。また、分類判定部１７９３は、例えば、所定値以上の損傷スコアの領域が所定数、例えば６つ以上縦方向に連続して分布する場合、施工継ぎ目と判定する。また、分類判定部１７９３は、例えば、所定値以上の損傷スコアの領域が所定数、例えば２つ以上、縦方向に連続し、かつ所定値以上の損傷スコアの領域が所定数、例えば２つ以上、横方向に連続して分布し、口の字状に分布する場合、くぼみと判定する。また、分類判定部１７９３は、例えば、所定値以上の損傷スコアの領域が所定数、まばらに分布する場合、全体的にまばらに存在する損傷と判定する。

【0085】

このように、分類判定部１７９３は、所定区間における損傷スコアの領域の分布に応じて路面の損傷の種別を判定する。分類判定部１７９３は、判定結果を出力部１９に出力する。

【0086】

なお、分類判定部１７９３が損傷の種別の判定に用いる所定値は、同じ値であってもよいし、それぞれ異なる値であってもよい。
なお、統合部１７９１は、各領域の情報に含まれる領域の位置情報に応じて、判定対象の路面の位置と領域とを対応付けを行わなくてもよい。すなわち、統合部１７９１は、位置情報を用いなくてもよい。この場合、分類部１７９として統合部１７９１、分類判定部１７９３の処理を行えばよい。例えば、分類部１７９は、路面の領域の情報に含まれる各領域の情報と、各領域の損傷スコアとを統合し、路面の各領域と各損傷スコアとを対応付けて、上述の分類判定部１７９３の処理を行えばよい。

【0087】

図２４は、本発明の第４の実施形態に係る損傷種別判定処理の一例を示すフローチャートである。
ステップＳ６０１において、損傷スコア算出部１７７Ｃは、上述した情報処理装置１、１Ａ、１Ｂの制御部１７の一部または全部の機能を有し、第１の実施形態、第２の実施形態、第３の実施形態、各変形例で説明した内容、またはこれらの一部または全部を組み合わせて、損傷スコアを算出する。
ステップＳ６０３において、分類部１７９は、路面の領域の情報に含まれる各領域の情報と、各領域の損傷スコアとを統合する。
ステップＳ６０５において、分類部１７９は、所定区間における領域ごとの損傷スコアの分布に応じて複数の路面の損傷種別のうちのいずれの損傷の種別であるかを判定する。また、分布による判定は、上述したように既知の分布に基づくルールベースで行っても良いし、分布の教師データに基づく深層学習で行っても良い。

【0088】

このように、第４の実施形態によれば、情報処理装置１Ｃは、撮像装置で撮像された面を含む領域の画像を取得する画像取得部１７１と、画像取得部１７１が取得した画像に基づいて、面の損傷度合を算出する算出部１７７と、算出部１７７が算出した損傷度合に応じて面の損傷種別を判定する種別判定部（分類判定部１７９３）と、を備える。
また、情報処理装置１Ｃは、画像取得部１７１が取得した画像を分割し、画像の一部分である部分画像を複数生成する部分画像生成部（部分画像抽出部１７５Ｂ）、をさらに備え、種別判定部（分類判定部１７９３）は、部分画像生成部（部分画像抽出部１７５Ｂ）が抽出した部分画像中の面の損傷度合に基づいて、面の前記損傷種別を判定する。

【0089】

また、種別判定部（分類判定部１７９３）は、損傷度合が所定値以上である部分画像の分布に基づいて、面の前記損傷種別を判定する。
また、種別判定部（分類判定部１７９３）は、１つの画像から生成された複数の部分画像の各々の中の面の損傷度合を統合して、面の損傷種別を判定する。
また、種別判定部（分類判定部１７９３）は、画像取得部１７１が取得した連続する複数の画像のそれぞれの前記画像中の面の損傷度合に基づいて、面の損傷種別を判定する。
また、種別判定部（分類判定部１７９３）は、損傷度合が所定値以上である複数の画像の分布に基づいて、面の前記損傷種別を判定する。
また、種別判定部（分類判定部１７９３）は、連続する複数の画像におけるぞれぞれの画像中の面の損傷度合を統合して、面の損傷種別を判定する。
また、算出部１７７は、深層学習により損傷度合を算出する。

【0090】

これにより、いずれの損傷であるかを分類することができるため、ユーザの利便性を向上させることができる。

【0091】

なお、上記各実施形態、各変形例において、位置情報と、路面の損傷種別または／および路面の損傷度合とを対応付けて、例えば地図上に出力してもよいし、位置情報と、路面の損傷種別または／および路面の損傷度合とを対応付けて、リストで出力してもよい。

【0092】

なお、上記各実施形態、各変形例において、判定スコアの値に、判定クラスの値を重みとして乗算させて、損傷スコアとして用いたり、損傷度合を算出したりしてもよい。

【0093】

なお、上記各実施形態、各変形例において、損傷度合として轍掘れ量を用いる場合は、轍掘れの深さを深層学習によって算出してもよい。

【0094】

なお、各実施形態、各変形例について説明したが、一例であってこれらに限られず、例えば、各実施形態や各変形例のうちのいずれかや、各実施形態の一部や各変形例の一部を、他の１または複数の実施形態や他の１または複数の変形例と組み合わせて本発明の一態様を実現させてもよい。

【0095】

なお、本実施形態における情報処理装置１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムを、コンピュータシステムに読み込ませ、実行することにより、情報処理装置１に係る上述した種々の処理を行ってもよい。

【0096】

なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリなどの書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。

【0097】

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。

【0098】

ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0099】

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

【符号の説明】

【0100】

ｓｙｓ 情報処理システム
１、１Ａ、１Ｂ、１Ｃ 情報処理装置
１０ 入力部
１３ 通信部
１５ 記憶部
１７ 制御部
１７１ 画像取得部
１７３ 画像抽出部
１７５ 領域抽出部
１７５Ａ 重複領域抽出部
１７５Ｂ 部分画像抽出部
１７７ 算出部
１７７１ 状態判定部
１７７３ 度合算出部
１７７Ｃ 損傷スコア算出部
１７９ 分類部
１７９１ 統合部
１７９３ 分類判定部
１９ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】