ホーム > 特許ランキング > 株式会社トップサービス
知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社トップサービスの特許一覧 ▶ 株式会社エイプスの特許一覧 ▶ ケイプラス株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024063604
(43)【公開日】2024-05-13
(54)【発明の名称】情報処理装置、方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240502BHJP
G01N 21/88 20060101ALI20240502BHJP
【ＦＩ】
G06T7/00 350B
G01N21/88 Z
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022171686
(22)【出願日】2022-10-26
(71)【出願人】
【識別番号】309033736
【氏名又は名称】株式会社トップサービス
(71)【出願人】
【識別番号】520060081
【氏名又は名称】株式会社エイプス
(71)【出願人】
【識別番号】521216658
【氏名又は名称】ケイプラス株式会社
(74)【代理人】
【識別番号】100180275
【弁理士】
【氏名又は名称】吉田 倫太郎
(74)【代理人】
【識別番号】100161861
【弁理士】
【氏名又は名称】若林 裕介
(74)【代理人】
【識別番号】100194836
【弁理士】
【氏名又は名称】長谷部 優一
(72)【発明者】
【氏名】高橋 裕
(72)【発明者】
【氏名】木下 俊次郎
(72)【発明者】
【氏名】前田 峰志
【テーマコード（参考）】
2G051
5L096
【Ｆターム（参考）】
2G051AA90
2G051AB03
2G051CA04
2G051EB10
2G051EC01
2G051ED04
5L096AA07
5L096BA03
5L096BA18
5L096CA01
5L096FA32
5L096FA33
5L096KA04
5L096MA07
(57)【要約】
【課題】構造物の表面特性に応じたモジュールを用いて画像から損傷を高精度で検出できるようにする。
【解決手段】本発明の情報処理装置において、入力した表面画像に対して、構造物の表面特性に応じた第１の画像処理方法で画像処理を行う第１の画像処理部と、構造物の表面特性毎の学習済みモデルで、入力した表面画像又は第１の画像処理方法で画像処理された表面画像を用いて損傷箇所領域を推論する推論部と、推論部による推論結果に対して、構造物の表面特性に応じた第２の画像処理方法で画像処理を行う第２の画像処理部とを備え、構造物の表面特性毎の前記学習済みモデルを有し、構造物の表面特性に応じた、第１の画像処理方法と第２の画像処理方法との両方又はいずれかを有する属性別モジュールを作成する。
【選択図】 図１
【解決手段】本発明の情報処理装置において、入力した表面画像に対して、構造物の表面特性に応じた第１の画像処理方法で画像処理を行う第１の画像処理部と、構造物の表面特性毎の学習済みモデルで、入力した表面画像又は第１の画像処理方法で画像処理された表面画像を用いて損傷箇所領域を推論する推論部と、推論部による推論結果に対して、構造物の表面特性に応じた第２の画像処理方法で画像処理を行う第２の画像処理部とを備え、構造物の表面特性毎の前記学習済みモデルを有し、構造物の表面特性に応じた、第１の画像処理方法と第２の画像処理方法との両方又はいずれかを有する属性別モジュールを作成する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
構造物の表面特性毎に、構造物の表面画像から損傷が存在している損傷箇所領域を検出するための属性別モジュールを作成する情報処理装置において、
複数の第１の画像処理方法から選択した第１の画像処理方法で、入力した表面画像に対して画像処理を行う第１の画像処理部と、
構造物の表面特性毎の学習済みモデルで、前記入力した表面画像又は前記第１の画像処理方法で画像処理された表面画像を用いて損傷箇所領域を推論する推論部と、
複数の第２の画像処理方法から選択した第２の画像処理方法で、前記推論部による推論結果に対して画像処理を行う第２の画像処理部と
を備え、
構造物の表面特性毎の前記学習済みモデルと、前記第１の画像処理方法と、前記第２の画像処理方法とを組み合わせて、構造物の表面特性に応じた、前記属性別モジュールを作成する
ことを特徴とする情報処理装置。
複数の第１の画像処理方法から選択した第１の画像処理方法で、入力した表面画像に対して画像処理を行う第１の画像処理部と、
構造物の表面特性毎の学習済みモデルで、前記入力した表面画像又は前記第１の画像処理方法で画像処理された表面画像を用いて損傷箇所領域を推論する推論部と、
複数の第２の画像処理方法から選択した第２の画像処理方法で、前記推論部による推論結果に対して画像処理を行う第２の画像処理部と
を備え、
構造物の表面特性毎の前記学習済みモデルと、前記第１の画像処理方法と、前記第２の画像処理方法とを組み合わせて、構造物の表面特性に応じた、前記属性別モジュールを作成する
ことを特徴とする情報処理装置。
【請求項2】
前記第２の画像処理部は、
前記推論部が前記検証用壁面画像を用いて推論した前記損傷が存在する画像領域を１つのグループとし、
それぞれのグループ内の画像をグループ単位で分離して、
グループ毎に、グループ内の画像における全ての画素の画素値の平均値又は標準偏差値を、当該グループの閾値とし、
当該グループ内の画像における全ての画素の画素値と前記閾値とを用いて、当該グループ内の画像を２値化した結果を用いて、損傷が存在する画像領域を検出する
ことを特徴とする請求項１に記載の情報処理装置。
前記推論部が前記検証用壁面画像を用いて推論した前記損傷が存在する画像領域を１つのグループとし、
それぞれのグループ内の画像をグループ単位で分離して、
グループ毎に、グループ内の画像における全ての画素の画素値の平均値又は標準偏差値を、当該グループの閾値とし、
当該グループ内の画像における全ての画素の画素値と前記閾値とを用いて、当該グループ内の画像を２値化した結果を用いて、損傷が存在する画像領域を検出する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記第２の画像処理部は、
前記推論部が前記検証用壁面画像を用いて推論した前記損傷が存在する画像領域をクラスタリングによりグループ化し、それぞれのグループの大きさに基づいて、前記損傷が存在する画像領域の候補を決定する
ことを特徴とする請求項１に記載の情報処理装置。
前記推論部が前記検証用壁面画像を用いて推論した前記損傷が存在する画像領域をクラスタリングによりグループ化し、それぞれのグループの大きさに基づいて、前記損傷が存在する画像領域の候補を決定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項4】
前記第２の画像処理部は、
前記推論部が前記検証用壁面画像を用いて推論した前記損傷が存在する画像領域の候補を連結させて、前記損傷が存在する画像領域の連続性を求める
ことを特徴とする請求項１に記載の情報処理装置。
前記推論部が前記検証用壁面画像を用いて推論した前記損傷が存在する画像領域の候補を連結させて、前記損傷が存在する画像領域の連続性を求める
ことを特徴とする請求項１に記載の情報処理装置。
【請求項5】
前記第１の画像処理部は、
前記構造物の前記外装材の種類に基づく健全なテンプレート画像と、前記検証用壁面画像とを用いてパターンマッチングを行い、前記テンプレート画像と類似性が低い画像領域を、前記損傷が存在する画像領域として検出する
ことを特徴とする請求項１に記載の情報処理装置。
前記構造物の前記外装材の種類に基づく健全なテンプレート画像と、前記検証用壁面画像とを用いてパターンマッチングを行い、前記テンプレート画像と類似性が低い画像領域を、前記損傷が存在する画像領域として検出する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項6】
構造物の表面特性毎に、構造物の表面画像から損傷が存在している損傷箇所領域を検出するための属性別モジュールを作成する情報処理方法において、
第１の画像処理部が、複数の第１の画像処理方法から選択した第１の画像処理方法で、入力した表面画像に対して画像処理を行い、
推論部が、構造物の表面特性毎の学習済みモデルで、前記入力した表面画像又は前記第１の画像処理方法で画像処理された表面画像を用いて損傷箇所領域を推論し、
第２の画像処理部が、複数の第２の画像処理方法から選択した第２の画像処理方法で、前記推論部による推論結果に対して画像処理を行い、
構造物の表面特性毎の前記学習済みモデルと、前記第１の画像処理方法と、前記第２の画像処理方法とを組み合わせて、構造物の表面特性に応じた、前記属性別モジュールを作成する
ことを特徴とする情報処理方法。
第１の画像処理部が、複数の第１の画像処理方法から選択した第１の画像処理方法で、入力した表面画像に対して画像処理を行い、
推論部が、構造物の表面特性毎の学習済みモデルで、前記入力した表面画像又は前記第１の画像処理方法で画像処理された表面画像を用いて損傷箇所領域を推論し、
第２の画像処理部が、複数の第２の画像処理方法から選択した第２の画像処理方法で、前記推論部による推論結果に対して画像処理を行い、
構造物の表面特性毎の前記学習済みモデルと、前記第１の画像処理方法と、前記第２の画像処理方法とを組み合わせて、構造物の表面特性に応じた、前記属性別モジュールを作成する
ことを特徴とする情報処理方法。
【請求項7】
構造物の表面特性毎に、構造物の表面画像から損傷が存在している損傷箇所領域を検出するための属性別モジュールを作成する情報処理プログラムにおいて、
コンピュータを、
複数の第１の画像処理方法から選択した第１の画像処理方法で、入力した表面画像に対して画像処理を行う第１の画像処理部と、
構造物の表面特性毎の学習済みモデルで、前記入力した表面画像又は前記第１の画像処理方法で画像処理された表面画像を用いて損傷箇所領域を推論する推論部と、
複数の第２の画像処理方法から選択した第２の画像処理方法で、前記推論部による推論結果に対して画像処理を行う第２の画像処理部と
して機能させ、
構造物の表面特性毎の前記学習済みモデルと、前記第１の画像処理方法と、前記第２の画像処理方法とを組み合わせて、構造物の表面特性に応じた、前記属性別モジュールを作成する
ことを特徴とする情報処理プログラム。
コンピュータを、
複数の第１の画像処理方法から選択した第１の画像処理方法で、入力した表面画像に対して画像処理を行う第１の画像処理部と、
構造物の表面特性毎の学習済みモデルで、前記入力した表面画像又は前記第１の画像処理方法で画像処理された表面画像を用いて損傷箇所領域を推論する推論部と、
複数の第２の画像処理方法から選択した第２の画像処理方法で、前記推論部による推論結果に対して画像処理を行う第２の画像処理部と
して機能させ、
構造物の表面特性毎の前記学習済みモデルと、前記第１の画像処理方法と、前記第２の画像処理方法とを組み合わせて、構造物の表面特性に応じた、前記属性別モジュールを作成する
ことを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば構造物の表面（例えば、壁面、天井、床面など）を撮影した画像を用いて、表面損傷（例えば、ひび割れ、クラック、剥がれ等）を精度よく検出する装置に適用し得るものである。
【背景技術】
【0002】
例えば、特許文献１には、建築物や構造物の壁面画像を含む情報を教師データとし、機械学習で学習して得たＡＩモデル（学習済みモデル）を用いて、検査対象とする建物の壁面を撮影した画像から壁面の損傷箇所を検出するシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１５６６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したような、従来の壁面損傷検出装置は、機械学習で得たＡＩモデルを利用しているが、共通のＡＩモデルを用いて壁面の損傷箇所を検出するのが一般的である。しかし、共通のＡＩモデルを用いて壁面損傷を検出する場合、コンクリートやタイルや吹き付け材など構造物の表面の材質や、表面の色あいによって、損傷箇所の見落としや、誤検出が生じてしまうという問題がある。
【0005】
また、上述の課題に対して構造物の表面の材質毎にＡＩモデルを生成するという方法もある。しかし、単純に、材質毎のＡＩモデルを用いたとしても、壁面損傷の検出精度が良好でないという問題もある。
【0006】
例えば、外壁材の種類によってひび割れの連続性を検出することは難しい。ＡＩモデルを用いて、壁面画像上でひび割れ候補を検出した場合、ひび割れ候補の検出領域が離れているときに、各々独立したひび割れなのか、又は離れているが連続したひび割れであるかを判定することが難しく、連続したひび割れ候補であれば、できるだけ検出した領域間が繋がっていることを精度よく検出できることが望ましい。壁面検査を実施する事業者からすると、汚れをひび割れと誤検出することはまだ許されるが、ひび割れなどの損傷の見落としをなるべく減らすことが望まれる。
【0007】
本発明は、上述した課題に鑑みてなされたものであり、構造物の表面の特性毎にＡＩモデルを調整し、その調整したＡＩモデルと、構造物の表面画像に対する前処理と、推論結果に対する後処理との全部又は一部を組み合わせたモジュールを、構造物の表面特性毎に作成し、検査対象とする構造物の表面特性に応じたモジュールを用いることで、高精度に損傷を検出できる情報処理装置、方法及びプログラムを提供しようとするものである。
【課題を解決するための手段】
【0008】
かかる課題を解決するために、第１の本発明は、構造物の表面特性毎に、構造物の表面画像から損傷が存在している損傷箇所領域を検出するための属性別モジュールを作成する情報処理装置において、（１）複数の第１の画像処理方法から選択した第１の画像処理方法で、入力した表面画像に対して画像処理を行う第１の画像処理部と、（２）構造物の表面特性毎の学習済みモデルで、入力した表面画像又は第１の画像処理方法で画像処理された表面画像を用いて損傷箇所領域を推論する推論部と、（３）複数の第２の画像処理方法から選択した第２の画像処理方法で、推論部による推論結果に対して画像処理を行う第２の画像処理部とを備え、構造物の表面特性毎の学習済みモデルと、第１の画像処理方法と、第２の画像処理方法とを組み合わせて、構造物の表面特性に応じた、属性別モジュールを作成することを特徴とする。
【0009】
第２の本発明は、構造物の表面特性毎に、構造物の表面画像から損傷が存在している損傷箇所領域を検出するための属性別モジュールを作成する情報処理方法において、（１）第１の画像処理部が、複数の第１の画像処理方法から選択した第１の画像処理方法で、入力した表面画像に対して画像処理を行い、（２）推論部が、構造物の表面特性毎の学習済みモデルで、入力した表面画像又は前記第１の画像処理方法で画像処理された表面画像を用いて損傷箇所領域を推論し、（３）第２の画像処理部が、複数の第２の画像処理方法から選択した第２の画像処理方法で、推論部による推論結果に対して画像処理を行い、構造物の表面特性毎の学習済みモデルと、第１の画像処理方法と、第２の画像処理方法とを組み合わせて、構造物の表面特性に応じた、属性別モジュールを作成することを特徴とする。
【0010】
第３の本発明は、構造物の表面特性毎に、構造物の表面画像から損傷が存在している損傷箇所領域を検出するための属性別モジュールを作成する情報処理プログラムにおいて、コンピュータを、（１）複数の第１の画像処理方法から選択した第１の画像処理方法で、入力した表面画像に対して画像処理を行う第１の画像処理部と、（２）構造物の表面特性毎の学習済みモデルで、入力した表面画像又は第１の画像処理方法で画像処理された表面画像を用いて損傷箇所領域を推論する推論部と、（３）複数の第２の画像処理方法から選択した第２の画像処理方法で、推論部による推論結果に対して画像処理を行う第２の画像処理部として機能させ、構造物の表面特性毎の学習済みモデルと、第１の画像処理方法と、第２の画像処理方法とを組み合わせて、構造物の表面特性に応じた、属性別モジュールを作成することを特徴とする。
【発明の効果】
【0011】
本発明によれば、構造物の表面の特性毎にＡＩモデルを調整し、その調整したＡＩモデルと、構造物の表面画像に対する前処理と、推論結果に対する後処理との全部又は一部を組み合わせたモジュールを、構造物の表面特性毎に作成し、検査対象とする構造物の表面特性に応じたモジュールを用いることで、高精度に損傷を検出できる。
【図面の簡単な説明】
【0012】
【図1】基本概念を説明する説明図である。
【図2】実施形態に係る属性別モジュール作成装置の主なハードウェア構成を示す構成図である。
【図3】実施形態に係る属性別モジュール作成装置の機能的な構成を示す機能ブロック図である。
【図4】実施形態に係る壁面損傷検出装置の主なハードウェア構成例を示す構成図である。
【図5】実施形態に係る壁面損傷検出装置の機能的な構成を示すブロック図である。
【図6】実施形態に係るＡＩモデルの作成処理を説明する説明図である。
【図7】実施形態に係る属性別モジュールの作成処理の基本的な動作を説明する説明図である。
【図8】実施形態に係る属性別モジュールの作成処理を説明する説明図である。
【図9】実施形態に係る画像処理部によるクラック候補の明確化処理を示すフローチャートである。
【図10】実施形態におけるクラック候補の明確化処理を説明する説明図である。
【図11】実施形態に係る画像処理部によるクラック候補の絞り込み処理を示すフローチャートである。
【図12】実施形態におけるクラック候補の絞り込み処理を説明する説明図である。
【図13】実施形態においてドロネー図化によるクラック連結処理を説明する説明図である。
【図14】実施形態に係る画像処理部によるパターンマッチング処理を示すフローチャートである。
【図15】実施形態におけるパターンマッチング処理を説明する説明図である。
【図16】実施形態に係る壁面損傷検出処理の全体的な流れを説明する説明図である。
【図17】従来のＡＩモデルを用いた損傷検出の結果と、実施形態の属性別モジュールを用いた損傷検出の結果とを比較する図である（その１）。
【図18】従来のＡＩモデルを用いた損傷検出の結果と、実施形態の属性別モジュールを用いた損傷検出の結果とを比較する図である（その２）。
【図19】変形実施形態の画像に現れる欠陥の色が異なる場合でも損傷検出できることを説明する説明図である。
【発明を実施するための形態】
【0013】
（Ａ）主たる実施形態
以下では、本発明に係る情報処理装置、方法及びプログラムの実施形態を、図面を参照しながら説明する。
以下では、本発明に係る情報処理装置、方法及びプログラムの実施形態を、図面を参照しながら説明する。
【0014】
この実施形態は、構造物の表面を撮影した多数の表面画像を含む情報を教師データとして機械学習で得たＡＩモデル（学習済みモデル）で、検査対象とする構造物の表面画像を用いて推論することで、構造物の表面上の損傷を検出するシステムに適用する場合を例示する。
【0015】
ここで、検査対象とする構造物の表面は、外壁面だけでなく、例えば、構造物の内壁面、天井面、床面等のように構造物の内外面をいう。この実施形態では、説明便宜上、構造物の表面が壁面である場合を例示して説明する。
【0016】
【0017】
属性別モジュール作成装置１は、構造物の表面の材質や色合い等の特性に応じて、高精度で損傷を検出するため、属性別モジュール２（２－１～２－Ｋ；Ｋは正の整数）を、構造物の表面の属性毎に、調整して作成するものである。
【0018】
壁面損傷検出装置５は、検査対象とする構造物の表面の特性に応じた属性別モジュールと、検査対象とする構造物の表面を撮影した表面画像とを用いて、当該検査対象の構造物の表面に現れている損傷箇所を検出する装置である。
【0019】
つまり、属性別モジュール作成装置１は、教師データありのＡＩモデル３（３－１～３－Ｎ；Ｎは正の整数）で、構造物の表面の特性毎の検証用画像で推論し、その推論結果に基づいて再学習して新しいＡＩモデル３を得たり、表面の特性に応じてより精度の高い推論を得るために検証用画像に対して所定の前処理を施したり、検証用画像を用いた推論結果に対して所定の後処理を施したりする属性別モジュール２を作成する。
【0020】
他方、壁面損傷検出装置５は、検査時に、属性別モジュール作成装置１により作成可能な複数の属性別モジュール２のうち、検査対象とする構造物の表面の特性に応じて属性別モジュール２を用いて、その構造物の表面画像から損傷箇所を検出する。
【0021】
ここで、属性別モジュールとは、壁面損傷検出装置５による壁面損傷の検出処理で利用するアプリケーションパッケージであり、構造物の表面の材質、及び又は、色合いなどの表面特性（「壁面特性」とも呼ぶ。）に応じたものである。
【0022】
属性別モジュールは、少なくとも表面特性毎のＡＩモデル３を有する。このＡＩモデル３は、属性別の検証用画像を用いて検証して、その検証結果に基づいて、再学習した学習済みモデルとする。また、属性別モジュールは、ＡＩモデル３と、後処理としてＡＩモデル３を用いて推論した推論結果に対する後処理方法とを有する。さらに、属性別モジュールは、表面特性毎のＡＩモデル３と後処理方法に加えて、ＡＩモデル３で推論する前の撮影画像に対する前処理方法を含むようにしてもよい。つまり、構造物の表面特性に応じて精度よく損傷を検出するため、属性別モジュールは、ＡＩモデル３を備え、さらに前処理方法７と後処理方法８との両方又はいずれかを組み合わせたものといえる。
【0023】
属性別モジュール作成装置１及び壁面損傷検出装置５の構成及び動作の詳細な説明については後述するが、図１を用いて、属性別モジュール作成装置１が、属性別モジュール２（２－１～２－Ｋ）を作成する基本概念を説明する。
【0024】
図１において、属性別モジュール作成装置１は、事前設定した教師データありのＡＩモデル３－１～３－Ｎのそれぞれについて、壁面特性の検証用画像を用いてＡＩモデル３の検証を行なう。このとき、必要に応じて、ＡＩモデル３を再学習して、新しいＡＩモデル（新学習済みモデル）３を作成するようにしてもよい。
【0025】
また、属性別モジュール作成装置１は、表面特性毎に、前処理方法７（７－１～７－Ｍ；Ｍは正の整数）として、検証用画像に対して施す画像処理方法を設定する前処理部２４３を備える。
【0026】
さらに、属性別モジュール作成装置１は、表面特性毎に、後処理方法８（８－１～８－Ｌ；Ｌは正の整数）として、推論結果に対して施す画像処理方法を設定する後処理部２４４を備える。
【0027】
例えば、構造物の表面材質が、コンクリート、吹き付け材、タイルなどの表面特性毎に、ＡＩモデル３と、そのＡＩモデル３を用いた推論結果に対する後処理方法８とを組み合わせたものを、当該表面特性の属性別モジュール２として、属性別モジュール作成装置１は作成する。また、必要に応じて、表面特性毎の前処理方法７も組み合せの１つの要素として属性別モジュール２に含ませることができる。
【0028】
このように、構造物の表面特性毎に属性別モジュール２を作成することにより、壁面損傷検出装置５が、単にＡＩモデル３を用いて推論したときよりも、構造物の表面特性に応じた属性別モジュール２を用いて推論した方が、高精度に損傷を検出することができる。
【0029】
（Ａ－１－２）属性別モジュール作成装置１
図２は、実施形態に係る属性別モジュール作成装置１の主なハードウェア構成を示す構成図である。図３は、実施形態に係る属性別モジュール作成装置１の機能的な構成を示す機能ブロック図である。
図２は、実施形態に係る属性別モジュール作成装置１の主なハードウェア構成を示す構成図である。図３は、実施形態に係る属性別モジュール作成装置１の機能的な構成を示す機能ブロック図である。
【0030】
図２に示すように、属性別モジュール作成装置１は、制御部１１、記憶部１２、入力部１３、表示部１４、通信部１５を有する。
【0031】
属性別モジュール作成装置１は、例えば、パーソナルコンピュータなどの情報処理装置を用いることができる。また、属性別モジュール作成装置１は、画像処理を行う演算装置やメモリ及びプログラムを備えるようにしてもよい。
【0032】
制御部１１は、属性別モジュール作成装置１の各種機能を司る処理部又は装置である。制御部１１は、例えば、プロセッサ、ＲＡＭ、ＲＯＭ、入出力インタフェース等を備え、ＲＯＭに記憶されているプログラムを実行することにより、属性別モジュール作成装置１の各種機能を実現する。例えば、制御部１１は、プログラム（例えば、学習モデル生成プログラム、属性別モジュール作成プログラム等）を実行して、学習モデル生成手段２１、属性別モジュール作成手段２４として機能する。なお、制御部１１は、例えば、ＣＰＵ、ＧＰＵ、ＤＳＰなどを用いることができる。制御部１１は、複数個のプロセッサを備えるようにしてもよく、その場合、同じ種類のプロセッサを複数個備えるようにしてもよいし、異なる種類のプロセッサを備えるようにしてもよい。
【0033】
記憶部１２は、制御部１１が実行する処理プログラム、プログラム実行に必要なデータなどを記憶する。
【0034】
例えば、記憶部１２は、不揮発性記憶装置などの外部記憶装置を適用することができ、検査対象とする構造物の壁面の素材や色等の壁面特性毎のＡＩモデル（以下、「教師あり学習モデル」とも呼ぶ。）３－ｎ（１≦ｎ≦Ｎ；Ｎは正の整数）を検証し、壁面種類の特性に応じて、壁面特性毎に調整したＡＩモデル３－ｎを含む属性別モジュール、検査対象とする構造物の壁面画像などを記憶する。また例えば、壁面種類毎のＡＩモデルを生成する際、記憶部１２は、ＡＩモデルを生成するための教師データを記憶する。
【0035】
入力部１３は、キーボード、ポインティングデバイス、タッチパネル等を適用することができる。また、入力部１３は、画像や映像を入力する入力インタフェースも含むことができる。表示部１４は、液晶ディスプレイなどの表示装置を用いることができる。通信部１５は、他の装置と接続して情報を授受するものであり、ネットワークインタフェース、無線通信回路、有線通信回路などを適用できる。
【0036】
図３において、属性別モジュール作成装置１は、機能的には、学習モデル生成手段２１、属性別モジュール作成手段２４、属性別モジュールＤＢ２５を有する。また、属性別モジュール作成装置１は、壁面の属性毎のＡＩモデルを生成するために、教師データＤＢ２２及びＡＩモデルＤＢ２３を有する。
【0037】
ここで、壁面の損傷は、例えば、ひび割れ（クラック）、エフロレセンス（白華現象）、剥離、外壁材の浮き、外壁材の剥がれ、タイルの剥落、腐食などを挙げることができるが、これらに限定されない。
【0038】
壁面の材質の種類や色合い等の壁面特性を示す概念を、壁面の「属性」と表現して説明する。壁面の属性は、構造物の壁面材質を含む。壁面材質は、例えば、コンクリート、モルタル、タイル、鉄、塗料を用いた吹き付け仕上げ等とすることができる。また、壁面の属性は、壁面材質の色あい（例えば、黒、白、灰色など）も含むことができる。
【0039】
学習モデル生成手段２１は、壁面画像と、その壁面画像において存在するひび割れ等の損傷箇所を示す正解データとを含む教師データを用いて、壁面の属性毎のＡＩモデル（「教師あり学習モデル」）を生成する。学習モデル生成手段２１は、壁面の属性毎の教師データを用いて、壁面の属性毎のＡＩモデルを、壁面の属性毎に生成する。図１に示すように、学習モデル生成手段２１は、教師データ取得部２１１と、学習部２１２とを有する。
【0040】
教師データ取得部２１１は、壁面属性毎の教師データを、教師データＤＢ２２から取得して学習部２１２に与える。
【0041】
学習部２１２は、教師データとしての壁面画像における損傷箇所を含む領域を特徴領域として抽出して、当該壁面の属性のＡＩモデルを生成する。これにより、壁面の属性毎の、ＡＩモデルを生成することができる。生成されたＡＩモデルはそれぞれ、ＡＩモデルＤＢ２３に記憶される。機械学習のアルゴリズムは、教師ありのアルゴリズムを広く適用でき、ディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）等を適用できる。
【0042】
属性別モジュール作成手段２４は、機械学習で、壁面画像における損傷箇所をより高精度に検出できるようにするため、壁面属性毎のＡＩモデルを基にして属性別モジュールを生成する。
【0043】
図３に示すように、属性別モジュール作成手段２４は、属性別検証データ取得部２４１、推論部２４２、前処理部（「第１の画像処理部」とも呼ぶ。）２４３、後処理部（「第２の画像処理部」とも呼ぶ。）２４４を有する。
【0044】
属性別検証データ取得部２４１は、ＡＩモデル３を用いた推論結果を検証する際に、壁面特性に応じた属性別検証データを取得して、前処理部２４３及び推論部２４２に与える。ここで、属性別検証データは、検証対象とするＡＩモデル３の属性（すなわち、壁面特性）に応じた検証用画像とすることができる。
【0045】
推論部２４２は、ＡＩモデルＤＢ２３から、検証対象とする属性のＡＩモデルを取得し、そのＡＩモデルで、属性別検証データから損傷箇所を含む画像領域を推論（予測）する。推論部２４２は、属性別のＡＩモデルを用いた属性別検証データの推論結果を後処理部２４４に与える。
【0046】
前処理部２４３は、後処理部２４４による画像処理で損傷検出の精度を良好にするために、属性別検証データとしての検証用画像に対して所定の画像処理を行い、画像処理の結果を後処理部２４４に与える。ここで、前処理部２４３は、属性別検証データの壁面画像に加えて、推論部２４２の推論結果も用いて、所定の画像処理を行うようにしてもよい。
【0047】
前処理部２４３は、属性（すなわち、壁面特性）に応じた画像処理を設定することができ、例えば、壁面画像の輝度調整、シャープネス調整、曇りフィルター、タイルマッチング等によるマスク画像の作成等を前処理方法とすることができる。
【0048】
後処理部２４４は、ＡＩモデル３を用いて推論部２４２が推論した推論結果に対して、所定の画像処理を行うものである。後処理部２４４は、推論結果に対して画像処理を施す際に、前処理部２４３による処理結果を用いて、より高精度な検出結果を得るようにしてもよい。後処理部２４４は、画像処理結果と推論結果との検証結果に基づいて、属性別のＡＩモデル３の構造に関わるハイパーパラメータの値をチューニング（調整）してもよい。
【0049】
後処理部２４４は、属性（すなわち、壁面特性）に応じた画像処理を設定することができる。後処理部２４４による後処理方法については、動作の項で詳細に説明するが、例えば、クラック候補明確化処理、クラック候補の絞り込み処理、クラック連結処理、タイルパターンのマッチング処理などを用いることができる。
【0050】
属性別モジュールＤＢ２５は、属性別モジュール作成手段２４によって生成された、壁面の属性毎の属性別モジュール２を記憶する。壁面検査の際に、構造物の壁面の材質の種類や色合いに応じた、属性別モジュール２が選択されて、壁面損傷検出装置５に搭載される。
【0051】
【0052】
図４において、壁面損傷検出装置５は、制御部５１、記憶部５２、入力部５３、出力部５４、通信部５５を有する。
【0053】
壁面損傷検出装置５は、例えば、パーソナルコンピュータなどの情報処理装置を用いることができる。更に、壁面損傷検出装置５は、画像処理を行う演算装置やメモリ及びプログラムを備えるようにしてもよい。
【0054】
制御部５１は、壁面損傷検出装置５の各機能を司る処理部又は装置である。制御部５１は、例えば、プロセッサ、ＲＡＭ、ＲＯＭ、入出力インタフェース等を備え、ＲＯＭに記憶されているプログラムを実行することにより、壁面損傷検出装置５の各種機能を実現する。例えば、制御部５１は、プログラム（例えば、壁面損傷検出プログラムなど）を実行して、壁面損傷検出手段６１として機能する。なお、制御部５１は、例えば、ＣＰＵ、ＧＰＵ、ＤＳＰなどを用いることができる。制御部５１は、複数個のプロセッサを備えるようにしてもよく、その場合、同じ種類のプロセッサを複数個備えるようにしてもよいし、異なる種類のプロセッサを備えるようにしてもよい。
【0055】
記憶部５２は、制御部５１が実行する処理プログラム、プログラム実行に必要なデータなどを記憶する。例えば、記憶部５２は、不揮発性記憶装置などの外部記憶装置を適用することができ、壁面検査の際に、使用する属性別モジュール２、検査対象の構造物の壁面画像、機械学習による推定結果などを記憶する。
【0056】
入力部５３は、キーボード、ポインティングデバイス、タッチパネル等を適用することができる。また、入力部５３は、画像や映像を入力する入力インタフェースも含むことができる。
【0057】
出力部５４は、液晶ディスプレイ等の表示装置、プリンタ等の印刷装置などとすることができる。通信部５５は、他の装置と接続して情報を授受するものであり、ネットワークインタフェース、無線通信回路、有線通信回路などを適用できる。
【0058】
図４において、壁面損傷検出装置５の制御部５１は、壁面損傷検出手段６１を有する。図５に示すように、壁面損傷検出手段６１は、属性別モジュール取得部６１１、壁面画像取得部６１２、推論部６１３、結果出力部６１４、前処理部（「第３の画像処理部」とも呼ぶ。）６１５、後処理部（「第４の画像処理部」とも呼ぶ。）６１６を有する。
【0059】
属性別モジュール取得部６１１は、複数の属性別モジュール２－１～２－Ｋのうち、検査対象の構造物の壁面の材質種類などの属性に応じた、属性別モジュール２－ｋ（１≦ｋ≦Ｋ）を選択して、推論部６１３、前処理部６１５、後処理部６１６に設定する。
【0060】
属性別モジュール２－ｋの取得方法は、様々な方法を適用できる。例えば、クラウドサーバ上に保存している属性別モジュール２を、通信部５５を通じて、属性別モジュール取得部６１１が選択してセットするようにしてもよい。
【0061】
壁面画像取得部６１２は、検査対象とする構造物の複数の壁面画像を取得して、推論部６１３に与える。ここでは、複数の壁面画像を記憶している壁面画像ＤＢ６２から、壁面画像取得部６１２が取得する場合を例示するが、壁面画像の取得方法はこれに限らない。例えば、通信部５５を介して、ドローンが撮影した壁面画像を取得するようにしたりしてもよい。
【0062】
前処理部６１５は、属性別モジュール２－ｋに前処理方法が設定されている場合に、壁面画像に対して、設定されている前処理方法に基づく画像処理を行い、画像処理の結果を後処理部６１６に与える。
【0063】
なお、前処理部６１５は、処理時間の短縮化のため、推論部６１３と並列処理するようにしてもよい。また、推論部６１３による推論の結果、損傷候補を検出できないこともあり、その場合、後述する後処理部６１６による後処理を行なう必要がなくなる。そのため、推論結果を判断して、推論後に、前処理部６１５の処理を行なうようにしてもよい。言い換えると、前処理部６１５の処理は、推論部６１３の推論処理の後で行なうようにしてもよく、必ずしも推論前に行うことに限定されない。
【0064】
推論部６１３は、属性別モジュール２－ｋに設定されているＡＩモデル３－ｎで、それぞれの壁面画像を用いて損傷箇所を含む画像領域を推論（予測）する。これにより、複数の壁面画像のうち、損傷箇所を検出した壁面画像を、損傷が存在し得る候補とすることができる。推論部６１３における推論アルゴリズムは、教師ありのアルゴリズムを広く適用でき、ディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）等を適用できる。
【0065】
後処理部６１６は、属性別モジュール２－ｋに後処理方法が設定されている場合に、推論部６１３による推論結果に対して、設定されている後処理方法に基づく画像処理を行う。なお、後処理部６１６は、前処理部６１５による画像処理結果を用いて、より高精度な検出結果を得るようにしてもよい。
【0066】
結果出力部６１４は、推論部６１３及び後処理部６１６による推論結果を、表示装置や印刷装置等の出力部５４に出力する。例えば、壁面検査に係る帳票などの定型フォーマットがある場合には、候補とする壁面画像を載せた帳票を出力するようにしてもよい。また、入力部５３を通じて、推論結果を確認した保守者により入力された情報を載せた帳票を出力するようにしてもよい。
【0067】
（Ａ－２）実施形態の動作
次に、実施形態に係る属性別モジュール作成装置１における属性別モジュールの生成処理の動作を、図面を参照しながら説明する。
次に、実施形態に係る属性別モジュール作成装置１における属性別モジュールの生成処理の動作を、図面を参照しながら説明する。
【0068】
（Ａ－２－１）ＡＩモデル３－ｎの生成処理
まず、図６を参照しながら、ＡＩモデル３－ｎの生成処理の動作を説明した後に、属性別モジュール２－ｋの作成処理の動作を説明する。
まず、図６を参照しながら、ＡＩモデル３－ｎの生成処理の動作を説明した後に、属性別モジュール２－ｋの作成処理の動作を説明する。
【0069】
図６は、実施形態に係るＡＩモデル３－ｎの生成処理を説明する説明図である。なお、属性別のＡＩモデル３－ｎは、多数の壁面画像に基づく教師データを用いて機械学習していき学習済みモデルを生成する方法を広く適用することができる。ここでは、その一例を例示するが、図６に例示するものに限らない。
【0070】
図６において、多数の壁面画像のうち、壁面の材質の種類や色合いなどの違いによって、壁面画像を仕分けし（ステップＳ１１）、仕分けした各壁面画像に基づいて教師データを作成する（ステップＳ１２）。
【0071】
このとき、例えば、壁面画像において、事前に設定した閾値（画素値に関する閾値）を用いて、クラックが存在している画像領域と、そうでない画像領域とに区分したものを教師データとする。
【0072】
なお、壁面の材質や色合い等の属性に応じて条件を変えたものを教師データとしてもよい。また必要に応じて、クラック画像に対してラベリング処理を行い、クラック毎の画像を抽出してもよい。その場合、クラック毎に、当該クラックの長さや形状等を特定してもよい。
【0073】
学習モデル生成手段２１では、教師データ取得部２１１が、属性毎に条件を変えた教師データを取り込み、学習部２１２が、壁面画像と、壁面画像上のクラックの画像領域とを含む教師データを多数用いて機械学習していき、当該属性のＡＩモデル３－ｎを生成する（ステップＳ１３）。
【0074】
（Ａ－２－２）属性別モジュール２－ｋの作成処理
次に、実施形態に係る属性別モジュール作成装置１における属性別モジュールの作成処理の基本的な動作を説明する。
次に、実施形態に係る属性別モジュール作成装置１における属性別モジュールの作成処理の基本的な動作を説明する。
【0075】
【0076】
図７において、属性別モジュール作成手段２４は、属性毎のＡＩモデル３－ｎで、属性別検証データとしての検証用画像を用いて推論し、その結果を用いて、属性毎の属性別モジュール２－ｋを生成する。
【0077】
属性別モジュール作成手段２４では、調整対象とするＡＩモデル３－１が推論部２４２に搭載されており、そのＡＩモデル３－１の属性に対応する属性別検証データ（検証用画像）が、属性別検証データ取得部２４１により取得される（ステップＳ２１）。
【0078】
ここで、コンクリート、タイル、吹き付け材等のように壁面特性に応じて、前処理方法７、ＡＩモデル３、後処理方法８の組み合わせを設定することができ、それらの組み合わせを属性別モジュール２として作成することができる。
【0079】
前処理方法を設定する場合、図８（Ｂ）に例示するように、前処理部２４３は、検証用画像に対して施す所定の画像処理を選択して、検証用画像に対して画像処理を行い（ステップＳ２２）、前処理結果を後処理部２４４に与える。
【0080】
例えば、図８（Ｂ）では、２種類の前処理方法を行なっており、１つ目の前処理方法は、図８（Ａ）の画像において、処理対象外とする画像領域にマスクをかける処理を行っている。図８（Ｂ）では、白色領域がマスクをかけた処理対象外の画像領域としており、黒色領域が処理対象の画像領域としている。２つ目の前処理方法は、図８（Ａ）の画像の輝度を調整して画像の明るさを調整する処理を行っている。このような前処理を行なうことで、推論結果に対する後処理で精度よく損傷箇所を検出することができる。
【0081】
推論部２４２は、設定されているＡＩモデル３－１で、検証用画像を用いて推論処理を行い（ステップＳ２３）、推論結果を後処理部２４４に与える（図８（Ｃ）参照）。なお、属性別検証データ（検証用画像）を用いてＡＩモデル３で推論した結果を、ＡＩモデル３に再学習させてもよい。
【0082】
後処理部２４４は、推論部２４２の推論結果としての画像に対して、後処理として、クラック候補の明確化やクラックの連結処理など壁面特性に応じた画像処理を選択して行なう（ステップＳ２４）。このとき、後処理としての画像処理を行う後処理部２４４は、前処理部２４３の前処理結果を用いてクラック候補の明確化等の画像処理を行うようにしてもよい。その一例については後述する。
【0083】
その後、選択した、属性別のＡＩモデル３、前処理方法、後処理方法の組み合わせを属性別モジュール２として生成する（ステップＳ２５）。
【0084】
（Ａ－２－３）前処理、後処理としての画像処理例
前処理部２４３、後処理部２４４の画像処理の一例を以下に例示する。前処理部２４３は、以下に例示する各々の画像処理を行うようにしてもよいし、複数の画像処理を行い、複数の画像処理の結果を反映させてＡＩモデル３－ｎを調整するようにしてもよい。
前処理部２４３、後処理部２４４の画像処理の一例を以下に例示する。前処理部２４３は、以下に例示する各々の画像処理を行うようにしてもよいし、複数の画像処理を行い、複数の画像処理の結果を反映させてＡＩモデル３－ｎを調整するようにしてもよい。
【0085】
なお、以下では、壁面画像を２値化して画像処理を行う場合を例示するが、カラー画像であってもよい。また、以下の説明において、画像上の白色領域と黒色領域とを反転させて処理してもよい。
【0086】
（Ａ－２－３－１）クラック候補の明確化処理
以下に例示するクラック候補の明確化処理は、主として、後処理部２４４による後処理方法の一例である。
以下に例示するクラック候補の明確化処理は、主として、後処理部２４４による後処理方法の一例である。
【0087】
【0088】
図９において、属性別モジュール作成手段２４の属性別検証データ取得部２４１は、属性別検証データがあるか否かを判定し（ステップＳ１０１）、属性別検証データがある場合（ステップＳ１０１／ＹＥＳ）、属性別検証データ取得部２４１は属性別検証データを取得し（ステップＳ１０２）、推論部２４２に与える。
【0089】
推論部２４２にはＡＩモデル３－ｎが設定されており、推論部２４２は、ＡＩモデル３－ｎで、属性別検証データを用いた推論処理を行う（ステップＳ１０３）。
【0090】
例えば、図１０（Ａ）は、属性別検証データの壁面画像の画像例とする。図１０（Ａ）の画像は、白色系の吹き付け仕上げの壁面Ｗを示しており、画像の右側にクラックＣが存在しているものとする。さらに、左下側の黒色系の部分は屋根Ｒの一部であり、屋根Ｒの一部が映り込んでしまっているものとする。
【0091】
図１０（Ｂ）は、推論部２４２がＡＩモデル３－ｎで図１０（Ａ）の画像を用いて推論した推論結果とする。図１０（Ｂ）に示すように、推論結果はクラックＣの画像領域を推論（予測）できているが、推論したクラックＣの画像領域がぼやけており明確でない。また、壁面Ｗの画像領域と屋根Ｒの画像領域との境界部分も推論してしまっている。その結果、クラックＣの検出精度が良好でないといえる。
【0092】
後処理部２４４は、属性別検証データの壁面画像を用いて、次のような画像処理を行う。
【0093】
まず、後処理部２４４は、推論部２４２により推論された画像領域のそれぞれを区分して、それぞれの領域を１つの塊とし（ステップＳ１０４）、それぞれの塊を分離する（ステップＳ１０５）。
【0094】
例えば、１画素が０～２５５階調のグレースケール画像とし、黒色を０、白色を２５５とするに２値化に変換する場合を例示する。この場合、事前に閾値を設定しておき、後処理部２４４は、各画素の画素値が閾値を超えていればその画素を白色に変換し、画素値が閾値以下であればその画素を黒色に変換するものとする。このように、推論結果の画像に対して閾値を用いて２値化に変換すると、図１０（Ｃ）に示すように、推論部２４２が推論した画像領域のそれぞれを、塊として分離することができる。
【0095】
次に、後処理部２４４は、塊毎に（ステップＳ１０６／ＹＥＳ）、塊の画像領域に属している全ての画素の画素値を用いて、画素値の平均値（例えば、明度の標準偏差値）、又は画素値の標準偏差値を求める。後処理部２４４は、塊毎の画素値の平均値（又は標準偏差値）を塊毎の閾値とする。そして、塊毎の閾値を用いて、当該塊の領域の明度を補正する（ステップＳ１０７）。
【0096】
後処理部２４４は、塊毎の閾値を用いて、塊内の画像を２値化してクラックを抽出する（ステップＳ１０８）。
【0097】
当該塊に対する処理が終えると、ステップＳ１０６に移行し、他に塊がある場合には（ステップＳ１０６／ＹＥＳ）、ステップＳ１０７－Ｓ１０８の処理を繰り返し行い、他に塊がない場合には（ステップＳ１０６／ＮＯ）、ステップＳ１０１に移行する。そして、他の属性別検証データがある場合には（ステップＳ１０１）繰り返し処理を行い、他に属性別検証データがない場合には処理を終了する。
【0098】
ステップＳ１０６以降の処理について図１０を用いて説明する。例えば、図１０（Ｄ）はクラックＣの画像領域であり、図１０（Ｆ）は壁面Ｗと屋根Ｒとの境界領域であり、それぞれの塊毎に、後処理部２４４は処理を行う。後処理部２４４は、各塊の画像を用いる。例えば、図１０（Ａ）の画像から、分離した塊の領域に対応する領域における画像を抽出してもよい。
【0099】
そして、後処理部２４４は、塊毎に、塊の画像領域に属している画素の画素値の平均値をとる。各塊の画素値の平均値を当該塊の閾値とする。後処理部２４４は、塊毎の閾値を用いて、塊内の各画素の画素値が塊の閾値を超えているときには白色に変換し、画素値が塊の閾値以下のときには黒色に変換して、クラックを抽出する。
【0100】
これにより、図１０（Ｅ）に示すように、クラック部分の画像領域を白色で表したクラックを抽出することができる。他方、図１０（Ｇ）に示すように、壁面Ｗと屋根Ｒとの境界部分についてはほぼ黒色と判定されて消える。なお、図１０（Ｅ）及び図１０（Ｇ）では、クラック部分が白色、それ以外が黒色にようにする場合を例示しているが、これに限らず、白色と黒色とが逆でもよい。
【0101】
従来、壁面の材質の種類や色合いによって、明確にクラック候補を特定できないことがあった。特に、クラック部分だけなく、その周辺領域も候補としたり、クラックでない部分も候補として誤検出していたりして、検出精度が良好でなかった。
【0102】
しかし、このクラック候補の明確化の処理によれば、推論した候補のそれぞれについて、塊毎に、塊内の閾値を決定して、２値化することでクラックを精度よく検出することができる。また、誤検出も回避することができる。
【0103】
（Ａ－２－３－２）クラック候補の絞り込み処理
以下に例示するクラック候補の絞り込み処理は、主として、後処理部２４４による後処理方法の一例である。
以下に例示するクラック候補の絞り込み処理は、主として、後処理部２４４による後処理方法の一例である。
【0104】
【0105】
図１１において、属性別モジュール作成手段２４の属性別検証データ取得部２４１は、属性別検証データがあるか否かを判定し（ステップＳ２０１）、属性別検証データがある場合（ステップＳ２０１／ＹＥＳ）、属性別検証データ取得部２４１は、属性別検証データを取得する（ステップＳ２０２）。
【0106】
推論部２４２は、ＡＩモデル３－ｎで、属性別検証データを用いた推論処理を行う（ステップＳ２０３）。図１２（Ａ）は、推論部２４２が属性別検証データを用いて推論した推論結果とする。
【0107】
後処理部２４４は、推論部２４２により推論された画像において、クラックを検出し、連続性のある関連するクラック群が存在する画像領域をグループ化する（ステップＳ２０４）。
【0108】
ここで、連続性のある関連するクラック群をグループ化する方法として、例えば、後処理部２４４がクラスタリングを用いる方法がある。クラスタリングは、データ間の類似度に基づいて、データをグループ分けする方法であり、機械学習の一手法である。以下に、クラスタリングを用いた方法を例示する。
【0109】
例えば、後処理部２４４は、図１２（Ａ）の画像において、任意の位置の画素を判定対象として特定し、その画素の画素値と事前に設定した閾値とを比較し、前記閾値を超える画素値を持つ画素が存在するか否かを検出する。このとき、画素値が前記閾値以下の画素であれば（すなわち、判定するサンプルの画素の画素値が前記閾値を超えていなければ）、画素値が前記閾値を超えている他の画素を見つけるため、次の画素に移動して（判定対象の画素を変えて）、その画素の画素値と前記閾値との比較を行う。このように、画像において、判定対象とする画素を切り替えながら、全ての画素について、画素値を前記閾値との比較を行う。
【0110】
なお、次の画素への移動先としては、様々な方法をとることができるが、例えば、判定対象の画素の隣接する８個の画素のいずれかの画素へ移動させる方法を用いることができる。
【0111】
そして、上述した判定処理により、図１２（Ａ）の画像において、クラックを示す白色の画素と、黒色の画素とを、後処理部２４４は区別することができる。
【0112】
次に、後処理部２４４は、クラックを示す白色の画素の「位置」に基づいて、クラスタリング処理を行う。
【0113】
例えば、後処理部２４４は、ある画素を特定し、その画素が白色であれば、その画素に隣接する画素を見て、白色の画素であるか又は黒色の画素であるかを判定する。隣接する画素が白色の画素であるときには、特定した画素と同じクラック群であると判定してグループ化する。他方、隣接する画素が白色の画素でないときには、次の画素に移動する。このようなグループ化の判定を、画像全体で、後処理部２４４は行う。その結果、図１２（Ｂ）のように、画像上に存在するクラック群を、５個のグループＧ１～グループＧ５に区分することができる。
【0114】
なお、ここでは、グループ化のために、隣接する画素を探索する場合を例示したが、ある特定した画素の周辺画素を探索するようにしてもよい。そのとき、どの範囲を周辺とするかを示す基準（例えば、特定した画素を中心として、所定数（例えば数個～数１０個）の範囲内に存在する白色の画素は周辺画素とみなすなど）を設けるようにしてもよい。これにより、画像上では、クラック群は離れて存在しているものと判断され得るが、これらを連続性のある関連したクラック群として検出することができる。
【0115】
次に、後処理部２４４は、グループがある場合（ステップＳ２０５／ＹＥＳ）、グループ毎に、それぞれのグループのサイズを求める（ステップＳ２０６）。
【0116】
例えば、後処理部２４４は、クラックを高精度に検出するため、それぞれのグループに属している画素数をグループ毎に求める。ここでは、画素数として説明する。
【0117】
また、別の方法として、クラックの連続性を精度よく検出するため、後処理部２４４は、それぞれのグループの長さ（画像上である方向に延びる長さ）としてもよい。ここで、グループの長さとは、特定したグループに属している画素のうち、一方の端部側に位置している画素の位置から、他方の端部側に位置している画素の位置までの距離のうち、最も長い距離とする。これにより、クラック群が曲がっていることもあるが、その場合でも曲がった形状の最も長い距離を長さとして検出できる。
【0118】
後処理部２４４は、グループ毎のサイズ（ここではグループに属する画素の数）と、事前設定したグループを区別する閾値とを比較し、グループ毎のサイズが閾値以下であれば（ステップＳ２０７／ＮＯ）、そのグループを削除する（ステップＳ２０８）。
【0119】
他方、グループ毎のサイズ（グループ毎の画素数）が閾値を超える場合（ステップＳ２０７／ＮＯ）、ステップＳ２０５に移行し、他のグループがあれば（ステップＳ２０５／ＹＥＳ）、他のグループについて処理を繰り返し行い、他のグループがなければ（ステップＳ２０５／ＮＯ）、ステップＳ２０１に移行する。
【0120】
そして、他の属性別検証データがあれば（ステップＳ２０１／ＹＥＳ）、ステップＳ２０２以降の処理を繰り返し、他の属性別検証データがなければ（ステップＳ２０１／ＮＯ）、処理を終了する。
【0121】
（Ａ－２－３－３）クラック連結処理
上述した手法では、クラスタリングによりクラック領域をグループ化する場合を例示したが、これに限らない。例えば、以下のようなドロネー図を用いた作図法を用いてグループ化してもよい。
上述した手法では、クラスタリングによりクラック領域をグループ化する場合を例示したが、これに限らない。例えば、以下のようなドロネー図を用いた作図法を用いてグループ化してもよい。
【0122】
図１３は、ドロネー図化によるクラック連結処理を説明する説明図である。
【0123】
図１３（Ａ）において、後処理部２４４は、推論部２４２が推論した推論結果を用いて、検出したクラックの画像領域を線で結んでいき、クラックの連続性を検出して、連続するクラック群の領域をグループ化する。図１３（Ｂ）、図１３（Ｃ）は、ドロネー図化を説明する説明図である。
【0124】
例えば、後処理部２４４は、推論部２４２の推論結果の画像において、クラックの画像領域の点（画素）のうち、１点ずつ特定の点を選んでいき三角形を生成する。
【0125】
そして、後処理部２４４は、三角形の辺の長さと、事前に設定した閾値とを比較して、辺の長さが閾値以下であれば（すなわち、点と点との距離が閾値以下であれば）同じグループとし、辺の長さが閾値を超えていれば（点と点との距離が閾値よりも長ければ）異なるグループとする。
【0126】
さらに、後処理部２４４は、グループ毎のサイズ（ここではグループに属する画素の数）と、事前設定したグループを区別する閾値とを比較し、グループ毎のサイズが閾値以下であれば、そのグループを削除する。
【0127】
（Ａ－２－３－４）パターンマッチング処理
以下に例示するパターンマッチング処理は、主として、前処理部２４３による前処理方法の一例である。
以下に例示するパターンマッチング処理は、主として、前処理部２４３による前処理方法の一例である。
【0128】
【0129】
以下では、構造物の壁面がタイルで形成されている場合を例示する。パターンマッチングは、壁面がタイル仕上げのときに特に高精度に損傷を検出できるが、パターンマッチング処理はタイル仕上げの壁面以外の壁面にも有効である。
【0130】
図１４において、属性別モジュール作成手段２４の属性別検証データ取得部２４１は、対応の属性別検証データがあるか否かを判定し（ステップＳ４０１）、対応する属性別検証データがある場合（ステップＳ４０１／ＹＥＳ）、属性別検証データ取得部２４１は属性別検証データを取得する（ステップＳ４０２）。
【0131】
推論部２４２にはＡＩモデル３－１が設定されており、推論部２４２は、ＡＩモデル３－ｎで、属性別検証データを用いた推論処理を行う（ステップＳ４０３）。
【0132】
次に、ユーザによりタイルパターン画像（テンプレート画像）が指定され（ステップＳ４０４）、指定されたタイルパターン画像を前処理部２４３は取得する。
【0133】
ここで、タイルパターン画像は、クラックなど損傷がある壁面を検出するための基準となる画像である。例えば、図１５（Ａ）に示すように、１つ１つのタイルの形状に歪みがない壁面画像から、ユーザがタイルパターン画像を指定することで前処理部２４３が取得するようにしてもよい。従って、タイルパターン画像は、損傷がない画像、すなわち正常で健全なタイルパターンであることが望ましい。ここで、クラックはタイルの部分だけでなく、目地にも生じることがあるので、タイルパターン画像は、タイル本体の周縁に存在する目地部分を含んだものが望ましく、目地部分にも損傷がないものを指定することが望ましい。
【0134】
前処理部２４３は、属性別検証データとしてのタイル壁面画像を取得し、タイルパターン画像を用いて、タイル壁面画像に映っている全てのタイル部分の画像とパターンマッチングする（ステップＳ４０６）。
【0135】
つまり、前処理部２４３は、タイルパターン画像と、タイル壁面画像のタイル部分の画像とを照合して、所定の一致度算出手法により、一致度（類似度）を算出する。
【0136】
所定の一致度算出手法は、様々な方法を用いることができるが、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等の方法を適用でき、タイルパターン画像の全ての画素で、対象とするタイル部分の画像との差分の絶対値を求め、その総和を一致度（類似度）とする。例えば、数値が大きいほど、一致度(類似度)が低く、数値が０に近いほど一致度(類似度)が高くなる。
【0137】
前処理部２４３は、タイルパターン画像と対象とするタイル部分の画像との一致度（類似度）と、事前に設定した閾値とを比較して（ステップＳ４０７）、類似度が閾値よりも高いものを類似する、すなわち問題のないタイル部分と判定する。その後、ステップＳ４０５に移行し、タイル壁面画像における別のタイル部分の画像についてパターンマッチングを行なう。
【0138】
他方、類似度が閾値よりも低い場合、そのタイル部分の画像には、クラック等が存在している問題のあるものと判定する（Ｓ４０８）。例えば、図１５（Ｃ）に示すように、タイル部分にクラックが存在しているときには、タイルパターン画像との類似度が低く、問題のあるタイル部分として検出される。また、タイルの目地部分にクラックがある場合にも、問題のあるタイル部分として検出できる。
【0139】
その後、ステップＳ４０５に移行し、タイル壁面画像における別のタイル部分の画像についてパターンマッチングを行なう。
【0140】
ステップＳ４０５で、タイル壁面画像において、全てのタイル部分の画像についてパターンマッチングが終了すると（ステップＳ４０５）、ステップＳ４０１に移行する。そして、他の属性別検証データがあれば（ステップＳ４０１／ＹＥＳ）、ステップＳ４０２以降の処理を繰り返し、他の属性別検証データがなければ（ステップＳ４０１／ＮＯ）、処理を終了する。
【0141】
（Ａ－２－４）壁面損傷検出処理
次に、実施形態に係る壁面損傷検出装置５による壁面損傷検出処理の動作を、図面を参照しながら説明する。
次に、実施形態に係る壁面損傷検出装置５による壁面損傷検出処理の動作を、図面を参照しながら説明する。
【0142】
図１６は、実施形態に係る壁面損傷検出処理の全体的な流れを説明する説明図である。
【0143】
図１６（Ａ）、図１６（Ｂ）のように、検査対象とする構造物Ｓの壁面の状態を、例えば、保守者ＭがカメラＣＡで撮影したり、又例えば、ドローンＤに搭載のカメラＣＡで撮影したりして、構造物Ｓの壁面画像Ｐを取得する。
【0144】
また、属性別モジュール作成装置１により、属性毎に生成された複数の属性別モジュール２－１～２－ｋのうち、構造物Ｓの壁面の材質の種類や色合いに応じた属性別モジュール２－ｋを選択し、その属性別モジュール２－ｋを、壁面損傷検出装置５に設定する（図１６（Ｃ）参照）。
【0145】
選択した属性別モジュール２－ｋは、少なくとも属性別のＡＩモデル３を備え、必要に応じて、前処理方法及び後処理方法の両方又はいずれかが設定されている。
【0146】
属性別モジュール２－ｋに前処理方法が設定されている場合、前処理部６１５は、壁面画像Ｐに対して、設定されている前処理方法に基づく画像処理を施す。
【0147】
次に、推論部６１３は、属性別モジュール２－ｋのＡＩモデル３で、壁面画像Ｐを用いた推論処理を行う。
【0148】
さらに、属性別モジュール２－ｋに後処理方法が設定されている場合、後処理部６１６は、推論部６１３による推論結果に対して、設定されている後処理方法に基づく画像処理を行い、壁面画像における損傷箇所を検出する。
【0149】
【0150】
図１７（Ａ）はコンクリートの壁面画像Ｐとし、図１７（Ｂ）はＡＩモデル３－ｎを用いて損傷箇所を検出した結果を示し、図１７（Ｃ）は属性別モジュール２－ｋを用いて損傷箇所を検出した結果を示している。図１７（Ｂ）と図１７（Ｃ）とを比較すると、属性別モジュール２－ｋを用いた検出結果の方が、クラック箇所がより鮮明に現れており、クラックの連続性も精度よく検出できていることが分かる。
【0151】
図１８（Ａ）は、橋梁の橋脚の壁面画像Ｐとし、図１８（Ｂ）はＡＩモデル３－ｎを用いて損傷箇所を検出した結果を示し、図１８（Ｃ）は属性別モジュール２－ｋを用いて損傷箇所を検出した結果を示している。図１８（Ｂ）と図１８（Ｃ）とを比較すると、この場合も、属性別モジュール２－ｋを用いた検出結果の方が、クラック箇所がより鮮明に現れており、クラックの連続性も精度よく検出できていることが分かる。
【0152】
【0153】
（Ａ－３）実施形態の効果
以上のように、この実施形態によれば、属性別モジュール作成手段２４が、ＡＩモデル３－ｎで検証データを用いて推論した推論結果と、検証データの画像を用いて画像処理を行った画像処理結果とを照合して、構造物の外壁材の属性毎にＡＩモデル３－ｎを調整して、属性毎のモデル（属性別モジュール）を生成することができる。
以上のように、この実施形態によれば、属性別モジュール作成手段２４が、ＡＩモデル３－ｎで検証データを用いて推論した推論結果と、検証データの画像を用いて画像処理を行った画像処理結果とを照合して、構造物の外壁材の属性毎にＡＩモデル３－ｎを調整して、属性毎のモデル（属性別モジュール）を生成することができる。
【0154】
また、この実施形態によれば、検査対象とする構造物の表面特性に応じた属性別モジュールで、壁面画像を用いた壁面の損傷検出処理を行なうことで、従来よりも高精度の損傷検出が可能となる。
【0155】
（Ｂ）他の実施形態
上述した実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。
上述した実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。
【0156】
（Ｂ－１）上述した実施形態では、ひび割れが黒色部分で撮影される場合を例示しているため、黒色部分を損傷の対象として画像処理を行なった場合を示した。しかし、別の色を対象とする属性別モジュールにカスタマイズすることで、例えばエフロレッセンスのような白色対象を検出することができる。
【0157】
例えば、図１９を用いて、クラック候補の明確化処理を行う場合を例示する。図１９（Ａ）の画像では、ひび割れが「黒色」で現れており、エフロレッセンスが「白色」で現れているものとする。ここでは、画像に現れている欠陥（損傷）の色が異なる場合でも、前処理及び後処理の画像処理を調整することで、損傷の検出精度を飛躍的に向上させることができることを説明する。
【0158】
図１９（Ｂ）及び図１９（Ｃ）は、画像上で、黒色で現れているクラックを検出する場合を例示している。この処理は、基本的には、上述した実施形態で説明した処理を適用できる。つまり、ＡＩモデル３の生成時若しくはチューニング時には、図１９（Ｂ）に例示するように、ひび割れを欠陥対象とした画像を教師データとして機械学習する。また検出時（推論時）には、図１９（Ｂ）に例示する画像のように、検出結果として得ることができる。そして、後処理として、図１９（Ｃ）のように、推論された候補の塊に、「黒い・暗い」領域を強調して抽出する。
【0159】
図１９（Ｄ）及び図１９（Ｅ）は、画像上で、白色で現れているエフロレッセンスを検出する場合を例示している。この例の場合、図１９（Ａ）の画像上では白色で現れるが、画像処理上で欠陥か否かの判断は「ＴＲＵＥ」又は「ＦＡＬＳＥ」で判断するので、エフロレッセンスを欠陥対象とする場合、図１９（Ｄ）のような画像となり、これを教師データとしたり又は検出結果としたりすることができる。そして、後処理として、図１９（Ｅ）のように、推論された候補の塊に、「白い・明るい」領域を強調して抽出することで、同様に欠陥箇所を明確化することができる。
【0160】
この変形例では、クラック候補の明確化処理を例示したが、他の前処理方法、後処理方法においても同様に適用できる。
【0161】
（Ｂ－２）上述した実施形態では、外壁材の材質が、コンクリート、塗料の吹き付け仕上げ等を例示したが、これらに限定されず、今後開発される新しい素材の壁面であってもよい。
【符号の説明】
【0162】
１…属性別モジュール作成装置、２（２－１～２－Ｋ）…属性別モジュール、３（３－１～３－Ｎ）…ＡＩモデル、１１…制御部、１２…記憶部、１３…入力部、１４…表示部、１５…通信部、２１…学習モデル生成手段、２４…属性別モジュール生成手段、２１１…教師データ取得部、２１２…学習部、２４１…属性別検証データ取得部、２４２…推論部、２４３…前処理部、２４４…後処理部、
５…壁面損傷検出装置、５１…制御部、５２…記憶部、５３…入力部、５４…出力部、５５…通信部、６１…壁面損傷検出手段、６１１…属性別モジュール取得部、６１２…壁面画像取得部、６１３…推論部、６１４…結果出力部、６１５…前処理部、６１６…後処理部、２２…教師データＤＢ、２３…ＡＩモデルＤＢ、２５…属性別モジュールＤＢ。
５…壁面損傷検出装置、５１…制御部、５２…記憶部、５３…入力部、５４…出力部、５５…通信部、６１…壁面損傷検出手段、６１１…属性別モジュール取得部、６１２…壁面画像取得部、６１３…推論部、６１４…結果出力部、６１５…前処理部、６１６…後処理部、２２…教師データＤＢ、２３…ＡＩモデルＤＢ、２５…属性別モジュールＤＢ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】