ホーム > 特許ランキング > 株式会社日立システムズ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-30
(45)【発行日】2022-10-11
(54)【発明の名称】構造物劣化検出システム
(51)【国際特許分類】
G06T 7/00 20170101AFI20221003BHJP
G06V 10/82 20220101ALI20221003BHJP
G01N 21/88 20060101ALI20221003BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 610
G06V10/82
G01N21/88 J
【請求項の数】
11
(21)【出願番号】P 2018093639
(22)【出願日】2018-05-15
(65)【公開番号】P2019200512
(43)【公開日】2019-11-21
【審査請求日】2021-04-30
(73)【特許権者】
【識別番号】000233491
【氏名又は名称】株式会社日立システムズ
(74)【代理人】
【識別番号】110002066
【氏名又は名称】弁理士法人筒井国際特許事務所
(72)【発明者】
【氏名】井上 祐貴
(72)【発明者】
【氏名】永吉 洋登
(72)【発明者】
【氏名】大田 俊介
(72)【発明者】
【氏名】大西 健太郎
(72)【発明者】
【氏名】成田 賀仁
(72)【発明者】
【氏名】野口 孝史
(72)【発明者】
【氏名】植田 良一
(72)【発明者】
【氏名】仲村柄 真人
(72)【発明者】
【氏名】勝又 大介
【審査官】新井 則和
(56)【参考文献】
【文献】Mohammad Azam Khan et al.，Intelligent Fault Detection via Dilated Convolutional Neural Networks，2018 IEEE International Conference on Big Data and Smart Computing (BigComp)，IEEE，2018年01月17日，729-731，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8367217
【文献】畳み込みニューラルネットワークを用いた地下鉄トンネルにおける変状検出に関する検討，映像情報メディア学会技術報告 Ｖｏｌ．４１ Ｎｏ．５，映像情報メディア学会，2017年02月13日，81-86，マルチメディアストレージ （ＭＭＳ２０１７－１３） コンシューマエレクトロニクス （ＣＥ２０１７－１３） ヒューマンインフォメーション （ＨＩ２０１７－１３） メディア工学 （ＭＥ２０１７－３７） 映像表現＆コンピュータグラフィックス （ＡＩＴ２０１７－１３）
【文献】Lei Zhang et al.，Road crack detection using deep convolutional neural network，2016 IEEE International Conference on Image Processing (ICIP)，IEEE，2016年08月19日，3708-3712，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7533052
【文献】Zhun Fan et al.，Automatic Pavement Crack Detection Based on Structured Prediction with the Convolutional Neural Network，Computer Vision and Pattern Recognition (cs.CV) arXiv:1802.02208, [online]，2018年02月01日，［令和4年4月21日検索］，インターネット ＜URL：https://arxiv.org/pdf/1802.02208.pdf＞，https://arxiv.org/pdf/1802.02208.pdf
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
Ｇ０６Ｔ １０／００－１０／９８
Ｇ０１Ｎ ２１／８８
(57)【特許請求の範囲】
【請求項1】
計算機システム上に構成され、構造物の表面のひび割れを含む劣化を検出する構造物劣化検出システムであって、前記計算機システムは、
前記構造物の表面が撮像された第１画像を入力として、深層学習を用いて、前記劣化の診断結果を表す情報を含む第２画像を出力する第１処理と、
前記第１画像および前記第２画像を含む情報を可視化して画面に表示し、ユーザによる入力操作を受け付ける第２処理と、
を行い、
前記深層学習のモデルを構成する畳み込みニューラルネットワークは、拡幅畳み込みフィルタを演算する拡幅畳み込み層を含み、
前記第１処理は、
訓練時に、訓練用画像データに基づいて、所定の第１入力サイズの第１画像パッチを前記モデルに入力して、第１出力サイズの第１診断結果画像を得る訓練処理と、
前記構造物の対象画像の診断時に、可変サイズとして前記第１入力サイズ以上である前記対象画像から、第２入力サイズの第２画像パッチを切り出し、各々の第２画像パッチを前記モデルに入力して、第２出力サイズの各々の第２診断結果画像を得る診断処理と、
を含み、
前記モデルの前記拡幅畳み込みフィルタは、stride数が１であり、dilate数が２以上であり、
前記第２出力サイズは、縦横の画素数が複数であり、
前記第２画像は、画素毎に劣化推定確率値を持つ、
構造物劣化検出システム。
【請求項2】
請求項１記載の構造物劣化検出システムにおいて、前記第２画像は、画素毎に劣化推定確率値を持ち、
前記第２処理は、前記画面の前記第２画像に対する前記ユーザの操作に基づいて、前記画素毎に前記診断結果が正解か否かを表す正解付け情報が入力された第３画像を作成する処理を含み、
前記第１処理は、前記第３画像を前記訓練処理に用いる、
構造物劣化検出システム。
【請求項3】
請求項１記載の構造物劣化検出システムにおいて、前記第１処理は、前記訓練用画像データを作成するデータ拡張処理を含み、
前記データ拡張処理は、画像に対するシフト処理を伴わない反転処理およびノイズ付加処理を含む、
構造物劣化検出システム。
【請求項4】
請求項１記載の構造物劣化検出システムにおいて、前記第１処理は、前記モデルによる診断結果またはユーザによる設定に基づいて、前記訓練用画像データとして前記モデルの誤検出の弱点を学習させるための弱点強調データを用いて前記訓練処理を行う処理を含む、
構造物劣化検出システム。
【請求項5】
請求項４記載の構造物劣化検出システムにおいて、前記弱点強調データは、植物画像または直線群画像を含む、
構造物劣化検出システム。
【請求項6】
請求項１記載の構造物劣化検出システムにおいて、前記第１処理は、回転処理を含み、
前記回転処理は、前記第１画像パッチを回転させることで複数の画像を生成し、前記複数の画像の各々の画像を前記モデルに入力して、各々の診断結果画像から、画素毎に劣化推定確率値が最大の部分を抽出して、１つの診断結果画像に統合する処理を含む、
構造物劣化検出システム。
【請求項7】
請求項６記載の構造物劣化検出システムにおいて、前記回転処理は、前記第１画像パッチを回転させる際、１８０度範囲内で、所定の回転角度θで等分割に回転させることで前記複数の画像を生成する処理を含む、
構造物劣化検出システム。
【請求項8】
請求項１記載の構造物劣化検出システムにおいて、前記計算機システムは、対象の前記構造物に関する、前記第１画像における複数の画像を、解像度が一定になるようにサイズを補正し、前記解像度が一定の前記複数の画像のサイズから、前記第１入力サイズを決定して設定する、
構造物劣化検出システム。
【請求項9】
請求項１記載の構造物劣化検出システムにおいて、前記第２処理は、
前記画面に、前記第２画像として前記第１診断結果画像または前記第２診断結果画像の画素毎に劣化推定確率値を多階調で表した多階調画像を表示する処理と、
前記画面に、前記劣化推定確率値に関する二値化のための第１閾値を可変に設定するための第１部品を表示し、前記ユーザの前記第１部品の操作に基づいて前記第１閾値を変更する処理と、
前記変更された前記第１閾値に応じて、前記第２画像の前記劣化推定確率値を二値化した二値化画像を生成して、前記画面に表示する処理と、
を含む、構造物劣化検出システム。
【請求項10】
請求項９記載の構造物劣化検出システムにおいて、前記第２処理は、
前記画面に、前記劣化と推定された画素が隣接する劣化領域のサイズに関する第２閾値を可変に設定するための第２部品を表示し、前記ユーザの前記第２部品の操作に基づいて前記第２閾値を変更する処理と、
前記変更された前記第２閾値に応じて、前記第２画像の前記二値化画像における前記劣化領域のうちサイズが小さい劣化領域を除去した画像を生成して、前記画面に表示する処理と、
を含む、構造物劣化検出システム。
【請求項11】
請求項９記載の構造物劣化検出システムにおいて、前記第２処理は、
前記画面に、前記劣化と推定された画素が隣接する劣化領域のうち直線形状領域の除去に関する第３部品を表示し、前記ユーザの前記第３部品の操作に基づいて前記直線形状領域の除去を受け付ける処理と、
前記直線形状領域の除去の受け付けに応じて、前記第２画像の前記二値化画像における前記劣化領域のうち前記直線形状領域を抽出して除去した画像を生成して、前記画面に表示する処理と、
を含む、構造物劣化検出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、構造物の劣化等の状態を検出するための情報処理システム等の技術に関する。特に、機械学習を用いて劣化等の状態を学習および診断する技術に関する。
【背景技術】
【0002】
各種の建築物やインフラ設備等の構造物（例えば家、ビル、道路、鉄道、橋、トンネル、電気設備、水道設備、通信設備等を含む）は、経年老朽化や災害等に伴い、ひび割れ、さび・腐食、剥離、異物付着等の劣化や損傷等の状態（「劣化」と総称して記載する場合がある）が発生する。そのため、維持管理のために点検補修等の対策作業が必要である。しかし、その作業のための人員不足や高コスト等の社会的課題がある。それに対し、計算機を用いて構造物の劣化等の状態を診断、検出するシステム（構造物劣化検出システムと記載する場合がある）が開発され、有効性が期待されている。
【0003】
構造物劣化検出に係わる従来技術例では、カメラを用いて対象構造物の表面が撮像され、その撮像された画像を人（作業者）が目視で劣化を診断し検出する作業が行われる。あるいは、計算機に画像が入力され画像処理等によって劣化箇所を推定し検出する処理が行われる。あるいは、特に、計算機で機械学習を用いて画像から特徴を学習（訓練とも呼ばれる）し診断するシステムが開発されている。
【0004】
上記機械学習を用いた構造物劣化検出に係わる先行技術例として、特許第６２９４５２９号公報（特許文献１）が挙げられる。特許文献１では、「ひび割れ検出処理装置」等として、機械学習を用いて、路面画像からひび割れを検出する旨、路面画像を分割したブロック画像を処理する旨等が記載されている。
【0005】
機械学習の１つとして深層学習（ディープラーニング）がある。近年では、深層学習において畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）等を用いて画像の学習および診断を行う技術が開発されている。非特許文献１には、ＣＮＮの手法の一例として、訓練を画像パッチ単位で行い、診断（推論）を可変サイズ入力画像単位で行う旨が記載されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特許第６２９４５２９号公報
【非特許文献】
【0007】
【文献】P. Sermanet, D. Eigen, X. Zhang, M. Mathieu, R. Fergus, and Y. LeCun, “OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks”, arXiv:1312.6229 [cs], Dec. 2013. ＜URL：https://arxiv.org/pdf/1312.6229.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来技術例の構造物劣化検出システムでは、計算機において教師情報入力を含む機械学習を用いて、入力画像から劣化等の特徴を学習および診断して検出する。その際、特に深層学習を用いる場合、計算機性能にも依るが、ＣＮＮのモデル（ネットワークとも呼ばれる）の計算に関する計算時間が長くかかる。多数の画像を処理する必要があり、何回もモデル計算を行う必要があること等から、計算時間が長くかかる。また、そのシステムでは、その計算時間と、ユーザ（作業者）による作業時間とを含め、全体的に時間が長くかかる。
【0009】
また、そのシステムでは、ユーザによる作業の手間も大きい。例えば、ユーザは、計算機の機械学習による診断結果画像を画面で見て、画素毎に劣化推定結果が正解か否かを入力する正解付け作業を行う。正解付け情報を教師情報としてモデルに反映することで、診断の精度を高めることができる。しかし、ユーザによる正解付け作業の手間が大きい。ユーザの作業負担の低減も求められている。
【0010】
本発明の目的は、構造物劣化検出システム技術に関して、劣化検出の精度を確保しつつ、計算機での学習および診断に要する計算時間およびユーザの作業時間を含む時間を短縮でき、ユーザの作業負担を低減できる技術を提供することである。
【課題を解決するための手段】
【0011】
本発明のうち代表的な実施の形態は、構造物劣化検出システムであって、以下に示す構成を有することを特徴とする。一実施の形態の構造物劣化検出システムは、計算機システム上に構成され、構造物の表面のひび割れを含む劣化を検出する構造物劣化検出システムであって、前記計算機システムは、前記構造物の表面が撮像された第１画像を入力として、深層学習を用いて、前記劣化の診断結果を表す情報を含む第２画像を出力する第１処理と、前記第１画像および前記第２画像を含む情報を可視化して画面に表示し、ユーザによる入力操作を受け付ける第２処理と、を行い、前記深層学習のモデルを構成する畳み込みニューラルネットワークは、拡幅畳み込みフィルタを演算する拡幅畳み込み層を含み、前記第１処理は、訓練時に、訓練用画像データに基づいて、所定の第１入力サイズの第１画像パッチを前記モデルに入力して、第１出力サイズの第１診断結果画像を得る訓練処理と、前記構造物の対象画像の診断時に、可変サイズとして前記第１入力サイズ以上である前記対象画像から、第２入力サイズの第２画像パッチを切り出し、各々の第２画像パッチを前記モデルに入力して、第２出力サイズの各々の第２診断結果画像を得る診断処理と、を有する。
【発明の効果】
【0012】
本発明のうち代表的な実施の形態によれば、構造物劣化検出システム技術に関して、劣化検出の精度を確保しつつ、計算機での学習および診断に要する計算時間およびユーザの作業時間を含む時間を短縮でき、ユーザの作業負担を低減できる技術を提供することである。
【図面の簡単な説明】
【0013】
【図1】本発明の実施の形態１の構造物劣化検出システムの構成を示す図である。
【図2】実施の形態１で、構造物劣化検出ソフトウェアの構成を示す図である。
【図3】実施の形態１で、画像パッチおよびＤＬ－ＣＮＮモデル等を示す図である。
【図4】実施の形態１で、拡幅畳み込みフィルタの例を示す図である。
【図5】実施の形態１で、拡幅畳み込み処理を示す図である。
【図6】実施の形態１で、ＣＮＮモデルおよび計算を示す図である。
【図7】実施の形態１で、画像サイズ関係等を示す図である。
【図8】実施の形態１で、訓練時の処理フローを示す図である。
【図9】実施の形態１で、弱点画像等について示す図である。
【図10】実施の形態１で、弱点画像の例を示す図である。
【図11】実施の形態１で、ＭＩＬ回転処理を示す図である。
【図12】実施の形態１で、診断時の第１処理の処理フローを示す図である。
【図13】実施の形態１で、可視化画面表示時の第２処理の処理フローを示す図である。
【図14】実施の形態１で、可視化画面の表示例を示す図である。
【図15】実施の形態１で、各種画像の例を示す図である。
【図16】実施の形態１で、二値化画像等の例を示す図である。
【図17】実施の形態１で、モデル入力サイズ設定について示す図である。
【図18】比較例の構造物劣化検出システムで、ＤＬ－ＣＮＮのモデル等を示す図である。
【図19】比較例の構造物劣化検出システムで、モデルおよび計算を示す図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。
【0015】
［課題等］
前提技術や課題等について以下に補足説明する。
前提技術や課題等について以下に補足説明する。
【0016】
（１）従来技術例の構造物劣化検出システムとして、深層学習等の機械学習を用いずに、人が画像から劣化を診断するシステムの場合における、作業者等のユーザの点検業務のフローは以下である。（１－１）ユーザは、現地で点検対象のインフラ設備等の構造物をカメラで撮影する。例えば、ある対象構造物について、カメラ撮影画像枚数が1000枚となる。（１－２）ユーザは、撮影した全画像の各画像に対し、ひび割れ等の劣化箇所があるかどうかを目視で確認、診断する。例えば、カメラ撮影画像1000枚が目視対象画像となり、目視対象画像1000枚のうち、劣化箇所を含む画像として80枚が抽出される。上記従来技術例の場合、ユーザの診断作業等の手間や負担が大きく、長い時間がかかる。
【0017】
（２）従来技術例の構造物劣化検出システムとして、機械学習を用いて、計算機が画像から劣化を学習および診断するシステムの場合における、ユーザの点検業務のフローは以下である。（２－１）同様に、対象構造物をカメラで撮影した画像、例えば1000枚が用意される。それらの画像データが計算機に入力される。（２－２）計算機は、全画像の各画像に対し、機械学習による劣化診断を実行する。画像毎にモデル計算が適用され、診断結果情報として、劣化推定箇所を含む画像（診断結果画像）、例えば100枚が得られる。画像数に応じてモデル計算の繰り返しが必要であり、長い計算時間がかかる。（２－３）ユーザは、画面で、各診断結果画像内の劣化推定箇所を目視で確認し、その劣化推定箇所が実際に劣化であるかどうか、最終判定を行う。また、ユーザは、画面で、画像内の劣化推定結果が正解か否かを確認して正解付け情報を入力し、モデルに反映する。上記従来技術例の場合、計算機の計算時間とユーザの作業時間とを含め、長い時間がかかる。
【0018】
（実施の形態１）
図１～図１９を用いて、本発明の実施の形態１の構造物劣化検出システムについて説明する。実施の形態１の構造物劣化検出システムは、計算機システム上に構成され、構造物の表面のひび割れを含む劣化を検出するシステムである。計算機システムは、構造物の表面が撮像された第１画像（画像群）を入力として、深層学習（ＤＬと略す場合がある）を用いて、劣化の診断結果を表す情報を含む第２画像を出力する第１処理（劣化診断処理）を行う。また、計算機システムは、第１画像および第２画像を含む情報を可視化して画面に表示し、ユーザによる入力操作を受け付ける第２処理（可視化処理）を行う。深層学習のモデルを構成するＣＮＮは、拡幅畳み込みフィルタを演算する拡幅畳み込み層を含む。第１処理は、訓練時に、訓練用画像データに基づいて、所定の第１入力サイズの第１画像パッチをモデルに入力して、第１出力サイズの第１診断結果画像を得る訓練処理を含む。また、第１処理は、対象構造物の対象画像の診断時に、可変サイズとして第１入力サイズ以上である対象画像から、第２入力サイズの第２画像パッチを切り出し、各々の第２画像パッチをモデルに入力して、第２出力サイズの各々の第２診断結果画像を得る診断処理を含む。
図１～図１９を用いて、本発明の実施の形態１の構造物劣化検出システムについて説明する。実施の形態１の構造物劣化検出システムは、計算機システム上に構成され、構造物の表面のひび割れを含む劣化を検出するシステムである。計算機システムは、構造物の表面が撮像された第１画像（画像群）を入力として、深層学習（ＤＬと略す場合がある）を用いて、劣化の診断結果を表す情報を含む第２画像を出力する第１処理（劣化診断処理）を行う。また、計算機システムは、第１画像および第２画像を含む情報を可視化して画面に表示し、ユーザによる入力操作を受け付ける第２処理（可視化処理）を行う。深層学習のモデルを構成するＣＮＮは、拡幅畳み込みフィルタを演算する拡幅畳み込み層を含む。第１処理は、訓練時に、訓練用画像データに基づいて、所定の第１入力サイズの第１画像パッチをモデルに入力して、第１出力サイズの第１診断結果画像を得る訓練処理を含む。また、第１処理は、対象構造物の対象画像の診断時に、可変サイズとして第１入力サイズ以上である対象画像から、第２入力サイズの第２画像パッチを切り出し、各々の第２画像パッチをモデルに入力して、第２出力サイズの各々の第２診断結果画像を得る診断処理を含む。
【0019】
実施の形態１の構造物劣化検出システムの場合における、ユーザの点検業務のフローは以下である。（３－１）同様に、対象構造物をカメラで撮影した画像、例えば1000枚が用意される。それらの画像データが計算機に入力される。（３－２）本システムは、全画像の各画像に対し、深層学習による劣化診断を実行する。診断結果画像として、劣化推定箇所を含む画像、例えば100枚が得られる。１回のモデル計算では、第２出力サイズ（縦横の画素数が複数）の診断結果情報が得られる。ＣＮＮの所定の層においてstride数を２以上に設定する従来技術例では、出力サイズは、入力サイズよりも倍数的に小さくなり、出力が疎になってしまう。したがって、非特許文献１のように数十回モデルを使用するか、従来技術例のように画素毎にモデルを使用することにより、出力を密にする処理を行う必要がある。一方、実施の形態１のシステムでは、ＣＮＮのすべての層においてstride数を１に設定することにより、１回のモデルの使用で密な出力を作成することができ、１枚の画像に要する計算時間が短く抑制されている。上記劣化診断のモデル計算は、画像毎に、訓練または作業時の実診断として行われ、その度にモデルが学習（更新）される。
【0020】
（３－３）本システムは、計算機のアプリ上で、画面に診断結果画像を表示する。診断結果画像に対応する目視対象画像が例えば100枚である。ユーザは、画面で各画像を目視で確認し、劣化推定箇所が実際に劣化であるか否か、最終判定を行う。ユーザの最終判定結果の劣化箇所を含む画像として例えば80枚が抽出される。また、ユーザは、画面で訓練用画像の診断結果画像に対し、劣化推定結果が正解か否かの正解付け作業を行い、正解付け画像がモデルに反映される。これにより、診断の精度が高められる。
【0021】
上記のように、本システムでは、深層学習を用いた劣化診断によって、ユーザの目視対象画像を絞り込むことができる。上記例では1000枚から100枚に低減されている。これにより、ユーザの点検作業に係わる工数、時間やコスト等を削減できる。上記のように、本システムでは、劣化診断を完全に自動化するのではなく、深層学習を用いて劣化診断の一部を自動化する。本システムでは、アプリ上で画面に診断結果画像を可視化し、ユーザの目視確認での最終判定や正解付けを含む作業を効率化するように支援する。これにより、正確性を確保しつつ、劣化検出に係わる時間を短縮する。
【0022】
［構造物劣化検出システム］
図１は、実施の形態１の構造物劣化検出システムを含む全体の構成を示す。図１の全体は、計算機システム１、構造物５、カメラ４を有する。構造物５は、劣化診断対象であり、各種の建築物やインフラ設備等が該当する。カメラ４は、ユーザ（作業者）の操作に基づいて、構造物５の表面を撮像し、画像４１（静止画または動画）を含む画像データを得る。画像４１には劣化４２の箇所が含まれている場合がある。実施の形態１では、劣化４２として少なくともひび割れを含む。
図１は、実施の形態１の構造物劣化検出システムを含む全体の構成を示す。図１の全体は、計算機システム１、構造物５、カメラ４を有する。構造物５は、劣化診断対象であり、各種の建築物やインフラ設備等が該当する。カメラ４は、ユーザ（作業者）の操作に基づいて、構造物５の表面を撮像し、画像４１（静止画または動画）を含む画像データを得る。画像４１には劣化４２の箇所が含まれている場合がある。実施の形態１では、劣化４２として少なくともひび割れを含む。
【0023】
実施の形態１の構造物劣化検出システムは、主に計算機システム１によって構成されている。計算機システム１は、任意の計算機を含むシステムであり、例えば、ＰＣである計算機２と、サーバである計算機３とが、通信網６を介して接続されるシステムである。計算機システム１は、複数の計算機で構成されてもよい。計算機２は、例えば、構造物５の管理者や点検を請負った事業者等の任意の組織における、構造物劣化検出に係わる作業を行うユーザ（作業者）が使用する、クライアント端末装置となるＰＣである。ユーザとして複数の人がいてもよい。計算機３は、例えば、事業者によるクラウドコンピューティングシステムやデータセンタ等のシステム上に設けられたサーバ装置である。計算機２や計算機３には、ＧＰＵ（Graphics Processing Unit）を備えてもよい。
【0024】
計算機２および計算機３には、構造物劣化検出ソフトウェア１０（アプリともいう）が設けられている。計算機２には、構造物劣化検出ソフトウェア１０のクライアントプログラム２０がインストールされている。計算機３には、構造物劣化検出ソフトウェア１０のサーバプログラム３０がインストールされている。計算機２のクライアントプログラム２０は、クライアント機能を実現し、計算機３のサーバプログラム３０は、サーバ機能を実現する。クライアントプログラム２０とサーバプログラム３０とは、通信網６を介して相互にクライアントサーバ通信で連携する。
【0025】
構造物劣化検出ソフトウェア１０は、ＣＰＵ等によるプログラム処理に基づいて、劣化検出機能や可視化機能を実現する。劣化検出機能は、ＣＮＮを含む深層学習のモデル（ＤＬ－ＣＮＮ）３１を用いて、画像内のひび割れ等の劣化を学習および診断する処理を行う。劣化検出機能の処理は、正解付け処理を含む。劣化検出機能では、ＣＮＮのモデル３１に対する訓練時の画像パッチの入力サイズを一定の第１入力サイズとし、対象画像の診断時の画像パッチの入力サイズを、可変サイズの画像に基づいた第２入力サイズ（第１入力サイズ以上）とする。可視化機能は、対象画像や劣化診断結果画像を含む情報を可視化してＧＵＩ画面２１に表示し、ユーザによる入力操作を受け付ける可視化処理を行う。
【0026】
計算機２のクライアントプログラム２０は、サーバプログラム３０のサービスとの通信に基づいて、グラフィカル・ユーザ・インタフェース（ＧＵＩ）となるＧＵＩ画面（可視化画面）２１をユーザに対して提供する。計算機２のクライアントプログラム２０は、ユーザ操作入力やＧＵＩ画面２１の表示処理を担当する。計算機２にタッチパネル表示装置を備える場合、ＧＵＩ画面２１はタッチ操作可能な画面としてもよい。
【0027】
計算機２のクライアントプログラム２０は、構造物５に関してカメラ４によって撮像された画像の画像データを入力し、計算機２側の記憶装置または計算機３側のＤＢ３２等に保存する。記憶装置やＤＢ３２としては、ＣＰＵまたはＧＰＵ等が扱う画像メモリ、保存用の不揮発性メモリ、各種のストレージ装置やＤＢサーバ等が適用可能である。計算機２に入力される画像データには、属性情報等の画像情報を伴う。画像データの画像情報は、ＩＤ（識別情報）や撮影日時等の他に、カメラ４の画素数、画角（または画角を計算可能である焦点距離およびセンササイズ等）等の情報を含む。画像情報は、対象物距離情報（カメラ４と構造物５の表面との距離）を含んでもよい。あるいは、計算機２は、ユーザの操作に基づいて、画像データに、カメラ画素数等の画像情報を設定してもよい。計算機２は、画像の処理によって対象物距離等を計算してもよい。カメラ４とは別の距離センサ等を用いて対象物距離等を計測して、画像データと共に入力してもよい。
【0028】
計算機３のサーバプログラム３０は、ＣＮＮを含む深層学習のモデル（ＤＬ－ＣＮＮ）３１を構成し、モデル３１を用いた計算によって、劣化の学習および診断等の処理を行う。計算機３のサーバプログラム３０は、一般的に計算負荷が高い、深層学習のモデル３１を用いた計算処理を担当する。また、サーバプログラム３０は、ＧＵＩ画面２１のための画面データを計算機２へ送信する。サーバプログラム３０は、ＤＢ（データベース）３２に、モデル３１を含む各種のデータや情報を格納して管理する。
【0029】
ＤＢ３２のデータや情報として、画像データ、構造物データ、診断データ等がある。画像データは、カメラ４で撮像された画像群や、訓練用の画像群や、診断結果画像群等のデータである。構造物データは、構造物５に関する管理情報や３次元オブジェクトデータ等である。診断データは、実施の形態１の構造物劣化検出システムおよびユーザによって構造物５の劣化を診断した結果を含む、点検作業の結果をまとめたデータである。
【0030】
ＰＣである計算機２は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリ、マウスやキーボード等の入力機器、液晶表示装置等の出力機器、入出力インタフェース装置、通信インタフェース装置、等の公知の要素を備える。サーバである計算機３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリ、入力機器、出力機器、入出力インタフェース装置、通信インタフェース装置、等の公知の要素を備える。
【0031】
なお、図１の計算機システム１の構成例に限らず可能である。例えば、計算機２の処理と計算機３の処理とを１台の計算機に統合した形態でもよい。ユーザが所持するカメラ機能付き携帯情報端末装置で主な処理を行う形態でもよい。構造物５の画像群を取得するための技術的手段に関しては、人手によるカメラ４での撮影に限定されず、各種の手段が適用可能である。
【0032】
［構造物劣化検出ソフトウェア］
図２は、構造物劣化検出ソフトウェア（アプリ）１０に関する構成を示す。アプリ１０は、データセット１０１、ネットワーク構成１０２（モデル３１に対応する）、ＧＵＩ画面１０３（ＧＵＩ画面２１に対応する）を有する。アプリ１０は、第１処理機能１１（訓練・診断機能）、第２処理機能１２（可視化機能）、カメラ画像入力機能１３、ＭＩＬ回転機能１４、モデル入力サイズ設定機能１５、評価・絞り込み機能１６等を有する。
図２は、構造物劣化検出ソフトウェア（アプリ）１０に関する構成を示す。アプリ１０は、データセット１０１、ネットワーク構成１０２（モデル３１に対応する）、ＧＵＩ画面１０３（ＧＵＩ画面２１に対応する）を有する。アプリ１０は、第１処理機能１１（訓練・診断機能）、第２処理機能１２（可視化機能）、カメラ画像入力機能１３、ＭＩＬ回転機能１４、モデル入力サイズ設定機能１５、評価・絞り込み機能１６等を有する。
【0033】
データセット１０１は、画像データとして、オリジナル画像群２１１、弱点画像群２１２を含む。オリジナル画像群２１１は、カメラ４で対象物５の表面を撮像した画像群である。オリジナル画像群２１１は、実際のひび割れを含む画像や、実際のひび割れを含まない画像を有する。弱点画像群２１２は、後述するが、モデル３１の弱点を学習するための画像群である。データセット１０１の画像データは、カメラ４の画像に基づいた、訓練用画像、正解付け画像、診断対象画像、診断結果画像、等を含む。訓練用画像は、点検作業時の診断よりも前に、モデル３１を学習させるための画像である。正解付け画像は、診断結果画像に対してユーザが正解付け入力した画像である。診断対象画像は、点検作業時に実診断する対象画像であり、一定サイズに限定されない可変サイズである。診断結果画像は、モデル３１から計算の結果として出力される画像である。
【0034】
カメラ画像入力機能１３は、カメラ４からの画像データおよび画像情報を入力し、データセット１０１の一部として管理する。アプリ１０は、画像情報を含む管理情報２１３を作成し管理する。
【0035】
第１処理機能１１（訓練・診断機能）は、訓練および診断に用いるネットワーク構成１０２（モデル３１）を管理する。ネットワーク構成１０２は、ＭＩＬ回転２２１、拡幅畳み込み２２２を有する。モデル３１の入力の第１画像として、訓練時には所定の第１入力サイズの画像パッチを有する。第１入力サイズは、モデル入力サイズ設定機能１５に基づいて、モデル３１のパラメータ（各層のフィルタのサイズ等）に応じて変更されるサイズとして設定され、最初にモデル３１のパラメータが設定された後には、それに応じた所定の固定サイズとして設定される。モデル３１の出力の第２画像として、診断結果画像（劣化診断結果情報）を有する。１枚の診断結果画像は、１枚の画像パッチの第１入力サイズに対応した、所定の第１出力サイズを有する。診断結果画像における各画素は、劣化の可能性を確率で表す確率値を持つ。
【0036】
第１処理機能１１は、ＭＩＬ回転機能１４を含む。ＭＩＬ回転機能１４は、ＭＩＬ回転２２１の処理を行う。ＭＩＬは、Multiple Instance Learningであり、複数のインスタンスをモデルに入力して学習する概念を示す。ＭＩＬ回転２２１は、実施の形態１で特有の、劣化の特性を考慮した処理であり、劣化の方向に対応できるように、元画像を回転させることで複数の画像を生成する処理を含む。ＭＩＬ回転２２１は、ユーザの操作および設定に応じて、機能をオン／オフすることができ、オン状態の場合に行われ、オフ状態の場合には省略される。
【0037】
拡幅畳み込み２２２（Dilated Convolution）は、畳み込み処理の１種として、拡幅畳み込みフィルタを用いた演算処理である。拡幅畳み込み２２２のフィルタは、stride数が１、dilate数が２以上と規定される。なお、モデル３１は、一部の層に、拡幅ではない畳み込み処理（フィルタのdilate数が１）を含んでもよい。
【0038】
拡幅畳み込み２２２は、全結合畳み込み層（Fully Convolutional Networks）を含み、この全結合畳み込み層は、拡幅畳み込み層として実装されている。全結合畳み込み層は、拡幅畳み込み層を通じて抽出された特徴情報（特徴量）を分類して取り出すための層である。
【0039】
ＧＵＩ画面１０３は、対象画像２３１や訓練用画像、診断結果画像２３２を表示し、また、小領域除去画像２３３、直線除去画像２３４、正解付け画像（第３画像）２３５等を表示する。診断結果画像２３２は、多階調画像や二値化画像がある。ＧＵＩ画面１０３でユーザが閾値を変更操作することで、その閾値に応じた二値化画像が表示される。また、ＧＵＩ画面１０３でユーザが操作することで、小領域除去画像２３３や直線除去画像２３４が表示される。また、ＧＵＩ画面１０３でユーザが操作して正解付け入力することで、正解付け画像２３５が表示される。ユーザは、診断結果画像の画素毎に、モデル３１による劣化推定結果が正解か否かを表す情報を正解付け情報として入力する。この正解付け情報を含む正解付け画像が、教師情報としてモデル３１に反映される。
【0040】
評価・絞り込み機能１６は、診断結果画像を評価して、複数枚の診断結果画像から、ＤＬによって劣化の可能性が高いと推定された劣化箇所を含む診断結果画像を絞り込む。その際、評価・絞り込み機能１６は、劣化推定確率の閾値を用いて、画素毎の確率値を二値化し、閾値以上の箇所を劣化箇所として抽出してもよい。また、評価・絞り込み機能１６は、例えば画像内の劣化箇所（閾値以上）の画素数が、所定の閾値以上である場合に、劣化面積が大きいまたは劣化度合いが大きいと判断して、画像を絞り込んでもよい。絞り込みによって、例えば1000枚の診断結果画像から100枚が抽出される。ユーザは、絞り込まれた画像を優先して目視確認して最終判定を行うことができる。ユーザは、絞り込まれなかった他の画像についても、任意に指定して確認できる。
【0041】
［深層学習］
公知の深層学習およびＣＮＮについて以下に補足説明する。ＣＮＮは、入力に対し、行列積および活性化関数の演算を行うことが基本である。しかし、画像入力の場合、［画像入力の次元数］＝［画素数］×３となり（なお３はＲ，Ｇ，Ｂの色画素に対応する）、ネットワークの入力ノード数がとても大きい（後述の図１８）。画像の性質上、意味のある情報は、隣接する画素に凝縮されている。よって、ＣＮＮでは、隣接する画素間での行列積を求めるようにする。ＣＮＮでは、画像入力次元と同じ大きさのパラメータ（例えば縦画素数×横画素数）で行列積を求めるのではなく、３×３、５×５等の小さなパラメータ（対応するフィルタ）を使用して、モデルの総パラメータ数を抑えるようにする。サイズの合わない行列は積を求められないので、ＣＮＮでは、普通の行列積ではなく、畳み込み（convolution）処理を用いる。ＣＮＮでは、入力に対し、畳み込みフィルタを用いて畳み込み処理を何度も行うこと（複数の層で行うこと）で、より高次元の特徴が特徴マップとして抽出される。フィルタの数、サイズ、層の深さ等は、すべて、ハイパーパラメータと呼ばれ、人が設計または設定する必要がある。
公知の深層学習およびＣＮＮについて以下に補足説明する。ＣＮＮは、入力に対し、行列積および活性化関数の演算を行うことが基本である。しかし、画像入力の場合、［画像入力の次元数］＝［画素数］×３となり（なお３はＲ，Ｇ，Ｂの色画素に対応する）、ネットワークの入力ノード数がとても大きい（後述の図１８）。画像の性質上、意味のある情報は、隣接する画素に凝縮されている。よって、ＣＮＮでは、隣接する画素間での行列積を求めるようにする。ＣＮＮでは、画像入力次元と同じ大きさのパラメータ（例えば縦画素数×横画素数）で行列積を求めるのではなく、３×３、５×５等の小さなパラメータ（対応するフィルタ）を使用して、モデルの総パラメータ数を抑えるようにする。サイズの合わない行列は積を求められないので、ＣＮＮでは、普通の行列積ではなく、畳み込み（convolution）処理を用いる。ＣＮＮでは、入力に対し、畳み込みフィルタを用いて畳み込み処理を何度も行うこと（複数の層で行うこと）で、より高次元の特徴が特徴マップとして抽出される。フィルタの数、サイズ、層の深さ等は、すべて、ハイパーパラメータと呼ばれ、人が設計または設定する必要がある。
【0042】
また、従来の深層学習では、精度を高めるためには、ユーザによる正解付け作業に基づいて、教師情報をモデルに反映することが有効である。実施の形態１の構造物劣化検出システムでも、正解付け作業に基づいた教師情報（正解付け画像）をモデル３１に反映することで、診断の精度を高める。
【0043】
［比較例：ＤＬ－ＣＮＮのモデル］
図１８は、実施の形態１に対する比較例の構造物劣化検出システムにおける、画像パッチおよびＤＬ－ＣＮＮのモデル等を示す。（Ａ）は、診断対象画像１８１を示す。診断対象画像１８１は、例えば、縦方向（ｙ）の縦画素数がｍ、横方向（ｘ）の横画素数がｍ、総画素数がｍ×ｍ＝Ｍの正方形画像とする。（Ｂ）は、ＤＬ－ＣＮＮのモデル１８３に入力するための所定のサイズの画像パッチ１８２を示す。画像パッチ１８２の縦画素数がｎ、横画素数がｎ、総画素数がｎ×ｎ＝Ｎの正方形画像とする。（Ａ）の診断対象画像１８１のサイズは、画像パッチ１８２のサイズよりも大きい。診断対象画像１８１のサイズは様々であり、モデル１８３の入力サイズとは異なる場合が多い。画素は、Ｒ，Ｇ，Ｂの色画素で構成される。診断対象画像１８１から、画素毎に、画像パッチ１８２が切り出される。すなわち、診断対象画像１８１のＭ個の画素から、Ｍ個の画像パッチ１８２が切り出される。画像パッチ１８２の中心画素は、モデル１８３によって劣化確率が計算される画素である。
図１８は、実施の形態１に対する比較例の構造物劣化検出システムにおける、画像パッチおよびＤＬ－ＣＮＮのモデル等を示す。（Ａ）は、診断対象画像１８１を示す。診断対象画像１８１は、例えば、縦方向（ｙ）の縦画素数がｍ、横方向（ｘ）の横画素数がｍ、総画素数がｍ×ｍ＝Ｍの正方形画像とする。（Ｂ）は、ＤＬ－ＣＮＮのモデル１８３に入力するための所定のサイズの画像パッチ１８２を示す。画像パッチ１８２の縦画素数がｎ、横画素数がｎ、総画素数がｎ×ｎ＝Ｎの正方形画像とする。（Ａ）の診断対象画像１８１のサイズは、画像パッチ１８２のサイズよりも大きい。診断対象画像１８１のサイズは様々であり、モデル１８３の入力サイズとは異なる場合が多い。画素は、Ｒ，Ｇ，Ｂの色画素で構成される。診断対象画像１８１から、画素毎に、画像パッチ１８２が切り出される。すなわち、診断対象画像１８１のＭ個の画素から、Ｍ個の画像パッチ１８２が切り出される。画像パッチ１８２の中心画素は、モデル１８３によって劣化確率が計算される画素である。
【0044】
（Ｃ）のモデル１８３は、公知のネットワーク構成として、入力層、複数の隠れ層、全結合層、出力層等で構成される。隠れ層は、畳み込み層やプーリング層を含む。入力層の複数の各々のノードには、入力画像（画像パッチ１８２）の各々の画素の画素値が入力される。入力ノード数として、ｎ×ｎ×３である。入力層の各ノードと隠れ層の各ノードとの間では、畳み込みフィルタを用いた畳み込み演算処理等が行われる。従来例の畳み込みフィルタ１８４は、例えば、縦横で３×３の大きさであり、拡幅は無い。畳み込みフィルタ１８４は、画像パッチ１８３よりも小さいサイズであり、画像パッチ１８３の画素群に対して、所定のストライド（stride）で適用される。従来例の畳み込みフィルタ１８４のstride数は２以上である。stride数は、フィルタ処理を繰り返す際の中心画素間の移動量に対応する。モデル１８３の全結合層、出力層を通じて、画像パッチ１８３の中心画素に関する劣化推定確率値が出力される。
【0045】
上記のように、比較例の場合、診断対象画像１８１の全体を診断するためには、モデル１８３の計算を、Ｍ個の画素、Ｍ個の画像パッチ１８３に対応してＭ回同様に繰り返し行う必要がある。そのため、数Ｍに対応して計算時間が長くかかる。
【0046】
［ＤＬ－ＣＮＮのモデル］
図３は、実施の形態１の構造物劣化検出システムにおける、画像パッチ、ＤＬ－ＣＮＮのモデル３１等を示す。（Ａ）は、対象画像（第１画像）３０１を示す。対象画像３０１は、例えば、縦方向（ｙ）の縦画素数がｃ１、横方向（ｘ）の横画素数がｃ２、総画素数がｃ１×ｃ２の長方形画像とする。（Ｂ）は、モデル３１に入力するための所定の入力サイズの画像パッチ３０２を示す。画像パッチ３０２の縦画素数がｎ、横画素数がｎ、総画素数がｎ×ｎ＝Ｎの正方形画像とする。対象画像３０１のサイズは、画像パッチ３０２のサイズよりも大きい。対象画像３０１のサイズは可変サイズであり、モデル３１の入力サイズ以上のサイズである。対象画像３０１から必要に応じて複数の画像パッチ３０２が切り出される。切り出しの詳細は後述する。
図３は、実施の形態１の構造物劣化検出システムにおける、画像パッチ、ＤＬ－ＣＮＮのモデル３１等を示す。（Ａ）は、対象画像（第１画像）３０１を示す。対象画像３０１は、例えば、縦方向（ｙ）の縦画素数がｃ１、横方向（ｘ）の横画素数がｃ２、総画素数がｃ１×ｃ２の長方形画像とする。（Ｂ）は、モデル３１に入力するための所定の入力サイズの画像パッチ３０２を示す。画像パッチ３０２の縦画素数がｎ、横画素数がｎ、総画素数がｎ×ｎ＝Ｎの正方形画像とする。対象画像３０１のサイズは、画像パッチ３０２のサイズよりも大きい。対象画像３０１のサイズは可変サイズであり、モデル３１の入力サイズ以上のサイズである。対象画像３０１から必要に応じて複数の画像パッチ３０２が切り出される。切り出しの詳細は後述する。
【0047】
（Ｃ）のモデル３１は、ネットワーク構成として、入力層、複数の隠れ層、全結合畳み込み層、出力層等で構成される。隠れ層は、拡幅畳み込み層を含む。入力層の複数の各々のノードには、入力画像である画像パッチ３０２の入力サイズ（ｎ×ｎ）に応じた各々の画素の画素値が入力される。入力ノード数として、ｎ×ｎ×３である。入力層の各ノードと隠れ層の各ノードとの間では、拡幅畳み込みフィルタを用いた拡幅畳み込み演算処理等が行われる。ＣＮＮのモデル３１の複数の層のうち、例えば最初のいくつかの層で、非拡幅の畳み込みフィルタを適用してもよい。拡幅畳み込みフィルタ３０４は、例えば、縦横の計算対象画素（斜線パターン部分）で３×３、全体で５×５の大きさであり、dilate数が２である。dilate数は、計算対象画素間の拡幅された数に対応する。拡幅畳み込みフィルタ３０４は、画像パッチ３０２よりも小さいサイズであり、画像パッチ３０２の画素群に対して、stride数＝１のストライドで適用される。モデル３１の全結合畳み込み層、出力層を通じて、画像パッチ３０２の画素に関する劣化推定確率値が出力される。さらに、実施の形態１では、モデル３１から、縦横の複数の画素から成る診断結果画像（画像パッチ３０３）が出力され、各画素に劣化推定確率値を持つ。
※段落番号は振り直し
実施の形態１では、モデル３１の出力が、画像パッチ３０３として構成されている。画像パッチ３０３は、出力サイズがｑ×ｑとする。出力サイズは、入力サイズに比例する。出力サイズは、入力サイズに対し、固定値（Ｅとする）を引いたサイズである。固定値Ｅは、１画素に対する劣化推定計算の際に必要となる矩形のサイズであり、最低入力サイズでもある。固定値Ｅは、モデル３１のパラメータ（各層のフィルタのサイズ等）に依存する。訓練時には、例えば固定値Ｅの最低入力サイズの画像パッチ（第１入力サイズの画像パッチ３０２）を使用する。そのため、訓練時の第１出力サイズは、ｑ×ｑ＝１×１となる。診断時には、訓練時の第１入力サイズ以上の大きさの第２入力サイズの画像パッチ３０２を使用する。そのため、診断時の第２出力サイズは、ｑ×ｑ＝２×２以上のサイズとなる。例えば、最低入力サイズ（固定値Ｅ）が75×75である場合、訓練時には、75×75の画像パッチ３０２を使用し、画像パッチ３０３の出力サイズは１×１となる。診断時には、より大きいサイズ、例えば100×100の画像パッチ３０２を使用する場合、画像パッチ３０３の出力サイズは26×26となる。
※段落番号は振り直し
実施の形態１では、モデル３１の出力が、画像パッチ３０３として構成されている。画像パッチ３０３は、出力サイズがｑ×ｑとする。出力サイズは、入力サイズに比例する。出力サイズは、入力サイズに対し、固定値（Ｅとする）を引いたサイズである。固定値Ｅは、１画素に対する劣化推定計算の際に必要となる矩形のサイズであり、最低入力サイズでもある。固定値Ｅは、モデル３１のパラメータ（各層のフィルタのサイズ等）に依存する。訓練時には、例えば固定値Ｅの最低入力サイズの画像パッチ（第１入力サイズの画像パッチ３０２）を使用する。そのため、訓練時の第１出力サイズは、ｑ×ｑ＝１×１となる。診断時には、訓練時の第１入力サイズ以上の大きさの第２入力サイズの画像パッチ３０２を使用する。そのため、診断時の第２出力サイズは、ｑ×ｑ＝２×２以上のサイズとなる。例えば、最低入力サイズ（固定値Ｅ）が75×75である場合、訓練時には、75×75の画像パッチ３０２を使用し、画像パッチ３０３の出力サイズは１×１となる。診断時には、より大きいサイズ、例えば100×100の画像パッチ３０２を使用する場合、画像パッチ３０３の出力サイズは26×26となる。
【0048】
また、図３では、診断時に対象画像３０１から画像パッチ３０２を切り出しているが、これは計算機システム１での計算（ＧＰＵのメモリ等）の効率や制限を考慮しており、理論上は必須ではない。訓練時の第１入力サイズと診断時の第２入力サイズとが独立しており、第１入力サイズに依らずに第２入力サイズを選択できる。第１入力サイズに対する第２入力サイズの自由度が大きい。
【0049】
上記のように、実施の形態１の場合、対象画像３０１の全体を診断するためには、モデル３１の計算を、Ｍ個の画素に対応してＭ回同様に繰り返し行う必要は無く、図１８の比較例よりも少ない回数で計算できる。そのため、計算時間が短くなる。
【0050】
［拡幅畳み込みフィルタ］
図４は、実施の形態１で用いる、拡幅畳み込みフィルタ（dilated convolution filter）の例を示す。（Ａ）の拡幅畳み込みフィルタ４０１は、図３の拡幅畳み込みフィルタ３０４と同様の構成であり、dilate数＝２である。このフィルタのサイズは、計算対象画素に関して３×３のサイズであり、拡幅を含む全体では５×５のサイズである。中心画素とその周りの８個の画素の各画素値（対応するノード値）からの所定の演算によって、次の層の画素値（ノード値）が得られる。（Ｂ）の拡幅畳み込みフィルタ４０２は、dilate数＝４の場合である。このフィルタのサイズは、計算対象画素に関して３×３であり、拡幅を含む全体では９×９のサイズである。他の拡幅畳み込みフィルタを適用してもよい。
図４は、実施の形態１で用いる、拡幅畳み込みフィルタ（dilated convolution filter）の例を示す。（Ａ）の拡幅畳み込みフィルタ４０１は、図３の拡幅畳み込みフィルタ３０４と同様の構成であり、dilate数＝２である。このフィルタのサイズは、計算対象画素に関して３×３のサイズであり、拡幅を含む全体では５×５のサイズである。中心画素とその周りの８個の画素の各画素値（対応するノード値）からの所定の演算によって、次の層の画素値（ノード値）が得られる。（Ｂ）の拡幅畳み込みフィルタ４０２は、dilate数＝４の場合である。このフィルタのサイズは、計算対象画素に関して３×３であり、拡幅を含む全体では９×９のサイズである。他の拡幅畳み込みフィルタを適用してもよい。
【0051】
［拡幅畳み込み演算処理］
図５は、実施の形態１での拡幅畳み込み演算処理の例を示す。図４の拡幅畳み込みフィルタ４０２を用いる例で示す。第１画像５００の各画素を四角で示す。第１画像５００の例えば左上の画素５０１から開始して、ｘ方向に順に、stride数＝１で１画素ずつ着目してゆき、１行目の処理が終わるとｙ方向に順に移動して同様に処理を繰り返す。１個目の画素５０１（ｘ１，ｙ１）を中心画素として、拡幅畳み込みフィルタ４０２であるフィルタ５１１が適用される。次に、隣の２個目の画素５０２（ｘ２，ｙ１）を中心画素として、同様に拡幅畳み込みフィルタ４０２であるフィルタ５１２が適用される。図示するように、最後のＭ個目の画素まで同様に拡幅畳み込みフィルタ４０２が適用される。なお、フィルタを適用する際に、元の第１画像５００の領域外になる画素については、例えばパディングとして適当な値を使用すればよい。このような拡幅畳み込み演算の繰り返しによって、次の層の画像の各画素値（ノード値）が得られる。
図５は、実施の形態１での拡幅畳み込み演算処理の例を示す。図４の拡幅畳み込みフィルタ４０２を用いる例で示す。第１画像５００の各画素を四角で示す。第１画像５００の例えば左上の画素５０１から開始して、ｘ方向に順に、stride数＝１で１画素ずつ着目してゆき、１行目の処理が終わるとｙ方向に順に移動して同様に処理を繰り返す。１個目の画素５０１（ｘ１，ｙ１）を中心画素として、拡幅畳み込みフィルタ４０２であるフィルタ５１１が適用される。次に、隣の２個目の画素５０２（ｘ２，ｙ１）を中心画素として、同様に拡幅畳み込みフィルタ４０２であるフィルタ５１２が適用される。図示するように、最後のＭ個目の画素まで同様に拡幅畳み込みフィルタ４０２が適用される。なお、フィルタを適用する際に、元の第１画像５００の領域外になる画素については、例えばパディングとして適当な値を使用すればよい。このような拡幅畳み込み演算の繰り返しによって、次の層の画像の各画素値（ノード値）が得られる。
【0052】
［比較例：モデル計算］
図１９は、図１８の比較例における、ＤＬ－ＣＮＮのモデル１８３および計算の内容を模式的に示す。ここでは、モデル１８３は、ｋ個の層から成るものとし、第１層Ｌ１、第２層Ｌ２、第（ｋ－１）層Ｌｋ－１、第ｋ層Ｌｋを示す。第１層Ｌ１は、画像パッチ１８３の入力に対応し、縦横の画素のサイズをａ１×ａ１＝ｎ×ｎとする。奥行きのサイズを３とする（Ｒ，Ｇ，Ｂの色画素に対応する）。そのサイズ（ｎ×ｎ×３）の領域を長方体で図示している。ａ１＝ｎは例えば２３２である。
図１９は、図１８の比較例における、ＤＬ－ＣＮＮのモデル１８３および計算の内容を模式的に示す。ここでは、モデル１８３は、ｋ個の層から成るものとし、第１層Ｌ１、第２層Ｌ２、第（ｋ－１）層Ｌｋ－１、第ｋ層Ｌｋを示す。第１層Ｌ１は、画像パッチ１８３の入力に対応し、縦横の画素のサイズをａ１×ａ１＝ｎ×ｎとする。奥行きのサイズを３とする（Ｒ，Ｇ，Ｂの色画素に対応する）。そのサイズ（ｎ×ｎ×３）の領域を長方体で図示している。ａ１＝ｎは例えば２３２である。
【0053】
第１層Ｌ１の画像の各画素に対し、前述のように、畳み込みフィルタによる畳み込み処理が適用される。第１層Ｌ１の画像から第２層Ｌ２の画像を得る際の畳み込み処理ＣＮＶ１において、畳み込みフィルタＧ１を用いる。畳み込みフィルタＧ１は、例えば、図１８と同様に、拡幅は無く、３×３のサイズで、フィルタ種類数ｇ２として例えば２４を用い、stride数は２以上である。第１層Ｌ１のある１画素に対し畳み込みフィルタＧ１の処理を適用することで、次の第２層Ｌ２のある画素値が得られる様子を破線で模式的に示している。
【0054】
第２層Ｌ２の画像は、畳み込み処理ＣＮＶ１の結果、サイズが縮小されている。この画像のサイズをａ２×ａ２×ｇ２で示す。ａ２は例えば１１６となる。第３層以降についても同様に、畳み込み処理等が適用され、特徴量が抽出され、サイズが縮減されてゆく。例えば、第（ｋ－１）層Ｌｋ－１では、画像のサイズが、３×３×ｇｋ－１となる。フィルタ種類数ｇｋ－１として例えば４５である。その画像に対し、全結合畳み込み処理ＦＣＣＮＶ１が適用される。その際のフィルタは、サイズが１×１で、２種である。その結果、第ｋ層Ｌｋでは、サイズが３×３×２の画像情報となり、画素毎に劣化推定確率値を持つ。その画像情報が出力される。
【0055】
［モデル計算］
図６は、実施の形態１におけるＤＬ－ＣＮＮのモデル３１および計算の内容を模式的に示す。ここでは、モデル３１は、ｊ個の層から成るものとし、第１層Ｌ１、第２層Ｌ２、第（ｊ－１）層Ｌｊ－１、第ｊ層Ｌｊを示す。第１層Ｌ１は、画像パッチ３０２の入力に対応し、縦横の画素のサイズをｂ１×ｂ１＝ｎ×ｎとする。奥行きのサイズを３とする。入力の画像パッチ３０２のサイズ（入力サイズ）（ｎ×ｎ×３）の領域を長方体で図示している。ｂ１＝ｎは例えば２３２であり、比較例のａ１＝ｎ＝２３２と同じ場合とする。
図６は、実施の形態１におけるＤＬ－ＣＮＮのモデル３１および計算の内容を模式的に示す。ここでは、モデル３１は、ｊ個の層から成るものとし、第１層Ｌ１、第２層Ｌ２、第（ｊ－１）層Ｌｊ－１、第ｊ層Ｌｊを示す。第１層Ｌ１は、画像パッチ３０２の入力に対応し、縦横の画素のサイズをｂ１×ｂ１＝ｎ×ｎとする。奥行きのサイズを３とする。入力の画像パッチ３０２のサイズ（入力サイズ）（ｎ×ｎ×３）の領域を長方体で図示している。ｂ１＝ｎは例えば２３２であり、比較例のａ１＝ｎ＝２３２と同じ場合とする。
【0056】
第１層Ｌ１の画像の各画素に対し、前述のように、拡幅畳み込みフィルタによる拡幅畳み込み処理が適用される。第１層Ｌ１の画像から第２層Ｌ２の画像を得る際の拡幅畳み込み処理ＤＣＮＶ１において、拡幅畳み込みフィルタＦ１を用いる。拡幅畳み込みフィルタＦ１は、例えば、図４の拡幅畳み込みフィルタ４０２と同様に、３×３のサイズで、２４種を用い、dilate数＝４、stride数＝１である。第２層Ｌ２のフィルタ種類数ｆ２として２４の例である。
【0057】
第１層Ｌ１のある１画素に対し拡幅畳み込みフィルタＦ１の処理を適用することで、次の第２層Ｌ２のある画素値が得られる様子を模式的に示している。第２層Ｌ２の画像は、拡幅畳み込み処理ＤＣＮＶ１の結果、サイズが縮小されている。この画像のサイズをｂ２×ｂ２×ｆ２で示す。ｂ２は例えば２２４、ｆ２は例えば２４となる。第３層以降についても同様に、拡幅畳み込み処理または非拡幅の畳み込み処理等が適用され、特徴量が抽出され、サイズが縮減されてゆく。例えば、第（ｊ－１）層Ｌｊ－１では、画像のサイズが、ｂｊ－１×ｂｊ－１×ｆｊ－１となる。第（ｊ－１）層Ｌｊ－１のフィルタ種類数ｆｊ－１として４５の例である。その画像に対し、全結合畳み込み処理ＦＣＣＮＶ１が適用される。その際のフィルタは、サイズが１×１で、２種である。その結果、第ｊ層Ｌｊでは、サイズがｂｊ×ｂｊ×２の画像（画像パッチ３０３に対応する診断結果画像）となり、画素毎に劣化推定確率値を持つ。その画像が出力される。サイズｂｊは例えば１４２となる。このサイズｂｊは、比較例のサイズ＝３よりも大きい。
【0058】
上記のように、実施の形態１では、１回のモデル３１の計算の結果、第ｊ層の画像のようにｂｊ×ｂｊの出力サイズの診断結果画像が得られる。そのため、診断対象画像に対し、Ｍ回よりも少ない回数の計算で、診断結果画像が得られる。
【0059】
［画像サイズ関係］
図７は、実施の形態１で、訓練時および診断時の画像のサイズ等の関係について示す。（Ａ）は、訓練時の画像のサイズ等を示す。入力される第１画像である第１画像パッチは、図６と同様に、第１入力サイズとして、ｂ１×ｂ１を有し、例えば９１×９１である。出力される第２画像である第１診断結果画像は、第１出力サイズとして、ｂｊ×ｂｊを有し、例えば１×１である。モデル３１に入力される第１画像パッチは、第１入力サイズに固定される。
図７は、実施の形態１で、訓練時および診断時の画像のサイズ等の関係について示す。（Ａ）は、訓練時の画像のサイズ等を示す。入力される第１画像である第１画像パッチは、図６と同様に、第１入力サイズとして、ｂ１×ｂ１を有し、例えば９１×９１である。出力される第２画像である第１診断結果画像は、第１出力サイズとして、ｂｊ×ｂｊを有し、例えば１×１である。モデル３１に入力される第１画像パッチは、第１入力サイズに固定される。
【0060】
（Ｂ）は、診断時の画像のサイズ等を示す。第１画像である対象画像７０１（実線の長方形で示す）は、第１入力サイズ以上の可変入力サイズであり、縦×横の画素数として、ｃ１×ｃ２とする。対象画像７０１は非正方形も許容される。ｃ１，ｃ２≧ｂ１である。
【0061】
第１処理機能１１は、対象画像７０１から、第２入力サイズ（ｂ１×ｂ１）で、複数の画像を切り出す。この診断の際の第２入力サイズ（ｂ１×ｂ１）は、訓練時の第１入力サイズ（ｂ１×ｂ１）と異なっていてもよい。第１処理機能１１は、第２入力サイズとして、例えば、ＧＰＵのメモリのサイズに合わせて、メモリ使用率の最大値未満でなるべく大きいサイズとなるように、第２入力サイズを決定してもよい。これにより、計算機性能を最大に活用して短時間で計算可能である。第１処理機能１１は、対象画像７０１のｃ１×ｃ２の領域を、第２入力サイズ（ｂ１×ｂ１）に対応する第２出力サイズ（ｂｊ×ｂｊ）で区分する。これは、入力サイズに対し出力サイズが小さくことを考慮している。第２入力サイズ（ｂ１×ｂ１）および第２出力サイズ（ｂｊ×ｂｊ）の正方形の領域（特に６個の領域（１）～（６））を示す。第２出力サイズの領域を破線で示す。
【0062】
第１処理機能１１は、区分した各第２出力サイズ（ｂｊ×ｂｊ）に対応する各第２入力サイズ（ｂ１×ｂ１）の領域毎に切り出す。切り出す第２入力サイズの領域は、隣接する領域同士で一部が重なっている。第１処理機能１１は、対象画像７０１の全画素をカバーするように、複数の画像を切り出す。本例では、６枚の画像の切り出しによってカバーできる場合を示す。また、切り出しの際、対象画像７０１の外側の余り分については、例えばパディングによって適当な画素値とする。
【0063】
切り出された複数の画像（切り出し画像）、例えば画像７１１～画像７１６を有する。各切り出し画像を第２画像パッチとする。第１処理機能１１は、複数の各々の第２画像パッチを、モデル３１に入力して計算を適用する。本例では６回の計算である。この結果、複数の各々の診断結果画像（第２診断結果画像）、例えば画像７２１～画像７２６が得られる。第１処理機能１１は、得られた複数の第２診断結果画像を連結して、１枚の第２診断結果画像７０２を得る。
【0064】
［訓練時処理］
図８は、計算機システム１のアプリ１０（特に第１処理機能１１）における訓練時の処理フローを示す。この訓練処理は、訓練用画像データ作成処理を含む。図８は、ステップＳ１～Ｓ９を有する。以下、ステップの順に説明する。
図８は、計算機システム１のアプリ１０（特に第１処理機能１１）における訓練時の処理フローを示す。この訓練処理は、訓練用画像データ作成処理を含む。図８は、ステップＳ１～Ｓ９を有する。以下、ステップの順に説明する。
【0065】
（Ｓ１） Ｓ１で、計算機システム１（特にカメラ画像入力機能１３）は、図２のオリジナル画像群２１１を入力する。オリジナル画像群２１１は、構造物５を撮影した複数の画像を含み、特に実際のひび割れ等の劣化を含む訓練用画像データを含む。例えば、計算機２は、カメラ４の画像データを入力し、ＤＢ３２に格納させる。計算機３は、ＤＢ３２に格納されている画像群から順に画像を画像メモリへ読み出す。
【0066】
（Ｓ２） Ｓ２で、計算機システム１は、可視化画面（ＧＵＩ画面２１）で、オリジナル画像をモデル３１に入力して計算した結果の診断結果画像を表示し、ユーザの手動操作に基づいて、その画像に対する正解付け作業が行われる。例えば、診断結果画像の画素のうち、劣化と推定された画素が実際には劣化ではない場合や、非劣化と推定された画素が実際には劣化である場合には、不正解を表す値が入力される。計算機システム１は、正解付け情報が入力された正解付け画像（第３画像）を、訓練用画像の一部として保存する。
【0067】
（Ｓ３） Ｓ３で、計算機システム１は、図２の弱点画像群２１２を入力する。弱点画像群２１２は、モデル３１の計算の結果として誤検出をもたらす画像であり、例えば構造物５の壁面の直線群や周囲の植物等を含む画像である。
【0068】
（Ｓ４） Ｓ４で、計算機システム１は、弱点画像群２１２に対し、エッジ検出処理等を施して、自動的な正解付け処理を行い、その結果、正解付けされた弱点画像を、訓練用画像の一部（ネガティブサンプル画像）として保存する。自動的な正解付け処理は、例えば画像内の直線群や植物に対応する画素に、非劣化を表す値を設定する処理である。
【0069】
（Ｓ５） Ｓ５で、計算機システム１は、Ｓ２やＳ４に基づいた各々の訓練用画像データの画像に対し、訓練用の第１入力サイズ（ｎ×ｎ）の第１画像パッチを必要な数で切り出す（図７）。
【0070】
（Ｓ６） Ｓ６で、計算機システム１は、訓練用画像を増やすために、Ｓ５の第１画像パッチに対し、データ拡張処理を施して、複数の各々の訓練用画像（バリエーション）を生成する。データ拡張処理は、ひび割れ等の劣化の種類や特性に応じた処理であり、ノイズ付加や反転等の公知の処理を含み、シフト処理（画素領域を平行移動させる処理）を含まない。
【0071】
（Ｓ７） Ｓ７で、計算機システム１は、ユーザ設定でＭＩＬ回転機能１４がオン状態である場合に、ＭＩＬ回転処理を行う（図１１）。ＭＩＬ回転処理では、所定の回転角度θを用いて、例えば１８０度範囲内で、等分割するように、元画像を回転させて、複数の各々の回転後画像を生成する。
【0072】
（Ｓ８） Ｓ８で、計算機システム１のＭＩＬ回転機能１４は、上記生成した複数の各々の第１画像パッチ毎に、モデル３１に入力して計算を適用し、すなわち訓練用の診断を実行し、複数の各々の診断結果画像を得る。そして、ＭＩＬ回転機能１４は、複数の診断結果画像を１つに統合した画像を取得し、結果を保存する。
【0073】
（Ｓ９） Ｓ９で、計算機システム１（特に評価・絞り込み機能１６）は、診断結果画像について、評価処理を行い、ユーザによる最終判定を行う。ユーザは、ＧＵＩ画面２１で診断結果画像を見て、モデル３１による劣化推定結果が正解か否かを確認して正解付け情報を入力する。計算機システム１は、正解付け画像を保存する。
【0074】
また、Ｓ９の評価処理は、構造物５（構造物ＩＤで識別される）に応じた特定の回転方向についての評価および決定を含む。計算機システム１は、Ｓ８のＭＩＬ回転処理の結果の画像（図１１の画像ｇ４０）に基づいて、特定の回転方向（対応する回転角度θ）を決定し、その情報を保存する。評価処理の例としては、予め、ユーザが、複数枚の画像について各画像における劣化に該当する画素をタグ付けし、評価用データとして保存する。そして、その評価用データに対し、モデル３１の良し悪しを計算することが挙げられる。
【0075】
［弱点画像］
図９は、弱点画像の設定や正解付け画像について示す。図９中、オリジナル画像群２１１、弱点画像群２１２、モデル３１、診断結果画像（第２画像）等を示す。アプリ１０は、オリジナル画像や弱点画像をモデル３１に入力して訓練を行う。
図９は、弱点画像の設定や正解付け画像について示す。図９中、オリジナル画像群２１１、弱点画像群２１２、モデル３１、診断結果画像（第２画像）等を示す。アプリ１０は、オリジナル画像や弱点画像をモデル３１に入力して訓練を行う。
【0076】
画像をモデル３１に入力して劣化を診断、検出する際に、ひび割れ等の劣化箇所ではなく、他の箇所（非劣化箇所）を劣化状態として誤検出することが生じる。誤検出の例として、構造物５の壁面等に元々デザインとして設けられている直線群や、周囲の植物等が挙げられる。一般的な機械学習の場合、このような誤検出については、通常、学習データ数を増やして精度を上げることで対応可能である。しかしながら、実施の形態１のシステムでは、計算時間を短縮したいので、単純に学習データ数（画像数）を増やすのではなく、対策する仕組みを設けている。
【0077】
実施の形態１のシステムでは、訓練用画像データ数が限られていても、誤検出を減らして効率的に学習できるようにする機能を有する。本システムでは、ＤＬ－ＣＮＮのモデル３１の誤検出の弱点を、弱点画像として抽出して設定し、その弱点を克服するように、弱点画像をモデル３１に入力して訓練を行わせる。データセット１０１は、弱点画像群２１２を用いるように拡張される。
【0078】
弱点画像は、図１０の例のように、直線群を含む画像や、植物を含む画像である。アプリ１０は、オリジナル画像に基づいてモデル３１に入力した結果の診断結果画像から、評価に基づいて、誤検出が多い箇所を抽出して、弱点画像として設定する。弱点画像は、言い換えると、劣化を含まない事例を表すネガティブサンプル画像である。あるいは、アプリ１０では、ユーザが任意に指定した画像を、弱点画像として設定することができる。正規のオリジナル画像群２１１のデータセット１０１に、設定された弱点画像群２１２が弱点強調データセットとして追加されて、新しいデータセット１０１として拡張される。
【0079】
弱点画像は、オリジナル画像の診断結果画像から自動的に抽出したものでもよいし、構造物５とは全く関係無い画像をユーザが任意に指定するものでもよい。例えば、複数の診断結果画像のうち、誤検出箇所を含む診断結果画像９０１が抽出され、その診断結果画像９０１内の誤検出箇所（例えば直線群、植物）の領域が抽出され、その領域を加工して弱点画像が作成される。弱点画像は、ユーザが新たに手動で作成した画像や正解付けした画像とする必要は無いので、弱点画像に係わる作業の手間は抑制されている。
【0080】
図９中、訓練結果の複数の診断結果画像のうち、劣化推定箇所を含む診断結果画像９０２に対し、ユーザは画面で、その劣化推定箇所の画素が正解か否（不正解）かを入力する正解付け作業を行う。これにより正解付け情報が入力された正解付け画像が作成され、データセット１０１の一部となる。
【0081】
図１０は、弱点画像の一例を示す。（Ａ）は、直線群を含む画像であり、（Ｂ）は、植物を含む画像である。これらの画像は、ひび割れ等の劣化を含んでいない。これらの画像がモデル３１に入力された場合に、直線群や植物の箇所が過敏に反応して、ひび割れ等の劣化（劣化推定箇所）として誤診断、誤検出される。そのため、このような画像を弱点画像として用いて、モデル３１を学習させる。弱点画像を入力して学習した後のモデル３１では、実際の対象画像の診断を行った場合に、壁面の直線群や周囲の植物等が劣化として誤検出されることが低減される。
【0082】
弱点画像の作成や設定の仕方の例としては、図８のＳ４のように、入力された画像（例えば図１０の（Ａ）の画像）に対し、計算機システム１で公知のエッジ検出処理を適用して、直線群の領域を抽出し、その直線群の領域を所定のサイズになるように加工し、その結果を弱点画像として設定してもよい。
【0083】
［ＭＩＬ回転機能］
ＤＬ－ＣＮＮに関して、画像内の一般的な物体（例えば人）の診断の場合には、重力方向（大抵は画像内の下方向）があるので、画像内の物体の向きが、ある程度限定的に判断可能である。一方、画像内での劣化箇所の主な方向は基本的に不明である。例えば、ひび割れは、画像面内の３６０度の角度範囲内で、いずれの角度方向に主な方向が沿って延びて生じているか、基本的には不明である。通常、３６０度の任意の角度で劣化の検出ができるように、画像面内の方向に依らずに全角度方向に対応できるモデル（第１モデルとする）が作成される。
ＤＬ－ＣＮＮに関して、画像内の一般的な物体（例えば人）の診断の場合には、重力方向（大抵は画像内の下方向）があるので、画像内の物体の向きが、ある程度限定的に判断可能である。一方、画像内での劣化箇所の主な方向は基本的に不明である。例えば、ひび割れは、画像面内の３６０度の角度範囲内で、いずれの角度方向に主な方向が沿って延びて生じているか、基本的には不明である。通常、３６０度の任意の角度で劣化の検出ができるように、画像面内の方向に依らずに全角度方向に対応できるモデル（第１モデルとする）が作成される。
【0084】
ここで、仮に、各画像内の劣化の主な角度方向が同じ特定の角度方向（例えば面内垂直方向）に揃えられる場合、第１モデルのように全角度方向に対応する必要が無く、特定の角度方向に対応したモデル（第２モデルとする）で対応することができる。すなわち、第２モデルを用いる場合、第１モデルよりも少ないパラメータ数で、同程度の性能を出すことができる。ただし、ユーザが手動で画像内の劣化の角度方向を揃える作業をしてしまうと、手間や時間がかかり、主旨を取り違えたものとなるため、自動的に対応できるようにする。
【0085】
第２モデルは、例えば面内垂直方向に生じている劣化に対応するモデルとする場合、入力画像内の劣化箇所が主に面内垂直方向に沿って生じている場合、その劣化を高い確率で検出できる（言い換えると、劣化推定確率として高い確率値が出力される）。その第２モデルは、入力画像内の劣化箇所が、面内垂直方向からずれた角度方向で生じている場合、その劣化を低い確率でしか検出できない（言い換えると、劣化推定確率として低い確率値が出力される）。
【0086】
そこで、実施の形態１のシステムでは、上記第１モデル、第２モデルのいずれにも対応できる機能を有し、特に、上記第２モデルに対応した学習を行うためのＭＩＬ回転機能１４を有する。このＭＩＬ回転機能１４を用いる場合、訓練対象画像を、図１１の例のように、所定の回転角度θで回転させることで、複数の画像（例えば画像ｇ１～ｇ３）を生成し、各画像をモデル３１に入力して試しに診断を行わせる。評価・絞り込み機能１６は、複数の画像の診断結果画像の各劣化推定確率から、確率値が一番高いものに対応する画像の角度方向を、特定の角度方向として選択する。そして、実施の形態１のシステムは、診断時には、対象画像を、その特定の角度方向に対応した第２モデルを用いて診断する。これにより、ユーザの作業を少なくしたまま、ひび割れ等の劣化を高精度に検出することができる。
【0087】
［ＭＩＬ回転処理］
図１１は、実施の形態１で、訓練時のＭＩＬ回転機能１４によるＭＩＬ回転処理の例を示す。画像ｇ０を入力画像例とする。画像ｇ０は、文字「あ」が正常な方向で写っている画像とする。ＭＩＬ回転処理に伴う回転角度をθとする。アプリ１０では、回転角度θの値が予め設定されている。ＭＩＬ回転機能１４は、画像ｇ０を、回転角度θを用いて、複数の各方向に回転させる回転処理８０１を行う。本例では、回転角度θとして、０度、θａ度、θｂ度の３種を示すが、これに限らず可能である。画像ｇ０を、０度回転した画像ｇ１、θａ度回転した画像ｇ２、θｂ度回転した画像ｇ３等が得られる。画像ｇ１は、０度なので非回転である。画像ｇ２は、θａ度の回転によって辺が斜めになった領域を包含する正方形とされている。
図１１は、実施の形態１で、訓練時のＭＩＬ回転機能１４によるＭＩＬ回転処理の例を示す。画像ｇ０を入力画像例とする。画像ｇ０は、文字「あ」が正常な方向で写っている画像とする。ＭＩＬ回転処理に伴う回転角度をθとする。アプリ１０では、回転角度θの値が予め設定されている。ＭＩＬ回転機能１４は、画像ｇ０を、回転角度θを用いて、複数の各方向に回転させる回転処理８０１を行う。本例では、回転角度θとして、０度、θａ度、θｂ度の３種を示すが、これに限らず可能である。画像ｇ０を、０度回転した画像ｇ１、θａ度回転した画像ｇ２、θｂ度回転した画像ｇ３等が得られる。画像ｇ１は、０度なので非回転である。画像ｇ２は、θａ度の回転によって辺が斜めになった領域を包含する正方形とされている。
【0088】
ＭＩＬ回転機能１４は、回転後の各画像（画像ｇ１～ｇ３）を、ＤＬ－ＣＮＮのモデル３１に入力して計算を適用する診断処理（ＤＮＮ８０２）を行う。ＤＮＮ８０２の結果、各回転方向に応じた画像、例えば画像ｇ１１，ｇ１２，ｇ１３が得られる。これらの画像は、回転後の辺が斜めになった領域を含む。複数の画像の結果を統合する必要があるので、各画像に対し、逆回転等が必要である。逆回転の角度は、回転角度θのマイナス角度である。ＭＩＬ回転機能１４は、各画像に対し、回転角度θに関する逆回転処理８０３を施す。すなわち、回転角度として、０度、－θａ度、－θｂ度とした回転処理が行われる。この結果、各画像、例えば画像ｇ２１，ｇ２２，ｇ２３が得られる。例えば画像ｇ２２は、－θａ度の回転によって辺が斜めになった領域を包含する正方形とされている。
【0089】
ＭＩＬ回転機能１４は、逆回転後の各画像（画像ｇ２１～ｇ２３）から、元の画像のサイズに対応する領域を切り抜く切抜き処理８０４を行う。この結果、特徴マップに対応する画像として、例えば画像ｇ３１，ｇ３２，ｇ３３が得られる。例えば画像ｇ２２から切り抜かれた画像ｇ３２を有する。画像ｇ３１をｆ（ｘ，ｙ，０）で表す。画像ｇ３２をｆ（ｘ，ｙ，ａ）で表す。画像ｇ３３をｆ（ｘ，ｙ，ｂ）で表す。切り抜き後の各画像は、画素毎に劣化推定確率値を持つ。
【0090】
ＭＩＬ回転機能１４は、すべての回転角度θの画像（画像ｇ３１～ｇ３３）に対し、マックスプーリング（max pooling）処理８０５を施す。このマックスプーリング処理８０５は、画像内の対応する位置の画素毎に、劣化の確率が高い方に対応する最大値をとる処理である。この処理の結果、出力として、１つの画像ｇ４０が得られる。画像ｇ４０を、ｍａｘ（ｆ（ｘ，ｙ，ｉ））で表す。上記のように、元画像を回転させた各画像をモデル３１に入力すると、回転した診断結果情報が出力されるので、複数の診断結果情報を統合するために、逆回転や切り抜き処理が行われる。
【0091】
ＭＩＬ回転処理の回転角度θについて詳しくは以下である。回転角度θは、基本的には任意の角度が可能である。回転角度θは、画像面内の３６０度範囲のうちの等分割の角度が好ましいが、特に制限は無い。ひび割れは、概ね線状のパターンであるため、そのひび割れを含む画像を１８０度回転させた場合でも、ひび割れの方向は同じといえる。よって、実施の形態１で、実装例として、ＭＩＬ回転機能１４では、１８０度範囲内で、所定の回転角度θ毎に等分割で回転させて複数の画像を生成する。実験によれば、１８０度範囲内で、回転角度θ＝９０度として２分割する場合（０度、９０度の２種の画像）から、回転角度θ＝４５度として４分割する場合（０度、４５度、９０度、１３５度の４種の画像）まで、所定の回転角度θで等分割することで、精度および処理速度のバランスがとれた結果が得られた。
【0092】
［診断時処理］
図１２は、点検作業時等の対象画像の診断（実診断）時の処理フローを示す。この診断処理は、計算機システム１で事前に行われる診断処理を含む。ユーザは画面で診断処理を指定し、計算終了まで待つ。図１２は、ステップＳ２１～Ｓ２７を有する。以下、ステップの順に説明する。
図１２は、点検作業時等の対象画像の診断（実診断）時の処理フローを示す。この診断処理は、計算機システム１で事前に行われる診断処理を含む。ユーザは画面で診断処理を指定し、計算終了まで待つ。図１２は、ステップＳ２１～Ｓ２７を有する。以下、ステップの順に説明する。
【0093】
（Ｓ２１） 計算機システム１は、診断対象の構造物５（構造物ＩＤで識別される）の対象画像を入力する。例えば、計算機３は、ＤＢ３２から対象画像を読み出して画像メモリに展開する等の準備処理を行う。
【0094】
（Ｓ２２） 計算機システム１（特にＭＩＬ回転機能１４）は、前述の特定の回転方向について学習したモデルＢを用いて診断を行う場合、診断対象画像を、前述の特定の回転方向（回転角度θ）に回転させて、回転後の領域を包含する正方形をとる。計算機システム１は、その回転後画像を、モデル３１（モデルＢ）に入力するための画像とする。
【0095】
（Ｓ２３） 計算機システム１（特に第１処理機能１１）は、対象画像の第２入力サイズ（図７、可変入力サイズ、ｃ１×ｃ２）から、例えばＧＰＵのメモリおよび処理のサイズに対応させた第２入力サイズで、対象画像を切り分けて、複数の画像（第２画像パッチ）を得る。
【0096】
（Ｓ２４） 計算機システム１は、複数の第２画像パッチを、順にＤＬ－ＣＮＮのモデル３１に入力して計算を適用し、すなわち診断処理を実行する。この結果、順に複数の各々の第２診断結果画像が得られる。
【0097】
（Ｓ２５） 計算機システム１は、複数のすべての第２画像パッチのモデル計算（診断処理）が終了したかを確認しながら、同様にＳ２４の処理を繰り返し、すべて終了したらＳ２６へ進む。
【0098】
（Ｓ２６） 計算機システム１は、複数の各々の第２診断結果画像について、前述の特定の回転方向に対応させて逆回転し、逆回転後の画像の中から、元のサイズ（第２出力サイズ）に対応する画像領域を切り抜いて、複数の各々の第２診断結果画像（劣化確率画像）とする。
【0099】
（Ｓ２７） 計算機システム１は、複数の第２診断結果画像（劣化確率画像）について、Ｓ２２の切り分けに対応させて並べ直して連結して、１枚の画像（第２診断結果画像）を得て、保存する。
【0100】
［可視化画面表示処理］
図１３は、計算機システム１の第２処理機能１２による可視化画面表示の処理フローを示す。この処理は、可視化画面でのユーザ操作に応じたリアルタイムの処理である。図２の計算機２のＧＵＩ画面２１に対してユーザが入力操作し、要求等が計算機３に送られる。計算機３が要求等を処理して、画面データを生成して、計算機２へ応答する。そして、計算機２が画面データに基づいて可視化画面を表示する。図１３は、ステップＳ３１～Ｓ３８を有する。以下、ステップの順に説明する。
図１３は、計算機システム１の第２処理機能１２による可視化画面表示の処理フローを示す。この処理は、可視化画面でのユーザ操作に応じたリアルタイムの処理である。図２の計算機２のＧＵＩ画面２１に対してユーザが入力操作し、要求等が計算機３に送られる。計算機３が要求等を処理して、画面データを生成して、計算機２へ応答する。そして、計算機２が画面データに基づいて可視化画面を表示する。図１３は、ステップＳ３１～Ｓ３８を有する。以下、ステップの順に説明する。
【0101】
（Ｓ３１） 計算機システム１は、ユーザの操作に基づいて指定された診断結果画像を入力する。例えば、計算機３は、ＤＢ３２から読み出した診断結果画像の画像データを画像メモリに展開する。
【0102】
（Ｓ３２） 計算機システム１（特に第２処理機能１２）は、可視化画面における所定の領域に、ユーザの操作に基づいて指定された種類の診断結果画像を表示する。また、計算機システム１は、画面内に、操作用の閾値（劣化確率閾値、領域サイズ閾値）の部品やコマンドボタン等の部品を表示し、対象の構造物５や対象画像のＩＤ等の情報を表示する。可視化画面の表示例は図１４で示される。計算機システム１は、画面内の閾値のＧＵＩ部品がユーザによって操作された場合、閾値を変更する。
【0103】
（Ｓ３３） 計算機システム１は、劣化確率閾値（二値化閾値）に応じて、診断結果画像内の画素毎の確率値を多階調から二値化した二値化画像を生成し、診断結果画像とする。
【0104】
（Ｓ３４） また、計算機システム１は、領域サイズ閾値に応じて、診断結果画像の二値化画像内における劣化を表す隣接する領域の面積（画素数）が領域サイズ閾値以下となる小領域を抽出し、その小領域を除去した小領域除去画像を生成し、診断結果画像とする。
【0105】
（Ｓ３５） また、計算機システム１は、ユーザ操作による直線除去の指定（例えば直線除去ボタンのオン設定、あるいは直線除去コマンドの設定に対応した所定キー入力等）に応じて、診断結果画像の二値化画像内における直線状領域を抽出し、その直線状領域を除去した直線除去画像を生成し、診断結果画像とする。
【0106】
（Ｓ３６） 計算機システム１は、Ｓ３３～Ｓ３５の処理を反映した診断結果画像を、画面内の所定の領域に表示する。ユーザは、可視化画面の診断結果画像を見て、適宜に閾値を変更しながら、劣化の有無や箇所を確認でき、最終判定を行うことができる。
【0107】
（Ｓ３７） また、計算機システム１は、診断結果画像に対する、ユーザ操作による正解付け作業を受け付ける。ユーザは、診断結果画像における画素毎に、劣化推定結果が正解か否かを指定して入力することができる。計算機システム１は、入力された正解付け情報を含む正解付け画像（第３画像）を、データセット１０１の一部として保存する。
【0108】
（Ｓ３８） 計算機システム１は、画面でのユーザによる終了操作等に応じて、画面の表示を終了し、終了操作ではない場合には、Ｓ３１から同様に処理を繰り返す。
【0109】
［可視化画面（ＧＵＩ画面）］
図１４は、第２処理機能１２により提供される可視化画面（ＧＵＩ画面２１）の表示例を示す。ユーザは、可視化画面で劣化診断結果の画像を目視確認して、劣化検出の最終判定や正解付け作業を行う。第２処理機能１２は、可視化画面内の所定の画像領域、例えば画像第１領域１４１、画像第２領域１４２に、モデル３１の出力の診断結果画像（劣化確率画像）を表示する。
図１４は、第２処理機能１２により提供される可視化画面（ＧＵＩ画面２１）の表示例を示す。ユーザは、可視化画面で劣化診断結果の画像を目視確認して、劣化検出の最終判定や正解付け作業を行う。第２処理機能１２は、可視化画面内の所定の画像領域、例えば画像第１領域１４１、画像第２領域１４２に、モデル３１の出力の診断結果画像（劣化確率画像）を表示する。
【0110】
診断結果画像データでは、画素毎に、劣化推定結果の確率値（０～１の値）を階調値（例えば０～２５５の値）として持つ。この画像では、その画素毎の確率値を、そのまま画素の多階調の色として表示することもできる。また、この画像では、二値化閾値を用いて、その画素の確率値を二値化し、すなわち劣化か否かを表す二値にして表示することもできる。本例では、画像第１領域１４１には、診断結果多階調画像（図１５の（Ｂ）と対応する）が表示されており、画像第２領域１４２には、元画像の上に診断結果二値化画像を重畳した画像（図１５の（Ｄ）と対応する）が表示されている。
【0111】
画像第１領域１４１や画像第２領域１４２には、図１５のような他の種類の画像を選択して表示することもできる。１つの可視化画面内で、１つの画像領域に１つの画像を表示してもよいし、図１４の例のように２つ以上の画像領域に並列で２つ以上の画像を表示してもよい。１つの画像領域に２つ以上の画像を交互に切り替えながら表示してもよい。また、画像領域の画像に対し、拡大／縮小表示やシフト表示等のユーザ操作も可能である。
【0112】
また、可視化画面内には、構造物５や画像のＩＤ等の情報や、コマンドボタン等の情報を表示する領域も設けられている。この領域では、例えば、構造物ＩＤ、画像ＩＤ等が表示され、ユーザの操作で選択可能となっている。また、この領域では、アプリ１０の機能の選択や設定のための操作が可能となっている。例えば、画像領域に表示する画像の種類等が選択可能である。また、この領域では、例えば直線除去ボタン１４７が設けられている。直線除去ボタン１４７がオン状態にされた場合、画像領域に直線除去画像２３４（図１３のＳ３５）が表示される。
【0113】
また、可視化画面内には、ＧＵＩ部品として、劣化確率閾値スライダー１４４や、領域サイズ閾値スライダー１４５が設けられている。劣化確率閾値スライダー１４４では、ユーザが劣化確率閾値（二値化閾値）を所定の範囲内で可変操作できる。劣化確率閾値スライダー１４４の操作に伴い、劣化確率閾値が変更され、画面内の二値化画像の表示内容がリアルタイムで更新される（図１３のＳ３３）。
【0114】
なお、予め、計算機システム１が各二値化閾値に応じた画像を生成して画像メモリに保持しておき、ユーザの操作に応じて対応する画像を画面に表示するようにしてもよい。また、画面内に、異なる各二値化閾値に応じた各画像を並列で表示してもよい。
【0115】
領域サイズ閾値スライダー１４５では、ユーザが領域サイズ閾値を所定の範囲内で可変操作できる。領域サイズ閾値スライダー１４５の操作に伴い、領域サイズ閾値が変更され、小領域除去画像２３３を用いて、画面内の二値化画像の表示内容がリアルタイムで更新される（図１３のＳ３４）。
【0116】
［画像例］
図１５は、各種の画像の例を示す。図１５の（Ａ）～（Ｄ）の各画像は対応関係を持つ。（Ａ）は、診断対象元画像を示し、構造物５の壁面においてひび割れの劣化（破線枠内）を含む画像１５１の例である。（Ｂ）は、診断結果多階調画像を示し、この画像１５２では、画素毎に劣化推定確率値が多階調で表現されている。例えば、低階調が青で、高階調が赤で表現され、ヒートマップのような画像である。（Ｃ）は、絞り込みされた、診断結果二値化画像を示す。この画像１５３では、（Ｂ）の多階調の画像１５２と、劣化確率閾値とに基づいて、画素値が二値化されている。例えば、元の多階調の画素値が劣化確率閾値未満の場合には値０として黒色で表現され、元の多階調の画素値が劣化確率閾値以上である場合には値１として赤色で表現される。なお表示色はユーザ設定可能である。（Ｄ）は、（Ａ）の画像１５１の上に（Ｃ）の二値化画像のうちの劣化箇所を重畳した画像を示す。本例では、画像内で、ひび割れの劣化が、概略的に縦方向（ｙ）に沿って生じている。また、正解付け作業の際に、劣化領域を透明にして輪郭線を表示するようにしてもよい。
図１５は、各種の画像の例を示す。図１５の（Ａ）～（Ｄ）の各画像は対応関係を持つ。（Ａ）は、診断対象元画像を示し、構造物５の壁面においてひび割れの劣化（破線枠内）を含む画像１５１の例である。（Ｂ）は、診断結果多階調画像を示し、この画像１５２では、画素毎に劣化推定確率値が多階調で表現されている。例えば、低階調が青で、高階調が赤で表現され、ヒートマップのような画像である。（Ｃ）は、絞り込みされた、診断結果二値化画像を示す。この画像１５３では、（Ｂ）の多階調の画像１５２と、劣化確率閾値とに基づいて、画素値が二値化されている。例えば、元の多階調の画素値が劣化確率閾値未満の場合には値０として黒色で表現され、元の多階調の画素値が劣化確率閾値以上である場合には値１として赤色で表現される。なお表示色はユーザ設定可能である。（Ｄ）は、（Ａ）の画像１５１の上に（Ｃ）の二値化画像のうちの劣化箇所を重畳した画像を示す。本例では、画像内で、ひび割れの劣化が、概略的に縦方向（ｙ）に沿って生じている。また、正解付け作業の際に、劣化領域を透明にして輪郭線を表示するようにしてもよい。
【0117】
図１６は、診断結果二値化画像における劣化等の例を示す。（Ａ）の画像１６１は、元画像の上に診断結果二値化画像を重畳表示した例である。この画像１６１内には、劣化と推定される劣化箇所だけでなく、一部、破線枠で示すように、直線状領域１６３のような誤検出箇所も含まれている。また、画像１６１内には、領域サイズ閾値に応じて、劣化箇所の小領域（小領域群）１６４も含まれている。（Ｂ）は、（Ａ）の画像１６１に対し、直線領域除去および小領域除去を施した後の画像１６２の例である。この画像１６２では、直線状領域や小領域が除去されており、劣化箇所の確認や最終判定がしやすくなっている。例えば、一点鎖線枠で示すように、ひび割れの劣化箇所１６５が確認できる。劣化箇所１６５は、概略的にある方向に沿って生じていることがわかる。
【0118】
［小領域除去］
ひび割れ等の劣化は、ある程度以上連続的につながった画素領域として検出されるはずと考えられる。そこで、診断結果画像の劣化箇所から、面積が小さい領域（小領域）を除去することで、ユーザによる劣化検出の最終判定を行いやすくする。計算機システム１（特に第２処理機能１２）は、診断結果画像、特に二値化画像における、劣化（値１）の画素が隣接している劣化領域の面積（サイズ）を画素数等で判断する。その劣化領域の面積が、領域サイズ閾値以下である場合、その領域（小領域）を、劣化箇所とはせずに除去し、小領域除去画像２３３として、図１６の例のように表示する。
ひび割れ等の劣化は、ある程度以上連続的につながった画素領域として検出されるはずと考えられる。そこで、診断結果画像の劣化箇所から、面積が小さい領域（小領域）を除去することで、ユーザによる劣化検出の最終判定を行いやすくする。計算機システム１（特に第２処理機能１２）は、診断結果画像、特に二値化画像における、劣化（値１）の画素が隣接している劣化領域の面積（サイズ）を画素数等で判断する。その劣化領域の面積が、領域サイズ閾値以下である場合、その領域（小領域）を、劣化箇所とはせずに除去し、小領域除去画像２３３として、図１６の例のように表示する。
【0119】
［直線領域除去］
診断結果画像のうち、劣化箇所と推定された領域が、直線形状に近い場合、ひび割れ等の劣化ではない可能性が高いと考えられる。例えば壁面に元々デザインとして形成されている直線状の溝やフレーム等の可能性が挙げられる。そこで、診断結果画像内の劣化箇所から、直線状領域を除去することで、ユーザによる劣化検出の最終判定を行いやすくする。計算機システム１（特に第２処理機能１２）は、診断結果画像の特に二値化画像に対し、公知の直線検出アルゴリズム処理、例えば確率的ハフ変換処理を適用する。これにより、診断結果画像から、直線状領域が抽出される。計算機システム１は、抽出された直線状領域を除去して、直線除去画像２３４として、図１６の例のように表示する。
診断結果画像のうち、劣化箇所と推定された領域が、直線形状に近い場合、ひび割れ等の劣化ではない可能性が高いと考えられる。例えば壁面に元々デザインとして形成されている直線状の溝やフレーム等の可能性が挙げられる。そこで、診断結果画像内の劣化箇所から、直線状領域を除去することで、ユーザによる劣化検出の最終判定を行いやすくする。計算機システム１（特に第２処理機能１２）は、診断結果画像の特に二値化画像に対し、公知の直線検出アルゴリズム処理、例えば確率的ハフ変換処理を適用する。これにより、診断結果画像から、直線状領域が抽出される。計算機システム１は、抽出された直線状領域を除去して、直線除去画像２３４として、図１６の例のように表示する。
【0120】
［モデル入力サイズ設定］
図１７は、実施の形態１で、モデル入力サイズ設定機能１５によるモデル入力サイズ設定について示す。この設定処理は、図３等のモデル３１に対する第１画像パッチの好適な第１入力サイズを決定し設定する処理である。（Ａ）は、カメラ４の画像に対応する第１画像における複数の画像を示す。ある構造物５（例えば構造物ＩＤ＝ＳＴＲ１）に関する第１画像として、例えば、画像Ｐ＃１，Ｐ＃２，Ｐ＃３等を有する。これらの複数の画像は、サイズや解像度が異なっている場合がある。画像に伴う画像情報として、サイズ（ＳＺ）、カメラ画素数（ＰＮ）、カメラ画角（ＡＮ）、対象物距離（ＤＳ）、解像度（ＤＦ）を示す。画像情報は、例えば、画像データの属性情報として付属されるか、あるいは、計算機システム１で作成または設定される。アプリ１０は、カメラ４から取得した画像データの画像情報を用いて設定処理を行う。なお、例えば同じ１mmの大きさのひび割れの劣化の場合でも、その劣化（対象物）からの距離が異なる各カメラ画像の場合、その劣化箇所に占める画素数が異なるものとなる。そのため、対象物距離（ＤＳ）の情報についても保存している。
図１７は、実施の形態１で、モデル入力サイズ設定機能１５によるモデル入力サイズ設定について示す。この設定処理は、図３等のモデル３１に対する第１画像パッチの好適な第１入力サイズを決定し設定する処理である。（Ａ）は、カメラ４の画像に対応する第１画像における複数の画像を示す。ある構造物５（例えば構造物ＩＤ＝ＳＴＲ１）に関する第１画像として、例えば、画像Ｐ＃１，Ｐ＃２，Ｐ＃３等を有する。これらの複数の画像は、サイズや解像度が異なっている場合がある。画像に伴う画像情報として、サイズ（ＳＺ）、カメラ画素数（ＰＮ）、カメラ画角（ＡＮ）、対象物距離（ＤＳ）、解像度（ＤＦ）を示す。画像情報は、例えば、画像データの属性情報として付属されるか、あるいは、計算機システム１で作成または設定される。アプリ１０は、カメラ４から取得した画像データの画像情報を用いて設定処理を行う。なお、例えば同じ１mmの大きさのひび割れの劣化の場合でも、その劣化（対象物）からの距離が異なる各カメラ画像の場合、その劣化箇所に占める画素数が異なるものとなる。そのため、対象物距離（ＤＳ）の情報についても保存している。
【0121】
（Ｂ）は、（Ａ）の第１画像に関する補正処理を示す。（Ａ）の複数の画像は、解像度が一定になるように、サイズが補正される。例えば、一定の解像度を解像度ＤＦＣとする。例えば、画像Ｐ＃３は、解像度ＤＦ３が解像度ＤＦＣになるように、サイズＳＺ３がサイズＳＺ３Ｃに補正されている。補正後の複数の画像Ｃ＃１，Ｃ＃２，Ｃ＃３は、同じ解像度ＤＦＣにされている。カメラ画像入力機能１５は、このような補正処理を行う機能を含む。
【0122】
（Ｃ）は、ＤＬ－ＣＮＮのモデル３１の第１入力サイズの設定について示す。（Ｂ）の補正後の複数の画像の各サイズ（ＳＺ１Ｃ，ＳＺ２Ｃ，ＳＺ３Ｃ）から、例えば最小サイズの正方形が選択される。その正方形のサイズが、モデル３１に入力する第１画像パッチの第１入力サイズ（ｂ１×ｂ１）として決定され、情報が設定される。このモデル３１は、対象の構造物５（構造物ＩＤ＝ＳＴＲ１）の診断に好適なモデル３１となる。上記のように、モデル入力サイズ設定機能１５を用いることで、好適な入力サイズを設定でき、より高精度の診断が可能である。また、ユーザが、可視化画面のモデル設定項目（非図示）で、任意に好適な入力サイズおよび出力サイズを指定して設定することも可能である。
【0123】
［効果等］
上記のように、実施の形態１の構造物劣化検出システムによれば、劣化検出の精度を確保しつつ、計算機での学習および診断に要する計算時間およびユーザの作業時間を含む時間を短縮でき、ユーザの作業負担を低減できる。構造物の管理者等は、効率的に点検補修業務を行うことができる。計算機性能が限られるシステムの場合でも、深層学習を用いた劣化診断を可能とする。本システムによれば、構造物の画像群のサイズや解像度等が多様な場合にも対応できるので、画像群の取得作業を含め、訓練および診断の作業を効率的に実現できる。また、ひび割れ等の劣化の特性を考慮して学習するので、診断の精度が確保できる。また、好適な画像入力サイズを選択できるので、計算機システム１の性能（ＧＰＵ等）に合わせて最大限効率的な計算が可能である。
上記のように、実施の形態１の構造物劣化検出システムによれば、劣化検出の精度を確保しつつ、計算機での学習および診断に要する計算時間およびユーザの作業時間を含む時間を短縮でき、ユーザの作業負担を低減できる。構造物の管理者等は、効率的に点検補修業務を行うことができる。計算機性能が限られるシステムの場合でも、深層学習を用いた劣化診断を可能とする。本システムによれば、構造物の画像群のサイズや解像度等が多様な場合にも対応できるので、画像群の取得作業を含め、訓練および診断の作業を効率的に実現できる。また、ひび割れ等の劣化の特性を考慮して学習するので、診断の精度が確保できる。また、好適な画像入力サイズを選択できるので、計算機システム１の性能（ＧＰＵ等）に合わせて最大限効率的な計算が可能である。
【0124】
他の実施の形態として以下も可能である。可視化画面内に、構造物５の３次元オブジェクトモデルに基づいた画像を表示し、その画像の３次元オブジェクトの面に、位置や方向を対応付けながら、二値化画像等を貼り付けて表示してもよい。また、構造物５上の位置毎に、時系列上の診断日時毎の画像を関係付けて、劣化の進行度合い等を画面で確認可能としてもよい。
【0125】
以上、本発明を実施の形態に基づき具体的に説明したが、本発明は前述の実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。
【符号の説明】
【0126】
１…計算機システム、２…計算機、３…計算機、４…カメラ、５…構造物、６…通信網、１０…構造物劣化検出ソフトウェア（アプリ）、２０…クライアントプログラム、２１…ＧＵＩ画面、３０…サーバプログラム、３１…ＤＬ－ＣＮＮ（モデル）、３２…ＤＢ、４１…画像、４２…劣化。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】