特許 7586486 構造物状態判定装置、機械学習装置、推論装置、構造物状態判定方法、及び、機械学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-11

(45)【発行日】2024-11-19

(54)【発明の名称】構造物状態判定装置、機械学習装置、推論装置、構造物状態判定方法、及び、機械学習方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241112BHJP

   G01N 17/00 20060101ALI20241112BHJP

   G01N 21/88 20060101ALI20241112BHJP

   G06T 7/00 20170101ALI20241112BHJP

【ＦＩ】

G06N20/00 130

G01N17/00

G01N21/88 J

G06T7/00 350B

【請求項の数】 11

(21)【出願番号】P 2021047156

(22)【出願日】2021-03-22

(65)【公開番号】P2022146274

(43)【公開日】2022-10-05

【審査請求日】2024-01-18

(73)【特許権者】

【識別番号】520355507

【氏名又は名称】Ｓｋｙｓｔｅｒ株式会社

(74)【代理人】

【識別番号】100214248

【弁理士】

【氏名又は名称】青山 純

(74)【代理人】

【識別番号】100214260

【弁理士】

【氏名又は名称】相羽 昌孝

(72)【発明者】

【氏名】杉山 逸郎

【審査官】今城 朋彬

(56)【参考文献】

【文献】特開２０１９－１５７５３５（ＪＰ，Ａ）

【文献】特開２０１２－００８１５２（ＪＰ，Ａ）

【文献】国際公開第２０１７／１１０２７８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０１Ｎ １７／００

Ｇ０１Ｎ ２１／８８

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

構造物の損傷状態を判定する構造物状態判定装置であって、
前記構造物の少なくとも一部が撮像された判定用画像を含む判定データを取得する判定データ取得部と、
前記構造物の少なくとも一部が撮像された学習用画像を含む入力データと、当該学習用画像に含まれる損傷部分の損傷種別、損傷の進行度を複数の段階で分類したときに前記損傷部分の前記進行度を示す損傷進行度及び前記損傷進行度が次の段階に進行するまでに要する時間を示す損傷進行時間を含む出力データとの相関関係を機械学習させた学習モデルを記憶する学習済みモデル記憶部と、
前記判定データ取得部により取得された前記判定データを前記学習モデルに入力し、前記判定用画像に撮像された前記構造物の前記損傷状態として、前記損傷種別、前記損傷進行度及び前記損傷進行時間を推論する推論部とを備える、
構造物状態判定装置。

【請求項2】

前記出力データは、
前記損傷種別、前記損傷進行度及び前記損傷進行度が次以降の複数の段階にそれぞれ進行するまでに要する各時間を示す複数の前記損傷進行時間を含み、
前記推論部は、
前記損傷状態として、前記損傷種別、前記損傷進行度及び複数の前記損傷進行時間を推論する、
請求項１に記載の構造物状態判定装置。

【請求項3】

前記判定データは、
前記判定用画像が撮像された撮像場所の環境を示す判定用環境情報をさらに含む、
前記入力データは、
前記学習用画像が撮像された撮像場所の環境を示す学習用環境情報をさらに含む、
請求項１又は請求項２に記載の構造物状態判定装置。

【請求項4】

前記判定用環境情報及び前記学習用環境情報は、
紫外線量、温度、湿度、風速、波浪、落雷、気候、酸性雨の酸性値、前記酸性雨の含有物質量、飛来塩分量、及び、放射線量のうち少なくとも１つに関する情報である、
請求項３に記載の構造物状態判定装置。

【請求項5】

構造物の損傷の状態を判定する構造物状態判定装置に用いられる学習モデルを生成する機械学習装置であって、
前記構造物の少なくとも一部が撮像された学習用画像を含む入力データと、当該学習用画像に含まれる損傷部分の損傷種別、損傷の進行度を複数の段階で分類したときに前記損傷部分の前記進行度を示す損傷進行度及び前記損傷進行度が次の段階に進行するまでに要する時間を示す損傷進行時間を含む出力データとで構成される学習データを複数組記憶する学習データ記憶部と、
前記学習モデルに前記学習データを複数組入力することで、前記入力データと前記出力データとの相関関係を前記学習モデルに機械学習させる機械学習部と、
前記機械学習部により機械学習させた前記学習モデルを記憶する学習済みモデル記憶部とを備える、
機械学習装置。

【請求項6】

前記出力データは、
前記損傷種別、前記損傷進行度及び前記損傷進行度が次以降の複数の段階にそれぞれ進行するまでに要する各時間を示す複数の前記損傷進行時間を含む、
請求項５に記載の構造物状態判定装置。

【請求項7】

前記入力データは、
前記学習用画像が撮像された撮像場所の環境を示す学習用環境情報をさらに含む、
請求項５又は請求項６に記載の機械学習装置。

【請求項8】

前記学習用環境情報は、
紫外線量、温度、湿度、風速、波浪、落雷、気候、酸性雨の酸性値、前記酸性雨の含有物質量、飛来塩分量、及び、放射線量のうち少なくとも１つに関する情報である、
請求項７に記載の機械学習装置。

【請求項9】

構造物の損傷状態を判定するために用いられる推論装置であって、
前記推論装置は、
メモリと、プロセッサとを備え、
前記プロセッサは、
前記構造物の少なくとも一部が撮像された判定用画像を含む判定データを取得するデータ取得処理と、
前記データ取得処理にて前記判定データを取得すると、前記判定用画像に撮像された前記構造物の前記損傷状態として、当該判定用画像に含まれる損傷部分の損傷種別、損傷の進行度を複数の段階で分類したときに前記損傷部分の前記進行度を示す損傷進行度及び前記損傷進行度が次の段階に進行するまでに要する時間を示す損傷進行時間を推論する推論処理とを実行する、
推論装置。

【請求項10】

構造物の損傷状態を判定する構造物状態判定方法であって、
前記構造物の少なくとも一部が撮像された判定用画像を含む判定データを取得する判定データ取得工程と、
前記判定データ取得工程により取得された前記判定データを、前記構造物の少なくとも一部が撮像された学習用画像を含む入力データと、当該学習用画像に含まれる損傷部分の損傷種別、損傷の進行度を複数の段階で分類したときに前記損傷部分の前記進行度を示す損傷進行度及び前記損傷進行度が次の段階に進行するまでに要する時間を示す損傷進行時間を含む出力データとの相関関係を機械学習させた学習モデルに入力し、前記判定用画像に撮像された前記構造物の前記損傷状態として、前記損傷種別、前記損傷進行度及び前記損傷進行時間を推論する推論工程とを備える、
構造物状態判定方法。

【請求項11】

構造物の損傷の状態を判定する構造物状態判定方法に用いられる学習モデルを生成する機械学習方法であって、
前記構造物の少なくとも一部が撮像された学習用画像を含む入力データと、当該学習用画像に含まれる損傷部分の損傷種別、損傷の進行度を複数の段階で分類したときに前記損傷部分の前記進行度を示す損傷進行度及び前記損傷進行度が次の段階に進行するまでに要する時間を示す損傷進行時間を含む出力データとで構成される学習データを学習データ記憶部に複数組記憶する学習データ記憶工程と、
前記学習モデルに前記学習データを複数組入力することで、前記入力データと前記出力データとの相関関係を前記学習モデルに機械学習させる機械学習工程と、
前記機械学習工程により機械学習させた前記学習モデルを学習済みモデル記憶部に記憶する学習済みモデル記憶工程とを備える、
機械学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、構造物状態判定装置、機械学習装置、推論装置、構造物状態判定方法、及び、機械学習方法に関する。

【背景技術】

【0002】

従来、各種の構造物において、点検・保守作業の実施要否の判断や、点検・保守作業の実施計画の策定を行う際に、構造物の表面を撮像装置にて撮像し、その撮像した画像に基づいて構造物の損傷状態を評価することが行われている。例えば、特許文献１には、検査対象の表面を撮像した画像から亀裂の深さを検出し、その亀裂の深さに応じて構造物の寿命を評価する装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－１７５１１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１には、検査対象の表面に生じた亀裂の深さに応じて構造物の寿命を評価することが開示されているが、構造物の寿命は、構造物の機能が損なわれるまでの時間を表すものと考えられる。

【0005】

ここで、構造物は、その経時劣化により損傷が生じた場合には、その損傷の程度を表す損傷進行度が徐々に進行する。そのため、構造物の管理者は、構造物の寿命、すなわち、構造物の機能が損なわれるまでの時間ではなく、損傷進行度が次の段階に進行するまでに要する時間を見越して、点検・保守作業の実施要否を判断したり、点検・保守作業の実施計画を策定したりする必要がある。しかしながら、特許文献１に開示された装置では、上記のような損傷進行度が次の段階に進行するまでに要する時間を求めることができず、損傷進行度に応じた点検・保守作業の実施が困難であった。

【0006】

本発明は、上述した課題に鑑みてなされたものであって、損傷進行度に応じた点検・保守作業の実施を容易にする構造物状態判定装置、機械学習装置、推論装置、構造物状態判定方法、及び、機械学習方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明の一態様に係る構造物状態判定装置は、
構造物の損傷状態を判定する構造物状態判定装置であって、
前記構造物の少なくとも一部が撮像された判定用画像を含む判定データを取得する判定データ取得部と、
前記構造物の少なくとも一部が撮像された学習用画像を含む入力データと、当該学習用画像に含まれる損傷部分の損傷種別、損傷の進行度を複数の段階で分類したときに前記損傷部分の前記進行度を示す損傷進行度及び前記損傷進行度が次の段階に進行するまでに要する時間を示す損傷進行時間を含む出力データとの相関関係を機械学習させた学習モデルを記憶する学習済みモデル記憶部と、
前記判定データ取得部により取得された前記判定データを前記学習モデルに入力し、前記判定用画像に撮像された前記構造物の前記損傷状態として、前記損傷種別、前記損傷進行度及び前記損傷進行時間を推論する推論部とを備える。

【発明の効果】

【0008】

本発明の一態様に係る構造物状態判定装置によれば、構造物の少なくとも一部が撮像された判定用画像を含む判定データが学習モデルに入力されることで、判定用画像に撮像された構造物の損傷状態として、損傷種別、損傷進行度及び損傷進行時間が推論されるので、損傷進行度に応じた点検・保守作業の実施を容易にすることができる。

【0009】

上記以外の課題、構成及び効果は、後述する発明を実施するための形態にて明らかにされる。

【図面の簡単な説明】

【0010】

【図1】第１の実施形態に係る構造物管理システム１の一例を示す全体構成図である。

【図2】第１の実施形態に係る機械学習装置４の一例を示すブロック図である。

【図3】第１の実施形態に係る学習データの一例を示すデータ構成図である。

【図4】第１の実施形態に係る学習モデル２に適用されるニューラルネットワークモデル２０の一例を示す概略図である。

【図5】第１の実施形態に係る構造物状態判定装置５の一例を示すブロック図である。

【図6】第１の実施形態に係る推論部５０１による推論処理の一例を示す機能説明図である。

【図7】構造物管理システム１の各装置３～６を構成するコンピュータ９００の一例を示すハードウエア構成図である。

【図8】第１の実施形態に係る機械学習装置４による機械学習方法の一例を示すフローチャートである。

【図9】第１の実施形態に係る構造物状態判定装置５による構造物状態判定方法の一例を示すフローチャートである。

【図10】第２の実施形態に係る機械学習装置４の一例を示すブロック図である。

【図11】第２の実施形態に係る学習モデル２ａに適用されるニューラルネットワークモデル２０ｂの一例を示す概略図である。

【図12】第２の実施形態に係る構造物状態判定装置５の一例を示すブロック図である。

【図13】第２の実施形態に係る推論部５０１ａによる推論処理の一例を示す機能説明図である。

【図14】第３の実施形態に係る機械学習装置４の一例を示すブロック図である。

【図15】第３の実施形態に係る学習モデル２ｂに適用されるニューラルネットワークモデル２０ｂの一例を示す概略図である。

【図16】第３の実施形態に係る構造物状態判定装置５の一例を示すブロック図である。

【図17】第３の実施形態に係る推論部５０１ｂによる推論処理の一例を示す機能説明図である。

【図18】損傷種別毎に、損傷進行度と損傷進行時間との関係を示すグラフである。

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明を実施するための実施形態について説明する。以下では、本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。

【0012】

（第１の実施形態）
図１は、第１の実施形態に係る構造物管理システム１の一例を示す全体構成図である。構造物管理システム１は、管理対象となる構造物１０の損傷状態を管理するシステムである。

【0013】

構造物管理システム１は、管理対象となる構造物１０の少なくとも一部を撮像する撮像装置３と、機械学習の学習フェーズの主体として動作する機械学習装置４と、機械学習における推論フェーズの主体として動作する構造物状態判定装置５と、構造物管理システム１の管理者や作業者が使用する端末装置６を備える。構造物管理システム１の各装置３～６は、ネットワーク７により相互に通信可能に接続される。

【0014】

構造物１０は、例えば、コンクリート、繊維強化樹脂（ＦＲＰ）等の外装材又は舗装材で形成されることで、様々な場所に施工される。構造物１０は、その具体例として、建物、橋梁、太陽光発電設備、風力発電設備、ダム、鉄道施設、道路、煙突、トンネル等が挙げられるが、これらの例に限られない。

【0015】

構造物１０の各部では、経時劣化により各種の損傷１００が生じる可能性があり、損傷１００が生じた場合には、その損傷１００の程度を表す損傷進行度が徐々に進行する。そのため、構造物管理システム１は、構造物１０の損傷状態を管理し、点検・保守作業の実施要否に関する情報や、点検・保守作業の実施計画の策定に関する情報を提供するためのシステムとして動作する。

【0016】

撮像装置３は、例えば、ＣＭＯＳセンサやＣＣＤセンサ等のイメージセンサで構成されるカメラを備え、構造物１０の各部を撮像する。なお、撮像装置３は、手持ち式又は固定設置式のカメラであって、例えば、作業者が操作して画像を撮像するものでもよいし、所定の撮像条件が満たされたときに自動で画像を撮像するものでもよい。また、撮像装置３は、ドローンやロボット等に取り付けられたカメラであって、遠隔操縦又は自律移動により構造物１０の各撮像位置に移動して画像を撮像するものでもよい。

【0017】

撮像装置３は、撮像装置３の画角内に構造物１０を撮像し、所定の画像形式に基づいてデジタルデータとしての画像を出力する。なお、撮像装置３は、図１に示すように、機械学習装置４に接続された撮像装置３と、構造物状態判定装置５に接続された撮像装置３とが別々に設けられてもよいし、１つの撮像装置３が機械学習装置４及び構造物状態判定装置５の双方に接続されて共用されてもよい。また、図１では、簡略化のため、１つの撮像装置３が、機械学習装置４及び構造物状態判定装置５にそれぞれ接続されているが、複数の撮像装置３がそれぞれ接続されていてもよい。

【0018】

機械学習装置４は、汎用又は専用のコンピュータ（後述の図７参照）等で構成され、機械学習における学習フェーズの主体として動作する。機械学習装置４は、撮像装置３により撮像された画像（学習用画像）を含む学習データを用いて、学習モデル２の機械学習を実施する。機械学習装置４は、学習済みの学習モデル２をネットワーク７や記録媒体等を介して構造物状態判定装置５に提供する。機械学習装置４の詳細は後述する。

【0019】

構造物状態判定装置５は、汎用又は専用のコンピュータ（後述の図７参照）等で構成され、機械学習における推論フェーズの主体として動作する。構造物状態判定装置５は、機械学習装置４により学習済みの学習モデル２を用いて、撮像装置３により撮像された画像（判定用画像）から構造物１０の損傷状態を判定する。構造物状態判定装置５の詳細は後述する。

【0020】

端末装置６は、汎用又は専用のコンピュータ（後述の図７参照）等で構成される。端末装置６は、構造物管理システム１にて、学習データの準備、学習モデル２の機械学習、構
造物１０の損傷状態の判定等を行うために、入力画面を介して各種の操作入力を受け付けるとともに、アプリやブラウザ等の表示画面を介して各種の情報を表示する。また、図１では、簡略化のため、１つの端末装置６を図示しているが、端末装置６は複数でもよい。

【0021】

（機械学習装置４）
図２は、第１の実施形態に係る機械学習装置４の一例を示すブロック図である。機械学習装置４は、制御部４０、通信部４１、学習データ記憶部４２、及び、学習済みモデル記憶部４３を備える。

【0022】

制御部４０は、学習データ取得部４００及び機械学習部４０１として機能する。通信部４１は、ネットワーク７を介して外部装置（例えば、撮像装置３、構造物状態判定装置５及び端末装置６等）と接続され、各種のデータを送受信する通信インターフェースとして機能する。

【0023】

学習データ取得部４００は、外部装置と通信部４１及びネットワーク７を介して接続され、入力データ及び出力データが対応付けられて構成される学習データを取得する。

【0024】

学習データ記憶部４２は、学習データ取得部４００で取得した学習データを複数組記憶するデータベースである。なお、学習データ記憶部４２を構成するデータベースの具体的な構成は適宜設計すればよい。

【0025】

機械学習部４０１は、学習データ記憶部４２に記憶された学習データを用いて機械学習を実施する。すなわち、機械学習部４０１は、学習モデル２に学習データを複数組入力することで、学習データを構成する入力データと出力データとの相関関係を学習モデル２に機械学習させることで、学習モデル２を生成する。

【0026】

学習済みモデル記憶部４３は、機械学習部４０１により機械学習させた学習済みの学習モデル２を記憶するデータベースである。学習済みモデル記憶部４３に記憶された学習モデル２は、ネットワーク７や記録媒体等を介して実システム（例えば、構造物状態判定装置５）に提供される。なお、学習モデル２は、外部コンピュータ（例えば、サーバ型コンピュータやクラウド型コンピュータ）に提供されて、外部コンピュータの記憶部に記憶されてもよい。また、図２では、学習データ記憶部４２と、学習済みモデル記憶部４３とが別々の記憶部として示されているが、これらは単一の記憶部で構成されてもよい。

【0027】

図３は、第１の実施形態に係る学習データの一例を示すデータ構成図である。学習データは、学習用画像３０を含む入力データと、当該学習用画像３０に含まれる損傷部分の損傷種別、損傷進行度、及び、損傷進行時間を含む出力データとで構成される。

【0028】

入力データに含まれる学習用画像３０は、撮像装置３により構造物１０の少なくとも一部が撮像されたものである。

【0029】

出力データは、教師あり学習において、例えば、正解ラベルと呼ばれるものであり、学習用画像３０に含まれる構造体１０の損傷状態に応じて付与される。

【0030】

出力データに含まれる損傷種別は、構造物１０に損傷１００が生じたときの状態を、例えば、損傷１００の形状や分布等で分類したときの種別を示す。構造物１０がコンクリートである場合には、損傷種別は、図３に示すように、損傷１００が生じていない正常な状態も含めて、例えば、「損傷なし」、「不規則性クラック」、「並行クラック」、「格子クラック」及び「剥離」のように、複数のクラスに分類される。また、構造物１０がＦＲＰである場合には、損傷種別は、損傷１００が生じていない正常な状態も含めて、例えば
、「損傷なし」、「摩耗」、「層間剥離」のように、複数のクラスに分類される。なお、損傷種別は、上記の分類の定義や数に限られない。

【0031】

出力データに含まれる損傷進行度は、損傷１００の進行度を複数の段階で分類したときに損傷部分の進行度を示す。損傷進行度は、正常な状態から構造物１０に損傷１００が生じたときに、損傷１００が進行するのに従って、例えば、軽度、中度及び重度等のように３段階にて分類される。この場合、損傷進行度は、例えば、「軽度」、「中度」及び「重度」のように、複数のクラスに分類される。なお、損傷進行度は、上記の分類の定義や数に限られない。

【0032】

出力データに含まれる損傷進行時間は、損傷１００進行度が次の段階に進行するまでに要する時間を示す。損傷１００進行時間は、例えば、現在の損傷１００進行度が軽度である場合には、中度に進行するまでに要する時間を示す。この場合、損傷進行時間の単位は、日、週、月及び年のいずれでもよい。

【0033】

図３の例では、入力データに含まれる学習用画像３０に対して、出力データとして、損傷種別「並行クラック」、損傷進行度「中度」、損傷進行時間「３（月）」（本実施形態では、月単位とする）が対応付けられている。なお、１つの学習用画像３０に対して、複数の損傷部分が含まれていてもよい。

【0034】

図４は、第１の実施形態に係る学習モデル２に適用されるニューラルネットワークモデル２０の一例を示す概略図である。ニューラルネットワークモデル２０は、機械学習の具体的な手法として、畳み込みニューラルネットワーク（ＣＮＮ）を採用したものである。ニューラルネットワークモデル２０は、入力層２１、中間層２２、及び、出力層２３を備える。

【0035】

入力層２１は、入力データとしての学習用画像３０の画素数に対応する数のニューロンを有し、各ピクセルの画素値が各ニューロンにそれぞれ入力される。

【0036】

中間層２２は、畳み込み層２２０、プーリング層２２１及び全結合層２２２から構成されている。畳み込み層２２０及びプーリング層２２１は、例えば、交互に複数層設けられている。畳み込み層２２０及びプーリング層２２１は、入力層２１を介して入力された画像から特徴量を抽出する。全結合層２２２は、畳み込み層２２０及びプーリング層２２１により画像から抽出された二次元配列の特徴量を、例えば、活性化関数によって変換し、一次元配列の特徴ベクトルとして出力する。なお、全結合層２２２は、複数層設けられていてもよい。

【0037】

出力層２３は、全結合層２２２から出力された特徴ベクトルに基づいて、学習用画像３０に含まれる損傷部分の判定結果を含む出力データを出力する。図４の例では、出力層２３は、損傷種別の５クラス、損傷進行度の３クラス、及び、損傷進行時間に対応する数のニューロンを有する。

【0038】

ニューラルネットワークモデル２０の各層の間には、層間のニューロンをそれぞれ接続するシナプスが張られており、中間層２２の畳み込み層２２０及び全結合層２２２の各シナプスには、重みが対応付けられている。

【0039】

機械学習部４０１は、学習データをニューラルネットワークモデル２０に入力し、入力データ（学習用画像３０）と、出力データ（損傷種別、損傷進行度及び損傷進行時間）との相関関係をニューラルネットワークモデル２０に機械学習させる。具体的には、機械学習部４０１は、学習データを構成する学習用画像３０を入力データとして、ニューラルネ
ットワークモデル２０の入力層２１に入力する。なお、機械学習部４０１は、学習用画像３０を入力層２１に入力する際の前処理として、所定の画像調整（例えば、画像フォーマット、画像サイズ、画像フィルタ、画像マスク等）を学習用画像３０に施してもよい。

【0040】

機械学習部４０１は、出力層２３から推論結果として出力された出力データ（損傷種別、損傷進行度及び損傷進行時間の判定結果）と、当該学習データを構成する出力データ（損傷種別、損傷進行度及び損傷進行時間の正解ラベル）とを比較する誤差関数を用いて、誤差関数の評価値が小さくなるように、各シナプスに対応付けられた重みを調整する（バックプロバケーション）ことを反復する。そして、機械学習部４０１は、上記の一連の処理を所定の回数反復実施することや、誤差関数の評価値が許容値より小さくなること等の所定の学習終了条件が満たされたと判断した場合には、機械学習を終了し、そのときのニューラルネットワークモデル２０（各シナプスのそれぞれに対応付けられた全ての重みからなる重みパラメータ群）を、学習済みの学習モデル２として学習済みモデル記憶部４３に格納する。なお、機械学習部４０１は、学習モデル２の機械学習を実施する際、重みを調整する手法として、例えば、オンライン学習、バッチ学習、ミニバッチ学習等を採用してもよいし、複数組の学習データを訓練データとテストデータに分割して学習モデル２を評価する手法として、例えば、ホールドアウト法、交差検証等を採用してもよいし、所定の学習終了条件として、誤判定率が最小であることを判定するようにしてもよい。

【0041】

（構造物状態判定装置５）
図５は、第１の実施形態に係る構造物状態判定装置５の一例を示すブロック図である。構造物状態判定装置５は、制御部５０、通信部５１、及び、学習済みモデル記憶部５２を備える。

【0042】

制御部５０は、判定データ取得部５００、推論部５０１及び出力処理部５０２として機能する。通信部５１は、ネットワーク７を介して外部装置（例えば、撮像装置３、機械学習装置４及び端末装置６等）と接続され、各種のデータを送受信する通信インターフェースとして機能する。

【0043】

判定データ取得部５００は、外部装置と通信部５１及びネットワーク７を介して接続され、構造物１０の少なくとも一部が撮像された判定用画像３１を含む判定データを取得する。

【0044】

推論部５０１は、判定データ取得部５００により取得された判定データを学習モデル２に入力することにより、構造物１０の損傷状態として、判定用画像３１に含まれる損傷部分の損傷種別、損傷進行度及び損傷進行時間を推論する推論処理（後述の図６参照）を行う。

【0045】

学習済みモデル記憶部５２は、推論部５０１の推論処理にて用いられる学習済みの学習モデル２を記憶するデータベースである。なお、学習済みモデル記憶部５２に記憶される学習モデル２の数は１つに限定されず、例えば、機械学習の手法、構造物１０を形成する外装材又は塗装材の種類等の条件が異なる複数の学習済みモデルが記憶され、選択的に利用可能としてもよい。また、学習済みモデル記憶部５２は、外部コンピュータ（例えば、サーバ型コンピュータやクラウド型コンピュータ）の記憶部で代用されてもよく、その場合には、推論部５０１は、当該外部コンピュータにアクセスすることで、上記の推論処理を行ってもよい。

【0046】

出力処理部５０２は、推論部５０１により推論された構造物１０の損傷状態の判定結果を出力するための出力処理を行う。判定結果を出力するための具体的な出力手段は、種々の手段を採用することが可能である。例えば、出力処理部５０２は、判定結果を端末装置
６に送信したり、さらに画面表示したりしてもよいし、判定結果を構造物状態判定装置５の記憶部に記憶したりしてもよい。

【0047】

図６は、第１の実施形態に係る推論部５０１による推論処理の一例を示す機能説明図である。

【0048】

判定データに含まれる判定用画像３１は、撮像装置３により構造物１０の少なくとも一部が撮像されたものである。判定用画像３１は、機械学習装置４にて学習モデル２を機械学習させたときの学習用画像３０に相当するものである。

【0049】

ここでの学習モデル２は、機械学習装置４にて複数組の学習データを用いて学習用画像３０と、当該学習用画像３０に含まれる損傷部分の損傷種別、損傷進行度及び損傷進行時間との相関関係を機械学習させたものであり、重みパラメータ群が調整済み（学習済み）の学習モデル２である。したがって、推論部５０１は、判定用データに含まれる判定用画像３１を学習モデル２に入力することにより、当該判定用画像３１に含まれる損傷部分の損傷種別、損傷進行度及び損傷進行時間を推論する。

【0050】

その際、損傷種別は、各クラスに対するスコア（信頼度）として出力され、損傷種別の分類が、５クラス（損傷なし、不規則性クラック、並行クラック、格子クラック及び剥離）で表される場合には、クラス毎のスコアが、例えば、「０．０２」、「０．１０」、「０．１５」、「０．９５」、「０．１２」のように出力される。スコアの利用方法は、任意の方法を採用すればよく、図６に示すように、スコアが最も高いクラス（上記の例では、スコア「０．９５」の格子クラック）を判定結果としてもよいし、所定のクラスのスコアが所定のスコア基準値を超えている場合（上記の例では、格子クラックのクラスのスコア「０．９５」がスコア基準値「０．８０」を超えている場合）、当該クラスを判定結果としてもよい。

【0051】

損傷進行度は、各クラスに対するスコア（信頼度）として出力され、損傷進行度の分類が、３クラス（軽度、中度及び重度）で表される場合には、クラス毎のスコアが、例えば、「０．９２」、「０．１４」、「０．０８」のように出力される。スコアの利用方法は、任意の方法を採用すればよく、図６に示すように、スコアが最も高いクラス（上記の例では、スコア「０．９２」の軽度）を判定結果としてもよいし、所定のクラスのスコアが所定のスコア基準値を超えている場合（上記の例では、軽度のクラスのスコア「０．９２」がスコア基準値「０．７５」を超えている場合）、当該クラスを判定結果としてもよい。

【0052】

損傷進行時間は、所定の単位（日、週、月又は年）による数値として出力され、損傷種別の判定結果が、「格子クラック」であり、損傷進行度の判定結果が、「中度」である場合には、格子クラックが「中度」から「重度」に進行するまでに要する時間として、「６（月）」（本実施形態では、月単位とする）のように出力される。

【0053】

なお、判定用画像３１に対する損傷状態の判定結果は、学習済みモデル記憶部５２や他の記憶装置（不図示）に記憶されることが好ましく、過去の判定結果は、例えば、学習済みの学習モデル２の推論精度の更なる向上のため、オンライン学習や再学習に用いられる学習データとして利用してもよい。

【0054】

（コンピュータ９００の構成）
図７は、構造物管理システム１の各装置３～６を構成するコンピュータ９００の一例を示すハードウエア構成図である。

【0055】

構造物管理システム１の各装置３～６は、汎用又は専用のコンピュータ９００により構成される。コンピュータ９００は、その主要な構成要素として、バス９１０、プロセッサ９１２、メモリ９１４、入力デバイス９１６、出力デバイス９１７、表示デバイス９１８、ストレージ装置９２０、通信Ｉ／Ｆ（インターフェース）部９２２、外部機器Ｉ／Ｆ部９２４、Ｉ／Ｏ（入出力）デバイスＩ／Ｆ部９２６、及び、メディア入出力部９２８を備える。なお、上記の構成要素は、コンピュータ９００が使用される用途に応じて適宜省略されてもよい。

【0056】

プロセッサ９１２は、１つ又は複数の演算処理装置（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ－ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等）で構成され、コンピュータ９００全体を統括する制御部として動作する。メモリ９１４は、各種のデータ及びプログラム９３０を記憶し、例えば、メインメモリとして機能する揮発性メモリ（ＤＲＡＭ、ＳＲＡＭ等）と、不揮発性メモリ（ＲＯＭ、フラッシュメモリ等）とで構成される。

【0057】

入力デバイス９１６は、例えば、キーボード、マウス、テンキー、電子ペン等で構成され、入力部として機能する。出力デバイス９１７は、例えば、音（音声）出力装置、バイブレーション装置等で構成され、出力部として機能する。表示デバイス９１８は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー、プロジェクタ等で構成され、出力部として機能する。入力デバイス９１６及び表示デバイス９１８は、タッチパネルディスプレイのように、一体的に構成されていてもよい。ストレージ装置９２０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等で構成され、記憶部として機能する。ストレージ装置９２０は、オペレーティングシステムやプログラム９３０の実行に必要な各種のデータを記憶する。

【0058】

通信Ｉ／Ｆ部９２２は、インターネットやイントラネット等のネットワーク９４０（図１のネットワーク７と同じでもよい）に有線又は無線により接続され、所定の通信規格に従って他のコンピュータとの間でデータの送受信を行う通信部として機能する。外部機器Ｉ／Ｆ部９２４は、カメラ、プリンタ、スキャナ、リーダライタ等の外部機器９５０に有線又は無線により接続され、所定の通信規格に従って外部機器９５０との間でデータの送受信を行う通信部として機能する。Ｉ／ＯデバイスＩ／Ｆ部９２６は、各種のセンサ、アクチュエータ等のＩ／Ｏデバイス９６０に接続され、Ｉ／Ｏデバイス９６０との間で、例えば、センサによる検出信号やアクチュエータへの制御信号等の各種の信号やデータの送受信を行う通信部として機能する。メディア入出力部９２８は、例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）ドライブ等のドライブ装置で構成され、ＤＶＤ、ＣＤ等のメディア（非一時的な記憶媒体）９７０に対してデータの読み書きを行う。

【0059】

上記構成を有するコンピュータ９００において、プロセッサ９１２は、ストレージ装置９２０に記憶されたプログラム９３０をメモリ９１４に呼び出して実行し、バス９１０を介してコンピュータ９００の各部を制御する。なお、プログラム９３０は、ストレージ装置９２０に代えて、メモリ９１４に記憶されていてもよい。プログラム９３０は、インストール可能なファイル形式又は実行可能なファイル形式でメディア９７０に記録され、メディア入出力部９２８を介してコンピュータ９００に提供されてもよい。プログラム９３０は、通信Ｉ／Ｆ部９２２を介してネットワーク９４０経由でダウンロードすることによりコンピュータ９００に提供されてもよい。また、コンピュータ９００は、プロセッサ９１２がプログラム９３０を実行することで実現する各種の機能を、例えば、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）等のハード
ウエアで実現するものでもよい。

【0060】

コンピュータ９００は、例えば、据置型コンピュータや携帯型コンピュータで構成され、任意の形態の電子機器である。コンピュータ９００は、コンピュータ９００の使用用途に応じて、クライアント型コンピュータやエッジ型コンピュータで構成されてもよいし、サーバ型コンピュータやクラウド型コンピュータで構成されてもよい。

【0061】

（機械学習方法）
図８は、第１の実施形態に係る機械学習装置４による機械学習方法の一例を示すフローチャートである。

【0062】

まず、ステップＳ１００において、学習データ取得部４００は、機械学習を開始するための事前準備として、所望の数の学習データを準備し、その準備した学習データを学習データ記憶部４２に記憶する。ここで準備する学習データの数は、最終的に得られる学習モデル２に求められる推論精度を考慮して設定すればよい。

【0063】

学習データを準備する方法には、いくつかの方法を採用することができる。例えば、作業者が、撮像装置３を用いて構造物１０の任意の撮像場所にて学習用画像３０を撮像し、端末装置６を用いて、そのときの撮像日時、撮像場所を記録するとともに、損傷１００が生じている場合には、その損傷１００の損傷種別及び損傷進行度を記録する。そして、作業者が、同じ撮像場所にて学習用画像３０を新たに撮像したときに、その損傷１００の損傷進行度が次に段階に進行していると判定した場合には、前回撮像した学習用画像３０に対して損傷進行時間（例えば、前回の撮影日時から今回の撮影日時までの経過時間）を対応付けることで学習データを準備する。そして、このような作業を繰り返すことで学習データを複数組準備することが可能である。また、他の方法として、例えば、構造物１０の試験体に損傷１００を意図的に発生させる加速度試験を行うことで学習データを取得することも可能である。さらに、学習データとしては、損傷１００が生じた場合だけでなく、損傷１００が生じていないとき、すなわち、構造物１０が正常な状態であるときの入力データ及び出力データ（例えば、この場合の出力データの損傷種別は「損傷なし」）で構成された学習データを複数組準備する。

【0064】

次に、ステップＳ１１０において、機械学習部４０１は、機械学習を開始すべく、学習前の学習モデル２を準備する。ここで準備する学習前の学習モデル２は、図４に例示した畳み込みニューラルネットワークを採用したものであり、各シナプスの重みが初期値に設定されている。入力層２１の各ニューロンには、学習データを構成する入力データとしての学習用画像３０の各画素が対応付けられる。出力層２３の各ニューロンには、学習データを構成する出力データとしての損傷種別、損傷進行度及び損傷進行時間が対応付けられる。

【0065】

次に、ステップＳ１２０において、機械学習部４０１は、学習データ記憶部４２に記憶された複数組の学習データから、例えば、ランダムに１組の学習データを取得する。

【0066】

次に、ステップＳ１３０において、機械学習部４０１は、１組の学習データに含まれる入力データを、準備された学習前（又は学習中）の学習モデル２の入力層に入力する。その結果、学習モデル２の出力層から推論結果として出力データが出力されるが、当該出力データは、学習前（又は学習中）の学習モデル２によって生成されたものである。そのため、学習前（又は学習中）の状態では、推論結果として出力された出力データは、学習データに含まれる出力データ（正解ラベル）とは異なる情報を示す。

【0067】

次に、ステップＳ１４０において、機械学習部４０１は、ステップＳ１２０において取
得された１組の学習データに含まれる出力データ（正解ラベル）と、ステップＳ１３０において出力層から推論結果として出力された出力データとを比較し、各シナプスの重みを調整することで、機械学習を実施する。これにより、機械学習部４０１は、入力データと出力データとの相関関係を学習モデル２に学習させる。

【0068】

次に、ステップＳ１５０において、機械学習部４０１は、所定の学習終了条件が満たされたか否かを、例えば、推論結果と、学習データに含まれる出力データ（正解ラベル）とに基づく誤差関数の評価値や、学習データ記憶部４２内に記憶された未学習の学習データの残数に基づいて判定する。

【0069】

ステップＳ１５０において、機械学習部４０１が、学習終了条件が満たされておらず、機械学習を継続すると判定した場合（ステップＳ１５０でＮｏ）、ステップＳ１２０に戻り、学習中の学習モデル２に対してステップＳ１２０～Ｓ１４０の工程を未学習の学習データを用いて複数回実施する。一方、ステップＳ１５０において、機械学習部４０１が、学習終了条件が満たされて、機械学習を終了すると判定した場合（ステップＳ１５０でＹｅｓ）、ステップＳ１６０に進む。

【0070】

そして、ステップＳ１６０において、機械学習部４０１は、各シナプスに対応付けられた重みを調整することで機械学習させた学習済みの学習モデル２（調整済みの重みパラメータ群）を学習済みモデル記憶部４３に記憶し、図８に示す一連の機械学習方法を終了する。機械学習方法において、ステップＳ１００が学習データ記憶工程、ステップＳ１１０～Ｓ１５０が機械学習工程、ステップＳ１６０が学習済みモデル記憶工程に相当する。なお、図８に示す一連の機械学習方法では、重みを調整する手法として、オンライン学習を採用した場合について説明したが、バッチ学習やミニバッチ学習（例えば、１００組の学習データ単位）等が採用されてもよい。また、複数組の学習データを訓練データとテストデータに分割した場合には、図８に示す一連の機械学習方法は、訓練データを用いて実行されればよい。さらに、所定の学習終了条件が満たされたか否かを誤判定率に基づいて判定するようにしてもよい。

【0071】

以上のように、本実施形態に係る機械学習装置４及び機械学習方法によれば、撮像装置３より構造物１０の少なくとも一部が撮像された学習用画像３０から、構造物１０の損傷状態を高精度に推論（判定）することが可能な学習モデル２を提供することができる。

【0072】

（構造物状態判定方法）
図９は、第１の実施形態に係る構造物状態判定装置５による構造物状態判定方法の一例を示すフローチャートである。なお、図９に示す一連の構造物状態判定方法は、構造物状態判定装置５により所定のタイミングにて繰り返し実行される。所定のタイミングは、任意のタイミングでよく、例えば、撮像装置３が判定用画像３１を新たに撮像したときでもよいし、所定の事象発生時（端末装置６から管理者や作業者による判定操作を受け付けた時、構造物管理システム１から判定指令を受信した時等）でもよい。

【0073】

まず、ステップＳ２００において、構造物１０が撮像装置３により撮像されて、判定用画像３１が構造物状態判定装置５に送信されることで、判定データ取得部５００が、当該判定用画像３１を含む判定データを取得する。

【0074】

次に、ステップＳ２１０において、推論部５０１は、判定データに所定の前処理を施して学習済みの学習モデル２の入力層に入力し、その学習モデル２の出力層から推論結果として出力された損傷種別の各クラスに対するスコア、損傷進行度の各クラスに対するスコア、損傷進行時間の数値を取得する。

【0075】

次に、ステップＳ２２０において、推論部５０１は、教師あり学習の後処理の一例として、例えば、損傷種別の各クラスに対するスコアのうち最も高いクラスを損傷種別とし、損傷進行度の各クラスに対するスコアのうち最も高いクラスを損傷進行度とすることで、判定用画像３１に含まれる損傷部分の損傷種別、損傷進行度及び損傷進行時間を判定する。

【0076】

次に、ステップＳ２３０において、出力処理部５０２は、推論部５０１による損傷種別の判定結果が「損傷なし」であるか否かを判定し、「損傷なし」と判定した場合には、ステップＳ２４０に進み、「損傷なし」と判定しなかった場合には、ステップＳ２５０に進む。

【0077】

そして、ステップＳ２４０において、出力処理部５０２は、「損傷なし」を表す情報を出力する。なお、ステップＳ２４０は省略されてもよい。

【0078】

一方、ステップＳ２５０において、出力処理部５０２は、「損傷あり」を表す情報として、損傷種別、損傷進行度及び損傷進行時間をそれぞれ表す情報を出力し、図９に示す一連の構造物状態判定方法を終了する。構造物状態判定方法において、ステップＳ２００が判定データ取得工程、ステップＳ２１０～Ｓ２２０が推論工程、ステップＳ２３０～Ｓ２５０が出力処理工程に相当する。

【0079】

以上のように、本実施形態に係る構造物状態判定装置５及び構造物状態判定方法によれば、構造物１０の少なくとも一部が撮像された判定用画像３１を含む判定データが学習モデル２に入力されることで、判定用画像３１に撮像された構造物１０の損傷状態として、損傷種別、損傷進行度及び損傷進行時間が推論されるので、損傷進行度に応じた点検・保守作業の実施を容易にすることができる。

【0080】

（第２の実施形態）
図１０は、第２の実施形態に係る機械学習装置４の一例を示すブロック図である。図１１は、第２の実施形態に係る学習モデル２ａに適用されるニューラルネットワークモデル２０ａの一例を示す概略図である。図１２は、第２の実施形態に係る構造物状態判定装置５の一例を示すブロック図である。図１３は、第２の実施形態に係る推論部５０１ａによる推論処理の一例を示す機能説明図である。

【0081】

第２の実施形態に係る機械学習装置４及び構造物状態判定装置５で用いられる学習モデル２ａは、第１の実施形態に係る学習モデル２に対して、入力データの内容を変更したものである。具体的には、第２の実施形態に係る学習モデル２ａでは、学習データを構成する入力データが、学習用画像３０が撮像された撮像場所の環境を示す学習用環境情報８０をさらに含むものであり、これに合わせて、判定データが、判定用画像３１が撮像された撮像場所の環境を示す判定用環境情報８１をさらに含むものである。第２の実施形態に係る機械学習装置４及び構造物状態判定装置５の基本的な構成及び動作は、第１の実施形態と同様であるため、以下では第１の実施形態との相違点を中心に説明する。

【0082】

学習用環境情報８０及び判定用環境情報８１は、紫外線量、温度、湿度、風速、波浪、落雷、気候、酸性雨の酸性値、酸性雨の含有物質量、飛来塩分量、及び、放射線量のうち少なくとも１つに関する情報である。学習用環境情報８０及び判定用環境情報８１は、例えば、所定の観測期間における平均値や累積値として算定されるのが好ましい。

【0083】

学習用環境情報８０及び判定用環境情報８１は、環境観測装置８Ａが備える各種の環境センサにより観測された観測データであり、各種の環境センサは、構造物１０に設置されていてもよいし、所定の地域毎に設置されて、各地域を代表する代表値として観測された
ものでもよい。また、学習用環境情報８０及び判定用環境情報８１は、気象庁や環境情報提供事業者等により運用される環境情報提供装置８Ｂから提供される提供データであって、構造物１０の位置や地域に対応する提供データを取得したものでもよい。

【0084】

機械学習装置４の学習データ取得部４００ａは、学習用画像３０及び学習用環境情報８０を含む入力データと、学習用画像３０に含まれる損傷部分の損傷種別、損傷進行度及び損傷進行時間を含む出力データとで構成される学習データを取得する。

【0085】

機械学習部４０１ａは、学習モデル２ａに学習データを複数組入力することで、学習データを構成する入力データ（学習用画像３０及び学習用環境情報８０）と、出力データ（損傷種別、損傷進行度及び損傷進行時間）との相関関係を学習モデル２ａに機械学習させる。

【0086】

学習モデル２ａに適用されるニューラルネットワークモデル２０ａ（図１１参照）において、学習用画像３０は、入力層２１に入力され、学習用環境情報８０は、全結合層２２２に入力される。そのため、全結合層２２２は、学習用環境情報８０（判定用環境情報８１）が入力される少なくとも１つのニューロンをさらに有する。なお、学習用環境情報８０（判定用環境情報８１）は、上記のように例示した情報の一部又は全部でもよいし、他の情報をさらに含むものでもよく、全結合層２２２のニューロン数は、学習用環境情報８０（判定用環境情報８１）の数に応じて設定される。また、学習用環境情報８０（判定用環境情報８１）が全結合層２２２に入力される際、そのままの値を入力してもよいし、正規化した値を入力してもよいし、例えば、カテゴリ変数やワンホットエンコーディングを導入し、その変換後の値を入力してもよい。

【0087】

構造物状態判定装置５の判定データ取得部５００ａは、判定用画像３１及び判定用環境情報８１を含む判定データを取得する。

【0088】

推論部５０１ａは、判定データ取得部５００ａにより取得された判定データ（判定用画像３１及び判定用環境情報８１）を学習モデル２ａに入力することにより、構造物１０の損傷状態として、判定用画像３１に含まれる損傷部分の損傷種別、損傷進行度及び損傷進行時間を推論する。その際、判定用画像３１は、入力層２１に入力され、判定用環境情報８１は、全結合層２２２に入力される。

【0089】

以上のように、本実施形態によれば、学習用画像３０及び判定用画像３１に、学習用環境情報８０及び判定用環境情報８１をそれぞれ加えて学習モデル２ａの機械学習を実施することで、学習用環境情報８０及び判定用環境情報８１が、構造物１０の損傷状態に与える影響が考慮されるので、学習モデル２ａの判定精度を向上させることができる。

【0090】

（第３の実施形態）
図１４は、第３の実施形態に係る機械学習装置４の一例を示すブロック図である。図１５は、第３の実施形態に係る学習モデル２ｂに適用されるニューラルネットワークモデル２０ｂの一例を示す概略図である。図１６は、第３の実施形態に係る構造物状態判定装置５の一例を示すブロック図である。図１７は、第３の実施形態に係る推論部５０１ｂによる推論処理の一例を示す機能説明図である。

【0091】

第３の実施形態に係る機械学習装置４及び構造物状態判定装置５で用いられる学習モデル２ｂは、第１の実施形態に係る学習モデル２に対して、出力データの内容を変更したものである。具体的には、第３の実施形態に係る学習モデル２ｂでは、学習データを構成する出力データが、損傷進行度が次以降の複数の段階にそれぞれ進行するまでに要する各時間を示す複数の損傷進行時間を含むものである。第３の実施形態に係る機械学習装置４及
び構造物状態判定装置５の基本的な構成及び動作は、第１の実施形態と同様であるため、以下では第１の実施形態との相違点を中心に説明する。

【0092】

機械学習装置４の学習データ取得部４００ｂは、学習用画像３０を含む入力データと、学習用画像３０に含まれる損傷部分の損傷種別、損傷進行度及び複数の損傷進行時間を含む出力データとで構成される学習データを取得する。

【0093】

機械学習部４０１ｂは、学習モデル２ｂに学習データを複数組入力することで、学習データを構成する入力データ（学習用画像３０）と、出力データ（損傷種別、損傷進行度及び複数の損傷進行時間）との相関関係を学習モデル２ｂに機械学習させる。

【0094】

その際、学習モデル２ｂに適用されるニューラルネットワークモデル２０ｂ（図１５参照）において、複数の損傷進行時間は、例えば、損傷進行度が「開始」から「軽度」に進行するまでに要する損傷進行時間と、損傷進行度が「軽度」から「中度」に進行するまでに要する損傷進行時間と、損傷進行度が軽「中度」から「重度」に進行するまでに要する損傷進行時間とを含み、出力層２３の各ニューロンからそれぞれ出力される。そのため、出力層２３は、損傷種別の５クラス、損傷進行度の３クラス、及び、３つの損傷進行時間に対応する数のニューロンを有する。

【0095】

図１８は、損傷種別毎に、損傷進行度と損傷進行時間との関係を示すグラフである。図１８には、損傷種別として、「不規則性クラック」、「並行クラック」、「格子クラック」及び「剥離」の４クラスについて、横軸を時間とし、縦軸を損傷進行度として、損傷
進行度が進行するときの３つの損傷進行時間が、経時劣化グラフとして図示されている。

【0096】

学習データは、上記のように、学習用画像３０を含む入力データと、学習用画像３０に含まれる損傷部分の損傷種別、損傷進行度及び複数の損傷進行時間を含む出力データとで構成されるため、機械学習部４０１ｂは、上記の損傷種別毎の経時劣化グラフを学習モデル２ｂに機械学習させることになる。

【0097】

構造物状態判定装置５の推論部５０１ｂは、判定データ取得部５００により取得された判定データ（判定用画像３１）を学習モデル２ｂに入力することにより、構造物１０の損傷状態として、判定用画像３１に含まれる損傷部分の損傷種別、損傷進行度及び複数の損傷進行時間を推論する。

【0098】

以上のように、本実施形態によれば、出力データとして複数の損傷進行時間を含む学習データを用いて学習モデル２ｂの機械学習を実施することで、判定用画像３１に撮像された構造物１０の損傷状態として、損傷種別、損傷進行度及び複数の損傷進行時間が推論されるので、損傷進行度が進行する状況をより詳細に判定することができる。

【0099】

（他の実施形態）
本発明は上述した実施形態に制約されるものではなく、本発明の主旨を逸脱しない範囲内で種々変更して実施することが可能である。そして、それらはすべて、本発明の技術思想に含まれるものである。

【0100】

例えば、第２の実施形態と第３の実施形態とを組み合わせてもよく、第２の実施形態に係る学習データを構成する出力データが、第３の実施形態のように、複数の損傷進行時間を含むようにしてもよい。その場合、機械学習装置４の機械学習部は、入力データ（学習用画像３０及び学習用環境情報８０）と、出力データ（損傷種別、損傷進行度及び複数の損傷進行時間）との相関関係を学習モデルに機械学習させる。また、構造物状態判定装置５の推論部は、判定データ（判定用画像３１及び判定用環境情報８１）を学習済みの学習
モデルに入力することにより、構造物１０の損傷状態として、判定用画像３１に含まれる損傷部分の損傷種別、損傷進行度及び複数の損傷進行時間を推論する。

【0101】

また、上記実施形態では、機械学習の学習手法として、構造物１０の損傷状態の判定を分類問題として扱うニューラルネットワークモデル（深層学習を含む）２０、２０ａ、２０ｂにより学習モデル２、２ａ、２ｂを構成した場合について説明したが、回帰問題として扱うニューラルネットワークモデルにより学習モデルを構成してもよい。さらに、上記実施形態における入力データ及び出力データの相関関係を学習データから機械学習するものであれば、上記の例に限られるものでなく、他の学習手法を採用してもよい。例えば、学習モデルは、再帰型ニューラルネットワーク（ＲＮＮ）やアンサンブル学習を用いたものでもよい。また、回帰問題として扱う場合には、学習モデルは、統計的な学習手法を採用したものでもよく、例えば、自己回帰和分移動平均（ＡＲＩＭＡ）モデルやベイズ推定等の統計的モデルを用いたものでもよい。

【0102】

また、上記実施形態における機械学習装置４の制御部４０、又は、構造物状態判定装置５の制御部５０が備える各部は、図７に示すコンピュータ９００のプロセッサ９１２にプログラムで実行させることで実現されるものでもよい。
きる。

【0103】

また、上記実施形態に係る構造物状態判定装置５の態様に代えて、構造物１０の損傷状態を判定するために用いられる推論装置（推論方法又は推論プログラム）の態様で提供してもよい。この場合、推論装置は、メモリと、プロセッサとを含み、このうちのプロセッサが、一連の処理を実行する。当該一連の処理は、判定用画像３１を含む判定データを取得するデータ取得処理と、データ取得処理にて判定データを取得すると、判定用画像３１に撮像された構造物１０の損傷状態として、当該判定用画像３１に含まれる損傷部分の損傷種別、損傷進行度及び損傷進行時間を推論する推論処理とを含む。上記の推論装置（推論方法又は推論プログラム）の態様で提供することで、構造物状態判定装置５を実装する場合に比して簡単に種々の装置への適用が可能となる。なお、推論装置（推論方法又は推論プログラム）が構造物１０の損傷状態を判定する際、上記実施形態に係る機械学習装置４により生成された学習済みの学習モデル２、２ａ、２ｂを用いて、構造物状態判定装置５の推論部５０１、５０１ａ、５０１ｂが実施する推論手法を適用してもよいことは、当業者にとって当然に理解され得るものである。

【符号の説明】

【0104】

１…構造物管理システム、２、２ａ、２ｂ…学習モデル、３…撮像装置、
４…機械学習装置、５…構造物状態判定装置、６…端末装置、７…ネットワーク、
８Ａ…環境観測装置、８Ｂ…環境情報提供装置、１０…構造物、
２０、２０ａ、２０ｂ…ニューラルネットワークモデル、
２１…入力層、２２…中間層、２３…出力層、
３０…学習用画像、３１…判定用画像、
４０…制御部、４１…通信部、４２…学習データ記憶部、４３…学習済みモデル記憶部、５０…制御部、５１…通信部、５２…学習済みモデル記憶部、
８０…学習用環境情報、８１…判定用環境情報、１００…損傷、
２２０…畳み込み層、２２１…プーリング層、２２２…全結合層、
４００、４００ａ、４００ｂ…学習データ取得部、
４０１、４０１ａ、４０１ｂ…機械学習部、
５００、５００ａ…判定データ取得部、５０１、５０１ａ、５０１ｂ…推論部、
５０２…出力処理部、９００…コンピュータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】