特許 7321452 プログラム、情報処理装置、情報処理方法及び学習済みモデルの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-28

(45)【発行日】2023-08-07

(54)【発明の名称】プログラム、情報処理装置、情報処理方法及び学習済みモデルの生成方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20230731BHJP

   G01N 21/95 20060101ALI20230731BHJP

   G06T 7/00 20170101ALI20230731BHJP

【ＦＩ】

G01N21/88 Z

G01N21/95 Z

G06T7/00 350B

【請求項の数】 9

(21)【出願番号】P 2019188045

(22)【出願日】2019-10-11

(65)【公開番号】P2021063706

(43)【公開日】2021-04-22

【審査請求日】2022-08-31

【新規性喪失の例外の表示】特許法第３０条第２項適用 平成３０年１０月１７日に、日本ユニシス株式会社のウェブサイト（ｈｔｔｐｓ：／／ｗｗｗ．ｕｎｉｓｙｓ．ｃｏ．ｊｐ／ｎｅｗｓ／ｎｒ＿１８１０１７＿ａｉｈａｎｔｅｉ．ｐｄｆ）にて公開

【新規性喪失の例外の表示】特許法第３０条第２項適用 平成３０年１０月１８日に、株式会社日本海コンサルタントのウェブサイト（ｈｔｔｐｓ：／／ｗｗｗ．ｎｉｈｏｎｋａｉ．ｃｏ．ｊｐ／ｎｅｗｓ／％ｅｆ％ｂｄ％８１％ｅｆ％ｂｄ％８９％ｅ３％８２％９２％ｅ６％ｂ４％ｂｂ％ｅ７％９４％ａ８％ｅ３％８１％９７％ｅ３％８１％９ｆ％ｅ６％ａ９％８ｂ％ｅ６％ａ２％８１％ｅ３％８１％ａｅ％ｅ５％８ａ％ａ３％ｅ５％８ｃ％９６％ｅ８％ａ６％８１％ｅ５％９ｂ％ａ０％ｅ３％８３％ｂｂ％ｅ５％８１％ａ５％ｅ５％８５％ａ８％ｅ６％８０％ａ７％ｅ５％８８％ａ４％ｅ５％ａｅ％９ａ％ｅ６％９４％ａｆ％ｅ６％８ｆ％ｂ４／）及び（ｈｔｔｐｓ：／／ｗｗｗ．ｎｉｈｏｎｋａｉ．ｃｏ．ｊｐ／＿ｋａｎｒｉ／ｗｐ－ｃｏｎｔｅｎｔ／ｕｐｌｏａｄｓ／２０１８／１０／ＡＩ３０１０１８．ｐｄｆ）にて公開

(73)【特許権者】

【識別番号】591030237

【氏名又は名称】ＢＩＰＲＯＧＹ株式会社

(73)【特許権者】

【識別番号】519368345

【氏名又は名称】株式会社日本海コンサルタント

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】武井 宏将

(72)【発明者】

【氏名】小林 岳

(72)【発明者】

【氏名】喜多 敏春

(72)【発明者】

【氏名】安藤 正幸

(72)【発明者】

【氏名】塩士 圭介

(72)【発明者】

【氏名】眞島 俊光

(72)【発明者】

【氏名】多田 徳夫

(72)【発明者】

【氏名】形屋 陽一郎

(72)【発明者】

【氏名】町口 敦志

(72)【発明者】

【氏名】末松 雅隆

(72)【発明者】

【氏名】中谷 明弘

【審査官】古川 直樹

(56)【参考文献】

【文献】特開２０１９－１５７５３５（ＪＰ，Ａ）

【文献】特開２００１－３４９８８７（ＪＰ，Ａ）

【文献】特開２０１８－０５４３７５（ＪＰ，Ａ）

【文献】特開２００７－０８５８５０（ＪＰ，Ａ）

【文献】特開２０１６－０６５８０９（ＪＰ，Ａ）

【文献】特開２０１９－１７４３４５（ＪＰ，Ａ）

【文献】特開２０１９－０３９９３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｔ ７／００ － Ｇ０６Ｔ ７／９０

Ｇ０６Ｖ １０／００ － Ｇ０６Ｖ ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

構造物の画像を取得し、
取得した前記画像に基づき、所定エリア内の前記画像から小片画像同士が一部重複するように所定サイズの小片画像を複数抽出し、
抽出した前記小片画像を入力した場合に該小片画像に対応する箇所の劣化要因を識別した識別結果を出力する学習モデルに、抽出したそれぞれの前記小片画像を入力し、
それぞれの前記小片画像に対応する箇所の劣化要因を識別した識別結果を出力し、
出力したそれぞれの小片画像の識別結果をピクセル単位で集計し、
集計した集計結果に対し、ピクセル単位で劣化要因の多数決を行うことにより、エリア内の劣化要因を決定する
処理をコンピュータに実行させるプログラム。

【請求項2】

前記所定エリア内で小片画像同士が一部重複するようにスライドさせながら小片画像を複数抽出する
処理を実行させる請求項１に記載のプログラム。

【請求項3】

前記多数決で決定した劣化要因に応じてマスキングする
処理を実行させる請求項１又は２に記載のプログラム。

【請求項4】

前記学習モデルは、前記小片画像と前記構造物の諸元情報とを入力した場合に該小片画像に対応する箇所の劣化要因を識別した識別結果を出力する学習モデルであり、
前記諸元情報を取得し、
前記学習モデルに、前記小片画像と、取得した前記諸元情報とを入力し、
前記小片画像に対応する箇所の劣化要因を識別した識別結果を出力する
処理を実行させる請求項１から３までのいずれかひとつに記載のプログラム。

【請求項5】

前記小片画像を入力した場合に該小片画像に対応する箇所の健全度を推定した推定結果を出力する第２学習モデルに、それぞれの前記小片画像を入力し、
それぞれの前記小片画像に対応する箇所の健全度を推定した推定結果を出力する
処理を実行させる請求項１から４までのいずれかひとつに記載のプログラム。

【請求項6】

前記第２学習モデルが出力したそれぞれの前記小片画像の健全度に基づき、健全度ごとの割合を算出し、
算出した各健全度の割合から所定閾値以上の最低割合を取得し、
取得した前記最低割合に対応する健全度を特定する
処理を実行させる請求項５に記載のプログラム。

【請求項7】

構造物の画像を取得する取得部と、
取得した前記画像に基づき、所定エリア内の前記画像から小片画像同士が一部重複するように所定サイズの小片画像を複数抽出する抽出部と、
抽出した前記小片画像を入力した場合に該小片画像に対応する箇所の劣化要因を識別した識別結果を出力する学習モデルに、抽出したそれぞれの前記小片画像を入力する入力部と、
それぞれの前記小片画像に対応する箇所の劣化要因を識別した識別結果を出力する出力部と、
出力したそれぞれの小片画像の識別結果をピクセル単位で集計する集計部と、
集計した集計結果に対し、ピクセル単位で劣化要因の多数決を行うことにより、エリア内の劣化要因を決定する決定部と
を備える情報処理装置。

【請求項8】

構造物の画像を取得し、
取得した前記画像に基づき、所定エリア内の前記画像から小片画像同士が一部重複するように所定サイズの小片画像を複数抽出し、
抽出した前記小片画像を入力した場合に該小片画像に対応する箇所の劣化要因を識別した識別結果を出力する学習モデルに、抽出したそれぞれの前記小片画像を入力し、
それぞれの前記小片画像に対応する箇所の劣化要因を識別した識別結果を出力し、
出力したそれぞれの小片画像の識別結果をピクセル単位で集計し、
集計した集計結果に対し、ピクセル単位で劣化要因の多数決を行うことにより、エリア内の劣化要因を決定する
情報処理方法。

【請求項9】

構造物の画像を取得し、
前記構造物の諸元情報を取得し、
取得した前記画像に基づき、所定エリア内の前記画像から所定サイズの小片画像を複数抽出し、
取得した前記諸元情報と、前記小片画像及び該小片画像に対応する箇所の劣化要因とが対応付けられた教師データの組み合わせを複数取得し、
取得した前記教師データの複数の組み合わせに基づき、取得した前記諸元情報と、前記小片画像とを入力した場合に該小片画像に対応する箇所の劣化要因を識別する識別結果を出力する学習済みモデルを生成する
処理をコンピュータに実行させることを特徴とする学習済みモデルの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理装置、情報処理方法及び学習済みモデルの生成方法に関する。

【背景技術】

【0002】

近年、構造物（例えば、橋梁、堤防等の社会的インフラ）の老朽化が問題となっており、画像認識技術等を用いた構造物の劣化診断の自動化が進められている。特許文献１には、コンクリート構造物を撮像した画像に基づいて劣化状態を推定するコンクリート構造物の点検支援装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－０６５８０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に係る発明は、解像度が低い構造物の画像に基づいて劣化要因を識別する際の識別結果の精度を確保することができないおそれがある。

【0005】

一つの側面では、構造物の画像に基づいて劣化要因の識別精度を高めることが可能なプログラム等を提供することにある。

【課題を解決するための手段】

【0006】

一つの側面にプログラムは、構造物の画像を取得し、取得した前記画像に基づき、所定エリア内の前記画像から小片画像同士が一部重複するように所定サイズの小片画像を複数抽出し、抽出した前記小片画像を入力した場合に該小片画像に対応する箇所の劣化要因を識別した識別結果を出力する学習モデルに、抽出したそれぞれの前記小片画像を入力し、それぞれの前記小片画像に対応する箇所の劣化要因を識別した識別結果を出力し、出力したそれぞれの小片画像の識別結果をピクセル単位で集計し、集計した集計結果に対し、ピクセル単位で劣化要因の多数決を行うことにより、エリア内の劣化要因を決定する処理をコンピュータに実行させる。

【発明の効果】

【0007】

一つの側面では、構造物の画像に基づいて劣化要因の識別精度を高めることが可能となる。

【図面の簡単な説明】

【0008】

【図1】橋梁における劣化要因の自動診断システムの概要を示す説明図である。

【図2】サーバの構成例を示すブロック図である。

【図3】教師データＤＢのレコードレイアウトの一例を示す説明図である。

【図4】端末の構成例を示すブロック図である。

【図5】橋梁の劣化要因を識別する動作を説明する説明図である。

【図6】劣化要因識別モデルを説明する説明図である。

【図7】劣化要因識別モデルの生成処理の処理手順の一例を示すフローチャートである。

【図8】橋梁の劣化要因を識別する際の処理手順を示すフローチャートである。

【図9】マスキング画像を端末で表示する画面イメージ図である。

【図10】実施形態２のサーバの構成例を示すブロック図である。

【図11】諸元情報ＤＢのレコードレイアウトの一例を示す説明図である。

【図12】実施形態２の教師データＤＢのレコードレイアウトの一例を示す説明図である。

【図13】実施形態２の劣化要因識別モデルを説明する説明図である。

【図14】諸元情報を加えて橋梁の劣化要因を識別する際の処理手順を示すフローチャートである。

【図15】実施形態３のサーバの構成例を示すブロック図である。

【図16】橋梁の健全度を推定する動作を説明する説明図である。

【図17】健全度推定モデルを説明する説明図である。

【図18】橋梁の健全度を推定する際の処理手順を示すフローチャートである。

【図19】劣化要因または健全度の選択を受け付ける際の処理手順を示すフローチャートである。

【図20】劣化要因と健全度とを同時に出力する際の処理手順を示すフローチャートである。

【図21】端末で学習済みモデルの選択を受け付ける画面の例である。

【発明を実施するための形態】

【0009】

以下、本発明をその実施形態を示す図面に基づいて詳述する。

【0010】

（実施形態１）
実施形態１は、構造物の画像に基づき、人工知能（ＡＩ：Artificial Intelligence）を用いて該構造物の劣化要因を識別する形態に関する。構造物は、例えば橋梁、ビル、ダム、堤防等である。以下では、構造物の一例として橋梁を用いた例を説明するが、他の種類の構造物にも適用することが可能である。

【0011】

図１は、橋梁における劣化要因の自動診断システムの概要を示す説明図である。本実施形態のシステムは、情報処理装置１及び情報処理端末２を含み、各装置はインターネット等のネットワークＮを介して情報の送受信を行う。

【0012】

情報処理装置１は、種々の情報に対する処理、記憶及び送受信を行う情報処理装置である。情報処理装置１は、例えばサーバ装置、パーソナルコンピュータまたは汎用のタブレットＰＣ（パソコン）等である。本実施形態において、情報処理装置１はサーバ装置であるものとし、以下では簡潔のためサーバ１と読み替える。

【0013】

情報処理端末２は、橋梁の撮影、撮影画像の送信及び橋梁の劣化要因の表示等を行う端末装置である。情報処理端末２は、例えばスマートフォン、携帯電話、タブレット、パーソナルコンピュータ端末等の情報処理機器である。なお、情報処理端末２はデジタルカメラであっても良い。この場合、橋梁の画像をメモリーカード、ＵＳＢ（Universal Serial Bus）ケーブルまたはデジタルカメラに内蔵された無線通信モジュール等によりサーバ１に取り込んでも良い。以下では簡潔のため、情報処理端末２を端末２と読み替える。

【0014】

本実施形態に係るサーバ１は、端末２から橋梁の画像を取得し、取得した画像に基づき、所定エリア内の画像から所定サイズの小片画像を複数抽出する。サーバ１は、後述する劣化要因識別モデル１７１に抽出したそれぞれの小片画像を入力し、それぞれの小片画像に対応する箇所の劣化要因を識別した識別結果を出力する。サーバ１は、出力したそれぞれの小片画像の識別結果に基づき、エリア内の劣化要因を決定する。サーバ１は、決定したエリア内の劣化要因に基づき、劣化要因の種類ごとにマスキングする。サーバ１は、マスキング処理を行ったマスキング画像を端末２に送信する。

【0015】

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読取部１６及び大容量記憶部１７を含む。各構成はバスＢで接続されている。

【0016】

制御部１１はＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を含み、記憶部１２に記憶された制御プログラム１Ｐを読み出して実行することにより、サーバ１に係る種々の情報処理、制御処理等を行う。なお、図２では制御部１１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

【0017】

記憶部１２はＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ素子を含み、制御部１１が処理を実行するために必要な制御プログラム１Ｐ又はデータ等を記憶している。また、記憶部１２は、制御部１１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部１３は通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、端末２との間で情報の送受信を行う。

【0018】

入力部１４は、マウス、キーボード、タッチパネル、ボタン等の入力デバイスであり、受け付けた操作情報を制御部１１へ出力する。表示部１５は、液晶ディスプレイ又は有機ＥＬ（electroluminescence）ディスプレイ等であり、制御部１１の指示に従い各種情報を表示する。

【0019】

読取部１６は、ＣＤ（Compact Disc）－ＲＯＭ又はＤＶＤ（Digital Versatile Disc）－ＲＯＭを含む可搬型記憶媒体１ａを読み取る。制御部１１が読取部１６を介して、制御プログラム１Ｐを可搬型記憶媒体１ａより読み取り、大容量記憶部１７に記憶しても良い。また、ネットワークＮ等を介して他のコンピュータから制御部１１が制御プログラム１Ｐをダウンロードし、大容量記憶部１７に記憶しても良い。さらにまた、半導体メモリ１ｂから、制御部１１が制御プログラム１Ｐを読み込んでも良い。

【0020】

大容量記憶部１７は、例えばＨＤＤ（Hard disk drive:ハードディスク）、ＳＳＤ(Solid State Drive:ソリッドステートドライブ)等の記録媒体を備える。大容量記憶部１７は、劣化要因識別モデル１７１及び教師データＤＢ（データベース：database）１７２を含む。劣化要因識別モデル１７１は、橋梁の画像に基づいて劣化要因を識別する識別器であり、機械学習により生成された学習済みモデルである。教師データＤＢ１７２は、劣化要因識別モデル１７１を構築（生成）するための教師データを記憶している。

【0021】

なお、本実施形態において記憶部１２及び大容量記憶部１７は一体の記憶装置として構成されていても良い。また、大容量記憶部１７は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部１７はサーバ１に接続された外部記憶装置であっても良い。

【0022】

なお、本実施形態では、サーバ１は一台の情報処理装置であるものとして説明するが、複数台により分散して処理させても良く、または仮想マシンにより構成されていても良い。

【0023】

図３は、教師データＤＢ１７２のレコードレイアウトの一例を示す説明図である。教師データＤＢ１７２は、小片画像ＩＤ列、小片画像列及び劣化要因列を含む。小片画像ＩＤ列は、各小片画像を識別するために、一意に特定される小片画像のＩＤを記憶している。小片画像列は、橋梁の画像に基づき、所定エリア内の画像から抽出された小片画像のデータを記憶している。劣化要因列は、小片画像に対して劣化要因を示すラベルを記憶している。

【0024】

図４は、端末２の構成例を示すブロック図である。端末２は、制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５及び撮影部２６を含む。各構成はバスＢで接続されている。

【0025】

制御部２１はＣＰＵ、ＭＰＵ等の演算処理装置を含み、記憶部２２に記憶された制御プログラム２Ｐを読み出して実行することにより、端末２に係る種々の情報処理、制御処理等を行う。なお、図４では制御部２１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。記憶部２２はＲＡＭ、ＲＯＭ等のメモリ素子を含み、制御部２１が処理を実行するために必要な制御プログラム２Ｐ又はデータ等を記憶している。また、記憶部２２は、制御部２１が演算処理を実行するために必要なデータ等を一時的に記憶する。

【0026】

通信部２３は通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、サーバ１と情報の送受信を行う。入力部２４は、キーボード、マウスまたは表示部２５と一体化したタッチパネルでも良い。表示部２５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部２１の指示に従い各種情報を表示する。

【0027】

撮影部２６は、例えばＣＣＤ(Charge Coupled Device)カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の撮影装置である。なお、撮影部２６は、複数の撮影装置により構成されても良い。なお、撮影部２６は端末２の中に内蔵せず、外部で直接に端末２と接続し、撮影可能な構成としても良い。

【0028】

図５は、橋梁の劣化要因を識別する動作を説明する説明図である。劣化要因は、例えば橋梁のアルカリ骨材反応（ASR:Alkali Silica Reaction）、塩害、中性化、凍害等である。

【0029】

サーバ１の制御部１１は、通信部１３を介して、端末２から橋梁の画像を取得する。橋梁の画像は、端末２の撮影部２６が撮影した撮影画像であっても良く、または予め記憶部２２若しくはフォトアルバムに記憶された画像であっても良い。なお、本実施形態では、橋梁の画像が端末２から取得された例を説明したが、これに限るものではない。例えば、デジタルカメラで撮影した橋梁の画像をメモリーカード経由でサーバ１に転送しても良い。

【0030】

制御部１１は、取得した橋梁の画像に基づき、所定エリア内の画像から所定サイズの小片画像を複数抽出する。エリアは、橋梁における劣化要因を識別する対象範囲となり、例えば橋梁の基礎、橋脚、橋台または床板等である。所定サイズは、ピクセル（画素）単位で小片画像を切り出すサイズであり、例えば１２０×１２０ピクセルである。

【0031】

具体的には、制御部１１は、所定エリア内で小片画像同士が一部重複するようにスライドさせながら小片画像を複数抽出する。例えば所定エリア内の画像の中に所定座標（例えば、１８０，１８０）を小片画像の中心点とし、制御部１１は該小片画像を所定サイズ（例えば、１２０×１２０）で切り出す（トリミング）。制御部１１は、該中心点を縦横それぞれに所定のピクセル単位（例えば、２０ピクセル）でスライドして第２中心点を取得する。制御部１１は、取得した第２中心点に基づき、上述した処理で切り出した小片画像と一部重複するよう小片画像を同様のサイズで切り出す。このようにして、所定のエリア内の画像から複数の小片画像を抽出することができる。

【0032】

なお、小片画像の抽出処理は、上述した処理に限るものではない。例えば、制御部１１は所定エリア内の画像から、ランダムに小片画像を所定サイズで切り出しても良い。また、制御部１１は、重複させずに小片画像を抽出しても良い。なお、小片画像の中心点が所定エリア内であり、且つ、四隅の頂点の一部が所定エリア外である場合、制御部１１は、該中心点に基づいて画像から所定サイズで小片画像を切り出しても良い。

【0033】

制御部１１は、抽出した小片画像を入力した場合に該小片画像に対応する箇所の劣化要因を識別した識別結果を出力する劣化要因識別モデル１７１に、抽出したそれぞれの小片画像を入力し、それぞれの小片画像に対応する箇所の劣化要因を識別した識別結果を出力する。なお、劣化要因の識別処理に関しては後述する。

【0034】

制御部１１は、劣化要因識別モデル１７１が出力したそれぞれの小片画像の識別結果に基づき、エリア内の劣化要因を決定（出力）する。具体的には、制御部１１は小片画像の識別結果に対し、ピクセル単位で劣化要因を集計する。制御部１１は、集計した集計結果に対し、ピクセル単位で劣化要因の多数決を行う。制御部１１は、多数決で決定した劣化要因を各ピクセルの劣化要因として特定する。制御部１１は、上述した処理を実行することにより、それぞれの小片画像の各ピクセルの劣化要因を特定するため、エリア内の劣化要因を決定することができる。

【0035】

制御部１１は、決定したエリア内の劣化要因に基づき、劣化要因の種類ごとにマスキングする。マスキング処理は、例えばエリア内の画像に対し、それぞれの劣化要因に応じて色分け（配色）でマスキング処理を行っても良い。制御部１１は、マスキング処理を行ったマスキング画像を通信部１３により端末２に送信する。端末２の制御部２１は、サーバ１から送信されたマスキング画像を通信部２３により受信し、受信したマスキング画像を表示部２５により表示する。なお、サーバ１側で行われる一部または全部の処理を端末２側で行っても良い。

【0036】

続いて、劣化要因識別モデル１７１を用いる劣化要因の識別処理を説明する。図６は、劣化要因識別モデル１７１を説明する説明図である。劣化要因識別モデル１７１は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。劣化要因識別モデル１７１は、小片画像を入力とし、該小片画像に対応する箇所の劣化要因を識別した結果を出力とするニューラルネットワークを構築済みの識別器である。

【0037】

サーバ１の制御部１１は、劣化要因識別モデル１７１として、それぞれの小片画像内における劣化箇所の特徴量を学習するディープラーニングを行うことで劣化要因識別モデル１７１を構築（生成）する。例えば、劣化要因識別モデル１７１はＣＮＮ（Convolution Neural Network）であり、小片画像の入力を受け付ける入力層と、該小片画像に対応する箇所の劣化要因を識別した結果を出力する出力層と、バックプロパゲーションにより学習済の中間層とを有する。

【0038】

入力層は、小片画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、小片画像の特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。例えば劣化要因識別モデル１７１がＣＮＮである場合を例にして説明する。中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成により、小片画像の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。その後中間層は、バックプロパゲーションによりパラメータが学習された全結合層により、小片画像に対応する箇所の劣化要因を識別（予測）する。識別結果は、複数のニューロンを有する出力層に出力される。

【0039】

なお、小片画像は、交互に連結されたコンボリューション層とプーリング層とを通過して特徴量が抽出された後に、入力層に入力されても良い。

【0040】

なお、画像を数値とみなして、機械学習の分類アルゴリズムを利用しても良い。

【0041】

サーバ１の制御部１１は、小片画像と、該小片画像に対応する箇所の劣化要因とが対応付けられた教師データの組み合わせを大容量記憶部１７の教師データＤＢ１７２から複数取得する。教師データは、小片画像に対し、該小片画像に対応する箇所の劣化要因がラベル付けされたデータである。制御部１１は、取得した教師データ用いて学習を行う。

【0042】

なお、本実施形態では、予め記憶された教師データを教師データＤＢ１７２から取得する処理の例を説明したが、これに限るものではない。例えば制御部１１は、複数の小片画像において、それぞれの小片画像に対して劣化要因をラベリングすることで、劣化要因を学習するための教師データを生成しても良い。具体的には、制御部１１はそれぞれの小片画像に対して、劣化要因の名称（例えば、ＡＳＲ、塩害等）を関連付けた教師データを生成する。

【0043】

制御部１１は、教師データである小片画像を入力層に入力し、中間層での演算処理を経て、出力層から該小片画像に対応する箇所の劣化要因を識別した識別結果を取得する。図示のように、出力層から出力される識別結果は劣化要因を示す連続的な確率値（例えば「０」から「１」までの範囲の値）である。

【0044】

制御部１１は、出力層から出力された識別結果を、教師データにおいて小片画像に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数等である。パラメータの最適化の方法は特に限定されないが、例えば、制御部１１は誤差逆伝播法を用いて各種パラメータの最適化を行う。

【0045】

制御部１１は、教師データに含まれる各小片画像について上記の処理を行い、劣化要因識別モデル１７１を生成する。これにより、例えば制御部１１は当該教師データを用いて劣化要因識別モデル１７１の学習を行うことで、小片画像に対応する箇所の劣化要因を識別可能なモデルを構築することができる。

【0046】

制御部１１は所定エリア内の画像から小片画像を複数抽出した場合、抽出したそれぞれの小片画像を劣化要因識別モデル１７１に入力する。制御部１１は、劣化要因識別モデル１７１の中間層にてそれぞれの小片画像の特徴量を抽出する演算処理を行う。制御部１１は、抽出した特徴量を劣化要因識別モデル１７１の出力層に入力して、それぞれの小片画像に対応する箇所の劣化要因を識別した識別結果を出力として取得する。

【0047】

図示のように、小片画像１に対し、「正常（劣化なし）」、「ＡＳＲ」、「塩害」、「中性化」、「凍害」それぞれの確率値が、「０．０１」、「０．８４」、「０．０２」、「０．０３」、「０．１０」である識別結果が出力される。

【0048】

また、所定閾値を利用して識別結果を出力しても良い。例えば制御部１１は、「ＡＳＲ」の確率値（０．８４）が所定閾値（例えば、０．８０）以上であると判定した場合、小片画像１に対応する箇所の劣化要因が「ＡＳＲ」である識別結果を出力する。なお、上述した閾値を利用せず、劣化要因識別モデル１７１が識別した各種の劣化要因の確率値から、最も高い確率値に対応する劣化要因を識別結果として出力しても良い。

【0049】

なお、劣化要因の識別処理は、上述した機械学習により識別処理に限るものではない。例えば、Ａ－ＫＡＺＥ（Accelerated KAZE）、ＳＩＦＴ（Scale Invariant Feature Transform）、ＳＵＲＦ（Speeded-Up Robust Features）、ＯＲＢ（Oriented FAST and Rotated BRIEF）、ＨＯＧ(Histograms of Oriented Gradients)等の局所特徴量抽出方法を用いて劣化要因を識別しても良い。

【0050】

なお、本実施形態では、小片画像を橋梁の画像から抽出し、抽出した小片画像を劣化要因識別モデル１７１に入力した例を説明したが、これに限るものではない。橋梁の画像全体または画像の一部をそのまま劣化要因識別モデル１７１に入力しても良い。

【0051】

図７は、劣化要因識別モデル１７１の生成処理の処理手順の一例を示すフローチャートである。図７に基づき、機械学習によって劣化要因識別モデル１７１を生成する処理の処理内容について説明する。

【0052】

サーバ１の制御部１１は、劣化要因識別モデル１７１の生成に用いる教師データを取得する（ステップＳ１０１）。例えば制御部１１は、橋梁の画像に基づいて所定エリア内の画像から抽出された小片画像と、該小片画像に対応する箇所の劣化要因を示すラベルとの組み合わせを大容量記憶部１７の教師データＤＢ１７２から複数読み出し、教師データとして用いる。教師データは、小片画像と、該小片画像に対応する箇所の劣化要因とをラベル付けしたデータである。

【0053】

制御部１１は教師データを用いて、小片画像を入力した場合に該小片画像に対応する箇所の劣化要因を識別した識別結果を出力する劣化要因識別モデル１７１を生成する（ステップＳ１０２）。具体的には、制御部１１は、教師データである小片画像をニューラルネットワークの入力層に入力し、該小片画像に対応する箇所の劣化要因を識別した識別結果を出力層から取得する。制御部１１は、取得した識別結果を教師データの正解値（小片画像に対してラベル付けられた情報）と比較し、出力層から出力される識別結果が正解値に近づくよう、中間層での演算処理に用いるパラメータ（重み等）を最適化する。制御部１１は、生成した劣化要因識別モデル１７１を大容量記憶部１７に記憶し、一連の処理を終了する。

【0054】

図８は、橋梁の劣化要因を識別する際の処理手順を示すフローチャートである。端末２の制御部２１は、橋梁の画像を取得する（ステップＳ２１１）。例えば制御部２１は、撮影部２６が撮影した橋梁の画像を取得しても良く、または記憶部２２若しくはフォトアルバムに予め記憶された橋梁の画像を取得しても良い。制御部２１は、通信部２３を介して、取得した橋梁の画像をサーバ１に送信する（ステップＳ２１２）。

【0055】

サーバ１の制御部１１は、通信部１３を介して、端末２から送信された橋梁の画像を受信する（ステップＳ１１１）。制御部１１は、取得した橋梁の画像に基づき、所定エリア内（例えば、橋脚）の画像から所定サイズ（例えば、１２０×１２０）の小片画像を複数抽出する（ステップＳ１１２）。制御部１１は、抽出した小片画像を入力した場合に該小片画像に対応する箇所の劣化要因を識別した識別結果を出力する劣化要因識別モデル１７１を用いて、それぞれの小片画像に対応する箇所の劣化要因を識別する（ステップＳ１１３）。

【0056】

制御部１１は、識別したそれぞれの小片画像の識別結果に対し、ピクセル単位で劣化要因を集計する（ステップＳ１１４）。制御部１１は、集計した集計結果に対し、ピクセル単位で劣化要因の多数決を行い、多数決で決定した劣化要因を各ピクセルの劣化要因として特定する（ステップＳ１１５）。

【0057】

なお、劣化要因の特定処理に関しては、上述したピクセルによる特定処理に限るものではない。例えば、制御部１１は橋梁の画像に基づき、順序に所定エリア内の画像から所定サイズの小片画像を重複せずに複数抽出する。制御部１１は、劣化要因識別モデル１７１を用いて、それぞれの小片画像に対応する箇所の劣化要因を識別する。制御部１１は、識別したそれぞれの小片画像の劣化要因を集計し、例えば集計した結果から最も多い数量に対応する劣化要因をエリア内の劣化要因として特定しても良い。

【0058】

制御部１１は、決定したエリア内の劣化要因に基づき、劣化要因の種類ごとに色分けでマスキング処理を行う（ステップＳ１１６）。制御部１１は、マスキング処理を行ったマスキング画像を通信部１３により端末２に送信する（ステップＳ１１７）。端末２の制御部２１は、サーバ１から送信されたマスキング画像を通信部２３により受信し（ステップＳ２１３）、受信したマスキング画像を表示部２５により表示する（ステップＳ２１４）。

【0059】

図９は、マスキング画像を端末２で表示する画面イメージ図である。端末２の制御部２１は、通信部２３を介して、サーバ１から送信されたマスキング画像を受信する。制御部２１は、表示部２５を介して、受信したマスキング画像を表示する。図示のように、それぞれの劣化要因に応じて、該当区域に対して区別がつくように色分けして表示する。なお、マスキング画像の表示方式に関しては、配色に限らず、例えば色の濃淡またはパターン（模様）等であっても良い。

【0060】

本実施形態によると、構造物の画像に基づき、劣化要因識別モデル１７１を用いて該構造物の劣化要因を識別することにより、構造物の劣化要因を自動診断することが可能となる。

【0061】

本実施形態によると、劣化要因識別モデル１７１を用いて構造物の劣化要因を識別することにより、点検員または診断員の経験の差による判断のばらつきを低減することが可能となる。

【0062】

本実施形態によると、構造物の画像を小片画像に分割することで、劣化要因の識別精度を上げ、劣化損傷箇所の見落とし等を防止することが可能となる。

【0063】

（実施形態２）
実施形態２は、構造物の画像と構造物の諸元情報とに基づき、人工知能を用いて該構造物の劣化要因を識別する形態に関する。以下では、構造物の一例として橋梁を用いた例を説明する。なお、実施形態１と重複する内容については説明を省略する。橋梁の諸元情報は、架設年、地域情報、部材情報、材料またはひび割れ幅等の情報を含む。

【0064】

図１０は、実施形態２のサーバ１の構成例を示すブロック図である。なお、図２と重複する内容については同一の符号を付して説明を省略する。大容量記憶部１７には、諸元情報ＤＢ１７３が記憶されている。諸元情報ＤＢ１７３は、橋梁の諸元情報を記憶している。

【0065】

図１１は、諸元情報ＤＢ１７３のレコードレイアウトの一例を示す説明図である。諸元情報ＤＢ１７３は、橋梁ＩＤ列、橋梁名列、架設年列、地域列、ひび割れ幅列、工種列、部材種別列及び材料列を含む。橋梁ＩＤ列は、各橋梁を識別するために、一意に特定される橋梁のＩＤを記憶している。橋梁名列は、橋梁の名称を記憶している。架設年列は、橋梁が架設された年情報を記憶している。地域列は、橋梁の所在地の地域情報を記憶している。

【0066】

ひび割れ幅列は、橋梁における地覆・壁高欄コンクリート等の表面に発生したひび割れの幅を記憶している。工種列は、橋梁の作成単位毎とする工種情報を記憶している。工種は、例えば「上部構造」、「下部構造」及び「支承部」等を含む。部材種別列は、橋梁の部材種別の名称を記憶している。材料列は、部材種別に対応する材料の名称を記憶している。

【0067】

図１２は、実施形態２の教師データＤＢ１７２のレコードレイアウトの一例を示す説明図である。なお、図３と重複する内容については同一の符号を付して説明を省略する。教師データＤＢ１７２は、橋梁ＩＤ列を含む。橋梁ＩＤ列は、橋梁を特定する橋梁ＩＤを記憶している。

【0068】

サーバ１の制御部１１は、通信部１３を介して、端末２から橋梁ＩＤ及び橋梁の画像を取得する。制御部１１は、取得した橋梁ＩＤに基づき、大容量記憶部１７の諸元情報ＤＢ１７３から該橋梁の諸元情報を取得する。制御部１１は、取得した橋梁の画像に基づき、所定エリア内の画像から所定サイズの小片画像を複数抽出する。なお、小片画像の抽出処理に関しては、実施形態１と同様であるため、説明を省略する。

【0069】

制御部１１は、小片画像と諸元情報とを入力した場合に該小片画像に対応する箇所の劣化要因を識別した識別結果を出力する劣化要因識別モデル１７１に、抽出したそれぞれの小片画像と、取得した諸元情報とを入力し、それぞれの小片画像に対応する箇所の劣化要因を識別した識別結果を出力する。なお、劣化要因の識別処理に関しては後述する。制御部１１は、出力したそれぞれの小片画像の識別結果に基づき、実施形態１と同様にエリア内の劣化要因の決定処理及びマスキング処理を行う。

【0070】

続いて、劣化要因識別モデル１７１を用いる劣化要因の識別処理を説明する。図１３は、実施形態２の劣化要因識別モデル１７１を説明する説明図である。なお、図６と重複する内容については同一の符号を付して説明を省略する。

【0071】

本実施形態の劣化要因識別モデル１７１は、小片画像と諸元情報とを入力とし、該小片画像に対応する箇所の劣化要因を識別した結果を出力とするニューラルネットワークを構築済みの識別器である。サーバ１の制御部１１は、劣化要因識別モデル１７１として、それぞれの小片画像内における劣化箇所の特徴量と橋梁の諸元情報とを学習するディープラーニングを行うことで劣化要因識別モデル１７１を構築（生成）する。

【0072】

例えば、劣化要因識別モデル１７１はＣＮＮであり、小片画像の入力を受け付ける入力層と、該小片画像に対応する箇所の劣化要因を識別した結果を出力する出力層と、バックプロパゲーションにより学習済の中間層とを有する。

【0073】

入力層は、小片画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、小片画像の特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。例えば中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、学習速度を上げるためのバッチ正規化層、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成により、小片画像の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。

【0074】

バックプロパゲーションによりパラメータが学習された全結合層は、諸元情報の入力を受け付け、受け付けた諸元情報を連結層に受け渡す。連結層は、画像の特徴量と諸元情報とを連結し、連結した情報を全結合層に受け渡す。中間層は全結合層により、連結層が連結した情報に基づき、小片画像に対応する箇所の劣化要因を識別（予測）する。識別結果は、複数のニューロンを有する出力層に出力される。

【0075】

具体的には、制御部１１は諸元情報と、小片画像及び該小片画像に対応する箇所の劣化要因とが対応付けられた教師データの組み合わせを大容量記憶部１７の教師データＤＢ１７２及び諸元情報ＤＢ１７３から複数取得する。教師データは、小片画像及び諸元情報に対し、該小片画像に対応する箇所の劣化要因がラベル付けされたデータである。制御部１１は、取得した教師データ用いて学習を行う。

【0076】

制御部１１は、教師データである小片画像を入力層に入力し、中間層での演算処理を行うことにより、小片画像の特徴量を抽出する。制御部１１は、諸元情報を中間層の全結合層に入力し、小片画像の特徴量と諸元情報とを連結層により連結し、連結した情報を全結合層に受け渡す。制御部１１は、全結合層が識別した該小片画像に対応する箇所の劣化要因の識別結果を出力層から取得する。

【0077】

なお、本実施形態では、諸元情報を全結合層に入力した例を説明したが、これに限るものではない。例えば、小片画像と諸元情報とを入力層に入力し、中間層での演算処理を経て、出力層から劣化要因の識別結果を出力しても良い。

【0078】

制御部１１は、出力層から出力された識別結果を、教師データにおいて小片画像に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。制御部１１は、教師データに含まれる各小片画像及び諸元情報について上記の処理を行い、劣化要因識別モデル１７１を生成する。

【0079】

制御部１１は所定エリア内の画像から小片画像を複数抽出した場合、抽出したそれぞれの小片画像と、橋梁の諸元情報とを劣化要因識別モデル１７１に入力する。制御部１１は、諸元情報に基づき、劣化要因識別モデル１７１の中間層にてそれぞれの小片画像の特徴量を抽出する演算処理を行う。制御部１１は、抽出した特徴量を劣化要因識別モデル１７１の出力層に入力して、それぞれの小片画像に対応する箇所の劣化要因を識別した識別結果を出力として取得する。

【0080】

図１４は、諸元情報を加えて橋梁の劣化要因を識別する際の処理手順を示すフローチャートである。図８と重複する内容については同一の符号を付して説明を省略する。端末２の制御部２１は、通信部２３を介して、橋梁ＩＤ及び橋梁の画像をサーバ１に送信する（ステップＳ２３１）。サーバ１の制御部１１は、通信部１３を介して、端末２から送信された橋梁ＩＤ及び橋梁の画像を受信する（ステップＳ１３１）。

【0081】

制御部１１は、取得した橋梁ＩＤに基づき、大容量記憶部１７の諸元情報ＤＢ１７３から該橋梁の諸元情報を取得する（ステップＳ１３２）。制御部１１は、ステップＳ１１２を実行する。制御部１１は、小片画像と諸元情報とを入力した場合に該小片画像に対応する箇所の劣化要因を識別した識別結果を出力する劣化要因識別モデル１７１を用いて、それぞれの小片画像に対応する箇所の劣化要因を識別する（ステップＳ１３３）。その後に、制御部１１はステップＳ１１４を実行する。

【0082】

本実施形態によると、構造物の画像と構造物の諸元情報とに基づき、劣化要因識別モデル１７１を用いて該構造物の劣化要因を識別することが可能となる。

【0083】

本実施形態によると、構造物の諸元情報を加えて該構造物の劣化要因を識別することにより、点検員または診断員の経験による判断を反映することが可能となる。

【0084】

（実施形態３）
実施形態３は、構造物の画像に基づき、人工知能を用いて該構造物の健全度を推定する形態に関する。健全度は、構造物の損傷の状況を評価する指標である。構造物の損傷の状況に応じて、例えば「健全度１」～「健全度５」に区分しても良い。なお、健全度のほか、構造物の劣化度合いを示す劣化度にも適用される。以下では、構造物の一例として橋梁を用いた例を説明する。なお、実施形態１～２と重複する内容については説明を省略する。

【0085】

図１５は、実施形態３のサーバ１の構成例を示すブロック図である。なお、図１０と重複する内容については同一の符号を付して説明を省略する。大容量記憶部１７には、健全度推定モデル１７４が記憶されている。健全度推定モデル１７４は、橋梁の画像から健全度を推定する推定器であり、機械学習により生成された学習済みモデルである。

【0086】

図１６は、橋梁の健全度を推定する動作を説明する説明図である。サーバ１の制御部１１は、通信部１３を介して、端末２から橋梁の画像を取得する。制御部１１は、取得した橋梁の画像に基づき、所定エリア内の画像から所定サイズの小片画像を複数抽出する。なお、小片画像の抽出処理に関しては、実施形態１と同様であるため、説明を省略する。

【0087】

制御部１１は、小片画像を入力した場合に該小片画像に対応する箇所の健全度を推定した推定結果を出力する健全度推定モデル１７４に、抽出したそれぞれの小片画像を入力し、それぞれの小片画像に対応する箇所の健全度を推定した推定結果を出力する。なお、健全度の推定処理に関しては後述する。

【0088】

制御部１１は、出力したそれぞれの小片画像の健全度に基づき、健全度ごとの割合を算出する。以下では、損傷の状況に応じて、健全度が「健全度１」～「健全度５」に区分された例として説明する。制御部１１は、健全度推定モデル１７４が出力したそれぞれの小片画像の健全度に対し、健全度ごとに集計する。集計結果は、例えば「健全度１」～「健全度５」それぞれのカウントが、「２４」、「１３０」、「６０」、「２５」、「０」である。

【0089】

制御部１１は、健全度の集計結果に基づき、健全度ごとの割合を算出する。具体的には、制御部１１は、各健全度のカウント（集計結果）を全体のカウントで除算し、割合を算出する。上述した例で、「健全度１」～「健全度５」それぞれの割合が、「１０．０％」、「５４．４％」、「２５．１％」、「１０．５％」、「０．０％」である。制御部１１は、算出した各健全度の割合から所定閾値以上の最低割合を取得し、取得した最低割合に対応する健全度を所定エリア内の健全度として特定する。例えば所定閾値が「３０％」である場合、割合が「５４．４％」である健全度２を特定する。

【0090】

制御部１１は、特定した健全度を通信部１３により端末２に送信する。端末２の制御部２１は、サーバ１から送信された健全度を通信部２３により受信し、受信した健全度を表示部２５により表示する。

【0091】

続いて、健全度推定モデル１７４を用いる健全度の推定処理を説明する。図１７は、健全度推定モデル１７４を説明する説明図である。健全度推定モデル１７４は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。健全度推定モデル１７４は、小片画像を入力とし、該小片画像に対応する箇所の健全度を推定した結果を出力とするニューラルネットワークを構築済みの推定器である。

【0092】

サーバ１の制御部１１は、健全度推定モデル１７４として、それぞれの小片画像内における損傷箇所の特徴量を学習するディープラーニングを行うことで健全度推定モデル１７４を構築（生成）する。以下では、健全度推定モデル１７４はＣＮＮである例を説明する。なお、健全度推定モデル１７４の構成に関しては、劣化要因識別モデル１７１の構成と同様であるため、説明を省略する。

【0093】

なお、画像を数値とみなして、機械学習の分類アルゴリズムを利用しても良い。

【0094】

サーバ１の制御部１１は、小片画像と、該小片画像に対応する箇所の健全度とが対応付けられた教師データの組み合わせを複数取得する。教師データは、小片画像に対し、該小片画像に対応する箇所の健全度がラベル付けされたデータである。制御部１１は、取得した教師データ用いて学習を行う。制御部１１は、教師データである小片画像を入力層に入力し、中間層での演算処理を経て、出力層から該小片画像に対応する箇所の健全度を識別した識別結果を取得する。図示のように、出力層から出力される識別結果は健全度を示す連続的な確率値（例えば「０」から「１」までの範囲の値）である。

【0095】

制御部１１は、出力層から出力された識別結果を、教師データにおいて小片画像に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。制御部１１は、教師データに含まれる各小片画像について上記の処理を行い、健全度推定モデル１７４を生成する。これにより、例えば制御部１１は当該教師データを用いて健全度推定モデル１７４の学習を行うことで、小片画像に対応する箇所の健全度を推定可能なモデルを構築することができる。

【0096】

制御部１１は所定エリア内の画像から小片画像を複数抽出した場合、抽出したそれぞれの小片画像を健全度推定モデル１７４に入力する。制御部１１は、健全度推定モデル１７４の中間層にてそれぞれの小片画像の特徴量を抽出する演算処理を行う。制御部１１は、抽出した特徴量を健全度推定モデル１７４の出力層に入力して、それぞれの小片画像に対応する箇所の健全度を推定した推定結果を出力として取得する。

【0097】

図示のように、小片画像１に対し、「健全度１」～「健全度５」それぞれの確率値が、「０．０３」、「０．９０」、「０．０２」、「０．０３」、「０．０２」である推定結果が出力される。また、所定閾値を利用して推定結果を出力しても良い。例えば制御部１１は、それぞれの健全度の確率値と所定閾値（例えば、０．８０）とを比較し、閾値以上である健全度２（０．９０）を推定結果として出力する。なお、上述した閾値を利用せず、健全度推定モデル１７４が推定したそれぞれの健全度の確率値から、最も高い確率値に対応する健全度を推定結果として出力しても良い。

【0098】

なお、健全度の推定処理は、上述した機械学習により推定処理に限るものではない。例えば、Ａ－ＫＡＺＥ、ＳＩＦＴ、ＳＵＲＦ、ＯＲＢ、ＨＯＧ等の局所特徴量抽出方法を用いて健全度を推定しても良い。

【0099】

なお、本実施形態では、小片画像を橋梁の画像から抽出し、抽出した小片画像を健全度推定モデル１７４に入力した例を説明したが、これに限るものではない。橋梁の画像全体または画像の一部をそのまま健全度推定モデル１７４に入力しても良い。

【0100】

なお、本実施形態では、健全度推定モデル１７４に小片画像を入力し、該小片画像に対応する箇所の健全度の推定結果を出力した例を説明したが、これに限るものではない。例えば、健全度推定モデル１７４は、小片画像と諸元情報とを入力とし、該小片画像に対応する箇所の健全度を推定した結果を出力とするニューラルネットワークを構築済みの推定器であっても良い。

【0101】

図１８は、橋梁の健全度を推定する際の処理手順を示すフローチャートである。端末２の制御部２１は、撮影部２６が撮影した橋梁の画像を取得する（ステップＳ２４１）。制御部２１は、通信部２３を介して、取得した橋梁の画像をサーバ１に送信する（ステップＳ２４２）。サーバ１の制御部１１は、通信部１３を介して、端末２から送信された橋梁の画像を受信する（ステップＳ１４１）。

【0102】

制御部１１は、取得した橋梁の画像に基づき、所定エリア内の画像から所定サイズの小片画像を複数抽出する（ステップＳ１４２）。制御部１１は、抽出した小片画像を入力した場合に該小片画像に対応する箇所の健全度を推定した推定結果を出力する健全度推定モデル１７４を用いて、それぞれの小片画像に対応する箇所の健全度を推定する（ステップＳ１４３）。制御部１１は、推定したそれぞれの小片画像に対応する箇所の健全度に基づき、各健全度のカウントを全体のカウントで除算し、健全度ごとの割合を算出する（ステップＳ１４４）。

【0103】

制御部１１は、算出した各健全度の割合から所定閾値以上の最低割合を取得し、取得した最低割合に対応する健全度を所定エリア内の健全度として特定する（ステップＳ１４５）。制御部１１は、特定した健全度を通信部１３により端末２に送信する（ステップＳ１４６）。端末２の制御部２１は、サーバ１から送信された健全度を通信部２３により受信し（ステップＳ２４３）、受信した健全度を表示部２５により表示する（ステップＳ２４４）。

【0104】

本実施形態によると、構造物の画像に基づき、健全度推定モデル１７４を用いて該構造物の健全度を推定することにより、構造物の健全度を自動診断することが可能となる。

【0105】

本実施形態によると、構造物の画像を小片画像に分割することで、健全度推定モデル１７４を用いて構造物の健全度を推定する際に画像の解像度を高くするため、健全度の推定精度を上げることが可能となる。

【0106】

（実施形態４）
実施形態４は、劣化要因識別モデル１７１、健全度推定モデル１７４、または両者の組み合わせを選択する形態に関する。なお、実施形態１～３と重複する内容については説明を省略する。

【0107】

端末２の制御部２１は、構造物の画像に対し、劣化要因、健全度または両者の組み合わせの選択を受け付ける。制御部２１は、受け付けた選択に基づき、該当する処理指示を通信部２３によりサーバ１に送信する。サーバ１の制御部１１は、端末２から送信された処理指示に従って、該当する学習済みモデルを用いて処理を行う。

【0108】

図１９は、劣化要因または健全度の選択を受け付ける際の処理手順を示すフローチャートである。なお、図１８と重複する内容については同一の符号を付して説明を省略する。端末２の制御部２１は、劣化要因の選択を受け付けるか否かを判定する（ステップＳ２５１）。制御部２１は、劣化要因の選択を受け付けたと判定した場合（ステップＳ２５１でＹＥＳ）、劣化要因識別の指示を通信部２３により送信する。

【0109】

サーバ１の制御部１１は、端末２から送信された劣化要因識別の指示に従って、抽出したそれぞれの小片画像を劣化要因識別モデル１７１に入力し、それぞれの小片画像に対応する箇所の劣化要因を識別する（ステップＳ１５１）。なお、劣化要因の識別処理に関しては、実施形態１と同様であるため、説明を省略する。

【0110】

制御部１１は、通信部１３を介して、識別した劣化要因を端末２に送信する（ステップＳ１５２）。なお、実施形態１と同様に、制御部１１はそれぞれの小片画像の劣化要因を集計し、集計した集計結果に対し、ピクセル単位で劣化要因の多数決を行う。制御部１１は、多数決で決定した劣化要因に応じてマスキングし、マスキング処理を行ったマスキング画像を端末２に送信しても良い。

【0111】

端末２の制御部２１は、通信部２３を介して、サーバ１から送信された劣化要因を受信する（ステップＳ２５２）。制御部２１は、受信した劣化要因を表示部２５により表示する（ステップＳ２５３）。

【0112】

制御部２１は、劣化要因の選択を受付けていないと判定した場合（ステップＳ２５１でＮＯ）、健全度の選択を受け付けるか否かを判定する（ステップＳ２５４）。制御部２１は、健全度の選択を受付けていないと判定した場合（ステップＳ２５４でＮＯ）、処理を終了する。

【0113】

制御部２１は、健全度の選択を受け付けたと判定した場合（ステップＳ２５４でＹＥＳ）、健全度推定の指示を通信部２３により送信する。サーバ１の制御部１１は、端末２から送信された健全度推定の指示に従って、抽出したそれぞれの小片画像を健全度推定モデル１７４に入力し、それぞれの小片画像に対応する箇所の健全度を推定する（ステップＳ１５３）。なお、健全度の推定処理に関しては、実施形態３と同様であるため、説明を省略する。

【0114】

制御部１１は、通信部１３を介して、推定した健全度を端末２に送信する（ステップＳ１５４）。端末２の制御部２１は、通信部２３を介して、サーバ１から送信された健全度を受信する（ステップＳ２５５）。制御部２１は、受信した健全度を表示部２５により表示する（ステップＳ２５６）。

【0115】

図２０は、劣化要因と健全度とを同時に出力する際の処理手順を示すフローチャートである。なお、図１８と重複する内容については同一の符号を付して説明を省略する。サーバ１の制御部１１は、ステップＳ１４２を実行し、抽出したそれぞれの小片画像を劣化要因識別モデル１７１に入力し、それぞれの小片画像に対応する箇所の劣化要因を識別する（ステップＳ１６１）。

【0116】

制御部１１は、抽出したそれぞれの小片画像を健全度推定モデル１７４に入力し、それぞれの小片画像に対応する箇所の健全度を推定する（ステップＳ１６２）。なお、ステップＳ１６１、ステップＳ１６２の実行順は限定せず、制御部１１は、ステップ１６２を先に実行してからステップＳ１６１を実行しても良い。

【0117】

制御部１１は、通信部１３を介して、識別した劣化要因と、推定した健全度とを端末２に送信する（ステップＳ１６３）。端末２の制御部２１は、通信部２３を介して、サーバ１から送信された劣化要因及び健全度を受信する（ステップＳ２６１）。制御部２１は、受信した劣化要因及び健全度を表示部２５により表示する（ステップＳ２６２）。

【0118】

図２１は、端末２で学習済みモデルの選択を受け付ける画面の例である。２１ａは、構造物の画像に対して劣化要因を識別するための受け付けるボタンである。２１ｂは、構造物の画像に対して健全度を推定するための受け付けるボタンである。２１ｃは、構造物の画像に対し、劣化要因の識別処理及び健全度の推定処理両方を行うための受け付けるボタンである。

【0119】

端末２の制御部２１は、２１ａのタッチ操作（クリック）を入力部２４により受け付けた場合、構造物の画像に対する劣化要因識別の指示を通信部２３によりサーバ１を送信する。サーバ１の制御部１１は、端末２から送信された指示に従って、劣化要因識別モデル１７１に構造物の複数の小片画像を入力し、劣化要因を識別する。

【0120】

端末２の制御部２１は、２１ｂのタッチ操作を入力部２４により受け付けた場合、構造物の画像に対する健全度推定の指示を通信部２３によりサーバ１を送信する。サーバ１の制御部１１は、端末２から送信された指示に従って、健全度推定モデル１７４に構造物の複数の小片画像を入力し、健全度を推定する。

【0121】

端末２の制御部２１は、２１ｃのタッチ操作を入力部２４により受け付けた場合、構造物の画像に対する劣化要因識別及び健全度推定の指示を通信部２３によりサーバ１を送信する。サーバ１の制御部１１は、端末２から送信された指示に従って、劣化要因識別モデル１７１及び健全度推定モデル１７４を用いて、劣化要因の識別処理及び健全度の推定処理を行う。

【0122】

本実施形態によると、複数の学習済みモデルから、目的または用途に合わせて使用する学習済みモデルを選択することが可能となる。

【0123】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0124】

１ 情報処理装置（サーバ）
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 表示部
１６ 読取部
１７ 大容量記憶部
１７１ 劣化要因識別モデル
１７２ 教師データＤＢ
１７３ 諸元情報ＤＢ
１７４ 健全度推定モデル
１ａ 可搬型記憶媒体
１ｂ 半導体メモリ
１Ｐ 制御プログラム
２ 情報処理端末（端末）
２１ 制御部
２２ 記憶部
２３ 通信部
２４ 入力部
２５ 表示部
２６ 撮影部
２Ｐ 制御プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】