特許 7571261 建造物診断システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-10-11

(45)【発行日】2024-10-22

(54)【発明の名称】建造物診断システム及びプログラム

(51)【国際特許分類】

   G06Q 10/20 20230101AFI20241015BHJP

【ＦＩ】

G06Q10/20

【請求項の数】 8

(21)【出願番号】P 2023200186

(22)【出願日】2023-11-27

【審査請求日】2023-11-27

【早期審査対象出願】

(73)【特許権者】

【識別番号】000103769

【氏名又は名称】オリエンタル白石株式会社

(74)【代理人】

【識別番号】100120868

【弁理士】

【氏名又は名称】安彦 元

(72)【発明者】

【氏名】正司 明夫

【審査官】毛利 太郎

(56)【参考文献】

【文献】特開２０２１－０３２０４２（ＪＰ，Ａ）

【文献】国際公開第２０１７／１１０２７８（ＷＯ，Ａ１）

【文献】特開２０２１－０６３７０６（ＪＰ，Ａ）

【文献】特開２０２１－１４３５７５（ＪＰ，Ａ）

【文献】特開２０２２－０８９４４０（ＪＰ，Ａ）

【文献】特開２０１９－０５６６６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

橋梁に関する橋梁情報を取得する取得手段と、
橋梁情報を入力データとし、橋梁の劣化状況に関する劣化情報を出力データとする学習データを用いて学習された診断モデルを参照し、前記取得手段により取得された橋梁情報に基づいて、劣化情報を出力する探索手段とを備え、
前記取得手段は、前記橋梁の河川に関する河川情報と、前記橋梁に設けられたガードレールに関する情報と、前記橋梁に設けられた照明灯に関する情報と、前記橋梁に設けられた検査路に関する情報と、前記橋梁と海岸との距離に関する情報と、前記橋梁の骨材に関する情報と、前記橋梁の交通量に関する情報とのうちの、何れか１以上の情報を含む前記橋梁情報を取得すること
を特徴とする建造物診断システム。

【請求項2】

橋梁に関する橋梁情報と前記橋梁の構成毎の損傷を示す情報とを取得する取得手段と、
橋梁情報と橋梁の構成毎の損傷を示す情報とを入力データとし、橋梁の劣化状況に関する劣化情報を出力データとする学習データを用いて学習された診断モデルを参照し、前記取得手段により取得された橋梁情報と前記橋梁の構成毎の損傷を示す情報とに基づいて、劣化情報を出力する探索手段とを備え、
前記取得手段は、前記橋梁の河川に関する河川情報と、前記橋梁に設けられたガードレールに関する情報と、前記橋梁に設けられた照明灯に関する情報と、前記橋梁に設けられた検査路に関する情報と、前記橋梁と海岸との距離に関する情報と、前記橋梁の骨材に関する情報と、前記橋梁の交通量に関する情報とのうちの、何れか１以上の情報を含む前記橋梁情報を取得すること
を特徴とする建造物診断システム。

【請求項3】

橋梁に関する橋梁情報と前記橋梁の河川に関する河川情報とを取得する取得手段と、
橋梁情報と河川情報とを入力データとし、橋梁の劣化状況に関する劣化情報を出力データとする学習データを用いて学習された診断モデルを参照し、前記取得手段により取得された橋梁情報と河川情報とに基づいて、劣化情報を出力する探索手段とを備えること
を特徴とする建造物診断システム。

【請求項4】

橋梁に関する橋梁情報と前記橋梁の河川に架かる他の橋梁に関する同族橋梁情報とを取得する取得手段と、
橋梁情報と同族橋梁情報とを入力データとし、橋梁の劣化状況に関する劣化情報を出力データとする学習データを用いて学習された診断モデルを参照し、前記取得手段により取得された橋梁情報と同族橋梁情報とに基づいて、劣化情報を出力する探索手段とを備えること
を特徴とする建造物診断システム。

【請求項5】

前記取得手段は、前記橋梁の属性に関するテキスト情報及び／又は前記橋梁を含む画像情報を含む前記橋梁情報を取得し、
前記探索手段は、テキスト情報及び／又は画像情報を入力データとし、劣化情報を出力データとする学習データを用いて学習された前記診断モデルを参照し、前記取得手段により取得された橋梁情報に含まれるテキスト情報及び／又は画像情報に基づいて、劣化情報を出力すること
を特徴とする請求項１に記載の建造物診断システム。

【請求項6】

前記取得手段は、過去の前記橋梁に関する過去橋梁情報と前記橋梁情報とに基づく差分情報をさらに取得し、
前記探索手段は、差分情報を入力データとし、劣化情報を出力データとする学習データを用いて学習された前記診断モデルを参照し、前記取得手段により取得された差分情報に基づいて、劣化情報を出力すること
を特徴とする請求項１に記載の建造物診断システム。

【請求項7】

橋梁を含む画像情報と前記橋梁に関する橋梁情報とを取得する取得手段と、
画像情報を入力データとし、画像情報に含まれる特徴の意味内容を示す意味情報と特徴の位置を示す位置情報とを出力データとする学習データを用いて学習された抽出モデルを参照し、前記取得手段により取得された画像情報に基づいて、意味情報と位置情報とを抽出する抽出手段と、
意味情報と位置情報と橋梁情報とを入力データとし、橋梁の劣化状況を示す劣化情報を出力データとする学習データを用いて学習された診断モデルを参照し、前記抽出手段により抽出された意味情報と位置情報と前記取得手段により取得された橋梁情報とに基づいて、劣化情報を出力する探索手段とを備え、
前記取得手段は、前記橋梁の河川に関する河川情報と、前記橋梁に設けられたガードレールに関する情報と、前記橋梁に設けられた照明灯に関する情報と、前記橋梁に設けられた検査路に関する情報と、前記橋梁と海岸との距離に関する情報と、前記橋梁の骨材に関する情報と、前記橋梁の交通量に関する情報とのうちの、何れか１以上の情報を含む前記橋梁情報を取得すること
を特徴とする建造物診断システム。

【請求項8】

橋梁に関する橋梁情報を取得する取得ステップと、
橋梁情報を入力データとし、橋梁の劣化状況に関する劣化情報を出力データとする学習データを用いて学習された診断モデルを参照し、前記取得ステップにより取得された橋梁情報に基づいて、劣化情報を出力する探索ステップとをコンピュータに実行させ、
前記取得ステップは、前記橋梁の河川に関する河川情報と、前記橋梁に設けられたガードレールに関する情報と、前記橋梁に設けられた照明灯に関する情報と、前記橋梁に設けられた検査路に関する情報と、前記橋梁と海岸との距離に関する情報と、前記橋梁の骨材に関する情報と、前記橋梁の交通量に関する情報とのうちの、何れか１以上の情報を含む前記橋梁情報を取得すること
を特徴とする建造物診断プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、建造物診断システム及びプログラムに関する。

【背景技術】

【0002】

従来から、建造物の劣化状態を診断することが必要とされている。この建造物の劣化状態の診断は、建造物の損傷状態から専門技術者の判断により行われている。この際に、専門技術者の判断により、診断結果に差が生じる可能性がある。また、診断の必要がある建造物の数が年々膨大に増えていくことから、特許文献１に示すような建造物の損傷状態から自動的に診断することが可能となる構造物劣化診断システムが必要とされている。

【0003】

特許文献１では、構造物に設置され、活荷重による構造物の活荷重変位を測定する複数のセンサと、複数のセンサのそれぞれにより測定された活荷重変位に関して、あらかじめ設定された所定の時間範囲におけるそれぞれの最大変位量を算出し、複数のセンサのそれぞれについて算出した最大変位量の相互の関係性の時間的変化から構造物の劣化診断を行う診断部とを備える構造物劣化診断システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２２－１０２２３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の開示技術では、劣化情報を取得するために予め建造物にセンサを設置する必要がある。このため、すでに建設された建造物の劣化診断を行うことができないという問題点があった。また、診断の際に構造物の活荷重変位を測定するセンサが必要となる。このため、診断のコストが大きくなるという問題点があった。

【0006】

そこで本発明は、上述した問題に鑑みて案出されたものであり、その目的とするところは、容易且つ自動的に建造物の劣化状態を診断することができる建造物診断システム及びプログラムを提供することにある。

【課題を解決するための手段】

【0007】

第１発明に係る建造物診断システムは、橋梁に関する橋梁情報を取得する取得手段と、橋梁情報を入力データとし、橋梁の劣化状況に関する劣化情報を出力データとする学習データを用いて学習された診断モデルを参照し、前記取得手段により取得された橋梁情報に基づいて、劣化情報を出力する探索手段とを備え、前記取得手段は、前記橋梁の河川に関する河川情報と、前記橋梁に設けられたガードレールに関する情報と、前記橋梁に設けられた照明灯に関する情報と、前記橋梁に設けられた検査路に関する情報と、前記橋梁と海岸との距離に関する情報と、前記橋梁の骨材に関する情報と、前記橋梁の交通量に関する情報とのうちの、何れか１以上の情報を含む前記橋梁情報を取得することを特徴とする。

【0008】

第２発明に係る建造物診断システムは、橋梁に関する橋梁情報と前記橋梁の構成毎の損傷を示す情報とを取得する取得手段と、橋梁情報と橋梁の構成毎の損傷を示す情報とを入力データとし、橋梁の劣化状況に関する劣化情報を出力データとする学習データを用いて学習された診断モデルを参照し、前記取得手段により取得された橋梁情報と前記橋梁の構成毎の損傷を示す情報とに基づいて、劣化情報を出力する探索手段とを備え、前記取得手段は、前記橋梁の河川に関する河川情報と、前記橋梁に設けられたガードレールに関する情報と、前記橋梁に設けられた照明灯に関する情報と、前記橋梁に設けられた検査路に関する情報と、前記橋梁と海岸との距離に関する情報と、前記橋梁の骨材に関する情報と、前記橋梁の交通量に関する情報とのうちの、何れか１以上の情報を含む前記橋梁情報を取得することを特徴とする。

【0009】

第３発明に係る建造物診断システムは、橋梁に関する橋梁情報と前記橋梁の河川に関する河川情報とを取得する取得手段と、橋梁情報と河川情報とを入力データとし、橋梁の劣化状況に関する劣化情報を出力データとする学習データを用いて学習された診断モデルを参照し、前記取得手段により取得された橋梁情報と河川情報とに基づいて、劣化情報を出力する探索手段とを備えることを特徴とする。

【0010】

第４発明に係る建造物診断システムは、橋梁に関する橋梁情報と前記橋梁の河川に架かる他の橋梁に関する同族橋梁情報とを取得する取得手段と、橋梁情報と同族橋梁情報とを入力データとし、橋梁の劣化状況に関する劣化情報を出力データとする学習データを用いて学習された診断モデルを参照し、前記取得手段により取得された橋梁情報と同族橋梁情報とに基づいて、劣化情報を出力する探索手段とを備えることを特徴とする。

【0011】

第５発明に係る建造物診断システムは、第１発明において、前記取得手段は、前記橋梁の属性に関するテキスト情報及び／又は前記橋梁を含む画像情報を含む前記橋梁情報を取得し、前記探索手段は、テキスト情報及び／又は画像情報を入力データとし、劣化情報を出力データとする学習データを用いて学習された前記診断モデルを参照し、前記取得手段により取得された橋梁情報に含まれるテキスト情報及び／又は画像情報に基づいて、劣化情報を出力することを特徴とする。

【0012】

第６発明に係る建造物診断システムは、第１発明において、前記取得手段は、過去の前記橋梁に関する過去橋梁情報と前記橋梁情報とに基づく差分情報をさらに取得し、前記探索手段は、差分情報を入力データとし、劣化情報を出力データとする学習データを用いて学習された前記診断モデルを参照し、前記取得手段により取得された差分情報に基づいて、劣化情報を出力することを特徴とする。

【0013】

第７発明に係る建造物診断システムは、橋梁を含む画像情報と前記橋梁に関する橋梁情報とを取得する取得手段と、画像情報を入力データとし、画像情報に含まれる特徴の意味内容を示す意味情報と特徴の位置を示す位置情報とを出力データとする学習データを用いて学習された抽出モデルを参照し、前記取得手段により取得された画像情報に基づいて、意味情報と位置情報とを抽出する抽出手段と、意味情報と位置情報と橋梁情報とを入力データとし、橋梁の劣化状況を示す劣化情報を出力データとする学習データを用いて学習された診断モデルを参照し、前記抽出手段により抽出された意味情報と位置情報と前記取得手段により取得された橋梁情報とに基づいて、劣化情報を出力する探索手段とを備え、前記取得手段は、前記橋梁の河川に関する河川情報と、前記橋梁に設けられたガードレールに関する情報と、前記橋梁に設けられた照明灯に関する情報と、前記橋梁に設けられた検査路に関する情報と、前記橋梁と海岸との距離に関する情報と、前記橋梁の骨材に関する情報と、前記橋梁の交通量に関する情報とのうちの、何れか１以上の情報を含む前記橋梁情報を取得することを特徴とする。また、第８発明に係る建造物診断プログラムは、橋梁に関する橋梁情報を取得する取得ステップと、橋梁情報を入力データとし、橋梁の劣化状況に関する劣化情報を出力データとする学習データを用いて学習された診断モデルを参照し、前記取得ステップにより取得された橋梁情報に基づいて、劣化情報を出力する探索ステップとをコンピュータに実行させ、前記取得ステップは、前記橋梁の河川に関する河川情報と、前記橋梁に設けられたガードレールに関する情報と、前記橋梁に設けられた照明灯に関する情報と、前記橋梁に設けられた検査路に関する情報と、前記橋梁と海岸との距離に関する情報と、前記橋梁の骨材に関する情報と、前記橋梁の交通量に関する情報とのうちの、何れか１以上の情報を含む前記橋梁情報を取得することを特徴とする。

【発明の効果】

【0014】

第１発明から第８発明によれば、本発明の建造物診断システム及びプログラムは、診断モデルを参照し、橋梁情報に基づいて、劣化情報を出力する。これにより、橋梁の画像等の橋梁情報から劣化情報を出力することが可能となる。このため、容易且つ自動的に建造物の劣化状態を診断することができる。

【0015】

特に、第３発明によれば、本発明の建造物診断システムは、診断モデルを参照し、橋梁情報と河川情報とに基づいて、劣化情報を出力する。これにより、例えば河川の氾濫の記録等を考慮して、劣化情報を算出することが可能となる。このため、容易且つ自動的に建造物の劣化状態をより高精度に診断することができる。

【0016】

特に、第４発明によれば、本発明の建造物診断システムは、診断モデルを参照し、橋梁情報と同族橋梁情報とに基づいて、劣化情報を出力する。これにより、例えば同じ川に架かる他の橋梁の状態を考慮して、劣化情報を算出することが可能となる。このため、容易且つ自動的に建造物の劣化状態をより高精度に診断することができる。

【0017】

特に、第５発明によれば、本発明の建造物診断システムは、診断モデルを参照し、テキスト情報及び／又は画像情報に基づいて、劣化情報を出力する。これにより、橋梁の写真や損傷図等の画像情報と、橋梁の大きさ等のテキスト情報とから多角的に劣化情報を算出することが可能となる。このため、容易且つ自動的に建造物の劣化状態をより高精度に診断することができる。

【0018】

特に、第６発明によれば、本発明の建造物診断システムは、診断モデルを参照し、差分情報に基づいて、劣化情報を出力する。これにより、例えば過去橋梁情報と橋梁情報が示す橋梁のひび等の差分を考慮して、劣化情報を算出することが可能となる。このため、容易且つ自動的に建造物の劣化状態をより高精度に診断することができる。

【0019】

特に、第７発明によれば、本発明の建造物診断システムは、抽出モデルを参照し、画像情報に基づいて、意味情報と位置情報とを抽出し、抽出した意味情報と位置情報とに基づいて、劣化情報を出力とする。これにより、写真や損傷図等の画像情報から意味情報と位置情報とを抽出することが可能となるため、写真や損傷図等の画像情報からより高精度に情報を抽出することが可能となる。

【図面の簡単な説明】

【0020】

【図1】図１は、第１実施形態における建造物診断システムの構成の一例を示す模式図である。

【図2】図２（ａ）は、第１実施形態における建造物診断装置の構成の一例を示す模式図であり、図２（ｂ）は、第１実施形態における建造物診断装置の機能の一例を示す模式図である。

【図3】図３は、橋梁の一例を示す図である。

【図4】図４は、第１実施形態における建造物診断システム１００の動作の一例を示すフローチャートである。

【図5】図５は、橋梁情報を含む定期点検調書の第１の例を示す図である。

【図6】図６は、橋梁情報を含む定期点検調書の第２の例を示す図である。

【図7】図７は、橋梁の各構成の画像を示す図である。

【図8】図８は、橋梁の損傷図を示す図である。

【図9】図９は、劣化情報を示す図である。

【図10】図１０は、橋梁情報と劣化情報との間における連関度を示す図である。

【図11】図１１は、テキスト情報及び画像情報と劣化情報との間における連関度を示す図である。

【図12】図１２は、差分情報と劣化情報との間における連関度を示す図である。

【図13】図１３は、橋梁情報及び河川情報と劣化情報との間における連関度を示す図である。

【図14】図１４は、橋梁情報及び同族橋梁情報と劣化情報との間における連関度を示す図である。

【図15】図１５は、第２実施形態における建造物診断システム１００の動作の一例を示すフローチャートである。

【図16】図１６は、橋梁情報と意味情報及び位置情報との間における連関度を示す図である。

【図17】図１７は、意味情報及び位置情報と劣化情報との間における連関度を示す図である。

【発明を実施するための形態】

【0021】

〈第１実施形態〉
以下、本発明を適用した第１実施形態における建造物診断システムの一例について、図面を用いて説明する。

【0022】

図１は、第１実施形態における建造物診断システム１００の構成の一例を示す模式図である。建造物診断システム１００は、例えば図１に示すように、建造物診断装置１と、サーバ３と、撮像装置６を有するユーザ端末２とが公共通信網４を介して接続される。また、建造物診断システム１００は、公共通信網４を介することなく接続された、建造物診断装置１と撮像装置６とのみを備えていてもよい。

【0023】

サーバ３は、建造物診断装置１及びユーザ端末２から送信された画像等の各種データを記憶する記憶媒体である。また、サーバ３は、必要に応じて記憶した各種データを建造物診断装置１及びユーザ端末２に送信する。サーバ３は、例えば建造物診断装置１の備える機能のうち、少なくとも一部の機能を備えてもよく、例えば建造物診断装置１の代わりに少なくとも一部の処理を行ってもよい。

【0024】

公共通信網４は、例えば建造物診断装置１が通信回路を介して接続されるインターネット網等である。公共通信網４は、いわゆる光ファイバ通信網で構成されてもよい。また、公共通信網４は、有線通信網のほか、無線通信網等の公知の通信技術で実現してもよい。ユーザ端末２は、例えば建造物診断システム１００を用いたサービスのユーザ等が保有し、公共通信網４を介して建造物診断装置１と接続される。ユーザ端末２は、例えばデータベースを生成する電子機器を示してもよい。ユーザ端末２は、例えばパーソナルコンピュータや、タブレット端末等の電子機器が用いられる。ユーザ端末２は、例えば建造物診断装置１の備える機能のうち、少なくとも一部の機能を備えてもよい。ユーザ端末２は、ユーザに診断結果を提示できる図示しないディスプレイ、又はスピーカを備えていてもよい。

【0025】

撮像装置６は、橋梁５を撮像するためのカメラである。撮像装置６は、任意のカメラが用いられてもよい。撮像装置６は、撮像した画像をユーザ端末２に出力する。また、撮像装置６は、ユーザ端末２を介することなく、公共通信網４を介して、建造物診断装置１に撮像した画像を出力してもよい。

【0026】

建造物診断装置１は、橋梁５に関する橋梁情報に基づいて、橋梁５の劣化状況を示す劣化情報を出力とする。建造物診断装置１は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器が用いられるほか、例えばスマートフォン、タブレット型端末、ウェアラブル端末、ＩｏＴ（Internet of Things）デバイス等の電子機器、Ｒａｓｐｂｅｒｒｙ Ｐｉ（登録商標）等のシングルボードコンピュータが用いられてもよく、例えば撮像装置６が内蔵されてもよい。

【0027】

次に図２を参照して、第１実施形態における建造物診断装置１の一例を説明する。図２（ａ）は、第１実施形態における建造物診断装置１の構成の一例を示す模式図であり、図２（ｂ）は、第１実施形態における建造物診断装置１の機能の一例を示す模式図である。

【0028】

建造物診断装置１は、例えば図２（ａ）に示すように、筐体１０と、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、保存部１０４と、Ｉ／Ｆ１０５～１０７とを備える。ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、保存部１０４と、Ｉ／Ｆ１０５～１０７とは、内部バス１１０により接続される。

【0029】

ＣＰＵ１０１は、建造物診断装置１全体を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の動作コードを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の動作時に使用される作業領域である。保存部１０４は、橋梁情報、劣化情報、抽出モデル及び診断モデル等の各種情報が保存される。保存部１０４は、例えばＨＤＤ（Hard Disk Drive）の他、ＳＳＤ（Solid State Drive）やＳＤカード、ｍｉｎｉＳＤカード等のデータ保存装置が用いられる。なお、例えば建造物診断装置１は、図示しないＧＰＵ（Graphics Processing Unit）を有してもよい。

【0030】

Ｉ／Ｆ１０５は、公共通信網４を介して各種情報の送受信を行うためのインターフェースである。Ｉ／Ｆ１０６は、入力部１０８との情報の送受信を行うためのインターフェースである。入力部１０８として、例えばキーボードが用いられ、建造物診断装置１を利用するユーザ等は、入力部１０８を介して、各種情報又は建造物診断装置１の制御コマンド等を入力する。Ｉ／Ｆ１０７は、表示部１０９との各種情報の送受信を行うためのインターフェースである。表示部１０９は、保存部１０４に保存された劣化情報等の各種情報、又は建造物診断装置１の処理状況等を出力する。表示部１０９として、ディスプレイが用いられ、例えばタッチパネル式でもよい。

【0031】

建造物診断装置１は、取得部１１と、処理部１２と、出力部１４と、記憶部１５とを備える。なお、図２（ｂ）に示した取得部１１と、処理部１２と、出力部１４と、記憶部１５とは、ＣＰＵ１０１が、ＲＡＭ１０３を作業領域として、保存部１０４等に保存されたプログラムを実行することにより実現され、例えば人工知能により制御されてもよい。

【0032】

取得部１１は、橋梁情報等の各種情報を取得する。取得部１１は、例えば橋梁情報等を、ユーザ端末２を介して取得する。また、サーバ３等から公共通信網４を介して各種情報を取得してもよい。なお、取得部１１が各種情報を取得する頻度、及び周期は、任意である。

【0033】

処理部１２は、各種処理を行う。処理部１２は、例えば取得部１１により取得された橋梁情報等の各種情報に基づいて、劣化情報を出力する。

【0034】

出力部１４は、各種情報を出力する。出力部１４は、Ｉ／Ｆ１０７を介して表示部１０９に各種情報を送信する。

【0035】

記憶部１５は、保存部１０４に保存された各種情報を必要に応じて取り出す。記憶部１５は、取得部１１と、処理部１２と、出力部１４とにより取得又は出力された各種情報を、保存部１０４に保存する。

【0036】

図３は、橋梁５の一例を示す図である。橋梁５は、建造物診断システム１００による診断の対象となる橋梁である。橋梁５は、例えば河川５３に架かる橋梁である。橋梁５は、任意の形式、構成、材料を用いた橋梁であってもよい。橋梁５は、例えば、図示しない岸に設置される脚部基礎５８と、脚部基礎５８に設置される支承５１を端部に有する脚部５４と、脚部５４に支持される桁５５と、桁５５の上面に設けられる橋台５６と、橋台５６に設けられる高欄５７と、桁５５の側面に設けられる排水管５２とを備える、また、橋梁５は、例えば図示しない標識、ガードレール、照明灯、検査路、伸縮継手等を備えてもよい。また、橋梁５の各構成は、例えば鋼、コンクリート、鉄、アルミ等、任意の材料により構成されてよい。

【0037】

次に、第１実施形態における建造物診断システム１００の動作の一例について説明する。図４は、第１実施形態における建造物診断システム１００の動作の一例を示すフローチャートである。

【0038】

まず、ステップＳ１において、取得部１１は、各種情報を取得する。取得部１１は、例えば橋梁情報を取得する。かかる場合、取得部１１は、例えば撮像装置６により撮像された画像を含む橋梁情報を、公共通信網４を介して取得してもよい。また、取得部１１は、例えばサーバ３に記憶されている橋梁情報を、公共通信網４を介して取得してもよい。取得部１１は、例えば記憶部１５を介して、橋梁情報を保存部１０４に保存する。

【0039】

橋梁情報は、橋梁５に関する情報である。図５は、橋梁情報を含む定期点検調書の第１の例を示す図である。図６は、橋梁情報を含む定期点検調書の第２の例を示す図である。橋梁情報は、例えば図５に示すような橋梁名、路線名、所在地、起点、橋梁ＩＤ、管理者名、定期点検実施年月日、路下条件、代替路の有無、自専道又は一般道、緊急輸送道路、占用物件、定期点検者、架設年次、横長、幅員、橋梁形式、構成単位の診断、応急処置内容、応急処置後の判定区分、応急処置及び判定実施年月日、点検時のコメント等の橋梁５の属性に関するテキスト情報が含まれていてもよい。また、橋梁情報は、図６に示すような、橋梁番号、径間数、事務所名、橋種、上部工形式、下部工形式、床版材料、基礎形式、補修履歴、活荷重、等級、適用示方書、交通条件、大型車交通量、荷重制限、交通量、各構成の幅員、海岸からの距離、優先確保ルートの指定、粗骨材、塗装仕様、交差条件、健全度判定、第３被害予防等のテキスト情報が含まれてもよい。点検時のコメントは、例えば「床版下面に２方向ひび割れ、陥没があり、車両荷重による疲労が原因と推定」「路面の陥没と抜け落ち個所が一致」「地覆下面の鉄骨腐食が進んだためかぶりコンクリート剥落が生じたと推定」「構造体への影響小。維持修繕対応で可能」「下部工の鉛直ひび割れは施工直後の乾燥収縮ひび割れが有り、アルカリシリカ反応（ＡＳＲ：Alkali Silica Reaction）の疑いがあるため、詳細調査が必要と考えられる」等の点検者の推察等のコメントであってもよい。

【0040】

橋梁情報は、例えば橋梁５の各構成の材料、状態等に関する情報であってもよい。橋梁情報は、例えば橋梁５に設けられた図示しない標識、ガードレール、照明灯、検査路等に関する情報が含まれてもよい。また、橋梁情報は、凍結防止剤の散布量、海岸からの距離、骨材の情報、建設年度等の情報であってもよい。また、骨材の情報は、例えば骨材に海砂等の材料が用いられているか否か、アルカリ骨材反応の可能性がある材料が用いられているか否か、収縮量の大きい材料が用いられているか否か等の情報であってもよい。

【0041】

また、橋梁情報は、橋梁５を含む画像情報が含まれてもよい。図７は、橋梁５の各構成の画像を示す図である。図８は、橋梁５の損傷図を示す図である。橋梁情報は、例えば図７に示すような、左右の岸の下部構造等の各構成を含む複数の画像情報が含まれてもよい。また、橋梁情報は、例えば図８に示すような損傷図を含む画像情報が含まれてもよい。損傷図は、橋梁５の構成毎の損傷を示す図であり、例えば図８に示すような２次元空間上に記載された記号を含む図であってもよい。

【0042】

また、画像情報は、３次元画像であってもよい。画像情報は、橋梁５の全体を含む３次元画像であってもよい。画像情報は、橋梁５の構成毎の３次元画像であってもよい。かかる場合、画像情報は、例えば公知のフォトグラメトリー等の技術を用いて複数の２次元画像から生成された３次元画像であってもよい。

【0043】

また、ステップＳ１において、取得部１１は、橋梁５が架かる河川５３に関する河川情報を取得してもよい。河川情報は、例えば河川の幅、深さ、氾濫の記録、塩分濃度等の情報が含まれてもよい。また、ステップＳ１において、取得部１１は、外部環境に関する環境情報を取得してもよい。環境情報は、例えば気温、天気及び災害等の情報であってもよい。

【0044】

また、ステップＳ１において、取得部１１は、過去の橋梁５に関する過去橋梁情報を取得してもよい。過去橋梁情報は、例えば過去に診断又は点検した時点での橋梁情報であってもよい。また、過去橋梁情報は、例えば過去に診断又は点検した時点での橋梁情報に対して診断された劣化情報であってもよい。また、ステップＳ１において、取得部１１は、橋梁情報と過去橋梁情報とに基づく差分情報を取得してもよい。差分情報は、例えば過去に診断又は点検した時点での橋梁情報と現時点での橋梁情報との差を示す情報であってもよい。差分情報は、例えば前回の点検時から現時点までのひびの変化量等であってもよい。また、差分情報は、例えば表１で示すような、複数時点の過去橋梁情報との変化を示す表やグラフ等の情報であってもよい。

【表1】

【0045】

また、ステップＳ１において、取得部１１は、橋梁５の河川５３に架かる他の橋梁５に関する同族橋梁情報を取得してもよい。同族橋梁情報は、橋梁５の河川５３に架かる他の橋梁５の橋梁情報であってもよい。また、同族橋梁情報は、橋梁５の河川５３に架かる他の橋梁５の劣化情報であってもよい。また、同族橋梁情報は、橋梁５の道路上にある他の橋梁５の橋梁情報又は劣化情報であってもよい。

【0046】

劣化情報は、橋梁５の劣化状況を示す情報である。劣化情報は、例えば図９に示す判定区分のように、橋梁の各構成に対する劣化状態を数値で示した情報であってもよい。また、劣化情報は、腐食や漏水等の劣化の原因を示す情報であってもよい。また、劣化情報は、橋梁情報に含まれる画像情報に含まれるひび等に対する劣化状態を示す情報であってもよい。また、劣化情報は、劣化状態の数値の根拠を示す情報であってもよい。劣化状態の数値の根拠を示す情報は、例えば道路橋示方書、コンクリート標準示方書等の示方書、及び道路橋定期点検要領 国道交通省又は道路局が発行している要領、各県の橋梁長寿命化修繕計画等、論文、特許公文の記載事項等であってもよい。

【0047】

次に、ステップＳ２において、処理部１２は、ステップＳ１により取得部１１により取得された橋梁情報に基づいて、劣化情報を出力する。かかる場合、処理部１２は、例えば橋梁情報を入力データとし、劣化情報を出力データとする学習データを用いて学習された診断モデルを参照し、ステップＳ１により取得された橋梁情報に基づいて、劣化情報を出力する。

【0048】

診断モデルの生成方法として、例えばニューラルネットワークをモデルとした機械学習を用いて、診断モデルを生成してもよい。診断モデルは、例えばＣＮＮ（Convolution Neural Network） 等のニューラルネットワークをモデルとした機械学習を用いて学習されるほか、任意のモデルが用いられてもよい。また、診断モデルの生成方法として、例えば線形判別、サポートベクターマシン、ｋ－近傍法、ランダムフォレスト、ディープラーニング等を用いて、診断モデルを生成してもよい。

【0049】

かかる場合、診断モデルには、例えば図１０のように、入力データである橋梁情報と出力データである劣化情報との間における連関度を有する連関性が記憶される。連関度は、入力データと出力データとの繋がりの度合いを示しており、例えば連関度が高いほど各データの繋がりが強いと判断することができる。連関度は、例えば百分率等の３値以上又は３段階以上で示されるほか、２値又は２段階で示されてもよい。また、連関度の学習に用いられる橋梁情報及び劣化情報は、例えば予め取得した学習データに用いるための橋梁情報及び劣化情報であるがこれに限らず、任意のタイミングで取得した情報を用いてもよい。

【0050】

例えば連関性は、複数の入力データ、対、複数の出力データの間における繋がりの度合いにより構築される。連関性は、機械学習の過程で適宜更新され、例えば複数の入力データ、及び複数の出力データに基づいて最適化された関数を用いた分類器を示す。なお、連関性は、例えば各データの間における繋がりの度合いを示す複数の連関度を有してもよい。連関度は、例えばデータベースがニューラルネットワークで構築される場合、重み変数に対応させることができる。連関性は、例えば図１０に示すように、複数の入力データと、複数の出力データとの間における繋がりの度合いを示してもよい。この場合、連関性を用いることで、図１０の「橋梁情報Ａ」～「橋梁情報Ｃ」のそれぞれの入力データに対し、「劣化情報Ａ」～「劣化情報Ｃ」の複数の出力データとの関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、１つの出力データに対して、複数の入力データを紐づけることができる。これにより、入力データに対して多角的な出力データの選択を実現することができる。また、入力データ及び出力データは、これに限らず、任意の種類の情報がさらに用いられてもよい。例えば入力データの橋梁情報として、橋梁５の複数の構成のひびの大きさ、及び橋梁５の形式等の複数の種類の情報を含む橋梁情報を用いてもよい。また、入力データは、例えば橋梁情報に含まれるテキスト情報及び／又は画像情報であってもよい。また、例えば出力データの劣化情報として、劣化の状況の判定区分、及び劣化状態の数値の根拠を示す情報等の複数の種類の情報を含む劣化情報を用いてもよい。また、入力データとして、例えば定期点検調書に記載されているテキスト情報を用いてもよい。

【0051】

連関性は、例えば各入力データと、各出力データとをそれぞれ紐づける複数の連関度を有する。連関度は、例えば百分率、１０段階、又は５段階等の３段階以上で示され、例えば線の特徴（例えば太さ等）で示される。例えば、入力データに含まれる「橋梁情報Ａ」は、出力データに含まれる「劣化情報Ａ」との間の連関度ＡＡ「７３％」を示し、出力データに含まれる「劣化情報Ｂ」との間の連関度ＡＢ「１２％」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、例えば連関度が高いほど、各データの繋がりが強いことを示す。

【0052】

このような図１０に示す３段階以上の連関度を予め取得しておく。つまり実際の解の判別を行う上で、入力データと、出力データとの何れが採用、評価されたか、過去のデータセットを蓄積しておき、これらを分析、解析することで図１０に示す連関度を作り上げておく。

【0053】

例えば、過去において「橋梁情報Ｂ」という入力データに対して、「劣化情報Ｂ」が最も適合性が高いと判断され、評価されたものとする。このようなデータセットを集めて分析することにより、入力データと出力データとの連関度が強くなる。

【0054】

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば「橋梁情報Ｂ」という入力データに対して、「劣化情報Ｂ」が推定される事例が多い場合には、この「橋梁情報Ｂ」と「劣化情報Ｂ」とにつながる連関度をより高く設定する。

【0055】

また、この連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。

【0056】

また、診断モデルは、入力データと出力データとの間に少なくとも１以上の隠れ層が設けられ、機械学習させるようにしてもよい。入力データ又は隠れ層データの何れか一方又は両方において上述した連関度が設定され、これが各データの重み付けとなり、これに基づいて出力の選択が行われる。そして、この連関度がある閾値を超えた場合に、その出力を選択するようにしてもよい。

【0057】

このような連関度が、人工知能でいうところの学習データとなる。このような学習データを予め学習し、実際にステップＳ２において、処理部１２は、新たに橋梁情報に基づいて、劣化情報の出力を行うこととなる。出力の際には、例えば予め取得した図１０に示す連関度を参照する。例えば、新たに取得した橋梁情報が「橋梁情報Ａ」と同一かこれに類似するものである場合には、連関度を介して「劣化情報Ａ」との間の連関度ＡＡ「７３％」、「劣化情報Ｂ」との間の連関度ＡＢ「１２％」で関連付けられている。この場合には、連関度の最も高い「橋梁情報Ａ」を最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる「劣化情報Ｂ」を最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。

【0058】

このような連関度を参照することにより、橋梁情報が、入力データと同一又は類似である場合のほか、非類似である場合においても、入力データに適した出力データを定量的に選択することができる。

【0059】

また、ステップＳ２において、処理部１２は、テキスト情報と画像情報とを入力データとし、劣化情報を出力データとする学習データを用いて学習された診断モデルを参照し、ステップＳ１により取得された橋梁情報に含まれるテキスト情報と画像情報とに基づいて、劣化情報を出力してもよい。かかる場合、診断モデルは、図１１に示すようなテキスト情報と画像情報とを入力データとし、劣化情報を出力データとする学習データにより学習された連関度が記録される。また、かかる場合、入力データは、橋梁情報に含まれる各種情報を任意に選択し、用いてよい。これにより、例えば画像情報が示すひびの状態とテキスト情報に含まれる橋梁５に用いられる材料等の多角的な情報から劣化情報を出力することが可能となり、より高精度に劣化情報を出力することができる。

【0060】

また、ステップＳ２において、処理部１２は、橋梁情報と過去橋梁情報とを入力データとし、劣化情報を出力データとする診断モデルを参照し、橋梁情報と過去橋梁情報とに基づいて、劣化情報を出力してもよい。かかる場合、診断モデルは、橋梁情報と過去橋梁情報とを入力データとし、劣化情報を出力データとする学習データにより学習された連関度が記録される。また、かかる場合、入力データは、橋梁情報又は過去橋梁情報に含まれる各種情報を任意に選択し、用いてよい。また、入力情報は差分情報であってもよい。かかる場合、図１２に示すような、差分情報を入力データとし、劣化情報を出力データとする診断モデルを参照し、差分情報に基づいて、劣化情報を出力してもよい。これにより、例えば過去の橋梁５の状態からの変化等の多角的な情報から劣化情報を出力することが可能となり、より高精度に劣化情報を出力することができる。

【0061】

また、ステップＳ２において、処理部１２は、橋梁情報と河川情報とを入力データとし、劣化情報を出力データとする学習データを用いて学習された診断モデルを参照し、橋梁情報と河川情報とに基づいて、劣化情報を出力してもよい。かかる場合、診断モデルは、図１３に示すような橋梁情報と河川情報とを入力データとし、劣化情報を出力データとする学習データにより学習された連関度が記録される。また、かかる場合、入力データは、橋梁情報又は河川情報に含まれる各種情報を任意に選択し、用いてよい。これにより、例えば河川５３の氾濫、及び塩害等の河川５３の状態を考慮した劣化情報を出力することが可能となり、より高精度に劣化情報を出力することができる。

【0062】

また、ステップＳ２において、処理部１２は、橋梁情報と同族橋梁情報とを入力データとし、劣化情報を出力データとする診断モデルを参照し、橋梁情報と同族橋梁情報とに基づいて、劣化情報を出力してもよい。かかる場合、診断モデルは、図１４に示すような橋梁情報と同族橋梁情報とを入力データとし、劣化情報を出力データとする学習データにより学習された連関度が記録される。また、かかる場合、入力データは、橋梁情報又は同族橋梁情報に含まれる各種情報を任意に選択し、用いてよい。これにより、例えば同じ河川５３の他の橋梁５に塩害の傾向がみられた場合等に、他の橋梁５の状態を考慮した劣化情報を出力することが可能となり、より高精度に劣化情報を出力することができる。また、同じ道路にある他の橋梁５の交通量等を考慮した劣化情報を出力することができる。

【0063】

次に、ステップＳ３において、取得部１１は、ステップＳ２により出力された劣化情報に対する質問を含む質問情報を取得する。質問情報は、劣化情報に対する質問を含む情報であり、例えばテキストベースの情報であってもよいがこの限りではない。取得部１１は、例えば入力部１０８を介して、ユーザにより入力された質問情報を取得してもよい。かかる場合、例えば図示しないマイク等により入力された音声を公知の音声認識技術を用いて、テキストベースの質問情報に変換してもよい。

【0064】

次に、ステップＳ４において、処理部１２は、ステップＳ３により取得された質問情報に基づいて、質問情報に含まれる質問に対する回答を示す回答情報を出力する。かかる場合、処理部１２は、例えば入力データを質問情報とし、出力データを回答情報とする学習データを用いて学習された回答モデルを参照し、ステップＳ３により取得された質問情報に基づいて、回答情報を出力してもよい。また、処理部１２は、例えば質問情報を形態素解析し、解析結果に基づいて回答情報を出力してもよい。かかる場合、処理部１２は、公知の形態素解析技術を任意に用いてもよい。

【0065】

また、ステップＳ４において、処理部１２は、例えば入力データを質問情報と劣化情報とし、出力データを回答情報とした学習データを用いて学習された回答モデルを参照し、ステップＳ２により出力された劣化情報とステップＳ３により取得された質問情報とに基づいて、回答情報を出力してもよい。これにより、例えばステップＳ２により出力された劣化情報に対して、ステップＳ３でユーザが「診断した根拠となる示方書を教えてください」という質問情報を入力した場合、ステップＳ４において、処理部１２は、劣化情報と質問情報とに基づいて、「コンクリート標準示方書○○編の○○の項目の○○の記載によります。」等の回答情報を出力することが可能となる。

【0066】

また、ステップＳ４において、処理部１２は、例えば入力データとして、橋梁５に対して過去に診断された劣化情報をさらに追加してもよい。かかる場合、処理部１２は、例えば入力データを質問情報と劣化情報と過去の劣化情報とし、出力データを回答情報とした学習データを用いて学習された回答モデルを参照し、ステップＳ２により出力された劣化情報とステップＳ３により取得された質問情報と予め取得された過去の劣化情報とに基づいて、回答情報を出力してもよい。これにより、例えばステップＳ２により出力された劣化情報に対して、ステップＳ３でユーザが「前回は判定区分１でしたが、今回はなぜ判定区分２になったのでしょうか」という質問情報を入力した場合、ステップＳ４において、処理部１２は、劣化情報と質問情報と過去の劣化情報とに基づいて、「前回の判定は１ですが、道路橋定期点検要領の付録３判定の手引きｐ．５３の写真例に記載されている例に相当しているため、判定区分を２としました。前回の記録を確認すると、上記判定がなされる劣化が見られていましたが、判定を間違っていたと考えられます。」等の回答情報を出力することが可能となる。

【0067】

また、任意のタイミングで、出力部１４により劣化情報又は回答情報を出力してもよい。出力部１４は、劣化情報又は回答情報を表示部１０９等に出力する。また、出力部１４は、公共通信網４を介して、劣化情報又は回答情報をユーザ端末２、サーバ３に出力してもよい。

【0068】

これにより、第１実施形態における建造物診断システム１００の動作が終了する。これにより、橋梁の画像等の橋梁情報から劣化情報を出力することが可能となる。このため、容易且つ自動的に建造物の劣化状態を診断することができる。

【0069】

〈第２実施形態〉
以下、本発明の第２実施形態について図面を参照しながら説明する。図１５は、本発明の第２実施形態における建造物診断システム１００の動作を示すフローチャートである。第２実施形態における建造物診断システム１００は、画像情報を入力データとして、画像情報に含まれる特徴を示す意味情報と特徴の位置を示す位置情報とを出力データとする学習データを用いて学習された抽出モデルを参照し、取得された画像情報に基づいて、意味情報と位置情報とを抽出する点で第１実施形態と異なる。以下、第１実施形態と同様なものの説明は省略する。

【0070】

まず、ステップＳ１１において、取得部１１は、各種情報を取得する。かかる場合、取得部１１は、ステップＳ１と同様に画像情報を含む各種情報を取得する。

【0071】

次に、ステップＳ１２において、処理部１２は、ステップＳ１１により取得された画像情報に基づいて、意味情報と位置情報とを抽出する。意味情報は、画像情報に含まれる特徴の意味内容を示す情報である。意味情報は、例えば画像情報に含まれるひび又は錆び等の特徴を示すテキスト情報であってもよい。また、意味情報は、画像情報に含まれる損傷図が示す記号等の特徴の意味を示すテキスト情報であってもよい。位置情報は、特徴の位置を示す情報である。位置情報は、例えば画像情報上の特徴の座標を示すデータであってもよい。位置情報は、例えば画像情報が示す２次元空間又は３次元空間内の特徴の座標を示すデータであってもよい。また、位置情報は、例えば複数の特徴間の距離又は方向等の情報であってもよい。

【0072】

ステップＳ１２において、処理部１２は、例えば画像情報を入力データとして、意味情報と位置情報とを出力データとする学習データを用いて学習された抽出モデルを参照し、取得された画像情報に基づいて、意味情報と位置情報とを抽出する。抽出モデルは、診断モデルと同様に、学習データを用いて学習されたモデルである。抽出モデルは、入力データを画像情報とし、出力データを意味情報と位置情報とする学習データを用いて学習される。かかる場合、抽出モデルは、例えば図１６に示すように、入力データである画像情報と出力データである意味情報及び位置情報との間における連関度を有する連関性が記憶される。ステップＳ１２において、処理部１２は、予め学習された抽出モデルを参照し、ステップＳ１１により取得された画像情報に基づいて、意味情報と位置情報とを抽出する。

【0073】

また、ステップＳ１２において、処理部１２は、画像情報が橋梁５の全体を含む３次元画像であった場合、画像情報に基づいて橋梁５に含まれるそれぞれの構成が含まれる画像を示す２次元画像をそれぞれ取得してもよい。処理部１２は、取得したそれぞれの２次元画像に基づいて、それぞれの意味情報と位置情報とを抽出してもよい。

【0074】

次に、ステップＳ１３において、処理部１２は、ステップＳ１２により抽出された意味情報と位置情報と基づいて、劣化情報を出力する。かかる場合、処理部１２は、例えば意味情報と位置情報とを入力データとし、劣化情報を出力データとする学習データを用いて学習された診断モデルを参照し、ステップＳ１２により抽出された意味情報と位置情報とに基づいて、劣化情報を出力データしてもよい。かかる場合、診断モデルは、図１７に示すような意味情報と位置情報とを入力データとし、劣化情報を出力データとする学習データにより学習された連関度が記録される。また、かかる場合、入力データは、さらに橋梁情報に含まれるテキスト情報等の任意の情報が含まれてもよい。これにより、写真や損傷図等の画像情報から意味情報と位置情報とを抽出することが可能となるため、写真や損傷図等の画像情報からより高精度に情報を抽出することが可能となる。

【0075】

本発明の第１実施形態及び第２実施形態を説明したが、これら実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0076】

１ 建造物診断装置
２ ユーザ端末
３ サーバ
４ 公共通信網
５ 橋梁
６ 撮像装置
１０ 筐体
１１ 取得部
１２ 処理部
１４ 出力部
１５ 記憶部
５１ 支承
５２ 排水管
５３ 河川
５４ 脚部
５５ 桁
５６ 橋台
５７ 高欄
５８ 脚部基礎
１００ 建造物診断システム
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 保存部
１０５ Ｉ／Ｆ
１０６ Ｉ／Ｆ
１０７ Ｉ／Ｆ
１０８ 入力部
１０９ 表示部
１１０ 内部バス

【要約】      （修正有）

【課題】容易且つ自動的に建造物の劣化状態を診断することができる建造物診断システム及びプログラムを提供する。
【解決手段】本発明に係る建造物診断システムの動作は、橋梁に関する橋梁情報を取得することと、橋梁情報を入力データとして橋梁の劣化状況に関する劣化情報を出力データとする学習データを用いて学習された診断モデルを参照し、取得した橋梁情報に基づいて、劣化情報を出力することと、出力された劣化情報に対する質問を含む質問情報を取得することと、取得した質問情報に基づいて、質問情報に含まれる質問に対する回答を示す回答情報を出力することと、を含む。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】