(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-01
(45)【発行日】2024-10-09
(54)【発明の名称】構造物の補修支援装置、方法、プログラム及び記録媒体
(51)【国際特許分類】
G06Q 50/08 20120101AFI20241002BHJP
【FI】
G06Q50/08
(21)【出願番号】P 2022551978
(86)(22)【出願日】2021-09-21
(86)【国際出願番号】 JP2021034507
(87)【国際公開番号】W WO2022065276
(87)【国際公開日】2022-03-31
【審査請求日】2023-04-28
(31)【優先権主張番号】P 2020160940
(32)【優先日】2020-09-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100083116
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【氏名又は名称】松浦 憲政
(74)【代理人】
【識別番号】100153822
【氏名又は名称】増田 重之
(72)【発明者】
【氏名】大関 誠
【審査官】樋口 龍弥
(56)【参考文献】
【文献】国際公開第2020/110587(WO,A1)
【文献】特開2019-057192(JP,A)
【文献】特開2007-140608(JP,A)
【文献】国際公開第2020/110717(WO,A1)
【文献】国際公開第2017/051554(WO,A1)
【文献】門馬 英一郎,深層学習を用いた非整備環境における鋼構造物の劣化診断に関する基礎的検討,電気学会研究会資料,日本,一般社団法人電気学会,2019年08月28日,p.23-26
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 - 99/00
(57)【特許請求の範囲】
【請求項1】
プロセッサと
、構造物の2次元画像を含む前記構造物に関する構造物情報を記憶するデータベースとを備える構造物の補修支援装置において、
前記プロセッサは、
前記データベースから前記構造物情報を取得する情報取得処理と、
前記構造物情報及び前記構造物の損傷に関する損傷情報に基づいて前記構造物の損傷の補修に関する補修設計情報を生成する補修設計情報生成処理と、
前記補修設計情報の生成に寄与した情報を、前記補修設計情報の判断根拠情報として生成する判断根拠生成処理と、
前記補修設計情報及び前記判断根拠情報を表示器に表示させる表示処理と、を行
い、
前記補修設計情報生成処理は、前記構造物の2次元画像に基づいて前記損傷情報を生成する、
構造物の補修支援装置。
【請求項2】
前記プロセッサは、前記構造物における前記損傷の位置情報を取得し、前記位置情報に関連づけて前記補修設計情報を前記表示器に表示させる、
請求項1に記載の構造物の補修支援装置。
【請求項3】
前記構造物情報は、前記構造物の全体を示す3次元情報を含み、
前記プロセッサは、前記3次元情報に基づいて前記構造物を前記表示器に3次元表示させ、前記損傷の前記位置情報に基づいて前記3次元表示させた前記構造物の対応する位置に前記補修設計情報を表示させる、
請求項2に記載の構造物の補修支援装置。
【請求項4】
前記プロセッサは、前記構造物の全体表示と局所表示との切り替えを受け付ける処理を行い、
前記プロセッサは、
前記全体表示から前記局所表示への切り替え及び前記損傷の位置情報を受け付けると、前記表示器の表示を、前記3次元情報に基づく前記構造物の前記全体表示から前記損傷の前記位置情報が示す位置の画像を含む前記局所表示に切り替え、かつ前記損傷の前記位置情報に関連付けられた前記判断根拠情報を前記表示器に表示させ、
前記局所表示から前記全体表示への切り替えを受け付けると、前記表示器の表示を前記全体表示に切り替え、かつ前記損傷の前記位置情報に関連付けて前記補修設計情報を前記表示器に表示させる、
請求項3に記載の構造物の補修支援装置。
【請求項5】
前記プロセッサは、
前記生成した前記損傷情報を前記構造物情報に関連付けて前記データベースに記憶させ、
前記情報取得処理は、前記データベースから前記構造物情報及び前記構造物情報と関連付けられた前記損傷情報を取得する、
請求項1から4のいずれか1項に記載の構造物の補修支援装置。
【請求項6】
前記プロセッサは、複数の前記判断根拠情報
を取得した場合、前記複数の前記判断根拠情報がそれぞれ前記補修設計情報の生成に寄与した割合を示す寄与度情報を算出し、前記複数の前記判断根拠情報にそれぞれ対応する前記寄与度情報を前記表示器に表示させる、
請求項1から
5のいずれか1項に記載の構造物の補修支援装置。
【請求項7】
前記判断根拠情報は、前記構造物の着目すべき領域情報を含む、
請求項1から
6のいずれか1項に記載の構造物の補修支援装置。
【請求項8】
前記補修設計情報生成処理は、複数時点の前記損傷情報に基づいて前記補修設計情報を生成し、
前記判断根拠情報は、前記複数時点の間での前記損傷情報の経時変化の程度を含む、
請求項1から
7のいずれか1項に記載の構造物の補修支援装置。
【請求項9】
前記プロセッサは、ユーザによる前記補修設計情報の指定を受け付ける処理を行い、前記補修設計情報の指定を受け付けると、前記補修設計情報に対応する前記判断根拠情報を前記表示器に表示させる、
請求項1から
8のいずれか1項に記載の構造物の補修支援装置。
【請求項10】
前記プロセッサは、ユーザによる前記判断根拠情報の指定を受け付ける処理を行い、前記判断根拠情報の指定を受け付けると、前記判断根拠情報に対応する前記補修設計情報を前記表示器に表示させる、
請求項1から
9のいずれか1項に記載の構造物の補修支援装置。
【請求項11】
前記プロセッサは、前記補修設計情報生成処理を行う第1学習モデルを含み、
前記第1学習モデルは、前記構造物情報、又は前記構造物情報と前記損傷情報を入力すると、前記補修設計情報を出力する、
請求項1から
10のいずれか1項に記載の構造物の補修支援装置。
【請求項12】
前記プロセッサによる前記判断根拠生成処理は、前記第1学習モデルの出力結果の算出過程を遡って前記出力結果に影響を与える前記判断根拠情報を抽出する、
請求項
11に記載の構造物の補修支援装置。
【請求項13】
前記プロセッサは、前記損傷情報
を生成する第2学習モデルを含み、
前記第2学習モデルは、前記構造物の2次元画像を入力し、前記構造物の前記損傷情報を出力する、
請求項5に記載の構造物の補修支援装置。
【請求項14】
前記構造物情報は、前記構造物の図面情報、前記構造物の全体を示す3次元情報、前記構造物の局所を示す2次元画像、及び前記構造物に関するテキスト情報のうちの少なくとも1つの情報を含む、
請求項1から
13のいずれか1項に記載の構造物の補修支援装置。
【請求項15】
前記構造物情報は、前記構造物の構造情報、補修履歴情報、環境情報、及びモニタリング情報のうちの少なくとも1つを含む、
請求項1から
14のいずれか1項に記載の構造物の補修支援装置。
【請求項16】
前記補修設計情報は、損傷原因、対策工法、健全度、補修要否、劣化予測、及び対策区分のうちの少なくとも1つを含む、
請求項1から
15のいずれか1項に記載の構造物の補修支援装置。
【請求項17】
前記判断根拠情報は、前記損傷情報、前記構造物情報、及び環境情報のうちの少なくとも1つを含む、
請求項1から
16のいずれか1項に記載の構造物の補修支援装置。
【請求項18】
前記損傷情報は、損傷種類、損傷形状、損傷程度、損傷進行度、損傷領域、損傷位置、及び類似損傷のうちの少なくとも1つを含む、
請求項1から
17のいずれか1項に記載の構造物の補修支援装置。
【請求項19】
構造物の2次元画像を含む前記構造物に関する構造物情報を記憶するデータベースから前記構造物情報を取得するステップと、
前記構造物情報及び前記構造物の損傷に関する損傷情報に基づいて前記構造物の損傷の補修に関する補修設計情報を生成するステップと、
前記補修設計情報の生成に寄与した情報を、前記補修設計情報の判断根拠情報として生成するステップと、
前記補修設計情報及び前記判断根拠情報を表示器に表示させるステップと、をプロセッサにより行
い、
前記補修設計情報を生成するステップは、前記構造物の2次元画像に基づいて前記損傷情報を生成する、
構造物の補修支援方法。
【請求項20】
構造物の2次元画像を含む前記構造物に関する構造物情報を記憶するデータベースから前記構造物に関する構造物情報を取得する機能と、
前記構造物情報及び前記構造物の損傷に関する損傷情報に基づいて前記構造物の損傷の補修に関する補修設計情報を生成する機能と、
前記補修設計情報の生成に寄与した情報を、前記補修設計情報の判断根拠情報として生成する機能と、
前記補修設計情報及び前記判断根拠情報を表示器に表示させる機能と、をコンピュータにより実現させる構造物の補修支援プログラム
であり、
前記補修設計情報を生成する機能は、前記構造物の2次元画像に基づいて前記損傷情報を生成する、
構造物の補修支援プログラム。
【請求項21】
非一時的かつコンピュータ読取可能な記録媒体であって、請求項
20に記載のプログラムが記録された記録媒体。
【請求項22】
前記プロセッサによる前記判断根拠生成処理は、前記判断根拠情報として、前記第1学習モデルに入力された情報に対する前記第1学習モデルの着目領域を可視化した情報を生成する、
請求項
12に記載の構造物の補修支援装置。
【請求項23】
前記プロセッサによる前記判断根拠生成処理は、前記着目領域を可視化した情報として、ヒートマップを生成する、
請求項
22に記載の構造物の補修支援装置。
【請求項24】
前記プロセッサによる前記判断根拠生成処理は、Grad-CAM、CAM又はAttentionにより、前記ヒートマップを生成する、
請求項
23に記載の構造物の補修支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は構造物の補修支援装置、方法及びプログラムに係り、特に構造物の補修設計情報を自動生成した場合に、その補修設計情報の判断根拠を提示する技術に関する。
【背景技術】
【0002】
橋梁、トンネル等の構造物の点検の義務化による労力不足及びコスト増加を解決するために、構造物の維持管理へのICT(Information and Communication Technology)の活用が進んでいる。
【0003】
例えば、人工知能(AI:Artificial Intelligence)を活用し、構造物の構造データや損傷データ、補修データを学習し、補修設計情報を自動生成することが検討されている。
【0004】
コンピュータにより補修設計情報を自動生成する場合、補修設計情報の判断根拠の探索が難しく、特に機械学習やAIは、その処理内容がブラックボックスであるため、判断のプロセスが不明であり、ユーザが補修設計情報を理解及び納得できないという問題が考えられる。
【0005】
従来、ニューラルネットワークによる推論によって、入力された画像が所定のクラスのいずれに属するかを推論する推論装置が提案されている(特許文献1)。
【0006】
この推論装置は、入力部と、ニューラルネットワークにおける推論過程において、頻出する頻出特徴量をクラスごとに記憶した頻出特徴量データベースと、入力された画像がどのクラスに属するかを、ニューラルネットワークによって推論する推論部と、推論における推論過程で現れた特徴量を抽出し、特徴量の中で所定の条件を満たす特徴量を代表特徴量として抽出する代表特徴量抽出部と、頻出特徴量と代表特徴量とに基づいて根拠特徴量を抽出する根拠特徴量抽出部と、推論されたクラスと共に根拠特徴量を出力する出力部とを備える。
【0007】
根拠特徴量抽出部は、頻出特徴量と代表特徴量との2つの集合の重なる部分を根拠特徴量として抽出している。
【先行技術文献】
【特許文献】
【0008】
【発明の概要】
【発明が解決しようとする課題】
【0009】
特許文献1に記載の推論装置は、頻出する頻出特徴量をクラスごとに記憶した頻出特徴量データベースを準備する必要がある。また、特許文献1には、構造物の補修設計情報を自動生成する記載がなく、特に補修設計情報が自動生成された場合に、その補修設計情報の判断根拠がユーザにとって理解及び納得できないという新規な課題を示す記載がない。
【0010】
本開示の技術に係る一つの実施形態は、構造物の補修設計情報を自動生成することができ、かつその補修設計情報の判断根拠をユーザに提示することができる構造物の補修支援装置、方法及びプログラムを提供する。
【課題を解決するための手段】
【0011】
第1態様に係る発明は、プロセッサを備える構造物の補修支援装置において、プロセッサは、構造物に関する構造物情報を取得する情報取得処理と、構造物情報及び構造物の損傷に関する損傷情報に基づいて構造物の損傷の補修に関する補修設計情報を生成する補修設計情報生成処理と、補修設計情報の生成に寄与した情報を、補修設計情報の判断根拠情報として生成する判断根拠生成処理と、補修設計情報及び判断根拠情報を表示器に表示させる表示処理と、を行う。
【0012】
本発明の第1態様によれば、構造物の損傷の補修に関する補修設計情報が自動的に生成された場合、補修設計情報の生成に寄与した情報である判断根拠情報を生成し、判断根拠情報を提示するようにしたため、ユーザは、補修設計情報の判断根拠を容易に理解することができる。
【0013】
本発明の第2態様に係る構造物の補修支援装置において、プロセッサは、構造物における損傷の位置情報を取得し、位置情報に関連づけて補修設計情報を表示器に表示させることが好ましい。これにより、ユーザは、補修設計情報が、構造物のどの位置の損傷に対するものであるかを理解することができる。
【0014】
本発明の第3態様に係る構造物の補修支援装置において、構造物情報は、構造物の全体を示す3次元情報を含み、プロセッサは、3次元情報に基づいて構造物を表示器に3次元表示させ、損傷の位置情報に基づいて3次元表示させた構造物の対応する位置に補修設計情報を表示させることが好ましい。
【0015】
これにより、ユーザは、3次元表示された構造物上で、補修設計情報がどの位置の損傷に対するものであるかを理解することができる。
【0016】
本発明の第4態様に係る構造物の補修支援装置において、プロセッサは、構造物の全体表示と局所表示との切り替えを受け付ける処理を行い、プロセッサは、全体表示から局所表示への切り替え及び損傷の位置情報を受け付けると、表示器の表示を、3次元情報に基づく構造物の全体表示から損傷の位置情報が示す位置の画像を含む局所表示に切り替え、かつ損傷の位置情報に関連付けられた判断根拠情報を表示器に表示させ、局所表示から全体表示への切り替えを受け付けると、表示器の表示を全体表示に切り替え、かつ損傷の位置情報に関連付けて補修設計情報を表示器に表示させることが好ましい。
【0017】
本発明の第4態様によれば、3次元情報に基づく構造物の全体表示と局所表示とを切り替えて表示することができ、ユーザは、損傷の位置情報に関連付けられた補修設計情報を全体表示で確認し、その補修設計情報の判断根拠情報を局所表示で確認することができる。
【0018】
本発明の第5態様に係る構造物の補修支援装置において、構造物情報及び損傷情報を記憶するデータベースを備え、プロセッサは、構造物情報に含まれる構造物の2次元画像に基づいて損傷情報を生成する損傷情報生成処理を行い、損傷情報を構造物情報に関連付けてデータベースに記憶させ、情報取得処理は、データベースから構造物情報及び構造物情報と関連付けられた損傷情報を取得することが好ましい。
【0019】
本発明の第6態様に係る構造物の補修支援装置において、構造物情報を記憶するデータベースを備え、情報取得処理は、データベースから構造物情報を取得し、補修設計情報生成処理は、情報取得処理により取得された構造物情報であって、構造物情報に含まれる構造物の2次元画像に基づいて損傷情報を生成し、構造物情報及び損傷情報に基づいて構造物の損傷の補修に関する補修設計情報を生成することが好ましい。
【0020】
本発明の第7態様に係る構造物の補修支援装置において、プロセッサは、複数の判断根拠情報を複数取得した場合、複数の判断根拠情報がそれぞれ補修設計情報の生成に寄与した割合を示す寄与度情報を算出し、複数の判断根拠情報にそれぞれ対応する寄与度情報を表示器に表示させることが好ましい。これにより、ユーザは、補修設計情報の生成に対して、どの判断根拠情報がどれくらい寄与しているかを確認することができ、補修方法等に反映させることができる。
【0021】
本発明の第8態様に係る構造物の補修支援装置において、判断根拠情報は、構造物の着目すべき領域情報を含むことが好ましい。補修設計情報の生成に寄与した構造物上の領域情報を、補修設計情報の根拠情報として提示することができる。
【0022】
本発明の第9態様に係る構造物の補修支援装置において、補修設計情報生成処理は、複数時点の損傷情報に基づいて補修設計情報を生成し、判断根拠情報は、複数時点の間での損傷情報の経時変化の程度を含むことが好ましい。これにより、損傷の進行度を、補修設計情報の根拠情報とすることができる。
【0023】
本発明の第10態様に係る構造物の補修支援装置において、プロセッサは、ユーザによる補修設計情報の指定を受け付ける処理を行い、補修設計情報の指定を受け付けると、補修設計情報に対応する判断根拠情報を表示器に表示させることが好ましい。
【0024】
本発明の第11態様に係る構造物の補修支援装置において、プロセッサは、ユーザによる判断根拠情報の指定を受け付ける処理を行い、判断根拠情報の指定を受け付けると、判断根拠情報に対応する補修設計情報を表示器に表示させることが好ましい。
【0025】
本発明の第12態様に係る構造物の補修支援装置において、プロセッサは、補修設計情報生成処理を行う第1学習モデルを含み、第1学習モデルは、構造物情報、又は構造物情報と損傷情報を入力すると、補修設計情報を出力する。
【0026】
本発明の第13態様に係るに構造物の補修支援装置において、プロセッサによる判断根拠生成処理は、第1学習モデルの出力結果の算出過程を遡って出力結果に影響を与える判断根拠情報を抽出することが好ましい。
【0027】
本発明の第14態様に係る構造物の補修支援装置において、プロセッサは、損傷情報生成処理を行う第2学習モデルを含み、第2学習モデルは、構造物の2次元画像を入力し、構造物の損傷情報を出力する。
【0028】
本発明の第15態様に係る構造物の補修支援装置において、構造物情報は、構造物の図面情報、構造物の全体を示す3次元情報、構造物の局所を示す2次元画像、及び構造物に関するテキスト情報のうちの少なくとも1つの情報を含むことが好ましい。
【0029】
本発明の第16態様に係る構造物の補修支援装置において、構造物情報は、構造物の構造情報、補修履歴情報、環境情報、及びモニタリング情報のうちの少なくとも1つを含むことが好ましい。
【0030】
本発明の第17態様に係る構造物の補修支援装置において、補修設計情報は、損傷原因、対策工法、健全度、補修要否、劣化予測、及び対策区分のうちの少なくとも1つを含むことが好ましい。
【0031】
本発明の第18態様に係る構造物の補修支援装置において、判断根拠情報は、損傷情報、構造物情報、及び環境情報のうちの少なくとも1つを含むことが好ましい。
【0032】
本発明の第19態様に係る構造物の補修支援装置において、損傷情報は、損傷種類、損傷形状、損傷程度、損傷進行度、損傷領域、損傷位置、及び類似損傷のうちの少なくとも1つを含むことが好ましい。
【0033】
本発明の第20態様に係る構造物の補修支援方法は、構造物に関する構造物情報を取得するステップと、構造物情報及び構造物の損傷に関する損傷情報に基づいて構造物の損傷の補修に関する補修設計情報を生成するステップと、補修設計情報の生成に寄与した情報を、補修設計情報の判断根拠情報として生成するステップと、補修設計情報及び判断根拠情報を表示器に表示させるステップと、をプロセッサにより行う。
【0034】
本発明の第21態様に係る構造物の補修支援プログラムは、構造物に関する構造物情報を取得する機能と、構造物情報及び構造物の損傷に関する損傷情報に基づいて構造物の損傷の補修に関する補修設計情報を生成する機能と、補修設計情報の生成に寄与した情報を、補修設計情報の判断根拠情報として生成する機能と、補修設計情報及び判断根拠情報を表示器に表示させる機能と、をコンピュータにより実現させる。
【発明の効果】
【0035】
本発明によれば、構造物の補修設計情報を自動生成した場合に、その補修設計情報の判断根拠を提示することができる。これにより、ユーザは、自動生成された補修設計情報を理解及び納得することができ、また、構造物を補修する際に補修設計情報の判断根拠を参考にすることができる。
【図面の簡単な説明】
【0036】
【
図1】
図1は本発明に係る構造物の補修支援装置のハードウェア構成の実施形態を示すブロック図である。
【
図2】
図2は本発明に係る構造物の補修支援装置の第1実施形態を示すブロック図である。
【
図3】
図3は各種の補修設計内容の判断結果及び判断根拠情報の一覧を示す図表である。
【
図4】
図4はCNNが損傷原因の判断結果を推定する流れ(順伝搬)を示す図である。
【
図5】
図5はCNNが損傷原因の判断結果から判断結果に対する判断根拠を推定する流れ(逆伝搬)を示す図である。
【
図6】
図6は判断結果と判断根拠との相互参照の関係を示す図である。
【
図7】
図7は出力部に表示される判断根拠提示の第1例を示す図である。
【
図8】
図8は出力部に表示される判断根拠提示の第2例を示す図である。
【
図9】
図9は出力部に表示される判断根拠提示の第3例を示す図である。
【
図10】
図10は3次元表示される構造物の全体表示と局所表示との切り替えを示す図である。
【
図11】
図11は補修設計情報のテキスト情報と判断根拠情報のテキスト情報とを対応付けてまとめたリストの一例を示す図である。
【
図12】
図12は本発明に係る構造物の補修支援装置の第2実施形態を示すブロック図である。
【
図13】
図13は本発明に係る構造物の補修支援方法の実施形態を示すフローチャートである。
【発明を実施するための形態】
【0037】
以下、添付図面に従って本発明に係る構造物の補修支援装置、方法及びプログラムの好ましい実施形態について説明する。
【0038】
[構造物の補修支援装置のハードウェア構成]
図1は本発明に係る構造物の補修支援装置のハードウェア構成の実施形態を示すブロック図である。
【0039】
図1に示すように構造物の補修支援装置1は、パーソナルコンピュータ、ワークステーション等により構成することができ、プロセッサ10、メモリ11、データベース12、出力部14、入出力インターフェース16、及び操作部18等を備える。
【0040】
プロセッサ10は、CPU(Central Processing Unit)等から構成され、構造物の補修支援装置1の各部を統括制御するとともに、例えば、
図2に示す情報取得部(入力部)20、補修設計情報生成部22、及び判断根拠生成部24として機能する。
【0041】
補修設計情報生成部22は、構造物に関する構造物情報等に基づいて構造物の損傷の補修に関する補修設計情報を生成する部分であり、判断根拠生成部24は、補修設計情報の生成に寄与した情報を、補修設計情報の判断根拠情報として生成する部分である。尚、補修設計情報生成部22及び判断根拠生成部24等の詳細については後述する。
【0042】
メモリ11は、フラッシュメモリ、ROM(Read-only Memory)、及びRAM(Random Access Memory)等を含む。フラッシュメモリ及びROMは、オペレーションシステム、本発明に係る構造物の補修支援プログラムを含む各種のプログラム等を記憶する不揮発性メモリである。RAMは、プロセッサ10による処理の作業領域として機能する。また、フラッシュメモリ等に格納された構造物の補修支援プログラム等を一時的に記憶する。尚、プロセッサ10が、メモリ11の一部(RAM)を内蔵していてもよい。
【0043】
プロセッサ10は、構造物の補修支援プログラムにしたがい、RAMを作業領域としながら構造物の補修支援装置1の各部の制御及び処理を行う。
【0044】
データベース12は、構造物に関する情報を記憶及び管理する部分である。ここで、構造物に関する情報とは、構造物に関する構造物情報及び構造物の損傷に関する損傷情報を含む。尚、本例の構造物情報及び損傷情報の詳細については後述する。
【0045】
出力部14は、構造物の補修支援装置1により生成された補修設計情報と、その補修設計情報の生成に寄与した判断根拠情報を表示する表示器である。また、出力部14は、構造物の全体を示す3次元画像等の全体表示、構造物の局所を示す2次元画像の局所表示、損傷画像、損傷図等の表示を行い、更にユーザの指示を受け付ける場合のユーザインターフェースの一部として使用される。
【0046】
入出力インターフェース16は、外部機器と接続可能な接続部、及びネットワークと接続可能な通信部等を含む。外部機器と接続可能な接続部としては、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)(HDMIは登録商標)等を適用することができる。
【0047】
構造物の補修支援装置1は、入出力インターフェース16を介して所望の構造物に関する構造物情報、構造物の損傷に関する損傷情報等を取得することができる。入出力インターフェース16を介して必要な情報が取得できる場合には、データベース12を使用しない場合もある。
【0048】
操作部18は、キーボード、マウス等のポインティングデバイスであり、ユーザによる各種の指定を受け付けるユーザインターフェースとして機能する。また、操作部18は、タッチパネルを含んでいてもよい。
【0049】
[構造物の補修支援装置の第1実施形態]
図2は、本発明に係る構造物の補修支援装置の第1実施形態を示すブロック図である。
【0050】
図2に示す第1実施形態の構造物の補修支援装置は、
図1に示したハードウェア構成の構造物の補修支援装置1のプロセッサ10、データベース12、及び出力部14により構成され、プロセッサ10が、情報取得部20、補修設計情報生成部22、及び判断根拠生成部24として機能する。
【0051】
入力部として機能する情報取得部20は、ユーザからの選択指示によりデータベース12から所望の構造物に関する構造物情報、及びその構造物の損傷に関する損傷情報を取得する。
【0052】
<構造物情報>
構造物情報は、構造物の図面情報(例えば、CAD(Computer Aided Design)情報)、構造物の全体を示す3次元情報、構造物の局所を示す2次元画像(撮影画像)、及び構造物に関するテキスト情報のうちの少なくとも1つの情報を含む。尚、3次元情報は、3次元画像、3次元CAD情報、又は3次元点群データ等である。
【0053】
また、構造物情報は、構造物の構造情報、補修履歴情報、環境情報、及びモニタリング情報のうちの少なくとも1つを含む。
【0054】
構造物が橋梁の場合、構造物の構造情報等の例を下記に示す。
・構造物の構造情報:橋梁形式(トラス橋、アーチ橋、吊橋等)、橋長、工種(上部工、下部工等)、架設年
・補修履歴情報:補修の種類、補修工法(ひび割れ充填工、打替工等)
・環境情報:架設位置、交通量、気候、被災履歴
・モニタリング情報:構造物の振動を計測する振動計、応力を計測する応力計の計測結果、振動計、応力計、構造物を撮影するカメラ等のセンサ種類、及びセンサ位置
【0055】
<損傷情報>
構造物の損傷に関する損傷情報は、損傷種類、損傷形状、損傷程度、損傷進行度、損傷領域、損傷位置、及び類似損傷のうちの少なくとも1つを含む。
【0056】
尚、損傷種類の例を下記に示す。
・コンクリート部材の主な損傷:ひび割れ、剥離・鉄筋露出、漏水・遊離石灰、浮き
・鋼部材の主な損傷:腐食、亀裂、破断、ゆるみ・脱落
【0057】
補修設計情報生成部22は、情報取得部20が取得した構造物に関する構造物情報、及び損傷情報に基づいて構造物の損傷の補修に関する補修設計情報を生成する。
【0058】
〔補修設計情報〕
補修設計情報は、構造物の損傷原因、対策工法、健全度、補修要否、劣化予測、及び対策区分のうちの少なくとも1つを含む。
【0059】
損傷原因の種類は、コンクリート部材では、疲労、塩害、凍害、アルカリ骨材反応、中性化等であり、鋼部材では、疲労、材料劣化等である。
【0060】
対策工法は、ひび割れ注入工法、コンクリート保護工法、断面修復工法、電気防食工法、床版打替工等である。
【0061】
健全度の指標は、国や地方自治体により様々な指標が設けられているが、例えば、国土交通省が定めた道路橋定期点検要領(平成31年2月)では、I~IVの4段階の診断結果を示す指標が設けられている。
【0062】
対策区分は、例えば、国土交通省が定めた橋梁定期点検要領(平成31年3月)では、以下の区分が設けられている。
A:補修を行う必要がない
B:状況に応じて補修を行う必要がある
C1:予防保全の観点から、速やかに補修等を行う必要がある
C2:橋梁構造の安全性の観点から、速やかに補修等を行う必要がある
E1:橋梁構造の安全性の観点から、緊急対応の必要がある
E2:その他、緊急対応の必要がある
M:維持工事で対応する必要がある
S1:詳細調査の必要がある
S2:追跡調査の必要がある
【0063】
従来、診断員が構造物の損傷箇所を近接目視し、必要に応じて打音、その他の検査を行って、損傷状況等から補修設計情報の作成(損傷原因推定、対策工法選定、健全度判定、補修要否判断、劣化予測、対策区分選定等)を行うが、本発明では、補修設計情報生成部22が、構造物に関する構造物情報及び損傷情報に基づいて補修設計情報を自動生成する。
【0064】
補修設計情報生成部22は、例えば、構造物情報及び損傷情報と、これらに対応する補修設計情報とのペアからなる学習データのデータセットにより機械学習が行われた学習済みモデル(第1学習モデル)で構成することができ、構造物情報及び損傷情報を入力すると、構造物情報及び損傷情報に対応する補修設計情報を推論結果として出力する。尚、補修設計情報生成部22は、第1学習モデルにより補修設計情報を自動生成するものに限らず、補修設計情報を生成するアルゴリズムにより自動生成するようにしてもよい。
【0065】
判断根拠生成部24は、補修設計情報生成部22による補修設計情報の生成に寄与した情報を、その補修設計情報の判断根拠情報として抽出及び生成する。判断根拠情報は、損傷情報、構造物情報、及び環境情報のうちの少なくとも1つを含む。
【0066】
補修設計情報生成部22により生成された補修設計情報は、出力部14に出力され、出力部14の補修設計の判断結果提示部14Aに表示される。
【0067】
同様に、判断根拠生成部24により生成された判断根拠情報は、出力部14に出力され、出力部14の補修設計の判断根拠提示部14Bに表示される。
【0068】
尚、
図2において、補修設計情報生成部22は、損傷情報生成処理を行う学習済みモデル(第2学習モデル)を含み、この第2学習モデルが、構造物の2次元画像を入力し、構造物の損傷情報を出力するようにしてもよい。これによれば、補修設計情報生成部22は、情報取得部20から構造物の損傷情報を入力する必要がなく、構造物情報に含まれる構造物の2次元画像を入力画像として第2学習モデルから出力される損傷情報を使用することができる。
【0069】
また、構造物の補修支援装置の第1実施形態において、データベース12は必須のものではなく、情報取得部20は、外部機器又はネットワークから入出力インターフェース16を介して必要な情報を取得することが可能である。
【0070】
図3は、各種の補修設計内容の判断結果及び判断根拠情報の一覧を示す図表である。
【0071】
ユーザは、補修設計の判断結果提示部14Aに提示された補修設計情報のみでは、その補修設計情報の判断根拠が理解又は納得できない場合があるが、上記のように補修設計の判断根拠情報が、補修設計の判断結果と併せて提示されることで、補修設計情報の判断根拠を理解又は納得することができる。
【0072】
図4は、CNN(Convolution Neural Network)が損傷原因の判断結果を推定する流れ(順伝搬)を示す図である。
【0073】
図4において、補修設計情報生成部22及び判断根拠生成部24がCNN22Aで構成されている場合、補修設計情報生成部として機能するCNN22Aに入力画像として損傷画像30を入力させる。
【0074】
CNN22Aは、損傷画像30の特徴から構造物の損傷に関する補修設計情報を推定し、その判断結果(補修設計情報)を出力する。本例の損傷画像30は、鋼材32に沿ってコンクリートひび割れ36が発生している構造物の撮影画像34(又は撮影画像にひび割れを示す損傷図を重畳表示したもの)であり、判断結果は、中性化38である。中性化38は、劣化要因(クラス)の一つであり、外観上の特徴として鋼材軸方向に沿ってひび割れ、錆、コンクリート剥離がある。
【0075】
CNN22Aは、損傷画像30が有する上記の特徴から判断結果として中性化38を出力する。
【0076】
図5は、CNNが損傷原因の判断結果から判断結果に対する判断根拠を推定する流れ(逆伝搬)を示す図である。
【0077】
図5において、補修設計情報生成部22及び判断根拠生成部24がCNN22Aで構成されている場合、判断根拠生成部として機能するCNN22Aは、出力結果の算出過程を遡って計算し、その出力結果に影響を与える判断根拠情報を抽出する。本例では、損傷画像30(
図4)に対するヒートマップ39を求める。
【0078】
ヒートマップ作成方法としては、様々な方法があり、例えば、Grad-CAM(Gradient-weighted Class Activation Mapping)を使った場合では、判断結果である中性化38の確率値を最大化するように勾配を遡って計算し、中性化38の判断根拠としてヒートマップ39を求める。また、Grad-CAMのベースとなっている手法であるCAMを使用することができる。更にCNNでヒートマップを作成する(着目領域を可視化する)他の方法としては、Attentionがある。
【0079】
尚、
図5のヒートマップ39は、その濃度の高い領域が着目度の高い領域を示している。
【0080】
したがって、補修設計情報として中性化38を提示し、その判断根拠情報としてヒートマップ39を提示することができる。
【0081】
また、中性化38以外の劣化要因の場合のヒートマップも同様に計算することができる。
【0082】
更に、判断結果と判断根拠とを相互に参照することが可能である。
【0083】
図6は、判断結果と判断根拠との相互参照の関係を示す図である。
【0084】
図6において、判断結果提示部14Aに提示された中性化38、又はASR(alkali silica reaction:アルカリシリカ反応)40の劣化原因をユーザが選択すると、プロセッサ10は、それぞれ対応するヒートマップ39、又は41を判断根拠提示部14Bに表示させる。尚、ASRは、劣化要因の一つであり、膨張ひび割れ(拘束方向・亀甲状)、ゲル、変色の外観上の特徴を有する。
【0085】
判断根拠提示部14Bに提示されたヒートマップ39、又は41の座標をユーザが選択指示すると、プロセッサ10は、ヒートマップ39、又は41上の値に応じてそれぞれの劣化要因の推定寄与率を算出し、劣化要因とともに推定寄与率を判断結果提示部14Aに表示させることができる。例えば、ヒートマップのある地点は、中性化20%、ASR80%と表示させることができる。
【0086】
尚、Grad-CAMなどのヒートマップを利用して判断根拠を提示する手法は、画像以外でも利用可能である。
【0087】
〔判断根拠提示の第1例〕
図7は、出力部に表示される判断根拠提示の第1例を示す図である。
【0088】
図7において、補修設計の判断結果は、健全度IIIである。健全度IIIは、「早期措置段階」の判定区分を示し、道路橋の機能に支障が生じる可能性があり、早期に措置を講ずべき状態として定義される判定区分である。
【0089】
この判定結果の判断根拠として、損傷画像50、入力情報として、部材(舗装)、損傷種類(ひび割れ)の構造物に関するテキスト情報を提示している。
【0090】
また、判断根拠提示の第1例では、プロセッサ10は、健全度IIIに対する判断根拠情報を複数取得した場合、前述したようにヒートマップを利用して、複数の判断根拠情報が健全度IIIの生成に寄与した割合を示す寄与度からなる寄与度情報を算出する。本例では、部材及び損傷の状態の寄与度情報として、部材の寄与度80%、損傷の状態の寄与度20%を算出し、これらの寄与度情報を表示させる。
【0091】
図7に示す例では、
部材、損傷の状態の寄与度情報は、数値による表示と、棒グラフによる表示とが行われている。
【0092】
〔判断根拠提示の第2例〕
図8は、出力部に表示される判断根拠提示の第2例を示す図である。
【0093】
図8に示す判断根拠提示の第2例は、判定結果の判断根拠を画像により表示する。
【0094】
即ち、判定結果の判断根拠として、損傷画像50及びヒートマップ52を表示する。
【0095】
ヒートマップ52は、
図5に示したようにCNN22Aによる判断結果の確率値を最大化するように勾配を遡って計算した、損傷画像50に対するヒートマップである。ヒートマップ52は、ヒートマップ上の値に応じて色分けし、又は濃淡をつけ、これにより判断結果に対する着目すべき領域情報(例えば、着目度の高い領域、低の領域)を、複数の段階で視認できるように表示することが好ましい。尚、着目度に応じた領域情報の段数は、任意に設定可能である。
【0096】
〔判断根拠提示の第3例〕
図9は、出力部に表示される判断根拠提示の第3例を示す図である。
【0097】
図9に示す判断根拠提示の第3例は、判定結果の判断根拠等をテキストにより表示する。
【0098】
図9において、補修設計情報生成部22が、
図9に示す構造物に関するテキスト情報60を入力する場合、補修設計情報生成部22は、テキスト情報60から補修設計情報に対応するキーワードとなる文章(本例では、「床版打替工は未施工である」)を抽出し、また、判断根拠情報に対応するキーワードとなる文章(本例では、「床版に剥離・鉄筋露出が確認された」)を抽出する。
【0099】
「床版打替工」は、橋梁の床版の破損が著しく、応急処理や維持工法では良好な床版を維持できない場合に実施される補修工法である。
【0100】
プロセッサ10は、出力部14にテキスト情報60と、抽出した文章を強調表示したテキスト情報62とを表示させる。
【0101】
本例では、抽出した文章を枠線で囲むことで、その文章を強調したテキスト情報62を表示しているが、これに限らず、抽出した文章に赤色等を付けて強調するようにしてもよい。また、テキスト情報62の代わりに、「補修設計情報:床版打替工」、「判断根拠情報:床版の剥離・鉄筋露出」等のテキスト情報を生成して表示するようにしてもよい。
【0102】
〔3次元表示〕
図10は、3次元表示される構造物の全体表示と局所表示との切り替えを示す図である。
【0103】
構造物情報は、構造物の全体を示す3次元情報(本例では、3次元画像)を含んでおり、プロセッサ10は、情報取得部20により取得した3次元画像に基づいて構造物を出力部14に3次元表示させることができる。
【0104】
図10(A)は、3次元画像により構造物が全体表示された出力部14の表示画面を示す。
【0105】
全体表示された3次元画像上には、補修設計情報の判断結果がある箇所が、矢印等の指標、及び/又はハイライト等により強調表示される。また、プロセッサ10は、判断結果がある箇所の位置情報に基づいてその位置情報に関連付けられた補修設計情報を出力部14に表示させることができる。
【0106】
図10(B)は、判断結果がある一の箇所の構造物が局所表示された出力部14の表示画面を示す。
【0107】
局所表示は、構造物の局所を示す2次元画像(本例では、損傷画像50)を表示することにより行うことができる。
【0108】
プロセッサ10は、
図10(B)に示すように構造物の局所表示とともに、補修設計の判断結果(本例では、健全度III)の表示、健全度IIIの生成に寄与した情報である部材(舗装)、損傷種類(ひび割れ)、及び関連損傷情報(損傷番号1)等を出力部14に表示させる。
【0109】
プロセッサ10は、
図10(A)に示した構造物の全体表示と、
図10(B)に示した構造物の局所表示との切り替えを、ユーザからの指示により受け付けることができる。
【0110】
プロセッサ10は、全体表示の状態で表示切り替え、及び局所表示すべき損傷の位置情報を受け付けると、全体表示(
図10(A))から局所表示(
図10(B))に出力部14の表示を切り替える。
【0111】
例えば、ユーザがマウスを操作し、全体表示画面上で局所表示すべき損傷の位置(又は損傷の位置に関連付けて表示されている判断結果の表示位置)をクリックすると、プロセッサ10は、全体表示(
図10(A))から指定された損傷の位置の画像等を含む局所表示(
図10(B))に切り替える。また、プロセッサ10は、マウスのホイール操作等によりズームインするズーム操作を受け付けると、全体表示(
図10(A))を拡大しながら局所表示(
図10(B))に遷移させることができる。
【0112】
一方、プロセッサ10は、局所表示されている状態で、局所表示から全体表示への切り替えを受け付けると、局所表示(
図10(B))から全体表示(
図10(A))に切り替える。例えば、プロセッサ10は、マウスのホイール操作等によりズームアウトするズーム操作を受け付けると、局所表示(
図10(B))を縮小しながら全体表示(
図10(A))に遷移させることができる。
【0113】
尚、全体表示と局所表示との切り替えを行うためのユーザ操作は、マウスを使用した上記の操作方法に限定されない。例えば、操作部18としてタッチパネルを備えている場合、タッチパネルのタップ操作、ピンチイン、ピントアウト操作等により全体表示と局所表示との切り替え指示を行うことができる。
【0114】
また、プロセッサ10は、ユーザから局所表示の画面上で損傷情報の詳細の閲覧要求が入力されると(例えば、
図10(B)において、「損傷番号1」がクリックされると)、「損傷番号1」に対応する損傷に関するその他の情報(損傷形状、損傷程度、損傷進行度等)を表示させることが可能である。損傷進行度は、同じ損傷に関する過去の損傷情報がデータベース12に保存されている場合に、複数時点の損傷情報(過去の損傷情報と現在の損傷情報)の差分に基づいて、複数時点の間での損傷情報の経時変化の程度を示す情報として求めることができる。
【0115】
また、局所表示は、2次元画像である損傷画像50等に限らず、構造物の全体を示す3次元画像を拡大し、その3次元画像の一部を表示することで行うこともできる。また、3次元画像の代わりに、構造物の3次元CAD(Computer Aided Design)データ、又は3次元点群データ等の他の3次元情報に基づいて構造物の全体表示等を行うようにしてもよい。
【0116】
〔リスト表示〕
図2に示した補修設計情報生成部22により生成される補修設計情報と判断根拠生成部24により生成される判断根拠情報とは、それぞれ対応付けてリスト化することが可能である。
【0117】
図11は、補修設計情報のテキスト情報と判断根拠情報のテキスト情報とを対応付けてまとめたリストの一例を示す図である。尚、構造物の損傷の判断結果は、補修設計情報の一形態であり、部材・損傷の種類は、判断根拠情報の一形態である。
【0118】
プロセッサ10は、ユーザからのリスト表示の指示入力により、
図11に示したようなリストを出力部14に表示させることができる。
【0119】
また、プロセッサ10は、ユーザからの部材・損傷の種類、損傷の判断結果などの指示入力によりリストをソートすることができ、更に
図11に示したリスト上で、例えば、「床版 損傷番号1」がクリックされると、「床版 損傷番号1」に対応する損傷画像、損傷図、及びテキスト情報等を表示させることが可能である。
【0120】
[構造物の補修支援装置の第2実施形態]
図12は、本発明に係る構造物の補修支援装置の第2実施形態を示すブロック図である。尚、
図12において、
図2に示した構造物の補修支援装置の第1実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0121】
図12に示す第2実施形態の構造物の補修支援装置は、主として損傷情報生成部42が追加されている点で、第
1実施形態の構造物の補修支援装置と相違する。
【0122】
損傷情報生成部42は、構造物の撮影画像41を入力すると、その撮影画像41に基づいて撮影画像41に写っている構造物の損傷の種類、損傷形状、損傷程度、損傷領域、及び損傷位置等の損傷情報を生成する。
【0123】
損傷情報生成部42は、例えば、構造物の損傷が撮影された撮影画像と、その撮影画像中の損傷に関する損傷情報とのペアからなる学習データのデータセットにより機械学習が行われた学習済みモデル(第3学習モデル)で構成することができ、検査対象の構造物の撮影画像41を入力すると、撮影画像中の損傷に関する損傷情報を推論結果として出力する。尚、損傷情報生成部42は、第3学習モデルにより損傷情報を自動生成するものに限らず、損傷情報を検出する検出アルゴリズムにより自動生成するようにしてもよい。
【0124】
損傷情報生成部42により生成された損傷情報は、その損傷情報に対応する構造物情報(例えば、撮影画像41等)と関連付けてデータベース12に保存することができる。
【0125】
また、
図2に示した補修設計情報生成部22により生成される補修設計情報と、判断根拠生成部24により生成される判断根拠情報とは対応付けてデータベース12に保存してもよい。これによれば、補修設計情報生成部22及び判断根拠生成部24での再計算が不要になる利点がある。
【0126】
[構造物の補修支援方法]
図13は、本発明に係る構造物の補修支援方法の実施形態を示すフローチャートである。尚、
図13に示す各ステップの処理は、
図1に示した構造物の補修支援装置1のプロセッサ10により行われる。
【0127】
図13において、プロセッサ10は、ユーザからの選択指示によりデータベース12から所望の構造物に関する構造物情報、及びその構造物の損傷に関する損傷情報を取得する(ステップS10、損傷情報取得処理)。
【0128】
プロセッサ10は、取得した構造物情報及び損傷情報に基づいて構造物の損傷の補修に関する補修設計情報を生成する(ステップS20、補修設計情報生成処理)。
【0129】
プロセッサ10は、自動的に、又はユーザからの生成の指示により、ステップS20で生成した補修設計情報の生成に寄与した情報を、補修設計情報の判断根拠情報として生成する(ステップS30、判断根拠生成処理)。
【0130】
そして、プロセッサ10は、ステップS20で生成した補修設計情報、及びステップS30で生成した判断根拠情報を出力部14に出力して表示させる(ステップS40、表示処理)。尚、補修設計情報の表示と判断根拠情報の表示とは、同じ画面上で同時に行わせてもよいし、ユーザからの選択指示にしたがって補修設計情報又は判断根拠情報のいずれか一方の情報を表示させるようにしてもよい。
【0131】
[その他]
本実施形態において、例えば、CPU等の各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0132】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種または異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0133】
また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
【0134】
更に、本発明は、コンピュータにインストールされることにより、コンピュータを本発明に係る構造物の補修支援装置として機能させる構造物の補修支援プログラム、及びこの構造物の補修支援プログラムが記録された不揮発性の記憶媒体を含む。
【0135】
更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【0136】
1 構造物の補修支援装置
10 プロセッサ
11 メモリ
12 データベース
14 出力部
14A 判断結果提示部
14B 判断根拠提示部
16 入出力インターフェース
18 操作部
20 情報取得部
22 補修設計情報生成部
22A CNN
24 判断根拠生成部
30、50 損傷画像
32 鋼材
34、41 撮影画像
36 コンクリートひび割れ
38 中性化
39、52 ヒートマップ
42 損傷情報生成部
60、62 テキスト情報
S10-S40 ステップ