特開 2024-10860 構造物の損傷表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024010860

(43)【公開日】2024-01-25

(54)【発明の名称】構造物の損傷表示装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240118BHJP

   H04N 7/18 20060101ALI20240118BHJP

【ＦＩ】

G06T19/00 A

H04N7/18 U

H04N7/18 K

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022112410

(22)【出願日】2022-07-13

(71)【出願人】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際弁理士法人

(72)【発明者】

【氏名】杉山 俊一郎

(72)【発明者】

【氏名】吉川 覚

【テーマコード（参考）】

5B050

5C054

【Ｆターム（参考）】

5B050BA18

5B050BA20

5B050CA07

5B050DA04

5B050EA19

5B050EA28

5B050FA02

5C054CA04

5C054CC02

5C054FC12

5C054FD02

5C054FE13

5C054FE14

5C054HA05

(57)【要約】

【課題】構造物の損傷箇所を特定できるように構造物の全体画像と損傷箇所の拡大画像を表示する装置において、損傷箇所の拡大画像だけで損傷状態を診断できるようにする。
【解決手段】構造物の損傷表示装置は、構造物の３Ｄモデルを取得する３Ｄモデル受付部４と、構造物の一部を撮影した画像を正射影変換したオルソ画像を取得するオルソ画像受付部６と、対応計算部２２、対応表示部２４、損傷状態計算部２６及び損傷表示部２８とを備える。対応計算部は、３Ｄモデルとオルソ画像との対応位置を計算し、対応表示部は、その計算結果に基づき、これらの対応位置を視覚的に表す対応表示画像を表示する。損傷状態計算部は、オルソ画像を解析して構造物の損傷箇所を抽出し、損傷表示部は、オルソ画像に、損傷箇所を所定形状の枠で囲む描画線を重畳した、損傷表示画像を表示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

構造物の立体形状を表す３Ｄモデル（１２）を取得するよう構成された３Ｄモデル受付部（４）と、
前記構造物の一部を撮影した画像を正射影変換したオルソ画像（１４）を取得するよう構成されたオルソ画像受付部（６）と、
前記３Ｄモデルと前記オルソ画像との対応位置を計算するよう構成された対応計算部（２２）と、
前記対応計算部による計算結果に基づき、前記３Ｄモデルと前記オルソ画像との対応位置を視覚的に表す対応表示画像を表示するよう構成された対応表示部（２４）と、
前記オルソ画像を解析して前記構造物の損傷箇所を抽出するよう構成された損傷状態計算部（２６）と、
前記損傷状態計算部にて前記損傷箇所が抽出された前記オルソ画像に、前記損傷箇所を所定形状の枠で囲む描画線（１５）を重畳させた損傷表示画像を表示するよう構成された損傷表示部（２８）と、
を備えた、構造物の損傷表示装置。

【請求項2】

請求項１に記載の構造物の損傷表示装置であって、
前記損傷状態計算部は、
前記３Ｄモデルと前記オルソ画像とに基づき、前記オルソ画像から抽出した前記損傷箇所の位置及び損傷状態を損傷情報として計算し、記憶媒体に記憶するよう構成されている、構造物の損傷表示装置。

【請求項3】

請求項２に記載の構造物の損傷表示装置であって、
前記損傷表示部は、
前記記憶媒体に記憶された前記損傷情報に基づき、前記描画線を、前記損傷箇所の前記損傷状態を識別可能な表示形態にて、前記オルソ画像に重畳するように構成されている、構造物の損傷表示装置。

【請求項4】

請求項３に記載の構造物の損傷表示装置であって、
前記損傷状態計算部は、前記オルソ画像から損傷が確認される前記損傷箇所に加えて、損傷が予測される予測箇所を前記損傷箇所として抽出するように構成されており、
前記損傷表示部は、前記損傷箇所及び前記予測箇所の周囲を、それぞれ、表示形態の異なる前記描画線にて囲むことで、前記損傷箇所と前記予測箇所とを識別可能に表示するように構成されている、構造物の損傷表示装置。

【請求項5】

請求項１～請求項４の何れか１項に記載の構造物の損傷表示装置であって、
前記対応計算部は、
前記３Ｄモデルの画像と前記オルソ画像とを表示し、その表示画像上で対応する位置関係にある複数の対応ポイントが外部操作により入力されると、該複数の対応ポイントに基づき前記３Ｄモデルと前記オルソ画像との対応位置を計算するよう構成されている、構造物の損傷表示装置。

【請求項6】

請求項１～請求項４の何れか１項に記載の構造物の損傷表示装置であって、
前記対応表示部は、
前記３Ｄモデルの画像と、該３Ｄモデルの画像上で対応位置関係にある前記オルソ画像とを表示し、その表示画像上に、前記オルソ画像の前記３Ｄモデルの画像上での位置を表す文字若しくは図形を描画することで、前記対応表示画像を表示するように構成されている、構造物の損傷表示装置。

【請求項7】

請求項６に記載の構造物の損傷表示装置であって、
前記対応表示部は、前記対応表示画像を表示する際、前記３Ｄモデルの画像上の特定領域と対応位置関係にあり、撮影日時が異なる複数の前記オルソ画像が存在する場合には、前記撮影日時が異なる複数の前記オルソ画像を、前記撮影日時を認識可能に表示するよう構成されている、構造物の損傷表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、構造物の損傷表示装置に関する。

【背景技術】

【0002】

例えば、特許文献１には、橋梁などの構造物の点検作業を補助するために、構造物の全体画像と、構造物のひび割れなどの損傷箇所を拡大した拡大画像を表示するように構成された画像処理装置が開示されている。

【0003】

この画像処理装置においては、構造物全体を撮影した画像を正射影変換することで全体画像を取得する。そして、その全体画像と拡大画像とを照合することで、全体画像内における拡大画像の領域に関する位置関係情報を算出し、その算出した位置関係情報に基づき、全体画像における拡大画像の領域と拡大画像とを比較できるように、これら両画像を表示する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】ＷＯ２０１８／０３７６８９Ａ１

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の画像処理装置によれば、使用者は、表示された全体画像と拡大画像とを目視で確認することで、照合結果の適否を確認しつつ、構造物の損傷箇所を把握することができる。しかし、上記特許文献１では、使用者が損傷箇所を把握できるように、拡大画像の損傷箇所は、元の拡大画像に対し、色や太さを変えてトレースしたトレース線が表示され、そのトレース線にて損傷箇所が塗りつぶされて強調表示される。

【0006】

このため、使用者は、構造物の損傷箇所を見つけ易くなるものの、表示画面上で損傷状態、つまり損傷の種類や程度、を目視で診断することが難しいという問題があった。つまり、上記画像処理装置において、表示画面上で構造物の損傷状態を診断するには、トレース線が表示された拡大画像と、トレース線がない元の拡大画像とを表示させて、両画像を見比べなければならず、損傷状態の診断に手間がかかるという問題がある。

【0007】

本開示の１つの局面は、構造物の損傷箇所を特定できるように構造物の全体画像と損傷箇所の拡大画像を表示する装置において、損傷箇所の拡大画像だけで損傷状態を診断できるようにすることを目的とする。

【課題を解決するための手段】

【0008】

本開示の１つの態様による構造物の損傷表示装置は、３Ｄモデル受付部（４）と、オルソ画像受付部（６）と、対応計算部（２２）と、対応表示部（２４）と、損傷状態計算部（２６）と、損傷表示部（２８）と、を備える。

【0009】

３Ｄモデル受付部は、構造物の立体形状を表す３Ｄモデルを取得するよう構成されており、オルソ画像受付部は、構造物の一部を撮影した画像を正射影変換したオルソ画像を取得するよう構成されている。

【0010】

対応計算部は、３Ｄモデルとオルソ画像との対応位置を計算するよう構成され、対応表示部は、対応計算部による計算結果に基づき、３Ｄモデルとオルソ画像との対応位置を視覚的に表す対応表示画像を表示するよう構成されている。

【0011】

また、損傷状態計算部は、オルソ画像を解析して構造物の損傷箇所を抽出するよう構成され、損傷表示部は、損傷状態計算部にて損傷箇所が抽出されたオルソ画像に、損傷箇所を所定形状の枠で囲む描画線を重畳させた損傷表示画像を表示するよう構成されている。

【0012】

このように、本開示の損傷表示装置においては、オルソ画像に損傷箇所が存在する場合、損傷状態計算部にてその損傷箇所が抽出され、損傷表示部により、その損傷箇所が所定形状の枠である描画線で囲まれたオルソ画像が、損傷表示画像として表示される。

【0013】

このため、使用者は、損傷表示部により表示された損傷表示画像を見ることで、損傷箇所が存在することを検知し、しかも、その損傷表示画像から、損傷箇所の形状、大きさ、損傷の種別、などの損傷状態を確認することができるようになる。

【0014】

よって、本開示の損傷表示装置によれば、特許文献１に記載のようにオルソ画像上の損傷箇所をトレース線にて強調表示するようにした場合に比べて、使用者が構造物の損傷状態を診断する際の点検作業を、良好に実施することができる。

【0015】

また、オルソ画像と３Ｄモデルとの対応位置は、対応計算部にて計算されて、対応表示部にて対応表示画像として表示される。このため、使用者は、対応表示部にて表示された対応表示画像を見ることで、オルソ画像上で確認した損傷が、構造物のどの位置にあるのかを、簡単且つ正確に把握することができる。よって、使用者である点検士が構造物の点検調書を作成する際の作業を、極めて効率よく実施することができるようになる。

【図面の簡単な説明】

【0016】

【図1】実施形態の構造物の損傷表示装置全体の構成を表すブロック図である。

【図2】３Ｄモデルとオルソ画像との対応位置を表示した対応表示画像の一例を表す説明図である。

【図3】オルソ画像に損傷箇所の描画線が重畳された損傷表示画像の一例を表す説明図である。

【図4】対応計算部にて実施される対応計算処理を表すフローチャートである。

【図5】対応計算処理の実行時に表示される対応ポイント入力画面を表す説明図である。

【図6】対応表示部にて実施される対応表示画像の表示処理を表すフローチャートである。

【図7】損傷状態計算部にて実施される損傷情報生成処理を表すフローチャートである。

【図8】対応表示部により表示される対応表示画像の変形例を表す説明図である。

【発明を実施するための形態】

【0017】

以下、図面を参照しながら、本開示の実施形態を説明する。
［構成］
本実施形態の構造物の損傷表示装置２は、橋梁などの構造物の損傷状態を、使用者である点検士が容易に診断できるように、構造物の損傷箇所を表示装置３０に表示するためのものである。

【0018】

図１に示すように、本実施形態の損傷表示装置２は、３Ｄモデル受付部４、オルソ画像受付部６、データベース１０、及び、表示制御部２０、を備える。
３Ｄモデル受付部４は、点検対象となる構造物の立体的なモデルデータである３Ｄモデル１２を外部装置から取得し、データベース１０に記憶する。なお、３Ｄモデル１２としては、例えば、構造物を多視点から撮影した多数の部分画像を合成処理することにより生成されたモデルデータであってもよいし、構造物の設計時などに３ＤＣＡＤを用いて作成されたモデルデータであってもよい。

【0019】

オルソ画像受付部６は、撮影者が空撮用のドローンなどを使って撮影した構造物の部分画像を正射変換したオルソ画像１４を取得し、取得したオルソ画像１４毎に、撮影日時やカメラ位置などの撮影情報を付与して、データベース１０に記憶する。

【0020】

なお、オルソ画像受付部６は、外部の画像処理装置から入力されるオルソ画像１４をデータベース１０に記憶するように構成されていてもよい。また、カメラにて撮影された構造物の画像からオルソ画像１４を生成し、データベース１０に記憶するように構成されていてもよい。

【0021】

データベース１０は、３Ｄモデル受付部４から入力される３Ｄモデル１２や、オルソ画像受付部６から入力されるオルソ画像１４を記憶しておくためのものであり、例えば、ＳＳＤ、ＨＤＤなどの記憶媒体にて構成される。

【0022】

表示制御部２０は、ＣＰＵ、及び、ＲＯＭ、ＲＡＭなどの半導体メモりを含むコンピュータにて構成されている。そして、表示制御部２０は、ＣＰＵが半導体メモリに記憶されたプログラムを実行することにより、対応計算部２２、対応表示部２４、損傷状態計算部２６、及び、損傷表示部２８、として機能する。

【0023】

ここで、対応計算部２２は、対応入力受付部２２Ａを介して、データベース１０に記憶されたオルソ画像１４毎に、オルソ画像１４と３Ｄモデル１２とで同一位置となる対応ポイントを少なくとも３点以上取得する。そして、その取得した対応ポイントに基づき、オルソ画像１４を３Ｄモデル１２の３次元空間位置に対応させる変換データを算出し、データベース１０に記憶する。

【0024】

なお、対応入力受付部２２Ａは、使用者により操作されるマウスなどのポインティングデバイスを含み、対応計算部２２は、表示装置３０の表示画面上でポインティングデバイスを介して指定されたオルソ画像１４と３Ｄモデル１２との対応ポイントを取得する。この対応計算部２２の動作については、図４に示すフローチャートに基づき、後に詳しく説明する。

【0025】

次に、対応表示部２４は、図２に例示するように、使用者が指定した領域の３Ｄモデル１２の画像（以下、３Ｄモデル画像）１３と、３Ｄモデル画像１３内で損傷箇所が撮影されたオルソ画像１４とを、対応表示画像として表示装置３０に表示する。

【0026】

対応表示画像を表示装置３０に表示するに当たって、対応表示部２４は、対応計算部２２にて算出された変換データに基づき、３Ｄモデル画像１３内で損傷箇所が撮影されたオルソ画像１４を抽出する。

【0027】

また、対応表示部２４は、対応表示画像として、抽出したオルソ画像１４を３Ｄモデル画像１３と共に表示する際には、３Ｄモデル画像１３内での各オルソ画像１４の位置Ｒ１，Ｒ２，Ｒ３，Ｒ４を示す指示マークを表示する。なお、この対応表示部２４の動作については、図６に示すフローチャートに基づき、後に詳しく説明する。

【0028】

図２において、この指示マークは、オルソ画像１４の位置Ｒ１，Ｒ２，Ｒ３，Ｒ４とオルソ画像１４とを結ぶ線にて記載されているが、この場合、オルソ画像１４毎に線の色や太さを変えてもよい。また、オルソ画像１４とその位置とを対応付ける文字や図形を、指示マークとして表示するようにしてもよい。

【0029】

次に、損傷状態計算部２６は、データベース１０に記憶されたオルソ画像１４毎に、予め半導体メモリなどの記憶媒体に記憶された損傷検出用のＡＩモデル２６Ａを用いて画像解析することで、構造物の損傷状態を計算する。

【0030】

具体的には、損傷状態計算部２６は、ＡＩモデル２６Ａを用いて、オルソ画像１４を解析し、ひび割れ、剥離、鉄筋露出、石灰、さび、漏水、などの異常がある損傷箇所を抽出する。

【0031】

また、損傷状態計算部２６は、オルソ画像１４から損傷箇所を抽出する際、図３に例示するように、ひび割れなどの損傷が広範囲に連続している場合には、損傷の長さや大きさにて損傷を複数に分割し、分割した損傷箇所をそれぞれ１つの損傷箇所として抽出する。

【0032】

また、損傷状態計算部２６は、抽出した損傷箇所毎に、ＡＩモデル２６Ａを用いて、損傷可能性を判定する。損傷可能性の判定は、抽出した損傷箇所が実際に損傷しているか否かを判定し、損傷していない場合には、損傷箇所周囲の状況から、将来損傷する可能性（例えば、損傷確率）を算出する、といった手順で実施される。なお、損傷可能性の計算手順については、図７に示すフローチャートに基づき、後に詳しく説明する。

【0033】

そして、損傷状態計算部２６は、図１の下方に例示するように、抽出した損傷箇所毎に、損傷位置、損傷種別、及び、損傷可能性を含む損傷情報１６として、データベース１０に記憶する。なお、損傷種別は、上述したひび割れ、剥離、鉄筋露出、石灰、さび、漏水、などのことであり、損傷可能性は、現在の損傷の有・無や、将来の損傷の可能性（例えば、損傷確率）、などのことである。

【0034】

また、損傷状態計算部２６は、損傷情報１６をデータベース１０に記憶する際、オルソ画像１４の撮影日時を、損傷情報１６に付与する。このため、データベース１０には、撮影日時の異なるオルソ画像１４から得られた各種損傷情報１６が記憶されることになる。従って、使用者は、データベース１０に記憶された同一領域の損傷情報１６の時系列データから、損傷箇所の損傷状態の変化を確認することもできる。

【0035】

なお、ＡＩモデル２６Ａは、機械学習によって予め生成されたものであるが、作業者による損傷状態の診断結果に基づき逐次学習することにより、損傷状態をより正確に判定できるように更新することができる。

【0036】

次に、損傷表示部２８は、データベース１０に記憶されたオルソ画像１４の一つが使用者により選択された際に、その選択されたオルソ画像１４を、損傷表示画像として表示装置３０に表示する。

【0037】

そして、損傷表示画像として表示されたオルソ画像１４には、データベース１０に記憶された損傷情報１６の損傷位置に基づき、図３に示すように、オルソ画像１４上の損傷箇所を矩形の枠で囲む描画線１５が重畳される。

【0038】

この描画線１５は、オルソ画像１４上で損傷箇所の周囲を囲む矩形の枠、所謂バウンディングボックスである。このため、使用者は、表示装置３０に表示されたオルソ画像１４上の描画線１５から、損傷箇所を検知して、損傷箇所の損傷状態を目視で診断することができる。

【0039】

また、この描画線１５には、損傷箇所の損傷種別を表す文字若しくは記号が付与され、更に、描画線１５の色や形状が損傷種別及び損傷可能性に応じて設定される。このため、使用者は、表示装置３０に損傷表示画像として表示されたオルソ画像１４上の描画線１５から、損傷箇所の損傷状態を識別し、損傷状態計算部２６による損傷状態の診断結果を確認することができる。

【0040】

よって、使用者である点検士は、表示装置３０に表示された損傷表示画像を目視することで、損傷状態計算部２６による診断結果を参考にして、損傷箇所の損傷状態を点検することができるようになる。したがって、本実施形態の損傷表示装置２によれば、点検士が構造物の損傷箇所を点検するのに要する時間を短縮することができ、しかも、その点検精度を高めることができる。
［処理］
次に、対応計算部２２、対応表示部２４、及び、損傷状態計算部２６の動作をフローチャートを用いて説明する。なお、以下に説明するフローチャートは、これら各部の機能を実現するためにＣＰＵにて実行される制御処理、換言すればプログラム、を表す。

【0041】

まず、対応計算部２２は、図４に示すフローチャートに沿って対応計算処理を実施する。なお、この対応計算処理は、データベース１０に記憶されたオルソ画像１４毎に実施される。

【0042】

図４に示すように対応計算処理においては、まずＳ１１０にて、オルソ画像受付部６からデータベース１０に記憶されたオルソ画像１４を取得し、Ｓ１２０に移行する。
Ｓ１２０では、Ｓ１１０で取得したオルソ画像１４に付与された撮影情報と、データベース１０に記憶された３Ｄモデル１２とに基づき、オルソ画像１４を撮影したカメラ位置から見える３Ｄモデル画像１３を生成する。そして、その生成した３Ｄモデル画像１３と、オルソ画像１４とを、図５に例示するように並べて、表示装置３０に表示する。

【0043】

つまり、３Ｄモデル画像１３とオルソ画像１４とを並べて表示することで、表示画面上で、使用者が、３Ｄモデル画像１３とオルソ画像１４とで対応する位置を確認して、対応ポイントとして入力できるようにするのである。

【0044】

このように対応ポイント入力画面を表示すると、使用者は、マウスなどのポインティングデバイスを使って、その表示画面上で対応ポイントを入力する。このため、Ｓ１３０では、対応ポイントが入力されるのを待機する。

【0045】

図５において、この対応ポイントは、３Ｄモデル画像１３上で丸印で示すポイントＤ１～Ｄ８、及び、オルソ画像１４上で黒丸で示すポイントＰ１～Ｐ８、であるが、これら各ポイントＤ、Ｐの数は、使用者が入力完了とするまで、任意に設定することができる。

【0046】

但し、オルソ画像１４上のポイントＰ１～Ｐ８を、３Ｄモデル画像１３上のポイントＤ１～Ｄ８と位置合わせして、オルソ画像１４の３次元空間での位置を特定できるようにするには、各ポイントＤ、Ｐが３点以上必要である。

【0047】

このため、Ｓ１３０において、使用者による対応ポイントの入力が完了したと判定されると、続くＳ１４０にて、対応ポイントは３点以上入力されたか否かを判定する。そして、対応ポイントが３点以上入力されていなければ、Ｓ１３０に移行して、対応ポイントが入力されるのを待機し、対応ポイントが３点以上入力されていれば、Ｓ１５０に移行する。

【0048】

Ｓ１５０では、３Ｄモデル画像１３上及びオルソ画像１４上でそれぞれ入力された対応ポイント同士の距離を、各画像間で最小化する射影変換を計算する。この射影変換の計算は、オルソ画像１４の位置を３Ｄモデル１２の３次元空間内の位置に一致させる計算であり、その計算結果は、続くＳ１６０にて、オルソ画像１４に対する変換データとして記憶される。そして、Ｓ１６０にてオルソ画像１４に対する変換データが記憶されると、当該対応計算処理を終了する。

【0049】

次に、対応表示部２４は、図６に示すフローチャートに沿って対応表示画像の表示処理を実施する。
図６に示すように、この表示処理においては、まずＳ２１０にて、データベース１０に記憶された３Ｄモデル１２に基づき、構造物を所定方向からみた３Ｄモデル画像１３を表示装置３０に表示する。

【0050】

このように、表示装置３０に３Ｄモデル画像１３を表示すると、使用者は、ポインタデバイスなどを使って、表示画面上で３Ｄモデル画像１３を回転、拡大・縮小させて、損傷状態を確認したい注目領域を指定する。

【0051】

このため、続くＳ２２０では、注目領域が指定されたか否かを判定することで、注目領域が指定されるのを待機する。そして、注目領域が指定されると、Ｓ２３０に移行して、図２に示すように、注目領域の３Ｄモデル画像１３を表示装置３０に表示する。

【0052】

次に、Ｓ２４０では、データベース１０に記憶された複数のオルソ画像１４の中から、損傷状態計算部２６にて損傷箇所が検出されて損傷情報１６が生成されたオルソ画像１４を抽出し、Ｓ２５０に移行する。

【0053】

Ｓ２５０では、Ｓ２４０にて抽出されたオルソ画像１４を、図４の対応計算処理にて算出された変換データに基づき射影変換し、射影変換後のオルソ画像１４は注目領域の３Ｄモデル画像１３に含まれるか否かを判定する。

【0054】

Ｓ２５０にて、損傷情報１６が付与されたオルソ画像１４は注目領域の３Ｄモデル画像１３に含まれると判定されると、Ｓ２６０に移行して、図２に示すように、そのオルソ画像１４を表示装置３０に表示する。

【0055】

このため、表示装置３０には、図２に示すように、３Ｄモデル画像１３と損傷箇所が撮影されたオルソ画像１４とが表示されることになる。なお、Ｓ２６０にて、オルソ画像１４を表示する際には、撮影日時などの撮影情報も表示する。

【0056】

Ｓ２６０にて、オルソ画像１４を表示するか、或いは、Ｓ２５０にて、オルソ画像１４は３Ｄモデル画像１３に含まれないと判定されると、Ｓ２７０に移行し、Ｓ２４０の処理による注目領域内でのオルソ画像１４の抽出は完了したか否かを判定する。

【0057】

そして、Ｓ２７０にて、Ｓ２４０の処理による注目領域内でのオルソ画像１４の抽出は完了していないと判定されると、Ｓ２４０に移行して、注目領域内でまだ抽出されていないオルソ画像１４を抽出させて、Ｓ２５０以降の処理を実行する。また、Ｓ２７０にて、注目領域内でのオルソ画像１４の抽出は完了したと判定されると、当該表示処理を終了する。

【0058】

次に、損傷状態計算部２６は、図７に示すフローチャートに沿って損傷情報生成処理を実行する。なお、この損傷情報生成処理は、データベース１０に記憶されたオルソ画像１４毎に実施される。

【0059】

図７に示すように、損傷情報生成処理においては、まずＳ３１０にて、予め記憶されたＡＩモデル２６Ａを用いて、対象となるオルソ画像１４をＡＩ解析し、ひび割れ、剥離、鉄筋露出、石灰、さび、漏水、などの異常がある損傷箇所を抽出する。

【0060】

なお、Ｓ３１０にて、オルソ画像１４から損傷箇所を抽出する際、ひび割れなどの損傷が広範囲に連続している場合には、図３に示したように、損傷の長さや大きさにて損傷を複数に分割し、その分割した損傷毎に、オルソ画像１４上での損傷位置を算出する。

【0061】

次に、Ｓ３２０では、Ｓ３１０にて抽出した損傷箇所付近の路面上に凹みなどの損傷があるか否かを判定する。Ｓ３２０にて、路面上に凹みなどの損傷があると判定すると、Ｓ３３０に移行して、路面の凹みなどから水が入り、Ｓ３１０にて抽出した損傷箇所が損傷している（例えば、損傷確率１００％）と判定し、Ｓ４００に移行する。

【0062】

また、Ｓ３２０にて、否定判定されると、Ｓ３４０に移行して、Ｓ３１０にて抽出した損傷箇所付近に構造物の切れ目があるか否かを判定する。Ｓ３４０にて、構造物の切れ目があると判定すると、Ｓ３５０に移行して、構造物の切れ目から水が入り、Ｓ３１０にて抽出した損傷箇所が損傷している（例えば、損傷確率１００％）と判定し、Ｓ４００に移行する。

【0063】

なお、Ｓ３２０、Ｓ３４０にて、路面上の凹みや構造物の切れ目の有無を判定する際には、現在対象となっているオルソ画像１４とは異なる他のオルソ画像１４をＡＩ解析することにより得られた損傷箇所が利用される。

【0064】

次に、Ｓ３４０にて、構造物の切れ目はないと判定されると、Ｓ３６０に移行し、Ｓ３１０にて抽出した損傷箇所は、時系列的に変化しているか否かを判定する。つまり、今回抽出した損傷箇所は、過去に撮影したオルソ画像１４の損傷箇所から大きくなっているか否かを判定する。

【0065】

そして、Ｓ３６０にて、損傷箇所は時系列的に変化していると判定されると、Ｓ３８０に移行して、損傷箇所の大きさの変化率若しくは変化速度に基づき、損傷の可能性（例えば、損傷確率）を予測し、Ｓ４００に移行する。

【0066】

また、Ｓ３６０にて、損傷箇所は時系列的に変化していないと判定されると、Ｓ３７０に移行して、損傷箇所付近の路面上の凹凸は時系列的に変化しているか否かを判定する。
Ｓ３７０にて、損傷箇所付近の路面上の凹凸は時系列的に変化していると判定されると、Ｓ３８０に移行して、その凹凸の大きさの変化率若しくは変化速度に基づき、損傷の可能性（例えば、損傷確率）を予測し、Ｓ４００に移行する。

【0067】

また、Ｓ３７０にて、損傷箇所付近の路面上の凹凸は時系列的に変化していないと判定されると、Ｓ３９０に移行して、Ｓ３１０にて抽出した損傷箇所は、現在、損傷の可能性はない（例えば、損傷確率０％）と予測し、Ｓ４００に移行する。

【0068】

Ｓ４００では、Ｓ３１０にて抽出した損傷箇所の損傷位置、損傷種別、損傷箇所を撮影した撮影日時、及び、Ｓ３００，Ｓ３５０，Ｓ３８０，Ｓ３９０での損傷可能性の判定結果を、図１に示す損傷情報１６としてデータベース１０に記憶し、Ｓ４１０に移行する。

【0069】

Ｓ４１０では、Ｓ３１０にて抽出した、オルソ画像１４上の全ての損傷箇所に対し、Ｓ３２０以降の判定処理を実行したか否か、つまり、全ての損傷箇所に対する損傷可能性の判定を終了したか否か、を判定する。

【0070】

そして、Ｓ４１０にて、全て損傷箇所に対する損傷可能性の判定は終了していないと判定されると、Ｓ３２０に移行し、上述したＳ３２０以降の処理によって、損傷可能性の判定が終了していない損傷箇所に対する判定処理を実行する。また、Ｓ４１０にて、全て損傷箇所に対する損傷可能性の判定は終了したと判定されると、当該損傷情報生成処理を終了する。

【0071】

このように、オルソ画像１４毎に生成された損傷情報１６は、損傷表示部２８が、対応するオルソ画像１４を表示装置３０に表示する際に、図３に示したように、オルソ画像１４内の損傷箇所の周囲を囲む描画線１５を重畳するのに利用される。

【0072】

つまり、損傷情報１６のうち、損傷位置は、損傷表示部２８が描画線１５を構成する矩形の枠の大きさを規定するのに使用され、損傷種別や損傷可能性は、損傷表示部２８が描画線１５の色、太さ、線種、などの表示形態を規定するのに利用される。

【0073】

なお、図３において、実線で記載された描画線１５は、オルソ画像１４内で現在損傷が発生している領域を表し、点線で記載された描画線１５は、損傷確率は１００％未満で、現在損傷していないものの、将来損傷する可能性がある領域を表している。
［効果］
以上説明したように、本実施形態の損傷表示装置２においては、例えば、表示装置３０に、図２に例示した対応表示画像が表示されているときに、使用者によりオルソ画像１４の１つが選択されると、損傷表示部２８が、そのオルソ画像１４を拡大表示させる。

【0074】

そして、損傷表示部２８は、上述した損傷情報生成処理にて生成された損傷情報１６の損傷位置に基づき、図３に例示するように、その拡大表示されたオルソ画像１４上に、損傷箇所を囲むように矩形形状の描画線１５を表示する。

【0075】

また、損傷箇所を示す描画線１５は、損傷情報１６の損傷種別及び損傷可能性に応じて、色や太さ、線種などの表示形態が設定され、更に描画線１５には、損傷箇所の損傷種別を表す文字若しくは記号が付与される。なお、損傷種別を表す文字若しくは記号は、例えば、図３において、描画線１５の左上の黒く塗りつぶした部分に表示される。

【0076】

このため、使用者は、表示装置３０に表示されたオルソ画像１４上に表示された描画線１５から、損傷箇所を検知して、その損傷状態を目視で診断することができる。よって、本実施形態の損傷表示装置２によれば、使用者による損傷状態の診断を補助することができ、使用者は、損傷箇所の点検を短時間に精度よく実施することができるようになる。

【0077】

また、特に、本実施形態では、実際に損傷している損傷箇所だけでなく、将来損傷する可能性のある損傷箇所、つまり予測箇所、についても、描画線１５が表示される。このため、使用者は、その描画線１５の表示形態から、損傷表示装置２側で将来損傷する可能性があると予測された予測箇所を確認し、その予測箇所を含めて、損傷状態の診断を実施することができる。

【0078】

したがって、本実施形態の損傷表示装置２によれば、使用者による損傷箇所の診断精度を、より高めることができ、使用者にとって、極めて使い勝手のよい損傷表示装置２を提供することができる。

【0079】

また、使用者は、損傷表示装置２による損傷状態の診断結果を確認して、診断結果が間違っている場合に、その誤りを入力することで、損傷表示装置２が損傷状態の診断に用いたＡＩモデル２６Ａを、より最適なものとなるように適宜更新させることもできる。

【0080】

また、使用者が損傷していると診断した損傷箇所が構造物のどこに発生しているのかは、使用者が、損傷箇所の診断に用いたオルソ画像１４と３Ｄモデル画像１３との対応表示画像を確認することで、極めて簡単に識別することができる。

【0081】

また、本実施形態では、対応表示画像を表示させるに当たって、オルソ画像１４と３Ｄモデル１２との対応位置は、使用者が図５に示した対応ポイント入力画面上でオルソ画像１４と３Ｄモデル画像１３との対応ポイントを入力することで自動計算される。

【0082】

このため、例えば、構造物を撮影した多数の撮影画像を用いて３Ｄモデル１２を生成することで、各撮影画像を正射変換したオルソ画像１４と３Ｄモデル１２との対応位置を予め設定しておく必要がない。

【0083】

つまり、３Ｄモデル１２とオルソ画像１４との対応位置関係を明確にするために、例えば、特開２０２０－１６０９４４に記載のように、３Ｄモデル１２を多数の撮影画像を用いて生成し、その撮影画像をオルソ画像１４として利用することが考えられる。
しかし、このようにすると、最新の撮影画像から生成したオルソ画像１４を用いて損傷箇所を診断し、その損傷箇所と３Ｄモデル１２との対応位置を表示できるようにするには、オルソ画像１４を更新する度に、３Ｄモデル１２を生成し直す必要がある。

【0084】

また、この場合、診断に用いるオルソ画像１４には、最新の撮影画像から生成したオルソ画像１４を用いる必要があり、それ以前に取得したオルソ画像１４を用いて損傷箇所の診断するようにすると、損傷箇所と３Ｄモデル１２との対応位置は不明確になる。

【0085】

これに対し、本実施形態では、対応計算部２２にて、３Ｄモデル１２と、損傷状態の診断に用いるオルソ画像１４との対応位置を計算するようにされているので、３Ｄモデル１２として、オルソ画像１４とは直接関係のないモデルデータを利用することができる。

【0086】

つまり、３Ｄモデル１２として、設計時に作成されたモデルデータや、損傷状態の診断に用いるオルソ画像１４とは異なる撮影画像を用いて生成されたモデルデータを利用することができる。よって、本実施形態によれば、構造物の損傷箇所の表示に用いるオルソ画像１４及び３Ｄモデル１２の自由度を高めることができる。

【0087】

［他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

【0088】

例えば、上記実施形態では、対応表示部２４にて表示される対応表示画像は、３Ｄモデル画像１３と、３Ｄモデル画像１３上の領域で損傷箇所が撮影されたオルソ画像１４であるものとして説明した。しかし、３Ｄモデル画像１３と共に表示するオルソ画像１４は、損傷箇所が撮影されておらず、損傷情報１６のないオルソ画像１４が含まれていてもよい。

【0089】

また、対応表示部２４が３Ｄモデル画像１３と共に表示するオルソ画像１４は、データベース１０に記憶されたものに限定されず、例えば、撮影日時などを指定することで、過去に撮影された撮影画像から生成されたオルソ画像１４が表示されるようにしてもよい。

【0090】

また、３Ｄモデル画像１３上の特定領域を異なる日時に撮影した複数のオルソ画像１４がデータベース１０に記憶されている場合、図８に示すように、その複数のオルソ画像１４-1，１４-2，１４-3が、撮影日時の順に並べて表示されるようにしてもよい。

【0091】

このようにすれば、使用者は、対応表示画像の表示画面上で、損傷箇所の経時的変化を確認して、その損傷箇所の損傷状態を、将来の損傷可能性を含めて、より正確に診断することができるようになる。なお、この場合、３Ｄモデル画像１３上の特定領域を異なる日時に撮影した複数のオルソ画像は、必ずしも、撮影日時の順に並べて表示する必要はなく、各オルソ画像の撮影日時を使用者が認識可能となるよう表示すればよい。

【0092】

次に、上記実施形態では、コンピュータにて構成される表示制御部２０がプログラムを実行することにより、対応計算部２２、対応表示部２４、損傷状態計算部２６、損傷表示部２８として機能するものとして説明した。しかし、これら各部の機能は、複数のコンピュータ若しくはハードウェア論理回路によって構成される複数のプロセッサにより実現されてもよい。

【0093】

また、３Ｄモデル受付部４、オルソ画像受付部６、及び、表示制御部２０は、データベース１０を中心とするネットワークを構築し、そのネットワークを介して、データベース１０にアクセスするように構成されていてもよい。また、この場合、データベース１０は、３Ｄモデル１２、オルソ画像１４、損傷情報１６がそれぞれ格納される複数の記憶装置にて構成されていてもよい。

【0094】

また、上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

【0095】

また、本開示は、構造物の損傷表示装置の他、当該損傷表示装置を構成要素とするシステム、損傷表示装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリなどの非遷移的実態的記憶媒体、構造物の損傷表示方法など、種々の形態で実現することもできる。

【符号の説明】

【0096】

４…３Ｄモデル受付部、６…オルソ画像受付部、１２…３Ｄモデル、１４…オルソ画像、１５…描画線、１６…損傷情報、２０…表示制御部、２２…対応計算部、２４…対応表示部、２６…損傷状態計算部、２８…損傷表示部、３０…表示装置、

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】