特許 7101400 診断装置、診断方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-07

(45)【発行日】2022-07-19

(54)【発明の名称】診断装置、診断方法、及びプログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20220708BHJP

【ＦＩ】

G01N21/88 Z

【請求項の数】 7

(21)【出願番号】P 2018101046

(22)【出願日】2018-05-25

(65)【公開番号】P2019203865

(43)【公開日】2019-11-28

【審査請求日】2021-02-22

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２９年度、国立研究開発法人科学技術振興機構、戦略的イノベーション創造プログラム事業「材料分野でのメンテナンスマネジメント（ＡＳＲ）／構造分野でのメンテナンスマネジメント（モニタリング）／構造分野でのメンテナンスマネジメント（床版診断・補修・更新）／構造分野でのメンテナンスマネジメント（補修工法）／北陸３県インフラ全体のアセットマネジメント（石川県橋梁維持管理計画実装）／北陸３県インフラ全体のアセットマネジメント（早期劣化対応型の市町橋梁維持管理計画実装）／全体統括および地域実装支援」委託研究、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】504160781

【氏名又は名称】国立大学法人金沢大学

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100192773

【弁理士】

【氏名又は名称】土屋 亮

(72)【発明者】

【氏名】藤生 慎

【審査官】小野寺 麻美子

(56)【参考文献】

【文献】特開２０１６－１４２６０１（ＪＰ，Ａ）

【文献】特開平０９－１６１０６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｔ １／００ － Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ３／００ － Ｇ０６Ｔ ９／４０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

対象物を撮影した撮影画像の画像領域のうちの少なくとも一部を複数の領域に分割するメッシュを設定するとともに、設定したメッシュの位置を第１の方向と前記第１の方向に直行する第２の方向とのそれぞれへメッシュの間隔より狭い距離で移動させる領域設定部と、
前記領域設定部により設定された第１のメッシュで分割された複数の領域ごとに前記撮影画像から前記対象物に生じたひびわれの有無を診断するとともに、前記第１の方向へ移動後の第２のメッシュと前記第２の方向へ移動後の第３のメッシュとのそれぞれで分割された複数の領域ごとに前記撮影画像から前記ひびわれの有無をそれぞれ診断する診断部と、
を備え、
前記診断部は、
前記第１のメッシュで分割された複数の領域ごとの前記ひびわれの有無の診断結果と前記第２のメッシュで分割された複数の領域ごとの前記ひびわれの有無の診断結果と前記第３のメッシュで分割された複数の領域ごとの前記ひびわれの有無の診断結果とに基づいて、前記ひびわれの有無の診断と前記ひびわれの位置の特定を行う、
診断装置。

【請求項2】

前記診断部は、
前記第１のメッシュで分割された複数の領域のうちの第１領域と、前記第２のメッシュで分割された複数の領域のうち移動前の前記第１領域の移動後の第２領域と、前記第３のメッシュで分割された複数の領域のうち移動前の前記第１領域の移動後の第３領域とが重なる領域の前記ひびわれの有無を、前記第１領域、前記第２領域、及び前記第３領域のそれぞれの前記ひびわれの有無の診断結果に基づいて診断する、
請求項１に記載の診断装置。

【請求項3】

前記第１の方向は、横方向または縦方向である、
請求項１または請求項２に記載の診断装置。

【請求項4】

前記領域設定部が前記メッシュを移動させる距離は、前記メッシュの間隔の半分に相当する距離である、
請求項１から請求項３のいずれか一項に記載の診断装置。

【請求項5】

前記診断部は、
前記ひびわれが含まれる複数の画像を少なくとも教示データとして学習する学習部を備え、
前記学習部による学習結果に基づく学習済みモデルに基づいて、前記メッシュで分割された領域ごとに前記撮影画像から前記ひびわれの有無を診断する、
請求項１から請求項４のいずれか一項に記載の診断装置。

【請求項6】

診断装置における診断方法であって、
領域設定部が、対象物を撮影した撮影画像の画像領域のうちの少なくとも一部を複数の領域に分割する第１のメッシュを設定するステップと、
診断部が、前記領域設定部により設定された前記第１のメッシュで分割された複数の領域ごとに前記撮影画像から前記対象物に生じたひびわれの有無を診断するステップと、
前記領域設定部が、前記設定した前記第１のメッシュの位置を第１の方向と前記第１の方向に直行する第２の方向とのそれぞれへ前記第１のメッシュの間隔より狭い距離で移動させるステップと、
前記診断部が、前記第１の方向へ移動後の第２のメッシュと前記第２の方向へ移動後の第３のメッシュとのそれぞれで分割された複数の領域ごとに前記撮影画像から前記ひびわれの有無をそれぞれ診断するステップと、
前記診断部が、前記第１のメッシュで分割された複数の領域ごとの前記ひびわれの有無の診断結果と前記第２のメッシュで分割された複数の領域ごとの前記ひびわれの有無の診断結果と前記第３のメッシュで分割された複数の領域ごとの前記ひびわれの有無の診断結果とに基づいて、前記ひびわれの有無の診断と前記ひびわれの位置の特定を行うステップと、
を有する診断方法。

【請求項7】

コンピュータに、
対象物を撮影した撮影画像の画像領域のうちの少なくとも一部を複数の領域に分割する第１のメッシュを設定するステップと、
前記設定された前記第１のメッシュで分割された複数の領域ごとに前記撮影画像から前記対象物に生じたひびわれの有無を診断するステップと、
前記設定された前記第１のメッシュの位置を第１の方向と前記第１の方向に直行する第２の方向とのそれぞれへ前記第１のメッシュの間隔より狭い距離で移動させるステップと、
前記第１の方向へ移動後の第２のメッシュと前記第２の方向へ移動後の第３のメッシュとのそれぞれで分割された複数の領域ごとに前記撮影画像から前記ひびわれの有無をそれぞれ診断するステップと、
前記第１のメッシュで分割された複数の領域ごとの前記ひびわれの有無の診断結果と前記第２のメッシュで分割された複数の領域ごとの前記ひびわれの有無の診断結果と前記第３のメッシュで分割された複数の領域ごとの前記ひびわれの有無の診断結果とに基づいて、前記ひびわれの有無の診断と前記ひびわれの位置の特定を行うステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、診断装置、診断方法、及びプログラムに関する。

【背景技術】

【0002】

コンクリート構造物を撮影した画像からコンクリート構造物の表面に生じたひびわれを検出する技術が開示されている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１０２３８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、撮影した画像をメッシュで区切り、区切られた各領域に対してひびわれの有無をＡＩ（人工知能）を用いて判定する場合、メッシュで区切られた領域内の隅の方にひびわれが存在すると、そのひびわれの有無を適切に判定できない可能性があった。

【0005】

本発明は、上記した事情に鑑みてなされたもので、対象物の表面に生じたひびわれの有無を精度よく診断できる診断装置、診断方法、及びプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、対象物を撮影した撮影画像の画像領域のうちの少なくとも一部を複数の領域に分割するメッシュを設定するとともに、設定したメッシュの位置を第１の方向と前記第１の方向に直行する第２の方向とのそれぞれへメッシュの間隔より狭い距離で移動させる領域設定部と、前記領域設定部により設定された第１のメッシュで分割された複数の領域ごとに前記撮影画像から前記対象物に生じたひびわれの有無を診断するとともに、前記第１の方向へ移動後の第２のメッシュと前記第２の方向へ移動後の第３のメッシュとのそれぞれで分割された複数の領域ごとに前記撮影画像から前記ひびわれの有無をそれぞれ診断する診断部と、を備え、前記診断部は、前記第１のメッシュで分割された複数の領域ごとの前記ひびわれの有無の診断結果と前記第２のメッシュで分割された複数の領域ごとの前記ひびわれの有無の診断結果と前記第３のメッシュで分割された複数の領域ごとの前記ひびわれの有無の診断結果とに基づいて、前記ひびわれの有無の診断と前記ひびわれの位置の特定を行う、診断装置である。

【0007】

また、本発明の他の態様は、診断装置における診断方法であって、領域設定部が、対象物を撮影した撮影画像の画像領域のうちの少なくとも一部を複数の領域に分割する第１のメッシュを設定するステップと、診断部が、前記領域設定部により設定された前記第１のメッシュで分割された複数の領域ごとに前記撮影画像から前記対象物に生じたひびわれの有無を診断するステップと、前記領域設定部が、前記設定した前記第１のメッシュの位置を第１の方向と前記第１の方向に直行する第２の方向とのそれぞれへ前記第１のメッシュの間隔より狭い距離で移動させるステップと、前記診断部が、前記第１の方向へ移動後の第２のメッシュと前記第２の方向へ移動後の第３のメッシュとのそれぞれで分割された複数の領域ごとに前記撮影画像から前記ひびわれの有無をそれぞれ診断するステップと、前記診断部が、前記第１のメッシュで分割された複数の領域ごとの前記ひびわれの有無の診断結果と前記第２のメッシュで分割された複数の領域ごとの前記ひびわれの有無の診断結果と前記第３のメッシュで分割された複数の領域ごとの前記ひびわれの有無の診断結果とに基づいて、前記ひびわれの有無の診断と前記ひびわれの位置の特定を行うステップと、を有する診断方法である。

【0008】

また、本発明の他の態様は、コンピュータに、対象物を撮影した撮影画像の画像領域のうちの少なくとも一部を複数の領域に分割する第１のメッシュを設定するステップと、前記設定された前記第１のメッシュで分割された複数の領域ごとに前記撮影画像から前記対象物に生じたひびわれの有無を診断するステップと、前記設定された前記第１のメッシュの位置を第１の方向と前記第１の方向に直行する第２の方向とのそれぞれへ前記第１のメッシュの間隔より狭い距離で移動させるステップと、前記第１の方向へ移動後の第２のメッシュと前記第２の方向へ移動後の第３のメッシュとのそれぞれで分割された複数の領域ごとに前記撮影画像から前記ひびわれの有無をそれぞれ診断するステップと、前記第１のメッシュで分割された複数の領域ごとの前記ひびわれの有無の診断結果と前記第２のメッシュで分割された複数の領域ごとの前記ひびわれの有無の診断結果と前記第３のメッシュで分割された複数の領域ごとの前記ひびわれの有無の診断結果とに基づいて、前記ひびわれの有無の診断と前記ひびわれの位置の特定を行うステップと、を実行させるためのプログラムである。

【発明の効果】

【0009】

本発明によれば、対象物の表面に生じたひびわれを精度よく診断できる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る診断装置１０の一例を示すブロック図。

【図2】実施形態に係るメッシュの設定例を示す図。

【図3】メッシュを横方向へ移動させたときのひびわれの位置の変化を説明する図。

【図4】メッシュを横方向へ移動後に診断精度が向上した実例の第１例を示す図。

【図5】メッシュを横方向へ移動後に診断精度が向上した実例の第２例を示す図。

【図6】メッシュを横方向へ移動後に診断精度が向上した実例の第３例を示す図。

【図7】メッシュを横方向へ移動後に診断精度が向上した実例の第４例を示す図。

【図8】メッシュを横方向へ移動後に診断精度が向上した実例の第５例を示す図。

【図9】メッシュを縦方向へ移動させたときのひびわれの位置の変化を説明する図。

【図10】メッシュを縦方向へ移動後に診断精度が向上した実例の第１例を示す図。

【図11】メッシュを縦方向へ移動後に診断精度が向上した実例の第２例を示す図。

【図12】メッシュを縦方向へ移動後に診断精度が向上した実例の第３例を示す図。

【図13】メッシュを縦方向へ移動後に診断精度が向上した実例の第４例を示す図。

【図14】メッシュを縦方向へ移動後に診断精度が向上した実例の第５例を示す図。

【図15】実施形態に係る診断処理の一例を示すフローチャート。

【図16】実施形態に係る診断結果の提供例の第１例を示す図。

【図17】実施形態に係る診断結果の提供例の第２例を示す図。

【図18】実施形態に係る診断結果の提供例の第３例を示す図。

【図19】３種類のメッシュを組み合わせた診断結果の生成方法を説明する図。

【図20】３種類のメッシュを組み合わせたときの診断結果の提供例を示す図。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら本発明の実施形態について説明する。

【0012】

まず、本実施形態の概要について説明する。
近年、橋梁などに生じたひびわれなどを実際の現場で点検する近接目視点検の代替手段として、超高解像度カメラを用いた画像診断の検証が行われている。例えば、超高解像度カメラで撮影された１億画素の画像を用いることで、人が行う近接目視点検とほぼ同等の点検環境を構築する。特に、人が近づきにくく近接目視点検が困難な場所については、カメラを搭載したＵＡＶ（Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）を利用することで点検対象の撮影画像を容易に得られるようになるため、撮影画像を用いた診断が有効である。また、点検の経験者（検査員）の人材も不足しているため、撮影画像に対してＡＩ（人工知能）を用いて画像診断を行う方法がある。この場合、例えば、撮影画像をメッシュで分割し、分割された領域ごとにひびわれの有無をＡＩ（人工知能）を用いて診断する方法が考えられる。しかしながら、メッシュで分割された領域内の隅の方にひびわれが存在する場合、ひびわれの有無を適切に判定できない可能性がある。そこで、本実施形態に係る診断装置では、対象物に生じたひびわれの有無を診断する際に、メッシュを移動させることにより診断精度を向上させるように構成した。

【0013】

（診断装置の構成）
以下、本実施形態に係る診断装置の構成について詳しく説明する。ここでは「ひびわれ」とは、対象物の表面に生じた亀裂（クラック）、キズ、窪みなどに類するものを総称している。また、対象物とは、点検対象となる物体であり、例えば、橋梁や建物などのようなコンクリート構造物である。なお、対象物は、コンクリート構造物に限定されるものではなく、ひびわれが生じるものであればどのような物体であってもよい。

【0014】

図１は、本実施形態に係る診断装置１０の一例を示すブロック図である。診断装置１０は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１５０と、制御部１７０とを備えている。

【0015】

通信部１１０は、セルラー網やＷｉ－Ｆｉ網等を用いてインターネットに接続するためのハードウェア（例えば、アンテナおよび送受信装置）などを有していてもよい。また、通信部１１０は、外部記憶媒体と接続されるコネクタであってもよく、ケーブルを介して撮像装置等の外部装置と接続されるコネクタであってもよい。

【0016】

入力部１２０は、各種キー、ボタン、ダイヤルスイッチ、マウスなどのうち一部または全部を含む。また、入力部１２０は、例えば、表示部１３０と一体として形成されるタッチパネルであってもよい。

【0017】

表示部１３０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）などのディスプレイを含んで構成される。

【0018】

記憶部１５０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などのフラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などである。例えば、記憶部１５０には、撮影画像データ１５１と、教示データ１５２、学習済みモデル１５３などの情報が格納される。

【0019】

撮影画像データ１５１は、点検の対象となる対象物（例えば、橋梁などのコンクリート構造物）を撮影した撮影画像のデータである。

【0020】

教示データ１５２は、撮影画像からひびわれの有無を診断する際に用いるＡＩの学習済みモデルを生成するための教示データである。例えば、ひびわれが含まれる画像データが教示データ１５２として格納されている。ひびわれが含まれる画像データとは、例えば、実際にひびわれが生じている任意の対象物（例えば、橋脚などのコンクリート構造物）が撮影された画像データである。また、ひびわれが含まれない画像データが、さらに教示データ１５２として格納されてもよい。これらの画像データは、過去において、人（例えば、点検経験者）によりひびわれの有無が識別された画像データであってもよいし、この診断装置１０によりひびわれの有無が診断された画像データであってもよいし、他の診断装置によりひびわれの有無が診断された画像データであってもよい。また、その他に撮影画像に含まれる可能性がある物体（草など）が含まれる画像データが、さらに教示データ１５２として格納されてもよい。その他に撮影画像に含まれる可能性がある物体（草など）が含まれる画像データを教示データに含めることにより、ひびわれと間違えて誤診断されてしまうことを抑制できる。例えば、ひびわれが含まれる画像データ、ひびわれが含まれない画像データ、及び草などが含まれる画像データがそれぞれ複数、教示データ１５２として格納されている。

【0021】

学習済みモデル１５３は、以下に説明する学習部１７２が上述した教示データ１５２に基づいて生成する学習済みモデルが格納される。

【0022】

制御部１７０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される機能構成として、取得部１７１と、学習部１７２と、領域設定部１７３と、診断部１７４と、結果提供部１７５とを備えている。

【0023】

取得部１７１は、通信部１１０を介して撮影画像を取得し、撮影画像データ１５１として記憶部１５０に格納する。撮影画像とは、点検の対象となる対象物（例えば、橋梁などのコンクリート構造物）を撮影した撮影画像である。例えば、ＵＡＶを利用して撮影した対象物の撮影画像や、人が撮影した対象物の撮影画像である。

【0024】

学習部１７２は、教示データ１５２に基づいて、ひびわれの有無を診断するためのＡＩの学習済みモデル１５３を生成する。例えば、学習部１７２は、ひびわれが含まれる複数の画像データ、ひびわれが含まれない画像データ、草などが含まれる画像データなどのいずれか又はすべてを教示データとして機械学習を行い、ひびわれの有無を判定するための学習済みモデル１５３を学習結果として生成する。

【0025】

領域設定部１７３は、対象物を撮影した撮影画像の画像領域のうちの少なくとも一部を複数の領域に分割するメッシュを設定する。図２は、本実施形態に係るメッシュの設定例を示す図である。図示する例では、点検を行う対象物がコンクリート構造の橋脚の表面であり、対象物を撮影した撮影画像に対して縦６×横１９の長方形の領域に分割するメッシュＭが設定されている。このメッシュＭの範囲に対して分割された領域ごとにひびわれの有無の診断が行われる。なお、分割数、分割された領域の形状、メッシュの設定範囲などは一例であって、図示する例に限られるものではない。

【0026】

また、領域設定部１７３は、設定したメッシュの位置を移動させる。例えば、領域設定部１７３は、横方向又は縦方向へメッシュの間隔より狭い距離で移動させる。横方向とは、図２に示す縦６×横１９のメッシュＭの横のライン（長手方向のライン）に平行な方向（図２において左右方向）である。縦方向とは、横方向に直行する方向であり、図２に示す縦６×横１９のメッシュＭの縦のライン（短手方向のライン）に平行な方向（図２において上下方向）である。

【0027】

例えば、領域設定部１７３は、設定したメッシュの位置を、横方向（左又は右方向）へメッシュの間隔より狭い距離で移動させてもよい。また、領域設定部１７３は、設定したメッシュの位置を、縦方向（上又は下方向）へメッシュの間隔より狭い距離で移動させてもよい。また、領域設定部１７３は、設定したメッシュの位置を、横方向（左又は右方向）及び縦方向（上又は下方向）のそれぞれへメッシュの間隔より狭い距離で移動させてもよい。ここで、移動させる距離は、例えばメッシュの間隔の半分に相当する距離である。

【0028】

診断部１７４は、ＡＩの学習済みモデル１５３を用いて、領域設定部１７３がメッシュを設定した撮影画像からひびわれの有無を診断する。まず、診断部１７４は、領域設定部１７３により設定されたメッシュで分割された複数の領域ごとに、撮影画像からひびわれの有無を診断する。さらに、診断部１７４は、移動後のメッシュで分割された複数の領域ごとに、撮影画像からひびわれの有無を診断する。例えば、診断部１７４は、最初に設定されたメッシュで分割された領域ごとに診断を行った後に、さらに横方向（左又は右方向）又は縦方向（上又は下方向）へメッシュの間隔の半分に相当する距離を移動した移動後のメッシュで分割された領域ごとに診断を行う。これにより、最初に設定されたメッシュで分割された領域内の隅の方に存在するひびわれが移動後のメッシュで分割された領域内では中央の方へ移動するため、ひびわれの有無を精度よく診断できるようになる。

【0029】

結果提供部１７５は、表示部１３０を用いて、診断部１７４による診断結果等を利用者に提供する。例えば、結果提供部１７５は、撮影画像のメッシュで分割された複数の領域ごとに、ひびわれを含む確率に基づく情報を表示部１３０に表示させる。ひびわれを含む確率に基づく情報は、確率の値であってもよいし、確率に対応する記号、色、明暗などであってもよい。

【0030】

（診断精度が向上した実例）
次に、図３～１４を参照して、実際にメッシュの移動により診断精度が向上した実例を説明する。まず、図３～８を参照して、横（左右）方向へメッシュを移動させたときに診断精度が向上した例を説明する。図３は、メッシュを横方向へ移動させたときのひびわれの位置の変化を説明する図である。ここでは、最初に設定したメッシュを横方向へメッシュの間隔の半分に相当する距離を移動させたときの例を示している。メッシュＭ１ａは、最初に設定されたメッシュで分割された領域のうちの一つの領域内の画像を示している。メッシュＭ１ｂは、メッシュＭ１ａを横方向へメッシュの間隔の半分の距離を移動させたときの領域内の画像を示している。メッシュＭ１ａ内の右端に存在するひびわれＣＲ１は、移動後のメッシュＭ１ｂ内では中央付近へ相対的に移動する。これにより、ひびわれの診断精度が向上する。なお、図に示す矢印は右方向へメッシュの間隔の半分の距離を移動させることを示しているが、左方向への移動の場合でもメッシュＭ１ａの右隣の領域がメッシュＭ１ｂの領域と同じ位置へ移動するため、同様に診断精度が向上する。

【0031】

図４～８は、図３に示すメッシュを横（左右）方向へ移動させたときに移動前より移動後に診断精度が向上した実例を示している。メッシュを横（左右）方向へ移動させる場合、主に縦方向に長いひびわれに対する診断精度の向上に効果的である。ここでは、診断部１７４がＡＩの学習済みモデル１５３を用いて診断結果として、「ひびわれを含む確率」を示している。ひびわれを含む確率とは、メッシュで分割された各領域内の画像がひびわれを含む確からしさの指標であり、最小値が０％、最大値が１００％である。

【0032】

図４に示す例では、最初に設定されたメッシュＭ２ａ内では左端の方にひびわれＣＲ２が存在するが、横方向へメッシュを移動することにより移動後のメッシュＭ２ｂ内では中央付近にひびわれＣＲ２が相対的に移動している。最初に設定されたメッシュＭ２ａに対する診断結果では、メッシュＭ２ａ内の画像がひびわれを含む確率が６１％と診断された。これに対し、移動後のメッシュＭ２ｂに対する診断結果では、メッシュＭ２ｂ内の画像がひびわれを含む確率が９９．７％と診断された。つまり、メッシュの移動後の診断結果では３８．７ポイント診断精度が向上した。

【0033】

図５に示す例では、最初に設定されたメッシュＭ３ａ内では右端の方にひびわれＣＲ３が存在するが、横方向へメッシュを移動することにより移動後のメッシュＭ３ｂ内では中央付近にひびわれＣＲ３が相対的に移動している。最初に設定されたメッシュＭ３ａに対する診断結果では、メッシュＭ３ａ内の画像がひびわれを含む確率が２．９％と診断された。これに対し、移動後のメッシュＭ３ｂに対する診断結果では、メッシュＭ３ｂ内の画像がひびわれを含む確率が９９．５％と診断された。つまり、メッシュの移動後の診断結果では９６．６ポイント診断精度が向上した。

【0034】

図６に示す例では、最初に設定されたメッシュＭ４ａ内では右端の方にひびわれＣＲ４が存在するが、横方向へメッシュを移動することにより移動後のメッシュＭ４ｂ内では中央付近にひびわれＣＲ４が相対的に移動している。最初に設定されたメッシュＭ４ａに対する診断結果では、メッシュＭ４ａ内の画像がひびわれを含む確率が１１．２％と診断された。これに対し、移動後のメッシュＭ４ｂに対する診断結果では、メッシュＭ４ｂ内の画像がひびわれを含む確率が９９．９％と診断された。つまり、メッシュの移動後の診断結果では８８．７ポイント診断精度が向上した。

【0035】

図７に示す例では、最初に設定されたメッシュＭ５ａ内では右端の方にひびわれＣＲ５が存在するが、横方向へメッシュを移動することにより移動後のメッシュＭ５ｂ内では中央付近にひびわれＣＲ５が相対的に移動している。最初に設定されたメッシュＭ５ａに対する診断結果では、メッシュＭ５ａ内の画像がひびわれを含む確率が５．８％と診断された。これに対し、移動後のメッシュＭ５ｂに対する診断結果では、メッシュＭ５ｂ内の画像がひびわれを含む確率が９９．１％と診断された。つまり、メッシュの移動後の診断結果では９３．３ポイント診断精度が向上した。

【0036】

図８に示す例では、最初に設定されたメッシュＭ６ａ内では右端の方にひびわれＣＲ６が存在するが、横方向へメッシュを移動することにより移動後のメッシュＭ６ｂ内では中央付近にひびわれＣＲ６が相対的に移動している。最初に設定されたメッシュＭ６ａに対する診断結果では、メッシュＭ６ａ内の画像がひびわれを含む確率が１７．１％と診断された。これに対し、移動後のメッシュＭ６ｂに対する診断結果では、メッシュＭ６ｂ内の画像がひびわれを含む確率が５６．５％と診断された。つまり、メッシュの移動後の診断結果では３９．４ポイント診断精度が向上した。

【0037】

次に、図９～１４を参照して、縦（上下）方向へメッシュを移動させたときに診断精度が向上した例を説明する。図９は、メッシュを縦方向へ移動させたときのひびわれの位置の変化を説明する図である。ここでは、最初に設定したメッシュを縦方向へメッシュの間隔の半分に相当する距離を移動させたときの例を示している。メッシュＭ７ａは、最初に設定されたメッシュで分割された領域のうちの一つの領域内の画像を示している。メッシュＭ７ｂは、メッシュＭ７ａを縦方向へメッシュの間隔の半分の距離を移動させたときの領域内の画像を示している。メッシュＭ７ａ内の下端に存在するひびわれＣＲ７は、移動後のメッシュＭ７ｂ内では上下方向の中央付近へ相対的に移動する。これにより、ひびわれの診断精度が向上する。なお、図に示す矢印は下方向へメッシュの間隔の半分の距離を移動させることを示しているが、上方向への移動の場合でもメッシュＭ７ａの下隣の領域がメッシュＭ７ｂの領域と同じ位置へ移動するため、同様の診断結果となる。

【0038】

図１０～１４は、図９に示すメッシュを縦（上下）方向へ移動させたときに移動前より移動後に診断精度が向上した実例を示している。メッシュを縦（上下）方向へ移動させる場合、主に横方向に長いひびわれに対する診断精度の向上に効果的である。図１０に示す例では、最初に設定されたメッシュＭ８ａ内では上端の方にひびわれＣＲ８が存在するが、縦方向へメッシュを移動することにより移動後のメッシュＭ８ｂ内では中央付近にひびわれＣＲ８が相対的に移動している。最初に設定されたメッシュＭ８ａに対する診断結果では、メッシュＭ８ａ内の画像がひびわれを含む確率が９４．６％と診断された。これに対し、移動後のメッシュＭ８ｂに対する診断結果では、メッシュＭ８ｂ内の画像がひびわれを含む確率が９７．６％と診断された。つまり、メッシュの移動後の診断結果では３ポイント診断精度が向上した。

【0039】

図１１に示す例では、最初に設定されたメッシュＭ９ａ内では下端の方にひびわれＣＲ９が存在するが、縦方向へメッシュを移動することにより移動後のメッシュＭ９ｂ内では中央付近にひびわれＣＲ９が相対的に移動している。最初に設定されたメッシュＭ９ａに対する診断結果では、メッシュＭ９ａ内の画像がひびわれを含む確率が６．１％と診断された。これに対し、移動後のメッシュＭ９ｂに対する診断結果では、メッシュＭ９ｂ内の画像がひびわれを含む確率が５７．２％と診断された。つまり、メッシュの移動後の診断結果では５１．１ポイント診断精度が向上した。

【0040】

図１２に示す例では、最初に設定されたメッシュＭ１０ａ内では下端の方にひびわれＣＲ１０が存在するが、縦方向へメッシュを移動することにより移動後のメッシュＭ１０ｂ内では中央付近にひびわれＣＲ１０が相対的に移動している。最初に設定されたメッシュＭ１０ａに対する診断結果では、メッシュＭ１０ａ内の画像がひびわれを含む確率が５１％と診断された。これに対し、移動後のメッシュＭ１０ｂに対する診断結果では、メッシュＭ１０ｂ内の画像がひびわれを含む確率が９９．７％と診断された。つまり、メッシュの移動後の診断結果では４８．７ポイント診断精度が向上した。

【0041】

図１３に示す例では、最初に設定されたメッシュＭ１１ａ内では上端（且つ右端）の方にひびわれＣＲ１１が存在するが、縦方向へメッシュを移動することにより移動後のメッシュＭ１１ｂ内では上下方向の中央付近（且つ右端）にひびわれＣＲ１１が相対的に移動している。最初に設定されたメッシュＭ１１ａに対する診断結果では、メッシュＭ１１ａ内の画像がひびわれを含む確率が４２．７％と診断された。これに対し、移動後のメッシュＭ１１ｂに対する診断結果では、メッシュＭ１１ｂ内の画像がひびわれを含む確率が９９．８％と診断された。つまり、メッシュの移動後の診断結果では５７．１ポイント診断精度が向上した。

【0042】

図１４に示す例では、最初に設定されたメッシュＭ１２ａ内では下端の方にひびわれＣＲ１２が存在するが、縦方向へメッシュを移動することにより移動後のメッシュＭ６ｂ内では中央付近にひびわれＣＲ１２が相対的に移動している。最初に設定されたメッシュＭ１２ａに対する診断結果では、メッシュＭ１２ａ内の画像がひびわれを含む確率が６８．３％と診断された。これに対し、移動後のメッシュＭ１２ｂに対する診断結果では、メッシュＭ１２ｂ内の画像がひびわれを含む確率が９４．３％と診断された。つまり、メッシュの移動後の診断結果では２６ポイント診断精度が向上した。

【0043】

（診断処理の動作）
次に、本実施形態に係る診断装置１０が対象物の表面に生じたひびわれを診断する診断処理の動作について説明する。
図１５は、本実施形態に係る診断処理の一例を示すフローチャートである。

【0044】

まず、取得部１７１は、通信部１１０を介して対象物の撮影画像を取得し、撮影画像データ１５１として記憶部１５０に格納する（ステップＳ１０１）。

【0045】

次に、領域設定部１７３は、撮影画像データ１５１の撮影画像の画像領域のうちの少なくとも一部にメッシュを設定する（ステップＳ１０３）。

【0046】

そして、診断部１７４は、領域設定部１７３により設定されたメッシュで分割された複数の領域ごとに撮影画像からひびわれの有無を診断する（ステップＳ１０５）。

【0047】

次に、領域設定部１７３は、設定したメッシュの位置を、横方向（左又は右方向）へ移動させる。具体的には、領域設定部１７３は、設定したメッシュの位置を、横方向（左又は右方向）へメッシュの間隔の半分に相当する距離を移動させる（ステップＳ１０７）。

【0048】

そして、診断部１７４は、領域設定部１７３により移動された移動後のメッシュで分割された複数の領域ごとに撮影画像からひびわれの有無を診断する（ステップＳ１０９）。

【0049】

続いて、領域設定部１７３は、設定したメッシュの位置を、縦方向（上又は下方向）へ移動させる。具体的には、領域設定部１７３は、設定したメッシュの位置を、縦方向（上又は下方向）へメッシュの間隔の半分に相当する距離を移動させる（ステップＳ１１１）。

【0050】

そして、診断部１７４は、領域設定部１７３により移動された移動後のメッシュで分割された複数の領域ごとに撮影画像からひびわれの有無を診断する（ステップＳ１１３）。

【0051】

結果提供部１７５は、表示部１３０を用いて、診断部１７４による診断結果等を利用者に提供する。例えば、結果提供部１７５は、撮影画像のメッシュで分割された複数の領域ごとに、ひびわれを含む確率に基づく情報を表示部１３０に表示させる（ステップＳ１１５）。

【0052】

（診断結果の提供例）
図１６～１８は、本実施形態に係る診断結果の提供例を示す図である。図１６は、最初に設定されたメッシュによる診断結果を示している。また、図１７は、最初に設定されたメッシュを横方向へメッシュの間隔の半分に相当する距離を移動させた移動後のメッシュによる診断結果を示している。また、図１８は、最初に設定されたメッシュを縦方向へメッシュの間隔の半分に相当する距離を移動させた移動後のメッシュによる診断結果を示している。図１６～１８の各図において、メッシュで分割された領域ごとの診断結果として、ひびわれを含む確率が３０％未満の領域と、３０～６０％の領域と、６０％以上の領域との３種類に分けて記号で表示されている。ひびわれを含む確率が３０％未満の領域は、「ひびわれ発生確率が低い」という診断である。ひびわれを含む確率が３０～６０％の領域は、「ひびわれ発生確率が中程度」という診断である。ひびわれを含む確率が６０％以上の領域は、「ひびわれ発生確率が高い」という診断である。

【0053】

前述したように、メッシュで分割された領域の隅にひびわれが存在する場合、そのひびわれは必ずしも適切に診断されるとは限らない。特に教示データの多くの画像が、画像の中央付近を通過するひびわれがある画像である場合、隅に存在するひびわれは適切に診断されにくい。例えば、教示データに、画像の隅にひびわれが存在する画像を含めることで、認識精度を向上させることも考えられるが、そもそも隅に存在するひびわれを画像認識することは難易度が高く、また、最適な教示データをそろえて学習させることは容易ではない。それに対し、メッシュを横方向または縦方向に移動させることで、メッシュで分割された領域の隅に存在していたひびわれを中央に相対的に移動させることで、容易に診断精度を向上させることができる。

【0054】

例えば、図１７に示すようにメッシュを横方向へ移動させると、図１６に示す最初に設定されたメッシュでは正確に診断されなかった橋脚の左側のひびわれ（縦方向のひびわれ）が適切に診断された。また、図１８に示すようにメッシュを縦方向へ移動させることにより、図１６に示す最初に設定されたメッシュでは正確に診断できなかった桟橋の中央のひびわれ（横方向のひびわれ）が高精度に診断された。

【0055】

また、図１６に示す最初に設定されたメッシュでの診断結果と、図１７に示す横方向へ移動させたメッシュでの診断結果と、図１８に示す縦方向へ移動させたメッシュでの診断結果との３種類の診断結果を組み合わせることにより診断結果を生成してもよい。例えば、３つのメッシュが重複する領域のひびわれ発生確率を、重複する３つのメッシュのそれぞれのひびわれ発生確率の平均としてもよい。詳しくは、図１９を参照して説明する。

【0056】

図１９は、３種類のメッシュの診断結果を組み合わせた診断結果の生成方法を説明する図である。ここでは、説明を容易にするため縦４×横４のメッシュを抜き出して図示している。（Ａ）に示すメッシュＭＡは、最初に設定されたメッシュである。（Ｂ）に示すメッシュＭＢは、メッシュＭＡを横方向へメッシュの間隔の半分の距離を移動させたものである。（Ｃ）に示すメッシュＭＣは、メッシュＭＡを縦方向へメッシュの間隔の半分の距離を移動させたものである。（Ｄ）は、メッシュＭＡ、メッシュＭＢ、及びメッシュＭＣを重ねた図である。（Ｄ）において、領域ＭＤ１は、メッシュＭＡの領域ＭＡ１と、メッシュＭＢの領域ＭＢ１と、メッシュＭＣの領域ＭＣ１とが重複した領域である。この重複した領域ＭＤ１の診断結果を、メッシュＭＡの領域ＭＡ１のひびわれ発生確率と、メッシュＭＢの領域ＭＢ１のひびわれ発生確率と、メッシュＭＣの領域ＭＣ１のひびわれ発生確率とを平均したひびわれ発生確率とする。

【0057】

図２０は、３種類のメッシュの診断結果を組み合わせたときの診断結果の提供例を示す図である。このように、３種類のメッシュの診断結果の平均を取ることにより、最初に設定されたメッシュでの診断結果では正確に診断できなかった縦方向のひびわれが、横方向へ移動させたメッシュでの診断結果によって補完され、横方向のひびわれが、縦方向へ移動させたメッシュでの診断結果によって補完することができ、診断精度を向上させることができる。また、３種類のメッシュの診断結果を組み合わせることにで、より細かく分割された領域ごとの診断が行えるため、ひびわれの位置をより詳細に特定可能となる。図２０に示すように、３種類のメッシュの診断結果を組み合わせたときの診断結果は、図１６に示す最初に設定されたメッシュでの診断結果と比較して、ひびわれの識別の精度は良好であり、より詳細である。

【0058】

以上説明したように本実施形態に係る診断装置１０は、対象物を撮影した撮影画像の画像領域のうちの少なくとも一部を複数の領域に分割するメッシュを設定し、設定したメッシュで分割された複数の領域ごとに撮影画像から対象物に生じたひびわれの有無を診断する。さらに、診断装置１０は、設定したメッシュの位置を移動させ、移動後のメッシュで分割された複数の領域ごとに前記撮影画像から上記ひびわれの有無を診断する。

【0059】

これにより、診断装置１０は、最初に設定したメッシュで分割された領域の隅の方にひびわれが存在することにより正確に診断できなかったとしても、メッシュを移動させて再度診断を行うため、対象物の表面に生じたひびわれを精度よく診断でき、診断精度を向上することができる。

【0060】

例えば、診断装置１０は、設定したメッシュの位置を、横方向または縦方向へメッシュの間隔より狭い距離で移動させる。

【0061】

これにより、診断装置１０は、最初に設定したメッシュで分割された領域の隅の方にひびわれが存在する場合、当該ひびわれの位置をメッシュで分割された領域内で相対的に移動させることができる。そのため、メッシュの移動前に隅の方に存在したひびわれの位置がメッシュの移動後に中央の方へ相対的に移動するため、対象物の表面に生じたひびわれを精度よく診断できるようになる。

【0062】

より詳細には、メッシュを移動させる距離は、メッシュの間隔の半分に相当する距離であってもよい。

【0063】

これにより、診断装置１０は、最初に設定したメッシュで分割された領域の隅の方にひびわれが存在する場合、当該ひびわれの位置をメッシュで分割された領域内の中央付近の位置へ相対的に移動させることができるため、ひびわれの診断精度を向上することができる。

【0064】

なお、メッシュを移動させる距離は、メッシュの間隔の半分に相当する距離に限られるものではなく、メッシュの間隔より狭い距離の範囲の中の任意の距離としてもよい。また、メッシュを移動させる距離がメッシュの間隔の半分の距離より短い場合、移動させる回数を増やしてもよい。例えば、メッシュを移動させる距離がメッシュの間隔の半分の距離である場合はメッシュを１回移動させるところ、メッシュを移動させる距離がメッシュの間隔の四分の一の距離の場合にはメッシュを２回移動させてもよい。

【0065】

また、診断装置１０は、設定したメッシュの位置を、第１の方向（例えば、横方向）と当該第１の方向に直行する第２の方向（例えば、縦方向）とのそれぞれに移動させてもよい。そして、診断装置１０は、最初に設定したメッシュで分割された複数の領域ごとの撮影画像と、第１の方向（例えば、横方向）へ移動した移動後のメッシュで分割された複数の領域ごとの撮影画像と、第２の方向（例えば、縦方向）へ移動した移動後のメッシュで分割された複数の領域ごとの撮影画像とのそれぞれを用いて、対象物に生じたひびわれの有無を診断してもよい。

【0066】

これにより、診断装置１０は、互いに直行する２方向（例えば、横方向及び縦方向）へメッシュを移動させて診断することにより、最初に設定されたメッシュで分割された領域内で、左右の隅に存在するひびわれと上下の隅に存在するひびわれとのいずれも中央付近に相対的に移動させて診断できるため、ひびわれの診断精度を向上することができる。また、３種類のメッシュの診断結果を組み合わせることで、より細かく分割された領域ごとの診断が行えるため、ひびわれの位置をより詳細に特定可能となる。

【0067】

また、診断装置１０は、ひびわれが含まれる複数の画像を少なくとも教示データとして学習し、学習結果に基づくＡＩの学習済みモデルに基づいて、メッシュで分割された領域ごとに撮影画像から対象物に生じたひびわれの有無を診断する。

【0068】

これにより、診断装置１０は、ひびわれの識別を目視でできる経験者や熟練者がいなくともひびわれの有無をＡＩを用いて精度よく診断できる。よって、今後、ますます老朽化した橋脚が増加する中、人口の減少につれて経験者や熟練者の人材がより不足することが予想されるが、メッシュを移動させてＡＩによる診断を行うことで定期的に点検が可能となり、橋脚の維持管理に貢献することができる。

【0069】

以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【0070】

なお、上述した実施形態では、横方向と縦方向へメッシュを移動させる例を説明した。例えば、横方向とは対象物に対して水平方向に相当し、縦方向とは対象物に対して垂直方向に相当する。但し、上記方向の関係は撮影画像が撮影された時のカメラの傾きとメッシュの設定の仕方によっても変化するため、水平方向と垂直方向に限定されるものではない。

【0071】

また、上述した実施形態では、メッシュを横方向と縦方向のそれぞれへ移動させて診断する処理の例を説明したが、いずれか一方へ移動させて診断を行う処理としてもよい。また、３方向以上にメッシュを移動させて診断を行う処理としてもよい。

【0072】

例えば、上述した実施形態では、縦６×横１９の長方形の領域に分割するメッシュの場合、メッシュの形状に合わせて横方向または縦方向にメッシュを移動させる例を説明したが、これに限られるものではなく、横方向または縦方向に代えて、又は加えて斜め方向などにメッシュを移動させてもよい。また、メッシュの形状（分割された領域の形状、及びメッシュ全体の形状）も長方形に限られるものではなく、正方形や、三角形、または五角形以上の多角形の形状であってもよいし、曲線を含む形状であってもよい。また、メッシュで分割された領域の形状とメッシュ全体の形状とが異なってもよい。

【0073】

なお、上述した実施形態における制御部１７０の一部または全部をコンピュータで実現するようにしても良い。その場合、この制御部１７０の一部または全部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、診断装置１０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0074】

また、上述した実施形態における制御部１７０の一部または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。また、例えば、制御部１７０の一部または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

【符号の説明】

【0075】

１０ 診断装置、１１０ 通信部、１２０ 入力部、１３０ 表示部、１５０ 記憶部、１５１ 撮影画像データ、１５２ 教示データ、１５３ 学習済みモデル、１７０ 制御部、１７１ 取得部、１７２ 学習部、１７３ 領域設定部、１７４ 診断部、１７５ 結果提供部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】