ホーム > 特許ランキング > 富士フイルム株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023168548
(43)【公開日】2023-11-24
(54)【発明の名称】点検支援装置、方法及びプログラム
(51)【国際特許分類】
G01N 21/88 20060101AFI20231116BHJP
【ＦＩ】
G01N21/88 J
【審査請求】有
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2023172856
(22)【出願日】2023-10-04
(62)【分割の表示】P 2022511672の分割
【原出願日】2021-03-01
(31)【優先権主張番号】P 2020064083
(32)【優先日】2020-03-31
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【弁理士】
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【弁理士】
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【弁理士】
【氏名又は名称】松浦 憲政
(74)【代理人】
【識別番号】100153822
【弁理士】
【氏名又は名称】増田 重之
(72)【発明者】
【氏名】堀田 修平
(57)【要約】
【課題】構造物から２種類以上の損傷が検出され、特に構造物の同一又は近似する位置から２種類以上の損傷が検出された場合に、その損傷検出結果を良好に出力することができる点検支援装置、方法及びプログラムを提供する。
【解決手段】点検支援装置のプロセッサは、点検対象の構造物を撮影した画像を取得し、取得した画像に基づいて構造物の損傷を検出する。構造物の２種類以上の損傷（ひび割れＢと線状の遊離石灰Ｃ２）が検出された場合（図１６（Ａ））、プロセッサは、同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定する。プロセッサは、損傷検出結果（損傷画像、損傷図等）を出力する際に、ひび割れＢと線状の遊離石灰Ｃ２とが同一又は近接する位置から検出されたことが判定されると、損傷種類の優先順位にしたがって線状の遊離石灰Ｃ２の損傷検出結果を優先させて出力する（図１６（Ｂ））。
【選択図】 図１６
【解決手段】点検支援装置のプロセッサは、点検対象の構造物を撮影した画像を取得し、取得した画像に基づいて構造物の損傷を検出する。構造物の２種類以上の損傷（ひび割れＢと線状の遊離石灰Ｃ２）が検出された場合（図１６（Ａ））、プロセッサは、同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定する。プロセッサは、損傷検出結果（損傷画像、損傷図等）を出力する際に、ひび割れＢと線状の遊離石灰Ｃ２とが同一又は近接する位置から検出されたことが判定されると、損傷種類の優先順位にしたがって線状の遊離石灰Ｃ２の損傷検出結果を優先させて出力する（図１６（Ｂ））。
【選択図】 図１６
【特許請求の範囲】
【請求項1】
プロセッサを備えた点検支援装置であって、
前記プロセッサは、
点検対象の構造物を撮影した画像に基づいて前記構造物の損傷を検出する損傷検出処理と、
同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定する判定処理と、
前記判定処理により、前記同一又は近接する位置から２種類以上の損傷が検出されたことが判定されると、損傷種類の優先順位に基づく出力方法で損傷検出結果を出力する出力処理と、
を行う点検支援装置。
前記プロセッサは、
点検対象の構造物を撮影した画像に基づいて前記構造物の損傷を検出する損傷検出処理と、
同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定する判定処理と、
前記判定処理により、前記同一又は近接する位置から２種類以上の損傷が検出されたことが判定されると、損傷種類の優先順位に基づく出力方法で損傷検出結果を出力する出力処理と、
を行う点検支援装置。
【請求項2】
前記損傷検出処理は、前記画像に基づいて損傷領域及び損傷領域毎の損傷種類を検出し、
前記判定処理は、同一又は近接する損傷領域で２種類以上の損傷種類が検出されたか否かを判定し、
前記出力処理は、前記判定処理により、同一又は近接する損傷領域で２種類以上の損傷種類が検出されたことが判定されると、前記同一又は近接する損傷領域の損傷検出結果として最も優先順位が高い損傷種類の損傷検出結果をユーザが視認可能に出力する、
請求項１に記載の点検支援装置。
前記判定処理は、同一又は近接する損傷領域で２種類以上の損傷種類が検出されたか否かを判定し、
前記出力処理は、前記判定処理により、同一又は近接する損傷領域で２種類以上の損傷種類が検出されたことが判定されると、前記同一又は近接する損傷領域の損傷検出結果として最も優先順位が高い損傷種類の損傷検出結果をユーザが視認可能に出力する、
請求項１に記載の点検支援装置。
【請求項3】
前記近接する位置は、前記２種類以上の損傷間の距離が閾値以下になる位置である、請求項１又は２に記載の点検支援装置。
【請求項4】
前記損傷検出処理は、前記画像を入力すると、損傷領域及び損傷領域毎の損傷種類を認識結果として出力する学習済みモデルが実行する、
請求項１から３のいずれか１項に記載の点検支援装置。
請求項１から３のいずれか１項に記載の点検支援装置。
【請求項5】
前記出力処理は、前記損傷種類が線状損傷の場合と、前記損傷種類が面状損傷の場合とで、異なる描画パターンを出力する、
請求項１から４のいずれか１項に記載の点検支援装置。
請求項１から４のいずれか１項に記載の点検支援装置。
【請求項6】
前記出力処理は、前記損傷種類が線状損傷の場合、前記線状損傷を閉じない線を示す損傷図を出力し、前記損傷種類が面状損傷の場合、前記面状損傷を囲む閉じた線を示す損傷図を出力する、
請求項５に記載の点検支援装置。
請求項５に記載の点検支援装置。
【請求項7】
前記出力処理は、前記損傷種類が線状損傷の場合、少なくとも前記線状損傷を塗り潰した損傷画像を出力し、前記損傷種類が面状損傷の場合、少なくとも前記面状損傷を塗り潰した損傷画像を出力する、
請求項５に記載の点検支援装置。
請求項５に記載の点検支援装置。
【請求項8】
前記出力処理は、前記損傷検出結果をディスプレイに出力して表示させ、又は前記損傷検出結果をファイルにしてメモリに保存させる、
請求項１から７のいずれか１項に記載の点検支援装置。
請求項１から７のいずれか１項に記載の点検支援装置。
【請求項9】
前記損傷種類の優先順位は、損傷の重大度に応じて予め設定された優先順位である、請求項１から８のいずれか１項に記載の点検支援装置。
【請求項10】
前記損傷種類として、線状の遊離石灰、及びひび割れを含む線状損傷の場合、線状の遊離石灰は、ひび割れよりも優先順位が高い、
請求項９に記載の点検支援装置。
請求項９に記載の点検支援装置。
【請求項11】
前記損傷種類として、鉄筋露出、剥離、錆汁、面状の遊離石灰、及び漏水を含む面状損傷の場合、鉄筋露出、剥離、錆汁、面状の遊離石灰、及び漏水の順に優先順位が低く設定される、
請求項９又は１０に記載の点検支援装置。
請求項９又は１０に記載の点検支援装置。
【請求項12】
前記プロセッサは、ユーザにより操作される操作部から構造物の損傷種類の優先順位を受け付ける優先順位受付処理を行い、
前記損傷種類の優先順位は、ユーザから前記操作部を介して受け付けた優先順位である、
請求項１から１１のいずれか１項に記載の点検支援装置。
前記損傷種類の優先順位は、ユーザから前記操作部を介して受け付けた優先順位である、
請求項１から１１のいずれか１項に記載の点検支援装置。
【請求項13】
前記プロセッサは、
ユーザにより操作される操作部から前記損傷検出結果の編集指示を受け付ける編集指示受付処理と、
前記受け付けた編集指示にしたがって前記損傷検出結果を編集する編集処理と、を行う、
請求項１から１２のいずれか１項に記載の点検支援装置。
ユーザにより操作される操作部から前記損傷検出結果の編集指示を受け付ける編集指示受付処理と、
前記受け付けた編集指示にしたがって前記損傷検出結果を編集する編集処理と、を行う、
請求項１から１２のいずれか１項に記載の点検支援装置。
【請求項14】
前記損傷検出結果は、損傷識別情報、損傷種類及びサイズの項目を有し、前記検出した損傷毎に各項目に対応する情報が記載された損傷数量表を含む、
請求項１から１３のいずれか１項に記載の点検支援装置。
請求項１から１３のいずれか１項に記載の点検支援装置。
【請求項15】
プロセッサにより点検対象の構造物の点検支援を行う点検支援方法であって、
前記プロセッサの各処理は、
前記点検対象の構造物を撮影した画像に基づいて前記構造物の損傷を検出するステップと、
同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定するステップと、
前記判定するステップにより、前記同一又は近接する位置から２種類以上の損傷が検出されたことが判定されると、損傷種類の優先順位に基づく出力方法で損傷検出結果を出力するステップと、
を含む点検支援方法。
前記プロセッサの各処理は、
前記点検対象の構造物を撮影した画像に基づいて前記構造物の損傷を検出するステップと、
同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定するステップと、
前記判定するステップにより、前記同一又は近接する位置から２種類以上の損傷が検出されたことが判定されると、損傷種類の優先順位に基づく出力方法で損傷検出結果を出力するステップと、
を含む点検支援方法。
【請求項16】
点検対象の構造物の点検支援を行う方法をコンピュータに実行させる点検支援プログラムであって、前記方法は、
前記点検対象の構造物を撮影した画像に基づいて前記構造物の損傷を検出するステップと、
同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定するステップと、
前記判定するステップにより、前記同一又は近接する位置から２種類以上の損傷が検出されたことが判定されると、損傷種類の優先順位に基づく出力方法で損傷検出結果を出力するステップと、
を含む点検支援プログラム。
前記点検対象の構造物を撮影した画像に基づいて前記構造物の損傷を検出するステップと、
同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定するステップと、
前記判定するステップにより、前記同一又は近接する位置から２種類以上の損傷が検出されたことが判定されると、損傷種類の優先順位に基づく出力方法で損傷検出結果を出力するステップと、
を含む点検支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は点検支援装置、方法及びプログラムに係り、特に構造物の点検を支援する技術に関する。
【背景技術】
【0002】
橋梁などの社会インフラ構造物は、維持管理及び補修を行うために定期点検する必要がある。
【0003】
特許文献１には、トンネルの内部壁面をカメラで撮影し、撮影した画像を画像処理することにより内部壁面の小区分毎にひび割れの抽出・定量化を行い、小区分毎にひび割れ情報を表示するひび割れ検出方法及びその表示方法が開示されている。例えば、小区分毎のひび割れの程度に応じて、小区分毎にひび割れを色分けして表示し、これにより、ひび割れの程度を把握しやすいようにしている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００２－１８８９９８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、構造物の損傷には、ひび割れ以外にも多くの種類の損傷が存在する。例えば、構造物のコンクリート部位では、ひび割れの他に、漏水、遊離石灰、錆汁、剥離、鉄筋露出等の多項目の損傷があり、同様に構造物の鋼部材では、亀裂、腐食、防食機能の劣化等の多項目の損傷がある。
【0006】
特許文献１には、小区分毎のひび割れの程度に応じて、小区分毎にひび割れを色分けして表示する記載があるが、構造物から２種類以上（多項目）の損傷を検出する記載がなく、多項目の損傷の検出結果の出力方法についても記載されていない。
【0007】
本発明はこのような事情に鑑みてなされたもので、構造物から２種類以上の損傷が検出され、特に構造物の同一又は近接する位置から２種類以上の損傷が検出された場合に、その損傷検出結果を良好に出力することができる点検支援装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために第１態様に係る発明は、プロセッサを備えた点検支援装置であって、プロセッサは、点検対象の構造物を撮影した画像を取得する画像取得処理と、取得した画像に基づいて構造物の損傷を検出する損傷検出処理と、損傷検出処理により構造物の２種類以上の損傷が検出された場合に、２種類以上の損傷のうち、同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定する判定処理と、損傷検出処理により検出された損傷検出結果を出力する出力処理であって、判定処理により、同一又は近接する位置から２種類以上の損傷がされたことが判定されると、損傷種類の優先順位にしたがって損傷検出結果を出力する出力処理と、を行う。
【0009】
本発明の第１態様によれば、点検対象の構造物を撮影した画像に基づいて構造物の２種類以上の損傷が検出され、特に構造物の同一又は近似する位置から２種類以上の損傷が検出された場合には、損傷検出結果として優先順位にしたがって損傷検出結果を出力する。これにより、構造物の同一又は近接する位置から２種類以上の損傷が検出された場合には、損傷種類の優先順位にしたがって損傷検出結果を出力することで、構造物の同一又は近接する位置から２種類以上の損傷が検出された場合に対応することができる。尚、２種類以上の損傷が構造物の同一又は近接する位置にない場合には、２種類以上の損傷検出結果はそのまま出力することができる。
【0010】
本発明の第２態様に係る点検支援装置において、損傷検出処理は、画像に基づいて損傷領域及び損傷領域毎の損傷種類を検出し、判定処理は、損傷検出処理により、同一又は近接する損傷領域で２種類以上の損傷種類が検出されたか否かを判定し、出力処理は、判定処理により、同一又は近接する損傷領域で２種類以上の損傷種類が検出されたことが判定されると、同一又は近接する損傷領域の損傷検出結果として最も優先順位が高い損傷種類の損傷検出結果を出力することが好ましい。構造物の同一又は近接する位置から２種類以上の損傷が検出された場合、最も優先順位が高い損傷種類の損傷検出結果を出力し、ユーザ等に報知することが有効だからである。
【0011】
本発明の第３態様に係るにおいて、近接する位置は、２種類以上の損傷間の距離が閾値以下になる位置であることが好ましい。
【0012】
本発明の第４態様に係る点検支援装置において、損傷検出処理は、画像を入力すると、損傷領域及び損傷領域毎の損傷種類を認識結果として出力する学習済みモデルが実行することが好ましい。
【0013】
本発明の第５態様に係る点検支援装置において、出力処理は、損傷種類が線状損傷の場合と、損傷種類が面状損傷の場合とで、異なる描画パターンを出力することが好ましい。
【0014】
本発明の第６態様に係る点検支援装置において、出力処理は、損傷種類が線状損傷の場合、線状損傷を閉じない線を示す損傷図を出力し、損傷種類が面状損傷の場合、面状損傷を囲む閉じた線を示す損傷図を出力することが好ましい。線画の描画パターンで損傷図を出力する場合、線状損傷の場合、線状損傷を閉じない線を示す損傷図とし、損傷種類が面状損傷の場合、面状損傷を囲む閉じた線を示す損傷図とする。
【0015】
本発明の第７態様に係る点検支援装置において、出力処理は、損傷種類が線状損傷の場合、少なくとも線状損傷を塗り潰した損傷画像を出力し、損傷種類が面状損傷の場合、少なくとも面状損傷を塗り潰した損傷画像を出力することが好ましい。
【0016】
本発明の第８態様に係る点検支援装置において、出力処理は、損傷検出結果をディスプレイに出力して表示させ、又は損傷検出結果をファイルにしてメモリに保存させることが好ましい。
【0017】
本発明の第８態様に係る点検支援装置において、損傷種類の優先順位は、損傷の重大度に応じて予め設定された優先順位であることが好ましい。
【0018】
本発明の第９態様に係る点検支援装置において、損傷種類として、線状の遊離石灰、及びひび割れを含む線状損傷の場合、線状の遊離石灰は、ひび割れよりも優先順位が高い。
【0019】
本発明の第１０態様に係る点検支援装置において、損傷種類として、鉄筋露出、剥離、
錆汁、面状の遊離石灰、及び漏水を含む面状損傷の場合、鉄筋露出、剥離、錆汁、面状の遊離石灰、及び漏水の順に優先順位が低く設定される。
錆汁、面状の遊離石灰、及び漏水を含む面状損傷の場合、鉄筋露出、剥離、錆汁、面状の遊離石灰、及び漏水の順に優先順位が低く設定される。
【0020】
本発明の第１２態様に係る点検支援装置において、プロセッサは、ユーザにより操作される操作部から構造物の損傷種類の優先順位を受け付ける優先順位受付処理を行い、損傷種類の優先順位は、ユーザから操作部を介して受け付けた優先順位である。
【0021】
本発明の第１３態様に係る点検支援装置において、プロセッサは、ユーザにより操作される操作部から損傷検出結果の編集指示を受け付ける編集指示受付処理と、受け付けた編集指示にしたがって損傷検出結果を編集する編集処理と、を行うことが好ましい。
【0022】
本発明の第１４態様に係る点検支援装置において、損傷検出結果は、損傷識別情報、損傷種類及びサイズの項目を有し、検出した損傷毎に各項目に対応する情報が記載された損傷数量表を含むことが好ましい。
【0023】
第１５態様に係る発明は、プロセッサにより点検対象の構造物の点検支援を行う点検支援方法であって、プロセッサの各処理は、点検対象の構造物を撮影した画像を取得するステップと、取得した画像に基づいて構造物の２種類以上の損傷を検出するステップと、検出された構造物の２種類以上の損傷のうち、同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定するステップと、検出された損傷検出結果を出力するステップであって、判定するステップにより、同一又は近接する位置から２種類以上の損傷が検出されたことが判定されると、損傷種類の優先順位にしたがって損傷検出結果を出力するステップと、を含む。
【0024】
第１６態様に係る発明は、点検対象の構造物の点検支援を行う方法をコンピュータに実行させる点検支援プログラムであって、方法は、点検対象の構造物を撮影した画像を取得するステップと、取得した画像に基づいて構造物の２種類以上の損傷を検出するステップと、検出された構造物の２種類以上の損傷のうち、同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定するステップと、検出された損傷検出結果を出力するステップであって、判定するステップにより、同一又は近接する位置から２種類以上の損傷が検出されたことが判定されると、損傷種類の優先順位にしたがって損傷検出結果を出力するステップと、を含む。
【発明の効果】
【0025】
本発明によれば、構造物から２種類以上の損傷が検出され、特に構造物の同一又は近接する位置から２種類以上の損傷が検出された場合に、その損傷検出結果を良好に出力することができる。
【図面の簡単な説明】
【0026】
【図5】図５は、損傷の種類に応じた損傷の表現方法の種類を示す図であり、図５（Ａ）は、剥離及び鉄筋露出を含む画像を示し、図５（Ｂ）は、剥離及び鉄筋露出の領域を囲むポリゴンが描画された画像を示す図である。
【図24】図２４は、損傷検出結果出力の第３実施形態を示すＧＵＩのイメージ図であり、図２４（Ａ）は、損傷画像の塗り潰し色の透明度として、「１０」が設定されている場合を示し、図２４（Ｂ）は、構造物を撮影した画像上に透明度「１０」の損傷画像が重畳表示された合成画像を示す図である。
【図25】図２５は、損傷検出結果出力の第３実施形態を示すＧＵＩのイメージ図であり、図２５（Ａ）は、損傷画像の塗り潰し色の透明度として、「５０」が設定されている場合を示し、図２５（Ｂ）は、構造物を撮影した画像上に透明度「５０」の損傷画像が重畳表示された合成画像を示す図である。
【発明を実施するための形態】
【0027】
以下、添付図面に従って本発明に係る点検支援装置、方法及びプログラムの好ましい実施形態について説明する。
【0028】
[本発明の概要]
図１は、構造物の損傷の一例を示す図であり、特に構造物を構成するコンクリート部材の損傷に関して示している。
図１は、構造物の損傷の一例を示す図であり、特に構造物を構成するコンクリート部材の損傷に関して示している。
【0029】
図１（Ａ）は、コンクリート部材の損傷が原因で発生した現象の一つである漏水Ａを示している。漏水Ａは、コンクリート部材の損傷（ひび割れ、打ち継ぎ目のひび割れ、目地材の不良等）が原因で、その損傷部分から水が漏れ出たものである。
【0030】
図１（Ｂ）は、コンクリート部材に発生したひび割れＢ、遊離石灰Ｃ１、及び錆汁Ｄを示している。遊離石灰Ｃ１とは、漏水等によりコンクリート部材内から流れ出し、水分が蒸発する際に石灰成分が表面に出る現象をいう。また、錆汁Ｄは、コンクリート部材の内部の鉄筋等の鋼材が腐食して、茶色の腐食生成物がコンクリート表面に滲み出たものをいう。
【0031】
図１（Ｃ）は、コンクリート部材に発生した剥離Ｅ及び鉄筋露出Ｆを示している。剥離Ｅとは、浮き状態にあったコンクリート片が剥がれ落ちた状態をいい、鉄筋露出Ｆとは、剥離Ｅの結果、コンクリート内の鉄筋が露出した状態をいう。
【0032】
また、図示しないが、構造物を構成する鋼部材の損傷としては、亀裂、腐食、破断、防食機能の劣化等の損傷の種類がある。
【0033】
【0034】
図２（Ａ）及び（Ｂ）に示す線状の遊離石灰Ｃ２は、コンクリート部材に発生したひび割れに石灰成分が詰まっている状態のものである。したがって、線状の遊離石灰Ｃ２とひび割れとは略同じ形状であり、線状の遊離石灰Ｃ２には、その線状の遊離石灰Ｃ２と同一の位置（領域）にひび割れが発生している。
【0035】
図３（Ａ）に示す面状の遊離石灰は、水平方向に延びるひび割れからの漏水にしたがってひび割れの下方に拡がっている。図３（Ｂ）に示す面状の遊離石灰Ｃ１は、打ち継ぎ目のひび割れを中心に拡がっており、図３（Ｃ）に示す面状の遊離石灰Ｃ１は、コンクリートひび割れを中心に拡がっている。
【0036】
本発明の一態様は、点検対象の構造物を撮影した画像から構造物の損傷を検出し、検出した損傷の種類にしたがって損傷検出結果を出力する。
【0037】
【0038】
図４に示すように、ひび割れが検出された場合（図４（Ａ））、ひび割れを表現する方法として、ひび割れに沿った閉じない線（ポリライン）による描画パターンで表現する（図４（Ｂ））。ひび割れのように線状の損傷の場合、長さの定量化が必要だからである。
【0039】
したがって、図２に示したように線状の遊離石灰が検出された場合も、線状の遊離石灰を表現する方法としては、線状の遊離石灰に沿ったポリラインの描画パターンで出力する。また、ひび割れと線状の遊離石灰とは、いずれも線状の損傷であるが、損傷の種類が異なるため、線種（例えば、色）が異なるポリラインで識別可能に表現することが好ましい。
【0040】
図５に示すように、剥離Ｅ及び鉄筋露出Ｆが検出された場合（図５（Ａ））、剥離Ｅ及び鉄筋露出Ｆを表現する方法として、面状損傷の領域を囲む閉じた線（ポリゴン）による描画パターンで表現する（図５（Ｂ））。剥離Ｅ等の面状損傷の場合、面積の定量化が必要だからである。
【0041】
【0042】
尚、面状の遊離石灰Ｃ１、剥離Ｅ、及び鉄筋露出Ｆは、いずれも面状の損傷であるが、損傷の種類が異なるため、線種（例えば、色）が異なるポリゴンで識別可能に表現することが好ましい。
【0043】
本発明の一態様では、同じ損傷と分類されるものであっても、損傷の形状が異なる場合には損傷の種類が異なるものとし、その形状に応じて異なる描画パターンで表現する。例えば、線状の遊離石灰は、ポリラインで表現し、面状の遊離石灰は、ポリゴンで表現する。
【0044】
また、構造物（画像）上で、同一又は近接する位置から２種類以上の損傷が検出さる場合がある。ここで、近接する位置とは、２種類以上の損傷間の距離が閾値以下になる位置をいう。閾値は、デフォルトで決められていてもよいし、ユーザが設定してもよい。
【0045】
例えば、線状の遊離石灰の場合、線状の遊離石灰とコンクリートひび割れとが重なり、同一の位置に２つの損傷が検出されることになる。また、図５に示したように剥離Ｅと鉄筋露出Ｆの場合、鉄筋露出Ｆは、剥離Ｅ内に存在する。したがって、鉄筋露出Ｆと剥離Ｅの２つの損傷間の距離は閾値以下となり、両者は近接する位置の損傷である。
【0046】
図７は、線状損傷であるひび割れと線状の遊離石灰とが検出された場合の各々のポリラインを示す図である。
【0047】
図７において、Ｘは、ひび割れを示すポリラインであり、Ｙは、線状の遊離石灰を示すポリラインである。
【0048】
【0049】
以下、図８を参照にして、ひび割れと線状の遊離石灰の２つの損傷の「近接」の判定例について説明する。
【0050】
図８（Ａ）に示すように、ひび割れを示すポリラインＸの注目点Ｐ１（ポリラインＸの端点である１番目の頂点）と、線状の遊離石灰のポリラインとの最短距離をＬ１とする。
【0051】
同様にして図８（Ｂ）に示すように、ポリラインＸの注目点Ｐ２（２番目の頂点）と、ポリラインＹとの最短距離をＬ２とし、図８（Ｃ）に示すように、ポリラインＸの注目点Ｐ３（３番目の頂点）と、ポリラインＹとの最短距離をＬ３とする。
【0052】
また、図８（Ｄ）～（Ｆ）に示すように、２つのポリラインＸ、Ｙにおける各最短距離をそれぞれＬ４，Ｌ５，Ｌ６とする。尚、最短距離Ｌ４は、ポリラインＹの注目点４（ポリラインＹの端点である頂点）における最短距離であり、最短距離Ｌ５は、ポリラインＸ、Ｙの注目点５（注目点４と注目点６の中間の注目点）における最短距離であり、最短距離Ｌ６は、ポリラインＸの注目点６（ポリラインＸの他の端点である頂点）における最短距離である。
【0053】
そして、Ｌ１，Ｌ２，Ｌ３＞閾値を満たし、Ｌ４，Ｌ５，Ｌ６≦閾値を満たす場合、Ｌ４～Ｌ６の範囲において、２つのポリラインＹ、Ｘ（２つの損傷）は「近接」していると判定する。尚、注目点Ｐ１～Ｐ６の個数は、上記の例に限らない。
【0054】
また、上記の例は、２種類の線状損傷の間の距離について説明したが、線状損傷と面状損傷と間の距離も同様にポリラインの各注目点とポリゴンとの最短距離を求めて、「近接」の判定を行うことができる。
【0055】
本発明の一態様では、損傷の種類に応じて優先順位を定義しておき、同一又は近接する位置から２種類以上の損傷が検出される場合には、優先順位にしたがった損傷の表現を行う。尚、優先順位にしたがった損傷の表現方法の詳細については、後述する。
【0056】
[点検支援装置のハードウエア構成]
図９は、本発明に係る点検支援装置のハードウエア構成の一例を示すブロック図である。
図９は、本発明に係る点検支援装置のハードウエア構成の一例を示すブロック図である。
【0057】
図１に示す点検支援装置１０としては、パーソナルコンピュータ又はワークステーションを使用することができる。本例の点検支援装置１０は、主として画像取得部１２と、画像データベース１４と、記憶部１６と、操作部１８と、ＣＰＵ（Central Processing Unit）２０と、ＲＡＭ(Random Access Memory)２２と、ＲＯＭ(Read Only Memory)２４と、表示制御部２６とから構成されている。
【0058】
画像取得部１２は、入出力インターフェースに相当し、本例では点検対象の構造物を撮影した撮影画像等を取得する。点検対象の構造物は、例えば、橋梁、トンネル等の構造物を含む。
【0059】
画像取得部１２が取得する画像は、例えば、カメラを搭載したドローン（無人飛行体）やロボット、又は人手により構造物を撮影した多数の画像（撮影画像群）である。撮影画像群は、構造物の全体を網羅するものであり、かつ隣接する各撮影画像は、重複していることが好ましい。
【0060】
画像取得部１２により取得した撮影画像群は、画像データベース１４に格納される。
【0061】
記憶部１６は、ハードディスク装置、フラッシュメモリ等から構成されるメモリであり、記憶部１６には、オペレーティングシステム、点検支援プログラムの他、損傷種類の優先順位を示す情報、構造物を示すＣＡＤ（computer-aided design）データ、及びファイル化された損傷点検結果等が記憶される。損傷点検結果は、損傷の種類毎に異なるレイアで損傷情報として記憶することができる。尚、損傷情報は、損傷図を含む。
【0062】
ＣＡＤデータは、点検対象の構造物のＣＡＤデータが存在する場合には、それを使用することができる。構造物のＣＡＤデータが存在しない場合には、画像データベース１４に保存された撮影画像群を元に自動的に作成することができる。
【0063】
画像データベース１４に格納された撮影画像群が、ドローンに搭載されたカメラで撮影されている場合、撮影画像群の互いに重複する撮影画像間の特徴点を抽出し、抽出した特徴点に基づいて、ドローンに搭載されたカメラの位置及び姿勢を推定し、また、カメラの位置及び姿勢の推定結果から同時に特徴点の３次元位置を推定した３次元点群モデルを生成することができる。
【0064】
ドローンによりカメラの撮影位置が動いていく撮影画像群の中から、多数の特徴点の動きをトラッキングし、構造物の３次元構造(Structure)とカメラ姿勢(Motion)とを同時に推定するStructure from Motion(ＳｆＭ)手法がある。近年、bundle adjustmentという最適化計算法が開発され、高精度な出力を出せるようになっている。
【0065】
尚、ＳｆＭ手法を適用する場合に必要なカメラのパラメータ（焦点距離、イメージセンサの画像サイズ、画素ピッチ等）は、記憶部１６に記憶させたものを使用することができる。また、生成した３次元点群モデルに基づいて構造物のＣＡＤデータを生成することができる。
【0066】
操作部１８は、コンピュータに有線接続又は無線接続されるキーボード及びマウス等を含み、コンピュータの通常の操作指示を行う操作部として機能する他に、構造物を撮影した画像に基づいて検出された構造物の損傷検出結果をユーザ操作により編集し、また、構造物の複数の損傷種類の優先順位をユーザ操作により設定する操作部として機能する。尚、損傷検出結果の編集及び損傷種類の優先順位の設定等の詳細については後述する。
【0067】
ＣＰＵ２０は、記憶部１６又はＲＯＭ２４等に記憶された各種のプログラムを読み出し、各部を統括制御するとともに、構造物を撮影した画像に基づいて構造物の損傷（２種類以上の損傷）を検出する損傷検出処理、同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定する判定処理、及び損傷検出処理により検出された損傷検出結果を出力する出力処理等を行う。
【0068】
構造物を撮影した画像に基づいて２種類以上の損傷を検出する損傷検出処理は、人工知能（ＡＩ：artificial intelligence）により行うことができる。
【0069】
ＡＩとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）による学習済みモデルを使用することができる。
【0070】
図１０は、ＣＰＵ等により構成された損傷検出処理部の実施形態を示す概念図である。
【0071】
図１０において、損傷検出処理部２１は、複数種類の損傷に対応した複数（本例では３つ）の学習済みモデル２１Ａ、２１Ｂ、及び２１Ｃから構成されている。
【0072】
各学習済みモデル２１Ａ、２１Ｂ、及び２１Ｃは、入力層と中間層と出力層とを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。
【0073】
ＣＮＮの入力層には、構造物を撮影した画像１３が入力される。中間層は、畳み込み層とプーリング層とを１セットとする複数セットを有し、入力層から入力した画像から特徴を抽出する部分である。畳み込み層は、前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。
【0074】
ＣＮＮの出力層は、中間層により抽出された特徴を示す特徴マップを出力する部分である。本例の学習済みモデル２１Ａ、２１Ｂ，２１Ｃの出力層は、例えば、画像に写っている構造物の損傷毎の領域をピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類（セグメンテーション）した推論結果を、損傷検出結果２７Ａ，２７Ｂ，２７Ｃとして出力する。
【0075】
例えば、学習済みモデル２１Ａは、漏水・面状遊離石灰・錆汁の損傷を検出するように機械学習された学習済みモデルであり、漏水・面状遊離石灰・錆汁のそれぞれの損傷領域及び損傷領域毎の損傷種類を損傷検出結果（認識結果）２７Ａとして出力する。学習済みモデル２１Ｂは、剥離・鉄筋露出の損傷を検出するように機械学習された学習済みモデルであり、剥離・鉄筋露出のそれぞれの損傷領域及び損傷領域毎の損傷種類を損傷検出結果２７Ｂとして出力する。学習済みモデル２１Ｃは、ひび割れ・線状遊離石灰の損傷を検出するように機械学習された学習済みモデルであり、ひび割れ・線状遊離石灰のそれぞれの損傷領域及び損傷領域毎の損傷種類を損傷検出結果２７Ｃとして出力する。
【0076】
尚、損傷検出処理部２１は、上記の実施形態に限らず、例えば、損傷種類毎に個別の学習済モデルを有し、各学習済みモデルがそれぞれの損傷種類に対応した損傷領域を損傷検出結果として出力するように構成してもよい。この場合、点検対象の損傷種類の数と同数の学習済みモデルを備えることになる。また、全損傷種類に対応できる一つの学習済モデルを有し、損傷領域と損傷領域ごとの損傷種類を損傷検出結果として出力するように構成してもよい。
【0077】
図９に戻って、ＣＰＵ２０は、損傷検出処理により検出された損傷検出結果を、表示制御部２６を介して表示部（ディスプレイ）３０に出力して表示させ、又は損傷検出結果をファイルにして記憶部（メモリ）１６に保存させる。
【0078】
ＲＡＭ２２は、ＣＰＵ２０の作業領域として使用され、読み出されたプログラムや各種のデータを一時的に記憶する記憶部として用いられる。
【0079】
表示制御部２６は、表示部３０に表示させる表示用データを作成し、表示部３０に出力する部分であり、本例ではＣＰＵ２０による検出された損傷検出結果を表示部３０に表示させ、操作部１８からのユーザ操作に基づく損傷検出結果の編集用の画面等を表示部３０に表示させる。
【0080】
表示部３０は、コンピュータに接続可能な液晶モニタ等の各種のディスプレイが用いられ、表示制御部２６から入力する構造物を撮影した画像とともに、画像から検出された損傷検出結果等を表示し、また、操作部１８とともにユーザインターフェースの一部として使用される。
【0081】
上記構成の点検支援装置１０のＣＰＵ２０を含むプロセッサは、記憶部１６又はＲＯＭ２４に記憶されている点検支援プログラムを読み出し、点検支援プログラムを実行することで、上記の各処理を行う。
【0082】
＜点検支援装置の作用＞
次に、図９に示した点検支援装置１０の作用について、構造物として橋梁を例に説明する。
次に、図９に示した点検支援装置１０の作用について、構造物として橋梁を例に説明する。
【0083】
図１１は、点検対象の橋梁の一例を示す斜視図である。
【0084】
図１１に示すように橋梁１は、橋脚７の間に渡された主桁２と、主桁２と直交する方向に設けられ、主桁間を連結する横桁３と、主桁２を相互に連結する対傾構４及び横構５とを含む各種の部材から構成され、主桁等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。
【0085】
床版６は、通常、主桁２と横桁３とにより画成された矩形形状の格間が基本単位となっており、床版の損傷（ひび割れ、コンクリート剥離など）を点検する場合、格間単位で行われる。
【0086】
床版の各格間は、構造物（橋梁）を構成する部材（点検単位）の一つである。尚、橋梁の点検単位は、床版（格間）の他に、構造物を構成する部位・部材区分（主桁２、横桁３、対傾構４、横構５、橋脚７（柱部・壁部、梁部、隅角部・接合部））などがある。
【0087】
点検支援装置１０のＣＰＵ２０、記憶部１６に記憶された点検支援プログラム、ＲＡＭ２２及びＲＯＭ２４、表示制御部２６等はプロセッサを構成し、プロセッサは、以下に示す各種の処理を行う。
【0088】
プロセッサは、画像データベース１４に格納されている点検対象の構造物（橋梁１）を撮影した複数の画像の中から、点検単位の画像を取得する画像取得処理を行う。
【0089】
図１２は、橋梁の点検単位の一つである格間に対応するオルソ画像の一例を示す図である。
【0090】
オルソ画像は、構造物（格間）を撮影した画像を、格間の面に正射影された画像である。１つの格間のオルソ画像は、画像データベース１４に格納された撮影画像群から、その格間に対応する複数の画像を抽出し、抽出した複数の画像をパノラマ合成し、パノラマ合成した画像を、格間の面に射影変換することで作成することができる。
【0091】
図１０に示した損傷検出処理部２１は、格間のオルソ画像（画像１３）を入力すると、入力した画像１３に基づいて格間における損傷を検出し、その損傷検出結果２７Ａ～２７Ｃを出力する。
【0092】
【0093】
図１３に示す損傷検出結果は、点検対象の格間の損傷を示す損傷図を示している。
【0094】
図１３に示す損傷図には、５本のひび割れＣ１～Ｃ５、コンクリートの剥離Ｈ１が図示されている。
【0095】
図１３に示す損傷図は、オルソ画像上で検出された各ひび割れＣ１～Ｃ５（線状損傷）に沿ったポリラインによる描画パターンと、剥離Ｈ１（面状損傷）の領域を囲むポリゴンによる描画パターン、又はポリゴン内を塗り潰した画像で表現されている。
【0096】
図１４は、格間に対応する損傷図が重畳されたオルソ画像の一例を示す図である。
【0097】
【0098】
損傷図は、損傷種類に応じた色を損傷箇所に付して作成することができ、オルソ画像に損傷図を重畳することで、損傷箇所を容易に視認することができる。
【0099】
図１５は、損傷検出結果に含まれる損傷数量表の一例を示す図表である。
【0100】
図１５に示す損傷数量表には、損傷識別情報（ＩＤ：identification）、損傷種類、サイズ（幅）、サイズ（長さ）、サイズ（面積）の項目を有し、損傷毎に各項目に対応する情報が記載されている。
【0101】
線状損傷であるひび割れの場合、各ひび割れＣ１～Ｃ５の長さや幅の定量化を行い、面状損傷である剥離の場合、剥離Ｈ１の領域の面積の定量化を行い、損傷数量表には、これらの情報が、損傷ＩＤに関連付けられて記載される。
【0102】
[損傷検出結果出力の第１実施形態]
図１６は、損傷検出処理部によるひび割れ及び線状の遊離石灰の損傷検出結果と、その出力処理との一例を示す模式図である。
図１６は、損傷検出処理部によるひび割れ及び線状の遊離石灰の損傷検出結果と、その出力処理との一例を示す模式図である。
【0103】
図１６（Ａ）は、図１０に示した損傷検出処理部２１（学習済みモデル２１Ｃ）に画像１３が入力され、学習済みモデル２１Ｃによりひび割れＢと線状の遊離石灰Ｃ２のそれぞれの損傷領域及び損傷領域毎の損傷種類を示す損傷検出結果が検出された場合に関して示している。この場合、ＣＰＵ２０は、これらのひび割れＢと線状の遊離石灰Ｃ２とが、それぞれ同一又は近接する位置から検出されたか否かを判定する判定処理を行う。
【0104】
図１６（Ａ）に示す例では、ひび割れＢと線状の遊離石灰Ｃ２とは、便宜上、並んで図示されているが、線状の遊離石灰Ｃ２は、コンクリート部材に発生したひび割れＢに石灰成分が詰まっている状態のものである。したがって、線状の遊離石灰Ｃ２とひび割れＢとは略同じ形状であり、線状の遊離石灰Ｃ２には、その線状の遊離石灰Ｃ２と同一の位置（領域）にひび割れＢが発生している。
【0105】
図１６（Ａ）に示すひび割れＢと線状の遊離石灰Ｃ２の場合、ＣＰＵ２０は、ひび割れＢと線状の遊離石灰Ｃ２とが、それぞれ同一又は近接する位置から検出されたものと判定する。そして、ひび割れＢと線状の遊離石灰Ｃ２とが、それぞれ同一又は近接する位置から検出されたもの判定すると、ＣＰＵ２０は、損傷種類の優先順位にしたがって損傷検出結果を出力する出力処理を行う。
【0106】
本例では、損傷種類の優先順位として、ひび割れＢよりも線状の遊離石灰Ｃ２の優先順位が高く設定されているため、ＣＰＵ２０は、図１６（Ｂ）に示すように線状の遊離石灰Ｃ２の領域を塗り潰した損傷画像を表示制御部２６を介して表示部３０に表示させ、あるいは線状の遊離石灰Ｃ２のポリラインを示す損傷図のＣＡＤデータをファイル出力する。損傷図のＣＡＤデータのファイルは、損傷が検出された画像と関連付けて、記憶部１６に記憶させることが好ましい。
【0107】
図１７は、損傷検出処理部によるひび割れ及び線状の遊離石灰の損傷検出結果と、その出力処理との他の例を示す模式図である。
【0108】
図１７（Ａ）に示す例では、ひび割れＢと線状の遊離石灰Ｃ２とが検出され、ひび割れＢの一部と線状の遊離石灰Ｃ２の一部とが、同一の位置に発生している。
【0109】
この場合、ＣＰＵ２０は、ひび割れＢの一部と線状の遊離石灰Ｃ２の一部とが、それぞれ同一位置から検出されたものと判定する。そして、ＣＰＵ２０は、ひび割れＢの一部と線状の遊離石灰Ｃ２との重複する部分については、ＣＰＵ２０は、図１７（Ｂ）に示すように線状の遊離石灰Ｃ２の領域を塗り潰した損傷画像を、表示制御部２６を介して表示部３０に表示させ、あるいは線状の遊離石灰Ｃ２のポリラインを示す損傷図のＣＡＤデータをファイル出力する。
【0110】
尚、ＣＰＵ２０は、線状の遊離石灰Ｃ２と重複していないひび割れＢの残りの部分は、そのままひび割れＢの領域を塗り潰した損傷画像を表示制御部２６を介して表示部３０に表示させ、あるいはひび割れＢのポリラインを示す損傷図のＣＡＤデータをファイル出力する。また、ひび割れＢを示す損傷画像及びＣＡＤデータと、線状の遊離石灰Ｃ２を示す損傷画像及びＣＡＤデータとは、例えば、線種（例えば、色）を変えて識別できるようにすることが好ましい。
【0111】
図１８は、損傷検出処理部による面状の遊離石灰及び線状の遊離石灰の損傷検出結果と、その出力処理との一例を示す模式図である。
【0112】
図１８（Ａ）は、図１０に示した損傷検出処理部２１（学習済みモデル２１Ａ，２１Ｃ）にそれぞれ画像１３が入力され、学習済みモデル２１Ａにより面状の遊離石灰Ｃ１の損傷領域が検出され、学習済みモデル２１Ｃにより線状の遊離石灰Ｃ２の損傷領域が検出された場合に関して示している。この場合、ＣＰＵ２０は、これらの面状の遊離石灰Ｃ１と線状の遊離石灰Ｃ２とが、それぞれ同一又は近接する位置から検出されたか否かを判定する。
【0113】
図１８（Ａ）に示す例では、面状の遊離石灰Ｃ１と線状の遊離石灰Ｃ２との一部が互いに重なって発生しているため、ＣＰＵ２０は、面状の遊離石灰Ｃ１と線状の遊離石灰Ｃ２とは、それぞれ同一又は近接する位置から検出されたものと判定する。そして、面状の遊離石灰Ｃ１と線状の遊離石灰Ｃ２とが、それぞれ同一又は近接する位置から検出されたもの判定すると、ＣＰＵ２０は、損傷種類の優先順位にしたがって損傷検出結果を出力する。
【0114】
図１８に示す例では、面状の遊離石灰Ｃ１、線状の遊離石灰Ｃ２の順に優先順位が低くなるように設定されているため、ＣＰＵ２０は、図１８（Ｂ）に示すように面状の遊離石灰Ｃ１と線状の遊離石灰Ｃ２とが重複する部分については面状の遊離石灰Ｃ１を優先させ、面状の遊離石灰Ｃ１の損傷領域を特定の色で塗り潰した損傷画像を、表示制御部２６を介して表示部３０に表示させるとともに、重複していない線状の遊離石灰Ｃ２の一部の領域を塗り潰した損傷画像を、表示制御部２６を介して表示部３０に表示させる。また、ＣＰＵ２０は、図１８（Ｃ）に示すように面状の遊離石灰Ｃ１と線状の遊離石灰Ｃ２とが重複する部分については、面状の遊離石灰Ｃ１の損傷領域を囲むポリゴンのＣＡＤデータとともに、重複していない線状の遊離石灰Ｃ２の一部のポリラインのＣＡＤデータをファイル出力する。
【0115】
図１９は、損傷検出処理部による面状の遊離石灰及び線状の遊離石灰の損傷検出結果と、その出力処理との他の例を示す模式図である。
【0116】
図１９に示す例は、図１８に示した例と比較して、面状の遊離石灰Ｃ１の優先順位と線状の遊離石灰Ｃ２の優先順位との順番が逆転して設定されており、線状の遊離石灰Ｃ２の優先順位が面状の遊離石灰Ｃ１の優先順位よりも高くなっている。
【0117】
図１９（Ａ）に示すように面状の遊離石灰Ｃ１と線状の遊離石灰Ｃ２との一部が互いに重なっている場合、ＣＰＵ２０は、図１９（Ｂ）に示すように面状の遊離石灰Ｃ１と線状の遊離石灰Ｃ２とが重複する部分については、線状の遊離石灰Ｃ２の領域を塗り潰した損傷画像を優先させて表示させ、同様に線状の遊離石灰Ｃ２のポリラインのＣＡＤデータを優先させてファイル出力する。この場合、面状の遊離石灰Ｃ１については、損傷画像もＣＡＤデータも出力されないことになる。
【0118】
図２０は、損傷検出処理部による錆汁、面状の遊離石灰及び漏水の損傷検出結果と、その出力処理との一例を示す模式図である。
【0119】
図２０（Ａ）は、図１０に示した損傷検出処理部２１（学習済みモデル２１Ａ）に画像１３が入力され、学習済みモデル２１Ａにより錆汁Ｄ、面状の遊離石灰Ｃ１及び漏水Ａの損傷領域が検出された場合に関して示している。この場合、ＣＰＵ２０は、これらの錆汁Ｄ、面状の遊離石灰Ｃ１及び漏水Ａが、それぞれ同一又は近接する位置から検出されたか否かを判定する。
【0120】
図２０（Ａ）に示す例では、漏水Ａの領域の内側に面状の遊離石灰Ｃ１が発生し、面状の遊離石灰Ｃ１の内側に錆汁Ｄが発生しているため、これらの損傷は、損傷の全部又は一部が互いに重なっている。
【0121】
図２０（Ａ）に示す錆汁Ｄ、面状の遊離石灰Ｃ１及び漏水Ａの場合、ＣＰＵ２０は、これらの損傷は、それぞれ同一又は近接する位置から検出されたものと判定する。そして、錆汁Ｄ、面状の遊離石灰Ｃ１及び漏水Ａが、それぞれ同一又は近接する位置から検出されたもの判定すると、ＣＰＵ２０は、損傷種類の優先順位にしたがって損傷検出結果を出力する。
【0122】
図２０に示す例では、錆汁Ｄ、面状の遊離石灰Ｃ１、及び漏水Ａの順に優先順位が低くなるように設定されているため、ＣＰＵ２０は、図２０（Ｂ）に示すように漏水Ａの領域の上に面状の遊離石灰Ｃ１の領域を重ね、更に面状の遊離石灰Ｃ１の領域の上に錆汁Ｄの領域を重ね、それぞれ損傷種類毎に異なる色で各領域を塗り潰した損傷画像を、表示制御部２６を介して表示部３０に表示させる。また、ＣＰＵ２０は、図２０（Ｃ）に示すように錆汁Ｄ、面状の遊離石灰Ｃ１、及び漏水Ａの各領域を囲むポリゴンのＣＡＤデータをファイル出力する。
【0123】
図２１は、損傷検出処理部による錆汁、面状の遊離石灰及び漏水の損傷検出結果と、その出力処理との他の例を示す模式図である。
【0124】
図２１に示す例は、図２０に示した例と比較して、錆汁Ｄ、面状の遊離石灰Ｃ１、及び漏水Ａの優先順位が逆転して設定されており、漏水Ａ、面状の遊離石灰Ｃ１、及び錆汁Ｄの順に優先順位が低くなるように設定されている。
【0125】
図２１（Ａ）に示すように錆汁Ｄ、面状の遊離石灰Ｃ１、及び漏水Ａの全部又は一部が互いに重なっている場合、ＣＰＵ２０は、図２１（Ｂ）に示すように優先順位が最も高い漏水Ａの領域を塗り潰した損傷画像を優先させて表示させる。この場合、漏水Ａの領域の内側に存在する錆汁Ｄ、面状の遊離石灰Ｃ１の損傷画像は表示されなくなる。また、ＣＰＵ２０は、図２１（Ｃ）に示すように優先順位が最も高い漏水Ａの領域を囲むポリゴンのＣＡＤデータを優先させてファイル出力する。この場合、漏水Ａの領域の内側に存在する錆汁Ｄ、面状の遊離石灰Ｃ１を囲むポリゴンのＣＡＤデータは出力されないことになる。
【0126】
尚、損傷種類の優先順位は、上記の例に限定されないが、損傷の重大度（より損傷が進行しているもの）に応じて優先順位を設定することが好ましい。例えば、損傷種類として、線状の遊離石灰、及びひび割れを含む線状損傷の場合、線状の遊離石灰は、ひび割れよりも優先順位を高くする。また、損傷種類として、鉄筋露出、剥離、錆汁、面状の遊離石灰、及び漏水を含む面状損傷の場合、鉄筋露出、剥離、錆汁、面状の遊離石灰、及び漏水の順に優先順位を低く設定する。
【0127】
また、損傷種類の優先順位は、操作部１８を使用してユーザが適宜設定できるようにしてもよい。この場合、ＣＰＵ２０は、ユーザにより操作される操作部１８から構造物の損傷種類の優先順位を受け付ける優先順位受付処理を行い、受け付けた優先順位を記憶部１６等に保存しておき、必要に応じて記憶部１６から優先順位を読み出して使用することができる。
【0128】
【0129】
図２２は、表示部３０に表示される画面４０の一例を示す図である。
【0130】
この画面４０には、構造物を撮影した画像上に損傷画像を重畳した合成画像、表示させる損傷種類を選択するためのチェックボックス４２、及び編集等に使用する種々のアイコンボタン類が表示されている。尚、構造物を撮影した画像に基づいて損傷検出処理部２１により検出された損傷種類毎の損傷検出結果は、損傷種類毎の損傷領域を示すレイヤー構造のＣＡＤデータとして保持することができる。
【0131】
図２２に示す例では、チェックボックス４２において、漏水、遊離石灰、錆汁、剥離、及び鉄筋露出の５つの損傷種類の全てにチェックが入っている（５つの損傷種類が選択されている）ため、画面４０に表示される構造物の画像上には、上記５つの損傷種類の損傷画像が重畳表示される。
【0132】
ここで、損傷種類に対応する損傷画像は、その損傷種類に対応するレイヤーのＣＡＤデータに基づいて損傷領域を損傷種類に応じた色で塗り潰して作成することができる。損傷種類に応じた色は、予め損傷種類に応じて設定された色、又はユーザが設定した色を使用することができる。
【0133】
図２３は、表示部３０に表示される画面４０の他の例を示す図である。
【0134】
【0135】
図２３に示す画面４０では、チェックボックス４２において、漏水、錆汁、及び鉄筋露出の３つの損傷種類にチェックが入っているため、画面４０に表示される構造物の画像上には、上記３つの損傷種類の損傷画像が重畳表示される。
【0136】
【0137】
上記の損傷検出結果出力の第２実施形態によれば、ユーザが所望の１乃至複数の損傷種類を選択することで、選択した損傷種類の損傷を示す損傷画像を表示させることができる。尚、チェックボックス４２には、画像から検出された１乃至複数の損傷種類のみを表示することが好ましい。また、損傷種類毎の損傷領域の表示方法は、図２２及び図２３に示した実施形態に限定されない。
【0138】
【0139】
図２４（Ａ）は、各種の設定を行う設定画面４４の一例を示す図である。
【0140】
【0141】
また、図２４（Ａ）に示す設定画面４４には、損傷画像の色（塗り潰し色）の透明度を設定する場合に使用するつまみ４５Ａと、透明度を表示するダイアログボックス４５Ｂとが設けられている。
【0142】
図２４（Ａ）に示す例では、損傷画像の塗り潰し色の透明度として、「１０」が設定されている。尚、本例では、不透明の場合の透明度は「０」であり、完全な透明の場合の透明度は「１００」である。
【0143】
図２４（Ｂ）は、構造物を撮影した画像上に透明度「１０」の損傷画像が重畳表示された合成画像を示す図である。
【0144】
【0145】
【0146】
【0147】
尚、図２６（Ｂ）では、塗り潰し色の透明度が「１００」であるため、塗り潰し色は、完全に透明であるが、損傷種類毎の損傷領域を囲む閉じたポリゴンは、損傷種類に応じて設定された色で表示されている。
【0148】
このようにして損傷画像を塗り潰す色の透明度を設定して損傷画像を表示することで、ユーザは、損傷画像により覆われている構造物の画像（損傷）を視認することができる。
【0149】
尚、損傷検出結果出力の第２実施形態と第３実施形態とは組み合わせて使用することができる。
【0150】
[損傷検出結果の編集]
図１０に示した損傷検出処理部２１は、構造物を撮影した画像１３を入力すると、損傷種類及び損傷種類毎の損傷領域を損傷検出結果として出力するが、損傷検出結果は、誤って検出され、又は不正確に検出される場合がある。
図１０に示した損傷検出処理部２１は、構造物を撮影した画像１３を入力すると、損傷種類及び損傷種類毎の損傷領域を損傷検出結果として出力するが、損傷検出結果は、誤って検出され、又は不正確に検出される場合がある。
【0151】
例えば、損傷領域は、ピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類されるため、正確性に欠ける場合がある。また、２本のひび割れとして検出されたひび割れは、１本のひび割れとして連結した方がよい場合がある。コンクリート内部でひび割れが繋がっていると類推できる場合があるからである。
【0152】
そこで、ＣＰＵ２０は、ユーザにより操作される操作部１８（例えば、マウス）での操作を通じて損傷検出結果の編集指示を受け付ける編集指示受付処理を行い、受け付けた編集指示にしたがって損傷検出結果を編集する編集処理を行う。
【0153】
損傷検出結果の編集例としては、同じ種類の線状損傷で、ポリラインの端点同士が近い線状損傷の場合には、端点同士を連結する編集が考えられる。この場合の編集は、損傷検出処理後に同じ種類の線状損傷のポリラインの端点同士の距離を測定し、測定した距離が閾値以下の場合には、端点同士を自動で連結してもよいし、ユーザの指示により自動で連結してもよい。閾値は、デフォルトの値を使用してもよいし、ユーザが設定できるようにしてもよい。
【0154】
また、線状損傷の長さや幅に対する閾値や、面状損傷の面積に対する閾値を設けて、閾値より小さい損傷検出結果を自動で削除するようにしてもよい。この損傷検出結果の削除は、損傷検出処理後に自動で削除してもよいし、ユーザの指示により削除してもよい。閾値は、デフォルトの値を使用してもよいし、ユーザが設定できるようにしてもよい。
【0155】
図２７及び図２８は、それぞれ損傷検出結果の編集例を示す図である。尚、損傷検出結果の編集を行う場合には、損傷検出結果出力の第３実施形態で示したように、損傷画像を塗り潰す色の透明度を高く設定し、構造物の画像が視認し易い状態にすることが好ましい。
【0156】
図２７は、損傷の領域を囲むポリゴンに頂点を追加する方法を示す図である。
【0157】
ポリゴンは、損傷の領域に沿った複数の頂点（図２７では、四角で示した頂点）を結んで描画されている。
【0158】
このポリゴンに頂点を追加する場合には、図２７（Ａ）に示すように頂点を追加したいポリゴンの線上にマウスのカーソルを合わせ、マウスを右クリックし、コンテキストメニューで[追加]を選択する。これにより、図２７（Ｂ）に示すようにポリゴンの線上に新たな頂点を追加することができる。
【0159】
そして、追加した頂点をドラッグし、本来の損傷の領域のエッジに移動させることで、損傷の領域を囲むポリゴンを編集することができる。
【0160】
図２８は、損傷の領域を囲むポリゴンから頂点を削除する方法を示す図である。
【0161】
このポリゴンから頂点を削除する場合には、図２８（Ａ）に示すように削除したい頂点にマウスのカーソルを合わせ、マウスで右クリックし（頂点を選択状態にし）、コンテキストメニューで[削除]を選択する。これにより、図２８（Ｂ）に示すようにポリゴンから頂点を削除することができる。
【0162】
図２８（Ｂ）に示すようにポリゴンから頂点が削除されると、削除された頂点の前後の頂点の間でポリゴンの線が結ばれ、これにより損傷の領域を囲むポリゴンが編集される。
【0163】
上記の編集例は、面状損傷のポリゴンにおける頂点の追加、削除等の編集について説明したが、線状損傷のポリラインにおける頂点の追加、削除等の編集も同様に行うことができる。
【0164】
また、編集機能として、ポリラインまたはポリゴン全体を、頂点を結ぶ線をクリックする等により選択状態にし、ポリラインまたはポリゴンの全体の一括削除する機能や、損傷の検出漏れ箇所に対し、手動でポリラインまたはポリゴンを新たに追加する機能等を有する。
【0165】
[点検支援方法]
図２９は、本発明係る点検支援方法の実施形態を示すフローチャートである。
図２９は、本発明係る点検支援方法の実施形態を示すフローチャートである。
【0166】
【0167】
図２９において、プロセッサは、点検対象の構造物を撮影した画像を画像取得部１２又は画像データベース１４等から取得する（ステップＳ１０）。
【0168】
損傷検出処理部２１（図１０）は、ステップＳ１０で取得した画像に基づいて構造物の損傷を検出する（ステップＳ１２）。
【0169】
プロセッサは、ステップＳ１２で行われる損傷検出により、損傷が検出されたか否かを判別し（ステップＳ１４）、損傷が検出されている場合（「Yes」の場合）には、２種類以上の損傷が検出されたか否かを判別する（ステップＳ１６）。
【0170】
ステップＳ１６により２種類以上の損傷が検出されたことが判別されると（「Yes」の場合）、プロセッサは、更にその２種類以上の損傷のうち、同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定する（ステップＳ１８）。
【0171】
そして、ステップＳ１８により、同一又は近接する位置から２種類以上の損傷が検出されたことが判定されると（「Yes」の場合）、プロセッサは、損傷種類の優先順位にしたがって損傷検出結果を出力する（ステップＳ２０）。損傷検出結果の出力は、例えば、画像上に損傷画像を重畳し、又は損傷画像単独で表示部に表示し、又は損傷図を示すＣＡＤデータをファイル出力することにより行われる。
【0172】
一方、ステップＳ１６で２種類以上の損傷が検出されない場合（「No」の場合）、即ち、１種類の損傷のみが検出された場合、あるいはステップＳ１８で２種類以上の損傷が、同一又は近接する位置から検出されていないと判定された場合（「No」の場合）には、ステップＳ２２に遷移し、ステップＳ２２では、１乃至２種類以上の損傷検出結果をそのまま出力する。
【0173】
[その他]
本発明に係る点検支援装置を実現するハードウエアは、各種のプロセッサ（processor）で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device；ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。点検支援装置を構成する１つの処理部は、上記各種プロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip；ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウエア的な構造として、上記各種プロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
本発明に係る点検支援装置を実現するハードウエアは、各種のプロセッサ（processor）で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device；ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。点検支援装置を構成する１つの処理部は、上記各種プロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip；ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウエア的な構造として、上記各種プロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
【0174】
また、本発明は、コンピュータにインストールされることにより、コンピュータを本発明に係る点検支援装置として機能させる点検支援プログラム、及びこの点検支援プログラムが記録された記憶媒体を含む。
【0175】
更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【0176】
１ 橋梁
２ 主桁
３ 横桁
４ 対傾構
５ 横構
６ 床版
７ 橋脚
１０ 点検支援装置
１２ 画像取得部
１３ 画像
１４ 画像データベース
１６ 記憶部
１８ 操作部
２０ ＣＰＵ
２１ 損傷検出処理部
２１Ａ 学習済みモデル
２２ ＲＡＭ
２４ ＲＯＭ
２６ 表示制御部
２７Ａ～２７Ｃ 損傷検出結果
３０ 表示部
４０ 画面
４２ チェックボックス
４４ 設定画面
４５Ａ つまみ
４５Ｂ ダイアログボックス
Ａ 漏水
Ｂ、Ｃ１～Ｃ５ ひび割れ
Ｃ１ 遊離石灰（面状）
Ｃ２ 遊離石灰（線状）
Ｄ 錆汁
Ｅ 剥離
Ｆ 鉄筋露出
Ｈ１ 剥離
Ｌ１～Ｌ６ 最短距離
Ｐ１～Ｐ６ 注目点
Ｓ１０～Ｓ２２ ステップ
Ｘ，Ｙ ポリライン
２ 主桁
３ 横桁
４ 対傾構
５ 横構
６ 床版
７ 橋脚
１０ 点検支援装置
１２ 画像取得部
１３ 画像
１４ 画像データベース
１６ 記憶部
１８ 操作部
２０ ＣＰＵ
２１ 損傷検出処理部
２１Ａ 学習済みモデル
２２ ＲＡＭ
２４ ＲＯＭ
２６ 表示制御部
２７Ａ～２７Ｃ 損傷検出結果
３０ 表示部
４０ 画面
４２ チェックボックス
４４ 設定画面
４５Ａ つまみ
４５Ｂ ダイアログボックス
Ａ 漏水
Ｂ、Ｃ１～Ｃ５ ひび割れ
Ｃ１ 遊離石灰（面状）
Ｃ２ 遊離石灰（線状）
Ｄ 錆汁
Ｅ 剥離
Ｆ 鉄筋露出
Ｈ１ 剥離
Ｌ１～Ｌ６ 最短距離
Ｐ１～Ｐ６ 注目点
Ｓ１０～Ｓ２２ ステップ
Ｘ，Ｙ ポリライン
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】