特許 7595730 補修図生成装置、補修図生成方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-28

(45)【発行日】2024-12-06

(54)【発明の名称】補修図生成装置、補修図生成方法及びプログラム

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20241129BHJP

   G06Q 10/20 20230101ALI20241129BHJP

   G01N 21/88 20060101ALI20241129BHJP

   E04G 23/02 20060101ALI20241129BHJP

【ＦＩ】

G06Q50/08

G06Q10/20

G01N21/88 J

E04G23/02 B ESW

【請求項の数】 14

(21)【出願番号】P 2023184779

(22)【出願日】2023-10-27

(62)【分割の表示】P 2021534578の分割

【原出願日】2020-06-03

(65)【公開番号】P2024008977

(43)【公開日】2024-01-19

【審査請求日】2023-10-27

(31)【優先権主張番号】P 2019136758

(32)【優先日】2019-07-25

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100153822

【弁理士】

【氏名又は名称】増田 重之

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(72)【発明者】

【氏名】堀田 修平

【審査官】阿部 潤

(56)【参考文献】

【文献】特開２０１９－５７１９２（ＪＰ，Ａ）

【文献】特開２０１４－９５５６５（ＪＰ，Ａ）

【文献】特開２０１７－１６７９６９（ＪＰ，Ａ）

【文献】特開２００４－３４０５９０（ＪＰ，Ａ）

【文献】特開２０１９－４９９５１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

Ｇ０１Ｎ ２１／８８

Ｅ０４Ｇ ２３／０２

(57)【特許請求の範囲】

【請求項1】

構造物の撮影画像を取得する画像取得部と、
前記撮影画像から画像処理により損傷を検出し、前記損傷の程度を特定する損傷検出部と、
前記損傷及び前記損傷の程度に基づいて、前記損傷の補修工法を特定する工法特定部と、
前記損傷及び前記補修工法に基づいて、前記損傷を補修するための補修領域及び前記補修工法を示す補修図を生成する補修図生成部と、
前記補修図に基づいて、前記補修領域のサイズを算出する補修算出部と、
前記補修領域の前記サイズを含む補修数量表を生成する補修数量表生成部と、
を備える補修図生成装置。

【請求項2】

前記補修図生成部は、前記損傷の形状よりも大きな領域を前記補修領域として、前記補修図を生成する請求項１に記載の補修図生成装置。

【請求項3】

前記補修領域の前記サイズ及び前記補修工法に基づいて、前記損傷の補修費を算出する補修費算出部を備える請求項１に記載の補修図生成装置。

【請求項4】

前記補修図、前記補修数量表及び前記補修費のうち少なくとも一つを第１の検出結果として表示部に表示する第１の表示制御部を備える請求項３に記載の補修図生成装置。

【請求項5】

前記損傷に基づいて、前記損傷を表す損傷図を生成する損傷図生成部を備える請求項４に記載の補修図生成装置。

【請求項6】

前記損傷の前記程度を含む損傷数量表を生成する損傷数量表生成部と、
を備える請求項５に記載の補修図生成装置。

【請求項7】

前記損傷図及び前記損傷数量表のうち少なくとも一つを第２の検出結果として前記表示部に表示する第２の表示制御部を備える請求項６に記載の補修図生成装置。

【請求項8】

前記第１の表示制御部と前記第２の表示制御部とは、前記第１の検出結果と、前記第２の検出結果とを切り換えて表示する請求項７に記載の補修図生成装置。

【請求項9】

前記第１の表示制御部と前記第２の表示制御部とは、前記第１の検出結果と前記第２の検出結果とを並べて同時に表示させる請求項７に記載の補修図生成装置。

【請求項10】

前記第１の検出結果に対して、編集の指示を受け付ける第１の編集受付部を備える請求項４から９のいずれか１項に記載の補修図生成装置。

【請求項11】

前記第２の検出結果に対して、編集の指示を受け付ける第２の編集受付部を備える請求項７から９のいずれか１項に記載の補修図生成装置。

【請求項12】

前記画像取得部で取得された複数の前記撮影画像をパノラマ合成するパノラマ合成部を備える請求項１から１１のいずれか１項に記載の補修図生成装置。

【請求項13】

コンピュータにより行われる、構造物の撮影画像を取得する画像取得ステップと、
コンピュータにより行われる、前記撮影画像から画像処理により損傷を検出し、前記損傷の程度を特定する損傷検出ステップと、
コンピュータにより行われる、前記損傷及び前記損傷の程度に基づいて、前記損傷の補修工法を特定する工法特定ステップと、
コンピュータにより行われる、前記損傷及び前記補修工法に基づいて、前記損傷を補修するための補修領域及び前記補修工法を示す補修図を生成する補修図生成ステップと、
コンピュータにより行われる、前記補修図に基づいて、前記補修領域のサイズを算出する補修算出ステップと、
コンピュータにより行われる、前記補修領域の前記サイズを含む補修数量表を生成する補修数量表生成ステップと、
を含む補修図生成方法。

【請求項14】

構造物の撮影画像を取得する画像取得ステップと、
前記撮影画像から画像処理により損傷を検出し、前記損傷の程度を特定する損傷検出ステップと、
前記損傷及び前記損傷の程度に基づいて、前記損傷の補修工法を特定する工法特定ステップと、
前記損傷及び前記補修工法に基づいて、前記損傷を補修するための補修領域及び前記補修工法を示す補修図を生成する補修図生成ステップと、
前記補修図に基づいて、前記補修領域のサイズを算出する補修算出ステップと、
前記補修領域の前記サイズを含む補修数量表を生成する補修数量表生成ステップと、
を含む補修図生成工程をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、補修図生成装置、補修図生成方法及びプログラムに関し、特に、構造物を撮影した撮影画像から補修図を生成する補修図生成装置、補修図生成方法及びプログラムに関する。

【背景技術】

【0002】

従来より、検査対象である構造物の撮影画像を取得し、その撮影画像に基づいてひびわれ等の損傷を検出する技術が用いられてきた。

【0003】

例えば、特許文献１には、構造物を撮影し、その撮影画像から欠陥を検出し、欠陥を補修するためのコストの計算を簡便かつ正確に行うことを目的とした技術が記載されている。特許文献１に記載された技術では、評価対象物の撮影画像が取得され、パターン抽出等の手法により、撮影画像内に存在する損傷の個数、種類及び大きさが検出される。そして、検出された損傷の個数、種類及び大きさに基づいて補修コストが算出されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００２－２２２２８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載されている技術では、検出された損傷の大きさに基づいて、補修コストが算出されているが、実際に補修を行う大きさと検出された損傷の大きさとは異なる場合がある。例えば、コンクリート壁の剥離箇所を補修する場合には、剥離箇所の周辺部分も含めて補修が行われる場合がある。

【0006】

また、実際に補修領域及び補修工法を示す補修図を利用して、補修工事の計画書や、補修前調査の報告書が作成される場合があり、その場合には補修図を生成する必要がある。しかしながら、特許文献１に記載されている技術では、補修領域及び補修工法を示す補修図は生成されていなく、例えばユーザが手作業で補修図を生成する必要がある。

【0007】

本発明はこのような事情に鑑みてなされ、その目的は、構造物の撮影画像から補修を行う補修領域及び補修工法を示す補修図を正確に且つ効率的に生成する補修図生成装置、補修図生成方法及びプログラムを提供することである。

【課題を解決するための手段】

【0008】

上記目的を達成するための本発明の一の態様である補修図生成装置は、構造物の撮影画像を取得する画像取得部と、撮影画像から画像処理により損傷を検出し、損傷の程度を特定する損傷検出部と、損傷及び損傷の程度に基づいて、損傷の補修工法を特定する工法特定部と、損傷及び補修工法に基づいて、損傷を補修するための補修領域及び補修工法を示す補修図を生成する補修図生成部と、を備える。

【0009】

本態様によれば、損傷検出部により、損傷が検出され、その損傷の程度が特定される。そして、本態様は、損傷及び損傷の程度に基づいて損傷の補修工法を特定し、損傷及び補修工法に基づいて損傷を補修するための補修領域及び補修工法を示す補修図を正確に且つ効率的に生成する。

【0010】

好ましくは、補修図生成部は、損傷が撮影画像において複数のひび割れであり、複数のひびわれ同士が閾値以下に近接している場合には、接近しているひび割れ同士を接続して補修図を生成する。

【0011】

好ましくは、補修図生成部は、損傷の形状よりも大きな領域を補修領域として、補修図を生成する。

【0012】

好ましくは、補修図生成装置は、補修図に基づいて、補修領域のサイズを算出する補修算出部と、補修領域のサイズを含む補修数量表を生成する補修数量表生成部と、を備える。

【0013】

好ましくは、補修図生成装置は、補修領域のサイズ及び補修工法に基づいて、損傷の補修費を算出する補修費算出部を備える。

【0014】

好ましくは、補修図生成装置は、補修図、補修数量表及び補修費のうち少なくとも一つを第１の検出結果として表示部に表示する第１の表示制御部を備える。

【0015】

好ましくは、補修図生成装置は、損傷に基づいて、損傷を表す損傷図を生成する損傷図生成部を備える。

【0016】

好ましくは、補修図生成装置は、損傷の程度を含む損傷数量表を生成する損傷数量表生成部と、を備える。

【0017】

好ましくは、補修図生成装置は、損傷図及び損傷数量表のうち少なくとも一つを第２の検出結果として表示部に表示する第２の表示制御部を備える。

【0018】

好ましくは、第１の表示制御部と第２の表示制御部とは、第１の検出結果と、第２の検出結果とを切り換えて表示する。

【0019】

好ましくは、第１の表示制御部と第２の表示制御部とは、第１の検出結果と第２の検出結果とを並べて同時に表示させる。

【0020】

好ましくは、補修図生成装置は、第１の検出結果に対して、編集の指示を受け付ける第１の編集受付部を備える。

【0021】

好ましくは、補修図生成装置は、第２の検出結果に対して、編集の指示を受け付ける第２の編集受付部を備える。

【0022】

好ましくは、補修図生成装置は、画像取得部で取得された複数の撮影画像をパノラマ合成するパノラマ合成部を備える。

【0023】

本発明の他の態様である補修図生成方法は、構造物の撮影画像を取得する画像取得ステップと、撮影画像から画像処理により損傷を検出し、損傷の程度を特定する損傷検出ステップと、損傷及び損傷の程度に基づいて、損傷の補修工法を特定する工法特定ステップと、損傷及び補修工法に基づいて、損傷を補修するための補修領域及び補修工法を示す補修図を生成する補修図生成ステップと、を含む。

【0024】

本発明の他の態様であるプログラムは、構造物の撮影画像を取得する画像取得ステップと、撮影画像から画像処理により損傷を検出し、損傷の程度を特定する損傷検出ステップと、損傷及び損傷の程度に基づいて、損傷の補修工法を特定する工法特定ステップと、損傷及び補修工法に基づいて、損傷を補修するための補修領域及び補修工法を示す補修図を生成する補修図生成ステップと、を含む補修図生成工程をコンピュータに実行させる。

【発明の効果】

【0025】

本発明は、損傷検出部により、損傷が検出されその損傷の程度を特定し、損傷及び損傷の程度に基づいて損傷の補修工法を特定し、損傷及び補修工法に基づいて損傷を補修するための補修領域及び補修工法を示す補修図を正確に且つ効率的に生成する。

【図面の簡単な説明】

【0026】

【図1】図１は、補修図生成装置が搭載されるコンピュータを示す概念図である。

【図2】図２は、コンピュータのハードウェア構成の一例を示すブロック図である。

【図3】図３は、撮影画像を模式的に示す図である。

【図4】図４は、補修図生成装置の主な構成例を示すブロック図である。

【図5】図５は、補修工法選定工程の一例を示すフローチャートである。

【図6】図６は、ひびわれの補修図を作成する場合の例について説明する図である。

【図7】図７は、剥離の補修図を作成する場合の例について説明する図である。

【図8】図８は、補修図の例を示す図である。

【図9】図９は、補修図生成方法を説明するフローチャートである。

【図10】図１０は、補修図生成装置の主な構成例を示すブロック図である。

【図11】図１１は、補修数量表の一例を示す図表である。

【図12】図１２は、補修費データベースの記憶構成例を示す図である。

【図13】図１３は、補修数量表の変形例を示す図である。

【図14】図１４は、補修図生成装置の主な機能構成例を示すブロック図である。

【図15】図１５は、損傷図を示す図である。

【図16】図１６は、損傷数量表を示す図である。

【図17】図１７は、撮影画像に重畳させて補修図を表示させた表示例を示す。

【図18】図１８は、撮影画像に重畳させて損傷図を表示させた表示例を示す。

【図19】図１９は、第１の検出結果と第２の検出結果との交互表示を概念的に示し図である。

【図20】図２０は、第１の検出結果と第２の検出結果とを並べて同時に表示する場合を示した図である。

【発明を実施するための形態】

【0027】

以下、添付図面に従って本発明の実施形態にかかる補修図生成装置、補修図生成方法及びプログラムの好ましい実施の形態について説明する。

【0028】

図１は、本発明の実施形態にかかる補修図生成装置１０（図４参照）が搭載されるコンピュータ１を示す概念図である。コンピュータ１は、コンピュータ本体１ａ、表示部３、及び操作部５を含む。

【0029】

表示部３は、コンピュータ１に接続可能な液晶モニタ等の各種のモニタで構成される。表示部３は、構造物を撮影した撮影画像を表示する。また、表示部３は、第１の検出結果である補修図、補修数量表及び補修費のうち少なくとも一つを表示する。また、表示部３は、第２の検出結果である損傷図及び損傷数量表のうち少なくとも一つを表示する。

【0030】

操作部５は、コンピュータ１に有線接続又は無線接続されるキーボード及びマウス等で構成される。ユーザは、表示部３に表示された第１及び第２の検出結果を確認し、操作部（第１の編集受付部、第２の編集受付部）５を介して修正等の入力を行い、第１及び第２の検出結果を修正又は変更を行うことができる。

【0031】

図２は、コンピュータ１のハードウェア構成の一例を示すブロック図である。

【0032】

コンピュータ１のハードウェア構成は、主として画像取得部１２と、記憶部１６と、操作部５と、ＣＰＵ（Central Processing Unit）２０と、ＲＡＭ(Random Access Memory)２２と、ＲＯＭ(Read Only Memory)２４と、表示部３とから構成されている。

【0033】

画像取得部１２は、入出力インターフェースに相当し、本例ではカメラ（不図示）で撮影された撮影画像を無線又は有線で取得する。カメラは、点検対象である構造物の撮影画像を取得する。画像取得部１２は、点検対象である構造物を分割して撮影することにより得られた分割画像である撮影画像を取得してもよいし、構造物が1枚の画像で収まっている撮影画像を取得してもよい。点検対象の構造物は、例えば、ビル、橋梁、トンネルである。

【0034】

図３は、画像取得部１２で取得された点検対象の構造物である橋梁の一部を撮影した撮影画像を模式的に示す図である。撮影画像Ｐには、ひびわれＪ１～Ｊ５及び剥離Ｋ１が写っている。

【0035】

記憶部１６は、ハードディスク装置、フラッシュメモリ等から構成される記憶部１６であり、オペレーティングシステム、損傷の検出プログラム、補修図生成プログラム、補修工法選定プログラム、補修数量表の生成プログラム、補修費の算出のためのデータベース、損傷図生成プログラム、損傷数量表の生成プログラム等、補修図生成装置１０を機能させるプログラムを記憶する。なお、各種プログラムは、図示しない外部記録媒体に記録されて配布され、その記録媒体からＣＰＵ２０によりインストールされてもよい。又は、各種プログラムは、ネットワークに接続されたサーバ等に、外部からアクセス可能な状態で記憶され、要求に応じてＣＰＵ２０により記憶部１６にダウンロードされ、インストール及び実行されてもよい。

【0036】

ＣＰＵ２０は、記憶部１６又はＲＯＭ２４等に記憶された各種のプログラムを読み出し、各部を統括制御する。また、ＣＰＵ２０は、後で説明する第１の検出結果（補修図、補修数量表又は補修費）を生成する各種処理、及び第２の検出結果（損傷図又は損傷数量表）を実行する。

【0037】

ＲＡＭ２２は、ＣＰＵ２０の作業領域として使用され、読み出されたプログラムや各種のデータを一時的に記憶する記憶部として用いられる。

【0038】

＜第１の実施形態＞
次に、本発明の第１の実施形態の補修図生成装置１０に関して説明する。

【0039】

図４は、本実施形態の補修図生成装置１０の主な構成例を示すブロック図である。

【0040】

補修図生成装置１０は、主に画像取得部１２、及びＣＰＵ２０を備える。本実施形態のＣＰＵ２０は、記憶部１６又はＲＯＭ２４等に記憶された各種のプログラムを実行することにより、当該ＣＰＵ２０が損傷検出部２０Ａ、工法特定部２０Ｂ、補修図生成部２０Ｃ、及び第１の表示制御部２０Ｄとして機能する。

【0041】

損傷検出部２０Ａは、撮影画像から画像処理により損傷を検出し、検出した損傷の程度を特定する。損傷検出部２０Ａは、検出する損傷の種類に応じて構築される。例えば、損傷検出部２０Ａは、各種の損傷を検出するように機械学習を施されたＡＩ（artificial intelligence）検出器により構築される。検出器の具体例としては、剥離検出器、鉄筋露出検出器、漏水検出器、遊離石灰検出器等であり、損傷検出部２０Ａは、単数又は複数の検出器により構築される。

【0042】

損傷検出部２０Ａは、損傷を検出して、そして検出した損傷の程度を特定する。ここで、損傷の程度とは、例えば損傷の実際の長さ、幅、面積、深さ、鉄筋腐食の有無、錆汁の有無などの情報を含み、後で説明する補修工法の選定に使用される項目を含む。

【0043】

損傷検出部２０Ａは、ひびわれ検出器及び剥離検出器で構築され、撮影画像ＰからひびわれＪ１～Ｊ５及び剥離Ｋ１を検出する。例えば損傷検出部２０Ａは、ひびわれ検出器によりひびわれＪ１～Ｊ５を検出し、剥離検出器により剥離Ｋ１を検出する。そして、損傷検出部２０Ａは、ひびわれ検出器によりひびわれＪ１～Ｊ５の程度、及び剥離検出器により剥離Ｋ１の程度を特定する。

【0044】

損傷検出部２０Ａは、損傷の種類及び損傷の程度を工法特定部２０Ｂに出力する。

【0045】

工法特定部２０Ｂは、検出された損傷に基づいて損傷の補修工法を特定する。具体的には、工法特定部２０Ｂは、記憶部１６に記憶されている補修工法選定プログラムを用いて、損傷及び損傷の程度により、損傷の補修工法を選定する。

【0046】

図５は、補修工法選定工程の一例を示すフローチャートである。なお、図５は、橋梁補修補強マニュアル（長崎県土木部）から引用したフローチャートである。

【0047】

先ず、工法特定部２０Ｂは、損傷検出部２０Ａで検出された損傷が「ひびわれ」「床板ひびわれ」「漏水・遊離石灰」である場合には、損傷検出部２０Ａで鉄筋腐食及び錆汁の有無が検出されたかを判定する（ステップＳ１０）。そして、工法特定部２０Ｂは、鉄筋腐食及び錆汁が無い場合には、ひびわれ補修工により補修が行われることを選定する（ステップＳ１１）。次に、工法特定部２０Ｂは、ひびわれ幅の判定を行う（ステップＳ１２）。工法特定部２０Ｂは、損傷検出部２０Ａが検出したひびわれの幅ｔがｔ≦０．２ｍｍの場合には基本的に補修を行わないことを選定する（ステップＳ１３）。また、工法特定部２０Ｂは、ひびわれ幅ｔが０．２ｍｍ＜ｔ＜０．５ｍｍの場合にはひびわれ注入工を選定する（ステップＳ１４）。また、工法特定部２０Ｂは、ひびわれ幅ｔが０．５ｍｍ≦ｔである場合にはひびわれ充填工を選定する（ステップＳ１５）。

【0048】

ここで、ひびわれ注入工は、ひびわれに沿ってコンクリートをカットし、補修材を専用の治具を用いて所定の注入圧力で注入する工法である。また、ひびわれ充填工は、ひびわれに沿ってコンクリートをカットし、その部分に補修材を充填する工法である。

【0049】

一方、工法特定部２０Ｂは、損傷検出部２０Ａで検出された損傷の種類が「剥離・鉄筋露出」「うき」である場合、また損傷の種類が「ひびわれ」「床板ひびわれ」「漏水・遊離石灰」であり、鉄筋腐食及び錆汁がある場合には、断面修復工を選定する（ステップＳ１６）。次に、工法特定部２０Ｂは、損傷検出部２０Ａで検出した欠損部の深さと面積の判定を行う（ステップＳ１７）。工法特定部２０Ｂは、欠損部面積が０．５ｍ ^２以下である場合には左官工法を選定する（ステップＳ１８）。また、工法特定部２０Ｂは、欠損部の深さが３～５ｃｍであり欠損部の面積が０．５ｍ ^２以上である場合には型枠注入工法を選定する（ステップＳ１９）。また、工法特定部２０Ｂは、欠損部の深さが５ｃｍ以上であり、欠損部の面積が０．５ｍ ^２以上である場合にはプレパックドコンクリート工法を選定する（ステップＳ２０）。

【0050】

ここで、左官工法は断面修復材を塗りつける工法であり、型枠注入工法は型枠を設置して注入材を注入する工法であり、プレパックドコンクリート工法は、先に型枠内に粗骨材を投入し、次いでモルタルを注入填充して造るコンクリートを使用して補修する工法である。

【0051】

なお、図５で説明した補修工法の選定工程は、具体例の一つであり補修工法の選定はこれに限定されず、様々な補修工法の選定を使用することができる。また、補修工法の選定で必要な情報は、損傷検出部２０Ａ又はユーザの操作部５を介しての入力から取得される。

【0052】

図４に戻って、補修図生成部２０Ｃは、検出された損傷及び補修工法に基づいて、損傷を補修するための補修領域及び補修工法を示す補修図を生成する。補修図生成部２０Ｃは、様々な手法により補修図を生成する。例えば、補修図生成部２０Ｃは、機械学習が施された補修図生成器により撮影画像Ｐから各損傷の補修図を生成する。すなわち、この場合補修図生成部２０Ｃは、撮影画像Ｐから直接的に補修図を生成する。また、補修図生成部２０Ｃは、撮影画像Ｐから検出された損傷に対して予め決められた処理を施すことにより、検出された損傷の補修図を生成する。以下に補修図生成の具体例を説明する。なお、補修図生成部２０Ｃは、例えば図５で説明したステップＳ１３のように、工法特定部２０Ｂにより補修しないと選定された損傷に関しては補修図を生成しない。

【0053】

図６は、ひびわれの補修図を作成する場合の例について説明する図である。図６（Ａ）では、ひびわれＪ３及びひびわれＪ４が示されており、図６（Ｂ）では補修図Ａ２が示されている。補修図Ａ２は、ひびわれＪ３及びひびわれＪ４に基づいて補修図生成部２０Ｃに生成される。

【0054】

図６に示されているように、ひびわれＪ３の端部３１とひびわれＪ４の端部３３とは近接しているので、ひびわれＪ３とひびわれＪ４とは結合した補修図Ａ２が生成される。このように、ひびわれが近接している場合には、表面上（撮影画像上）ではつながっていない場合であっても、内部では、ひびわれがつながっており、この場合には充填剤などが余分に必要になる。従って、補修図生成部２０Ｃは、損傷検出部２０Ａで検出された損傷が撮影画像において複数のひびわれであり、複数のひびわれ同士が閾値以下に接近している場合には、その接近しているひびわれ同士を接続して補修図を生成する。これにより、ユーザは正確な補修領域を得ることができ、充填剤等の準備を適切に行うことができる。なお、この閾値は、点検対象である構造物や構造物の材質等に基づいて、ユーザによって決定される。なお、ひびわれ同士を結合させる場合には、ひびわれ端付近の方向性も考慮してもよい。具体的には、補修図生成部２０Ｃは、ひびわれ端部付近の方向ベクトルの角度差が閾値以下である場合に、ひびわれ同士を結合して、補修図を生成する。

【0055】

補修図Ａ２は、ひびわれＪ３及びひびわれＪ４がひびわれ補修工により補修されることを表す。例えば、補修図Ａ２は赤線により表されており、これによりひびわれ補修工により補修図Ａ２の領域が補修されることを示す。

【0056】

図７は、剥離Ｋ１の補修図を作成する場合の例について説明する図である。なお、図７では、剥離Ｋ１の領域のみを示す。

【0057】

図７には、剥離Ｋ１の損傷領域が示されており、示された損傷領域の外接長方形領域３５を点線で示す。剥離Ｋ１を補修する場合には、断面修復工のいずれかの工法に補修されるが、補修する（コンクリートをはつる）領域は、実際の剥離Ｋ１の領域よりも大きくなる。従って、補修図生成部２０Ｃは、外接長方形領域３５から＋αｍｍ外側に上下左右と拡張した領域を補修図Ｄ１として生成する。なお、外接長方形領域３５を拡張するためのαは予め決められた数値であり、ユーザによって調整が可能である。また、外接長方形領域３５を拡張するためのαは、損傷領域の面積等に応じて自動で決定されてもよい。この場合には例えば、損傷領域の面積が大きい程αの数値は大きく設定される。なお、補修図Ｄ１は、例えば青線により表されており、これにより断面修復工により補修図Ｄ１の領域が補修されることを示す。

【0058】

図４に戻って、第１の表示制御部２０Ｄは、第１の検出結果（補修図、補修数量表及び補修費のうち少なくとも一つ）を表示部３に表示する。例えば第１の表示制御部２０Ｄは、補修図を表示部３に表示する。なお、補修数量表及び補修費に関しては後で説明する。

【0059】

図８は、撮影画像Ｐに対応する補修図Ｑの例を示す図である。補修図Ｑは、補修図Ａ１、補修図Ａ２及び補修図Ｄ１を有する。

【0060】

補修図生成部２０Ｃは、ひびわれＪ１及びひびわれＪ２に基づいて補修図Ａ１を生成している。ひびわれＪ１とひびわれＪ２は閾値以下の距離で近接しているので、一本の補修図Ａ１が生成される。また、補修図生成部２０Ｃは、ひびわれＪ３及びひびわれＪ４に基づいて補修図Ａ２を生成している。ひびわれＪ３とひびわれＪ４は閾値以下の距離で近接しているので、一本の補修図Ａ２が生成される。なお、補修図Ａ１及び補修図Ａ２は、例えば赤線で表されており、ひびわれ補修工で補修されることが示されている。

【0061】

また、補修図生成部２０Ｃは、ひびわれＪ５に対応する補修図を生成しない。これは、ひびわれＪ５の幅は閾値以下であり、補修が行われないので（例えば図５のステップＳ１３）補修図は作成されていない。

【0062】

補修図生成部２０Ｃは、剥離Ｋ１に基づいて補修図Ｄ１を生成している。補修図Ｄ１が示す領域は、剥離Ｋ１の外接長方形の領域から上下左右にαｍｍ外側に拡張した領域である。なお、補修図Ｄ１は、例えば青線で表されており、断面修復工で補修されることが示されている。

【0063】

図９は、補修図生成装置１０を使用した補修図生成方法（補修図生成工程）を説明するフローチャートである。

【0064】

先ず、画像取得部１２は、構造物の撮影画像を取得する（画像取得ステップ：ステップＳ１０）。その後、損傷検出部２０Ａにより、撮影画像から画像処理により損傷を検出し、検出された損傷の程度を特定する（損傷検出ステップ：ステップＳ１１）。次に、工法特定部２０Ｂにより、損傷の補修工法を特定する（工法特定ステップ：ステップＳ１２）。その後、補修図生成部２０Ｃにより、損傷を補修するための補修領域を示す補修図を生成する（補修図生成ステップ：ステップＳ１３）。

【0065】

上記実施形態において、各種の処理を実行する処理部（例えば損傷検出部２０Ａ、工法特定部２０Ｂ、補修図生成部２０Ｃ、第１の表示制御部２０Ｄ）（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0066】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

【0067】

上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

【0068】

以上で説明したように、損傷検出部２０Ａにより、撮影画像ＰからひびわれＪ１～Ｊ５及び剥離Ｋ１が検出され、ひびわれＪ１～Ｊ５及び剥離Ｋ１を補修するための補修工法が特定され、補修図生成部２０Ｃは、補修図Ａ１、補修図Ａ２及び補修図Ｄ１を正確かつ効率的に生成することができる。

【0069】

＜第２の実施形態＞
次に、補修図生成装置１０の第２の実施形態に関して説明する。本実施形態においては、第１の検出結果である補修数量表、及び補修費が生成される。

【0070】

図１０は、本実施形態の補修図生成装置１０の主な構成例を示すブロック図である。

【0071】

なお、図４で既に説明を行った箇所は同じ符号を付し説明は省略する。

【0072】

補修図生成装置１０は、主に画像取得部１２、及びＣＰＵ２０を備える。本実施形態のＣＰＵ２０は、記憶部１６又はＲＯＭ２４等に記憶された各種のプログラムを実行することにより、当該ＣＰＵ２０が損傷検出部２０Ａ、工法特定部２０Ｂ、補修図生成部２０Ｃ、第１の表示制御部２０Ｄ、補修算出部２０Ｅ、補修数量表生成部２０Ｆ、及び補修費算出部２０Ｇとして機能する。

【0073】

補修算出部２０Ｅは、補修図に基づいて補修領域の大きさを算出する。補修算出部２０Ｅは、補修図に基づいて、実際に補修する大きさを算出する。例えば、補修算出部２０Ｅは、損傷図の幅、長さ及び面積から実際の補修を行う領域の幅、長さ及び面積を算出する。例えば、補修算出部２０Ｅは、補修図の長さと実際の構造物上での長さとの関係式を有しており、その関係式を用いて、補修図から実際に補修を行う領域の幅、長さ及び面積を算出する。関係式は、様々な手法により取得される。例えば、撮影画像Ｐ（又はパノラマ合成されている場合にはパノラマ合成画像）の１画素あたりの実寸サイズ情報を取得したり、撮影画像Ｐ（又はパノラマ合成画像）に写る構造物の一部あるいは全体のサイズ情報を取得して、１画素あたりの実寸サイズ情報に換算することで、関係式を取得することができる。

【0074】

補修数量表生成部２０Ｆは、損傷の補修工法及び補修領域の大きさを含む補修数量表を生成する。具体的には、補修数量表生成部２０Ｆは、各補修図が有する情報を文字情報にして表にする。

【0075】

図１１は、補修図Ｑに対応する補修数量表の一例を示す図表である。

【0076】

図１１に示す補修数量表では、補修ＩＤ、補修工法種類、補修領域のサイズ（幅、長さ及び面積）の項目を有し、補修箇所（補修図）毎に各項目に対応する情報が記載されている。補修ＩＤは、各補修図に付される個別のＩＤである。補修工法種類は、工法特定部２０Ｂで特定された各補修図の補修工法が示されている。サイズ（幅、長さ及び面積）は、補修算出部２０Ｅで算出された補修領域の大きさが示されている。

【0077】

図１０に戻って、補修費算出部２０Ｇは、補修領域のサイズ及び補修工法に基づいて、損傷の補修費を算出する。補修費算出部２０Ｇは、補修領域のサイズ及び補修工法に基づいて、記憶部１６に記憶されている補修費データベースを参照して補修費を算出する。

【0078】

図１２は、補修費データベースの記憶構成例を示す図である。

【0079】

図１２で示す例では、補修工法大分類、補修工法小分類、及び単位補修費がそれぞれ関連付けられて記憶されている。

【0080】

補修工法大分類がひびわれ補修工で、補修工法小分類がひびわれ注入工である場合には、補修費は１０，０００円／ｍで計算される。また、補修工法大分類がひびわれ補修工で、補修工法小分類がひびわれ充填工である場合には、補修費は２５，０００円／ｍで計算される。また、補修工法大分類が断面修復工である場合には、補修工法小分類が左官工法だと５０，０００円／ｍ^２、補修工法小分類が型枠注入工法だと１５０，０００円／ｍ^２、補修工法小分類がプレパックドコンクリート工法だと３００，０００円／ｍ^２の補修費が発生する。

【0081】

なお、上述した補修費データベースは一例であり、本発明は他の補修費データベースも用いられる。

【0082】

図１３は、図１１で示した補修数量表の変形例を示す図である。

【0083】

図１３に示された補修数量表の変形例では、補修ＩＤ、補修工法種類、補修領域のサイズ（幅、長さ及び面積）、補修費の項目を有し、補修箇所（補修図）毎に各項目に対応する情報が記載されている。補修費の項目には、補修費算出部２０Ｇにより算出された各補修図に対応する補修費が示されている。このように、補修数量表生成部２０Ｆが、補修費算出部２０Ｇが算出した補修費を含めた補修数量表を生成することにより、ユーザは各補修図に対応する補修費を確認することができる。

【0084】

以上で説明したように、補修数量表が生成され、表示部３に表示されることにより、ユーザは文字情報として補修図を確認することが可能となる。また、各補修図の補修費が算出されて、表示部３に表示されることにより、ユーザは各補修図の補修費を確認することができる。

【0085】

＜第３の実施形態＞
次に、補修図生成装置１０の第３の実施形態に関して説明する。本実施形態においては、第２の検出結果である損傷図及び損傷数量表が生成される。

【0086】

図１４は、補修図生成装置１０の主な機能構成例を示すブロック図である。なお、図４及び図１０で既に説明を行った箇所は同じ符号を付し説明を省略する。

【0087】

補修図生成装置１０は、主に画像取得部１２、及びＣＰＵ２０を備える。本実施形態のＣＰＵ２０は、記憶部１６又はＲＯＭ２４等に記憶された各種のプログラムを実行することにより、当該ＣＰＵ２０が損傷検出部２０Ａ、工法特定部２０Ｂ、補修図生成部２０Ｃ、第１の表示制御部２０Ｄ、補修算出部２０Ｅ、補修数量表生成部２０Ｆ、補修費算出部２０Ｇ、損傷図生成部２０Ｈ、損傷数量表生成部２０Ｉ、及び第２の表示制御部２０Ｊとして機能する。

【0088】

損傷図生成部２０Ｈは、損傷検出部２０Ａに検出された損傷に基づいて損傷を表す損傷図を生成する。損傷図生成部２０Ｈは、公知の手法により、損傷検出部２０Ａが検出した損傷に対応する損傷図を生成する。例えば、損傷図生成部２０Ｈは、損傷がひびわれであれば線で示した損傷図を生成し、損傷が剥離であれば剥離の領域の外周を線で示した損傷図を生成する。以下に、損傷図生成部２０Ｈが生成する損傷図の具体例を説明する。

【0089】

図１５は、損傷図生成部２０Ｈが撮影画像Ｐに基づいて生成した損傷図Ｓを示す図である。

【0090】

損傷図Ｓは、撮影画像Ｐに対応し、ひびわれＪ１～Ｊ５に対応する損傷図Ｃ１～Ｃ５、及び剥離Ｋ１に対応する損傷図Ｈ１を有する。また、損傷図Ｃ１～Ｃ５は、例えば赤線で示されており、ひびわれの損傷図であることが表されている。また、損傷図Ｈ１は、例えば青線で示されており、剥離の損傷図であることが表されている。

【0091】

図１４に戻って、損傷数量表生成部２０Ｉは、損傷及び損傷の程度を含む損傷数量表を生成する。

【0092】

図１６は、損傷図Ｓに対応する損傷数量表を示す図である。

【0093】

図１６に示す損傷数量表では、損傷ＩＤ、損傷種類、損傷の程度（サイズ）（幅、長さ及び面積）の項目を有し、損傷箇所（損傷図）毎に各項目に対応する情報が記載されている。

【0094】

図１４に戻って、第２の表示制御部２０Ｊは、損傷図及び損傷数量表のうち少なくとも一つを第２の検出結果として表示部３に表示する。

【0095】

以上で説明したように、本実施形態では、損傷図及び／又は損傷数量表が生成され表示部３に表示される。ユーザは、損傷図が表示部３に表示されることにより、損傷をより明確に確認することができ、また損傷図を使用して報告書等を作成することができる。さらに、ユーザは損傷数量表が表示部３に表示されることにより、文字情報として損傷を確認することできる。

【0096】

＜第１の応用例＞
本例では、補修図Ｑ又は損傷図Ｓを撮影画像Ｐに重畳して表示させる。以下に、具体例を説明する。

【0097】

図１７は、撮影画像Ｐに重畳させて補修図Ｑを表示させた表示例を示す。第１の表示制御部２０Ｄは、表示部３に撮影画像Ｐに重畳させて補修図Ｑを表示する。第１の表示制御部２０Ｄは、ひびわれＪ１及びひびわれＪ２に補修図Ａ１（点線で示す）を重畳して表示する。また、第１の表示制御部２０Ｄは、ひびわれＪ３及びひびわれＪ４に補修図Ａ２（点線で示す）を重畳して表示する。また、第１の表示制御部２０Ｄは、剥離Ｋ１に補修図Ｄ１（実線で示す）を重畳して表示する。なお、ひびわれＪ５は、補修を行わないので補修図は生成されていない。このように、補修図生成部２０Ｃで生成された補修図を撮影画像Ｐに重畳して表示することにより、ユーザはより損傷と補修図との関連を明確に把握することができる。

【0098】

図１８は、撮影画像Ｐに重畳させて損傷図Ｓを表示させた表示例を示す。第２の表示制御部２０Ｊは、表示部３に撮影画像Ｐに重畳させて損傷図Ｓを表示する。第２の表示制御部２０Ｊは、ひびわれＪ１に損傷図Ｃ１（点線で示す）を、ひびわれＪ２に損傷図Ｃ２（点線で示す）を重畳して表示する。また、第２の表示制御部２０Ｊは、ひびわれＪ３に損傷図Ｃ３（点線で示す）を、ひびわれＪ４に損傷図Ｃ４（点線で示す）を重畳して表示する。また、第２の表示制御部２０Ｊは、ひびわれＪ５に損傷図Ｃ５（点線で示す）を重畳して表示する。また、第１の表示制御部２０Ｄは、剥離Ｋ１に損傷図Ｈ１（点線で示す）を重畳して表示する。このように、損傷図生成部２０Ｈで生成された損傷図を撮影画像Ｐに重畳して表示することにより、ユーザは損傷と損傷図との関連を明確に把握することができる。

【0099】

ここで、上記で説明したように重畳して表示する撮影画像Ｐは、１枚の撮影画像であってもよいし、複数の撮影画像をパノラマ合成してパノラマ画像に補修図又は損傷図を重畳して表示してもよい。パノラマ合成部（不図示）は、ＣＰＵ２０で実現され、画像取得部１２で取得された複数の撮影画像をパノラマ合成する。

【0100】

＜第２の応用例＞
本例では第１の検出結果及び第２の検出結果を交互又は同時に表示する。例えば、第１の検出結果として補修図Ｑ、第２の検出結果として損傷図Ｓを交互に又は同時に表示する。補修図は損傷を補修するための補修領域及び前記補修工法を示し、損傷図は損傷を示すので、それぞれ違った用途に用いられる。例えば補修図は、補修設計及び補修前調査に用いられる。従って、補修図は、補修対象の長さ又は面積が把握できるように、損傷検出した結果を、補修工法に応じた補修個所又は領域の情報に変換して出力される。一方、損傷図は、点検、診断、補修設計及び補修前調査に用いられる。従って、補修図は、損傷が過去と比較してどの程度進行しているか把握できるように、忠実に損傷を検出した結果（ひび割れ線、損傷の領域）が出力される。本例では、このように性質の異なる補修図と損傷図とを交互又は同時に表示することにより、ユーザへの利便性を向上させる。以下に、第１の検出結果と第２の検出結果との交互表示、及び第１の検出結果と第２の検出結果とを並べて同時に表示について説明する。

【0101】

図１９は、第１の検出結果と第２の検出結果との交互表示を概念的に示し図である。

【0102】

図１９に示すように、第１の表示制御部２０Ｄと第２の表示制御部２０Ｊとは、第１の検出結果の表示と、第２の検出結果の表示とを切り替えて表示する。なお、切り換えのタイミングは、適宜調節が可能である。例えば、ユーザが操作部５を介して切り換えのタイミングを指示することにより、表示が切り替えられる。

【0103】

図２０は、第１の検出結果と第２の検出結果とを並べて同時に表示する場合を示した図である。

【0104】

図２０に示すように、第１の表示制御部２０Ｄと第２の表示制御部２０Ｊとは、第１の検出結果と第２の検出結果とを並べて同時に表示する。なお、図２０では、第１の検出結果と第２の検出結果とを横方向に並べているが、本例はこれに限定されるものではない。第１の検出結果と第２の検出結果とを縦方向に並べてもよい。

【0105】

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【0106】

上記記載から、以下の付記項１から１４に記載の補修図生成装置を把握することができる。
[付記項１]
構造物の撮影画像を取得するカメラと、
プロセッサと、を備え、
プロセッサは、
撮影画像から画像処理により損傷を検出し、損傷の程度を特定し、
損傷及び損傷の程度に基づいて、損傷の補修工法を特定し、
損傷及び補修工法に基づいて、損傷を補修するための補修領域及び補修工法を示す補修図を生成する補修図生成装置。
[付記項２]
プロセッサは、損傷が撮影画像において複数のひびわれであり、複数のひびわれ同士が閾値以下に近接している場合には、接近しているひびわれ同士を接続して補修図を生成する付記項１に記載の補修図生成装置。
[付記項３]
プロセッサは、損傷の形状よりも大きな領域を補修領域として、補修図を生成する付記項１又は２に記載の補修図生成装置。
[付記項４]
プロセッサは、
補修図に基づいて、補修領域のサイズを算出し、
補修領域のサイズを含む補修数量表を生成する、付記項１から３のいずれか１項に記載の補修図生成装置。
[付記項５]
プロセッサは、補修領域のサイズ及び補修工法に基づいて、損傷の補修費を算出する付記項４に記載の補修図生成装置。
[付記項６]
プロセッサは、補修図、補修数量表及び補修費のうち少なくとも一つを第１の検出結果としてモニタに表示する付記項５に記載の補修図生成装置。
[付記項７]
プロセッサは、損傷に基づいて、損傷を表す損傷図を生成する付記項６に記載の補修図生成装置。
[付記項８]
プロセッサは、損傷の程度を含む損傷数量表を生成する付記項７に記載の補修図生成装置。
[付記項９]
プロセッサは、損傷図及び損傷数量表のうち少なくとも一つを第２の検出結果としてモニタに表示する付記項８に記載の補修図生成装置。
[付記項１０]
プロセッサは、第１の検出結果と、第２の検出結果とを切り換えてモニタに表示する付記項９に記載の補修図生成装置。
[付記項１１]
プロセッサは、第１の検出結果と第２の検出結果とを並べて同時にモニタに表示する付記項９に記載の補修図生成装置。
[付記項１２]
プロセッサは、第１の検出結果に対して、編集の指示を受け付ける付記項６から１１のいずれか１項に記載の補修図生成装置。
[付記項１３]
プロセッサは、第２の検出結果に対して、編集の指示を受け付ける付記項９から１１のいずれか１項に記載の補修図生成装置。
[付記項１４]
プロセッサは、カメラで取得された複数の撮影画像をパノラマ合成する付記項１から１３のいずれか１項に記載の補修図生成装置。

【符号の説明】

【0107】

１ ：コンピュータ
１ａ ：コンピュータ本体
３ ：表示部
５ ：操作部
１０ ：補修図生成装置
１２ ：画像取得部
１６ ：記憶部
２０ ：ＣＰＵ
２０Ａ ：損傷検出部
２０Ｂ ：工法特定部
２０Ｃ ：補修図生成部
２０Ｄ ：第１の表示制御部
２０Ｅ ：補修算出部
２０Ｆ ：補修数量表生成部
２０Ｇ ：補修費算出部
２０Ｈ ：損傷図生成部
２０Ｉ ：損傷数量表生成部
２０Ｊ ：第２の表示制御部
２２ ：ＲＡＭ
２４ ：ＲＯＭ
３１ ：端部
３３ ：端部
３５ ：外接長方形領域
Ａ１ ：補修図
Ａ２ ：補修図
Ｃ１ ：損傷図
Ｃ２ ：損傷図
Ｃ３ ：損傷図
Ｃ４ ：損傷図
Ｃ５ ：損傷図
Ｄ１ ：補修図
Ｈ１ ：損傷図
Ｋ１ ：剥離
Ｐ ：撮影画像
Ｑ ：補修図
Ｓ ：損傷図

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】