特許7044331橋梁などの構造物を効率的に検査するための画像処理システム、画像処理方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-22
(45)【発行日】2022-03-30
(54)【発明の名称】橋梁などの構造物を効率的に検査するための画像処理システム、画像処理方法及びプログラム
(51)【国際特許分類】
H04N 5/232 20060101AFI20220323BHJP
G06T 7/00 20170101ALI20220323BHJP
G01B 11/24 20060101ALI20220323BHJP
G01B 11/00 20060101ALI20220323BHJP
G06T 1/00 20060101ALI20220323BHJP
【ＦＩ】
H04N5/232 380
G06T7/00 350B
G06T7/00 610Z
G01B11/24 A
G01B11/00 H
G06T1/00 300
【請求項の数】
11
(21)【出願番号】P 2019028449
(22)【出願日】2019-02-20
(65)【公開番号】P2020135450
(43)【公開日】2020-08-31
【審査請求日】2021-10-05
【早期審査対象出願】
(73)【特許権者】
【識別番号】392001391
【氏名又は名称】株式会社市川工務店
(73)【特許権者】
【識別番号】391016842
【氏名又は名称】岐阜県
(74)【代理人】
【識別番号】100129698
【弁理士】
【氏名又は名称】武川 隆宣
(72)【発明者】
【氏名】渡辺 博己
(72)【発明者】
【氏名】生駒 晃大
(72)【発明者】
【氏名】林 忍
(72)【発明者】
【氏名】原田 宣男
(72)【発明者】
【氏名】打田 新
【審査官】高野 美帆子
(56)【参考文献】
【文献】特開２０１７－０５３８１９（ＪＰ，Ａ）
【文献】特開２０１１－２３１６０２（ＪＰ，Ａ）
【文献】特開２０１７－０３４５７６（ＪＰ，Ａ）
【文献】特開２０１４－１６４３６３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２２２－５／２５７
Ｇ０６Ｔ ７／００
Ｇ０１Ｂ １１／２４
Ｇ０１Ｂ １１／００
Ｇ０６Ｔ １／００
(57)【特許請求の範囲】
【請求項1】
橋梁などの構造物を効率的に検査するための画像処理システムであって、カメラと、少なくとも３個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置と、
当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
構造物の一部を前記撮影装置によって撮影した部分画像データと、当該撮影装置によって同一位置及び同一方向にて前記構造物の一部を拡大して撮影した詳細画像データであって、前記レーザーポインタによる少なくとも３個の照射点が写るように前記部分画像データの中央部を撮影した詳細画像データと、から得られる広狭２つの画像データセットと、
前記同一位置から前記構造物の一部とは異なる部分を撮影することで得られる他の部分画像データと、当該他の部分画像データと対応する他の詳細画像データとから得られる他の広狭２つの画像データセットと、
前記同一位置から前記撮影装置によって構造物の特定部分を別途撮影した複数の特定部分詳細画像データと、
に基づいて動作する画像処理システムであって、
前記データ処理装置は、
前記詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び個々の前記広狭２つの画像データセットにおける部分画像データと詳細画像データの拡大倍率に基づいて、部分画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の粗い広域正面画像データを得ることができるとともに、
前記特定部分詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び各特定部分詳細画像データの拡大倍率に基づいて、特定部分詳細画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得ることができることを特徴とする橋梁などの構造物を効率的に検査するための画像処理システム。
【請求項2】
前記撮影装置におけるレーザーポインタは、４個であり、それらの各レーザーポインタは、前記カメラの光軸と平行に配置されており、かつ、前記詳細画像データの対角線上の四隅部分と対応する位置に照射点を得られるようにレーザー光を発することができるものであることを特徴とする請求項１に記載の橋梁などの構造物を効率的に検査するための画像処理システム。
【請求項3】
前記データ処理装置は、前記広域正面画像データ中における構造物の損傷部分の候補を自動検出して表示でき、さらに、当該損傷部分の候補を削除又は修正可能であることを特徴とする請求項１又は２に記載の橋梁などの構造物を効率的に検査するための画像処理システム。
【請求項4】
前記データ処理装置は、損傷部分の候補の削除又は修正の履歴から学習し、次に構造物の損傷部分の候補を自動検出する際に反映させることができるものであることを特徴とする請求項３に記載の橋梁などの構造物を効率的に検査するための画像処理システム。
【請求項5】
前記データ処理装置は、ホストコンピュータと、当該ホストコンピュータと接続されるローカル端末装置とから構成されており、前記ホストコンピュータにて、構造物の粗い広域正面画像データと、構造物の部分的に詳細化された広域正面画像データの生成、及び、損傷部分の候補の削除又は修正の履歴から学習し、次に構造物の損傷部分の候補を自動検出する際に反映させる処理を行うことができ、
前記ローカル端末装置にて、当該損傷部分の候補を削除又は修正可能であることを特徴とする請求項４に記載の橋梁などの構造物を効率的に検査するための画像処理システム。
【請求項6】
前記データ処理装置は、前記広域正面画像データ中において検出された構造物の損傷部分にその長さ、幅などの情報を付加して記録できるものであることを特徴とする請求項１～５の何れか一項に記載の橋梁などの構造物を効率的に検査するための画像処理システム。
【請求項7】
前記データ処理装置は、同一構造物について過去において得た画像データと、新たに入手した画像データとを比較対照することができ、当該構造物における損傷部分の経時変化を確認できるものであることを特徴とする請求項１～６の何れか一項に記載の橋梁などの構造物を効率的に検査するための画像処理システム。
【請求項8】
画像処理システムを用いて橋梁などの構造物を効率的に検査する方法であって、カメラと、少なくとも３個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置と、
当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備えた画像処理システムを使用し、
１）構造物の一部を前記撮影装置によって撮影した部分画像データと、当該撮影装置によって同一位置及び同一方向にて前記構造物の一部を拡大して撮影した詳細画像データであって、前記レーザーポインタによる少なくとも３個の照射点が写るように前記部分画像データの中央部を撮影した詳細画像データと、から得られる広狭２つの画像データセットと、
前記同一位置から前記構造物の一部とは異なる部分を撮影することで得られる他の部分画像データと、当該他の部分画像データと対応する他の詳細画像データとから得られる他の広狭２つの画像データセットと、
を前記画像処理システムに入力することで、
前記詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び個々の前記広狭２つの画像データセットにおける部分画像データと詳細画像データの拡大倍率に基づいて、部分画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の粗い広域正面画像データを得るステップと、
２）目視にて発見した構造物の損傷部分を特定部分と判断し、前記同一位置から前記撮影装置によって構造物の当該特定部分を別途撮影した複数の特定部分詳細画像データを前記画像処理システムに入力することで、
当該特定部分詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び各特定部分詳細画像データの拡大倍率に基づいて、特定部分詳細画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得るステップと、
からなることを特徴とする画像処理システムを用いて橋梁などの構造物を効率的に検査する方法。
【請求項9】
前記撮影装置におけるレーザーポインタは、４個であり、それらの各レーザーポインタは、前記カメラの光軸と平行に配置されており、かつ、前記詳細画像データの対角線上の四隅部分と対応する位置に照射点を得られるようにレーザー光を発することができるものであることを特徴とする請求項８に記載の画像処理システムを用いて橋梁などの構造物を効率的に検査する方法。
【請求項10】
前記請求項８に記載されている画像処理システムを用いて橋梁などの構造物を効率的に検査する方法をコンピュータ、タブレット、携帯電話などのデータ処理装置にて実行する際に使用することができるプログラムであって、前記請求項８に記載されている前記詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び個々の前記広狭２つの画像データセットにおける部分画像データと詳細画像データの拡大倍率に基づいて、部分画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の粗い広域正面画像データを得ることができるとともに、
前記特定部分詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び各特定部分詳細画像データの拡大倍率に基づいて、特定部分詳細画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得ることができることを特徴とするプログラム。
【請求項11】
前記広域正面画像データ中における構造物の損傷部分の候補を自動検出して表示する処理と、当該損傷部分の候補に対する削除又は修正を受け付ける処理と、
前記損傷部分の候補の削除又は修正の履歴から学習し、次に構造物の損傷部分の候補を自動検出する際に反映させる処理と、
をさらに含むものであることを特徴とする請求項１０に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、橋梁などの構造物を効率的に検査するための画像処理システム、画像処理方法及びプログラムに関するものであって、特に橋梁のひび割れなどの損傷の有無についての点検作業を簡単、迅速、正確かつ低コストにて実施するのに適した橋梁などの構造物を効率的に検査するための画像処理システム、画像処理方法及びプログラムに関するものである。
【背景技術】
【0002】
従来、特に小規模の橋梁のコンクリート製の壁面などについての点検を行う際には、現場における目視にてひび割れの寸法をクラックスケールなどにて直接実測し、チョークによるマーキングを行うとともに、スケッチと写真にてその位置と大きさを記録する方法が一般的に行われているが、かかる作業には多くの時間と労力を要し、非常に効率が悪いものとなっている。
また、国内に存在し定期的にひび割れの有無や損傷についての点検が必要な橋梁の大多数を占めるものは、長さが２ｍ～１５ｍ程度のものであり、桁下が数ｍ～１０ｍ程度のものが多く、正面から撮影した複数の画像を取得するには、足場を組んで撮影位置を移動しながら撮影する必要があり、そのような作業は困難である。
なお、橋梁のコンクリート壁面に幅０．２ｍｍのひび割れが生じると、その深さは１０ｃｍ程度あることが予測され、内部の鉄筋に腐食が発生するおそれがある。
従って、正面画像から幅０．１ｍｍ程度のひび割れの存在とその位置を検出するには、構造物の詳細画像を取得する必要がある。
また、国内に存在し定期的にひび割れの有無や損傷についての点検が必要な橋梁の大多数を占めるものは、長さが２ｍ～１５ｍ程度のものであり、桁下が数ｍ～１０ｍ程度のものが多く、正面から撮影した複数の画像を取得するには、足場を組んで撮影位置を移動しながら撮影する必要があり、そのような作業は困難である。
なお、橋梁のコンクリート壁面に幅０．２ｍｍのひび割れが生じると、その深さは１０ｃｍ程度あることが予測され、内部の鉄筋に腐食が発生するおそれがある。
従って、正面画像から幅０．１ｍｍ程度のひび割れの存在とその位置を検出するには、構造物の詳細画像を取得する必要がある。
【0003】
長さが２ｍ～１５ｍ程度の小さな橋梁についてドローンを用いることは、木の枝などの障害物を避ける必要があるなど、高度な操縦テクニックを必要としたり、高価な装置が必要になるという問題がある。
従来、構造物を検査するために、移動体を用いて複数枚の画像データを取得し、それらを統合する方法が提案されているが（特許文献１～４）、それらの方法には以下のような問題がある。
・小さな橋梁の下には通常通路が無く、移動体を適切に移動させることは困難である。
・統合する複数個の画像データは、構造物を正面から撮影したものでなければならない。・隣接する画像データに重複する部分が必要となっている。
従来、構造物を検査するために、移動体を用いて複数枚の画像データを取得し、それらを統合する方法が提案されているが（特許文献１～４）、それらの方法には以下のような問題がある。
・小さな橋梁の下には通常通路が無く、移動体を適切に移動させることは困難である。
・統合する複数個の画像データは、構造物を正面から撮影したものでなければならない。・隣接する画像データに重複する部分が必要となっている。
【0004】
また、上記従来の技術においては、小さな橋梁といったアクセスしにくい現場に存在する構造物について、微細なひび割れの存在と位置を特定できる簡易な画像処理システムを提供できるものではないという問題がある。
そこで、本件発明者らは既に特願２０１８－３０６０６号において、定位置から複数の詳細画像を撮影し、各詳細画像についての距離及び傾きを計算し、正面画像に変換したものを統合して詳細な広域の正面画像を得る発明を開示している（図１４参照）。
この発明においては、予め位置関係が特定された３つ以上のレーザーポインタとカメラを使用することで、斜め方向から撮影して得た画像データを正面画像のデータに変換する手法を開示している。
そして、本願発明は、上記特願２０１８－３０６０６号において開示されている発明のシステム及び手法を部分的に利用しつつさらに発展させたものである。
そこで、本件発明者らは既に特願２０１８－３０６０６号において、定位置から複数の詳細画像を撮影し、各詳細画像についての距離及び傾きを計算し、正面画像に変換したものを統合して詳細な広域の正面画像を得る発明を開示している（図１４参照）。
この発明においては、予め位置関係が特定された３つ以上のレーザーポインタとカメラを使用することで、斜め方向から撮影して得た画像データを正面画像のデータに変換する手法を開示している。
そして、本願発明は、上記特願２０１８－３０６０６号において開示されている発明のシステム及び手法を部分的に利用しつつさらに発展させたものである。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１２－１８０７３号公報
【文献】特開２００９－８５７８５号公報
【文献】特開２００４－３７４４０号公報
【文献】特開２０１２－１７７５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記特願２０１８－３０６０６号の発明においては、検査すべき構造物にひび割れなどの損傷部分が点在しているに過ぎない場合においても、構造物の広い範囲（広域）を漏れなく詳細な画像として撮影しているため、撮影枚数が無駄に多くなり、作業に時間を要するという問題がある。
そこで、本発明が解決しようとする課題は、
（Ａ）橋梁などの構造物を検査するための画像処理システム、及び、画像処理方法において、微細なひび割れの存在と位置を簡単、迅速、正確かつ低コストにて特定できる画像処理システム、及び、画像処理方法を提供し、かつ、
（Ｂ）アクセスしにくい現場に存在する構造物についても撮影作業を行い易く、かつ、得られた画像データを正確かつ迅速に処理できる橋梁などの構造物を検査するための画像処理システム、及び、画像処理方法を提供するとともに、
（Ｃ）橋梁などの構造物を効率的に検査するための画像処理システム、画像処理システムを用いて橋梁などの構造物を効率的に検査する方法及びその方法のために使用することができるプログラムを提供することにある。
そこで、本発明が解決しようとする課題は、
（Ａ）橋梁などの構造物を検査するための画像処理システム、及び、画像処理方法において、微細なひび割れの存在と位置を簡単、迅速、正確かつ低コストにて特定できる画像処理システム、及び、画像処理方法を提供し、かつ、
（Ｂ）アクセスしにくい現場に存在する構造物についても撮影作業を行い易く、かつ、得られた画像データを正確かつ迅速に処理できる橋梁などの構造物を検査するための画像処理システム、及び、画像処理方法を提供するとともに、
（Ｃ）橋梁などの構造物を効率的に検査するための画像処理システム、画像処理システムを用いて橋梁などの構造物を効率的に検査する方法及びその方法のために使用することができるプログラムを提供することにある。
【0007】
本発明の他の目的は、
構造物を正面から撮影していない画像からも正面画像を取得してそれらを統合できる画像処理システム、画像処理方法及びプログラムを提供するとともに、
隣接する画像データに重複する部分がなくても、複数の画像を統合できる画像処理システム、画像処理方法及びプログラムを提供し、さらには、
現場での目視による損傷部分の確認作業を適宜参照し利用することで、点検作業をより一層効率化するとともに、点検作業によって得られるデータの信頼性を向上させることができる画像処理システムを用いて橋梁などの構造物を効率的に検査する方法及びその方法のために使用することができるプログラムを提供することにある。
さらに、本発明の他の目的は、
前記画像データ中において検出された構造物の損傷部分にその長さ、幅などの情報を付加して記録できる画像処理システム、及び、
同一構造物について過去において得た画像データと、新たに入手した画像データとを比較対照することができ、当該構造物における損傷部分の経時変化を確認できる画像処理システムを提供することにある。
構造物を正面から撮影していない画像からも正面画像を取得してそれらを統合できる画像処理システム、画像処理方法及びプログラムを提供するとともに、
隣接する画像データに重複する部分がなくても、複数の画像を統合できる画像処理システム、画像処理方法及びプログラムを提供し、さらには、
現場での目視による損傷部分の確認作業を適宜参照し利用することで、点検作業をより一層効率化するとともに、点検作業によって得られるデータの信頼性を向上させることができる画像処理システムを用いて橋梁などの構造物を効率的に検査する方法及びその方法のために使用することができるプログラムを提供することにある。
さらに、本発明の他の目的は、
前記画像データ中において検出された構造物の損傷部分にその長さ、幅などの情報を付加して記録できる画像処理システム、及び、
同一構造物について過去において得た画像データと、新たに入手した画像データとを比較対照することができ、当該構造物における損傷部分の経時変化を確認できる画像処理システムを提供することにある。
【課題を解決するための手段】
【0008】
（１）本発明は、「 橋梁などの構造物を効率的に検査するための画像処理システムであって、
カメラと、少なくとも３個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置と、
当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
構造物の一部を前記撮影装置によって撮影した部分画像データと、当該撮影装置によって同一位置及び同一方向にて前記構造物の一部を拡大して撮影した詳細画像データであって、前記レーザーポインタによる少なくとも３個の照射点が写るように前記部分画像データの中央部を撮影した詳細画像データと、から得られる広狭２つの画像データセットと、
前記同一位置から前記構造物の一部とは異なる部分を撮影することで得られる他の部分画像データと、当該他の部分画像データと対応する他の詳細画像データとから得られる他の広狭２つの画像データセットと、
前記同一位置から前記撮影装置によって構造物の特定部分を別途撮影した複数の特定部分詳細画像データと、
に基づいて動作する画像処理システムであって、
前記データ処理装置は、
前記詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び個々の前記広狭２つの画像データセットにおける部分画像データと詳細画像データの拡大倍率に基づいて、部分画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の粗い広域正面画像データを得ることができるとともに、
前記特定部分詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び各特定部分詳細画像データの拡大倍率に基づいて、特定部分詳細画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得ることができることを特徴とする橋梁などの構造物を効率的に検査するための画像処理システム」を最も主要な特徴とするものである。
カメラと、少なくとも３個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置と、
当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
構造物の一部を前記撮影装置によって撮影した部分画像データと、当該撮影装置によって同一位置及び同一方向にて前記構造物の一部を拡大して撮影した詳細画像データであって、前記レーザーポインタによる少なくとも３個の照射点が写るように前記部分画像データの中央部を撮影した詳細画像データと、から得られる広狭２つの画像データセットと、
前記同一位置から前記構造物の一部とは異なる部分を撮影することで得られる他の部分画像データと、当該他の部分画像データと対応する他の詳細画像データとから得られる他の広狭２つの画像データセットと、
前記同一位置から前記撮影装置によって構造物の特定部分を別途撮影した複数の特定部分詳細画像データと、
に基づいて動作する画像処理システムであって、
前記データ処理装置は、
前記詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び個々の前記広狭２つの画像データセットにおける部分画像データと詳細画像データの拡大倍率に基づいて、部分画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の粗い広域正面画像データを得ることができるとともに、
前記特定部分詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び各特定部分詳細画像データの拡大倍率に基づいて、特定部分詳細画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得ることができることを特徴とする橋梁などの構造物を効率的に検査するための画像処理システム」を最も主要な特徴とするものである。
【0009】
（２）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記撮影装置におけるレーザーポインタは、４個であり、それらの各レーザーポインタは、前記カメラの光軸と平行に配置されており、かつ、前記詳細画像データの対角線上の四隅部分と対応する位置に照射点を得られるようにレーザー光を発することができるものであっても良い。
（３）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記データ処理装置は、前記広域正面画像データ中における構造物の損傷部分の候補を自動検出して表示でき、さらに、当該損傷部分の候補を削除又は修正可能であっても良い。
（４）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記データ処理装置は、損傷部分の候補の削除又は修正の履歴から学習し、次に構造物の損傷部分の候補を自動検出する際に反映させることができるものであっても良い。
（３）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記データ処理装置は、前記広域正面画像データ中における構造物の損傷部分の候補を自動検出して表示でき、さらに、当該損傷部分の候補を削除又は修正可能であっても良い。
（４）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記データ処理装置は、損傷部分の候補の削除又は修正の履歴から学習し、次に構造物の損傷部分の候補を自動検出する際に反映させることができるものであっても良い。
【0010】
（５）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記データ処理装置は、ホストコンピュータと、当該ホストコンピュータと接続されるローカル端末装置とから構成されており、前記ホストコンピュータにて、構造物の粗い広域正面画像データと、構造物の部分的に詳細化された広域正面画像データの生成、及び、損傷部分の候補の削除又は修正の履歴から学習し次に構造物の損傷部分の候補を自動検出する際に反映させる処理を行うことができ、前記ローカル端末装置にて、当該損傷部分の候補を削除又は修正可能であっても良い。
（６）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記データ処理装置は、前記広域正面画像データ中において検出された構造物の損傷部分にその長さ、幅などの情報を付加して記録できるものであっても良い。
（７）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記データ処理装置は、同一構造物について過去において得た画像データと、新たに入手した画像データとを比較対照することができ、当該構造物における損傷部分の経時変化を確認できるものであっても良い。
（６）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記データ処理装置は、前記広域正面画像データ中において検出された構造物の損傷部分にその長さ、幅などの情報を付加して記録できるものであっても良い。
（７）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記データ処理装置は、同一構造物について過去において得た画像データと、新たに入手した画像データとを比較対照することができ、当該構造物における損傷部分の経時変化を確認できるものであっても良い。
【0011】
（８）さらに、本発明は、「 画像処理システムを用いて橋梁などの構造物を効率的に検査する方法であって、
カメラと、少なくとも３個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置と、
当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備えた画像処理システムを使用し、
１）構造物の一部を前記撮影装置によって撮影した部分画像データと、当該撮影装置によって同一位置及び同一方向にて前記構造物の一部を拡大して撮影した詳細画像データであって、前記レーザーポインタによる少なくとも３個の照射点が写るように前記部分画像データの中央部を撮影した詳細画像データと、から得られる広狭２つの画像データセットと、
前記同一位置から前記構造物の一部とは異なる部分を撮影することで得られる他の部分画像データと、当該他の部分画像データと対応する他の詳細画像データとから得られる他の広狭２つの画像データセットと、
を前記画像処理システムに入力することで、
前記詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び個々の前記広狭２つの画像データセットにおける部分画像データと詳細画像データの拡大倍率に基づいて、部分画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の粗い広域正面画像データを得るステップと、
２）目視にて発見した構造物の損傷部分を特定部分と判断し、前記同一位置から前記撮影装置によって構造物の当該特定部分を別途撮影した複数の特定部分詳細画像データを前記画像処理システムに入力することで、
当該特定部分詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び各特定部分詳細画像データの拡大倍率に基づいて、特定部分詳細画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得るステップと、
からなることを特徴とする画像処理システムを用いて橋梁などの構造物を効率的に検査する方法」である。
（９）本発明の画像処理システムを用いて橋梁などの構造物を効率的に検査する方法において、前記撮影装置におけるレーザーポインタは、４個であり、それらの各レーザーポインタは、前記カメラの光軸と平行に配置されており、かつ、前記詳細画像データの対角線上の四隅部分と対応する位置に照射点を得られるようにレーザー光を発することができるものであっても良い。
カメラと、少なくとも３個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置と、
当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備えた画像処理システムを使用し、
１）構造物の一部を前記撮影装置によって撮影した部分画像データと、当該撮影装置によって同一位置及び同一方向にて前記構造物の一部を拡大して撮影した詳細画像データであって、前記レーザーポインタによる少なくとも３個の照射点が写るように前記部分画像データの中央部を撮影した詳細画像データと、から得られる広狭２つの画像データセットと、
前記同一位置から前記構造物の一部とは異なる部分を撮影することで得られる他の部分画像データと、当該他の部分画像データと対応する他の詳細画像データとから得られる他の広狭２つの画像データセットと、
を前記画像処理システムに入力することで、
前記詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び個々の前記広狭２つの画像データセットにおける部分画像データと詳細画像データの拡大倍率に基づいて、部分画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の粗い広域正面画像データを得るステップと、
２）目視にて発見した構造物の損傷部分を特定部分と判断し、前記同一位置から前記撮影装置によって構造物の当該特定部分を別途撮影した複数の特定部分詳細画像データを前記画像処理システムに入力することで、
当該特定部分詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び各特定部分詳細画像データの拡大倍率に基づいて、特定部分詳細画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得るステップと、
からなることを特徴とする画像処理システムを用いて橋梁などの構造物を効率的に検査する方法」である。
（９）本発明の画像処理システムを用いて橋梁などの構造物を効率的に検査する方法において、前記撮影装置におけるレーザーポインタは、４個であり、それらの各レーザーポインタは、前記カメラの光軸と平行に配置されており、かつ、前記詳細画像データの対角線上の四隅部分と対応する位置に照射点を得られるようにレーザー光を発することができるものであっても良い。
【0012】
（１０）また、本発明は、「 画像処理システムを用いて橋梁などの構造物を効率的に検査する方法をコンピュータ、タブレット、携帯電話などのデータ処理装置にて実行する際に使用することができるプログラムであって、
前記詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び個々の前記広狭２つの画像データセットにおける部分画像データと詳細画像データの拡大倍率に基づいて、部分画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の粗い広域正面画像データを得ることができるとともに、
前記特定部分詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び各特定部分詳細画像データの拡大倍率に基づいて、特定部分詳細画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得ることができるプログラム」である。
（１１）本発明のプログラムは、前記広域正面画像データ中における構造物の損傷部分の候補を自動検出して表示する処理と、当該損傷部分の候補に対する削除又は修正を受け付ける処理と、前記損傷部分の候補の削除又は修正の履歴から学習し、次に構造物の損傷部分の候補を自動検出する際に反映させる処理と、をさらに含むものであっても良い。
前記詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び個々の前記広狭２つの画像データセットにおける部分画像データと詳細画像データの拡大倍率に基づいて、部分画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の粗い広域正面画像データを得ることができるとともに、
前記特定部分詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び各特定部分詳細画像データの拡大倍率に基づいて、特定部分詳細画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得ることができるプログラム」である。
（１１）本発明のプログラムは、前記広域正面画像データ中における構造物の損傷部分の候補を自動検出して表示する処理と、当該損傷部分の候補に対する削除又は修正を受け付ける処理と、前記損傷部分の候補の削除又は修正の履歴から学習し、次に構造物の損傷部分の候補を自動検出する際に反映させる処理と、をさらに含むものであっても良い。
【発明の効果】
【0013】
（１）上記のように構成した本発明は、各レーザーポインタによるレーザー光とカメラの光軸とが固定された撮影装置を用いているため、レーザーポインタによる各照射点の座標位置と、撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中におけるレーザーポインタによる各照射点の座標位置との相対的な関係から、カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出することができる。この場合、３個の照射点についての相対的な関係を用いることで、前記距離データ及び傾きデータを算出することができるため、４個以上のレーザーポインタを採用した場合には、少なくとも３個の照射点が鮮明であれば画像処理を行うことができる。
かかる画像処理は、特願２０１８－３０６０６号にて開示されている発明を用いることで可能である。
さらに、定位置から撮影して入手したバラバラの状態の複数枚の画像データを、被写体と対応する正しい位置に再配置して統合しているため、隣接する画像データに重複する部分がなくても、複数の画像を統合することができる。
本発明は、定位置から撮影することによって得られた複数枚の画像データから構造物の広範囲の正面画像を構築することができるため、撮影装置を移動させながら撮影する作業が必須のものでは無く、アクセスしにくい現場に存在する構造物についての検査を簡単、迅速、正確かつ低コストにて行うことができる。
さらに、本願発明においては、広狭２つの画像データセットを用いる手法により、少ない撮影枚数にて迅速に構造物の粗い広域正面画像データを得て、構造物の広範囲の正面画像データを迅速に得ることができ、さらに、構造物の特定部分（具体的には目視で確認した損傷部分であって、特に詳細な画像データが必要な部分）を別途撮影した複数の特定部分詳細画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得ることができる。
従って、本願発明においては、正面から構造物を撮影する必要が無く、かつ、撮影場所を変更する必要も無いばかりか、構造物の広範囲について漏れなく詳細に撮影する必要も無く、検査データの品質を低下させること無く撮影枚数を減らして検査作業を極めて効率的に処理することができる。
かかる画像処理は、特願２０１８－３０６０６号にて開示されている発明を用いることで可能である。
さらに、定位置から撮影して入手したバラバラの状態の複数枚の画像データを、被写体と対応する正しい位置に再配置して統合しているため、隣接する画像データに重複する部分がなくても、複数の画像を統合することができる。
本発明は、定位置から撮影することによって得られた複数枚の画像データから構造物の広範囲の正面画像を構築することができるため、撮影装置を移動させながら撮影する作業が必須のものでは無く、アクセスしにくい現場に存在する構造物についての検査を簡単、迅速、正確かつ低コストにて行うことができる。
さらに、本願発明においては、広狭２つの画像データセットを用いる手法により、少ない撮影枚数にて迅速に構造物の粗い広域正面画像データを得て、構造物の広範囲の正面画像データを迅速に得ることができ、さらに、構造物の特定部分（具体的には目視で確認した損傷部分であって、特に詳細な画像データが必要な部分）を別途撮影した複数の特定部分詳細画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得ることができる。
従って、本願発明においては、正面から構造物を撮影する必要が無く、かつ、撮影場所を変更する必要も無いばかりか、構造物の広範囲について漏れなく詳細に撮影する必要も無く、検査データの品質を低下させること無く撮影枚数を減らして検査作業を極めて効率的に処理することができる。
【0014】
（２）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記撮影装置におけるレーザーポインタが４個であり、それらの各レーザーポインタが前記カメラの光軸と平行に配置されており、かつ、前記詳細画像データの対角線上の四隅部分と対応する位置に照射点を得られるようにレーザー光を発することができるものである場合には、レーザーポインタによる１個の照射点が不鮮明であっても以後の画像処理を行うことができ、さらには、画像データ中の撮影範囲が適切なものであることを簡単に確認することができ、個々の撮影作業を迅速に行うことができるばかりか、撮影以後の画像処理作業についても迅速かつ適切に進めることができる。
（３）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記データ処理装置が、前記広域正面画像データ中における構造物の損傷部分の候補を自動検出して表示でき、さらに、当該損傷部分の候補を削除又は修正可能である場合には、構造物中における損傷部分のピックアップを迅速に行うとともに、現場における目視による確認によって構造物中における損傷部分を正確にデータ化することができ、検査の信頼性を優れたものとすることができる。
（４）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記データ処理装置が、損傷部分の候補の削除又は修正の履歴から学習し、次に構造物の損傷部分の候補を自動検出する際に反映させることができるものである場合には、構造物中における損傷部分のピックアップの精度を高めたり、検出対象の性質をカスタマイズすることができ、損傷部分の候補を削除又は修正する作業を軽減し、効率化するとともに、システムの信頼性、利便性及び汎用性を高めることができる。
（３）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記データ処理装置が、前記広域正面画像データ中における構造物の損傷部分の候補を自動検出して表示でき、さらに、当該損傷部分の候補を削除又は修正可能である場合には、構造物中における損傷部分のピックアップを迅速に行うとともに、現場における目視による確認によって構造物中における損傷部分を正確にデータ化することができ、検査の信頼性を優れたものとすることができる。
（４）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記データ処理装置が、損傷部分の候補の削除又は修正の履歴から学習し、次に構造物の損傷部分の候補を自動検出する際に反映させることができるものである場合には、構造物中における損傷部分のピックアップの精度を高めたり、検出対象の性質をカスタマイズすることができ、損傷部分の候補を削除又は修正する作業を軽減し、効率化するとともに、システムの信頼性、利便性及び汎用性を高めることができる。
【0015】
（５）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記データ処理装置が、ホストコンピュータと、当該ホストコンピュータと接続されるローカル端末装置とから構成されており、前記ホストコンピュータにて、構造物の粗い広域正面画像データと、構造物の部分的に詳細化された広域正面画像データの生成、及び、損傷部分の候補の削除又は修正の履歴から学習し次に構造物の損傷部分の候補を自動検出する際に反映させる処理を行うことができ、前記ローカル端末装置にて、当該損傷部分の候補を削除又は修正可能である場合には、現場における目視による確認によって構造物中における損傷部分を正確にデータ化することができるとともに、ローカル端末装置の負担とデータ通信の負荷を軽減し、データ処理作業の効率化と利便性の向上を図ることなどができる。
（６）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記データ処理装置が、前記広域正面画像データ中において検出された構造物の損傷部分にその長さ、幅などの情報を付加して記録できるものである場合には、損傷部分の状態に関する情報を一目瞭然にて簡単に確認でき、極めて便利なシステムを提供できる。
（７）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記データ処理装置が、同一構造物について過去において得た画像データと、新たに入手した画像データとを比較対照することができ、当該構造物における損傷部分の経時変化を確認できるものである場合には、補修作業の計画や実行などに資することができるなど、極めて有益なデータベースを提供することができる。
（６）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記データ処理装置が、前記広域正面画像データ中において検出された構造物の損傷部分にその長さ、幅などの情報を付加して記録できるものである場合には、損傷部分の状態に関する情報を一目瞭然にて簡単に確認でき、極めて便利なシステムを提供できる。
（７）本発明の橋梁などの構造物を効率的に検査するための画像処理システムにおいて、前記データ処理装置が、同一構造物について過去において得た画像データと、新たに入手した画像データとを比較対照することができ、当該構造物における損傷部分の経時変化を確認できるものである場合には、補修作業の計画や実行などに資することができるなど、極めて有益なデータベースを提供することができる。
【0016】
（８）本発明の画像処理システムを用いて橋梁などの構造物を効率的に検査する方法においては、目視にて発見した構造物の損傷部分を特定部分と判断し、同一の位置から前記撮影装置によって構造物の当該特定部分を別途撮影した複数の特定部分詳細画像データを前記画像処理システムに入力することで、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得ることができるため、構造物の詳細画像が必要な損傷部分についての撮影作業を効率的に行うことができ、かつ、構造物中における損傷部分が存在する位置の確認も容易である。
（９）本発明の画像処理システムを用いて橋梁などの構造物を効率的に検査する方法において、前記撮影装置におけるレーザーポインタが４個であり、それらの各レーザーポインタが前記カメラの光軸と平行に配置されており、かつ、前記詳細画像データの対角線上の四隅部分と対応する位置に照射点を得られるようにレーザー光を発することができるものである場合には、レーザーポインタによる１個の照射点が不鮮明であっても以後の画像処理を行うことができ、さらには、画像データ中の撮影範囲が適切なものであることを簡単に確認することができ、個々の撮影作業を迅速に行うことができるばかりか、撮影以後の画像処理作業についても迅速かつ適切に進めることができる。
（１０）本発明の画像処理システムを用いて橋梁などの構造物を効率的に検査する方法をコンピュータ、タブレット、携帯電話などのデータ処理装置にて実行する際に使用することができるプログラムにおいては、簡易な方法にて広狭２つの画像データセットから構造物の粗い広域正面画像データを得ることができるとともに、特定部分詳細画像データを複数枚組み合わせて構造物の部分的に詳細化された広域正面画像データを得ることができるため、定位置からの少ない撮影枚数であっても検査の品質を維持して構造物の点検作業を迅速かつ容易なものとすることができる。
（１１）本発明の画像処理システムを用いて橋梁などの構造物を効率的に検査する方法をコンピュータ、タブレット、携帯電話などのデータ処理装置にて実行する際に使用することができるプログラムにおいて、前記広域正面画像データ中における構造物の損傷部分の候補を自動検出して表示する処理と、当該損傷部分の候補に対する削除又は修正を受け付ける処理と、前記損傷部分の候補の削除又は修正の履歴から学習し次に構造物の損傷部分の候補を自動検出する際に反映させる処理と、をさらに含むものである場合には、構造物中における損傷部分のピックアップの精度を高めたり、検出対象の性質をカスタマイズすることができ、損傷部分の候補を削除又は修正する作業を軽減し、効率化するとともに、システムの信頼性、利便性及び汎用性を高めることができる。
（９）本発明の画像処理システムを用いて橋梁などの構造物を効率的に検査する方法において、前記撮影装置におけるレーザーポインタが４個であり、それらの各レーザーポインタが前記カメラの光軸と平行に配置されており、かつ、前記詳細画像データの対角線上の四隅部分と対応する位置に照射点を得られるようにレーザー光を発することができるものである場合には、レーザーポインタによる１個の照射点が不鮮明であっても以後の画像処理を行うことができ、さらには、画像データ中の撮影範囲が適切なものであることを簡単に確認することができ、個々の撮影作業を迅速に行うことができるばかりか、撮影以後の画像処理作業についても迅速かつ適切に進めることができる。
（１０）本発明の画像処理システムを用いて橋梁などの構造物を効率的に検査する方法をコンピュータ、タブレット、携帯電話などのデータ処理装置にて実行する際に使用することができるプログラムにおいては、簡易な方法にて広狭２つの画像データセットから構造物の粗い広域正面画像データを得ることができるとともに、特定部分詳細画像データを複数枚組み合わせて構造物の部分的に詳細化された広域正面画像データを得ることができるため、定位置からの少ない撮影枚数であっても検査の品質を維持して構造物の点検作業を迅速かつ容易なものとすることができる。
（１１）本発明の画像処理システムを用いて橋梁などの構造物を効率的に検査する方法をコンピュータ、タブレット、携帯電話などのデータ処理装置にて実行する際に使用することができるプログラムにおいて、前記広域正面画像データ中における構造物の損傷部分の候補を自動検出して表示する処理と、当該損傷部分の候補に対する削除又は修正を受け付ける処理と、前記損傷部分の候補の削除又は修正の履歴から学習し次に構造物の損傷部分の候補を自動検出する際に反映させる処理と、をさらに含むものである場合には、構造物中における損傷部分のピックアップの精度を高めたり、検出対象の性質をカスタマイズすることができ、損傷部分の候補を削除又は修正する作業を軽減し、効率化するとともに、システムの信頼性、利便性及び汎用性を高めることができる。
【0017】
なお、橋梁などの構造物を検査するという目的のためには、本発明の画像処理システム、画像処理方法及びプログラムにおいて、ひび割れや損傷などの位置を厳密に特定する必要は無いため、撮影装置によって構造物を撮影する「定位置」とは、三脚によって撮影装置を支える場合に限らず、手持ちによって撮影する場合を含む。
従って、本発明の画像処理システム、画像処理方法及びプログラムは、橋梁などの構造物を検査する際において、極めて扱い易く使い勝手の良いものとなっている。
従って、本発明の画像処理システム、画像処理方法及びプログラムは、橋梁などの構造物を検査する際において、極めて扱い易く使い勝手の良いものとなっている。
【図面の簡単な説明】
【0018】
【発明を実施するための形態】
【0019】
本発明は、「 橋梁などの構造物を効率的に検査するための画像処理システムであって、カメラと、少なくとも３個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置と、当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
構造物の一部を前記撮影装置によって撮影した部分画像データと、当該撮影装置によって同一位置及び同一方向にて前記構造物の一部を拡大して撮影した詳細画像データであって、前記レーザーポインタによる少なくとも３個の照射点が写るように前記部分画像データの中央部を撮影した詳細画像データと、から得られる広狭２つの画像データセットと、前記同一位置から前記構造物の一部とは異なる部分を撮影することで得られる他の部分画像データと、当該他の部分画像データと対応する他の詳細画像データとから得られる他の広狭２つの画像データセットと、前記同一位置から前記撮影装置によって構造物の特定部分を別途撮影した複数の特定部分詳細画像データと、に基づいて動作する画像処理システムであって、
前記データ処理装置は、前記詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び個々の前記広狭２つの画像データセットにおける部分画像データと詳細画像データの拡大倍率に基づいて、部分画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の粗い広域正面画像データを得ることができるとともに、前記特定部分詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び各特定部分詳細画像データの拡大倍率に基づいて、特定部分詳細画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得ることができることを特徴とする橋梁などの構造物を効率的に検査するための画像処理システム」である。
構造物の一部を前記撮影装置によって撮影した部分画像データと、当該撮影装置によって同一位置及び同一方向にて前記構造物の一部を拡大して撮影した詳細画像データであって、前記レーザーポインタによる少なくとも３個の照射点が写るように前記部分画像データの中央部を撮影した詳細画像データと、から得られる広狭２つの画像データセットと、前記同一位置から前記構造物の一部とは異なる部分を撮影することで得られる他の部分画像データと、当該他の部分画像データと対応する他の詳細画像データとから得られる他の広狭２つの画像データセットと、前記同一位置から前記撮影装置によって構造物の特定部分を別途撮影した複数の特定部分詳細画像データと、に基づいて動作する画像処理システムであって、
前記データ処理装置は、前記詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び個々の前記広狭２つの画像データセットにおける部分画像データと詳細画像データの拡大倍率に基づいて、部分画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の粗い広域正面画像データを得ることができるとともに、前記特定部分詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び各特定部分詳細画像データの拡大倍率に基づいて、特定部分詳細画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得ることができることを特徴とする橋梁などの構造物を効率的に検査するための画像処理システム」である。
【0020】
さらに、本発明は、「 画像処理システムを用いて橋梁などの構造物を効率的に検査する方法であって、カメラと、少なくとも３個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置と、当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備えた画像処理システムを使用し、
１）構造物の一部を前記撮影装置によって撮影した部分画像データと、当該撮影装置によって同一位置及び同一方向にて前記構造物の一部を拡大して撮影した詳細画像データであって、前記レーザーポインタによる少なくとも３個の照射点が写るように前記部分画像データの中央部を撮影した詳細画像データと、から得られる広狭２つの画像データセットと、前記同一位置から前記構造物の一部とは異なる部分を撮影することで得られる他の部分画像データと、当該他の部分画像データと対応する他の詳細画像データとから得られる他の広狭２つの画像データセットと、を前記画像処理システムに入力することで、
前記詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び個々の前記広狭２つの画像データセットにおける部分画像データと詳細画像データの拡大倍率に基づいて、部分画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の粗い広域正面画像データを得るステップと、
２）目視にて発見した構造物の損傷部分を特定部分と判断し、前記同一位置から前記撮影装置によって構造物の当該特定部分を別途撮影した複数の特定部分詳細画像データを前記画像処理システムに入力することで、
当該特定部分詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び各特定部分詳細画像データの拡大倍率に基づいて、特定部分詳細画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得るステップと、
からなることを特徴とする画像処理システムを用いて橋梁などの構造物を効率的に検査する方法」である。
また、本発明は、「上記のような構造物を効率的に検査するための画像処理方法をコンピュータ、タブレット、携帯電話などのデータ処理装置に実行させるためのプログラム」である。
そして、本発明は、以下において説明する実施形態などによって好適に具体化することができるものである。
１）構造物の一部を前記撮影装置によって撮影した部分画像データと、当該撮影装置によって同一位置及び同一方向にて前記構造物の一部を拡大して撮影した詳細画像データであって、前記レーザーポインタによる少なくとも３個の照射点が写るように前記部分画像データの中央部を撮影した詳細画像データと、から得られる広狭２つの画像データセットと、前記同一位置から前記構造物の一部とは異なる部分を撮影することで得られる他の部分画像データと、当該他の部分画像データと対応する他の詳細画像データとから得られる他の広狭２つの画像データセットと、を前記画像処理システムに入力することで、
前記詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び個々の前記広狭２つの画像データセットにおける部分画像データと詳細画像データの拡大倍率に基づいて、部分画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の粗い広域正面画像データを得るステップと、
２）目視にて発見した構造物の損傷部分を特定部分と判断し、前記同一位置から前記撮影装置によって構造物の当該特定部分を別途撮影した複数の特定部分詳細画像データを前記画像処理システムに入力することで、
当該特定部分詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び各特定部分詳細画像データの拡大倍率に基づいて、特定部分詳細画像データを複数枚組み合わせて統合し、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得るステップと、
からなることを特徴とする画像処理システムを用いて橋梁などの構造物を効率的に検査する方法」である。
また、本発明は、「上記のような構造物を効率的に検査するための画像処理方法をコンピュータ、タブレット、携帯電話などのデータ処理装置に実行させるためのプログラム」である。
そして、本発明は、以下において説明する実施形態などによって好適に具体化することができるものである。
【0021】
なお、本発明において、「正面画像」とは、構造物の鉛直方向の壁面については、水平方向から見た画像であり、構造物の水平方向の底面、天井面については、直下から見た画像であり、構造物の水平方向の床面、上面については、真上から見た画像である。
【0022】
以下、本発明を具体化した橋梁などの構造物を効率的に検査するための画像処理システム１の一実施形態について説明する。
図１及び図２に示すように、本発明の一実施形態の橋梁などの構造物２を検査するための画像処理システム１は、撮影装置１０とデータ処理装置２０とから構成される。
そして、当該撮影装置１０は、１個のカメラ１１と、４個のレーザーポインタＬｐ１～Ｌｐ４と、それらを一体的に保持することができる固定手段１２と、から構成されている。
図１及び図２に示すように、本発明の一実施形態の橋梁などの構造物２を検査するための画像処理システム１は、撮影装置１０とデータ処理装置２０とから構成される。
そして、当該撮影装置１０は、１個のカメラ１１と、４個のレーザーポインタＬｐ１～Ｌｐ４と、それらを一体的に保持することができる固定手段１２と、から構成されている。
【0023】
前記カメラ１１は、画素数が１千万～４千万程度のデジタルカメラを好適に用いることができるが、構造物２の検査に必要な画像解像度が低くても良い場合、又は、構造物２が小さくて接近した場所から複数枚の画像データを得られる場合には、数百万ピクセル程度の画像解像度を得られるデジタルカメラ又は携帯電話２２であっても良い。
さらに、前記カメラ１１としては、異なる拡大倍率にて撮影できるズーム機能を備えたものが好適であるが、レンズ交換によって異なる拡大倍率の画像データを得られるものであっても本発明を具体化して実施することができる。但し、作業効率は低下することになる。
また、各撮影画像のデータに焦点距離の情報、即ち、各画像データの拡大倍率を算出するためのデータ、が自動的に記録されない場合には、別途各撮影画像のデータについてその撮影時の焦点距離を記録し、データ処理装置２０に入力する必要がある。
なお、レンズ交換する場合、又は、ズーム可能な範囲の両端で撮影する場合など、拡大倍率が一定である場合には、各画像の焦点距離をデータ処理装置２０に入力する処理は簡単に行うことができる。
前記カメラ１１としては、当該カメラ１１により撮影される画像の画素分解能（１ピクセルあたりの実サイズ）の範囲及び撮影時の構造物２までの距離に応じて、前記カメラ１１の有効画素数、光学ズーム倍率といったカメラ１１のスペックを選択可能である。
また、前記カメラ１１は、無線又は有線にて接続されたモニターによって離れた場所から撮影箇所及び焦点合わせを確認でき、かつ、後述する位置姿勢推定処理によって得られた構造物２との相対的な位置関係からスケールの尺度が統一された画像が得られるようカメラ１１のズーム機構とシャッターを遠隔制御できるものであっても良い。
さらに、カメラ１１としては、動画を撮影できる機能を有するデジタルカメラ、携帯電話、又は、図５に示すようなビデオカメラ１１ａであっても良い。
なお、ビデオカメラ１１ａによって構造物２の動画データを得る場合には、動画データ中における適宜の画像データを抽出・選択して以後の画像処理を行えば良い。
さらに、前記カメラ１１としては、異なる拡大倍率にて撮影できるズーム機能を備えたものが好適であるが、レンズ交換によって異なる拡大倍率の画像データを得られるものであっても本発明を具体化して実施することができる。但し、作業効率は低下することになる。
また、各撮影画像のデータに焦点距離の情報、即ち、各画像データの拡大倍率を算出するためのデータ、が自動的に記録されない場合には、別途各撮影画像のデータについてその撮影時の焦点距離を記録し、データ処理装置２０に入力する必要がある。
なお、レンズ交換する場合、又は、ズーム可能な範囲の両端で撮影する場合など、拡大倍率が一定である場合には、各画像の焦点距離をデータ処理装置２０に入力する処理は簡単に行うことができる。
前記カメラ１１としては、当該カメラ１１により撮影される画像の画素分解能（１ピクセルあたりの実サイズ）の範囲及び撮影時の構造物２までの距離に応じて、前記カメラ１１の有効画素数、光学ズーム倍率といったカメラ１１のスペックを選択可能である。
また、前記カメラ１１は、無線又は有線にて接続されたモニターによって離れた場所から撮影箇所及び焦点合わせを確認でき、かつ、後述する位置姿勢推定処理によって得られた構造物２との相対的な位置関係からスケールの尺度が統一された画像が得られるようカメラ１１のズーム機構とシャッターを遠隔制御できるものであっても良い。
さらに、カメラ１１としては、動画を撮影できる機能を有するデジタルカメラ、携帯電話、又は、図５に示すようなビデオカメラ１１ａであっても良い。
なお、ビデオカメラ１１ａによって構造物２の動画データを得る場合には、動画データ中における適宜の画像データを抽出・選択して以後の画像処理を行えば良い。
【0024】
さらに、本発明において、前記カメラ１１は、好適にはズーム機能により、構造物２の一部を撮影した部分画像データと、同一位置及び同一方向にて前記構造物の一部を拡大して撮影した詳細画像データであって、前記レーザーポインタＬｐ１～Ｌｐ４による少なくとも３個の照射点が写るように前記部分画像データの中央部を撮影した詳細画像データと、から広狭２つの画像データセットを得られるものであることが必要である。
なお、本発明における広狭２つの画像データセットを構成する部分画像データと詳細画像データの拡大倍率の実際の運用上好ましい範囲は、２～５倍程度であり、本発明を実施する際に使用するカメラのズーム倍率は５～１０倍程度あればよい。
但し、本発明における広狭２つの画像データセットを構成する部分画像データと詳細画像データの拡大倍率は、精度が低下する可能性もあるが、原理上１０倍程度であってもよい。
なお、本発明における広狭２つの画像データセットを構成する部分画像データと詳細画像データの拡大倍率の実際の運用上好ましい範囲は、２～５倍程度であり、本発明を実施する際に使用するカメラのズーム倍率は５～１０倍程度あればよい。
但し、本発明における広狭２つの画像データセットを構成する部分画像データと詳細画像データの拡大倍率は、精度が低下する可能性もあるが、原理上１０倍程度であってもよい。
【0025】
前記固定手段１２は、前記４個のレーザーポインタＬｐ１～Ｌｐ４によるレーザー光が、前記カメラ１１によって撮影される詳細画像の４隅付近に照射されるように、４個のレーザーポインタＬｐ１～Ｌｐ４を前記カメラ１１の光軸と平行かつ当該光軸を中心とする対角線上に配置して固定することができるものである。
この固定手段１２は、合成樹脂、軽金属又は木材などの剛性材料から構成することができ、前記カメラ１１の光軸と各レーザーポインタＬｐ１～Ｌｐ４の光軸との位置関係が常時狂うことがないようにそれらを保持できれば良く、その形状は、長方形、正方形の他、他の四角形、Ｘ字形、円形、多角形、三角形、Ｖ字形、Ａ字形などの枠状のもの又は板状のものなど、適宜選択可能である。
また、撮影装置１０によって定位置から複数枚の画像データを得るために、固定手段１２に三脚１３を装着してカメラ１１による撮影を行っても良い。
この固定手段１２は、合成樹脂、軽金属又は木材などの剛性材料から構成することができ、前記カメラ１１の光軸と各レーザーポインタＬｐ１～Ｌｐ４の光軸との位置関係が常時狂うことがないようにそれらを保持できれば良く、その形状は、長方形、正方形の他、他の四角形、Ｘ字形、円形、多角形、三角形、Ｖ字形、Ａ字形などの枠状のもの又は板状のものなど、適宜選択可能である。
また、撮影装置１０によって定位置から複数枚の画像データを得るために、固定手段１２に三脚１３を装着してカメラ１１による撮影を行っても良い。
【0026】
本発明において、各レーザーポインタＬｐ１～Ｌｐ４は、数メートル～２０メートル程度離れた対象物までレーザー光を照射できる１ｍＷ程度のものを好適に使用でき、視認性に優れた緑色又は赤色のものが好ましい。
また、各レーザーポインタＬｐ１～Ｌｐ４による照射点Ｐ１～Ｐ４の輝点形状は、真円で中心から正規分布に従うような輝度分布が好ましい。
なお、輝点の直径は、一例として、４ｍ離れたところで４ｍｍ程度のものを用いることができる。
本発明において使用する撮影装置１０によるレーザーポインタＬｐ１～Ｌｐ４の固定状態を確認し正しい位置に固定されるように調整するには、図１３の左側に示すように、撮影画像中におけるレーザーポインタＬｐ１～Ｌｐ４の理想的な照射位置が分かるマークが付された調整用ボード３０を使用すると良い。
さらに、本発明において使用する撮影装置１０としては、図３の下部に示すように、８個のレーザーポインタＬｐ１～Ｌｐ８を対角線上に配置したものを採用しても良い。このようにレーザーポインタの数を増やすことで、後述する画像処理の際におけるレーザーポインタによる照射点の選択肢が増え、画像処理の精度を高めることができる。
また、各レーザーポインタＬｐ１～Ｌｐ４による照射点Ｐ１～Ｐ４の輝点形状は、真円で中心から正規分布に従うような輝度分布が好ましい。
なお、輝点の直径は、一例として、４ｍ離れたところで４ｍｍ程度のものを用いることができる。
本発明において使用する撮影装置１０によるレーザーポインタＬｐ１～Ｌｐ４の固定状態を確認し正しい位置に固定されるように調整するには、図１３の左側に示すように、撮影画像中におけるレーザーポインタＬｐ１～Ｌｐ４の理想的な照射位置が分かるマークが付された調整用ボード３０を使用すると良い。
さらに、本発明において使用する撮影装置１０としては、図３の下部に示すように、８個のレーザーポインタＬｐ１～Ｌｐ８を対角線上に配置したものを採用しても良い。このようにレーザーポインタの数を増やすことで、後述する画像処理の際におけるレーザーポインタによる照射点の選択肢が増え、画像処理の精度を高めることができる。
【0027】
前記データ処理装置２０としては、カメラ１１によって構造物２を撮影することによって得られた画像データを記録メディアを介して、あるいは、無線又は有線にて読み込むことができるノート型パソコン２１を好適に使用することができる。
また、このデータ処理装置２０としては、ホストコンピュータ２３と、当該ホストコンピュータ２３と接続される携帯電話２２又はタブレット端末２４をローカル端末装置とする構成であっても良い。
この場合、後述する通り、前記ホストコンピュータ２３にて、構造物の粗い広域正面画像データと、構造物の部分的に詳細化された広域正面画像データの生成、及び、損傷部分の候補の削除又は修正の履歴から学習し次に構造物の損傷部分の候補を自動検出する際に反映させる処理を行うことができ、前記ローカル端末装置にて、当該損傷部分の候補を削除又は修正可能とすることができる。その場合には、現場における目視による確認によって構造物中における損傷部分を正確にデータ化することができるとともに、ローカル端末装置の負担とデータ通信の負荷を軽減し、データ処理作業の効率化と利便性の向上を図ることなどができる。
また、このデータ処理装置２０としては、ホストコンピュータ２３と、当該ホストコンピュータ２３と接続される携帯電話２２又はタブレット端末２４をローカル端末装置とする構成であっても良い。
この場合、後述する通り、前記ホストコンピュータ２３にて、構造物の粗い広域正面画像データと、構造物の部分的に詳細化された広域正面画像データの生成、及び、損傷部分の候補の削除又は修正の履歴から学習し次に構造物の損傷部分の候補を自動検出する際に反映させる処理を行うことができ、前記ローカル端末装置にて、当該損傷部分の候補を削除又は修正可能とすることができる。その場合には、現場における目視による確認によって構造物中における損傷部分を正確にデータ化することができるとともに、ローカル端末装置の負担とデータ通信の負荷を軽減し、データ処理作業の効率化と利便性の向上を図ることなどができる。
【0028】
次に、前記データ処理装置２０について説明する。
前記データ処理装置２０は、構造物２の一部を前記撮影装置１０によって撮影した部分画像データと、当該撮影装置１０によって同一位置及び同一方向にて前記構造物２の一部を拡大して撮影した詳細画像データであって、前記レーザーポインタによる少なくとも３個の照射点が写るように前記部分画像データの中央部を撮影した詳細画像データと、から得られる広狭２つの画像データセットと、前記同一位置から前記構造物２の一部とは異なる部分を撮影することで得られる他の部分画像データと、当該他の部分画像データと対応する他の詳細画像データとから得られる他の広狭２つの画像データセットと、前記同一位置から前記撮影装置１０によって構造物２の特定部分を別途撮影した複数の特定部分詳細画像データと、に基づいて動作するものである。
具体的には、前記データ処理装置２０は、前記詳細画像データ中における前記レーザーポインタＬｐ１～Ｌｐ４による少なくとも３個の照射点から前記カメラ１１から構造物２までの距離データ及びカメラ１１の３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び個々の広狭２つの画像データセットにおける部分画像データと詳細画像データの拡大倍率に基づいて、部分画像データを複数枚組み合わせてあるべき正しい位置に再配置して統合し、スケールの尺度が統一された構造物の粗い広域正面画像データを得ることができるとともに、前記特定部分詳細画像データ中における前記レーザーポインタＬｐ１～Ｌｐ４による少なくとも３個の照射点から前記カメラ１１から構造物２までの距離データ及びカメラ１１の３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び各特定部分詳細画像データの拡大倍率に基づいて、特定部分詳細画像データを複数枚組み合わせて再配置して統合し、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得ることができるものである。
前記データ処理装置２０は、構造物２の一部を前記撮影装置１０によって撮影した部分画像データと、当該撮影装置１０によって同一位置及び同一方向にて前記構造物２の一部を拡大して撮影した詳細画像データであって、前記レーザーポインタによる少なくとも３個の照射点が写るように前記部分画像データの中央部を撮影した詳細画像データと、から得られる広狭２つの画像データセットと、前記同一位置から前記構造物２の一部とは異なる部分を撮影することで得られる他の部分画像データと、当該他の部分画像データと対応する他の詳細画像データとから得られる他の広狭２つの画像データセットと、前記同一位置から前記撮影装置１０によって構造物２の特定部分を別途撮影した複数の特定部分詳細画像データと、に基づいて動作するものである。
具体的には、前記データ処理装置２０は、前記詳細画像データ中における前記レーザーポインタＬｐ１～Ｌｐ４による少なくとも３個の照射点から前記カメラ１１から構造物２までの距離データ及びカメラ１１の３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び個々の広狭２つの画像データセットにおける部分画像データと詳細画像データの拡大倍率に基づいて、部分画像データを複数枚組み合わせてあるべき正しい位置に再配置して統合し、スケールの尺度が統一された構造物の粗い広域正面画像データを得ることができるとともに、前記特定部分詳細画像データ中における前記レーザーポインタＬｐ１～Ｌｐ４による少なくとも３個の照射点から前記カメラ１１から構造物２までの距離データ及びカメラ１１の３次元方向での傾きデータを算出し、当該距離データ、当該傾きデータ、及び各特定部分詳細画像データの拡大倍率に基づいて、特定部分詳細画像データを複数枚組み合わせて再配置して統合し、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得ることができるものである。
【0029】
より詳細には、前記データ処理装置２０は、
（ア）前記撮影装置１０によって定位置から構造物２の一部を撮影することによって得られた詳細画像データのそれぞれについて、前記レーザーポインタＬｐ１～Ｌｐ４による各照射点Ｐ１～Ｐ４の詳細画像データ中における座標位置を抽出する照射点抽出処理と、
（イ）前記詳細画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタＬｐ１～Ｌｐ４による各照射点Ｐ１～Ｐ４の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタＬｐ１～Ｌｐ４による各照射点の座標位置との相対的な関係から、前記カメラ１１から構造物２までの距離データ及びカメラ１１の３次元方向での傾きデータを算出する位置姿勢推定処理と、
（ウ）前記個々の広狭２つの画像データセットにおける部分画像データと詳細画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ、傾きデータ及び、個々の広狭２つの画像データセットにおける部分画像データと詳細画像データの拡大倍率に基づいて、スケールの尺度が統一された構造物２の正面画像データに変換する正面画像取得処理と、
（エ）前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ、傾きデータ、及び、個々の広狭２つの画像データセットにおける部分画像データと詳細画像データの拡大倍率に基づいて、部分画像データを複数枚組み合わせて再配置して統合し、スケールの尺度が統一された構造物の粗い広域正面画像データを得る画像統合処理と、
を行うことができるものである。
ここで、部分画像データと詳細画像データの「拡大倍率」は、好適には、各画像を撮影した際のカメラ１１の焦点距離から算出されるものである。
（ア）前記撮影装置１０によって定位置から構造物２の一部を撮影することによって得られた詳細画像データのそれぞれについて、前記レーザーポインタＬｐ１～Ｌｐ４による各照射点Ｐ１～Ｐ４の詳細画像データ中における座標位置を抽出する照射点抽出処理と、
（イ）前記詳細画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタＬｐ１～Ｌｐ４による各照射点Ｐ１～Ｐ４の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタＬｐ１～Ｌｐ４による各照射点の座標位置との相対的な関係から、前記カメラ１１から構造物２までの距離データ及びカメラ１１の３次元方向での傾きデータを算出する位置姿勢推定処理と、
（ウ）前記個々の広狭２つの画像データセットにおける部分画像データと詳細画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ、傾きデータ及び、個々の広狭２つの画像データセットにおける部分画像データと詳細画像データの拡大倍率に基づいて、スケールの尺度が統一された構造物２の正面画像データに変換する正面画像取得処理と、
（エ）前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ、傾きデータ、及び、個々の広狭２つの画像データセットにおける部分画像データと詳細画像データの拡大倍率に基づいて、部分画像データを複数枚組み合わせて再配置して統合し、スケールの尺度が統一された構造物の粗い広域正面画像データを得る画像統合処理と、
を行うことができるものである。
ここで、部分画像データと詳細画像データの「拡大倍率」は、好適には、各画像を撮影した際のカメラ１１の焦点距離から算出されるものである。
【0030】
さらに、本発明において、前記データ処理装置２０は、
（オ）前記特定部分詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、各特定部分詳細画像データの拡大倍率に基づいて特定部分詳細画像データを複数枚組み合わせて再配置して統合し、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得ることができるものである。
（オ）前記特定部分詳細画像データ中における前記レーザーポインタによる少なくとも３個の照射点から前記カメラから構造物までの距離データ及びカメラの３次元方向での傾きデータを算出し、各特定部分詳細画像データの拡大倍率に基づいて特定部分詳細画像データを複数枚組み合わせて再配置して統合し、スケールの尺度が統一された構造物の部分的に詳細化された広域正面画像データを得ることができるものである。
【0031】
さらに、本発明において、前記データ処理装置２０は、損傷部分の候補を自動的に検出して表示することができる。
例えば、ひび割れや穴といった損傷部分であれば、画像データ中において周囲よりも黒く表示されるため、それらを損傷部分として自動的にピックアップし、鮮明な色にてカラー表示することで、存在箇所を明確化することができる。
また、本発明において、前記データ処理装置２０は、現場において構造物の実際の損傷部分を目視確認することで、自動検出された損傷部分の候補を削除したり修正する処理を受け付けることができる。かかる修正には、損傷部分の長さ、幅、種類などのデータを記入し、記録する処理を含む（図１の下部に記載した広域正面画像データ参照）。
さらに、本発明において、前記データ処理装置２０は、損傷部分の候補を削除したり修正する処理の履歴から学習し、次に損傷部分の候補を自動的に検出して表示する際に反映させることができるようになっている。
例えば、ひび割れや穴といった損傷部分であれば、画像データ中において周囲よりも黒く表示されるため、それらを損傷部分として自動的にピックアップし、鮮明な色にてカラー表示することで、存在箇所を明確化することができる。
また、本発明において、前記データ処理装置２０は、現場において構造物の実際の損傷部分を目視確認することで、自動検出された損傷部分の候補を削除したり修正する処理を受け付けることができる。かかる修正には、損傷部分の長さ、幅、種類などのデータを記入し、記録する処理を含む（図１の下部に記載した広域正面画像データ参照）。
さらに、本発明において、前記データ処理装置２０は、損傷部分の候補を削除したり修正する処理の履歴から学習し、次に損傷部分の候補を自動的に検出して表示する際に反映させることができるようになっている。
【0032】
また、本発明において、前記データ処理装置２０は、現場にて目視確認することで、追加すべき損傷部分を指、タッチペン又はマウスなどによるスケッチ操作によって正面画像データ中に表示して記録することができるものであっても良い（図１の下部に記載した広域正面画像データ参照）。
さらに、本発明において、前記データ処理装置２０は、同一構造物２について過去において得た画像データと、新たに入手した画像データとを比較対照することができ、当該構造物２における損傷部分の経時変化を確認できるものであってもよい。
さらに、本発明において、前記データ処理装置２０は、同一構造物２について過去において得た画像データと、新たに入手した画像データとを比較対照することができ、当該構造物２における損傷部分の経時変化を確認できるものであってもよい。
【0033】
前記データ処理装置２０は、前記位置姿勢推定処理において、前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタＬｐ１～Ｌｐ４による各照射点Ｐ１～Ｐ４の座標位置と、前記撮影装置１０におけるカメラ１１とレーザーポインタＬｐ１～Ｌｐ４の配置位置データとから、前記カメラ１１から構造物２までの距離データ及びカメラ１１の３次元方向での傾きデータを算出する位置姿勢推定処理を行うものであっても良い。
ここで、前記データ処理装置２０による位置姿勢推定処理は、前記レーザーポインタＬｐ１～Ｌｐ４による各照射点Ｐ１～Ｐ４の内の３個の照射点の座標位置が特定できれば、前記カメラ１１から構造物２までの距離データ及びカメラの３次元方向での傾きデータを算出することができる。
従って、照射点Ｐ１～Ｐ４の内の何れか１個が不鮮明で判別困難であっても、以後の画像処理を行うことができる。
ここで、前記データ処理装置２０による位置姿勢推定処理は、前記レーザーポインタＬｐ１～Ｌｐ４による各照射点Ｐ１～Ｐ４の内の３個の照射点の座標位置が特定できれば、前記カメラ１１から構造物２までの距離データ及びカメラの３次元方向での傾きデータを算出することができる。
従って、照射点Ｐ１～Ｐ４の内の何れか１個が不鮮明で判別困難であっても、以後の画像処理を行うことができる。
【0034】
さらに、前記データ処理装置２０は、前記位置姿勢推定処理において、前記照射点抽出処理によって得られた前記レーザーポインタＬｐ１～Ｌｐ４による４個の照射点Ｐ１～Ｐ４の座標位置と、前記撮影装置１０を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタＬｐ１～Ｌｐ４による４個の照射点Ｐ１～Ｐ４の座標位置との４点の対応の内から選択される異なる３点の対応の２以上の組み合わせから、前記距離データ及び傾きデータを算出することで、それらのデータの精度を高めることができるものであっても良い。
【0035】
また、本発明の好適な実施形態において、前記レーザーポインタＬｐ１～Ｌｐ４による４個の照射点Ｐ１～Ｐ４は、正対する平面上において、正確には長方形又は正方形の頂点上に配置されるべきものであり、前記データ処理装置２０は、前記位置姿勢推定処理において、前記撮影装置１０を用いて予め異なる距離から正対する平面、好適には、図１３の右側に示すように、１０ｃｍ角の正方形を市松模様にて並べたキャリブレーションボード３１を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、前記カメラ１１と４個のレーザーポインタＬｐ１～Ｌｐ４の光軸のズレを検出することで、構造物２の画像データ中における照射点Ｐ１～Ｐ４の座標位置を補正することができるものであると良い。
【0036】
さらに、本発明の好適な実施形態において、前記データ処理装置２０は、前記画像統合処理によって得られた構造物２の広範囲の正面画像から、構造物２に生じているひび割れ５又は剥離などの損傷の計測処理を行うことができるものである。
かかる計測処理は、カメラ１１と対象物との距離データ及びカメラ１１の傾きデータ、並びに、画像データの解像度から、各画像データ中における損傷の座標位置（各照射点Ｐ１～Ｐ４同士の距離）を特定できるため、可能となる。
かかる損傷部分については、既に説明した通り、自動にて損傷部分の候補を検出して表示し、さらにそれらの候補を現場における目視にて確認し、現場にあるデータ処理装置２０、好ましくは携帯電話又はタブレットなどのローカル端末装置によって、追加、削除又は修正することで、より一層正確な検査結果データを得ることができるものとすることができる。
かかる計測処理は、カメラ１１と対象物との距離データ及びカメラ１１の傾きデータ、並びに、画像データの解像度から、各画像データ中における損傷の座標位置（各照射点Ｐ１～Ｐ４同士の距離）を特定できるため、可能となる。
かかる損傷部分については、既に説明した通り、自動にて損傷部分の候補を検出して表示し、さらにそれらの候補を現場における目視にて確認し、現場にあるデータ処理装置２０、好ましくは携帯電話又はタブレットなどのローカル端末装置によって、追加、削除又は修正することで、より一層正確な検査結果データを得ることができるものとすることができる。
【0037】
次に、上記にて説明した本発明の「橋梁などの構造物を効率的に検査するための画像処理システム１」を用いて橋梁などの構造物２を検査するための画像処理方法について説明する。
本発明の橋梁などの構造物２を検査するための画像処理方法は、好適には、前記カメラ１１により撮影された画像の画素分解能（１ピクセルあたりの実サイズ）が、０．１ｍｍ／ピクセル～０．３ｍｍ／ピクセルの範囲内である画像処理システム１を用いて構造物２の広範囲の正面画像から構造物２に生じている微細なひび割れ５の存在とその位置を確認することができる構造物２を検査するための画像処理方法であって、図７に示すように、以下のステップＳ１～Ｓ７から構成されている。
本発明の橋梁などの構造物２を検査するための画像処理方法は、好適には、前記カメラ１１により撮影された画像の画素分解能（１ピクセルあたりの実サイズ）が、０．１ｍｍ／ピクセル～０．３ｍｍ／ピクセルの範囲内である画像処理システム１を用いて構造物２の広範囲の正面画像から構造物２に生じている微細なひび割れ５の存在とその位置を確認することができる構造物２を検査するための画像処理方法であって、図７に示すように、以下のステップＳ１～Ｓ７から構成されている。
【0038】
前記カメラ１１と４個のレーザーポインタＬｐ１～Ｌｐ４を有する撮影装置１０によって、構造物２から離れた定位置から構造物２の一部分を同一方向にて撮影することによって部分画像データと、その中央部分を撮影した詳細画像データの広狭２つの画像データセットを取得するステップＳ１（画像データセット撮影）。
前記撮影装置１０によって、構造物２から離れた前記と同じ定位置から構造物２の他の部分を同一方向にて撮影することによって部分画像データと、その中央部分を撮影した詳細画像データの広狭２つの画像データセットを取得するステップＳ２（他の画像データセット撮影）。
前記データ処理装置２０による照射点抽出処理によって、前記複数枚の詳細画像データのそれぞれについて、前記レーザーポインタＬｐ１～Ｌｐ４による各照射点Ｐ１～Ｐ４の画像データ中での座標位置を抽出するステップＳ３（照射点抽出処理）。
前記データ処理装置２０による位置姿勢推定処理によって、前記複数枚の詳細画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタＬｐ１～Ｌｐ４による各照射点Ｐ１～Ｐ４の座標位置と、前記撮影装置１０を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタＬｐ１～Ｌｐ４による各照射点の座標位置との相対的な関係から、前記カメラ１１から構造物２までの距離データ及びカメラ１１の３次元方向での傾きデータを算出するステップＳ４（位置姿勢推定処理）。
前記撮影装置１０によって、構造物２から離れた前記と同じ定位置から構造物２の他の部分を同一方向にて撮影することによって部分画像データと、その中央部分を撮影した詳細画像データの広狭２つの画像データセットを取得するステップＳ２（他の画像データセット撮影）。
前記データ処理装置２０による照射点抽出処理によって、前記複数枚の詳細画像データのそれぞれについて、前記レーザーポインタＬｐ１～Ｌｐ４による各照射点Ｐ１～Ｐ４の画像データ中での座標位置を抽出するステップＳ３（照射点抽出処理）。
前記データ処理装置２０による位置姿勢推定処理によって、前記複数枚の詳細画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタＬｐ１～Ｌｐ４による各照射点Ｐ１～Ｐ４の座標位置と、前記撮影装置１０を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタＬｐ１～Ｌｐ４による各照射点の座標位置との相対的な関係から、前記カメラ１１から構造物２までの距離データ及びカメラ１１の３次元方向での傾きデータを算出するステップＳ４（位置姿勢推定処理）。
【0039】
前記データ処理装置２０による正面画像取得処理によって、前記複数枚の部分画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ、傾きデータ及び拡大倍率に基づいて再配置して統合し、スケールの尺度が統一された構造物２の粗い広域正面画像データに変換するステップＳ５（粗い広域正面画像取得処理）。
図１０に示す別ルーチンに示すように、現場において目視確認した構造物中の損傷部分を特定部分とし、当該特定部分を前記と同じ定位置から撮影した特定部分詳細画像データについて、前記データ処理装置２０が行った位置姿勢推定処理によって得られた距離データ、傾きデータ及び拡大倍率に基づいて再配置して前記構造物２の粗い広域正面画像データと統合し、構造物２の部分的に詳細化された広域正面画像を構築するステップＳ６（部分的に詳細化された広域正面画像取得処理）。
前記部分的に詳細化された広域正面画像取得処理によって得られた構造物２の部分的に詳細化された広域正面画像から、構造物２に生じているひび割れ５又は剥離などの損傷部分を自動的に検出し表示するとともに、構造物２に生じているひび割れなどの幅及び長さなどの損傷部分の情報を付加して記録するステップＳ７（損傷部分の情報付加処理）。
図１０に示す別ルーチンに示すように、現場において目視確認した構造物中の損傷部分を特定部分とし、当該特定部分を前記と同じ定位置から撮影した特定部分詳細画像データについて、前記データ処理装置２０が行った位置姿勢推定処理によって得られた距離データ、傾きデータ及び拡大倍率に基づいて再配置して前記構造物２の粗い広域正面画像データと統合し、構造物２の部分的に詳細化された広域正面画像を構築するステップＳ６（部分的に詳細化された広域正面画像取得処理）。
前記部分的に詳細化された広域正面画像取得処理によって得られた構造物２の部分的に詳細化された広域正面画像から、構造物２に生じているひび割れ５又は剥離などの損傷部分を自動的に検出し表示するとともに、構造物２に生じているひび割れなどの幅及び長さなどの損傷部分の情報を付加して記録するステップＳ７（損傷部分の情報付加処理）。
【0040】
なお、本発明の構造物を効率的に検査するための画像処理方法において、前記データ処理装置による位置姿勢推定処理は、前記撮影装置１０を用いて予め異なる距離から正対する平面、好適には、図１３の右側に示すように、１０ｃｍ角の正方形を市松模様にて並べたキャリブレーションボード３１を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、前記カメラ１１と４個のレーザーポインタＬｐ１～Ｌｐ４の光軸のズレを検出するステップＳ０（キャリブレーション）をさらに含むものであっても良い。これにより、構造物２の画像データ中における照射点Ｐ１～Ｐ４の座標位置を補正することができる。
さらに、本発明の構造物を効率的に検査するための画像処理方法は、撮影のステップＳ１の前に、撮影位置から撮影される構造物２の範囲が、カメラ１１の光軸の上下左右それぞれ最大６０度の範囲内となるように、構造物２から離れた定位置を選定するステップＳ１－０をさらに含むものであると良い（図８参照）。
なお、本発明の構造物を効率的に検査するための画像処理方法において、カメラ１１による撮影位置は、１箇所に限られるものではなく、構造物２が水平方向又は上下方向に長い場合には、複数箇所から複数枚の撮影を行い、その際の移動距離を元に、又は、画像データ中の特徴点を照合することで、構造物２のさらに広範囲の正面画像を構築することもできる。
さらに、本発明の構造物を効率的に検査するための画像処理方法は、撮影のステップＳ１の前に、撮影位置から撮影される構造物２の範囲が、カメラ１１の光軸の上下左右それぞれ最大６０度の範囲内となるように、構造物２から離れた定位置を選定するステップＳ１－０をさらに含むものであると良い（図８参照）。
なお、本発明の構造物を効率的に検査するための画像処理方法において、カメラ１１による撮影位置は、１箇所に限られるものではなく、構造物２が水平方向又は上下方向に長い場合には、複数箇所から複数枚の撮影を行い、その際の移動距離を元に、又は、画像データ中の特徴点を照合することで、構造物２のさらに広範囲の正面画像を構築することもできる。
【0041】
また、本発明の構造物を効率的に検査するための画像処理方法は、前記位置姿勢推定処理のステップＳ４において、前記照射点抽出処理によって得られた前記レーザーポインタＬｐ１～Ｌｐ４による４個の照射点Ｐ１～Ｐ４の座標位置と、前記撮影装置１０を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタＬｐ１～Ｌｐ４による４個の照射点Ｐ１～Ｐ４の座標位置との４点の対応の内から選択される異なる３点の対応の２以上の組み合わせから、前記距離データ及び傾きデータを算出することで、それらのデータの精度を高めることができるステップＳ３－１を採用しても良い（図９参照）。
【0042】
次に、データ処理装置２０による位置姿勢推定処理の具体的手順（計算処理理論）について以下、説明する。
図６に示すように、構造物２をカメラ１１で撮影した画像データ（撮影画像）は、基準状態で撮影された画像からＸ軸（水平方向）及びＹ軸（上下方向）において回転しており、Ｚ軸（前後方向）において移動していると考えられる。
そこで、
ｉ）基準状態での輝点座標と回転・移動後の輝点座標の関係より、
ｉｉ）回転と移動による距離変化により、
図６に示すように、構造物２をカメラ１１で撮影した画像データ（撮影画像）は、基準状態で撮影された画像からＸ軸（水平方向）及びＹ軸（上下方向）において回転しており、Ｚ軸（前後方向）において移動していると考えられる。
そこで、
ｉ）基準状態での輝点座標と回転・移動後の輝点座標の関係より、
【数1】
ｉｉ）回転と移動による距離変化により、
【数2】
【0043】
上記ｉ）とｉｉ）より、距離に関する方程式
が成り立つので、以下のパラメータが既知であれば、方程式を解くことができる。
の「輝点座標のペア（組み合わせ）が３点以上」
「各レーザーポインタの傾き」：
「基準状態での撮影装置と壁面との距離」：Ｚ
「撮影時の焦点距離」：
【数3】
が成り立つので、以下のパラメータが既知であれば、方程式を解くことができる。
【数4】
の「輝点座標のペア（組み合わせ）が３点以上」
「各レーザーポインタの傾き」：
【数5】
「基準状態での撮影装置と壁面との距離」：Ｚ
「撮影時の焦点距離」：
【数6】
【実施例】
【0044】
ここで、本件発明の橋梁などの構造物２を効率的に検査するための画像処理システム１の一実施例について説明する（図２参照）。
＜点検対象の構造物と損傷の程度＞
橋梁のコンクリート壁面３における０．１ｍｍ以上の幅を有するひび割れを検出する検査のための画像処理を行う場合
即ち、本システムにおける重要な要素としては、画像の分解能があり、分解能(正面向きで平面を撮影する場合)は、
・カメラの総画素数［ｐｉｘ］
・カメラセンサのサイズ［ｍｍ］
・撮影時の壁面との距離［ｍ］
・焦点距離（ズーム値）［ｍｍ］
の４つのパラメータで決定される。
そしてこれらの値を考慮しつつ、使用するカメラのスペック、及び、広狭２つの画像データセットを構成する部分画像データと詳細画像データの拡大倍率を適宜選択する必要がある。
＜使用するカメラ＞
ＳＯＮＹ社製のデジタルカメラ：Ｃｙｂｅｒ－ｓｈｏｔ ＤＳＣ－ＲＸ１０Ｍ４
解像度 ：５４７２ ｘ ３６４８
光学ズーム倍率：２５倍まで
撮影時の焦点距離は画像データ中（Ｅｘｉｆ内）に記録される。
＜詳細画像のスペック＞
画像分解能 ：０．２ｍｍ／ｐｉｘ
最大撮影可能範囲：１．１ｍ ｘ ０．７ｍ
最大撮影可能距離：０．７３ｍ（２５倍ズーム利用なら１８．２５ｍ）
＜レーザーポインタ＞
水平方向４８ｃｍ、上下方向３２ｃｍの長方形の頂点に配置
カメラはその長方形の中心位置に光軸が配置されるようにして固定
（この配置が、位置姿勢推定処理において利用される配置位置データとなる。）
＜広狭２つの画像データセットを構成する部分画像データと詳細画像データの拡大倍率について＞
既に述べた通り、実際の運用上、作業効率及び処理精度などの観点から、拡大倍率は、２～５倍程度が好ましい。
＜部分画像の撮影枚数＞
広狭２つの画像データセットを構成する部分画像データと詳細画像データの拡大倍率を３とし、画像の統合を容易にするために、３割重ねながら撮影する場合
（壁面の幅／２．４）ｘ（壁面の高さ／１．５）枚
但し、壁面全体を漏れなく撮影するには、小数点以下は切り上げた枚数となる。
＜点検対象の構造物と損傷の程度＞
橋梁のコンクリート壁面３における０．１ｍｍ以上の幅を有するひび割れを検出する検査のための画像処理を行う場合
即ち、本システムにおける重要な要素としては、画像の分解能があり、分解能(正面向きで平面を撮影する場合)は、
・カメラの総画素数［ｐｉｘ］
・カメラセンサのサイズ［ｍｍ］
・撮影時の壁面との距離［ｍ］
・焦点距離（ズーム値）［ｍｍ］
の４つのパラメータで決定される。
そしてこれらの値を考慮しつつ、使用するカメラのスペック、及び、広狭２つの画像データセットを構成する部分画像データと詳細画像データの拡大倍率を適宜選択する必要がある。
＜使用するカメラ＞
ＳＯＮＹ社製のデジタルカメラ：Ｃｙｂｅｒ－ｓｈｏｔ ＤＳＣ－ＲＸ１０Ｍ４
解像度 ：５４７２ ｘ ３６４８
光学ズーム倍率：２５倍まで
撮影時の焦点距離は画像データ中（Ｅｘｉｆ内）に記録される。
＜詳細画像のスペック＞
画像分解能 ：０．２ｍｍ／ｐｉｘ
最大撮影可能範囲：１．１ｍ ｘ ０．７ｍ
最大撮影可能距離：０．７３ｍ（２５倍ズーム利用なら１８．２５ｍ）
＜レーザーポインタ＞
水平方向４８ｃｍ、上下方向３２ｃｍの長方形の頂点に配置
カメラはその長方形の中心位置に光軸が配置されるようにして固定
（この配置が、位置姿勢推定処理において利用される配置位置データとなる。）
＜広狭２つの画像データセットを構成する部分画像データと詳細画像データの拡大倍率について＞
既に述べた通り、実際の運用上、作業効率及び処理精度などの観点から、拡大倍率は、２～５倍程度が好ましい。
＜部分画像の撮影枚数＞
広狭２つの画像データセットを構成する部分画像データと詳細画像データの拡大倍率を３とし、画像の統合を容易にするために、３割重ねながら撮影する場合
（壁面の幅／２．４）ｘ（壁面の高さ／１．５）枚
但し、壁面全体を漏れなく撮影するには、小数点以下は切り上げた枚数となる。
【0045】
本発明において、照射点抽出処理、位置姿勢推定処理、正面画像取得処理、画像統合処理、ひび割れ計測処理を行う「データ処理装置２０」は、ＰＣ（コンピュータ）の他、タブレット、携帯電話（スマートフォン）などであってもよく、本発明のプログラムは、それらのデータ処理装置２０において動作し、本発明の画像処理方法（本明細書中において説明した各ステップにおけるデータ処理）をそれらのデータ処理装置において実行することができるものである。
ここで、照射点抽出処理、正面画像取得処理、ひび割れ計測処理の個々の処理については、従来公知の画像処理方法及びプログラムを用いて当業者において容易に理解でき、かつ、処理できるものであり、詳細な説明は省略する。
ここで、照射点抽出処理、正面画像取得処理、ひび割れ計測処理の個々の処理については、従来公知の画像処理方法及びプログラムを用いて当業者において容易に理解でき、かつ、処理できるものであり、詳細な説明は省略する。
【0046】
本発明は、橋梁の他、堤防、ダム、道路、トンネル、建物、橋脚などの柱状物、その他の構造物２の壁面３、床面、底面４、天井面上面などを検査するための画像処理システムとして使用することができるものであり、鉛直又は水平な平面の検査に限定されるものではなく、傾斜した平面についての画像データについても正面画像として再配置して統合することができる、橋梁などの構造物を効率的に検査するための画像処理システム、画像処理方法及びプログラムである。
【0047】
本発明は、本発明の趣旨を逸脱しない範囲で画像処理システム１に使用する撮影装置１０の各部の形状、寸法、角度、設置位置、大きさなどを適宜変更して実施しても良い。
一例として、本発明の構造物を検査するための画像処理システム１は、カメラ１１と、４個のレーザーポインタＬｐ１～Ｌｐ４と、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記４個のレーザーポインタＬｐ１～Ｌｐ４によるレーザー光が、前記カメラ１１によって撮影される画像の４隅付近に照射されるように、４個のレーザーポインタＬｐ１～Ｌｐ４を前記カメラ１１の光軸を中心とする対角線上にて「拡開する」ように配置して固定することができるものであっても良い。
ここで、「拡開する」とは、レーザーポインタＬｐ１～Ｌｐ４による各レーザー光が、カメラ１１の光軸に対して一定の角度を以て広がっていくことである。
この実施形態においては、撮影装置を小型化することが可能となる。
一例として、本発明の構造物を検査するための画像処理システム１は、カメラ１１と、４個のレーザーポインタＬｐ１～Ｌｐ４と、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記４個のレーザーポインタＬｐ１～Ｌｐ４によるレーザー光が、前記カメラ１１によって撮影される画像の４隅付近に照射されるように、４個のレーザーポインタＬｐ１～Ｌｐ４を前記カメラ１１の光軸を中心とする対角線上にて「拡開する」ように配置して固定することができるものであっても良い。
ここで、「拡開する」とは、レーザーポインタＬｐ１～Ｌｐ４による各レーザー光が、カメラ１１の光軸に対して一定の角度を以て広がっていくことである。
この実施形態においては、撮影装置を小型化することが可能となる。
【0048】
さらに、本発明の図５に示す実施形態においては、カメラとしてのビデオカメラ１１ａと、３個のレーザーポインタＬｐ１～Ｌｐ３を保持する固定手段（図示略）を備えた撮影装置１０を用いている。
この実施形態において、当該撮影装置１０を構成する固定手段は、前記３個のレーザーポインタＬｐ１～Ｌｐ３によるレーザー光が、前記カメラ１１ａによって撮影される画像の範囲内に照射されるように、３個のレーザーポインタＬｐ１～Ｌｐ３を前記カメラ１１ａの光軸と平行かつ当該光軸の周囲に配置した三角形の頂点上に配置して固定することができるものである。
そして、３個のレーザーポインタＬｐ１～Ｌｐ３の配置は、好適実施形態として、水平方向に沿った底辺を有する正三角形の頂点上であると良い。
この実施形態の場合、本発明の構造物を検査するための画像処理方法の一実施形態は、図１１に示すように、以下のステップＳ１０～Ｓ１７から構成される。
この実施形態において、当該撮影装置１０を構成する固定手段は、前記３個のレーザーポインタＬｐ１～Ｌｐ３によるレーザー光が、前記カメラ１１ａによって撮影される画像の範囲内に照射されるように、３個のレーザーポインタＬｐ１～Ｌｐ３を前記カメラ１１ａの光軸と平行かつ当該光軸の周囲に配置した三角形の頂点上に配置して固定することができるものである。
そして、３個のレーザーポインタＬｐ１～Ｌｐ３の配置は、好適実施形態として、水平方向に沿った底辺を有する正三角形の頂点上であると良い。
この実施形態の場合、本発明の構造物を検査するための画像処理方法の一実施形態は、図１１に示すように、以下のステップＳ１０～Ｓ１７から構成される。
【0049】
撮影装置１０を用いて予め異なる距離から正対する平面を撮影した複数枚の詳細画像データに基づいて、距離データ及び傾きデータを算出し、前記カメラ１１ａと３個のレーザーポインタＬｐ１～Ｌｐ３の光軸のズレを検出するステップＳ１０（キャリブレーション）。
これにより、構造物２の詳細画像データ中における照射点Ｐ１～Ｐ３の座標位置を補正することができる。
かかるキャリブレーションには、一例として、図１３の右側に示すように、１０ｃｍ角の正方形を市松模様にて並べたキャリブレーションボード３１を好適に使用することができる。
これにより、構造物２の詳細画像データ中における照射点Ｐ１～Ｐ３の座標位置を補正することができる。
かかるキャリブレーションには、一例として、図１３の右側に示すように、１０ｃｍ角の正方形を市松模様にて並べたキャリブレーションボード３１を好適に使用することができる。
【0050】
前記カメラ１１ａと３個のレーザーポインタＬｐ１～Ｌｐ３を有する撮影装置１０によって、構造物２から離れた定位置から構造物２の一部分を同一方向にて撮影することによって部分画像データと、その中央部分を撮影した詳細画像データの広狭２つの画像データセットを取得するステップＳ１１（画像データセット撮影）。
前記カメラ１１ａと３個のレーザーポインタＬｐ１～Ｌｐ３を有する撮影装置１０によって、構造物２から離れた前記と同じ定位置から構造物２の他の部分を同一方向にて撮影することによって部分画像データと、その中央部分を撮影した詳細画像データの広狭２つの画像データセットを取得するステップＳ１２（他の画像データセット撮影）。
前記データ処理装置２０による照射点抽出処理によって、前記複数枚の詳細画像データのそれぞれについて、前記レーザーポインタＬｐ１～Ｌｐ３による各照射点Ｐ１～Ｐ３の画像データ中での座標位置を抽出するステップＳ１３（照射点抽出処理）。
前記カメラ１１ａと３個のレーザーポインタＬｐ１～Ｌｐ３を有する撮影装置１０によって、構造物２から離れた前記と同じ定位置から構造物２の他の部分を同一方向にて撮影することによって部分画像データと、その中央部分を撮影した詳細画像データの広狭２つの画像データセットを取得するステップＳ１２（他の画像データセット撮影）。
前記データ処理装置２０による照射点抽出処理によって、前記複数枚の詳細画像データのそれぞれについて、前記レーザーポインタＬｐ１～Ｌｐ３による各照射点Ｐ１～Ｐ３の画像データ中での座標位置を抽出するステップＳ１３（照射点抽出処理）。
【0051】
前記データ処理装置２０による位置姿勢推定処理によって、前記複数枚の詳細画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタＬｐ１～Ｌｐ３による各照射点Ｐ１～Ｐ３の座標位置と、前記撮影装置１０を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタＬｐ１～Ｌｐ３による各照射点の座標位置との相対的な関係又は前記撮影装置におけるカメラ１１ａとレーザーポインタＬｐ１～Ｌｐ３の配置位置データとから、前記カメラ１１ａから構造物２までの距離データ及びカメラ１１ａの３次元方向での傾きデータを算出するステップＳ１４（位置姿勢推定処理）。
【0052】
前記データ処理装置２０による正面画像取得処理によって、前記複数枚の部分画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ、傾きデータ及び拡大倍率に基づいて再配置して統合し、スケールの尺度が統一された構造物２の粗い広域正面画像データに変換するステップＳ１５（粗い広域正面画像取得処理）。
図１０に示す別ルーチンに示すように、現場において目視確認した構造物中の損傷部分を特定部分とし、当該特定部分を前記と同じ定位置から撮影した特定部分詳細画像データについて、前記データ処理装置２０が行った位置姿勢推定処理によって得られた距離データ、傾きデータ及び拡大倍率に基づいて再配置して前記構造物２の粗い広域正面画像データと統合し、構造物２の部分的に詳細化された広域正面画像を構築するステップＳ１６（部分的に詳細化された広域正面画像取得処理）。
前記部分的に詳細化された広域正面画像取得処理によって得られた構造物２の部分的に詳細化された広域正面画像から、構造物２に生じているひび割れ５又は剥離などの損傷部分を自動的に検出し表示するとともに、構造物に生じているひび割れなどの幅及び長さなどの損傷部分の情報を付加して記録するステップＳ１７（損傷部分の情報付加処理）。
図１０に示す別ルーチンに示すように、現場において目視確認した構造物中の損傷部分を特定部分とし、当該特定部分を前記と同じ定位置から撮影した特定部分詳細画像データについて、前記データ処理装置２０が行った位置姿勢推定処理によって得られた距離データ、傾きデータ及び拡大倍率に基づいて再配置して前記構造物２の粗い広域正面画像データと統合し、構造物２の部分的に詳細化された広域正面画像を構築するステップＳ１６（部分的に詳細化された広域正面画像取得処理）。
前記部分的に詳細化された広域正面画像取得処理によって得られた構造物２の部分的に詳細化された広域正面画像から、構造物２に生じているひび割れ５又は剥離などの損傷部分を自動的に検出し表示するとともに、構造物に生じているひび割れなどの幅及び長さなどの損傷部分の情報を付加して記録するステップＳ１７（損傷部分の情報付加処理）。
【0053】
本発明の上記実施形態の構造物を効率的に検査するための画像処理方法においては、レーザーポインタＬｐ１～Ｌｐ３を３個のみ有する撮影装置１０を用いているため、小型化及び軽量化することができ、システムの構築コストを低減することができる。
また、カメラとしてビデオカメラ１１ａを用いている場合には、撮影作業を迅速かつスムーズに行うことができる。
なお、ビデオカメラ１１ａによって構造物２の動画データを得る場合には、動画データ中における適宜の画像データを抽出・選択して以後の画像処理を行えば良い。
また、カメラとしてビデオカメラ１１ａを用いている場合には、撮影作業を迅速かつスムーズに行うことができる。
なお、ビデオカメラ１１ａによって構造物２の動画データを得る場合には、動画データ中における適宜の画像データを抽出・選択して以後の画像処理を行えば良い。
【0054】
また、本発明の画像処理方法においては、カメラ１１のズーム機能を使用することで、得られる構造物２の平面画像の解像度を簡単に変更することができる。
さらに、部分的に解像度を上げるには、ズーム倍率を高め、照射点Ｐ１～Ｐ４の位置を撮影範囲の４隅になるべく接近させれば良い。
逆に撮影効率を高め、解像度を低下させても良い場合には、ズーム倍率を低めて構造物２の広範囲を撮影するようにすれば良く、この場合、照射点Ｐ１～Ｐ４は、撮影範囲の４隅付近において、中央部寄りの位置に配置されることになる（図１２参照）。
さらに、部分的に解像度を上げるには、ズーム倍率を高め、照射点Ｐ１～Ｐ４の位置を撮影範囲の４隅になるべく接近させれば良い。
逆に撮影効率を高め、解像度を低下させても良い場合には、ズーム倍率を低めて構造物２の広範囲を撮影するようにすれば良く、この場合、照射点Ｐ１～Ｐ４は、撮影範囲の４隅付近において、中央部寄りの位置に配置されることになる（図１２参照）。
【0055】
さらに、本発明は、画像処理システム１のカメラ１１，１１ａとして携帯電話又はタブレット（ＰＣ）を使用し、データ処理装置２０としても当該携帯電話又はタブレット（ＰＣ）を使用することで、撮影装置１０によってデータ処理装置２０を兼用することもできる。
その場合、本発明の橋梁などの構造物を効率的に検査するための画像処理システムを小型・軽量化でき、画像処理作業もスムーズに行うことができる。
また、本発明の画像処理システムに通信機能を持たせることができるため、遠隔地にある現場で得られたデータを無線通信にて速やかに事業所などの大きなモニタやＰＣの在る場所へ転送することもできる。
その場合、本発明の橋梁などの構造物を効率的に検査するための画像処理システムを小型・軽量化でき、画像処理作業もスムーズに行うことができる。
また、本発明の画像処理システムに通信機能を持たせることができるため、遠隔地にある現場で得られたデータを無線通信にて速やかに事業所などの大きなモニタやＰＣの在る場所へ転送することもできる。
【0056】
本発明の画像処理システムにおいて、ＰＣ画面上のひび割れをマウスポインタによってなぞることで、そのひび割れの長さ、及び位置を特定し、その長さ及び位置のデータを部分的に詳細化された広域正面画像のデータと関連づけて記録することもできる。
本発明の画像処理システムにおいて、前記データ処理装置２０は、前記構造物２の粗い広域正面画像データ又は部分的に詳細化された広域正面画像データ中における構造物の損傷部分の候補を自動検出して表示でき、さらに、当該損傷部分の候補を削除又は修正可能である。
さらに、本発明の画像処理システムにおいて、前記データ処理装置２０は、損傷部分の候補の削除又は修正の履歴から学習し、次に構造物の損傷部分の候補を自動検出する際に反映させることができる。
本発明の画像処理システムにおいて、前記データ処理装置２０は、ホストコンピュータ２３と、当該ホストコンピュータ２３と接続されるローカル端末装置（ノート型パソコン２１、携帯電話２２、又は、タブレット端末２４など）とから構成されたものとし、前記ホストコンピュータ２３にて、構造物の粗い広域正面画像データと、構造物の部分的に詳細化された広域正面画像データの生成、及び、損傷部分の候補の削除又は修正の履歴から学習し次に構造物の損傷部分の候補を自動検出する際に反映させる処理を行うことができ、前記ローカル端末装置にて、当該損傷部分の候補を削除又は修正可能とすることもできる。
本発明の画像処理システムにおいて、前記データ処理装置２０は、構造物の粗い広域正面画像データ及び構造物の部分的に詳細化された広域正面画像データの任意の部分を拡大・縮小表示したり、特定の部分を選択したりクリックすることで当該部分を別画面として表示させることもできる。
さらに、本発明の画像処理システムにおいて、前記データ処理装置２０は、同一構造物２について過去において得た画像データと、新たに入手した画像データとを比較対照して表示することができ、当該構造物２における損傷部分の経時変化を確認することもできる。
本発明の画像処理システムにおいて、前記データ処理装置２０は、前記構造物２の粗い広域正面画像データ又は部分的に詳細化された広域正面画像データ中における構造物の損傷部分の候補を自動検出して表示でき、さらに、当該損傷部分の候補を削除又は修正可能である。
さらに、本発明の画像処理システムにおいて、前記データ処理装置２０は、損傷部分の候補の削除又は修正の履歴から学習し、次に構造物の損傷部分の候補を自動検出する際に反映させることができる。
本発明の画像処理システムにおいて、前記データ処理装置２０は、ホストコンピュータ２３と、当該ホストコンピュータ２３と接続されるローカル端末装置（ノート型パソコン２１、携帯電話２２、又は、タブレット端末２４など）とから構成されたものとし、前記ホストコンピュータ２３にて、構造物の粗い広域正面画像データと、構造物の部分的に詳細化された広域正面画像データの生成、及び、損傷部分の候補の削除又は修正の履歴から学習し次に構造物の損傷部分の候補を自動検出する際に反映させる処理を行うことができ、前記ローカル端末装置にて、当該損傷部分の候補を削除又は修正可能とすることもできる。
本発明の画像処理システムにおいて、前記データ処理装置２０は、構造物の粗い広域正面画像データ及び構造物の部分的に詳細化された広域正面画像データの任意の部分を拡大・縮小表示したり、特定の部分を選択したりクリックすることで当該部分を別画面として表示させることもできる。
さらに、本発明の画像処理システムにおいて、前記データ処理装置２０は、同一構造物２について過去において得た画像データと、新たに入手した画像データとを比較対照して表示することができ、当該構造物２における損傷部分の経時変化を確認することもできる。
【0057】
本発明は上記にて説明した実施形態及び実施例に限定されるものではなく、その趣旨を逸脱しない範囲で適宜変更して具体化しても良い。
例えば、各画像データセット中における詳細画像データについても、特定部分詳細画像データとともに、部分的に詳細化された広域正面画像データに含めて正しい位置に再配置して統合しても良い。その場合、詳細画像データを無駄なく利用することができる。
また、本発明のデータ処理装置による構造物の損傷部分の候補を自動検出して表示する処理は、構造物の粗い広域正面画像データ又は構造物の部分的に詳細化された広域正面画像データなど、何れの画像データに対して行うことができるものであっても良い。
例えば、各画像データセット中における詳細画像データについても、特定部分詳細画像データとともに、部分的に詳細化された広域正面画像データに含めて正しい位置に再配置して統合しても良い。その場合、詳細画像データを無駄なく利用することができる。
また、本発明のデータ処理装置による構造物の損傷部分の候補を自動検出して表示する処理は、構造物の粗い広域正面画像データ又は構造物の部分的に詳細化された広域正面画像データなど、何れの画像データに対して行うことができるものであっても良い。
【産業上の利用可能性】
【0058】
本発明は、信頼性、操作性、利便性、汎用性に優れ、撮影作業、画像解析作業などといった構造物の損傷部分の検査に要する作業及び処理を安価にて簡素化、迅速化、効率化することができる、橋梁などの構造物を効率的に検査するための画像処理システム、画像処理方法及びプログラムとして産業上好適に利用可能である。
【符号の説明】
【0059】
１ 画像処理システム
２ 構造物
３ 壁面
４ 底面
５ ひび割れ
１０ 撮影装置
１１ カメラ
１１ａ ビデオカメラ（カメラ）
１２ 固定手段
１３ 三脚
２０ データ処理装置
２１ ノート型パソコン（データ処理装置）
２２ 携帯電話（データ処理装置）
２３ ホストコンピュータ
２４ タブレット端末
３０ 調整用ボード
３１ キャリブレーションボード
Ｌｐ１～Ｌｐ８ レーザーポインタ
Ｐ１～Ｐ４ 照射点
２ 構造物
３ 壁面
４ 底面
５ ひび割れ
１０ 撮影装置
１１ カメラ
１１ａ ビデオカメラ（カメラ）
１２ 固定手段
１３ 三脚
２０ データ処理装置
２１ ノート型パソコン（データ処理装置）
２２ 携帯電話（データ処理装置）
２３ ホストコンピュータ
２４ タブレット端末
３０ 調整用ボード
３１ キャリブレーションボード
Ｌｐ１～Ｌｐ８ レーザーポインタ
Ｐ１～Ｐ４ 照射点
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】