特開 2022-34192 情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022034192

(43)【公開日】2022-03-03

(54)【発明の名称】情報処理システム

(51)【国際特許分類】

   E01D 22/00 20060101AFI20220224BHJP

【ＦＩ】

E01D22/00 A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2020137869

(22)【出願日】2020-08-18

(71)【出願人】

【識別番号】598123334

【氏名又は名称】ダットジャパン株式会社

(74)【代理人】

【識別番号】100205084

【弁理士】

【氏名又は名称】吉浦 洋一

(72)【発明者】

【氏名】羽田 典久

(72)【発明者】

【氏名】洞口 克彦

(72)【発明者】

【氏名】小山 一人

【テーマコード（参考）】

2D059

【Ｆターム（参考）】

2D059AA14

2D059GG39

(57)【要約】

【課題】
構造物の撮影対象面を撮影した画像情報に関する情報処理システムを提供することを目的とする。
【解決手段】
構造物の損傷状態を判定する情報処理システムであって，情報処理システムは，構造物の撮影対象面を撮影した画像情報を用いて生成したひび割れ画像情報に対して，２次元フーリエ変換処理を実行することでパワースペクトルを生成するパワースペクトル処理部と，生成したパワースペクトルを用いて損傷状態を判定する損傷状態判定処理部と，を有する情報処理システムである。
【選択図】 図１

【特許請求の範囲】

【請求項1】

構造物の損傷状態を判定する情報処理システムであって，
前記情報処理システムは，
前記構造物の撮影対象面を撮影した画像情報を用いて生成したひび割れ画像情報に対して，２次元フーリエ変換処理を実行することでパワースペクトルを生成するパワースペクトル処理部と，
前記生成したパワースペクトルを用いて損傷状態を判定する損傷状態判定処理部と，
を有することを特徴とする情報処理システム。

【請求項2】

前記パワースペクトル処理部は，
前記生成したパワースペクトルに基づくパワースペクトル画像情報を生成し，
前記損傷状態判定処理部は，
前記生成したパワースペクトル画像情報から，前記パワースペクトルの回帰直線を算出することで，損傷状態を判定する，
ことを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記損傷状態判定処理部は，
前記算出した回帰直線の本数が２本以上の場合，スペクトル強度を算出することで，損傷状態を判定する，
ことを特徴とする請求項２に記載の情報処理システム。

【請求項4】

前記損傷状態判定処理部は，
前記算出した回帰直線の本数が１本の場合，前記スペクトル強度を算出せずに，あらかじめ定めた損傷状態であることを判定する，
ことを特徴とする請求項３に記載の情報処理システム。

【請求項5】

前記パワースペクトル処理部は，
前記生成したパワースペクトルに基づくパワースペクトル画像情報を生成し，
前記損傷状態判定処理部は，
前記生成したパワースペクトルを用いてスペクトル強度を算出することで，損傷状態を判定する，
ことを特徴とする請求項２に記載の情報処理システム。

【請求項6】

前記情報処理システムは，
前記構造物の撮影対象面を撮影した少なくとも２枚の画像情報の位置する方向を判定する方向判定処理部，を有しており，
前記パワースペクトル生成処理部は，
前記少なくとも２枚の画像情報を重ね合わせた画像情報に対して，２次元フーリエ変換処理を実行することでパワースペクトルを生成し，
前記方向判定処理部は，
前記生成したパワースペクトルのスペクトル強度を用いて，前記２枚の画像情報の位置する方向を判定する，
ことを特徴とする請求項１から請求項５のいずれかに記載の情報処理システム。

【請求項7】

少なくとも２枚の画像情報の位置する方向を判定する情報処理システムであって，
撮影対象面を撮影した少なくとも２枚の画像情報の位置する方向を判定する方向判定処理部と，
前記少なくとも２枚の画像情報を重ね合わせた画像情報に対して，２次元フーリエ変換処理を実行することで生成したパワースペクトルを生成するパワースペクトル生成処理部と，を有しており，
前記方向判定処理部は，
前記生成したパワースペクトルのスペクトル強度を用いて，前記２枚の画像情報の位置する方向を判定する，
ことを特徴とする情報処理システム。

【請求項8】

前記方向判定処理部は，
前記生成したパワースペクトルのスペクトル強度が所定範囲内の場合には，関連性のない画像情報と判定し，
前記生成したパワースペクトルのスペクトル強度が所定範囲外の場合には，スペクトル強度の強い方向の軸を，画像情報の位置する方向と判定する，
ことを特徴とする請求項６または請求項７に記載の情報処理システム。

【請求項9】

コンピュータを，
構造物の撮影対象面を撮影した画像情報を用いて生成したひび割れ画像情報に対して，２次元フーリエ変換処理を実行することでパワースペクトルを生成するパワースペクトル処理部，
生成したパワースペクトルを用いて損傷状態を判定する損傷状態判定処理部，
として機能させることを特徴とする情報処理プログラム。

【請求項10】

コンピュータを，
撮影対象面を撮影した少なくとも２枚の画像情報の位置する方向を判定する方向判定処理部，
前記少なくとも２枚の画像情報を重ね合わせた画像情報に対して，２次元フーリエ変換処理を実行することで生成したパワースペクトルを生成するパワースペクトル生成処理部，として機能させる情報処理プログラムであって，
前記方向判定処理部は，
前記生成したパワースペクトルのスペクトル強度を用いて，前記２枚の画像情報の位置する方向を判定する，
ことを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は，構造物の撮影対象面を撮影した画像情報に関する情報処理システムに関する。

【背景技術】

【0002】

橋梁などの構造物は社会インフラとして重要であり，その維持管理は適切になされなければならない。そして，構造物の維持管理を行うため，定期的に点検をすることが求められている。この定期点検は，たとえば橋梁については，５年に１度の点検員による目視点検が実施されている。

【0003】

しかし，維持管理対象となる構造物の数はきわめて多い。また，現場での点検員の人員が不足していることに加え，目視による点検では，点検員の経験や知識により，損傷状態の判定に任意性（ばらつき）が発生する。

【0004】

そのため，構造物の維持管理を適切に行うための点検業務の省力化，自動化は必須であり，情報処理技術を活用した取り組みが進められている。そこで，構造物の維持管理にかかる点検業務を自動化するため，機械学習を用いた画像認識技術により，構造物の損傷箇所を自動検出する試みがなされている（非特許文献１）。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】株式会社インキュビット，”Deep Crack｜ひびわれ検知ＡＩサービス by インキュビット”，[online]，インターネット＜ＵＲＬ：http://incubit.co.jp/service/deep-crack＞

【発明の概要】

【発明が解決しようとする課題】

【0006】

非特許文献１に記載のような機械学習を用いたひび割れの自動検知は，処理そのものを自動化できる点では有益ではある。しかし，ひび割れ箇所を学習させるための学習用教師データは，損傷程度ごと，建築構造ごと，設置環境ごとなどに応じてそれぞれ準備し，学習をさせる必要がある。これらのすべてを網羅するためには，膨大な量の学習用教師データが必要となる。またそれぞれの学習用教師データの作成は人手に頼らざるを得ず，結果，学習用教師データの作成に人手を要するため，人員不足の問題を解決することはできない。

【0007】

また，構造物の撮影対象面を撮影する場合には，ドローンなどのＵＡＶ（Unmanned aerial vehicle）などを用いて非常に多くの画像情報を撮影することがある。その場合，画像情報の位置関係が特定できない場合がある。たとえばＵＡＶが縦方向に上昇しながら連続的に撮影し，ある地点で横（左右）方向に移動して，今度は下降しながら連続的に撮影する場合がある。その場合，どの位置から横方向に移動したかは画像情報だけからでは容易に特定できない。その場合，点検員などが目視で画像情報を確認しながら判定をするのは非常に作業負担が重い。また，画像マッチング処理によって自動的に判定することも考えられるが，画像マッチング処理は処理負荷が重く，作業効率が極めて悪い。

【課題を解決するための手段】

【0008】

構造物の維持管理，とくに損傷状態を把握する際に重要なのは，ひび割れなどの損傷の検知そのものではなく，ひび割れの損傷が構造物においてどのような状態にあるのか，という点である。すなわち，ひび割れはあるものの，点検員の目視による確認は不要であり，そのまま経過観察でよいのか，あるいは，点検員が目視をして損傷状態を実際に確認をしなければならないのか，ということの判別である。

【0009】

たとえば，橋梁における鉄筋コンクリートの床板の下面のひび割れと損傷状態は，図９に示すように，状態Ｉ（潜伏期），状態ＩＩ（進展期），状態ＩＩＩ（加速期），状態ＩＶ（劣化期）に分類される。状態Ｉは一方向のひび割れの状態であり，状態ＩＩは二方向のひび割れの状態であり，状態ＩＩＩはひび割れの網細化と角落ちの状態であり，状態ＩＶは床板の陥没が発生する状態である。そして，状態Ｉおよび状態ＩＩは経過観察，状態ＩＩＩは要注意，状態ＩＶは点検員による目視が必要とされている。そのため，状態ＩＶ（場合によっては状態ＩＩＩも）に至るまでは点検員による作業は必要ない。一方，状態ＩＶ（場合によっては状態ＩＩＩも）に至った場合には点検員が現地に赴き，点検作業を行い，補修等の修繕作業を行う。

【0010】

このように，本来であれば，点検員の目視による損傷状態の確認が必要な対象を迅速に判別することが求められているが，従来は，ひび割れそのものを検知することに注力をしており，そこに至るまでの人員不足の問題を解決してはいない。

【0011】

そこで本発明者らは，上記課題に鑑み，機械学習の必要ない画像解析的手法によって，構造物のひび割れなどの損傷状態を判定する情報処理システムを発明した。

【0012】

また，画像情報の位置の関係性についても，目視で行わずにコンピュータで判定する場合には画像マッチング等を行わなければならず，その処理負荷は重い。

【0013】

そこで本発明者らは，画像情報の位置する方向関係を自動的に判定できる情報処理システムを発明した。

【0014】

第１の発明は，構造物の損傷状態を判定する情報処理システムであって，前記情報処理システムは，前記構造物の撮影対象面を撮影した画像情報を用いて生成したひび割れ画像情報に対して，２次元フーリエ変換処理を実行することでパワースペクトルを生成するパワースペクトル処理部と，前記生成したパワースペクトルを用いて損傷状態を判定する損傷状態判定処理部と，を有する情報処理システムである。

【0015】

本発明のように構成することで，機械学習を行うことなく，画像解析的手法によって，構造物のひび割れなどの損傷状態を判定することができる。これによって，点検員は，損傷状態が目視点検が必要な場所のみを確認すればよく，人員不足の問題を解消することができる。

【0016】

上述の発明において，前記パワースペクトル処理部は，前記生成したパワースペクトルに基づくパワースペクトル画像情報を生成し，前記損傷状態判定処理部は，前記生成したパワースペクトル画像情報から，前記パワースペクトルの回帰直線を算出することで，損傷状態を判定する，情報処理システムのように構成することができる。

【0017】

パワースペクトルの回帰直線を算出することで，撮影対象面に周期性のある損傷が発生しているかを判定することができる。そして周期性のある損傷が発生していない場合には，損傷状態が進んでいないので点検員による目視点検は不要であるが，周期性のある損傷が発生している場合には，点検員による目視点検が必要な場合がある。そのため，本発明を用いることで，目視点検が不要な箇所を除外することができるので，人員不足の問題を解消することができる。

【0018】

上述の発明において，前記損傷状態判定処理部は，前記算出した回帰直線の本数が２本以上の場合，スペクトル強度を算出することで，損傷状態を判定する，情報処理システムのように構成することができる。

【0019】

パワースペクトルの回帰直線が２本以上あり，周期性のある損傷が発生している場合であっても，損傷状態の進み具合によっては，点検員による目視点検が不要な場合もある。そのため，スペクトル強度によって損傷状態をさらに細分化して判定することで，点検員による目視点検が必要な損傷状態と不要な損傷状態とを判定することができる。そのため，目視点検が不要な箇所をさらに除外することができるので，人員不足の問題を解消することができる。

【0020】

上述の発明において，前記損傷状態判定処理部は，前記算出した回帰直線の本数が１本の場合，前記スペクトル強度を算出せずに，あらかじめ定めた損傷状態であることを判定する，情報処理システムのように構成することができる。

【0021】

一般的に回帰直線の本数が一本の場合には周期性のある損傷は発生していないと考えられる。そのため，損傷状態は進んでいないと考えられるので，それを一つの状態と捉え，あらかじめ定めた損傷状態と判定してもよい。

【0022】

上述の発明において，前記パワースペクトル処理部は，前記生成したパワースペクトルに基づくパワースペクトル画像情報を生成し，前記損傷状態判定処理部は，前記生成したパワースペクトルを用いてスペクトル強度を算出することで，損傷状態を判定する，情報処理システムのように構成することができる。

【0023】

周期性のある損傷を重視しない場合には，損傷状態の程度をスペクトル強度によって特定することができる。これによっても，損傷状態を複数の段階に分けることができるので，点検員による目視点検が必要な損傷状態と不要な損傷状態とを判定することができる。そのため，目視点検が不要な箇所をさらに除外することができるので，人員不足の問題を解消することができる。

【0024】

上述の発明において，前記情報処理システムは，前記構造物の撮影対象面を撮影した少なくとも２枚の画像情報の位置する方向を判定する方向判定処理部，を有しており，前記パワースペクトル生成処理部は，前記少なくとも２枚の画像情報を重ね合わせた画像情報に対して，２次元フーリエ変換処理を実行することでパワースペクトルを生成し，前記方向判定処理部は，前記生成したパワースペクトルのスペクトル強度を用いて，前記２枚の画像情報の位置する方向を判定する，情報処理システムのように構成することができる。

【0025】

構造物の撮影対象面を撮影した画像情報の数が多数にわたる場合，画像情報同士の位置関係の把握は重要となる。そのため，ある画像情報からは縦方向に，ある画像情報からは横方向に移動したことを，自動的に判定できれば，作業効率の向上につながる。

【0026】

本発明のように構成することで，２枚の画像情報の位置する方向関係を自動的に判定できる。また，画像マッチング処理を用いないので，その処理負荷も大きくない。

【0027】

第７の発明は，少なくとも２枚の画像情報の位置する方向を判定する情報処理システムであって，撮影対象面を撮影した少なくとも２枚の画像情報の位置する方向を判定する方向判定処理部と，前記少なくとも２枚の画像情報を重ね合わせた画像情報に対して，２次元フーリエ変換処理を実行することで生成したパワースペクトルを生成するパワースペクトル生成処理部と，を有しており，前記方向判定処理部は，前記生成したパワースペクトルのスペクトル強度を用いて，前記２枚の画像情報の位置する方向を判定する，情報処理システムである。

【0028】

本発明のようにパワースペクトルを用いて判定することで，２枚の画像情報の位置する方向関係を判定できる。特に連続的に撮影を続ける場合には，どの画像情報からは縦方向に，どの画像情報からは横方向に移動したことを，自動的に判定できるので，作業効率の向上につながる。

【0029】

上述の発明において，前記方向判定処理部は，前記生成したパワースペクトルのスペクトル強度が所定範囲内の場合には，関連性のない画像情報と判定し，前記生成したパワースペクトルのスペクトル強度が所定範囲外の場合には，スペクトル強度の強い方向の軸を，画像情報の位置する方向と判定する，情報処理システムのように構成することができる。

【0030】

画像情報の位置する方向関係は，本発明のような処理を用いて判定することができる。

【0031】

本発明のプログラムをコンピュータに読み込ませて実行することで，第１の発明を実現することができる。すなわち，コンピュータを，構造物の撮影対象面を撮影した画像情報を用いて生成したひび割れ画像情報に対して，２次元フーリエ変換処理を実行することでパワースペクトルを生成するパワースペクトル処理部，生成したパワースペクトルを用いて損傷状態を判定する損傷状態判定処理部，として機能させる構造物損傷状態判定プログラムのように構成することができる。

【0032】

本発明のプログラムをコンピュータに読み込ませて実行することで，第７の発明を実現することができる。すなわち，コンピュータを，撮影対象面を撮影した少なくとも２枚の画像情報の位置する方向を判定する方向判定処理部，前記少なくとも２枚の画像情報を重ね合わせた画像情報に対して，２次元フーリエ変換処理を実行することで生成したパワースペクトルを生成するパワースペクトル生成処理部，として機能させる情報処理プログラムであって，前記方向判定処理部は，前記生成したパワースペクトルのスペクトル強度を用いて，前記２枚の画像情報の位置する方向を判定する，情報処理プログラムのように構成することができる。

【発明の効果】

【0033】

本発明の情報処理システムを用いることで，機械学習の必要ない画像解析的手法によって，構造物のひび割れなどの損傷状態を判定することができる。これによって，点検員が現地に赴き点検作業を行うことを減らし，人員不足の問題を解決することができる。

【0034】

また，本発明の情報処理システムを用いることで，画像情報の位置関係を自動的に判定できる。

【図面の簡単な説明】

【0035】

【図1】本発明の情報処理システムの全体の構成の一例を模式的に示す図である。

【図2】本発明の情報処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示す図である。

【図3】本発明の情報処理システムの全体の処理プロセスの一例を示すフローチャートである。

【図4】ひび割れ画像情報，それに対応するパワースペクトル画像情報，およびそれらに基づいて判定した損傷状態の一例の対応関係を模式的に示す図である。

【図5】撮影対象を撮影した画像情報の一例を示す図である。

【図6】ひび割れ画像情報の一例を示す図である。

【図7】パワースペクトル画像情報の一例を示す図である。

【図8】損傷状態の判定結果を表示する画面の一例を示す図である。

【図9】橋梁における鉄筋コンクリートの床板の下面のひび割れと損傷状態の分類を示す図である。

【図10】実施例２における情報処理システムの全体の構成の一例を模式的に示す図である。

【図11】実施例２において，横方向に移動している画像情報とそのパワースペクトル画像情報の一例を模式的に示す図である。

【図12】実施例２において，縦方向に移動している画像情報とそのパワースペクトル画像情報を模式的に示す図である。

【図13】実施例２において，関連のない画像情報とそのパワースペクトル画像情報を模式的に示す図である。

【発明を実施するための形態】

【0036】

本発明の情報処理システム１の全体のシステム構成の一例を図１に，情報処理システム１で用いるコンピュータのハードウェア構成の一例を図２に示す。

【0037】

情報処理システム１は，コンピュータによって実現される。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，ディスプレイなどの表示装置７２と，情報の入力を行う入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報を通信する通信装置７４とを有している。なお，コンピュータがタッチパネルディスプレイを備えている場合には表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

【0038】

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

【0039】

情報処理システム１は一台のコンピュータによって実現されていてもよいが，その一部または全部の機能が複数のコンピュータによって実現されていてもよい。この場合のコンピュータとして，たとえばクラウドサーバであってもよい。

【0040】

本発明の情報処理システム１における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していてもよい。

【0041】

撮影装置３は，構造物における撮影対象面を撮影する装置であって，デジタルカメラなどを用いることができる。デジタルカメラのほかにも，ステレオカメラなどの奥行方向の距離を画像とともに得られる装置，偏光カメラなどの立体形状の抽出情報を付加できる装置を用いることもできる。また，撮影装置３を車両やＵＡＶなどの移動体に搭載し，構造物における撮影対象面を撮影してもよい。

【0042】

制御端末２は，本発明の情報処理システム１における処理を実行するコンピュータである。制御端末２は，画像情報入力受付処理部２０と画像情報記憶部２１とひび割れ抽出処理部２２とパワースペクトル処理部２３と損傷状態判定処理部２４と判定結果出力処理部２５とを有する。

【0043】

画像情報入力受付処理部２０は，撮影装置３から構造物の撮影対象面を撮影した画像情報の入力を受け付ける。当該画像情報が構造物のどこを撮影対象面として撮影したかを識別可能とするため，位置情報や識別情報（これらを総称して，単に「撮影対象識別情報等」という）などの所定の情報の入力を受け付けてもよい。たとえば構造物の撮影対象面が橋梁の床板の場合，その床板のどこを撮影したかがわかる識別情報等の入力を受け付けてもよい。画像情報入力受付処理部２０は，入力を受け付けた画像情報，撮影対象識別情報等を，後述する画像情報記憶部２１に記憶する。なお，撮影日時の特定のため，撮影日時の情報の入力を受け付けて画像情報記憶部２１に記憶させてもよい。なお，撮影した画像情報ごとに入力を受け付けてもよいし，連続する複数の画像情報を一つの画像情報に合成した画像情報の入力を受け付けてもよい。また，撮影した画像情報ごとに入力を受け付けて，連続する複数の画像情報を一つの画像情報として合成して画像情報記憶部２１に記憶させてもよい。

【0044】

画像情報記憶部２１は，画像情報入力受付処理部２０で入力を受け付けた画像情報，撮影対象識別情報等，撮影日時の情報などを対応づけて記憶する。

【0045】

ひび割れ抽出処理部２２は，画像情報記憶部２１に記憶した画像情報から公知の手法を用いて，ひび割れを抽出する。具体的には，画像情報記憶部２１に記憶した画像情報について，その画像情報が正面から撮影した状態となるような補正処理，ノイズ除去処理などを実行して，処理対象とする画像情報を整える。そしてウェーブレット変換，２値化処理などを実行することで，画像情報からひび割れを抽出する。ひび割れを抽出した画像情報をひび割れ画像情報とする。画像情報からひび割れを抽出する処理は上記に限定するものではなく，さまざまな公知の手法を用いることができる。なお，ひび割れ抽出処理部２２は，上述の各処理を実行する前に，あるいはいずれかの過程において，グレースケールに画像情報を変換する。

【0046】

パワースペクトル処理部２３は，ひび割れ抽出処理部２２において生成したひび割れ画像情報に対して２次元フーリエ変換処理を実行することでパワースペクトルを生成する。２次元フーリエ変換処理によって変換されたパワースペクトルは，ひび割れ画像情報の空間周波数データである。そして，生成したパワースペクトルについて，ｘ軸を水平周波数，ｙ軸を垂直周波数とし，各周波数のスペクトル強度を白黒などの濃淡でプロットした画像情報（パワースペクトル画像情報）を生成する。この画像情報は，たとえば背景を黒色，プロットするパワースペクトルの点を白色で示すなど，任意の方法で画像情報を生成することができる。

【0047】

損傷状態判定処理部２４は，パワースペクトル処理部２３で生成したパワースペクトルに基づくパワースペクトル画像情報を用いて損傷状態の判定処理を実行する。すなわち，パワースペクトル画像情報における各点（ひび割れ画像情報の空間周波数データ）の回帰直線を求め，その回帰直線の本数を判定する。そしてパワースペクトル画像情報における回帰直線の本数および／またはスペクトル強度に基づいて，損傷状態を判定する。たとえば，パワースペクトル画像情報の直線の本数が１本である場合にはあらかじめ定めた損傷状態（たとえば状態Ｉ）であることを判定し，パワースペクトル画像情報の直線の本数が２本以上である場合，スペクトル強度に基づいて損傷状態（たとえば状態ＩＩ乃至状態ＩＶ）を判定する。損傷状態は，パワースペクトル画像情報におけるパワースペクトルを示す点がどの程度あるかを示すスペクトル強度の判定基準の閾値と，当該パワースペクトル画像情報におけるスペクトル強度とを比較することで判定できる。

【0048】

たとえば回帰直線の本数が１本であれば状態Ｉ，回帰直線の本数が２本である場合には，状態ＩＩ，状態ＩＩＩ，状態ＩＶのいずれかとして判定する。状態ＩＩから状態ＩＶのいずれの状態にあるかは，あらかじめ設定したスペクトル強度判定基準の閾値と，パワースペクトル画像情報におけるパワースペクトルを示す点に基づくスペクトル強度とを比較して，状態ＩＩ，状態ＩＩＩ，状態ＩＶと判定する。スペクトル強度判定基準の閾値と，パワースペクトル画像情報におけるパワースペクトルを示す点に基づくスペクトル強度との比較には，さまざまな比較方法があり，たとえば輝度の大きさを用いることができる。この場合，スペクトル強度の値としては画像情報の全体における輝度の平均値を用い，損傷状態ごとにスペクトル強度判定基準の閾値を設けておく。そして処理対象とするパワースペクトル画像情報の輝度の平均値を算出し，当該パワースペクトル画像情報がどの損傷状態にあるのかを，閾値と比較することで判定できる。

【0049】

損傷状態判定処理部２４におけるほかの比較方法としては，たとえばパワースペクトルを示す点の個数を用いることができる。この場合，スペクトル強度の値としては，画像情報の全体におけるパワースペクトルを示す点の個数を用い，損傷状態ごとにスペクトル強度判定基準の閾値を設けておく。そして処理対象とするパワースペクトル画像情報における点の個数を算出し，当該パワースペクトル画像情報がどの損傷状態にあるのかを，閾値と比較することで判定できる。

【0050】

これ以外の比較方法として，スペクトル強度の値としてパワースペクトルを示す点の密度を用いるなど，いかなる比較方法を用いてもよい。

【0051】

損傷状態判定処理部２４は，状態ＩＶはもっとも強度が強い（パワースペクトル画像情報では白が多い）とし，状態ＩＩは直線が２本ある場合において強度が弱い（パワースペクトル画像情報では白が少ない）とし，状態ＩＩＩは状態ＩＩと状態ＩＶの間の強度として設定する。

【0052】

図４にひび割れ画像情報，それに対応するパワースペクトル画像情報，およびそれらに基づいて判定した損傷状態の一例を模式的に示す。

【0053】

損傷状態判定処理部２４は，ここでは４段階の損傷状態で判定をしたが，任意の段階数で損傷状態を判定すればよい。たとえば回帰直線が１本の場合にも，２本以上の場合と同様に，スペクトル強度判定基準の閾値を設け，パワースペクトル画像情報におけるパワースペクトルを示す点に基づくスペクトル強度の値と比較することで，損傷状態を複数の段階数で判定をしてもよい。

【0054】

損傷状態判定処理部２４は，処理対象としたパワースペクトル画像情報に対応する画像情報（画像情報入力受付処理部２０で入力を受け付けた画像情報）に，判定した損傷状態を対応づけて，画像情報記憶部２１に記憶させてもよい。

【0055】

判定結果出力処理部２５は，損傷状態判定処理部２４での損傷状態の判定結果を出力する。この際に，画像情報入力受付処理部２０で入力を受け付けた画像情報，ひび割れ画像情報などを合わせて表示をしてもよい。また，どの撮影対象に対する判定であるのかを示すため，撮影対象識別情報等を合わせて表示をしてもよい。

【実施例0056】

つぎに本発明の情報処理システム１の処理プロセスの一例を図３のフローチャートを用いて説明する。以下の説明では，撮影対象として橋梁の床板を撮影した場合を説明する。

【0057】

まず撮影担当者は，撮影装置３で撮影対象である橋梁の床板を撮影する（Ｓ１００）。そして画像情報入力受付処理部２０は，撮影装置３から撮影した画像情報の入力を受け付け，画像情報記憶部２１に記憶させる（Ｓ１１０）。入力を受け付けた画像情報の一例を図５に示す。この際の画像情報は，ひび割れなどの損傷が判別できる程度の解像度で撮影をしている。

【0058】

画像情報の入力を受け付ける際に，撮影対象となる床板を識別するための撮影対象識別情報等，撮影日時の情報などの入力を受け付けて，画像情報記憶部２１に記憶させてもよい。

【0059】

そして所定のタイミングで，ひび割れ抽出処理部２２は，画像情報記憶部２１に記憶した画像情報を抽出し，その画像情報からひび割れの抽出処理を実行し，ひび割れ画像情報を生成する（Ｓ１２０）。図５の画像情報から，ひび割れ抽出処理部２２が公知のひび割れの抽出処理を実行してひび割れを抽出したひび割れ画像情報の一例を図６に示す。

【0060】

そして所定のタイミングで，パワースペクトル処理部２３が，Ｓ１２０で生成したひび割れ画像情報に対して，２次元フーリエ変換処理を実行することでパワースペクトルを生成する（Ｓ１３０）。そして生成したパワースペクトルに基づいて，パワースペクトル画像情報を生成する（Ｓ１３０）。図６のひび割れ画像情報に対して，パワースペクトル処理部２３が２次元フーリエ変換処理を実行し，生成したパワースペクトル画像情報の一例を図７に示す。

【0061】

パワースペクトル画像情報を生成すると，損傷状態判定処理部２４は，パワースペクトル画像情報における各点の回帰直線を求める（Ｓ１４０）。そして回帰直線の数が２本以上である場合（Ｓ１５０），そのスペクトル強度を算出する（Ｓ１６０）。

【0062】

損傷状態判定処理部２４は，直線の本数および／またはスペクトル強度に基づいて，損傷状態を判定する（Ｓ１７０）。すなわち，Ｓ１４０で求めた回帰直線が１本の場合には状態Ｉと判定し，回帰直線が２本以上である場合には，スペクトル強度を，たとえばパワースペクトル画像情報の輝度に基づいて算出し，その算出したスペクトル強度の値と，状態ごとの閾値とを比較することで，状態ＩＩから状態ＩＶのいずれかであるかを判定する。

【0063】

パワースペクトル画像情報が図７の場合，損傷状態判定処理部２４は，回帰直線が２本求められ，またスペクトル強度も弱いので，状態ＩＩとして判定する。

【0064】

そして判定結果出力処理部２５は，図８に示すように，ひび割れ画像情報と損傷状態の判定結果とを画面に表示する。

【0065】

本発明は，橋梁のコンクリート部材に対して，ひび割れなどの損傷が生じる場合，最初に一方向のひび割れが繰り返し現れ，さらに損傷の程度が進むと二方向（格子状）のひび割れが発生してくる周期性に着目して処理を行ったものである。そのため，撮影対象となる構造物は橋梁が一例としてあげられるが，それに限定するものではなく，格子状のひび割れが生じる構造物であれば撮影対象とすることができ，また本発明の処理の対象とすることができる。たとえばコンクリート建物なども該当する。なお，格子状とは，ひび割れが直交していなくてもよく，たとえばＸ字状のひび割れなども含む。

【0066】

損傷状態判定処理部２４は，パワースペクトル画像情報から回帰直線を抽出し，回帰直線の本数が２本以上の場合にスペクトル強度を算出していたが，回帰直線を抽出せずに，スペクトル強度を算出し，損傷状態を判定してもよい。

【実施例0067】

本発明の情報処理システム１の変形例を以下，説明する。

【0068】

本実施例においては，構造物の撮影対象面を撮影装置３で移動しながら撮影しており，そこで撮影した画像情報同士の位置する方向関係を特定する場合である。本実施例における情報処理システム１の全体の構成の一例を図１０に示す。

【0069】

本実施例における情報処理システム１では，方向判定処理部２６を備えている。

【0070】

方向判定処理部２６は，撮影装置３で撮影して画像情報入力受付処理部２０で入力を受け付けた画像情報のうち，少なくとも２枚の画像情報を用いて，その画像情報間の位置する方向を判定する。具体的には，２枚の画像情報を重ね合わせた画像情報について，パワースペクトル処理部２３において，２次元フーリエ変換処理を実行させてパワースペクトルを生成させる。２次元フーリエ変換処理によって変換されたパワースペクトルは，２枚の画像情報を重ね合わせた画像情報の空間周波数データである。そして，生成したパワースペクトルについて，ｘ軸を水平周波数，ｙ軸を垂直周波数とし，各周波数のスペクトル強度を白黒などの濃淡でプロットした画像情報（パワースペクトル画像情報）を生成する。この画像情報は，たとえば背景を黒色，プロットするパワースペクトルの点を白色で示すなど，任意の方法で画像情報を生成することができる。

【0071】

このように得られたパワースペクトル画像情報を用いて，方向判定処理部２６は，パワースペクトル画像情報における各点（重ね合わせた画像情報の空間周波数データ）の回帰直線を求め，その回帰直線の本数を判定する。そしてパワースペクトル画像情報における回帰直線の本数および／またはスペクトル強度に基づいて，画像情報の位置する方向関係を判定する。

【0072】

たとえば回帰直線の本数が１本であり，それがｘ軸方向にある場合には，２枚の画像情報は，横方向にある画像情報（横方向に移動した際に撮影された画像情報）であると判定でき，ｙ軸方向にある場合には，２枚の画像情報は縦方向にある画像情報（縦方向に移動した際に撮影された画像情報）であると判定できる。

【0073】

また回帰直線の本数が２本の場合には，ｘ軸方向が強いか，ｙ軸方向が強いか，いずれでもないか（ｘ軸方向とｙ軸方向が同程度であるか）を判定することで，２枚の画像情報の位置の方向関係（どちらの方向に移動した際に撮影した画像情報か）を判定する。たとえばｘ軸方向が強い場合には，２枚の画像情報は，横方向にある画像情報（横方向に移動した際に撮影された画像情報）であると判定でき，ｙ軸方向が強い場合には，２枚の画像情報は縦方向にある画像情報（縦方向に移動した際に撮影された画像情報）であると判定できる。また，いずれでもない場合には２枚の画像情報は位置の方向関係としては関連性がない画像情報であると判定できる。

【0074】

ｘ軸方向，ｙ軸方向の強さについては，各軸方向のスペクトル強度を比較することで行える。たとえば，ｘ軸方向のパワースペクトルを示す点がどの程度あるか，ｙ軸方向のパワースペクトルを示す点がどの程度あるかを比較することで，どちらが強いかを判定できる。またｘ軸方向とｙ軸方向のパワースペクトルを示す点によるスペクトル強度の差が所定範囲内（たとえば１０％程度の範囲内）にあれば，いずれでもない（同程度である）と判定することができる。

【0075】

スペクトル強度を用いた比較の場合，たとえばｘ軸方向の回帰直線から所定幅（回帰直線を挟んでプラスマイナスのｙ軸方向に所定幅）のパワースペクトルを示す点を含む輝度の平均値と，ｙ軸方向の回帰直線から所定幅（回帰直線を挟んでプラスマイナスのｘ軸方向に所定幅）のパワースペクトルを示す点を含む輝度の平均値とを比較することで，ｘ軸方向の輝度の平均値が高いか，ｙ軸方向の輝度の平均値が高いかを判定し，輝度の平均値が高い方を強い方向の軸と判定できる。またｘ軸方向の輝度とｙ軸方向の輝度の差が所定範囲内であればいずれでもないと判定できる。背景が黒色，パワースペクトルを示す点が白色の場合には，輝度の平均値が高い方が強い方向の軸となり，背景が白色，パワースペクトルを示す点が黒色の場合には，輝度の平均値が低い方が強い方向の軸となる。

【0076】

輝度を用いるほか，ｘ軸方向にあるパワースペクトルを示す点の個数，ｙ軸方向にあるパワースペクトルを示す点の個数を用いてもよい。この場合，点の個数が多い方が強い軸であると判定できる。またｘ軸方向，ｙ軸方向のパワースペクトルを示す点の個数の差が所定範囲内である場合には，いずれでもないと判定できる。なお，パワースペクトルを示す点の個数ではなく，全体のパワースペクトルの個数のうち，ｘ軸方向にあるパワースペクトルを示す点の個数の比率，ｙ軸方向にあるパワースペクトルを示す点の個数の比率で判定してもよい。

【0077】

これを模式的に示すのが図１１乃至図１３である。図１１（ａ）は，横方向に位置する２枚の画像情報（横方向に移動する際に撮影した画像情報）を重ね合わせた場合であり，図１１（ｂ）は，その画像情報に２次元フーリエ変換処理を行って得られたパワースペクトル画像情報である。図１１（ｂ）のパワースペクトル画像情報では，ｘ軸方向が強いので，図１１（ａ）の２枚の画像情報は，横方向に移動した画像情報を重ね合わせている（横方向に移動している画像情報である）ことが判定できる。

【0078】

図１２（ａ）は，縦方向に位置する２枚の画像情報（縦方向に移動する際に撮影した画像情報）を重ね合わせた場合であり，図１２（ｂ）は，その画像情報に２次元フーリエ変換処理を行って得られたパワースペクトル画像情報である。図１２（ｂ）のパワースペクトル画像情報では，ｙ軸方向が強いので，図１２（ａ）の２枚の画像情報は，縦方向に移動した画像情報を重ね合わせている（縦方向に移動している画像情報である）ことが判定できる。

【0079】

図１３（ａ）は，関連のない２枚の画像情報を重ね合わせた場合であり，図１３（ｂ）は，その画像情報に２次元フーリエ変換処理を行って得られたパワースペクトル画像情報である。図１３（ｂ）のパワースペクトル画像情報では，ｘ軸方向とｙ軸方向のいずれが強いと判定できないので，図１３（ａ）の２枚の画像情報は，関連性のない画像情報であることを判定できる。

【0080】

以上のように，本実施例２における情報処理システム１を用いることによって，構造物の撮影対象面を撮影した際の２枚の画像情報がどのような方向の位置関係にあるのかを自動的に判定することができる。これは，たとえばドローンなどのＵＡＶを用いて連続的に画像を撮影した場合などで有益である。

【0081】

本実施例２における情報処理システム１は，実施例１と組み合わせてもよいし，独立した機能として備えていてもよいし，またほかの画像処理システムなどと組み合わせてもよい。独立した機能として用いる場合には，構造物の撮影対象面を撮影する場合に限らず，任意の撮影対象を撮影した場合でもよい。