特許 7606377 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-17

(45)【発行日】2024-12-25

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241218BHJP

   G01N 21/954 20060101ALI20241218BHJP

【ＦＩ】

G06T7/00 610

G01N21/954 A

【請求項の数】 6

(21)【出願番号】P 2021046086

(22)【出願日】2021-03-19

(65)【公開番号】P2022144892

(43)【公開日】2022-10-03

【審査請求日】2023-09-20

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100147304

【弁理士】

【氏名又は名称】井上 知哉

(74)【代理人】

【識別番号】100148493

【弁理士】

【氏名又は名称】加藤 浩二

(72)【発明者】

【氏名】徳井 奈保

(72)【発明者】

【氏名】大津 誠

(72)【発明者】

【氏名】清水 悟郎

(72)【発明者】

【氏名】三宅 太一

(72)【発明者】

【氏名】木村 崇

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２００５－２０７０４４（ＪＰ，Ａ）

【文献】特開２０１５－１０６２３８（ＪＰ，Ａ）

【文献】特開２０１４－００６２２２（ＪＰ，Ａ）

【文献】特開２００７－０２４７４６（ＪＰ，Ａ）

【文献】砂金 伸治ほか，“トンネルの変状原因の推定方法”，土木技術資料 = Civil engineering journal : 土木技術の総合情報誌，第53巻, 第4号，2011年04月，p.22－25，http://pwrc.or.jp/thesis_shouroku/thesis_pdf/1104-P022-025_isago.pdf

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｎ ２１／９５４

(57)【特許請求の範囲】

【請求項1】

複数の部材で構成される構造物を撮影した画像から前記複数の部材間の継目の位置を取得する継目位置取得部と、
前記画像から前記構造物に発生している異常および前記異常の位置を検出する異常検出部と、
前記継目の位置と前記異常の位置に基づき、前記異常の発生要因を特定する異常要因特定部と、
を備え、
前記異常要因特定部は、
前記継目の位置から継目の間隔を算出し、
前記算出された継目の間隔に基づいて、前記継目位置取得部で取得された前記継目の位置以外の他の継目の位置を算出し、
前記継目の位置、前記他の継目の位置、および前記異常の位置に基づき、前記異常の発生要因を特定する画像処理装置。

【請求項2】

複数の部材で構成される構造物を撮影した画像から前記複数の部材間の継目の位置を取得する継目位置取得部と、
前記画像から前記構造物に発生している異常および前記異常の位置を検出する異常検出部と、
前記継目の位置と前記異常の位置に基づき、前記異常の発生要因を特定する異常要因特定部と、
を備え、
前記異常要因特定部は、前記異常の位置から所定の範囲に含まれる継目を前記異常の発生要因として特定する画像処理装置。

【請求項3】

前記異常検出部により検出された前記異常は、発生要因の特定が必要な第１の種別の異常または発生要因の特定が必要ない第２の種別の異常のいずれかであり、
前記異常要因特定部は、前記異常検出部により検出された前記異常のうち、前記第１の種別の異常の発生要因を特定する請求項１または２記載の画像処理装置。

【請求項4】

前記異常要因特定部は、前記継目の間隔の中央値に基づいて、前記他の継目の位置を算出する請求項１に記載の画像処理装置。

【請求項5】

複数の部材で構成される構造物を撮影した画像から前記複数の部材間の継目の位置を取得し、
前記画像から前記構造物に発生している異常および前記異常の位置を検出し、
前記継目の位置と前記異常の位置に基づき、前記異常の発生要因を特定する、
処理を備え、
前記特定する処理は、
前記継目の位置から継目の間隔を算出し、
前記算出された継目の間隔に基づいて、前記取得する処理で取得された前記継目の位置以外の他の継目の位置を算出し、
前記継目の位置、前記他の継目の位置、および前記異常の位置に基づき、前記異常の発生要因を特定する画像処理方法。

【請求項6】

複数の部材で構成される構造物を撮影した画像から前記複数の部材間の継目の位置を取得し、
前記画像から前記構造物に発生している異常および前記異常の位置を検出し、
前記継目の位置と前記異常の位置に基づき、前記異常の発生要因を特定する、
処理を備え、
前記特定する処理は、前記異常の位置から所定の範囲に含まれる継目を前記異常の発生要因として特定する画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

近年、構造物（下水道管の内壁、トンネル壁面など）のひび割れや破損などの異常の有無を確認するために、構造物をカメラで撮影し、撮影された画像から構造物の異常を検出する技術が提案されている。

【0003】

例えば、下記特許文献１では、下水管路の場合、その欠陥は管の周方向に延在する管継目部に存在するとし、管継目部の管軸方向前後に亘る所定領域の切り出しを行い、切り出された画像に対して欠陥検出・判別を行う方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００７－２４７４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載された方法では、画像に対しエッジ強度を算出することによって管継目部を抽出しており、遊離石灰や漏水などの異常が管継目部に発生している場合、エッジ強度が弱くなり管継目部の抽出が困難である。

【0006】

また、異常（遊離石灰、漏水、など）が発生した構造物の場合、異常の有無だけではなく、異常の発生要因（破損、クラック、継目、など）を特定することも必要とされる。

【0007】

本発明の一態様は、上記課題に鑑みて発明されたものであり、構造物に生じる異常の要因を特定することができる画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の一態様に係る画像処理装置は、複数の部材で構成される構造物を撮影した画像から前記複数の部材間の継目の位置を取得する継目位置取得部と、前記画像から前記構造物に発生している異常および前記異常の位置を検出する異常検出部と、前記継目の位置と前記異常の位置に基づき、前記異常の発生要因を特定する異常要因特定部と、を備える。

【0009】

本発明の一態様に係る画像処理方法は、複数の部材で構成される構造物を撮影した画像から前記複数の部材間の継目の位置を取得し、前記画像から前記構造物に発生している異常および前記異常の位置を検出し、前記継目の位置と前記異常の位置に基づき、前記異常の発生要因を特定する、処理を備える。

【図面の簡単な説明】

【0010】

【図1】実施の形態に係る画像処理装置の構成図の一例である。

【図2】撮影装置による管状構造物の撮影を説明する図である。

【図3A】複数の部材で構成される管状構造物の内部を撮影した画像の一例である。

【図3B】エッジ抽出の結果の一例である。

【図3C】マスクの一例である。

【図4】継目の位置情報の一例である。

【図5】構造物に発生している異常の一例を示す図である。

【図6】異常の位置・要因情報の一例である。

【図7A】管状構造物を横から見た場合の図である。

【図7B】継目を追加する前の継目の位置情報の一例である。

【図7C】継目を追加した後の継目の位置情報の一例である。

【図8】要因を追加した後の異常の位置・要因情報の一例である。

【図9】実施の形態に係る画像処理方法のフローチャートの一例である。

【図10】第一の異常の発生要因を表示部に表示する一例を示す図である。

【図11A】コンクリートの壁面を撮影した画像の一例である。

【図11B】継目を追加する前の継目の位置情報の一例である。

【図11C】継目を追加した後の継目の位置情報の一例である。

【発明を実施するための形態】

【0011】

以下、実施の形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。

【0012】

図１は、実施の形態に係る画像処理装置の構成図の一例である。

【0013】

画像処理装置１０１は、処理部１１１、記憶部１２１、および表示部１３１を有する。画像処理装置１０１は、例えば、パーソナルコンピュータ（ＰＣ）またはサーバ等のコンピュータである。

【0014】

処理部１１１は、画像処理装置１０１の制御等の処理を行う。処理部１１１は、画像取得部１１２、継目位置取得部１１３、異常検出部１１４、異常要因特定部１１５、および表示制御部１１６を有する。処理部１１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：画像処理用処理装置）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：製造後に回路の書き換えが可能な集積回路）、またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：特定用途向け集積回路）等により実現される。

【0015】

画像取得部１１２は、複数の部材で構成される構造物を撮影した画像を取得する。 取得される画像は、例えば、連続して撮影された複数の画像（フレーム）を含む動画、または１つ以上の画像である。複数の部材で構成される構造物は、例えば、下水道管、上水道管、ガス管、パイプライン、煙突などの管状構造物である。

【0016】

ここで、管状構造物の撮影について説明する。

【0017】

図２は、撮影装置による管状構造物の撮影を説明する図である。

【0018】

撮影装置２０１は、管状構造物内を撮影する。管状構造物は、例えば、下水道管、上水道間、ガス管、パイプライン、トンネルなどである。以下の説明では、配管の奥行方向に平行な軸をＺ軸、Ｚ軸に直交する軸をＸ軸及びＹ軸とする。また、実施の形態では、管状構造物が水平方向に沿って配置されており、Ｘ軸及びＺ軸が水平方向に沿い、Ｙ軸が鉛直方向に沿う軸である。まず、撮影装置２０１の構成について説明する。

【0019】

撮影装置２０１は、管状構造物を奥行方向に移動しながら管状構造物内を複数回撮影して複数フレームの画像を取得する。図２は、管状構造物２０３の奥行方向（長手方向）の断面（ＹＺ断面）において、管状構造物２０３の内部を移動する撮影装置２０１の様子を模式的に示している。撮影装置２０１は、図２に示すように、カメラ２１１と、カメラ２１１を搭載して管状構造物２０３の内部を奥行方向に移動可能な移動体２１２と、を備える。なお、移動体２１２は、カメラ２１１の撮影方向に向かって照明光を照射するライトを備える。図２に示すように、カメラ２１１は、移動体２１２の所定の高さの位置に、カメラ２１１の光軸２０４が移動体２１２の進行方向と平行になるように設置されている。カメラ２１１は、光軸２０４を中心とする撮影範囲（画角）２０５を撮影する。

【0020】

撮影装置２０１は、カメラ２１１の光軸２０４がＺ軸に沿うように、管状構造物２０３の内部に配置される。撮影装置２０１は、複数の画像を、それぞれ管状構造物２０３の奥行方向における異なる位置で撮影する。撮影装置２０１は、無線または有線のネットワークを介して接続された画像処理装置１０１に送信し、画像処理装置１０１は、受信した画像を記憶部１２１に記憶する。また、撮影装置２０１は、撮影した画像を移動体２１２の内部に設けられた記憶装置に格納してもよい。

【0021】

図1に戻り説明を続ける。

【0022】

画像取得部１１２は、例えば、記憶部１２１に記憶された構造物を撮影した画像を取得する。また、画像処理装置１０１は、無線または有線のネットワークを介して撮影装置２０１と接続、もしくはケーブルにより撮影装置２０１と接続し、撮影装置２０１から構造物を撮影した画像を取得してもよい。

【0023】

継目位置取得部１１３は、複数の部材で構成される構造物を撮影した画像か複数の部材間の継目の位置を取得する。ここで、継目の位置の検出について説明する。

【0024】

図３Ａは、複数の部材で構成される管状構造物の内部を撮影した画像の一例である。図３Ａの画像３０１は、動画を構成する１フレームの画像である。

【0025】

下水道管などの管状構造物は、一定の長さの円形管をつなげて構築されている。円形管のつなぎ目が継目であり、管状構造物２０３の場合、継目３０２は画像３０１上で円形となって現れる。

【0026】

継目位置取得部１１３は、画像取得部１１２により取得された画像３０１に対してエッジ抽出を行い、得られたエッジが円形であれば画像３０１上に継目があるとして継目を検出する。継目位置取得部１１３は、例えば、エッジ抽出においてソーベルフィルタなどを用いてエッジ強度を算出し、しきい値以上のエッジ強度となる画素をエッジとして抽出する。

【0027】

図３Ｂは、エッジ抽出の結果の一例である。

【0028】

図３Ｂに示すエッジ抽出結果３０３は、抽出したエッジを白色、エッジ以外を黒色で描画しており、継目部分や構造物下側の汚れなどがエッジとして抽出されている。

【0029】

図３Ｃは、マスクの一例である。

【0030】

継目位置取得部１１３は、エッジ抽出結果３０３に対して、図３Ｃに示すような円形のマスク３０４を適用し、エッジ抽出結果３０３において図３Ｃの白色で示す円形のマスク３０４に対応する位置にエッジの画素がしきい値個以上抽出されていれば、抽出されたエッジは円形である、と判定する。継目位置取得部１１３は、抽出したエッジが円形であると判定された画像（フレーム）を、継目が検出された画像（フレーム）とする。

【0031】

図４は、継目の位置情報の一例である。

【0032】

継目位置取得部１１３は、検出された継目ごとに継目を識別するＩＤ（継目ＩＤ）を設定し、継目が検出された画像（フレーム）の番号（フレーム番号）を継目の位置を示す位置[フレーム]とし、継目ＩＤと位置[フレーム]とを対応付けた継目の位置情報を生成する。尚、フレーム番号は、例えば、動画の先頭のフレームから順番に１から番号を割り当てる。図４に示すように、継目の位置情報４０１において、継目ＩＤ＝１と位置[フレーム]＝２００、継目ＩＤ＝２と位置[フレーム]＝４００、継目ＩＤ＝３と位置[フレーム]＝６００、・・・がそれぞれ対応付けられている。図４の継目の位置情報４０１は、例えば、動画の先頭から２００番目、４００番目、６００番目のフレームで継目が検出されたことを示す。

【0033】

継目位置取得部１１３は、生成した継目の位置情報４０１を異常要因特定部１１５に出力する。また、継目位置取得部１１３は、位置情報４０１を記憶部１２１にさらに記憶させてもよい。

【0034】

図1に戻り説明を続ける。

【0035】

異常検出部１１４は、複数の部材で構成される構造物を撮影した画像から構造物に発生している異常および異常が発生している位置を検出する。異常が発生している位置は、例えば、異常が検出されたフレームの番号である。

【0036】

異常検出部１１４は、構造物に発生している異常を検出する方法として、例えば、異常を含む画像を学習用データとして機械学習した学習済みモデルを用いて、異常を検出する方法、または画像の輝度値の変化に基づいて検出する方法などを用いる。

【0037】

図５は、構造物に発生している異常の一例を示す図である。

【0038】

図５に示す管状構造物の内部の画像５００において、構造物の内壁の周方向に遊離石灰５０１が広がり、右側にクラック５０２が発生している。このように異常のない内壁と遊離石灰５０１やクラック５０２とは輝度値などに異なる特徴を有するため、異常検出部１１４は、機械学習を用いた方法や、輝度値の変化に基づいた方法で異常を検出することができる。

【0039】

次に、異常検出部１１４は、検出された異常に対して、異常の種別を特定する。異常の種別の特定は、例えば、異常の検出と同様に、異常を種別ごとに分けた画像を学習用データとして機械学習した学習済みモデルを用いて行う。また、異常検出部１１４は、画像の輝度値の変化などに基づいて、異常の種別を特定してもよい。

【0040】

実施の形態において、異常を発生要因の特定が必要な異常（第一の異常）と、発生要因の特定が必要でない異常（第二の異常）とに分類する。発生要因の特定が必要な異常とは、例えば、遊離石灰、漏水、木根侵入などであり、発生要因の特定が必要でない異常とは、例えば、破損、クラック、などである。例えば、遊離石灰、漏水、木根侵入などの異常が検出された場合に、その異常が破損により生じているのか、クラックにより生じているのか、継目により生じているのか、あるいは破損と継目のように複合的に生じているのかを特定することができれば、構造物の劣化状況の判定や、補修計画の策定に役立てることができる。また、異常要因特定部１１５は、自動で発生要因を特定するため、点検者の負担を軽減することができる。

【0041】

図６は、異常の位置・要因情報の一例である。

【0042】

異常検出部１１４は、画像取得部１１２に取得された画像（フレーム）から構造物に発生している異常を検出し、検出された異常ごとに異常を識別するＩＤ（異常ＩＤ）を設定し、異常が検出された画像（フレーム）の番号（フレーム番号）を異常の位置を示す位置[フレーム]とする。尚、フレーム番号は、例えば、動画の先頭のフレームから順番に１から番号を割り当てる。さらに、異常検出部１１４は、検出された異常の種別を特定し、特定した異常の種別に応じて検出された異常が発生要因の特定が必要な異常であるか否か判定する。例えば、異常の種別が遊離石灰、漏水、または木根侵入などである場合、発生要因の特定が必要な異常であると判定され、異常の種別が破損、またはクラックなどである場合、発生要因の特定が必要な異常でないと判定される。

【0043】

異常検出部１１４は、異常ＩＤと、位置[フレーム]と、種別、要因の特定と、要因と、を対応付けた図６に示すような異常の位置・要因情報６０１を生成し、異常要因特定部１１５に出力する。異常ＩＤは、検出された異常ごとに異常を識別するＩＤであり、位置[フレーム]は、検出された異常の位置を示し、種別は、検出された異常の種別を示す。また、要因の特定は、検出された異常が発生要因の特定が必要な異常であるか否かを示し、「有」は発生要因の特定が必要であることを示し、「無」は発生要因の特定が必要ないことを示す。要因は、検出された異常の発生要因を示す。尚、異常の発生要因は、後述の異常要因特定部１１５で特定されるため、この時点では、異常の位置・要因情報６０１の要因は、空欄（-）である。

【0044】

例えば、図６に示す異常の位置・要因情報６０１の１行目では、異常ＩＤ＝１、位置[フレーム]＝８００、種別＝遊離石灰、要因の特定＝有、および要因＝空欄（－）が対応付けられている。これは、異常ＩＤ＝１に対応する異常が、動画の８００番目のフレームで検出され、当該異常の種別は遊離石灰であり、当該異常の発生要因の特定が必要であることを示す。

【0045】

図1に戻り説明を続ける。

【0046】

異常要因特定部１１５は、継目位置取得部１１３から取得した継目の位置情報４０１と異常検出部１１４から取得した異常の位置・要因情報６０１に基づき、発生要因の特定が必要な異常（第一の異常）について発生の要因を特定する。

【0047】

まず、異常要因特定部１１５は、継目の位置から継目の間隔を算出し、継目の間隔が規則的となるように継目の位置を追加する。ここで、継目の位置を追加する処理の詳細について図７Ａ～７Ｃを用いて説明する。

【0048】

図７Ａは、構造物として管状構造物２０３を横から見た場合の図であり、管状構造物２０３において継目位置取得部１１３により検出された継目３０２－ｉ（ｉ＝１～（Ｎ－１））の位置を示す。図７Ａにおいて、図２と同様に管状構造物２０３の奥行方向に平行な軸をＺ軸、Ｚ軸に直交する軸をＸ軸及びＹ軸とする。

【0049】

図７Ｂは、継目の位置情報の一例である。

【0050】

図７Ｂの継目の位置情報７０１に示すように、継目位置取得部１１３により継目がＮ－１個検出されている。図７Ｂの継目ＩＤ＝ｉに対応する継目は、図７Ａの継目３０２－ｉである。

【0051】

ここで、継目が検出された位置をＬｎとし、隣接する継目の位置の差（Ｌｎ－Ｌｎ－１）を継目の間隔とする。ｎは何個目の継目かを表し、ここでは継目ＩＤの値とする。また、継目の位置は、継目の位置情報において当該継目の継目ＩＤに対応する位置[フレーム]とする。例えば、継目ＩＤ＝１の継目の位置Ｌ１は、２００であり、継目ＩＤ＝２の継目の位置Ｌ２は、４００であり、これらの継目の間隔は、２００（＝４００－２００）である。

【0052】

構造物において継目が等間隔に並んでいる場合、各箇所で算出される継目の間隔は等しくなる。異常要因特定部１１５は、継目位置取得部１１３により検出された継目のそれぞれの間隔を算出し、算出したそれぞれの継目の間隔の中央値Ｌｍｅｄを算出する。ここで、継目の並んでいる規則は、予め設定され、例えば、等間隔であるとする。異常要因特定部１１５は、継目の間隔が中央値Ｌｍｅｄで等間隔に並んでいるものとして、遊離石灰や漏水などの異常により継目位置取得部１１３において検出されなかった継目を検出し、検出した継目を継目の位置情報に追加する。異常要因特定部１１５は、中央値Ｌｍｅｄに基づいて、検出されなかった継目の位置を算出する。

【0053】

例えば、異常要因特定部１１５は、継目の位置情報と継目の間隔の規則に基づき、継目が規則的に並んでいない、すなわち、等間隔に並んでいない箇所を検出し、継目を追加する処理を行う。継目が規則的に並んでいない箇所は、継目周辺に発生した遊離石灰や漏水などの異常により継目のエッジが得られづらく継目が検出されなかった箇所である。異常要因特定部１１５は、この箇所を算出し、この箇所に継目を追加することで、継目位置取得部１１３では検出できなかった継目を追加することができる。継目が規則的に並んでいない箇所は、例えば、継目の間隔がＰｍｅｄ±α以上となる箇所とする。αは所定の値であり、例えば、継目の間隔Ｐｍｅｄの５％とするなどとし、設定することができる。異常要因特定部１１５は、継目の位置情報に基づいて、継目の間隔がＰｍｅｄ±α以上となる箇所を検出し、検出した箇所に継目を追加する。具体的には、例えば、継目の位置情報に検出した箇所の継目の情報を追加する。

【0054】

例えば、図７Ｂの継目の位置情報７０１において、継目の間隔の中央値Ｌｍｅｄは２００であり、継目ＩＤ＝３に対応する継目と継目ＩＤ＝４に対応する継目の間隔は４００であることから、異常要因特定部１１５は、継目ＩＤ＝３に対応する継目と継目ＩＤ＝４に対応する継目の間を継目が規則的に並んでいない箇所７０２（図７Ａ参照）として検出する。異常要因特定部１１５は、継目の位置情報７０１に、検出した箇所の継目の情報を追加する。異常要因特定部１１５は、追加する継目の位置を中央値Ｌｍｅｄに基づいて算出し、例えば、追加する継目の位置を追加する継目と隣接する継目との間隔が中央値Ｌｍｅｄとなる位置とする。

【0055】

図７Ｃに示す継目の情報を追加した後の継目の位置情報７０４では、図７Ｂの継目の位置情報７０１の継目ＩＤ＝３と継目ＩＤ＝４の間に継目７０３の情報が追加され、追加された継目７０３の位置[フレーム]は、隣接する継目ＩＤ＝３の継目との間隔が中央値Ｌｍｅｄ＝２００となるように８００となっている。これにより、図７Ｃに示す継目の位置情報７０４では、継目の間隔が２００の等間隔となっている。また、図７Ｃに示す継目の位置情報７０４において、異常要因特定部１１５は、継目の情報を追加した後に継目ＩＤを振りなおしているため、図７Ｂの継目ＩＤ＝４～Ｎ－１は、それぞれ図７Ｃでは継目ＩＤ＝５～Ｎとなっている。

【0056】

このように、継目の間隔が等間隔となるように継目を追加することで、遊離石灰や漏水などにより継目が埋まってしまい画像からは見えづらく、継目が検出されなかったときにも、継目の位置を追加することで第一の異常の発生要因が継目であると特定できるようになる。

【0057】

次に、異常の発生要因を特定する方法について説明する。異常要因特定部１１５は、第一の異常の発生要因を、第一の異常と同じ位置に検出されている継目もしくは第二の異常のうちの少なくとも一つとする。

【0058】

図６に示す異常の位置・要因情報６０１と、図７Ｃに示す継目位置情報７０４を用いて異常の発生要因を特定する具体的な方法を説明する。

【0059】

図６の異常の位置・要因情報６０１に示すように、位置[フレーム]＝８００において遊離石灰とクラックが検出されている。遊離石灰は要因の特定が必要であるため、異常要因特定部１１５は、同じ位置[フレーム]で検出されている継目と第二の異常を発生要因として特定する。例えば、図７Ｃの継目の位置情報７０４に示すように位置[フレーム]＝８００において継目があり、図６の異常の位置・要因情報６０１の位置[フレーム]＝８００において第二の異常のクラックがあるため、異常要因特定部１１５は、第一の異常である遊離石灰の発生要因は、継目とクラックであると特定する。

【0060】

また、図６の異常の位置・要因情報６０１に示すように、位置[フレーム]＝９００では漏水と破損が検出されている。漏水は発生要因の特定が必要であるため、異常要因特定部１１５は、同じ位置[フレーム]で検出されている破損を漏水の発生要因として特定する。なお、図７Ｃに示す継目位置情報７０４において、位置[フレーム]＝９００では継目は検出されていないので、異常要因特定部１１５は、継目を漏水の要因として特定しない。

【0061】

このように、発生要因が継目とクラックなど複数となる場合と、破損単体となる場合がある。劣化の激しい構造物では発生要因が一つではなく複数となる場合が多いため、同じ位置に検出された継目やクラックや破損などの第二の異常を発生要因として全て特定することができると、ユーザが結果を確認し劣化度合の判定を行うときや修繕計画を立てるときなどに複合的な影響も考慮できる。

【0062】

異常要因特定部１１５は、異常検出部１１４から取得した異常の位置・要因情報６０１に特定した異常の発生要因を追加する。例えば、図６の異常の位置・要因情報６０１に、特定した異常の発生要因を追加して、図８に示すような異常の位置・要因情報８０１を生成し、記憶部１２１に記憶させる。図８の異常の位置・要因情報８０１において、異常ＩＤ＝１に対応する遊離石灰の要因が遊離石灰と同じ位置[フレーム]に検出された継目とクラックとされている。また、異常ＩＤ＝３に対応する漏水の要因が同じ位置[フレーム]に検出された破損とされている。

【0063】

図1に戻り説明を続ける。

【0064】

表示制御部１１６は、異常の位置・要因情報８０１に基づく情報および記憶部１２１に記録された画像などを表示部１３１に表示させる。

【0065】

記憶部１２１は、画像処理装置１０１で利用されるプログラムおよびデータ等を記憶する。記憶部１２１は、例えば、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリなどの半導体メモリ、ＨＤＤ（Hard Disk Drive）等の磁気記憶装置、または、光学ディスク装置等の光学式記憶装置である。記憶部１２１は、例えば、複数の部材で構成される構造物を撮影した画像および異常の位置・要因情報等を記憶する。

【0066】

表示部１３１は、処理部１１１から出力される処理結果および記憶部１２１に記録された画像などを表示する。表示部１３１は、例えば、液晶ディスプレイまたは有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｓｅｎｃｅ）ディスプレイなどである。

【0067】

図９は、実施の形態に係る画像処理方法のフローチャートの一例である。

【0068】

ステップＳ９０１において、画像取得部１１２は、複数の部材で構成される構造物を撮影した画像を取得する。具体的には、例えば、画像取得部１０３は、下水管等の管状構造物の内部を撮影した複数の画像（フレーム）を含む動画を取得する。

【0069】

ステップＳ９０２において、継目位置取得部１１３は、取得した動画を構成する画像（フレーム）ごとに、当該画像に写っている継目を検出し、継目の位置情報を生成し、継目の位置情報を異常要因特定部１１５に出力する。例えば、継目位置取得部１０６は、図４に示す継目の位置情報４０１を生成し、継目の位置情報４０１を異常要因特定部１１５に出力する。

【0070】

ステップＳ９０３において、異常領域検出部１１４は、動画を構成する画像（フレーム）ごとに、構造物に発生している異常および異常が発生している位置を検出し、異常の位置・要因情報６０１を生成し、異常要因特定部１１５に出力する。

【0071】

ステップＳ９０４において、異常要因特定部１１５は、継目位置取得部１１３から取得した継目の位置情報４０１と異常検出部１１４から取得した異常の位置・要因情報６０１に基づき、発生要因の特定が必要な異常（第一の異常）について発生の要因を特定し、特定した異常の発生要因を異常の位置・要因情報６０１に追加する。

【0072】

ステップＳ９０５において、表示制御部１１６は、第一の異常が検出された位置の画像（フレーム）を表示部１３１に表示させ、さらに第一の異常と第一の異常の発生要因を表示部１３１に表示させる。

【0073】

図１０は、第一の異常の発生要因を表示部に表示する一例を示す図である。

【0074】

図８の異常の位置・要因情報８０１に示すように位置[フレーム]＝８００に対応するフレームにおいて、第一の異常として遊離石灰が検出されている。表示制御部１１６は、図１０に示すように、動画の位置[フレーム]＝８００に対応するフレームを表示部１１６に表示させ、さらに検出された遊離石灰１００１を示す実線の矩形とテキストを表示部１１６に表示させる。また、表示制御部１１６は、第一の異常である遊離石灰の発生要因である継目１００２とクラック１００３とを示す破線の矩形とテキストを表示部１３１に表示させる。これにより、発生要因をユーザに分かりやすく提示することができる。

【0075】

実施の形態の画像処理装置によれば、構造物に生じる異常の要因を特定することができる。

【0076】

（変形例１）
上述の実施の形態において、異常要因特定部１１５にて、継目は中央値Ｐｍｅｄで等間隔にならんでいる、としたが、継目の間隔が任意の規則で並んでいるとしても良い。例えば、等差数列や等比数列、もしくは複数の規則パターンを記憶部１２１などに記憶しておき、異常要因特定部１１５は、記憶部１２１に記憶された規則のうち算出された継目の間隔と最も合致する規則を、継目の規則とし、当該継目の規則に基づいて継目を追加してもよい。合致しているかの判定は、規則により算出された継目の間隔と、検出された継目の間隔との差が所定の値以下であるか、または規則により算出された継目の間隔と、検出された継目の間隔とが一致する割合が所定の値以上であるか、などを用いることができる。

【0077】

継目の間隔の規則を自動的に求めることで、継目が任意の規則で並んでいる場合にも継目を追加することができ、発生要因が継目であるかを特定することができる。

【0078】

（変形例２）
上述の実施の形態において、異常要因特定部１１５にて、継目の位置や異常の位置を動画のフレームのフレーム番号で表していたが、動画に紐づいた構造物における距離情報を用いて距離で表してもよい。例えば、下水管路などの管状構造物の場合、管口を０ｍｍとし、管口からの距離Ｄｍｍとその位置で撮影された動画の対応するフレームを入力することで、フレームと距離とを置き換えることができる。

【0079】

（変形例３）
上述の実施の形態において、異常要因特定部１１５にて、第一の異常と同じ位置に検出された継目もしくは第二の異常の少なくとも一つを第一の異常の発生要因として特定しているが、位置にマージンを持たせてもよい。例えば、第一の異常が位置（Ｍ）で検出されたとき、位置Ｍ±Ｔの範囲内で検出された継目もしくは第二の異常の少なくとも一つを第一の異常の発生要因として特定してもよい。位置にマージンＴを持たせることで、異常や継目の検出されるタイミングの微小なずれを吸収することができ、異常要因を特定しやすくなる。

【0080】

（変形例４）
上述の実施の形態では、構造物が管状構造物の場合を説明したが、例えば、構造物はコンクリートの壁のような平面上の構造物であってもよい。

【0081】

上述の実施の形態では、継目位置取得部１１３にて動画を構成する１枚の画像（フレーム）から１つの継目を検出したが、１枚の画像から複数の継目を検出し、継目が規則的となるように継目を追加してもよい。

【0082】

図１１Ａ～１１Ｃを用いて、画像中に複数の継目が検出される例を説明する。図１１Ａは、コンクリートの壁面を撮影した画像の一例である。

【0083】

コンクリート壁面などの構造物には型枠すじなどの継目が発生するため、図１１Ａの画像１１０１に示すように、１枚の画像中に複数の継目１１１－１～１１１－４が写っている。図１１Ａにおいて、画像１１０１の縦軸方向１１０２をＹ軸方向とすると、Ｙ座標＝１００，２００，３００，５００の位置のそれぞれに継目１１１－１～１１１－４がある。画像１１０１において、Ｙ座標＝４００の位置には、灰色で示す壁面上に発生した遊離石灰や漏水などの異常があるため、継目が明確に写っていない。

【0084】

型枠すじは直線として現れるため、エッジ抽出を行い、抽出したエッジにハフ変換を施すことで、継目を検出することができる。

【0085】

画像取得部１１２は、画像１１０１を取得し、継目位置取得部１１３は、画像１１０１に対してエッジ抽出を行い、抽出したエッジにハフ変換を施すことで、継目を検出する。

【0086】

継目位置取得部１１３は、検出された継目ごとにＩＤを設定し、継目の位置（位置[座標]）を画像１１０１の縦軸方向１１０２の座標として取得する。継目位置取得部１１３は、継目ＩＤと位置[座標]とを対応付けた継目の位置情報を生成する。継目位置取得部１１３は、例えば、図１１Ｂに示す継目の位置情報１１０３を生成する。図１１Ｂの継目ＩＤ＝１～４に対応する継目は、それぞれ図１１Ａの継目１１１－１～１１１－４である。

【0087】

図１１Ｂにおいて、継目ＩＤ３と継目ＩＤ４の間の継目が壁面上に発生した遊離石灰や漏水などの異常により検出できていない。異常要因特定部１１５は、継目の間隔の中央値Ｌｍｅｄを算出し、図１１Ｂにおいて継目の間隔の中央値Ｌｍｅｄが１００であることから、継目の位置情報１１０３において、継目ＩＤ３と継目ＩＤ４の間に位置[座標]＝４００の継目の情報を追加する。これにより、継目の位置情報１１０３は、図１１Ｃに示す位置情報１１０４のようになる。継目の位置情報１１０４は、継目の間隔が規則的、すなわち等間隔となるように継目を追加した例であり、継目の追加後に継目ＩＤを振りなおしている。

【0088】

異常要因特定部１１５は、継目が追加され後の継目の位置情報１１０４に基づいて、発生要因の特定が必要な異常（第一の異常）について発生の要因を特定する。

【0089】

このように画像中に継目が複数存在する場合にでも継目の間隔の規則に基づき継目を追加することで、コンクリート壁面などの構造物の点検においても、異常の発生要因が継目であるかを特定することができる。

【0090】

（変形例５）
上述の実施の形態では、継目位置取得部１１３は、動画から構造物の継目を検出していたが、構造物の図面などから継目を検出してもよい。また、画像処理装置１０１が有する図示しない入力部を用いてユーザが継目の位置を入力してもよい。図面の記載ミスやユーザの検出ミスなどにより継目が未入力となった場合でも、画像処理装置１０１は、継目の間隔を自動的に算出して継目を追加することができ、点検者の負担を軽減することができる。

【0091】

（ソフトウェアによる実現例）
画像処理装置１０１の制御ブロック（特に処理部１１１の画像取得部１１２継目位置取得部１１３、異常領域検出部１１４、および異常要因特定部１１５、表示制御部１１６）は、集積回路（ＩＣチップ）などに形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0092】

後者の場合、画像処理装置１０１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。また、このコンピュータは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）および周辺機器などのハードウェアも備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。

【0093】

上記プロセッサとしては、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＣＤ－ＲＯＭなどの可搬媒体、テープ、フレキシブルディスクおよび光磁気ディスクなどのディスク、カード、半導体メモリ、プログラマブルな論理回路、ならびに、コンピュータシステムに内蔵されるハードディスクなどを用いることができる。上記コンピュータ読み取り可能な記録媒体としては、インターネットなどのネットワーク、および、電話回線などの通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、ならびに、サーバおよびクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものが挙げられる。

【0094】

また、画像処理装置１０１は、上記プログラムを展開するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波など）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0095】

また、画像処理装置１０１の一部、または全部を典型的には集積回路であるＬＳＩとして実現してもよい。この場合、画像処理装置１０１の制御ブロックを個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず、専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。

【0096】

また、上述の実施形態において、制御線および情報線は、説明上必要と考えられるものを示しており、製品上、必ずしも全ての制御線および情報線を示しているとは限らず、全ての構成が相互に接続されていてもよい。

【0097】

なお、本発明は、上述した実施の形態に限定されるものではなく変形可能であり、上記の構成は、実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えることができる。

【符号の説明】

【0098】

１０１ 画像処理装置
１１１ 処理部
１１２ 画像取得部
１１３ 継目位置取得部
１１４ 異常検出部
１１５ 異常要因特定部
１１６ 表示制御部
１２１ 記憶部
１３１ 表示部

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図11C】