IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電信電話株式会社の特許一覧

特許7583300劣化評価装置、劣化評価方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-06
(45)【発行日】2024-11-14
(54)【発明の名称】劣化評価装置、劣化評価方法及びプログラム
(51)【国際特許分類】
   G01B 11/28 20060101AFI20241107BHJP
   G06T 7/00 20170101ALI20241107BHJP
   G06V 10/40 20220101ALI20241107BHJP
   G01B 11/02 20060101ALI20241107BHJP
【FI】
G01B11/28 H
G06T7/00 300F
G06V10/40
G01B11/02 H
【請求項の数】 7
(21)【出願番号】P 2022576912
(86)(22)【出願日】2021-01-22
(86)【国際出願番号】 JP2021002297
(87)【国際公開番号】W WO2022157939
(87)【国際公開日】2022-07-28
【審査請求日】2023-05-08
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】100164471
【弁理士】
【氏名又は名称】岡野 大和
(74)【代理人】
【識別番号】100176728
【弁理士】
【氏名又は名称】北村 慎吾
(72)【発明者】
【氏名】渡邉 一旭
(72)【発明者】
【氏名】内堀 大輔
(72)【発明者】
【氏名】濱野 勇臣
(72)【発明者】
【氏名】櫻田 洋介
(72)【発明者】
【氏名】荒武 淳
【審査官】三笠 雄司
(56)【参考文献】
【文献】特開2020-197797(JP,A)
【文献】特開2009-174923(JP,A)
【文献】特開2011-086082(JP,A)
【文献】特開2011-066277(JP,A)
【文献】国際公開第2019/163329(WO,A1)
【文献】特開平08-043315(JP,A)
【文献】特開2019-045993(JP,A)
【文献】国際公開第2020/166424(WO,A1)
【文献】特開2019-056679(JP,A)
【文献】米国特許出願公開第2013/0034305(US,A1)
【文献】特開2016-113794(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00-11/30
G06T 7/00
G06V 10/40
(57)【特許請求の範囲】
【請求項1】
取得した画像から設備領域を検出する設備領域検出部と、
前記画像から劣化領域を検出する劣化領域検出部と、
検出した前記設備領域に基づいて、前記画像の少なくとも一部の画素分解能を推定する画素分解能推定部と、
前記画素分解能に基づいて前記劣化領域の大きさを推定する劣化大きさ推定部と、
を備え劣化評価装置であって、
前記画素分解能推定部は、
前記設備領域が示す設備の数を抽出する物体数抽出部と、
抽出された前記設備の数に応じて、前記設備領域を示す画素数と実寸値とを比較して前記画素分解能を推定する実寸法比較部と、
を備える、劣化評価装置
【請求項2】
前記画素分解能推定部は、
前記画像の座標と前記画素分解能との関係を近似することにより前記画像の全体の画素分解能マップを作成する画素分解能マップ作成部を備え、
前記劣化大きさ推定部は、前記画素分解能マップが示す前記画素分解能に基づいて前記劣化領域の大きさを推定する、請求項1に記載の劣化評価装置。
【請求項3】
前記画素分解能推定部は、
前記物体数抽出部が抽出した前記設備の数が1又は3以上であるとき、前記設備の幅に相当する画素数を測定する物体幅抽出部をさらに備え、
前記実寸法比較部は、前記設備の幅の実寸値を、測定された前記画素数で除して前記画素分解能を推定する、請求項1又は2に記載の劣化評価装置。
【請求項4】
前記画素分解能推定部は、
前記物体数抽出部が抽出した前記設備の数が2であるとき、前記設備の幅をで表す細線化部と、
記線の間隔距離に相当する画素数を測定する設置間隔抽出部と、をさらに備え、
前記実寸法比較部は、前記間隔距離の実寸値を、測定された前記画素数で除して前記画素分解能を推定する、請求項1又は2に記載の劣化評価装置。
【請求項5】
前記設備領域から過検出された領域を削除する処理、及び前記設備領域において分断された領域を補間する処理の少なくとも一方の処理により、前記設備領域を修正した修正設備領域を生成する設備領域修正部をさらに備え、
前記物体数抽出部は、前記修正設備領域が示す設備の数を抽出する、請求項からのいずれか一項に記載の劣化評価装置。
【請求項6】
劣化評価装置により劣化を評価する劣化評価方法であって、
取得した画像から設備領域を検出するステップと、
前記画像から劣化領域を検出するステップと、
前記設備領域が示す設備の数を抽出するステップと、
抽出された前記設備の数に応じて、検出した前記設備領域を示す画素数と実寸値とを比較して、前記画像の少なくとも一部の画素分解能を推定するステップと、
前記画素分解能に基づいて前記劣化領域の大きさを推定するステップと、
を含む、劣化評価方法。
【請求項7】
コンピュータを、請求項1からのいずれか一項に記載の劣化評価装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、劣化評価装置、劣化評価方法及びプログラムに関する。
【背景技術】
【0002】
画像処理を用いて構造物表面に発生する劣化を検出する手法が存在する。近年では、深層学習におけるセグメンテーション手法が用いられている。劣化領域の定量的な評価を行う技術として、画像中にクラックスケールを収めることにより、スケールから劣化領域の定量的な評価を行う技術(非特許文献1参照)、撮影対象との距離を一定に保つ機構を有した撮影機材を用いて画像を取得し、画素分解能から劣化領域の定量的な評価を行う技術(非特許文献2参照)などが知られている。
【先行技術文献】
【非特許文献】
【0003】
【文献】藤田悠介、外2名、「コンクリート構造物表面の外観検査のための画像合成及び半自動ひび割れ評価」、土木学会論文集F3、Vol.74、No.1、pp.18-32、2018年
【文献】半田兼一、外5名、「ディジタル画像処理を利用したひび割れ抽出による道路トンネル健全性評価」、第37回岩盤力学に関するシンポジウム講演集、2008年1月
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の劣化領域の定量評価を行う技術は、撮影画像に何かしらの工夫を施す必要があった。そのため、一定の撮影条件が満たされずに撮影された画像に対して、セグメンテーション手法等の画像処理アルゴリズムを用いて劣化領域の定量評価を行うことは困難であり、改善の余地があった。
【0005】
かかる事情に鑑みてなされた本開示の目的は、一定の撮影条件に限定されずに劣化領域の実寸値を評価可能な劣化評価装置、劣化評価方法及びプログラムを提供することである。
【課題を解決するための手段】
【0006】
上述の課題を解決するため、本開示に係る劣化評価装置は、取得した画像から設備領域を検出する設備領域検出部と、前記画像から劣化領域を検出する劣化領域検出部と、検出した前記設備領域に基づいて、前記画像の少なくとも一部の画素分解能を推定する画素分解能推定部と、前記画素分解能に基づいて前記劣化領域の大きさを推定する劣化大きさ推定部と、を備える。
【0007】
また、本開示に係る劣化評価方法は、劣化評価装置により劣化を評価する劣化評価方法であって、取得した画像から設備領域を検出するステップと、前記画像から劣化領域を検出するステップと、検出した前記設備領域に基づいて、前記画像の少なくとも一部の画素分解能を推定するステップと、前記画素分解能に基づいて前記劣化領域の大きさを推定するステップと、を含む。
【0008】
また、本開示に係るプログラムは、コンピュータを本開示に係る劣化評価装置として機能させる。
【発明の効果】
【0009】
本開示によれば、一定の撮影条件に限定されずに劣化領域の実寸値を評価することができる。
【図面の簡単な説明】
【0010】
図1】本開示の一実施形態に係る劣化評価システムを説明するための図である。
図2】とう道を簡略化して示す図である。
図3】本開示の一実施形態に係る劣化評価装置の構成を示すブロック図である。
図4A】劣化評価装置が取得した画像の一例を示す図である。
図4B】劣化評価装置が取得した画像の一例を示す図である。
図5】本開示の一実施形態に係る画素分解能推定部の構成を示すブロック図である。
図6】物体数NがN=1であると判断された場合の画像の一例を示す図である。
図7A】物体数NがN=1であると判断された場合の画像の別の例を示す図である。
図7B】物体数NがN=1であると判断された場合の画像の別の例を示す図である。
図8】画素分解能マップを説明するための図である。
図9】物体数NがN=2であると判断された場合の画像の一例を示す図である。
図10A】物体数NがN=2であると判断された場合の画像の別の例を示す図である。
図10B】物体数NがN=2であると判断された場合の画像の別の例を示す図である。
図11A】物体数NがN≧3であると判断された場合の画像の一例を示す図である。
図11B】物体数NがN≧3であると判断された場合の画像の別の例を示す図である。
図12】本開示の一実施形態に係る劣化大きさ推定部の構成を示すブロック図である。
図13A】劣化領域の座標の一例を説明するための図である。
図13B】劣化領域の座標が画素分解能マップ上にプロットされた状態を説明するための図である。
図14A】本開示の一実施形態に係る劣化評価システムの動作を示す図である。
図14B】本開示の一実施形態に係る劣化評価システムの動作を示す図である。
図15A】本開示の一実施形態に係る劣化評価装置の制御部の動作を示す図である。
図15B】本開示の一実施形態に係る劣化評価装置の制御部の動作を示す図である。
図16A】変形例1に係る設備領域修正部を説明するための図である。
図16B】変形例1に係る設備領域修正部を説明するための図である。
図17A】変形例1に係る設備領域修正部を説明するための図である。
図17B】変形例1に係る設備領域修正部を説明するための図である。
図18】変形例1に係る設備領域修正部を説明するための図である。
図19】変形例2に係る劣化評価装置が取得した画像の一例を示す図である。
図20】変形例2に係る画素分解能マップを説明するための図である。
【発明を実施するための形態】
【0011】
以下、本開示の実施形態について適宜図面を参照しながら説明する。各図面中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。以下に説明する実施形態は本開示の構成の例であり、本開示は、以下の実施形態に制限されるものではない。
【0012】
<劣化評価システムの構成>
図1を参照して、本実施形態に係る劣化評価システム1の構成の一例について説明する。
【0013】
劣化評価システム1は、構造物の撮影画像から設備の既知情報を用いて、構造物本体に発生する劣化の定量評価を行うシステムである。劣化評価システム1においては、画像処理アルゴリズムを用いて、撮影画像から劣化領域と、既知の設備とが検出される。次に、検出された設備に関する既知寸法と画像上の画素数とが比較され、各位置における画素分解能が推定される。そして、推定された画素分解能に基づいて劣化領域の実寸値が算出される。これにより、一定の撮影条件に限定されずに劣化領域の実寸値を推定することができる。
【0014】
構造物は、本実施形態ではとう道をいう。とう道とは、通信ケーブル敷設用の地下トンネルである。これに限られず、構造物は例えば、ガス管又は送電線等の敷設用のトンネル、又はマンホール等を含む。設備は、本実施形態では、金物設備の一部である筋金物である。検出の対象となる劣化は、撮影画像におけるとう道本体に発生している損傷、汚れ等である。劣化は設備に発生している損傷、汚れ等であってもよい。
【0015】
図2は、とう道を簡略化して示す図である。とう道の上部から下部までのZ軸方向の高さ、及びX軸方向の幅は、例えば約3メートルである。とう道は、図2に示すように円形の断面形状の他、矩形の断面形状を有していてもよい。とう道内には、作業者が入って通信ケーブルの敷設、接続、保守、修理、撤去等の作業を行う。とう道内には、通信ケーブルを収容する金物設備、照明、換気設備、排水設備等が設けられる。金物設備は、とう道の壁面に固定された平板状の筋金物と、筋金物に取り付けられて、通信ケーブルを支持する受金物と、を備える。本実施形態において筋金物は約8cmの幅を有するが、これに限定されない。筋金物は図2のZ軸方向に延在し、とう道の奥行方向であるY軸方向に一定の間隔で設置されている。図2のZ軸方向は筋金物の長手方向、Y軸方向は筋金物の短手方向を指す。
【0016】
図1を再び参照すると、劣化評価システム1は、撮影装置10と、劣化評価装置20と、サーバ装置30と、を備える。撮影装置10、劣化評価装置20、サーバ装置30は、それぞれ、有線又は無線により通信可能に接続されている。各装置間で情報を送受信するための通信方法は、特に限定されない。
【0017】
撮影装置10は、とう道内を撮影する機能を有する装置であり、例えば、スマートフォン、タブレット端末、ノートPC(personal computer)、無人飛行体等である。撮影装置10は、撮影した画像のデータを、劣化評価装置20へ送信する。撮影された画像には、とう道内の設備の少なくとも一部が写り込んでいる。撮影装置10の数は1つに限られず、複数であってもよい。撮影装置10は、劣化評価装置20と一体化されていてもよい。
【0018】
劣化評価装置20は、スマートフォン又はタブレット端末等の任意の電子機器である。劣化評価装置20は、汎用コンピュータ、専用コンピュータ、又はPC(Personal Computer)であってもよい。劣化評価装置20は、とう道内で点検を行う作業者に使用されてもよい。劣化評価装置20は、撮影装置10から、撮影された画像のデータを受信する。詳細は後述するが、劣化評価装置20は、受信した撮影画像に基づいて、設備領域及び劣化領域を検出し、画素分解能を推定し、劣化領域の大きさを推定する。劣化評価装置20は、推定した劣化領域の実寸値を示す情報を、ネットワークを介してサーバ装置30へ送信する。
【0019】
サーバ装置30は、データセンタなどの施設に設置されてもよい。サーバ装置30は、劣化評価装置20から、ネットワークを介して設備の劣化領域の実寸値を示す情報を受信する。サーバ装置30は、劣化領域の実寸値を示す情報をサーバ装置30の記憶部に格納する。
【0020】
<劣化検出装置>
図3から図13Bを参照して、本実施形態に係る劣化評価装置20の構成の一例について説明する。
【0021】
図3に示すように、劣化評価装置20は、制御部21と、記憶部22と、通信部23と、入力部24と、出力部25と、を備える。制御部21は、設備領域検出部211と、劣化領域検出部212と、画素分解能推定部213と、劣化大きさ推定部214と、を備える。
【0022】
記憶部22は、1つ以上のメモリを含み、例えば、半導体メモリ、磁気メモリ、光メモリなどを含んでよい。記憶部22に含まれる各メモリは、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してよい。各メモリは、必ずしも劣化評価装置20がその内部に備える必要はなく、劣化評価装置20の外部に備える構成としてもよい。記憶部22には、劣化評価装置20の動作に用いられる情報と、劣化評価装置20の動作によって得られた情報とが記憶される。記憶部22は例えば、筋金物の幅の実寸値を示す情報、筋金物の設置間隔を示す情報、作成された画素分解能マップの情報、制御部21に推定された劣化領域の実寸値の情報等を格納できる。
【0023】
通信部23には、少なくとも1つの通信用インタフェースが含まれる。通信用インタフェースは、例えば、LANインタフェースである。通信部23は、劣化評価装置20の動作に用いられる情報を受信し、また劣化評価装置20の動作によって得られる情報を送信する。通信部23は、撮影装置10から、撮影した画像のデータを受信する。通信部23は、サーバ装置30へ、推定された劣化領域の実寸値の情報を送信する。
【0024】
入力部24には、少なくとも1つの入力用インタフェースが含まれる。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、又はマイクである。入力部24は、劣化評価装置20の動作に用いられる情報を入力する操作を受け付ける。入力部24は、劣化評価装置20に備えられる代わりに、外部の入力機器として劣化評価装置20に接続されてもよい。接続方式は任意のものであってよい。例えば、作業者が、入力部24を用いて所定の操作を行うことで、点検画像等のとう道内で撮影された画像データを、劣化評価装置20に入力することができる。
【0025】
出力部25には、少なくとも1つの出力用インタフェースが含まれる。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、LCD(liquid crystal display)又は有機EL(electro luminescence)ディスプレイである。出力部25は、劣化評価装置20の動作によって得られる情報を出力する。出力部25は、劣化評価装置20に備えられる代わりに、外部の出力機器として劣化評価装置20に接続されてもよい。接続方式は任意のものであってよい。例えば、出力部25は、推定された劣化領域の実寸値の情報を、作業者に対して画像又は音声により通知してもよい。
【0026】
制御部21には、少なくとも1つのプロセッサ、少なくとも1つの専用回路、又はこれらの組み合わせが含まれる。プロセッサは、CPU(central processing unit)、GPU(graphics processing unit)等の汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、FPGA(field-programmable gate array)又はASIC(application specific integrated circuit)である。制御部21は、劣化評価装置20の各部を制御しながら、劣化評価装置20の動作に関わる処理を実行する。制御部21は、通信用とう道の内部で取得した画像を取得し、当該画像から、セグメンテーション深層学習等の画像処理手法を用いて検出した設備領域に基づいて画像の画素分解能を推定し、劣化領域の検出結果を定量評価する機能を有する。
【0027】
設備領域検出部211は、取得された画像から、筋金物を設備領域として検出し、画素分解能推定部213に出力する。設備領域として検出される対象は筋金物に限られず、自由に設定されてよい。検出は、セグメンテーション深層学習等の画像処理手法により行う。
【0028】
劣化領域検出部212は、取得された画像から、とう道本体に発生する劣化領域を検出し、劣化大きさ推定部214に出力を行う。検出は、設備領域検出部211と同様の画像処理手法によるものであってよい。
【0029】
図4Aは、取得された画像の一例を示す。図4Bは、設備領域検出部211によって検出された設備領域と、劣化領域検出部212によって検出された劣化領域とを示す図である。設備領域検出部211と劣化領域検出部212とは一体化されて、設備領域と劣化領域とを同時に検出できてもよい。設備領域検出部211は、取得された画像から設備領域が検出されない場合、出力部25を介してその旨を撮影装置10に対し通知し、再度の撮影を促してもよい。
【0030】
設備領域検出部211が検出した設備領域と劣化領域検出部212が検出した劣化領域とは、出力部25を介して、劣化評価装置20を使用する作業者に対し表示されてもよい。この場合、作業者が入力部24を操作して、設備領域と劣化領域との範囲を手動で設定できる。
【0031】
画素分解能推定部213は、設備領域検出部211により検出された設備領域に基づいて、画像の少なくとも一部の画素分解能を推定する。具体的には、筋金物の幅又は設置間隔から、画像の1画素当たりの長さの実寸値である画素分解能を、画素毎に推定し、画像の全体について画素分解能マップを作成し、劣化大きさ推定部214に出力する。1画素とは1ピクセルのことである。
【0032】
図5に示すように、画素分解能推定部213は、物体数抽出部2131と、物体数判断部2132と、物体幅抽出部2133a及び物体幅抽出部2133bと、細線化部2134と、設置間隔抽出部2135と、実寸法比較部2136a、実寸法比較部2136b及び実寸法比較部2136cと、画素分解能マップ作成部2137a、画素分解能マップ作成部2137b及び画素分解能マップ作成部2137cと、を備える。
【0033】
物体数抽出部2131は、設備領域検出部211による設備領域の検出結果から、検出された筋金物を1本毎に物体として分割して、設備領域として検出された筋金物の数を抽出する。例えば、図4Bに示す設備領域の検出結果から、物体数抽出部2131は、筋金物の物体数(筋金物数)Nが2であることを抽出する。物体数抽出部2131は、抽出した結果を物体数判断部2132に出力する。
【0034】
物体数判断部2132は、物体数抽出部2131が抽出した筋金物数Nについて、N=1、N=2、又はN≧3のいずれであるかを判断する。図5に示すように、筋金物数N=1の場合、物体幅抽出部2133a、実寸法比較部2136a、画素分解能マップ作成部2137aによって順に処理が実行される。筋金物数N=2の場合、細線化部2134、設置間隔抽出部2135、実寸法比較部2136b、画素分解能マップ作成部2137bによって順に処理が実行される。筋金物数N≧3の場合、物体幅抽出部2133b、実寸法比較部2136c、画素分解能マップ作成部2137cによって順に処理が実行される。
【0035】
以下、物体数判断部2132が筋金物数N=1と判断した場合について説明する。
【0036】
物体幅抽出部2133aは、筋金物の幅に相当する画素数を測定し、実寸法比較部2136aに出力する。図6は、物体数判断部2132が筋金物数N=1であると判断した場合の画像の一例を示す。図6では、設備領域として検出された1つの筋金物の領域と背景の領域とが示される。物体幅抽出部2133aは、図6の矢印記号で示す筋金物の幅に相当する画素数を測定する。測定される対象の幅の上下方向の位置は自由に設定されてよい。例えば、図6に示すように、筋金物の複数の位置における幅に相当する画素数が測定されてよい。複数の位置の幅について画素数が測定されることで、後述する画素分解能マップの精度を高めることができる。
【0037】
図7A及び図7Bは、取得された画像の他の例を示す図である。図7Aは、筋金物を見上げるように撮影された画像であり、図7Bは、筋金物を見下ろすように撮影された画像である。図7Aの筋金物の上部及び図7Bの筋金物の下部は、遠近法により小さく表示される。このように画像上で筋金物の幅が遠近法により変化する場合、物体幅抽出部2133aは複数の位置の幅について画素数を測定する。物体幅抽出部2133aは例えば、筋金物の上下方向の最上位置と、中央位置と、最下位置における幅について画素数を測定してよい。
【0038】
実寸法比較部2136aは、画素分解能を画素毎に算出し、画素分解能マップ作成部2137aに出力する。具体的には、実寸法比較部2136aは、物体幅抽出部2133aが測定した画像中の筋金物の幅に相当する画素数と、当該筋金物の幅の実寸値とを比較し、以下の式(1)により画素分解能を求める。
【0039】
【数1】
【0040】
式(1)においてRは画素毎の画素分解能であり、単位はmm/pixelである。Bは筋金物の幅の実寸値であり、単位はmmである。Cは筋金物の幅に相当する画素数(すなわち、ピクセル数)である。このように実寸法比較部2136aは、筋金物の幅の実寸値Bを、測定された画素数Cで除して画素分解能Rを推定する。実寸法比較部2136aは、記憶部22を参照して、予め記憶されている筋金物の幅の実寸値を読み出し、Bの値として、画素分解能Rを算出する。実寸法比較部2136aは、入力部24を介して入力された筋金物の幅の実寸値をBの値として、画素分解能Rを算出してもよい。
【0041】
画素分解能マップ作成部2137aは、実寸法比較部2136aが算出した画素分解能と画像の座標との関係を直線近似することにより、画像の全体の画素毎の画素分解能を示す画素分解能マップAを作成する。画素分解能マップ作成部2137aは、作成した画素分解能マップAを劣化大きさ推定部214に出力する。座標は、画像の上下方向、すなわち筋金物の長手方向の座標である。近似手法の種類は任意のものであってよく、例えば最小二乗法等の手法であってもよい。図7Aのように、とう道の下部から筋金物を見上げるように撮影された画像においては、とう道上部に対応する画像上部の画素分解能の値が大きくなる。また、図7Bのように、とう道の上部から筋金物を見下ろすように撮影された画像においては、とう道下部に対応する画像下部の画素分解能の値が大きくなる。このように、筋金物を1本のみ検出した画像の場合には、上下方向に画像が歪むことが多く、筋金物の長手方向に画素分解能を直線近似することで画像の全体の画素分解能の値の精度を高めることが可能となる。これにより、歪み補正を画素分解能マップ上で再現することができる。画素分解能マップの作成は、筋金物の長手方向に直線近似することで行う他、角度等を考慮した近似方法を用いて行っても良い。
【0042】
図8は、筋金物が1つのみ検出された場合に画素分解能マップ作成部2137aが作成した画素分解能マップAを説明するための図である。図中右側のスケールは、画像中の画素分解能の値を濃淡によって表している。図8では、筋金物はとう道の下方向から撮影されている。画像中の矢印記号が示す方向に向かって、画素分解能の値が大きくなっていることがわかる。
【0043】
以下、物体数判断部2132が筋金物数N=2と判断した場合について説明する。
【0044】
細線化部2134は、検出した筋金物の幅の中心に、筋金物の長手方向に沿った細線を表示し、筋金物の幅を線で表す細線化を実施する。図9は、物体数判断部2132が筋金物数N=2であると判断した場合の画像の一例を示す。図9では、設備領域として検出された2つの筋金物の領域と背景の領域とが示される。細線化部2134は、図9の点線で示すような細線を表示し、2つの筋金物のそれぞれについて、幅を線状で表す。細線化部2134は、細線化を実施した結果を設置間隔抽出部2135に出力する。
【0045】
設置間隔抽出部2135は、細線化部2134が表示した細線の間隔距離に相当する画素数を測定し、実寸法比較部2136bに出力する。設置間隔抽出部2135は、図9の矢印記号で示す、細線と細線との間隔距離に相当する画素数を測定する。測定される対象の間隔距離の上下方向の位置は自由に設定されてよい。例えば、図9に示すように、筋金物の複数の位置における間隔距離に相当する画素数が測定されてよい。複数の位置の間隔距離について画素数が測定されることで、後述する画素分解能マップの精度を高めることができる。
【0046】
図10A及び図10Bは、取得された画像の他の例を示す図である。図10Aは、筋金物を見上げるように撮影された画像であり、図10Bは、筋金物を見下ろすように撮影された画像である。図10Aの筋金物の間隔距離の上部及び図10Bの筋金物の間隔距離の下部は、遠近法により小さく表示される。このように画像上で筋金物の間隔距離が遠近法により変化する場合、設置間隔抽出部2135は複数の位置の間隔距離について画素数を測定する。設置間隔抽出部2135は例えば、筋金物の細線の上下方向の最上位置と、中央位置と、最下位置における間隔距離について画素数を測定してよい。
【0047】
実寸法比較部2136bは、画素分解能Rを画素毎に算出し、画素分解能マップ作成部2137bに出力する。具体的には、実寸法比較部2136bは、設置間隔抽出部2135が測定した画像中の筋金物の細線の間隔距離に相当する画素数と、当該間隔距離の実寸値とを比較し、式(2)により画素分解能を求める。
【0048】
【数2】
【0049】
式(2)においてRは画素毎の画素分解能であり、単位はmm/pixelである。Lは筋金物の間隔距離の実寸値であり、単位はmmである。Cは筋金物の間隔距離に相当する画素数(すなわち、ピクセル数)である。このように実寸法比較部2136bは、筋金物の間隔距離の実寸値Lを、測定された画素数Cで除して画素分解能Rを推定する。実寸法比較部2136bは、記憶部22を参照して、予め記憶されている筋金物の間隔距離の実寸値を読み出し、Lの値として、画素分解能Rを算出する。実寸法比較部2136bは、入力部24を介して入力された筋金物の間隔距離の実寸値をLの値として、画素分解能Rを算出してもよい。
【0050】
画素分解能マップ作成部2137bは、実寸法比較部2136bが算出した画素分解能と画像の座標との関係を直線近似することにより、画像の全体の画素毎の画素分解能を示す画素分解能マップBを作成する。画素分解能マップ作成部2137bは、作成した画素分解能マップBを劣化大きさ推定部214に出力する。画素分解能マップ作成部2137bについての詳細は画素分解能マップ作成部2137aと同様であるため、説明を省略する。
【0051】
なお、とう道の筋金物の設置間隔の実寸値が不明な場合には、物体数判断部2132がN=1と判断した場合と同様に、筋金物の幅から画素分解能を算出してもよい。又は、筋金物の幅及び筋金物の細線の間隔距離の両方について測定された画素数と実寸値とに基づいて、画像の全体の画素分解能を算出してもよい。これにより、より精度よく画素分解能マップを作成できる。
【0052】
以下、物体数判断部2132が筋金物数N≧3と判断した場合について説明する。
【0053】
物体幅抽出部2133bは、筋金物の幅に相当する画素数を測定し、実寸法比較部2136cに出力する。図11A及び図11Bは、物体数判断部2132が筋金物数N≧3であると判断した場合の画像の一例を示す。図11A及び図11Bの画像には、設備領域として検出された3つの筋金物の領域と背景の領域とが示される。画像はとう道の奥に向かって撮影されたものであり、画像の右側がとう道の手前側、左側が奥側となっている。矢印記号で示すように、遠近法により、奥側に向かうにつれ検出される設備領域としての筋金物が小さく表示される。物体幅抽出部2133bについてのその他の詳細は物体幅抽出部2133aと同様であるため、説明を省略する。
【0054】
物体幅抽出部2133bは、検出された全ての設備領域についてそれぞれの幅の画素数を測定してよい。又は、物体幅抽出部2133bは、画像に占める設備領域の大きさの割合が大きい順に、複数の筋金物を特定し、特定した筋金物のみの幅について画素数を測定してもよい。これにより、画像に占める設備領域の大きさの割合が極端に小さい筋金物、すなわちとう道の奥側に存在する筋金物の幅に相当する画素数を測定する処理を省くことができる。又は、物体幅抽出部2133bは、画像の奥側に劣化領域が検出されている場合には、とう道の奥側に存在する筋金物の幅に相当する画素数も測定してよい。これにより、特定した筋金物についてのみ幅を測定する場合と比較して、画素分解能マップ作成部2137cが作成する画素分解能マップの精度を高め、画像の奥側の劣化領域の実寸値を精度よく推定できる。このように、物体幅抽出部2133bは、検出された設備領域のいずれについて幅の画素数を測定するかを自由に決定できる。
【0055】
上述の、物体数判断部2132が筋金物数N=2と判断した場合と同様、細線化部2134及び設置間隔抽出部2135が、物体幅抽出部2133bに加えて、又は物体幅抽出部2133bの代わりに設けられてもよい。これにより、例えば複数の筋金物のうち、一部の筋金物の幅の実寸値が不明である場合でも、細線化部2134及び設置間隔抽出部2135により柔軟に間隔距離の画素数を測定できる。図11Bは、物体幅抽出部2133bに代えて細線化部2134及び設置間隔抽出部2135により間隔距離の画素数を測定する場合を説明する図である。図11Bでは、細線化部2134により3つ以上の筋金物の幅が線状に表され、設置間隔抽出部2135により、各線の間隔距離に相当する画素数が測定される。上述した物体幅抽出部2133bと同様、細線化部2134及び設置間隔抽出部2135は、複数の筋金物間の複数の間隔距離のうち、いずれの間隔距離の画素数を測定するかを自由に決定できる。
【0056】
実寸法比較部2136cは、画素分解能を画素毎に算出し、画素分解能マップ作成部2137cに出力する。実寸法比較部2136cについての詳細は実寸法比較部2136a又は実寸法比較部2136bと同様であるため、説明を省略する。
【0057】
画素分解能マップ作成部2137cは、実寸法比較部2136cが算出した画素分解能と画像の座標との関係を直線近似することにより、画像の全体の画素毎の画素分解能を示す画素分解能マップを作成する。画素分解能マップ作成部2137cは、作成した画素分解能マップCを劣化大きさ推定部214に出力する。座標は、画像の左右方向、すなわち筋金物の短手方向の座標である。近似手法の種類は任意のものであってよく、例えば最小二乗法等の手法であってもよい。図11A及び図11Bのように、とう道の手前側から奥に向かって複数の筋金物が撮影された画像においては、とう道の奥側に対応する画像の左側部の画素分解能の値が大きくなり、とう道の手前側に対応する画像の右側部の画素分解能の値が小さくなる。なお、画像の左側部がとう道の手前側に対応し、画像の右側部がとう道の奥側に対応する場合は画像の右側部の画素分解能の値が大きくなり、画像の左側部の画素分解能の値が小さくなる。このように、筋金物を3本以上検出した画像の場合には、左右方向に画像が歪むことが多く、筋金物の短手方向に画素分解能を直線近似することで画像の全体の画素分解能の値の精度を高めることが可能となる。これにより、歪み補正を画素分解能マップ上で再現することができる。
【0058】
劣化大きさ推定部214は、劣化領域検出部212が検出した劣化領域の実寸値を、画素分解能推定部213が作成した画素分解能マップに基づいて推定する。これにより、劣化大きさ推定部214は劣化領域を評価することができる。図12に示すように、劣化大きさ推定部214は、劣化領域座標取得部2141と、劣化領域長さ推定部2142と、劣化領域面積推定部2143と、を備える。
【0059】
劣化領域座標取得部2141は、劣化領域として検出された領域の、画像中における座標を取得する。取得した座標の値に応じて、劣化領域座標取得部2141は、劣化領域長さ推定部2142及び劣化領域面積推定部2143のいずれにより次の処理を行うかを決定し、劣化領域長さ推定部2142及び劣化領域面積推定部2143のいずれかに、取得した座標を出力する。例えば、撮影されたとう道内の劣化がヒビ割れ等の形が一様に定まらない線状の劣化であるとき、劣化領域座標取得部2141は、取得した座標の値から劣化領域長さ推定部2142が次に処理を行うことを決定する。そして、取得した座標を劣化領域長さ推定部2142に出力する。例えば、撮影されたとう道内の劣化が一定の面積を有する穴状の欠損等の劣化であるとき、劣化領域座標取得部2141は、取得した座標の値から劣化領域面積推定部2143が次に処理を行うことを決定する。そして、取得した座標を劣化領域面積推定部2143に出力する。
【0060】
予め設定された劣化領域の記録項目又は点検項目に応じて、劣化領域長さ推定部2142及び劣化領域面積推定部2143のいずれにより次に処理を行うかが決定されてもよい。
【0061】
劣化領域長さ推定部2142は、劣化領域を示す座標から、劣化領域の長さを算出し、結果を記憶部22に格納する。ここでは劣化領域の最大長さを算出する例を説明するが、算出する対象の長さは自由に設定されてよい。図13Aは、取得された劣化領域の画像上の座標の一例を示す。図13Aを参照すると、劣化領域としてのヒビ割れが点線で示される。劣化領域長さ推定部2142は、劣化領域の座標のうち、縦軸(Y軸)の値が最大値の点A、横軸(X軸)の値が最大値の点B、縦軸(Y軸)の値が最小値の点C、横軸(X軸)の値が最小値の点Dを抽出する。劣化領域長さ推定部2142は、点Aから点Dを接続する直線で形成される四角形を作成し、当該四角形の対角線のうち、点Aと点Cとを接続する直線が最大長さL’maxとなっていることを判断する。なお、劣化領域長さ推定部2142は、劣化領域の形状に応じて、任意の多角形を形成するような点を抽出してもよい。劣化領域長さ推定部2142は、当該多角形のいずれかの辺又は対角線を最大長さとして判断してもよい。
【0062】
劣化領域長さ推定部2142は次に、点Aと点Cとの座標を、画素分解能マップ上にプロットする。図13Bは、図13Aで求めた最大長さを形成する点Aと点Cとが画素分解能マップ上にプロットされた状態を説明するための図である。劣化領域長さ推定部2142は、プロットした点と点の間の距離、すなわち劣化領域の最大長さの実寸値を、画素分解能マップが示す画素分解能の値により求める。図13Bの画素分解能マップ上で、劣化領域長さ推定部2142は、プロットされた点Aと点Cとを結ぶ直線が斜辺となる直角三角形を形成する。劣化領域長さ推定部2142は、直角を形成する、点Aから縦軸に沿って下方に伸びる直線と、点Cから横軸に沿って左方向に伸びる直線とに相当する画素の画素分解能を測定し、それぞれの直線の実寸値を求める。
【0063】
図13Bでは、点Aから下方に伸びる直線に相当する画素の画素分解能の値は1.1+1.1+1.1+1.1+1.1=5.5mm/pixelであり、当該直線の実寸値は5.5mmであることがわかる。また、点Cから左方向に伸びる直線に相当する画素の画素分解能の値は1.1+1.1+1.2=3.4mm/pixelであり、当該直線の実寸値は3.4mmであることがわかる。そして、劣化領域長さ推定部2142は、三平方の定理により斜辺の長さを求める。具体的には劣化領域長さ推定部2142は、5.5mmを二乗した値の30.25mmと、3.4mmを二乗した値の11.56mmとを合計し、41.81mmの値を算出する。そして、41.81mmの値の平方根を求め、少数点第二位を四捨五入し、6.5mmの値を算出する。このようにして、斜辺L’maxの実寸値の長さが6.5mmであることが求められる。
【0064】
劣化領域長さ推定部2142は、長さを推定する対象の劣化領域が、画素分解能マップ上で縦軸または横軸に平行である場合は、劣化領域を示す座標間の直線に相当する画素分解能の値を単純に合計し、当該直線の実寸値を算出してもよい。
【0065】
劣化領域面積推定部2143は、劣化領域の面積を求め、結果を記憶部22に格納する。具体的には、劣化領域面積推定部2143は、取得された劣化領域の座標の値を画素分解能マップ上にプロットする。劣化領域面積推定部2143は、プロットした座標に基づき、劣化領域に対応する画素のそれぞれの画素分解能の値を特定する。次に劣化領域面積推定部2143は、特定した画素分解能の値をそれぞれ2乗し、1画素当りの面積の実寸値を求める。劣化領域面積推定部2143は、求めた1画素当りの面積の実寸値を加算していき、合計値を劣化領域全体の面積の実寸値として算出する。
【0066】
<プログラム>
劣化評価装置20は、プログラム命令を実行可能なコンピュータであってもよい。コンピュータは、劣化評価装置20の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのプロセッサによってこのプログラムを読み出して実行する。これらの処理内容の一部はハードウェアで実現されてもよい。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、PC、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。プロセッサは、CPU、GPU、DSP(Digital Signal Processor)などであってもよい。
【0067】
また、このプログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROM、DVD-ROMなどの記録媒体であってもよい。また、このプログラムは、ネットワークを介したダウンロードによって提供することもできる。
【0068】
<劣化評価システム1の動作>
次に、図13A図13B図14A図14B図15A、及び図15Bを参照して、本実施形態に係る劣化評価装置20を含む劣化評価システム1の動作について説明する。劣化評価システム1の動作のうち、劣化評価装置20の動作は、本実施形態に係る劣化評価方法に相当する。
【0069】
ステップS1において、撮影装置10がとう道内の劣化した部分及びとう道内の設備を撮影する。撮影装置10は、撮影した画像データを劣化評価装置20に送信する。
【0070】
ステップS2において、劣化評価装置20の通信部23は、撮影装置10から画像データを受信する。劣化評価装置20の制御部21は、受信した画像を取得する。
【0071】
ステップS3において、劣化評価装置20の設備領域検出部211は、取得された画像から、設備領域を検出する。本例では、筋金物を設備領域として検出する。ここで設備領域検出部211は、画像に設備が写っていないと判断した場合、撮影装置10にその旨通知してもよい。設備領域検出部211は、検出した結果を画素分解能推定部213に出力する。
【0072】
ステップS4において、劣化評価装置20の劣化領域検出部212は、取得された画像から、劣化領域を検出する。劣化領域検出部212は、検出した結果を劣化大きさ推定部214に出力する。
【0073】
なお、ステップS3とステップS4との順番は入れ替わってもよいし、ステップS3とステップS4との処理は同時に行われてもよい。
【0074】
ステップS5において、劣化評価装置20の画素分解能推定部213は、検出された設備領域に基づいて、画像の少なくとも一部の画素分解能を推定する。図15A及び図15Bは、図14AのステップS5における画素分解能の推定の具体的な処理フローを示す。
【0075】
まずステップS6において、物体数抽出部2131は、設備領域として検出された筋金物の数を抽出する。物体数抽出部2131は、抽出した結果を物体数判断部2132に出力する。
【0076】
ステップS7において、物体数判断部2132は、抽出された筋金物数Nが、N=1、N=2、又はN≧3のいずれであるかを判断する。筋金物数N=1の場合、次にステップS8で物体幅抽出部2133aによる処理が実行され、続いて実寸法比較部2136a、画素分解能マップ作成部2137aによって順に処理が実行される。筋金物数N=2の場合、次にステップS11で細線化部2134による処理が実行され、続いて、設置間隔抽出部2135、実寸法比較部2136b、画素分解能マップ作成部2137bによって順に処理が実行される。筋金物数N≧3の場合、次にステップS15で物体幅抽出部2133bによる処理が実行され、続いて、実寸法比較部2136c、画素分解能マップ作成部2137cによって順に処理が実行される。
【0077】
まず、ステップS7において筋金物数N=1と判断された場合について説明する。ステップS8で、物体幅抽出部2133aは、筋金物の幅に相当する画素数を測定する。測定される対象の幅の位置は自由に設定されてよく、筋金物の複数の位置における幅に相当する画素数が測定されてよい。物体幅抽出部2133aは例えば、筋金物の上下方向の最上位置と、中央位置と、最下位置における幅について画素数を測定してよい。物体幅抽出部2133aは、測定した結果を実寸法比較部2136aに出力する。
【0078】
図15BのステップS9において、実寸法比較部2136aは、画素分解能を画素毎に算出する。具体的には、実寸法比較部2136aは、ステップS8で測定された画像中の筋金物の幅に相当する画素数と、記憶部22に予め記憶されている当該筋金物の実寸値とを比較し、上述した式(1)により画素分解能を求める。実寸法比較部2136aは、算出した結果を画素分解能マップ作成部2137aに出力する。
【0079】
ステップS10において、画素分解能マップ作成部2137aは、実寸法比較部2136aが算出した画素分解能と画像の座標との関係を直線近似することにより画像の全体の画素毎の画素分解能を示す画素分解能マップAを作成する。画素分解能マップの作成は、筋金物の長手方向に直線近似することで行う。画素分解能マップ作成部2137aは、作成した画素分解能マップAを劣化大きさ推定部214に出力する。
【0080】
次に、ステップS7において筋金物数N=2と判断された場合について説明する。ステップS11で、細線化部2134は、検出した筋金物の幅の中心に筋金物の長手方向に沿った細線を表示し、筋金物の幅を線状で表す細線化処理を行う。細線化部2134は、細線化を実施した結果を設置間隔抽出部2135に出力する。
【0081】
図15BのステップS12において、設置間隔抽出部2135は、細線化部2134が表示した細線の間隔距離に相当する画素数を測定し、実寸法比較部2136bに出力する。測定される対象の間隔距離の上下方向の位置は自由に設定されてよく、細線の複数の位置における間隔距離に相当する画素数が測定されてよい。
【0082】
ステップS13において、実寸法比較部2136bは、画素分解能を画素毎に算出し、画素分解能マップ作成部2137bに出力する。具体的には、実寸法比較部2136bは、ステップS12で測定された画像中の筋金物に表された細線の間隔距離に相当する画素数と、記憶部22に予め記憶されている当該筋金物の間隔距離の実寸値とを比較し、上述した式(2)により画素分解能を求める。
【0083】
ステップS14において、画素分解能マップ作成部2137bは、実寸法比較部2136bが算出した画素分解能と画像の座標との関係を直線近似することにより画像の全体の画素毎の画素分解能を示す画素分解能マップBを作成する。画素分解能マップ作成部2137bは、作成した画素分解能マップBを劣化大きさ推定部214に出力する。
【0084】
次に、ステップS7において筋金物数N≧3と判断された場合について説明する。ステップS15で、物体幅抽出部2133bは、筋金物の幅に相当する画素数を測定する。物体幅抽出部2133bは、検出された全ての筋金物についてそれぞれの幅の画素数を測定してよい。又は、物体幅抽出部2133bは、画像に占める設備領域の大きさの割合が大きい順に、複数の筋金物を特定し、特定した筋金物のみの幅について画素数を測定してもよい。物体幅抽出部2133bは、測定した結果を実寸法比較部2136cに出力する。
【0085】
図15BのステップS16において、実寸法比較部2136cは、画素分解能を画素毎に算出する。ステップS16の処理の詳細はステップS9又はステップS13と同様であるため、説明を省略する。実寸法比較部2136cは、算出した結果を画素分解能マップ作成部2137cに出力する。
【0086】
ステップS17において、画素分解能マップ作成部2137cは、実寸法比較部2136cが算出した画素分解能と画像の座標との関係を直線近似することにより、画像の全体の画素毎の画素分解能を示す画素分解能マップCを作成する。画素分解能マップの作成は、筋金物の短手方向に直線近似することで行う。画素分解能マップ作成部2137cは、作成した画素分解能マップCを劣化大きさ推定部214に出力する。
【0087】
上述の処理を行った後、画素分解能推定部213は、画素分解能の推定を終了する。
【0088】
再び図14Aを参照すると、ステップS18において、劣化大きさ推定部214の劣化領域座標取得部2141は、劣化領域として検出された領域の、画像中における座標を取得する。
【0089】
図14BのステップS19において、劣化領域座標取得部2141は、取得した座標の値に応じて、劣化領域長さ推定部2142及び劣化領域面積推定部2143のいずれにより次の処理を行うかを決定し、劣化領域長さ推定部2142及び劣化領域面積推定部2143のいずれかに、取得した座標を出力する。劣化領域座標取得部2141は、劣化領域が線状の劣化であるとき、劣化領域長さ推定部2142が次に処理を行うことを決定し、取得した座標を劣化領域長さ推定部2142に出力する。この場合、処理はステップS20へと進む。劣化領域座標取得部2141は、劣化領域が面積を有する形状であるとき、劣化領域面積推定部2143が次に処理を行うことを決定し、取得した座標を劣化領域面積推定部2143に出力する。この場合、処理はステップS21へと進む。
【0090】
まず、ステップS19において劣化領域長さ推定部2142が次に処理を行うことが決定され、処理がステップS20へと進んだ場合について説明する。ステップS20において、劣化領域長さ推定部2142は、劣化領域を示す座標から、劣化領域の長さを算出する。劣化領域長さ推定部2142は、算出した結果を記憶部22に格納する。ここでは劣化領域の最大長さを算出する例を説明するが、算出する対象の長さは自由に設定されてよい。
【0091】
具体的には、劣化領域長さ推定部2142は、劣化領域の形状に応じて、任意の多角形を形成するような点を抽出し、当該多角形のいずれかの対角線を最大長さとして判断する。例えば図13Aを参照すると、劣化領域としてのヒビ割れが点線で示される。劣化領域長さ推定部2142は、劣化領域の座標のうち、縦軸(Y軸)の値が最大値の点A、横軸(X軸)の値が最大値の点B、縦軸(Y軸)の値が最小値の点C、横軸(X軸)の値が最小値の点Dを抽出する。劣化領域長さ推定部2142は、点Aから点Dを接続する直線で形成される四角形を作成し、当該四角形の対角線のうち、点Aと点Cとを接続する直線が最大長さL’maxとなっていることを判断する。
【0092】
次に劣化領域長さ推定部2142は、最大長さを形成する点の座標を、画素分解能マップA~Cのいずれかの上にプロットする。そして、劣化領域長さ推定部2142は、プロットした点と点の間の距離、すなわち劣化領域の最大長さの実寸値を、画素分解能マップが示す画素分解能の値により求める。例えば図13Bは、最大長さを形成する点Aと点Cとが画素分解能マップ上にプロットされた状態を示す。劣化領域長さ推定部2142は、プロットした座標の値の距離、すなわち劣化領域の最大長さの実寸値を、画素分解能マップが示す画素分解能の値により求める。図13Bの画素分解能マップ上で、劣化領域長さ推定部2142は、プロットされた点Aと点Cとを結ぶ直線が斜辺となる直角三角形を形成する。劣化領域長さ推定部2142は、直角を形成する、点Aから縦軸に沿って下方に伸びる直線と、点Cから横軸に沿って左方向に伸びる直線とに相当する画素の画素分解能を測定し、それぞれの直線の実寸値を求める。図13Bから、劣化領域長さ推定部2142は、点Aから伸びる直線に相当する画素の画素分解能の値を合計して、当該直線の実寸値が5.5mmであることを算出する。また、点Cから伸びる直線に相当する画素の画素分解能の値を合計して、当該直線の実寸値が3.4mmであることを算出する。そして、劣化領域長さ推定部2142は、三平方の定理により、点Aと点Cとを結ぶ斜辺の実寸値が6.5mmであることを算出する。
【0093】
次に、ステップS19において劣化領域面積推定部2143が次に処理を行うことが決定され、処理がステップS21へと進んだ場合について説明する。ステップS21において、劣化領域面積推定部2143は、劣化領域の面積を算出する。劣化領域面積推定部2143は、算出した結果を記憶部22に格納する。
【0094】
具体的には、劣化領域面積推定部2143は、取得された劣化領域の座標の値を画素分解能マップA~Cのいずれかの上にプロットする。劣化領域面積推定部2143は、プロットした座標に基づき、劣化領域に対応する画素のそれぞれの画素分解能の値を特定する。次に劣化領域面積推定部2143は、特定した画素分解能の値をそれぞれ2乗し、1画素当りの面積の実寸値を求める。劣化領域面積推定部2143は、求めた1画素当りの面積の実寸値を加算していき、合計値を劣化領域全体の面積の実寸値として算出する。
【0095】
ステップS18からステップS21に示すように、劣化大きさ推定部214は、劣化領域検出部212が検出した劣化領域の実寸値を、画素分解能推定部213が作成した画素分解能マップに基づいて推定する。
【0096】
ステップS22において、劣化評価装置20の制御部21は、推定した劣化領域の実寸値を示す情報を記憶部22から読み出し、通信部23を介して、サーバ装置30に送信する。
【0097】
ステップS23において、サーバ装置30は劣化領域の実寸値を示す情報を受信し、サーバ装置30の記憶部に格納する。
【0098】
上述のように、本実施形態にかかる劣化評価装置20は、取得した画像から設備領域を検出する設備領域検出部211と、画像から劣化領域を検出する劣化領域検出部212と、検出した設備領域に基づいて、画像の少なくとも一部の画素分解能を推定する画素分解能推定部213と、画素分解能に基づいて劣化領域の大きさを推定する劣化大きさ推定部214と、を備える。
【0099】
本実施形態によれば、検出された設備領域から画素分解能を推定し、当該画素分解能を用いることで、劣化領域の実寸値を推定できる。よって、一定の撮影条件に限定されずに劣化領域の実寸値を評価可能な劣化評価装置及び劣化評価方法を提供することができる。
【0100】
上述のように、本実施形態にかかる劣化評価装置20において、画素分解能推定部213は、画像の座標と画素分解能との関係を近似することにより画像の全体の画素分解能マップを作成する画素分解能マップ作成部2137をさらに備える。劣化大きさ推定部214は、画素分解能マップが示す画素分解能に基づいて劣化領域の大きさを推定する。
【0101】
本実施形態によれば、画素分解能マップにより画像の全体の画素分解能マップが一元的に把握できる。劣化領域の座標を画素分解能マップ上に重ね合わせることで、容易に劣化領域の大きさの実寸値が推定できる。よって、一定の撮影条件に限定されずに劣化領域の実寸値を評価可能な劣化評価装置及び劣化評価方法を提供することができる。
【0102】
上述のように、本実施形態にかかる劣化評価装置20において、画素分解能推定部213は、設備領域が示す設備の数を抽出する物体数抽出部2131と、抽出された設備の数に応じて、設備領域を示す画素数と実寸値とを比較して画素分解能を推定する実寸法比較部2136と、をさらに備える。
【0103】
本実施形態によれば、設備の数に応じて画素分解能を推定する手法が選択される。これにより、より精度よく画像の画素分解能を推定できる。よって、一定の撮影条件に限定されずに劣化領域の実寸値を評価可能な劣化評価装置及び劣化評価方法を提供することができる。
【0104】
上述のように、本実施形態にかかる劣化評価装置20において、画素分解能推定部213は、物体数抽出部2131が抽出した設備の数が1又は3以上であるとき、設備の幅に相当する画素数を測定する物体幅抽出部2133をさらに備える。実寸法比較部2136は、設備の幅の実寸値を、測定された画素数で除して画素分解能を推定する。
【0105】
本実施形態によれば、設備の数が1又は3以上であるとき、設備の幅に相当する画素数と既知である設備の幅の実寸値とに基づいて、精度よく画素分解能を推定できる。筋金物を1つのみ検出した画像は、比較的とう道の壁面と接写して撮影された画像であり、劣化領域が筋金物の付近に写りこんでいることが多いため、筋金物の幅に相当する画素数と実寸値とについて画素分解能を推定することで、劣化領域の実寸値を精度よく推定できる。一方、筋金物を3つ以上検出した画像は、とう道の手前から奥に向かって撮影された画像であることが多く、この場合、とう道の奥側に存在する劣化領域が小さく写り込む可能性が高い。複数の筋金物の幅に相当する画素数と実寸値とについて画素分解能を推定することで、このような劣化領域の実寸値も精度よく推定できる。よって、一定の撮影条件に限定されずに劣化領域の実寸値を評価可能な劣化評価装置及び劣化評価方法を提供することができる。
【0106】
上述のように、本実施形態にかかる劣化評価装置20において、画素分解能推定部213は、物体数抽出部2131が抽出した設備の数が2であるとき、設備の幅を線状で表す細線化部2134と、細線の間隔距離に相当する画素数を測定する設置間隔抽出部2135とをさらに備える。実寸法比較部2136は、間隔距離の実寸値を、測定された画素数で除して画素分解能を推定する。
【0107】
本実施形態によれば、設備の数が2であるとき、設備が細線で表され、当該細線の間隔距離に相当する画素数と既知である設備の間隔距離の実寸値とに基づいて、精度よく画素分解能を推定できる。2つの筋金物が画像の中心部に寄らずに撮影された場合でも、筋金物の間隔距離の実寸値と測定された画素数とに基づいて、画像の全体の画素分解能を、より実寸値に近く再現できる。よって、一定の撮影条件に限定されずに劣化領域の実寸値を評価可能な劣化評価装置及び劣化評価方法を提供することができる。
【0108】
本開示を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本開示の範囲に含まれることに留意されたい。
【0109】
(変形例1)
本開示の変形例として、劣化評価装置20の制御部21がさらに設備領域修正部215を備えてもよい。設備領域修正部215は、設備領域から過検出された領域を削除する処理、及び設備領域において分断された領域を補間する処理の少なくとも一方の処理を行う。
【0110】
過検出された領域とは、設備領域検出部211が設備領域以外の領域を設備領域として検出してしまった領域をいう。例えば画像における背景領域が、設備領域として検出されてしまった場合に、当該検出された領域を過検出領域という。
【0111】
まず、設備領域修正部215が、設備領域検出部211が過検出した領域を検出し、当該領域を削除する処理について説明する。図16Aでは、過検出された領域が矢印記号で示される。過検出された領域の検出は任意の画像解析手法により行われてよい。例えば設備領域修正部215は、設備領域検出部211が検出した結果を画素の濃度に基づき二値化し、対象画素の4近傍又は8近傍の任意の周辺範囲の画素を参照して、同一の値の画素が存在する場合には、同一の値の画素を1つの連結画素とする。設備領域修正部215は、大きさが閾値以下の連結画素を削除する。この場合の閾値は、任意に設定されてよい。過検出された領域を削除した後、設備領域修正部215は設備領域を修正した修正設備領域を生成する。図16Bは、図16Aにおいて過検出された領域が削除された状態の修正設備領域を示す。
【0112】
次に、設備領域修正部215が、設備領域検出部211が検出した設備領域における分断された領域を補間する処理について説明する。ここで設備領域の分断は、撮影装置10と設備との間に物体が存在するために発生する。図17Aでは、筋金物の前面にケーブル又はケーブルを支持するための受金物が存在するために分断された設備領域が矢印記号で示される。分断された領域の検出は任意の画像解析手法により行われてよい。設備領域修正部215は、例えばモルフォロジー変換の手法により分断された領域を補間する。また、モルフォロジー変換の種類は限定されないが、膨張処理の後に収縮処理を行うクロージング処理が有効であり望ましい。分断された領域を補間した後、設備領域修正部215は設備領域を修正した修正設備領域を生成する。図17Bは、図17Aにおいて検出された、分断された領域が補間された状態の修正設備領域を示す。
【0113】
図18に示すように、設備領域修正部215は設備領域検出部211の処理の後に処理を実行できる。これにより、画素分解能推定部213が備える物体数抽出部2131が、設備領域修正部215によって生成された修正設備領域が示す設備の数を抽出できる。
【0114】
設備領域修正部215は、設備領域検出部211のみならず、劣化領域検出部212が検出した劣化領域における分断された領域を検出し、当該領域を補間することができてもよい。この場合、設備領域修正部215は劣化領域検出部212の処理の後に処理を実行できる。
【0115】
上述のように、変形例1に係る劣化評価装置20は、設備領域から過検出された領域を削除する処理、及び設備領域において分断された領域を補間する処理の少なくとも一方の処理により、設備領域を修正した修正設備領域を生成する設備領域修正部215をさらに備える。物体数抽出部2131は、修正設備領域が示す設備の数を抽出する。
【0116】
本変形例によれば、過検出された領域を削除、又は分断された領域を補間することで、画像中の設備の数の正確な把握が可能となる。したがって、より精度よく画素分解能を推定し、劣化領域の実寸値を推定できる。よって、一定の撮影条件に限定されずに劣化領域の実寸値を評価可能な劣化評価装置及び劣化評価方法を提供することができる。
【0117】
(変形例2)
本開示の変形例として、画素分解能マップ作成部2137a、画素分解能マップ作成部2137b又は画素分解能マップ作成部2137cが作成する画素分解能マップが、二次元的に角度を有したものであってもよい。
【0118】
画像の撮影角度によっては、画像の全体の画素分解能が画像の左右方向及び上下方向の両方向に変化することが考えられる。例えば図19に示す例では、画像は角度を有しており、3つの筋金物が検出されている。この場合、矢印記号で示すように、物体幅抽出部2133b、細線化部2134及び設置間隔抽出部2135により、筋金物の幅及び設置間隔に相当する画素が測定され、実寸法比較部2136b及び実寸法比較部2136cにより筋金物の長手方向及び短手方向の両方の方向の画素分解能を推定する。そして、画素分解能マップ作成部2137b及び画素分解能マップ作成部2137cが、2次元的に変化する画素分解能マップDを作成する。
【0119】
図20は、図19に示す画像に基づいて作成された画素分解能マップDを説明するための図である。図中右側のスケールは、画像中の画素分解能の値を濃淡によって表している。図20を見ると、画像中の2つの矢印記号が示す方向に沿って、すなわち画像の右上から左下に向かって、画素分解能の値が大きくなっていることがわかる。このように画素分解能マップDにおいて、画素分解能の値が二次元的に角度を有して変化している。
【0120】
本変形例によれば、画像の撮影角度を考慮した画素分解能の推定及び画素分解能マップの作成が可能となり、これに基づいてより精度よく劣化領域の実寸値を推定できる。よって、一定の撮影条件に限定されずに劣化領域の実寸値を評価可能な劣化評価装置及び劣化評価方法を提供することができる。
【符号の説明】
【0121】
1 劣化評価システム
10 撮影装置
20 劣化評価装置
30 サーバ装置
21 制御部
22 記憶部
23 通信部
24 入力部
25 出力部
211 設備領域検出部
212 劣化領域検出部
213 画素分解能推定部
2131 物体数抽出部
2132 物体数判断部
2133a,2133b 物体幅抽出部
2134 物体細線化部
2135 設置間隔抽出部
2136a,2136b,2136c 実寸法比較部
2137a,2137b,2137c 画素分解能マップ作成部
214 劣化大きさ推定部
2141 劣化領域座標取得部
2142 劣化領域長さ推定部
2143 劣化領域面積推定部
215 設備領域修正部
図1
図2
図3
図4A
図4B
図5
図6
図7A
図7B
図8
図9
図10A
図10B
図11A
図11B
図12
図13A
図13B
図14A
図14B
図15A
図15B
図16A
図16B
図17A
図17B
図18
図19
図20