(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-12
(45)【発行日】2024-04-22
(54)【発明の名称】建物構造物診断システム
(51)【国際特許分類】
G01M 99/00 20110101AFI20240415BHJP
G06T 7/13 20170101ALI20240415BHJP
【FI】
G01M99/00 Z
G06T7/13
(21)【出願番号】P 2019174580
(22)【出願日】2019-09-25
【審査請求日】2022-05-31
(73)【特許権者】
【識別番号】505466295
【氏名又は名称】株式会社イクシス
(74)【代理人】
【識別番号】100137589
【氏名又は名称】右田 俊介
(72)【発明者】
【氏名】山崎 文敬
(72)【発明者】
【氏名】狩野 高志
(72)【発明者】
【氏名】山▲崎▼ 一也
【審査官】岡村 典子
(56)【参考文献】
【文献】特開2017-227595(JP,A)
【文献】特開2019-039936(JP,A)
【文献】国際公開第2017/130718(WO,A1)
【文献】特開2019-039897(JP,A)
【文献】特開2019-066266(JP,A)
【文献】特開2017-053819(JP,A)
【文献】特開2016-065809(JP,A)
【文献】特開2019-074496(JP,A)
【文献】特開2003-044832(JP,A)
【文献】特開2000-339462(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01M 99/00
G01V 1/00-99/00
G06T 7/13
(57)【特許請求の範囲】
【請求項1】
建物又は構造物を撮影した画像を取得する取得手段と、
前記取得手段によって取得した画像を表示する表示手段と、
前記表示手段によって表示されている画像を編集する編集手段と、
前記編集手段による編集が行われた編集画像を診断する診断手段と、
を備え、
前記編集手段は、
前記表示手段によって表示されている画像に撮影されている輪郭を抽出する輪郭抽出処理を実行する輪郭抽出手段と、
前記輪郭抽出手段によって抽出された輪郭に基づいて、前記表示手段が表示している画像に撮影されている損傷部を特定する損傷特定手段と、
前記損傷特定手段によって特定された損傷部をマーキングする編集処理を行うマーキング手段と、
を有しており、
前記編集手段は、
前記表示手段が表示している画像に撮影されている輪郭を抽出する第一の輪郭抽出処理と、
前記第一の輪郭抽出処理によって抽出された輪郭のうち、第一面積以上の領域が含まれる領域を損傷部の候補とする第一処理と、
前記第一処理によって特定された損傷部の候補を引き伸ばし、引き伸ばした損傷部の候補と別の損傷部の候補が重複すると、統合して単独の損傷部の候補として特定する第二処理と、
前記第二処理によって特定された損傷部の候補を含む画像に撮影されている輪郭を抽出する第二の輪郭抽出処理と、
前記第二の輪郭抽出処理によって抽出された輪郭のうち、前記第一面積より大きい第二面積以上の領域が含まれる領域を損傷部の候補とする第三処理と、
少なくとも前記第一の輪郭抽出処理、前記第一処理、前記第二処理、前記第二の輪郭抽出処理、前記第三処理を経て特定された損傷部をマーキングする前記編集処理と、
を含む一連の処理を、一つのアイコンに対する操作に応じて自動的に行い、
前記診断手段は、前記編集処理によってマーキングされた損傷部に関する損傷の度合いについて診断を行う、
建物構造物診断システム。
【請求項2】
前記取得手段によって取得した画像の撮影対象である建物又は構造物に関する建物構造図面を記憶している記憶手段と、
前記編集画像を前記記憶手段に記憶されている前記建物構造図面に対応付ける画像図面対応手段と、
を備え、
前記診断手段は、診断した損傷部に関する損傷の度合いと、前記建物構造図面に対応付けられた一又は複数の前記編集画像においてマーキングされている損傷部の数と、に基づいて、当該建物構造図面に係る建物全体又は構造物全体の損傷の度合いを診断する、
請求項1に記載の建物構造物診断システム。
【請求項3】
前記一連の処理は、
他の処理によって損傷部の候補とされた領域に該当するピクセルと、当該ピクセルに隣接するピクセルと、を比較して明度が近似しているか否かを
判定し、明度が近似しているピクセルを前記損傷部の候補とする第四処理を含む、
請求項1又は2に記載の建物構造物診断システム。
【請求項4】
前記一連の処理は、
他の処理によって損傷部の候補とされた領域に含まれるピクセルの明度に基づいて算出した閾
値より低い明度のピクセルを前記損傷部の候補とする第五処理を含む、
請求項1から3のいずれか一項に記載の建物構造物診断システム。
【請求項5】
前記一連の処理は、アスペクト比が所定値未満の領域であるか否かを
判定し、当該領域を損傷部の候補とする第六処理を含む、
請求項1から4のいずれか一項に記載の建物構造物診断システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、建物構造物診断システムに関する。
【背景技術】
【0002】
大規模の災害や昨今のリノベーションブームなどを背景に、建物や構造物の外観及び内装を診断するための診断システムについてニーズが高まっている。
【0003】
例えば、特許文献1には、表示装置に表示している点検対象の設備に係る画像に対して、ひび割れ、剥離、腐蝕の状態などを示す情報(対象設備損傷情報)をユーザの操作に基づいて対応付けるシステムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1には、入力画面に表示されている画像に撮影されているひび割れの位置を入力する際に、そのひび割れの位置をユーザの指でなぞることが記載されている。
しかし、この方法でひび割れの位置を特定すると、ユーザの誤操作によって間違った位置が登録されることが懸念される。また、ひび割れの位置の全部を指でなぞらなくては正確な位置が登録できないため、作業コストの観点からも未だ改善の余地を残していた。
【0006】
本発明は、上記の課題に鑑みなされたものであり、建物や構造物に生じた損傷部(ひび割れ等)に関する診断作業の効率を向上させることができる建物構造物診断システムを提供するものである。
【課題を解決するための手段】
【0007】
本発明によれば、建物又は構造物を撮影した画像を取得する取得手段と、前記取得手段によって取得した画像を表示する表示手段と、前記表示手段によって表示されている画像を編集する編集手段と、前記編集手段による編集が行われた編集画像を診断する診断手段と、を備え、前記編集手段は、前記表示手段によって表示されている画像に撮影されている輪郭を抽出する輪郭抽出処理を実行する輪郭抽出手段と、前記輪郭抽出手段によって抽出された輪郭に基づいて、前記表示手段が表示している画像に撮影されている損傷部を特定する損傷特定手段と、前記損傷特定手段によって特定された損傷部をマーキングする編集処理を行うマーキング手段と、を有しており、前記編集手段は、前記表示手段が表示している画像に撮影されている輪郭を抽出する第一の輪郭抽出処理と、前記第一の輪郭抽出処理によって抽出された輪郭のうち、第一面積以上の領域が含まれる領域を損傷部の候補とする第一処理と、前記第一処理によって特定された損傷部の候補を引き伸ばし、引き伸ばした損傷部の候補と別の損傷部の候補が重複すると、統合して単独の損傷部の候補として特定する第二処理と、前記第二処理によって特定された損傷部の候補を含む画像に撮影されている輪郭を抽出する第二の輪郭抽出処理と、前記第二の輪郭抽出処理によって抽出された輪郭のうち、前記第一面積より大きい第二面積以上の領域が含まれる領域を損傷部の候補とする第三処理と、少なくとも前記第一の輪郭抽出処理、前記第一処理、前記第二処理、前記第二の輪郭抽出処理、前記第三処理を経て特定された損傷部をマーキングする前記編集処理と、を含む一連の処理を、一つのアイコンに対する操作に応じて自動的に行い、前記診断手段は、前記編集処理によってマーキングされた損傷部に関する損傷の度合いについて診断を行う、建物構造物診断システムが提供される。
【0008】
上記の発明によれば、表示手段に表示されている画像に撮影されている損傷部を、編集手段が自動的に特定してマーキングした上で、診断手段がマーキングされた損傷部について損傷の度合いを診断するので、損傷部の位置を特定する作業やマーキングする作業、その損傷部を診断する作業について効率を向上させることができる。
【発明の効果】
【0009】
本発明によれば、建物や構造物に生じた損傷部(ひび割れ等)に関する診断作業の効率を向上させることができる建物構造物診断システムが提供される。
【図面の簡単な説明】
【0010】
【
図1】本発明の実施形態におけるシステム構成図である。
【
図2】通信端末の表示画面の具体例を示す図である。
【
図3】通信端末の表示画面の具体例を示す図である。
【
図4】
図3に図示されるカメラアイコンに関する説明図である。
【
図5】通信端末の表示画面の具体例を示す図である。
【
図6】通信端末の表示画面の具体例を示す図である。
【
図7】損傷部を特定する一連の処理のフローチャートである。
【
図8】損傷部を特定する処理による対象画像の変化を示す模式図である。
【
図9】損傷部を特定する処理による対象画像の変化を示す模式図である。
【
図10】損傷部を特定する処理による対象画像の変化を示す模式図である。
【
図11】本発明に係る編集処理前の画像を示す図である。
【
図12】本発明に係る編集処理後の画像を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について、図面を用いて説明する。なお、すべての図面において、同様の構成要素には同一の符号を付し、適宜に説明を省略する。
【0012】
<本発明のシステム構成について>
先ず、本発明のシステム構成について説明する。
図1は、本発明の実施形態におけるシステム構成図である。
【0013】
本発明に係る建物構造物診断システム100は、通信端末20と、サーバ装置30と、を備える。
なお、通信端末20及びサーバ装置30は、ネットワーク10を介して互いに通信可能に接続している。
【0014】
ネットワーク10は、インターネットやローカルネットワーク(LAN)等のコンピュータネットワークであり、複数のコンピュータ装置(本実施形態では、通信端末20とサーバ装置30)を通信接続する。
【0015】
通信端末20は、通信手段(不図示)を有するコンピュータ装置であり、他にも、画像撮影手段21と、操作入力手段22と、表示手段23と、を備える。
画像撮影手段21は、いわゆるカメラ機能であり、撮影することによって画像を取得する手段である。ただし、画像撮影手段21によって撮影される画像の被写体は、本発明の実施においては、建物や構造物である必要がある。
操作入力手段22は、後述する種々の機能を発揮させる為に、ユーザの操作を受け付ける手段である。
表示手段23は、画像撮影手段21によって撮影された画像を表示したり、操作入力手段22の操作を促す案内やアイコン等を表示したり、する手段である。
【0016】
なお、本実施形態に係る通信端末20は、いわゆるタッチパネル装置であり、操作入力手段22を実現するタッチパッドと、表示手段23を実現する液晶表示装置と、が一体的に構成されているものとして以下説明するが、これらが別々の装置として実現される実施例(例えば、操作入力手段22がポインティングデバイスとして実現され、表示手段23が液晶表示装置として実現されている等)によって本発明が実施されてもよい。
【0017】
サーバ装置30は、通信手段(不図示)を有するコンピュータ装置であり、他にも、記憶手段31と、編集手段32と、診断手段33と、画像図面対応手段34と、を備える。
記憶手段31は、画像撮影手段21によって撮影された画像や、被写体である建物又は構造物に関する図面(以下、建物構造図面と称する場合がある)を記憶している手段である。
編集手段32は、表示手段23に表示されている画像に対して編集処理を行う手段である。編集手段32による編集処理は、操作入力手段22が受け付けたユーザの操作に基づくものについては後述するが、その他の編集処理が含まれてもよい。
診断手段33は、編集手段32によって編集された画像(以下、編集画像と称する場合がある)を診断する手段である。
画像図面対応手段34は、画像撮影手段21によって撮影された画像と、建物構造図面と、を対応付けて、記憶手段31に記憶させる手段である。
【0018】
<通信端末20の表示画面について>
次に、通信端末20(表示手段23)に表示される表示画面の具体例について説明する。
図2、
図3、
図5、及び
図6は、通信端末20の表示画面の具体例を示す図である。
図4は、
図3に図示されるカメラアイコンA1~A5に関する説明図である。
【0019】
図2は、サーバ装置30(記憶手段31)に格納されている建物構造物図面に関する関連情報(外観写真、住所、一つの建物又は構造物あたりの図面数、最終撮影日時)の一覧を表示する通信端末20の表示画面である。
ユーザは、この表示画面に表示されている関連情報の中から、調査対象の建物又は構造物に関するものを選択すると、その建物又は構造物に関する建物構造物図面を通信端末20に表示させることができる。
【0020】
図3は、サーバ装置30(記憶手段31)に格納されている建物構造物図面を表示する通信端末20の表示画面である。
サーバ装置30は、通信端末20からアップロードした画像の撮影位置と撮影方向を示すカメラアイコンを、表示されている建物構造物図面の任意の位置(ユーザの操作に基づいて指定された位置)に対応付けて記憶することができる。
なお、カメラアイコンを建物構造物図面に対応付けるタイミングは、そのカメラアイコンに係る画像をアップロードした以後であればいつでもよい。
【0021】
カメラアイコンは、カメラの形状を模した図形と、その向き(撮影方向)を表す丸型の図形と、の組み合わせからなる。
例えば、カメラアイコンA1は建物構造物図面における左上方向を撮影したことを示しており、カメラアイコンA2は建物構造物図面における下方向を撮影したことを示しており、カメラアイコンA3は建物構造物図面における右下方向を撮影したことを示しており、カメラアイコンA4は建物構造物図面における法線方向(実際の建物では天井方向)を撮影したことを示しており、カメラアイコンA5は建物構造物図面における左上方向を撮影したことを示している。
【0022】
カメラアイコンは、
図3の表示画面上に(建物構造物図面に重畳して)配置した後に、ユーザの操作に基づいて、その向きを変更することができる。
例えば、右上を向いているカメラアイコン(
図4(a)参照)の丸型の図形をクリックした状態で、その丸型の図形を時計回りに移動させると、カメラアイコンが全体的に時計回りに回転し、クリックを解除した時点でその向きが決定される(
図4(b)では右下の向きに決定されている)。
【0023】
図3の表示画面上において、カメラアイコンをダブルクリックすると、そのカメラアイコンに関する画像(そのカメラアイコンが示す撮影位置及び撮影方向で撮影された画像)を表示することができる。
【0024】
図5及び
図6は、カメラアイコンに関する画像とその関連情報を表示する表示である。
図5は、当該表示画面を上側にスライドした場合における通信端末20の表示画面であり、
図6は、当該表示画面を下側にスライドした場合における通信端末20の表示画面である。
【0025】
図5に示す表示画面には、当該表示画面に表示されている画像に対して実行可能な編集処理及び診断処理に関するアイコンが表示されている。
ここで実行可能な編集処理及び診断処理には、以下が含まれてもよい。
(イ)操作入力手段22に対するユーザの操作に基づいて、通信端末20が表示している画像のうち特定の箇所を四角の領域で囲って指定する(この四角の領域を、以下の説明では小領域と称する)。
(ロ)操作入力手段22に対するユーザの操作に基づいて、通信端末20が表示している画像に対して自由線を描く。
(ハ)操作入力手段22に対するユーザの操作に基づいて、通信端末20が表示している画像に対して文字を記入する。
(ニ)対応するアイコンに対する操作に応じて、通信端末20が表示している画像を回転又は反転させる。
(ホ)対応するアイコンに対する操作に応じて、通信端末20が表示している画像の損傷部(例えば、ひび割れ部分)を自動的に特定してマーキングする。
(へ)対応するアイコンに対する操作に応じて、(ホ)でマーキングされた損傷部に関する損傷の度合いを、人工知能によって診断する。
(ト)操作入力手段22に対するユーザの操作に基づいて、通信端末20が表示している画像に対して描いた自由線や文字、マーキングを消去する。
なお、上記の(ホ)の編集処理については、後で詳細に説明する。
【0026】
図6に示す表示画面には、当該表示画面に表示されている画像の撮影に関する情報、並びに、当該画像に対する診断項目が表示されている。
ここで表示される情報や診断項目には、以下が含まれてもよい。
(a)その画像が撮影された日時
(b)撮影対象(被写体)となる建物や構造物の名称
(c)その画像が対応付けられている建物構造物図面の識別情報
(d)その画像に撮影されている損傷部に関する情報(損傷の種類やサイズ等)
(e)その画像に撮影されている損傷部に関する損傷の度合い(上記の(へ)の診断処理の結果の他に、ユーザが手入力で定めたものを含む)
【0027】
上記の(ホ)の処理と(へ)の処理とを実行可能に構成されているので、サーバ装置30(編集手段32)は、表示手段23によって表示されている画像に撮影されている輪郭を抽出する輪郭抽出手段と、輪郭抽出手段によって抽出された輪郭に基づいて、表示手段23が表示している画像に撮影されている損傷部を特定する損傷特定手段と、損傷特定手段によって特定された損傷部をマーキングする編集処理を行うマーキング手段と、を有しているものと言える。そして、サーバ装置30(診断手段33)は、少なくともマーキング手段によってマーキングされた損傷部に関する損傷の度合いについて診断を行うものと言える。
【0028】
なお、上記の診断処理は、一つの画像に撮影されている損傷部に関する損傷の度合いについて診断することのみ言及したが、次のような処理によって撮影対象となる建物全体又は構造物全体の診断についても診断することができる。
すなわち、サーバ装置30(診断手段33)は、診断した損傷部に関する損傷の度合いと、建物構造図面に対応付けられた一又は複数の編集画像においてマーキングされている損傷部の数と、に基づいて、当該建物構造図面に係る建物全体又は構造物全体の損傷の度合いを診断してもよい。
【0029】
<損傷部を特定してマーキングする処理について>
次に、サーバ装置30が損傷部を特定してマーキングする処理(上記の(ホ)の編集処理)について説明する。
図7は、損傷部を特定する一連の処理のフローチャートである。
図8~
図10は、損傷部を特定する処理による対象画像の変化を示す模式図である。
【0030】
サーバ装置30は、対応するアイコンに対する操作を受け付けると(ステップS11のYES)、対象画像に撮影されている輪郭を抽出する(ステップS13)。ただし、対象画像に小領域が設定されている場合には、その小領域内に撮影されている輪郭のみを抽出する。また、対象画像に小領域が設定されていない場合には、その対象画像の範囲内に撮影されている輪郭を抽出する。
更に、サーバ装置30は、ステップS13において抽出された輪郭と、複数とおりのチューニングパラメータと、に基づいて、通信端末20が表示している画像の一部を当該画像に撮影されている損傷部の候補として特定する(以下、この処理を損傷特定処理と称する)(ステップS15)。
サーバ装置30は、所定の回数の損傷特定処理が終了するまで(ステップS17がNOである間)、ステップS13とステップS15を繰り返す。このとき、サーバ装置30は、損傷特定処理ごとに異なるチューニングパラメータを用いて複数回の損傷特定処理を実行し、損傷特定処理のそれぞれにおいて特定された損傷部の候補に基づいて、当該画像に撮影されている損傷部を定める。
そして、サーバ装置30は、所定の回数の損傷特定処理が終了すると(ステップS17のYES)、その時点で特定された損傷部の候補を、対象画像に撮影されている損傷部としてマーキングする(ステップS19)。
【0031】
<損傷部を特定する処理の具体例>
例えば、
図8(a)に示す画像が通信端末20に表示され、当該画像に対してサーバ装置30が
図2に図示する各処理を行って損傷部を特定するケースについて説明する。
ここで本実施形態では、サーバ装置30は、ユーザによる任意操作によって小領域P1を設定したものとする。このとき、設定された小領域P1は、通信端末20に表示された画像に重畳して
図8(b)のように表示される。
【0032】
なお、本実施形態では、設定された小領域が通信端末20に表示されるように説明するが、小領域についてはサーバ装置30が処理可能に設定されれば足り、必ずしもユーザが視認可能に通信端末20に表示されなくてもよい。
また、本実施形態では、小領域を設定する際に、四角の領域で囲うように説明するが、本発明の実施はこれに限られない。言い換えれば、小領域は通信端末20に表示されている画像の一部(画像全体より狭い領域)として指定するものであればよく、小領域の形状は四角であることに限られない。
【0033】
そして、サーバ装置30は、最終的に損傷部を特定するまで、ステップS13の処理(輪郭抽出処理)と、ステップS15の処理(損傷特定処理)と、を繰り返す。
なお、本実施形態では、輪郭抽出処理と損傷特定処理とをそれぞれ4回繰り返すように、以下説明するが、本発明の実施はこれに限られない。
本発明の実施については、損傷特定処理が複数回実行されれば足り、輪郭抽出処理の実行回数は1回でもよい。また、損傷特定処理は2回以上実行されればよく、4回より少ない実行回数であってもよいし、4回より多い実行回数であってもよい。
【0034】
先ず、最初に行われる輪郭抽出処理と損傷特定処理について説明する。
【0035】
サーバ装置30は、手動で小領域を設定した画像から輪郭を抽出し、抽出した輪郭のうち或る面積以上の領域を損傷部の候補として特定する。なお、この処理の閾値として用いられる面積を、以下の説明では第一面積と称する場合がある。
例えば、
図8(b)に例示した画像に対してこの処理を実行した結果を、
図9(a)に図示する。なお、
図9(a)において、
図8(b)に比べて太線で図示されている箇所(撮影物S1、撮影物S2、撮影物S3)が、この処理によって特定された損傷部の候補である。
【0036】
次に、サーバ装置30は、上記の処理によって特定された損傷部の候補に係る領域と、それに隣接するピクセルの明度が似ていれば、隣接するピクセルも損傷部の候補とする。この処理を実行することによって、輪郭抽出処理によって輪郭として抽出できなかったピクセル、又は、輪郭抽出処理によって輪郭のうち第一面積未満のものの中から、新たな損傷部の候補を抽出することができる。
なお、本実施形態では、
図9(a)に例示した画像に対してこの処理を実行した結果として損傷部の候補となるピクセルの変動はなかったものとする。
【0037】
続いて、サーバ装置30は、設定した小領域の明度に基づいて閾値を算出し、当該閾値よりも小さい(明度が暗い)ピクセルを損傷部の候補として残す。ここで、サーバ装置30が算出する閾値は特に制限されないが、例えば、設定した小領域の明度の平均値と当該明度の標準偏差の差分などを閾値として算出することが好ましい。この処理を実行することによって、輪郭抽出処理によって輪郭として抽出され且つ第一面積以上のものであっても、明度が明るいものについては損傷部の候補から除外することができる。
なお、本実施形態では、
図9(a)に例示した画像に対してこの処理を実行した結果として損傷部の候補となるピクセルの変動はなかったものとする。
【0038】
更に、サーバ装置30は、損傷部の候補を長さ方向に引き伸ばし、引き伸ばした部分に別の損傷部の候補があれば一つの損傷部の候補としてまとめる。
例えば、
図9(a)に例示した画像に対してこの処理を実行した結果を、
図9(b)に図示する。具体的には、
図9(b)は、損傷部の候補として特定されている撮影物S1、撮影物S2、及び撮影物S3の撮影領域を長さ方向(各々の撮影物の延在方向)に引き伸ばしている状態を図示するものである。
そして、引き伸ばした撮影物S1、撮影物S2、及び撮影物S3は、互いに延在方向に存在するので、それぞれが統合されて単独の撮影物S4になる。
図10(a)は、統合後の撮影物S4を図示するものである。
この処理を実行することによって、面積や明度をチューニングパラメータとする処理では拾えないピクセル(本実施形態の事例で言えば、撮影物S1、撮影物S2、及び撮影物S3の間に存在する極小の領域)も、損傷部の候補として特定することができる。
また、ひび割れは、構造物の内部に生じるものであるため、表面上は複数に分かれていても、実際には単独のひび割れであるケースが多々ある。このようなケースであっても、実態に即した特定をすることができる。
【0039】
次に、2回目に行われる輪郭抽出処理と損傷特定処理について説明する。
サーバ装置30は、1回目の損傷特定処理を経た画像(
図10(a)に図示する画像)に対して、再び輪郭抽出処理を行い、抽出した輪郭のうち、或る面積以上(但し、上記の第一面積より大きい面積)の領域を抽出して損傷部の候補とする。なお、この処理に用いる面積を、以下の説明では第二面積と称する場合がある。
なお、本実施形態では、
図10(a)に例示した画像における撮影物S4は、第二面積以上であるので、上記の処理を実行した結果として損傷部の候補となるピクセルは、
図10(a)に例示した画像と同じく撮影物S4であったものとする。
【0040】
次に、3回目に行われる輪郭抽出処理と損傷特定処理について説明する。
サーバ装置30は、2回目の損傷特定処理を経た画像(
図10(a)に図示する画像)に対して、再び輪郭抽出処理を行い、抽出した輪郭のうち、或る面積以上(但し、上記の第二面積より大きい面積)、かつアスペクト比が所定値未満の領域を抽出して損傷部の候補とする。ここで所定値は、0を超える値であって1未満であることが好まく、例えば、所定値=0.5とすることができる。また、この処理に用いる面積を、以下の説明では第三面積と称する場合がある。
なお、本実施形態では、
図10(a)に例示した画像における撮影物S4は、第三面積以上であってアスペクト比が所定値(0.5)以下であるので、上記の処理を実行した結果として損傷部の候補となるピクセルは、
図10(a)に例示した画像と同じく撮影物S4であったものとする。
【0041】
次に、4回目に行われる輪郭抽出処理と損傷特定処理について説明する。
サーバ装置30は、3回目の損傷特定処理を経た画像(
図10(a)に図示する画像)に対して、再び輪郭抽出処理を行い、抽出した輪郭のうち、或る面積以上(但し、上記の第三面積より大きい面積)の領域を抽出して損傷部の候補とする。なお、この処理に用いる面積を、以下の説明では第四面積と称する場合がある。
そして、サーバ装置30は、4回目の損傷特定処理において特定された損傷部の候補を、ひび割れであるものとして最終的に判断する。
なお、本実施形態では、
図10(a)に例示した画像における撮影物S4は、第四面積以上であるので、上記の処理を実行した結果として損傷部の候補となるピクセルは、
図10(a)に例示した画像と同じく撮影物S4であったものとする。
【0042】
以上に説明した輪郭抽出処理と損傷特定処理について、整理する。
1回目に行われる損傷特定処理は、1回目の輪郭抽出処理によって抽出された輪郭のうち、第一面積以上の領域が含まれるか否かをチューニングパラメータとし、当該領域を損傷部の候補とするので、本発明における「第一の損傷特定処理」に相当する処理を含むものと言える。
この処理によって、サーバ装置30は、抽出した輪郭のうち第一面積未満のものを排除するので、ひび割れとしては微細なものを、損傷部の候補から除くことができる。
【0043】
2回目の輪郭抽出処理は、1回目の損傷特定処理によって損傷部の候補とされた領域に撮影されている輪郭を抽出している。そして、2回目の損傷特定処理は、1回目の特定処理(第一の損傷特定処理)によって損傷部の候補とされた領域から抽出された輪郭のうち、第二面積以上の領域が含まれるか否かをチューニングパラメータとし、当該領域を損傷部の候補とし、第二面積は、第一面積より大きいので、本発明における「第二の損傷特定処理」に相当する処理を含むものと言える。
この処理によって、サーバ装置30は、抽出した輪郭のうち第一面積未満のものを排除いた後に第二面積未満のものを排除する。換言すれば、サーバ装置30は、段階的に判定に用いる面積を広げて、損傷部の候補を段階的に狭めて、その判定精度(ひび割れと判定する妥当性)の向上を図ることができる。
【0044】
1回目の損傷特定処理における損傷部の候補を引き伸ばす処理は、1回目の損傷特定処理における第一面積をチューニングパラメータとする処理(第一の損傷特定処理)と、2回目の損傷特定処理における第二面積をチューニングパラメータとする処理(第二の損傷特定処理)と、の間に行われる処理である。そして、1回目の損傷特定処理における損傷部の候補を引き伸ばす処理は、他の損傷特定処理によって特定された損傷部の候補を引き伸ばし、引き伸ばした損傷部の候補と別の損傷部の候補が重複すると、統合して単独の損傷部の候補とするので、本発明における「第三の損傷特定処理」に相当する処理であると言える。
この処理によって、複数の損傷部の候補を統合して、それ以降の損傷特定処理に繋げるので、サーバ装置30は、より包括的な判定によって損傷部の候補を特定することができる。
【0045】
1回目の特定処理は、1回目の損傷特定処理における第一面積をチューニングパラメータとする処理(他の損傷特定処理)によって損傷部の候補とされた領域に該当するピクセルと、当該ピクセルに隣接するピクセルと、を比較して明度が近似しているか否かをチューニングパラメータとし、明度が近似しているピクセルを損傷部の候補とするので、本発明における「第四の損傷特定処理」に相当する処理を含むであると言える。
この処理によって、面積のみをチューニングパラメータとする処理に比べて、多面的な判定を実現することができ、サーバ装置30は、特定処理の精度を向上させることができる。
【0046】
1回目の損傷特定処理は、1回目の損傷特定処理における明度比較をチューニングパラメータとする処理(他の損傷特定処理)によって損傷部の候補とされた領域に含まれるピクセルの明度に基づいて算出した閾値をチューニングパラメータとし、算出した閾値より低い明度のピクセルを損傷部の候補とするので、本発明における「第五の損傷特定処理」に相当する処理であると言える。
この処理によって、面積のみをチューニングパラメータとする処理に比べて、多面的な判定を実現することができ、サーバ装置30は、損傷特定処理の精度を向上させることができる。
【0047】
3回目の損傷特定処理(損傷特定手段が実行する損傷特定処理のうち少なくとも一つ)は、アスペクト比が所定値未満の領域であるか否かをチューニングパラメータに含み、当該領域を損傷部の候補とする処理であると言える。
この処理によって、細長い領域であるものをひび割れ候補として残すことができるので、面積のみをチューニングパラメータとする処理に比べて、よりひびの形状として妥当な4ものを損傷部の候補として残すことができ、サーバ装置30は、損傷特定処理の精度を向上させることができる。
【0048】
以上に説明したように、サーバ装置30は、各種処理を組み合わせて実行することによって、画像に撮影されている損傷部を特定してマーキングすることができるので、ユーザが自ら損傷部の位置を特定してマーキングする作業を省くことができる。
特に、
図8(b)と
図10(a)とを対比すれば明らかであるが、通信端末20に表示されている画像の一部を囲うように大まかに小領域を設定すれば、損傷部の全体を特定することができるので、ユーザは小領域の設定について細やかに気をつかわずとも、正確に損傷部を特定することができる。
【0049】
なお、上述の各種処理(特に、輪郭抽出処理及び損傷特定処理)を実現する為に、既知の人工知能処理(機械学習処理)を適用してもよく、本発明の目的に反しない範囲において、その種別は特に制限されない。
また、上述の各種処理の結果として生成される編集画像は教師データとする機械学習によって生成した学習済みモデルを、サーバ装置30による診断処理に適用してもよい。
【0050】
<本発明の実施例について>
以下、実際の画像に対して本発明に係る編集処理(
図7に図示する一連の処理)を実施した事例について説明する。
図11は、本発明に係る編集処理前の画像を示す図である。
図12は、本発明に係る編集処理後の画像を示す図である。
図13は、
図11に示す画像の撮影環境を示す模式図である。
なお、
図13に図示した矢印B1は、
図11に示す画像の撮影方向を示すものである。
【0051】
図11に示す画像は、アスファルト舗装された地面G1と、地面G1より低い位置に存在する地面G2と、の段差に設けられたコンクリート製の縁石C1を撮影した画像である。
縁石C1は、横面C2の一部にひび割れが生じており、撮影方向(矢印B1が示す方向)から視て奥行き方向に侵出しており、その様子が上面C3に生じているひび割れから推定される。
【0052】
図11に示す画像には、輪郭として抽出され得るものとして、横面C2や上面C3に生じているひび割れの他に、縁石C1の上縁部C4や下縁部C5が撮影されており、多数の細かい線分が撮影されている。
図12に示す画像において、
図11に比べて濃い色になっている部分が損傷部として特定された部分である。
図12に示す画像から明らかであるように、本発明に係る編集処理を施せば、損傷部のみが正確に特定され、その他の輪郭として撮影され得る部分は損傷部として特定されない。
従って、本発明は上述した目的を達成したものと言える。
【0053】
<変形例>
以上に説明した本発明の実施形態は、本発明の目的と達成する範囲において、種々の変形が可能である。
【0054】
本発明の実施は、
図1に図示したシステム構成によって実現されるものに限られず、他の構成を採用してもよい。
例えば、通信端末20が備える手段をサーバ装置30が備えてもよいし、サーバ装置30が備える手段を通信端末20が備えてもよい。
また、
図1では、通信端末20及びサーバ装置30がそれぞれ1台ずつであるかのように図示したが、一方又は双方共に複数台の装置によって実現されてもよい。
また、
図1に図示したシステム構成では、通信端末20が有する画像撮影手段21によって診断対象となる画像を取得する実施例としたが、不図示のカメラで撮影した画像を取得してサーバ装置30に格納する構成に代えてもよい。
【0055】
図7に基づいて説明した処理手順は、本発明の実施に係る一具体例であって、本発明の目的を達成する範囲において、処理の順序を入れ替える、一部の処理を省く、又は、上述の実施形態で説明していない処理を追加する、等の変更を加えてもよい。
【0056】
本実施形態は以下の技術思想を包含する。
(1)建物又は構造物を撮影した画像を取得する取得手段と、前記取得手段によって取得した画像を表示する表示手段と、前記表示手段によって表示されている画像を編集する編集手段と、前記編集手段による編集が行われた編集画像を診断する診断手段と、を備え、前記編集手段は、前記表示手段によって表示されている画像に撮影されている輪郭を抽出する輪郭抽出手段と、前記輪郭抽出手段によって抽出された輪郭に基づいて、前記表示手段が表示している画像に撮影されている損傷部を特定する損傷特定手段と、前記損傷特定手段によって特定された損傷部をマーキングする編集処理を行うマーキング手段と、を有しており、前記診断手段は、少なくとも前記マーキング手段によってマーキングされた損傷部に関する損傷の度合いについて診断を行う、建物構造物診断システム。
(2)前記取得手段によって取得した画像の撮影対象である建物又は構造物に関する建物構造図面を記憶している記憶手段と、前記編集画像を前記記憶手段に記憶されている前記建物構造図面に対応付ける画像図面対応手段と、を備え、前記診断手段は、診断した損傷部に関する損傷の度合いと、前記建物構造図面に対応付けられた一又は複数の前記編集画像においてマーキングされている損傷部の数と、に基づいて、当該建物構造図面に係る建物全体又は構造物全体の損傷の度合いを診断する、(1)に記載の建物構造物診断システム。
(3)前記損傷特定手段は、前記輪郭抽出手段によって抽出された輪郭と、複数とおりのチューニングパラメータと、に基づいて、前記表示手段が表示している画像の一部を当該画像に撮影されている損傷部の候補として特定する損傷特定処理を複数回実行し、前記損傷特定処理ごとに異なる前記チューニングパラメータを用いて、前記損傷特定処理のそれぞれにおいて特定された損傷部の候補に基づいて、当該画像に撮影されている損傷部を特定する、(1)又は(2)に記載の建物構造物診断システム。
(4)前記損傷特定手段が実行する第一の前記損傷特定処理は、前記輪郭抽出手段によって抽出された輪郭のうち、第一面積以上の領域が含まれるか否かを前記チューニングパラメータとし、当該領域を損傷部の候補とする、(3)に記載の建物構造物診断システム。
(5)前記輪郭抽出手段は、前記損傷特定処理によって損傷部の候補とされた領域に撮影されている輪郭を抽出し、前記損傷特定手段が実行する第二の前記損傷特定処理は、前記第一の損傷特定処理によって損傷部の候補とされた領域から抽出された輪郭のうち、第二面積以上の領域が含まれるか否かを前記チューニングパラメータとし、当該領域を損傷部の候補とし、前記第二面積は、前記第一面積より大きい、(4)に記載の建物構造物診断システム。
(6)前記損傷特定手段が前記第一の損傷特定処理と前記第二の損傷特定処理の間に行う第三の前記損傷特定処理は、他の前記損傷特定処理によって特定された損傷部の候補を引き伸ばし、引き伸ばした損傷部の候補と別の損傷部の候補が重複すると、統合して単独の損傷部の候補とする、(5)に記載の建物構造物診断システム。
(7)前記損傷特定手段が実行する第四の前記損傷特定処理は、他の前記損傷特定処理によって損傷部の候補とされた領域に該当するピクセルと、当該ピクセルに隣接するピクセルと、を比較して明度が近似しているか否かを前記チューニングパラメータとし、明度が近似しているピクセルを前記損傷部の候補とする、(3)から(6)のいずれか一つに記載の建物構造物診断システム。
(8)前記損傷特定手段が実行する第五の前記損傷特定処理は、他の前記損傷特定処理によって損傷部の候補とされた領域に含まれるピクセルの明度に基づいて算出した閾値を前記チューニングパラメータとし、算出した閾値より低い明度のピクセルを前記損傷部の候補とする、(3)から(7)のいずれか一つに記載の建物構造物診断システム。
(9)前記損傷特定手段が実行する前記損傷特定処理のうち少なくとも一つは、アスペクト比が所定値未満の領域であるか否かを前記チューニングパラメータとし、当該領域を損傷部の候補とする、(3)から(8)のいずれか一つに記載の建物構造物診断システム。
【符号の説明】
【0057】
100 建物構造物診断システム
10 ネットワーク
20 通信端末
21 画像撮影手段
22 操作入力手段
23 表示手段
30 サーバ装置
31 記憶手段
32 編集手段
33 診断手段
34 画像図面対応手段