(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-26
(45)【発行日】2023-08-03
(54)【発明の名称】構造物損傷特定装置、構造物損傷特定方法および構造物損傷特定プログラム
(51)【国際特許分類】
G01N 21/88 20060101AFI20230727BHJP
G06T 7/00 20170101ALI20230727BHJP
G06N 20/00 20190101ALI20230727BHJP
E03F 7/00 20060101ALI20230727BHJP
F17D 5/00 20060101ALI20230727BHJP
【FI】
G01N21/88 Z
G06T7/00 350C
G06T7/00 610B
G06N20/00
E03F7/00
F17D5/00
(21)【出願番号】P 2020055271
(22)【出願日】2020-03-26
【審査請求日】2022-08-26
(73)【特許権者】
【識別番号】000140292
【氏名又は名称】株式会社奥村組
(73)【特許権者】
【識別番号】394026714
【氏名又は名称】株式会社ジャスト
(74)【代理人】
【識別番号】110002170
【氏名又は名称】弁理士法人翔和国際特許事務所
(72)【発明者】
【氏名】岩下 将也
(72)【発明者】
【氏名】山口 治
(72)【発明者】
【氏名】角田 賢明
(72)【発明者】
【氏名】岡田 一哉
(72)【発明者】
【氏名】鎌形 勇樹
【審査官】谷垣 圭二
(56)【参考文献】
【文献】韓国登録特許第10-2008973(KR,B1)
【文献】特表2004-509321(JP,A)
【文献】特開2009-080557(JP,A)
【文献】特表2018-528521(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84 - G01N 21/958
G06T 1/40
G06T 7/00 - G06T 7/194
F17D 5/00
E03F 7/00
G01M 99/00
(57)【特許請求の範囲】
【請求項1】
第1管状構造物の内壁面を撮像した第1内壁面画像を取得する画像取得部と、
前記第1内壁面画像を、前記第1内壁面画像における前記第1管状構造物の天井部分から切り開いて展開して得られる第1天井平面画像、前記第1内壁面画像における前記第1管状構造物の底部部分から切り開いて得られる第1底部平面画像、および、前記第1内壁面画像における前記第1管状構造物の側部部分で切り開いて得られる第1側部平面画像を生成する第1平面画像生成部と、
前記第1平面画像生成部が生成した前記第1天井平面画像、前記第1底部平面画像および前記第1側部平面画像から、前記第1管状構造物の属性に応じた第1平面画像を選択する第1選択部と、
前記第1選択部により選択された前記第1平面画像を用いて、前記第1管状構造物に発生している第1損傷を決定する損傷決定部と、
決定された前記第1損傷を識別可能な識別子を付与して、決定された前記第1損傷とともに複数種類の前記第1平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成部と、
第2管状構造物の内壁面を撮像した第2内壁面画像を受け付ける画像受付部と、
前記第2内壁面画像を、前記第2内壁面画像における前記第2管状構造物の天井部分から切り開いて展開して得られる第2天井平面画像、前記第2内壁面画像における前記第2管状構造物の底部部分から切り開いて展開して得られる第2底部平面画像、および、前記第2管状構造物の側部部分から切り開いて展開して得られる第2側部平面画像を生成する第2平面画像生成部と、
前記第2平面画像生成部が生成した前記第2天井平面画像、前記第2底部平面画像および前記第2側部平面画像から、前記第2管状構造物の属性に応じた第2平面画像を選択する第2選択部と、
前記第2選択部により選択された前記第2平面画像および前記学習済み損傷特定モデルを用いて、前記第2管状構造物に発生している第2損傷を特定する損傷特定部と、
を備えた構造物損傷特定装置。
【請求項2】
前記第1管状構造物の属性および前記第2管状構造物の属性は、前記第1管状構造物および前記第2管状構造物の種類、材質および構築場所の少なくともいずれか1つを含む請求項1に記載の構造物損傷特定装置。
【請求項3】
前記第1管状構造物および前記第2管状構造物は、鉄道用トンネル、道路用トンネル、海底トンネル、共同溝および管渠の少なくともいずれか1つである請求項1または2に記載の構造物損傷特定装置。
【請求項4】
前記第1損傷は、圧ざ、ひび割れ、段差、うき、はく離、はく落、鉄筋露出、漏水、遊離石灰を含む請求項1~3のいずれか1項に記載の構造物損傷特定装置。
【請求項5】
前記損傷決定部は、Faster R-CNNを用いて前記第1管状構造物に発生している前記第1損傷を決定する請求項1~4のいずれか1項に記載の構造物損傷特定装置。
【請求項6】
前記モデル生成部は、水増しデータとして、左右反転を用いて前記学習済み損傷特定モデルを生成する請求項1~5のいずれか1項に記載の構造物損傷特定装置。
【請求項7】
前記モデル生成部は、転移学習を用いて前記学習済み損傷特定モデルを生成する請求項1~6のいずれか1項に記載の構造物損傷特定装置。
【請求項8】
第1管状構造物の内壁面を撮像した第1内壁面画像を取得する画像取得ステップと、
前記第1内壁面画像を、前記第1内壁面画像における前記第1管状構造物の天井部分から切り開いて展開して得られる第1天井平面画像、前記第1内壁面画像における前記第1管状構造物の底部部分から切り開いて得られる第1底部平面画像、および、前記第1内壁面画像における前記第1管状構造物の側部部分で切り開いて得られる第1側部平面画像を生成する第1平面画像生成ステップと、
前記第1平面画像生成ステップにおいて生成した前記第1天井平面画像、前記第1底部平面画像および前記第1側部平面画像から、前記第1管状構造物の属性に応じた第1平面画像を選択する第1選択ステップと、
前記第1選択ステップにおいて選択された前記第1平面画像を用いて、前記第1管状構造物に発生している第1損傷を決定する損傷決定部と、
決定された前記第1損傷を識別可能な識別子を付与して、決定された前記第1損傷とともに複数種類の前記第1平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第2管状構造物の内壁面を撮像した第2内壁面画像を受け付ける画像受付ステップと、
前記第2内壁面画像を、前記第2内壁面画像における前記第2管状構造物の天井部分から切り開いて展開して得られる第2天井平面画像、前記第2内壁面画像における前記第2管状構造物の底部部分から切り開いて展開して得られる第2底部平面画像、および、前記第2管状構造物の側部部分から切り開いて展開して得られる第2側部平面画像を生成する第2平面画像生成ステップと、
前記第2平面画像生成ステップにおいて生成した前記第2天井平面画像、前記第2底部平面画像および前記第2側部平面画像から、前記第2管状構造物の属性に応じた第2平面画像を選択する第2選択ステップと、
前記第2選択ステップにおいて選択された前記第2平面画像および前記学習済み損傷特定モデルを用いて、前記第2管状構造物に発生している第2損傷を特定する損傷特定ステップと、
を含む構造物損傷特定方法。
【請求項9】
第1管状構造物の内壁面を撮像した第1内壁面画像を取得する画像取得ステップと、
前記第1内壁面画像を、前記第1内壁面画像における前記第1管状構造物の天井部分から切り開いて展開して得られる第1天井平面画像、前記第1内壁面画像における前記第1管状構造物の底部部分から切り開いて得られる第1底部平面画像、および、前記第1内壁面画像における前記第1管状構造物の側部部分で切り開いて得られる第1側部平面画像を生成する第1平面画像生成ステップと、
前記第1平面画像生成ステップにおいて生成した前記第1天井平面画像、前記第1底部平面画像および前記第1側部平面画像から、前記第1管状構造物の属性に応じた第1平面画像を選択する第1選択ステップと、
前記第1選択ステップにおいて選択された前記第1平面画像を用いて、前記第1管状構造物に発生している第1損傷を決定する損傷決定部と、
決定された前記第1損傷を識別可能な識別子を付与して、決定された前記第1損傷とともに複数種類の前記第1平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第2管状構造物の内壁面を撮像した第2内壁面画像を受け付ける画像受付ステップと、
前記第2内壁面画像を、前記第2内壁面画像における前記第2管状構造物の天井部分から切り開いて展開して得られる第2天井平面画像、前記第2内壁面画像における前記第2管状構造物の底部部分から切り開いて展開して得られる第2底部平面画像、および、前記第2管状構造物の側部部分から切り開いて展開して得られる第2側部平面画像を生成する第2平面画像生成ステップと、
前記第2平面画像生成ステップにおいて生成した前記第2天井平面画像、前記第2底部平面画像および前記第2側部平面画像から、前記第2管状構造物の属性に応じた第2平面画像を選択する第2選択ステップと、
前記第2選択ステップにおいて選択された前記第2平面画像および前記学習済み損傷特定モデルを用いて、前記第2管状構造物に発生している第2損傷を特定する損傷特定ステップと、
をコンピュータに実行させる構造物損傷特定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、構造物損傷特定装置、構造物損傷特定方法および構造物損傷特定プログラムに関し、特に、コンピュータに組み込まれた画像解析プログラムおよび人工知能による特定結果から構造物の損傷を特定する装置に関する。
【背景技術】
【0002】
インフラ構造物の老朽化は加速度的に進んでおり,維持管理・更新の必要性は,今後さらに増大していくと言われている。労働人口が減り続ける中、維持管理・更新にかかる労務の効率化は喫緊の課題となっている。維持管理・更新にかかる労務の効率化の実現に向け、近年著しく性能が向上しているAIによる画像認識技術を適用する研究事例が増えている。深層学習と呼ばれる高度なニューラルネットワークを用いれば、従来では困難であった人間の直感に近い画像認識が実現でき損傷部位の目視点検の補助や代替が期待できる。
【0003】
一方、管状構造物などインフラ構造物の検査においては、例えば、特許文献1および特許文献2に記載の技術のように、調査対象の流路管内に投入する装置本体に、テレビカメラ等の撮影装置や蛍光灯等の照明装置を搭載し、撮影装置により撮影した管内画像をもとに損傷などの調査を行っていた。
【先行技術文献】
【特許文献】
【0004】
【文献】特開平5-346027号公報
【文献】特開平7-216972号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記文献に記載の技術では、撮影した管状構造物画像を作業員が目で見て調査を行うものであり、見落としや見誤りが発生し易く、精度の高い管状構造物の損傷の特定を行うことができなかった。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明に係る構造物損傷特定装置は、
第1管状構造物の内壁面を撮像した第1内壁面画像を取得する画像取得部と、
前記第1内壁面画像を、前記第1内壁面画像における前記第1管状構造物の天井部分から切り開いて展開して得られる第1天井平面画像、前記第1内壁面画像における前記第1管状構造物の底部部分から切り開いて得られる第1底部平面画像、および、前記第1内壁面画像における前記第1管状構造物の側部部分で切り開いて得られる第1側部平面画像を生成する第1平面画像生成部と、
前記第1平面画像生成部が生成した前記第1天井平面画像、前記第1底部平面画像および前記第1側部平面画像から、前記第1管状構造物の属性に応じた第1平面画像を選択する第1選択部と、
前記第1選択部により選択された前記第1平面画像を用いて、前記第1管状構造物に発生している第1損傷を決定する損傷決定部と、
決定された前記第1損傷を識別可能な識別子を付与して、決定された前記第1損傷とともに複数種類の前記第1平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成部と、
第2管状構造物の内壁面を撮像した第2内壁面画像を受け付ける画像受付部と、
前記第2内壁面画像を、前記第2内壁面画像における前記第2管状構造物の天井部分から切り開いて展開して得られる第2天井平面画像、前記第2内壁面画像における前記第2管状構造物の底部部分から切り開いて展開して得られる第2底部平面画像、および、前記第2管状構造物の側部部分から切り開いて展開して得られる第2側部平面画像を生成する第2平面画像生成部と、
前記第2平面画像生成部が生成した前記第2天井平面画像、前記第2底部平面画像および前記第2側部平面画像から、前記第2管状構造物の属性に応じた第2平面画像を選択する第2選択部と、
前記第2選択部により選択された前記第2平面画像および前記学習済み損傷特定モデルを用いて、前記第2管状構造物に発生している第2損傷を特定する損傷特定部と、
を備えた。
【0007】
上記目的を達成するため、本発明に係る構造物損傷特定方法は、
第1管状構造物の内壁面を撮像した第1内壁面画像を取得する画像取得ステップと、
前記第1内壁面画像を、前記第1内壁面画像における前記第1管状構造物の天井部分から切り開いて展開して得られる第1天井平面画像、前記第1内壁面画像における前記第1管状構造物の底部部分から切り開いて得られる第1底部平面画像、および、前記第1内壁面画像における前記第1管状構造物の側部部分で切り開いて得られる第1側部平面画像を生成する第1平面画像生成ステップと、
前記第1平面画像生成ステップにおいて生成した前記第1天井平面画像、前記第1底部平面画像および前記第1側部平面画像から、前記第1管状構造物の属性に応じた第1平面画像を選択する第1選択ステップと、
前記第1選択ステップにおいて選択された前記第1平面画像を用いて、前記第1管状構造物に発生している第1損傷を決定する損傷決定部と、
決定された前記第1損傷を識別可能な識別子を付与して、決定された前記第1損傷とともに複数種類の前記第1平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第2管状構造物の内壁面を撮像した第2内壁面画像を受け付ける画像受付ステップと、
前記第2内壁面画像を、前記第2内壁面画像における前記第2管状構造物の天井部分から切り開いて展開して得られる第2天井平面画像、前記第2内壁面画像における前記第2管状構造物の底部部分から切り開いて展開して得られる第2底部平面画像、および、前記第2管状構造物の側部部分から切り開いて展開して得られる第2側部平面画像を生成する第2平面画像生成ステップと、
前記第2平面画像生成ステップにおいて生成した前記第2天井平面画像、前記第2底部平面画像および前記第2側部平面画像から、前記第2管状構造物の属性に応じた第2平面画像を選択する第2選択ステップと、
前記第2選択ステップにおいて選択された前記第2平面画像および前記学習済み損傷特定モデルを用いて、前記第2管状構造物に発生している第2損傷を特定する損傷特定ステップと、
を含む。
【0008】
上記目的を達成するため、本発明に係る構造物損傷特定プログラムは、
第1管状構造物の内壁面を撮像した第1内壁面画像を取得する画像取得ステップと、
前記第1内壁面画像を、前記第1内壁面画像における前記第1管状構造物の天井部分から切り開いて展開して得られる第1天井平面画像、前記第1内壁面画像における前記第1管状構造物の底部部分から切り開いて得られる第1底部平面画像、および、前記第1内壁面画像における前記第1管状構造物の側部部分で切り開いて得られる第1側部平面画像を生成する第1平面画像生成ステップと、
前記第1平面画像生成ステップにおいて生成した前記第1天井平面画像、前記第1底部平面画像および前記第1側部平面画像から、前記第1管状構造物の属性に応じた第1平面画像を選択する第1選択ステップと、
前記第1選択ステップにおいて選択された前記第1平面画像を用いて、前記第1管状構造物に発生している第1損傷を決定する損傷決定部と、
決定された前記第1損傷を識別可能な識別子を付与して、決定された前記第1損傷とともに複数種類の前記第1平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第2管状構造物の内壁面を撮像した第2内壁面画像を受け付ける画像受付ステップと、
前記第2内壁面画像を、前記第2内壁面画像における前記第2管状構造物の天井部分から切り開いて展開して得られる第2天井平面画像、前記第2内壁面画像における前記第2管状構造物の底部部分から切り開いて展開して得られる第2底部平面画像、および、前記第2管状構造物の側部部分から切り開いて展開して得られる第2側部平面画像を生成する第2平面画像生成ステップと、
前記第2平面画像生成ステップにおいて生成した前記第2天井平面画像、前記第2底部平面画像および前記第2側部平面画像から、前記第2管状構造物の属性に応じた第2平面画像を選択する第2選択ステップと、
前記第2選択ステップにおいて選択された前記第2平面画像および前記学習済み損傷特定モデルを用いて、前記第2管状構造物に発生している第2損傷を特定する損傷特定ステップと、
をコンピュータに実行させる。
【発明の効果】
【0009】
本発明の管渠損傷特定装置によれば、人工知能による機械学習を用いて管状構造物の損傷の特定を行うので、精度の高い管状構造物の損傷の特定を行うことができる。
【図面の簡単な説明】
【0010】
【
図1A】本発明の第1実施形態に係る構造物損傷特定装置の動作の概略を説明するための図である。
【
図1B】本発明の第1実施形態に係る構造物損傷特定装置により生成される平面画像について説明するための図である。
【
図2】本発明の第1実施形態に係る構造物損傷特定装置の構成を説明するためのブロック図である。
【
図3A】本発明の第1実施形態に係る構造物損傷特定装置が有する属性テーブルの一例について説明するための図である。
【
図3B】本発明の第1実施形態に係る構造物損傷特定装置が有する損傷決定テーブルの一例について説明するための図である。
【
図4A】本発明の第1実施形態に係る構造物損傷特定装置の処理手順を説明するためのフローチャートである。
【
図4B】本発明の第1実施形態に係る構造物損傷特定装置の処理手順を説明するための他のフローチャートである。
【発明を実施するための形態】
【0011】
以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明する。ただし、以下の実施形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。
【0012】
[第1実施形態]
本発明の第1実施形態としての構造物損傷特定装置100について、
図1~
図4Bを用いて説明する。構造物損傷特定装置100は、管状構造物に発生した損傷を特定するために用いられる。
図1Aは、本実施形態に係る構造物損傷特定装置100の動作の概略を説明するための図である。
図1Bは、本実施形態に係る構造物損傷特定装置により生成される平面画像について説明するための図である。
【0013】
ここで、管状構造物は、道路用トンネルや鉄道用トンネル、山岳トンネル、海底トンネル、共同溝、管渠などを含むが、円筒状や半円筒状の構造物の内部にできる空間を利用する目的で構築される構築物であれば、これらには限定されない。ここで、共同溝は、電気、電話、ガス、水道などのライフラインをまとめて道路などの地下に埋設するための設備である。また、管渠とは、水路の総称であり、給水、排水を目的として作られる水路全体を指す。例えば、上水管、下水管、排水管、給水管などが含まれる。
【0014】
本実施形態においては、道路用トンネルや鉄道トンネル、山岳トンネルなどを含むトンネル120を例に説明をする。トンネル120は、断面形状が、馬蹄形の構造物である。馬蹄形のアーチ部分が、トンネル120の内壁に相当し、アーチ部分以外の部分が道路面180に相当する。
【0015】
また、トンネル120の材質としては、コンクリート、陶器、鉄などが含まれる。なお、管渠の材質としては、コンクリート、陶器、鉄などが含まれ、管渠の種類としては、コンクリート管、コンクリートヒューム管、陶管、鉄管などが含まれる。
【0016】
また、損傷には、トンネル120に発生した圧ざ、ひび割れ、段差、うき、はく離、はく落、打継ぎ目の目地切れおよび段差、変形、移動、沈下、鉄筋露出、漏水、土砂流出、遊離石灰、つらら、側氷が含まれる。さらに、損傷には、豆板やコールジョイント部のうき、はく離およびはく落、補修材のうき、はく離、はく落および腐食、補強材のうき、はく離、変形、たわみおよび腐食、鋼材腐食が含まれるが、これらには限定されない。さらにまた、損傷とは、管渠に発生したひび割れやクラック、傷などを含むものであるが、この他にも、管渠に期待される性能が発揮できない状態をも含むものとする。
【0017】
トンネル120内部の壁面の検査においては、例えば、無人航空機140のカメラ141で撮像したトンネル120の内壁面の画像を用いた検査が行われている。作業員は、トンネル120の外部または入り口付近から、タブレット端末130にインストールされた遠隔操作用アプリケーションを用いて、無人航空機140を操作する。なお、遠隔操作用アプリケーションを用いる代わりに、遠隔操作機器(リモートコントローラ)を用いて、無人航空機140を操作してもよい。遠隔操作用アプリケーションは、無人航空機140の航行速度や撮像スケジュール、撮影条件などを制御する。
【0018】
ここで、内壁面画像は、トンネル120の内部の壁面や道路面180などを含む撮像領域を全周カメラまたは広角カメラで撮像した画像である。すなわち、内壁面画像は、トンネル120の進行方向に対して垂直な面で輪切りにされた画像である。輪切りのピッチは、特に限定されないが、トンネル120の内径や、特定したい損傷の大きさに応じたピッチが選択される。
【0019】
無人航空機140の代わりに、カメラを搭載した自走式の検査ロボットやカメラを搭載した自動車や電車、自動二輪車、自転車などを用いてもよい。あるいは、カメラを搭載した台車をユーザが手押ししてもよい。
【0020】
また、無人航空機140は、カメラ141で撮像した画像をタブレット端末130に送信する。画像送信のタイミングは、例えば、所定枚数撮像したタイミング、所定時間経過毎のタイミング、所定容量の画像が蓄積されたタイミングなどである。無人航空機140から画像を送信する際には、所定の形式で圧縮した画像を送信してもよい。なお、無人航空機140からタブレット端末130を経由せずに、構造物損傷特定装置100に直接画像を送信してもよい。
【0021】
なお、内壁面画像110は、人工知能による学習のための画像であり、内壁面画像160は、損傷を特定の検査対象となっているトンネル120の画像である。また、カメラ141は、例えば、トンネル120の内部の壁面や道路面などを含む撮像領域を輪切りにして一度に撮像できる全周カメラであるが、これには限定されない。例えば、カメラ141として広角カメラを用いた場合、内壁面や道路面180を含む撮像領域を複数回に分けて撮像し、後でこれらの画像を繋ぎ合わせて輪切り画像を生成してもよい。なお、カメラ141により撮像される画像は、静止画であっても、動画であってもよい。また、カメラ141は、可視光による撮像機能の他に、赤外線や紫外線、その他の波長域の光線による撮像機能を有するものであってもよい。
【0022】
内壁面画像110、160は、所定のピッチ(間隔)例えば、1mで輪切りにされる。例えば、トンネル120の内装板を1ユニットとした場合、1ユニットごとに撮像した内壁面画像110、160を輪切りにして、輪切り画像143を得てもよい。また、例えば、トンネル120の全長において撮像した内壁面画像110、160を輪切りにすることで、輪切りが画像143を得てもよい。
【0023】
次に、構造物損傷特定装置100による、学習済み損傷特定モデルの生成について説明する。構造物損傷特定装置100は、受信した内壁面画像110(学習用画像)の輪切り画像143を、トンネル120の天井部分、底部部分および側部部分で切り開いて展開して、2次元平面画像を得る。すなわち、構造物損傷特定装置100は、トンネル120の天井部分で内壁面画像110を切開して展開した天井平面画像101、トンネル120の底部部分で内壁面画像110を切開して展開した底部平面画像102を生成する。さらに、構造物損傷特定装置100は、トンネル120の側部部分で内壁面画像110を切開して展開した側部平面画像103を生成する。
【0024】
天井平面画像101においては、トンネル120の底部部分111(道路面180部分に相当)が帯状の天井平面画像101の中央に位置し、天井部分112、113が左右両端に位置している。同様に、底部平面画像102においては、天井部分121が帯状の底部平面画像102の中央に位置し、底部部分122,123が左右両端に位置している。さらに、側部平面画像103においては、例えば、切開位置と線対称な位置に対応する部分131が帯状の内壁面画像110の中央に位置し、切開位置の両端132,133が帯状の内壁面画像110の左右両端に位置している。そして、構造物損傷特定装置100は、天井平面画像101、底部平面画像102および側部平面画像103を用いて、トンネル120に発生した損傷を特定する。そして、構造物損傷特定装置100は、損傷が特定されたこれらの画像(天井平面画像101、底部平面画像102、側部平面画像103)を人工知能に学習させて、学習済み損傷特定モデルを生成する。
【0025】
次に、構造物損傷特定装置100による、損傷の特定について説明する。構造物損傷特定装置100は、損傷を特定したいトンネル120の内壁面画像160について、内壁面画像110と同様に、天井平面画像161、底部平面画像162および側部平面画像163を生成する。そして、構造物損傷特定装置100は、学習済み損傷特定モデルを用いて、トンネル120に発生している損傷を特定する。
【0026】
特定された損傷は、例えば、作業員が所持するタブレット端末130などの携帯端末に出力される。作業員は、タブレット端末130のディスプレイに表示された特定結果を参照して、トンネル120に発生している損傷を認識する。なお、構造物損傷特定装置100は、特定した損傷の種類や程度に応じて、アラートを出力してもよい。例えば、進行している損傷や、早急な補修工事が必要な損傷である場合には、構造物損傷特定装置100は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。
【0027】
図2は、本実施形態に係る構造物損傷特定装置100の構成を説明するためのブロック図である。構造物損傷特定装置100は、画像取得部201、平面画像生成部202、選択部203、損傷決定部204、モデル生成部205、画像受付部206、平面画像生成部207、選択部208、損傷特定部209および出力部210を有する。
【0028】
ここで、構造物損傷特定装置100は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、ネットワークインターフェース、およびストレージを有する。ここで、CPUは、演算制御用のプロセッサであり、プログラムを実行することで
図2に示した構造物損傷特定装置100の各機能構成を実現する。CPUは、複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ROMは、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインターフェースは、ネットワークを介して他の装置などと通信する。なお、CPUは、1つに限定されず、複数のCPUであっても、あるいは画像処理用のGPU(Graphics Processing Unit)を含んでもよい。また、ネットワークインターフェースは、CPUとは独立した他のCPUを有して、RAMの領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、RAMとストレージとの間でデータを転送するDMAC(Direct Memory Access Controller)を設けるのが望ましい。さらに、CPUは、RAMにデータが受信あるいは転送されたことを認識してデータを処理する。また、CPUは、処理結果をRAMに準備し、後の送信あるいは転送はネットワークインターフェースやDMACに任せる。
【0029】
RAMは、CPUが一時記憶のワークエリアとして使用するメモリである。RAMには、本実施形態の実現に必要なデータを記憶する領域が確保されている。ストレージには、データベースや各種のパラメータ、モジュール、あるいは本実施形態の実現に必要なデータまたはプログラムが記憶されている。例えば、ストレージには、構造物損傷特定装置100の全体を制御するための制御プログラムが記憶されている。
【0030】
さらに、構造物損傷特定装置100は、入出力インターフェースをさらに備えてもよい。入出力インターフェースには、表示部、操作部、記憶媒体が接続される。入出力インターフェースには、さらに、音声出力部であるスピーカや、音声入力部であるマイク、あるいはGPS(Global Positioning System)位置判定部が接続されてもよい。なお、RAMやストレージには、構造物損傷特定装置100が有する汎用の機能や他の実現可能な機能に関するプログラムやデータが記憶されていてもよい。
【0031】
画像取得部201は、トンネル120の内壁面を撮像した内壁面画像110を取得する。画像取得部201は、作業員が所持するタブレット端末130から内壁面画像110を取得してもよいし、無人航空機140から内壁面画像110を直接取得してもよい。なお、内壁面画像110は、後の人工知能による学習に用いられる画像である。
【0032】
平面画像生成部202は、内壁面画像110を、内壁面画像110における任意の位置で切り開いて展開して得られる複数の平面画像を生成する。平面画像生成部202は、内壁面画像110を、内壁面画像110におけるトンネル120の天井部分から切り開いて展開して得られる天井平面画像101を生成する。同様に、平面画像生成部202は、内壁面画像110を、内壁面画像110におけるトンネル120の底部部分から切り開いて展開して得られる底部平面画像102を生成する。さらに、平面画像生成部202は、内壁面画像110を、内壁面画像110におけるトンネル120の側部部分から切り開いて展開して得られる側部平面画像103を生成する。なお、側部平面画像103は、1つには限られない。このように、平面画像生成部202は、3種類の平面画像として、天井平面画像101、底部平面画像102および側部平面画像103を生成する。
【0033】
すなわち、平面画像生成部202は、まず、画像取得部201が取得した内壁面画像110から輪切り画像143を生成する。そして、平面画像生成部202は、輪切り画像143から、天井平面画像101、底部平面画像102および側部平面画像103を生成する。なお、輪切り画像143は、予め無人航空機140において生成しておき、画像取得部201は、無人航空機140により生成された輪切り画像143を取得してもよい。
【0034】
選択部203は、平面画像生成部202が生成した天井平面画像101、底部平面画像102および側部平面画像103から、管状構造物の属性、すなわち、トンネル120に応じた平面画像を選択する。ここで、管状構造物の属性は、例えば、管状構造物の種類、材質、用途などである。本実施形態においては、管状構造物の種類は、トンネル120であり、選択部203は、トンネル120の損傷を特定するのに適した平面画像を選択する。
【0035】
トンネル120においては、損傷の発生する箇所は、馬蹄形のアーチ部分であることが多い。道路面180については、トンネル120の内壁面とは異なる損傷が発生するため、本実施形態においては、道路面180に発生している損傷は特定の対象外となる。そして、トンネル120においては、アーチ部分に損傷が発生し易いため、トンネル120の側部、例えば、アーチ部分と道路面180との左右両側の境目部分で切り開かれた側部平面画像103を選択する。このような側部平面画像103を選択すれば、アーチ部分に発生している損傷が、内壁面画像110を切り開くことにより切断されていない平面画像を用いて人工知能に学習させられるからであり、学習の精度を高められるからである。選択部203は、例えば、管状構造物が、下水管であれば、天井平面画像101および底部平面画像102を選択する。
【0036】
選択部203による平面画像の選択の方法は、例えば、
図3Aに示す属性テーブル301を参照して選択する方法がある。
図3Aは、本実施形態に係る構造物損傷特定装置100が有する属性テーブル301の一例について説明するための図である。属性テーブル301は、属性311に関連付けて平面画像312を記憶する。属性311は、管状構造物の属性であり、管状構造物の種類や材質、用途を含む。種類は、管状構造物の種類であり、トンネル、共同溝、管渠を含む。材質は、管状構造物の材質であり、コンクリート、鉄などを含む。用途は、管状構造物の使用目的であり、鉄道用、山岳用、海底用、ケーブル用、下水用などを含む。平面画像312は、平面画像生成部202により生成される平面画像であり、天井平面画像、底部平面画像および側部平面画像を含む。そして、選択部203は、管状構造物の属性、本実施形態においては、例えば、コンクリート製のトンネル120に応じた平面画像として、側部平面画像を選択する。
【0037】
損傷決定部204は、選択部203により選択された平面画像を用いて、トンネル120に発生している損傷を決定する。本実施形態においては、損傷決定部204は、選択部203により選択された側部平面画像103を用いて、トンネル120に発生している損傷を特定する。損傷決定部204は、具体的には、2つの側部平面画像103を並列に並べた状態の画像を用いて、損傷を決定する。損傷の種類は、例えば、圧ざ、ひび割れ、はく離、はく落、目地切れ、段差、変形、移動、鉄筋露出、浸入水などを含むが、これらには限定されない。損傷決定部204による損傷の決定方法は、例えば、
図3Bに示す損傷決定テーブル302を参照して決定する方法がある。
図3Bは、本実施形態に係る構造物損傷特定装置が有する損傷決定テーブルの一例について説明するための図である。
【0038】
損傷決定テーブル302は、損傷の種類321に関連付けて管状構造物322を記憶する。損傷の種類321は、圧ざ、ひび割れ、はく離・はく落、目地切れ・段差、変形・移動、鉄筋露出、浸入水を含む。なお、損傷の種類321は、これらには限定されず、例えば、沈下、土砂流出、遊離石灰、つらら、側氷、豆板やコールドジョイント部のうき、はく離、はく落、補修材のうき、はく離、はく落、腐食、補強材のうき、はく離、変形、たわみ、腐食、鋼材腐食、などを含む。管状構造物322は、道路トンネル、鉄道トンネル、山岳トンネル、共同溝、管渠を含むが、これらには限定されず、例えば、海底トンネルなどを含む。
【0039】
なお、損傷決定部204は、物体検知(Object Detection)を用いて、損傷の発生している領域を検出し、損傷を決定する。物体検知のアルゴリズムとして、本実施形態においては、Faster R-CNN(Faster Region with Convolutional Neural Network)を用いた。
【0040】
モデル生成部205は、決定された損傷を識別可能な識別子(ID:Identifier)を付与する。モデル生成部205は、識別子として、例えば、損傷の範囲(大きさ)、その損傷の名称、損傷の属性(古い、新しい、色)などを側部平面画像103に付与する。なお、モデル生成部205は、選択部203により、天井平面画像101、底部平面画像102が選択されていれば、これらの平面画像に識別子を付与する。なお、この識別子は、選択された側部平面画像103に直接付与しても、所定のデータベース等に記憶しておき、適宜読み出すようにしてもよい。
【0041】
そして、モデル生成部205は、付与した識別子、決定された損傷とともに側部平面画像103を人工知能(AI:Artificial Intelligence)に入力して、機械学習させる。人工知能による機械学習が終了すると、モデル生成部205は、学習済み損傷特定モデルを生成する。なお、モデル生成部205は、生成した学習済み損傷特定モデルを所定のストレージ等に保存しておいてもよい。この場合、新たな学習用画像(例えば、天井平面画像101、底部平面画像102および側部平面画像103)を取得して、機械学習を行い、学習済み損傷特定モデルを生成するたびに、保存された学習済み損傷特定モデルを更新するようにしてもよい。
【0042】
また、人工知能による機械学習は、既知のアルゴリズムを用いて行われる。機械学習においては、損失関数は、重み指定を行い、事象数の逆数を採用した。また、モデル生成部205は、人工知能による機械学習の清吾を向上させて、より精度の高い損傷特定モデルを生成するために、人工知能に学習させる内壁面画像110の数を水増しする。モデル生成部205は、例えば、左右反転を用いて水増しデータを得る。さらに、モデル生成部205は、人工知能による機械学習の清吾を向上させるために、転移学習を用いてもよい。ここで、点に学習とは、ことなるデータセットを用いた学習済みモデルを、別の問題に転用し、部分的な学習をすることで、モデルの性能向上を狙う手法である。特に、教師データが十分でない場合に、推論性能の向上と学習時間の低減が期待できる手法でもある。
【0043】
なお、生成された学習済み損傷特定モデルの評価には、再現率(Recall)および適合率(Precision)を用いた。再現率は、再現率=TP/(TP+FN)で表され、結果として出てくるべきもののうち、実際に出てきたものの割合を示す。すなわち、取り漏らしがないかに関する指標である(網羅性に関する指標)。適合率は、適合率=TP/(TP+FP)で表され、正しかったものの割合を示す。出てきたすべての結果の中に、どれだけ正解が含まれているかの割合を示す指標である(正確性に関する指標)なお、TP=真陽性(True Positive)、FP=偽陽性(False Positive)、FN=偽陰性(False Negative)である。
【0044】
画像受付部206は、トンネル170の内壁面を撮像した内壁面画像160を受け付ける。つまり、画像受付部206は、無人航空機140により撮像された内壁面画像160をタブレット端末130から受信し、受け付ける。内壁面画像160は、検査対象となるトンネル170の内壁面の画像であり、発生している損傷を特定したいトンネルである。
【0045】
平面画像生成部207は、平面画像生成部202と同様に、平面画像を生成する。すなわち、平面画像生成部207は、内壁面画像160を、内壁面画像160におけるトンネル170の天井部分から切り開いて展開して得られる天井平面画像161を生成する。同様に、平面画像生成部207は、内壁面画像160におけるトンネル170の底部部分から切り開いて展開して得られる底部平面画像162を生成する。さらに、平面画像生成部207は、内壁面画像160におけるトンネル170の側部部分から切り開いて展開して得られる側部平面画像163を生成する。側部平面画像163は、1つには限られない。このように、平面画像生成部207は、3種類の平面画像として、天井平面画像161、底部平面画像162および側部平面画像163を生成する。
【0046】
つまり、平面画像生成部207は、まず、画像受付部206が受け付けた内壁面画像160から輪切り画像を生成する。そして、平面画像生成部207は、輪切り画像から天井平面画像161、底部平面画像162および側部平面画像163を生成する。なお、輪切り画像は、予め無人航空機140において生成しておき、画像受付部206は、無人航空機140により生成された輪切り画像を取得してもよい。
【0047】
選択部208は、平面画像生成部207が生成した天井平面画像161、底部平面画像162および側部平面画像163から、管状構造物の属性、すなわち、トンネル170に応じた平面画像を選択する。つまり、選択部208は、トンネル170の損傷を決定するのに適した平面画像として、例えば、側部平面画像163を選択する。
【0048】
損傷特定部209は、選択部208により選択された側部平面画像163および学習済み損傷特定モデルを用いて、トンネル170に発生している損傷を特定する。損傷特定部209による損傷の特定方法は、例えば、
図3Bに示す損傷決定テーブル302を参照して特定する方法がある。なお、損傷特定部209は、2つの側部平面画像163が並列に並べられた状態の画像および学習済み損傷特定モデルを用いて、トンネル170に発生している損傷を特定する。
【0049】
出力部210は、特定された損傷をタブレット端末130などの携帯端末へ出力する。また、作業員は、タブレット端末130のディスプレイに表示された特定結果を参照することにより、トンネル120に発生している損傷を認識できる。出力部210は、損傷の種類や進行度合いに応じたアラートを出力してもよい。出力部210は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。
【0050】
図4Aは、本実施形態に係る構造物損傷特定装置の処理手順を説明するためのフローチャートである。
図4Bは、本実施形態に係る構造物損傷特定装置の処理手順を説明するための他のフローチャートである。
図4Aおよび
図4Bに示したフローチャートは、構造物損傷特定装置100の不図示のCPU(Central Processing Unit)が、ROM(Read Only Memory)、RAM(Random Access Memory)を用いて実行し、
図2に示した構造物損傷特定装置100の各機能構成を実現する。
【0051】
まず、
図4Aを参照して説明する。ステップS401において、画像取得部201は、トンネル120の内壁面を撮像したな壁面画像を取得する。ステップS403において、平面画像生成部202は、内壁面画像110から輪切り画像143を生成する。そして、平面画像生成部202は、輪切り画像143から、天井平面画像101、底部平面画像102および側部平面画像103を生成する。ステップS405において、選択部203は、管状構造物の属性に応じた平面画像を選択する。選択部203は、トンネル120に応じた平面画像として側部平面画像103を選択する。
【0052】
ステップS407において、損傷決定部204は、ステップS405において選択された側部平面画像103を用いてトンネル120に発生している損傷を決定する。ステップS409において、モデル生成部205は、ステップS409において決定された損傷を識別可能な識別子を付与して、決定された損傷とともに側部平面画像103を人工知能に学習させて、学習済み損傷特定モデルを生成する。ここでは、例えば、2つの側部平面画像103を並列に並べた画像を用いて人工知能に学習させる。すなわち、輪切り画像143を2つの異なる側部位置で切断して展開した2つの側部平面画像103を並列に並べた画像を人工知能に学習させる。ステップS411において、構造物損傷特定装置100は、人工知能による機械学習が終了したか否かを判断する。機械学習が終了していないと判断した場合(ステップS411のNO)、構造物損傷特定装置100は、ステップS403へ戻る。機械学習が終了したと判断した場合(ステップS411のYES)、構造物損傷特定装置100は、処理を終了する。
【0053】
次に、
図4Bを参照して説明する。ステップS421において、画像受付部206は、トンネル170の内壁面を撮像した内壁面画像160を受け付ける。ステップS423において、平面画像生成部207は、ステップS403と同様に、平面画像を生成する。すなわち、平面画像生成部207は、内壁面画像160を、内壁面画像160におけるトンネル170の天井部分、底部部分および側部部分から切り開いて展開して得られる天井平面画像161、底部平面画像162および側部平面画像163を生成する。本実施形態においては、平面画像生成部207は、側部平面画像163を生成する。ステップS425において、選択部208は、ステップS423において生成された平面画像から、トンネル170に応じた平面画像、すなわち、側部平面画像163を選択する。ステップS427において、損傷特定部209は、ステップS425において選択された平面画像、すなわち、側部平面画像163およびステップS409において生成された、学習済み損傷特定モデルを用いて、トンネル170に発生している損傷を特定する。ステップS429において、構造物損傷特定装置100は、損傷の特定が終了したか否かを判断する。特定が終了していないと判断した場合(ステップS429のNO)、構造物損傷特定装置100は、ステップS423へ戻る。特定が終了したと判断した場合(ステップS429のYES)、構造物損傷特定装置100は、ステップS431へ進む。ステップS431において、出力部210は、特定した損傷をタブレット端末130等の携帯端末へ出力する。
【0054】
本実施形態によれば、管状構造物の属性に応じた平面画像を選択して人工知能に学習させるので、損傷を特定するための学習済みモデルとして精度の高いモデルを生成することができる。また、精度の高い学習済み損傷特定モデルを用いて、管状構造物に発生している損傷を特定するので、損傷の特定精度を向上させることができる。
【0055】
[他の実施形態]
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【0056】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の範疇に含まれる。