特許 7320472 構造物損傷特定装置、構造物損傷特定方法および構造物損傷特定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-26

(45)【発行日】2023-08-03

(54)【発明の名称】構造物損傷特定装置、構造物損傷特定方法および構造物損傷特定プログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20230727BHJP

   G06T 7/00 20170101ALI20230727BHJP

   G06N 20/00 20190101ALI20230727BHJP

   E03F 7/00 20060101ALI20230727BHJP

   F17D 5/00 20060101ALI20230727BHJP

【ＦＩ】

G01N21/88 Z

G06T7/00 350C

G06T7/00 610B

G06N20/00

E03F7/00

F17D5/00

【請求項の数】 9

(21)【出願番号】P 2020055271

(22)【出願日】2020-03-26

(65)【公開番号】P2021156656

(43)【公開日】2021-10-07

【審査請求日】2022-08-26

(73)【特許権者】

【識別番号】000140292

【氏名又は名称】株式会社奥村組

(73)【特許権者】

【識別番号】394026714

【氏名又は名称】株式会社ジャスト

(74)【代理人】

【識別番号】110002170

【氏名又は名称】弁理士法人翔和国際特許事務所

(72)【発明者】

【氏名】岩下 将也

(72)【発明者】

【氏名】山口 治

(72)【発明者】

【氏名】角田 賢明

(72)【発明者】

【氏名】岡田 一哉

(72)【発明者】

【氏名】鎌形 勇樹

【審査官】谷垣 圭二

(56)【参考文献】

【文献】韓国登録特許第１０－２００８９７３（ＫＲ，Ｂ１）

【文献】特表２００４－５０９３２１（ＪＰ，Ａ）

【文献】特開２００９－０８０５５７（ＪＰ，Ａ）

【文献】特表２０１８－５２８５２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ７／００ － Ｇ０６Ｔ ７／１９４

Ｆ１７Ｄ ５／００

Ｅ０３Ｆ ７／００

Ｇ０１Ｍ ９９／００

(57)【特許請求の範囲】

【請求項1】

第１管状構造物の内壁面を撮像した第１内壁面画像を取得する画像取得部と、
前記第１内壁面画像を、前記第１内壁面画像における前記第１管状構造物の天井部分から切り開いて展開して得られる第１天井平面画像、前記第１内壁面画像における前記第１管状構造物の底部部分から切り開いて得られる第１底部平面画像、および、前記第１内壁面画像における前記第１管状構造物の側部部分で切り開いて得られる第１側部平面画像を生成する第１平面画像生成部と、
前記第１平面画像生成部が生成した前記第１天井平面画像、前記第１底部平面画像および前記第１側部平面画像から、前記第１管状構造物の属性に応じた第１平面画像を選択する第１選択部と、
前記第１選択部により選択された前記第１平面画像を用いて、前記第１管状構造物に発生している第１損傷を決定する損傷決定部と、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに複数種類の前記第１平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成部と、
第２管状構造物の内壁面を撮像した第２内壁面画像を受け付ける画像受付部と、
前記第２内壁面画像を、前記第２内壁面画像における前記第２管状構造物の天井部分から切り開いて展開して得られる第２天井平面画像、前記第２内壁面画像における前記第２管状構造物の底部部分から切り開いて展開して得られる第２底部平面画像、および、前記第２管状構造物の側部部分から切り開いて展開して得られる第２側部平面画像を生成する第２平面画像生成部と、
前記第２平面画像生成部が生成した前記第２天井平面画像、前記第２底部平面画像および前記第２側部平面画像から、前記第２管状構造物の属性に応じた第２平面画像を選択する第２選択部と、
前記第２選択部により選択された前記第２平面画像および前記学習済み損傷特定モデルを用いて、前記第２管状構造物に発生している第２損傷を特定する損傷特定部と、
を備えた構造物損傷特定装置。

【請求項2】

前記第１管状構造物の属性および前記第２管状構造物の属性は、前記第１管状構造物および前記第２管状構造物の種類、材質および構築場所の少なくともいずれか１つを含む請求項１に記載の構造物損傷特定装置。

【請求項3】

前記第１管状構造物および前記第２管状構造物は、鉄道用トンネル、道路用トンネル、海底トンネル、共同溝および管渠の少なくともいずれか１つである請求項１または２に記載の構造物損傷特定装置。

【請求項4】

前記第１損傷は、圧ざ、ひび割れ、段差、うき、はく離、はく落、鉄筋露出、漏水、遊離石灰を含む請求項１～３のいずれか１項に記載の構造物損傷特定装置。

【請求項5】

前記損傷決定部は、Faster R-CNNを用いて前記第１管状構造物に発生している前記第１損傷を決定する請求項１～４のいずれか１項に記載の構造物損傷特定装置。

【請求項6】

前記モデル生成部は、水増しデータとして、左右反転を用いて前記学習済み損傷特定モデルを生成する請求項１～５のいずれか１項に記載の構造物損傷特定装置。

【請求項7】

前記モデル生成部は、転移学習を用いて前記学習済み損傷特定モデルを生成する請求項１～６のいずれか１項に記載の構造物損傷特定装置。

【請求項8】

第１管状構造物の内壁面を撮像した第１内壁面画像を取得する画像取得ステップと、
前記第１内壁面画像を、前記第１内壁面画像における前記第１管状構造物の天井部分から切り開いて展開して得られる第１天井平面画像、前記第１内壁面画像における前記第１管状構造物の底部部分から切り開いて得られる第１底部平面画像、および、前記第１内壁面画像における前記第１管状構造物の側部部分で切り開いて得られる第１側部平面画像を生成する第１平面画像生成ステップと、
前記第１平面画像生成ステップにおいて生成した前記第１天井平面画像、前記第１底部平面画像および前記第１側部平面画像から、前記第１管状構造物の属性に応じた第１平面画像を選択する第１選択ステップと、
前記第１選択ステップにおいて選択された前記第１平面画像を用いて、前記第１管状構造物に発生している第１損傷を決定する損傷決定部と、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに複数種類の前記第１平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２管状構造物の内壁面を撮像した第２内壁面画像を受け付ける画像受付ステップと、
前記第２内壁面画像を、前記第２内壁面画像における前記第２管状構造物の天井部分から切り開いて展開して得られる第２天井平面画像、前記第２内壁面画像における前記第２管状構造物の底部部分から切り開いて展開して得られる第２底部平面画像、および、前記第２管状構造物の側部部分から切り開いて展開して得られる第２側部平面画像を生成する第２平面画像生成ステップと、
前記第２平面画像生成ステップにおいて生成した前記第２天井平面画像、前記第２底部平面画像および前記第２側部平面画像から、前記第２管状構造物の属性に応じた第２平面画像を選択する第２選択ステップと、
前記第２選択ステップにおいて選択された前記第２平面画像および前記学習済み損傷特定モデルを用いて、前記第２管状構造物に発生している第２損傷を特定する損傷特定ステップと、
を含む構造物損傷特定方法。

【請求項9】

第１管状構造物の内壁面を撮像した第１内壁面画像を取得する画像取得ステップと、
前記第１内壁面画像を、前記第１内壁面画像における前記第１管状構造物の天井部分から切り開いて展開して得られる第１天井平面画像、前記第１内壁面画像における前記第１管状構造物の底部部分から切り開いて得られる第１底部平面画像、および、前記第１内壁面画像における前記第１管状構造物の側部部分で切り開いて得られる第１側部平面画像を生成する第１平面画像生成ステップと、
前記第１平面画像生成ステップにおいて生成した前記第１天井平面画像、前記第１底部平面画像および前記第１側部平面画像から、前記第１管状構造物の属性に応じた第１平面画像を選択する第１選択ステップと、
前記第１選択ステップにおいて選択された前記第１平面画像を用いて、前記第１管状構造物に発生している第１損傷を決定する損傷決定部と、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに複数種類の前記第１平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２管状構造物の内壁面を撮像した第２内壁面画像を受け付ける画像受付ステップと、
前記第２内壁面画像を、前記第２内壁面画像における前記第２管状構造物の天井部分から切り開いて展開して得られる第２天井平面画像、前記第２内壁面画像における前記第２管状構造物の底部部分から切り開いて展開して得られる第２底部平面画像、および、前記第２管状構造物の側部部分から切り開いて展開して得られる第２側部平面画像を生成する第２平面画像生成ステップと、
前記第２平面画像生成ステップにおいて生成した前記第２天井平面画像、前記第２底部平面画像および前記第２側部平面画像から、前記第２管状構造物の属性に応じた第２平面画像を選択する第２選択ステップと、
前記第２選択ステップにおいて選択された前記第２平面画像および前記学習済み損傷特定モデルを用いて、前記第２管状構造物に発生している第２損傷を特定する損傷特定ステップと、
をコンピュータに実行させる構造物損傷特定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、構造物損傷特定装置、構造物損傷特定方法および構造物損傷特定プログラムに関し、特に、コンピュータに組み込まれた画像解析プログラムおよび人工知能による特定結果から構造物の損傷を特定する装置に関する。

【背景技術】

【0002】

インフラ構造物の老朽化は加速度的に進んでおり，維持管理・更新の必要性は，今後さらに増大していくと言われている。労働人口が減り続ける中、維持管理・更新にかかる労務の効率化は喫緊の課題となっている。維持管理・更新にかかる労務の効率化の実現に向け、近年著しく性能が向上しているＡＩによる画像認識技術を適用する研究事例が増えている。深層学習と呼ばれる高度なニューラルネットワークを用いれば、従来では困難であった人間の直感に近い画像認識が実現でき損傷部位の目視点検の補助や代替が期待できる。

【0003】

一方、管状構造物などインフラ構造物の検査においては、例えば、特許文献１および特許文献２に記載の技術のように、調査対象の流路管内に投入する装置本体に、テレビカメラ等の撮影装置や蛍光灯等の照明装置を搭載し、撮影装置により撮影した管内画像をもとに損傷などの調査を行っていた。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平５－３４６０２７号公報

【文献】特開平７－２１６９７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記文献に記載の技術では、撮影した管状構造物画像を作業員が目で見て調査を行うものであり、見落としや見誤りが発生し易く、精度の高い管状構造物の損傷の特定を行うことができなかった。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る構造物損傷特定装置は、
第１管状構造物の内壁面を撮像した第１内壁面画像を取得する画像取得部と、
前記第１内壁面画像を、前記第１内壁面画像における前記第１管状構造物の天井部分から切り開いて展開して得られる第１天井平面画像、前記第１内壁面画像における前記第１管状構造物の底部部分から切り開いて得られる第１底部平面画像、および、前記第１内壁面画像における前記第１管状構造物の側部部分で切り開いて得られる第１側部平面画像を生成する第１平面画像生成部と、
前記第１平面画像生成部が生成した前記第１天井平面画像、前記第１底部平面画像および前記第１側部平面画像から、前記第１管状構造物の属性に応じた第１平面画像を選択する第１選択部と、
前記第１選択部により選択された前記第１平面画像を用いて、前記第１管状構造物に発生している第１損傷を決定する損傷決定部と、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに複数種類の前記第１平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成部と、
第２管状構造物の内壁面を撮像した第２内壁面画像を受け付ける画像受付部と、
前記第２内壁面画像を、前記第２内壁面画像における前記第２管状構造物の天井部分から切り開いて展開して得られる第２天井平面画像、前記第２内壁面画像における前記第２管状構造物の底部部分から切り開いて展開して得られる第２底部平面画像、および、前記第２管状構造物の側部部分から切り開いて展開して得られる第２側部平面画像を生成する第２平面画像生成部と、
前記第２平面画像生成部が生成した前記第２天井平面画像、前記第２底部平面画像および前記第２側部平面画像から、前記第２管状構造物の属性に応じた第２平面画像を選択する第２選択部と、
前記第２選択部により選択された前記第２平面画像および前記学習済み損傷特定モデルを用いて、前記第２管状構造物に発生している第２損傷を特定する損傷特定部と、
を備えた。

【0007】

上記目的を達成するため、本発明に係る構造物損傷特定方法は、
第１管状構造物の内壁面を撮像した第１内壁面画像を取得する画像取得ステップと、
前記第１内壁面画像を、前記第１内壁面画像における前記第１管状構造物の天井部分から切り開いて展開して得られる第１天井平面画像、前記第１内壁面画像における前記第１管状構造物の底部部分から切り開いて得られる第１底部平面画像、および、前記第１内壁面画像における前記第１管状構造物の側部部分で切り開いて得られる第１側部平面画像を生成する第１平面画像生成ステップと、
前記第１平面画像生成ステップにおいて生成した前記第１天井平面画像、前記第１底部平面画像および前記第１側部平面画像から、前記第１管状構造物の属性に応じた第１平面画像を選択する第１選択ステップと、
前記第１選択ステップにおいて選択された前記第１平面画像を用いて、前記第１管状構造物に発生している第１損傷を決定する損傷決定部と、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに複数種類の前記第１平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２管状構造物の内壁面を撮像した第２内壁面画像を受け付ける画像受付ステップと、
前記第２内壁面画像を、前記第２内壁面画像における前記第２管状構造物の天井部分から切り開いて展開して得られる第２天井平面画像、前記第２内壁面画像における前記第２管状構造物の底部部分から切り開いて展開して得られる第２底部平面画像、および、前記第２管状構造物の側部部分から切り開いて展開して得られる第２側部平面画像を生成する第２平面画像生成ステップと、
前記第２平面画像生成ステップにおいて生成した前記第２天井平面画像、前記第２底部平面画像および前記第２側部平面画像から、前記第２管状構造物の属性に応じた第２平面画像を選択する第２選択ステップと、
前記第２選択ステップにおいて選択された前記第２平面画像および前記学習済み損傷特定モデルを用いて、前記第２管状構造物に発生している第２損傷を特定する損傷特定ステップと、
を含む。

【0008】

上記目的を達成するため、本発明に係る構造物損傷特定プログラムは、
第１管状構造物の内壁面を撮像した第１内壁面画像を取得する画像取得ステップと、
前記第１内壁面画像を、前記第１内壁面画像における前記第１管状構造物の天井部分から切り開いて展開して得られる第１天井平面画像、前記第１内壁面画像における前記第１管状構造物の底部部分から切り開いて得られる第１底部平面画像、および、前記第１内壁面画像における前記第１管状構造物の側部部分で切り開いて得られる第１側部平面画像を生成する第１平面画像生成ステップと、
前記第１平面画像生成ステップにおいて生成した前記第１天井平面画像、前記第１底部平面画像および前記第１側部平面画像から、前記第１管状構造物の属性に応じた第１平面画像を選択する第１選択ステップと、
前記第１選択ステップにおいて選択された前記第１平面画像を用いて、前記第１管状構造物に発生している第１損傷を決定する損傷決定部と、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに複数種類の前記第１平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２管状構造物の内壁面を撮像した第２内壁面画像を受け付ける画像受付ステップと、
前記第２内壁面画像を、前記第２内壁面画像における前記第２管状構造物の天井部分から切り開いて展開して得られる第２天井平面画像、前記第２内壁面画像における前記第２管状構造物の底部部分から切り開いて展開して得られる第２底部平面画像、および、前記第２管状構造物の側部部分から切り開いて展開して得られる第２側部平面画像を生成する第２平面画像生成ステップと、
前記第２平面画像生成ステップにおいて生成した前記第２天井平面画像、前記第２底部平面画像および前記第２側部平面画像から、前記第２管状構造物の属性に応じた第２平面画像を選択する第２選択ステップと、
前記第２選択ステップにおいて選択された前記第２平面画像および前記学習済み損傷特定モデルを用いて、前記第２管状構造物に発生している第２損傷を特定する損傷特定ステップと、
をコンピュータに実行させる。

【発明の効果】

【0009】

本発明の管渠損傷特定装置によれば、人工知能による機械学習を用いて管状構造物の損傷の特定を行うので、精度の高い管状構造物の損傷の特定を行うことができる。

【図面の簡単な説明】

【0010】

【図1A】本発明の第１実施形態に係る構造物損傷特定装置の動作の概略を説明するための図である。

【図1B】本発明の第１実施形態に係る構造物損傷特定装置により生成される平面画像について説明するための図である。

【図2】本発明の第１実施形態に係る構造物損傷特定装置の構成を説明するためのブロック図である。

【図3A】本発明の第１実施形態に係る構造物損傷特定装置が有する属性テーブルの一例について説明するための図である。

【図3B】本発明の第１実施形態に係る構造物損傷特定装置が有する損傷決定テーブルの一例について説明するための図である。

【図4A】本発明の第１実施形態に係る構造物損傷特定装置の処理手順を説明するためのフローチャートである。

【図4B】本発明の第１実施形態に係る構造物損傷特定装置の処理手順を説明するための他のフローチャートである。

【発明を実施するための形態】

【0011】

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明する。ただし、以下の実施形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。

【0012】

［第１実施形態］
本発明の第１実施形態としての構造物損傷特定装置１００について、図１～図４Ｂを用いて説明する。構造物損傷特定装置１００は、管状構造物に発生した損傷を特定するために用いられる。図１Ａは、本実施形態に係る構造物損傷特定装置１００の動作の概略を説明するための図である。図１Ｂは、本実施形態に係る構造物損傷特定装置により生成される平面画像について説明するための図である。

【0013】

ここで、管状構造物は、道路用トンネルや鉄道用トンネル、山岳トンネル、海底トンネル、共同溝、管渠などを含むが、円筒状や半円筒状の構造物の内部にできる空間を利用する目的で構築される構築物であれば、これらには限定されない。ここで、共同溝は、電気、電話、ガス、水道などのライフラインをまとめて道路などの地下に埋設するための設備である。また、管渠とは、水路の総称であり、給水、排水を目的として作られる水路全体を指す。例えば、上水管、下水管、排水管、給水管などが含まれる。

【0014】

本実施形態においては、道路用トンネルや鉄道トンネル、山岳トンネルなどを含むトンネル１２０を例に説明をする。トンネル１２０は、断面形状が、馬蹄形の構造物である。馬蹄形のアーチ部分が、トンネル１２０の内壁に相当し、アーチ部分以外の部分が道路面１８０に相当する。

【0015】

また、トンネル１２０の材質としては、コンクリート、陶器、鉄などが含まれる。なお、管渠の材質としては、コンクリート、陶器、鉄などが含まれ、管渠の種類としては、コンクリート管、コンクリートヒューム管、陶管、鉄管などが含まれる。

【0016】

また、損傷には、トンネル１２０に発生した圧ざ、ひび割れ、段差、うき、はく離、はく落、打継ぎ目の目地切れおよび段差、変形、移動、沈下、鉄筋露出、漏水、土砂流出、遊離石灰、つらら、側氷が含まれる。さらに、損傷には、豆板やコールジョイント部のうき、はく離およびはく落、補修材のうき、はく離、はく落および腐食、補強材のうき、はく離、変形、たわみおよび腐食、鋼材腐食が含まれるが、これらには限定されない。さらにまた、損傷とは、管渠に発生したひび割れやクラック、傷などを含むものであるが、この他にも、管渠に期待される性能が発揮できない状態をも含むものとする。

【0017】

トンネル１２０内部の壁面の検査においては、例えば、無人航空機１４０のカメラ１４１で撮像したトンネル１２０の内壁面の画像を用いた検査が行われている。作業員は、トンネル１２０の外部または入り口付近から、タブレット端末１３０にインストールされた遠隔操作用アプリケーションを用いて、無人航空機１４０を操作する。なお、遠隔操作用アプリケーションを用いる代わりに、遠隔操作機器（リモートコントローラ）を用いて、無人航空機１４０を操作してもよい。遠隔操作用アプリケーションは、無人航空機１４０の航行速度や撮像スケジュール、撮影条件などを制御する。

【0018】

ここで、内壁面画像は、トンネル１２０の内部の壁面や道路面１８０などを含む撮像領域を全周カメラまたは広角カメラで撮像した画像である。すなわち、内壁面画像は、トンネル１２０の進行方向に対して垂直な面で輪切りにされた画像である。輪切りのピッチは、特に限定されないが、トンネル１２０の内径や、特定したい損傷の大きさに応じたピッチが選択される。

【0019】

無人航空機１４０の代わりに、カメラを搭載した自走式の検査ロボットやカメラを搭載した自動車や電車、自動二輪車、自転車などを用いてもよい。あるいは、カメラを搭載した台車をユーザが手押ししてもよい。

【0020】

また、無人航空機１４０は、カメラ１４１で撮像した画像をタブレット端末１３０に送信する。画像送信のタイミングは、例えば、所定枚数撮像したタイミング、所定時間経過毎のタイミング、所定容量の画像が蓄積されたタイミングなどである。無人航空機１４０から画像を送信する際には、所定の形式で圧縮した画像を送信してもよい。なお、無人航空機１４０からタブレット端末１３０を経由せずに、構造物損傷特定装置１００に直接画像を送信してもよい。

【0021】

なお、内壁面画像１１０は、人工知能による学習のための画像であり、内壁面画像１６０は、損傷を特定の検査対象となっているトンネル１２０の画像である。また、カメラ１４１は、例えば、トンネル１２０の内部の壁面や道路面などを含む撮像領域を輪切りにして一度に撮像できる全周カメラであるが、これには限定されない。例えば、カメラ１４１として広角カメラを用いた場合、内壁面や道路面１８０を含む撮像領域を複数回に分けて撮像し、後でこれらの画像を繋ぎ合わせて輪切り画像を生成してもよい。なお、カメラ１４１により撮像される画像は、静止画であっても、動画であってもよい。また、カメラ１４１は、可視光による撮像機能の他に、赤外線や紫外線、その他の波長域の光線による撮像機能を有するものであってもよい。

【0022】

内壁面画像１１０、１６０は、所定のピッチ（間隔）例えば、１ｍで輪切りにされる。例えば、トンネル１２０の内装板を１ユニットとした場合、１ユニットごとに撮像した内壁面画像１１０、１６０を輪切りにして、輪切り画像１４３を得てもよい。また、例えば、トンネル１２０の全長において撮像した内壁面画像１１０、１６０を輪切りにすることで、輪切りが画像１４３を得てもよい。

【0023】

次に、構造物損傷特定装置１００による、学習済み損傷特定モデルの生成について説明する。構造物損傷特定装置１００は、受信した内壁面画像１１０（学習用画像）の輪切り画像１４３を、トンネル１２０の天井部分、底部部分および側部部分で切り開いて展開して、２次元平面画像を得る。すなわち、構造物損傷特定装置１００は、トンネル１２０の天井部分で内壁面画像１１０を切開して展開した天井平面画像１０１、トンネル１２０の底部部分で内壁面画像１１０を切開して展開した底部平面画像１０２を生成する。さらに、構造物損傷特定装置１００は、トンネル１２０の側部部分で内壁面画像１１０を切開して展開した側部平面画像１０３を生成する。

【0024】

天井平面画像１０１においては、トンネル１２０の底部部分１１１（道路面１８０部分に相当）が帯状の天井平面画像１０１の中央に位置し、天井部分１１２、１１３が左右両端に位置している。同様に、底部平面画像１０２においては、天井部分１２１が帯状の底部平面画像１０２の中央に位置し、底部部分１２２，１２３が左右両端に位置している。さらに、側部平面画像１０３においては、例えば、切開位置と線対称な位置に対応する部分１３１が帯状の内壁面画像１１０の中央に位置し、切開位置の両端１３２，１３３が帯状の内壁面画像１１０の左右両端に位置している。そして、構造物損傷特定装置１００は、天井平面画像１０１、底部平面画像１０２および側部平面画像１０３を用いて、トンネル１２０に発生した損傷を特定する。そして、構造物損傷特定装置１００は、損傷が特定されたこれらの画像（天井平面画像１０１、底部平面画像１０２、側部平面画像１０３）を人工知能に学習させて、学習済み損傷特定モデルを生成する。

【0025】

次に、構造物損傷特定装置１００による、損傷の特定について説明する。構造物損傷特定装置１００は、損傷を特定したいトンネル１２０の内壁面画像１６０について、内壁面画像１１０と同様に、天井平面画像１６１、底部平面画像１６２および側部平面画像１６３を生成する。そして、構造物損傷特定装置１００は、学習済み損傷特定モデルを用いて、トンネル１２０に発生している損傷を特定する。

【0026】

特定された損傷は、例えば、作業員が所持するタブレット端末１３０などの携帯端末に出力される。作業員は、タブレット端末１３０のディスプレイに表示された特定結果を参照して、トンネル１２０に発生している損傷を認識する。なお、構造物損傷特定装置１００は、特定した損傷の種類や程度に応じて、アラートを出力してもよい。例えば、進行している損傷や、早急な補修工事が必要な損傷である場合には、構造物損傷特定装置１００は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。

【0027】

図２は、本実施形態に係る構造物損傷特定装置１００の構成を説明するためのブロック図である。構造物損傷特定装置１００は、画像取得部２０１、平面画像生成部２０２、選択部２０３、損傷決定部２０４、モデル生成部２０５、画像受付部２０６、平面画像生成部２０７、選択部２０８、損傷特定部２０９および出力部２１０を有する。

【0028】

ここで、構造物損傷特定装置１００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ネットワークインターフェース、およびストレージを有する。ここで、ＣＰＵは、演算制御用のプロセッサであり、プログラムを実行することで図２に示した構造物損傷特定装置１００の各機能構成を実現する。ＣＰＵは、複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭは、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインターフェースは、ネットワークを介して他の装置などと通信する。なお、ＣＰＵは、１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Graphics Processing Unit）を含んでもよい。また、ネットワークインターフェースは、ＣＰＵとは独立した他のＣＰＵを有して、ＲＡＭの領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭとストレージとの間でデータを転送するＤＭＡＣ（Direct Memory Access Controller）を設けるのが望ましい。さらに、ＣＰＵは、ＲＡＭにデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵは、処理結果をＲＡＭに準備し、後の送信あるいは転送はネットワークインターフェースやＤＭＡＣに任せる。

【0029】

ＲＡＭは、ＣＰＵが一時記憶のワークエリアとして使用するメモリである。ＲＡＭには、本実施形態の実現に必要なデータを記憶する領域が確保されている。ストレージには、データベースや各種のパラメータ、モジュール、あるいは本実施形態の実現に必要なデータまたはプログラムが記憶されている。例えば、ストレージには、構造物損傷特定装置１００の全体を制御するための制御プログラムが記憶されている。

【0030】

さらに、構造物損傷特定装置１００は、入出力インターフェースをさらに備えてもよい。入出力インターフェースには、表示部、操作部、記憶媒体が接続される。入出力インターフェースには、さらに、音声出力部であるスピーカや、音声入力部であるマイク、あるいはＧＰＳ（Global Positioning System）位置判定部が接続されてもよい。なお、ＲＡＭやストレージには、構造物損傷特定装置１００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータが記憶されていてもよい。

【0031】

画像取得部２０１は、トンネル１２０の内壁面を撮像した内壁面画像１１０を取得する。画像取得部２０１は、作業員が所持するタブレット端末１３０から内壁面画像１１０を取得してもよいし、無人航空機１４０から内壁面画像１１０を直接取得してもよい。なお、内壁面画像１１０は、後の人工知能による学習に用いられる画像である。

【0032】

平面画像生成部２０２は、内壁面画像１１０を、内壁面画像１１０における任意の位置で切り開いて展開して得られる複数の平面画像を生成する。平面画像生成部２０２は、内壁面画像１１０を、内壁面画像１１０におけるトンネル１２０の天井部分から切り開いて展開して得られる天井平面画像１０１を生成する。同様に、平面画像生成部２０２は、内壁面画像１１０を、内壁面画像１１０におけるトンネル１２０の底部部分から切り開いて展開して得られる底部平面画像１０２を生成する。さらに、平面画像生成部２０２は、内壁面画像１１０を、内壁面画像１１０におけるトンネル１２０の側部部分から切り開いて展開して得られる側部平面画像１０３を生成する。なお、側部平面画像１０３は、１つには限られない。このように、平面画像生成部２０２は、３種類の平面画像として、天井平面画像１０１、底部平面画像１０２および側部平面画像１０３を生成する。

【0033】

すなわち、平面画像生成部２０２は、まず、画像取得部２０１が取得した内壁面画像１１０から輪切り画像１４３を生成する。そして、平面画像生成部２０２は、輪切り画像１４３から、天井平面画像１０１、底部平面画像１０２および側部平面画像１０３を生成する。なお、輪切り画像１４３は、予め無人航空機１４０において生成しておき、画像取得部２０１は、無人航空機１４０により生成された輪切り画像１４３を取得してもよい。

【0034】

選択部２０３は、平面画像生成部２０２が生成した天井平面画像１０１、底部平面画像１０２および側部平面画像１０３から、管状構造物の属性、すなわち、トンネル１２０に応じた平面画像を選択する。ここで、管状構造物の属性は、例えば、管状構造物の種類、材質、用途などである。本実施形態においては、管状構造物の種類は、トンネル１２０であり、選択部２０３は、トンネル１２０の損傷を特定するのに適した平面画像を選択する。

【0035】

トンネル１２０においては、損傷の発生する箇所は、馬蹄形のアーチ部分であることが多い。道路面１８０については、トンネル１２０の内壁面とは異なる損傷が発生するため、本実施形態においては、道路面１８０に発生している損傷は特定の対象外となる。そして、トンネル１２０においては、アーチ部分に損傷が発生し易いため、トンネル１２０の側部、例えば、アーチ部分と道路面１８０との左右両側の境目部分で切り開かれた側部平面画像１０３を選択する。このような側部平面画像１０３を選択すれば、アーチ部分に発生している損傷が、内壁面画像１１０を切り開くことにより切断されていない平面画像を用いて人工知能に学習させられるからであり、学習の精度を高められるからである。選択部２０３は、例えば、管状構造物が、下水管であれば、天井平面画像１０１および底部平面画像１０２を選択する。

【0036】

選択部２０３による平面画像の選択の方法は、例えば、図３Ａに示す属性テーブル３０１を参照して選択する方法がある。図３Ａは、本実施形態に係る構造物損傷特定装置１００が有する属性テーブル３０１の一例について説明するための図である。属性テーブル３０１は、属性３１１に関連付けて平面画像３１２を記憶する。属性３１１は、管状構造物の属性であり、管状構造物の種類や材質、用途を含む。種類は、管状構造物の種類であり、トンネル、共同溝、管渠を含む。材質は、管状構造物の材質であり、コンクリート、鉄などを含む。用途は、管状構造物の使用目的であり、鉄道用、山岳用、海底用、ケーブル用、下水用などを含む。平面画像３１２は、平面画像生成部２０２により生成される平面画像であり、天井平面画像、底部平面画像および側部平面画像を含む。そして、選択部２０３は、管状構造物の属性、本実施形態においては、例えば、コンクリート製のトンネル１２０に応じた平面画像として、側部平面画像を選択する。

【0037】

損傷決定部２０４は、選択部２０３により選択された平面画像を用いて、トンネル１２０に発生している損傷を決定する。本実施形態においては、損傷決定部２０４は、選択部２０３により選択された側部平面画像１０３を用いて、トンネル１２０に発生している損傷を特定する。損傷決定部２０４は、具体的には、２つの側部平面画像１０３を並列に並べた状態の画像を用いて、損傷を決定する。損傷の種類は、例えば、圧ざ、ひび割れ、はく離、はく落、目地切れ、段差、変形、移動、鉄筋露出、浸入水などを含むが、これらには限定されない。損傷決定部２０４による損傷の決定方法は、例えば、図３Ｂに示す損傷決定テーブル３０２を参照して決定する方法がある。図３Ｂは、本実施形態に係る構造物損傷特定装置が有する損傷決定テーブルの一例について説明するための図である。

【0038】

損傷決定テーブル３０２は、損傷の種類３２１に関連付けて管状構造物３２２を記憶する。損傷の種類３２１は、圧ざ、ひび割れ、はく離・はく落、目地切れ・段差、変形・移動、鉄筋露出、浸入水を含む。なお、損傷の種類３２１は、これらには限定されず、例えば、沈下、土砂流出、遊離石灰、つらら、側氷、豆板やコールドジョイント部のうき、はく離、はく落、補修材のうき、はく離、はく落、腐食、補強材のうき、はく離、変形、たわみ、腐食、鋼材腐食、などを含む。管状構造物３２２は、道路トンネル、鉄道トンネル、山岳トンネル、共同溝、管渠を含むが、これらには限定されず、例えば、海底トンネルなどを含む。

【0039】

なお、損傷決定部２０４は、物体検知（Object Detection）を用いて、損傷の発生している領域を検出し、損傷を決定する。物体検知のアルゴリズムとして、本実施形態においては、Ｆａｓｔｅｒ Ｒ－ＣＮＮ（Faster Region with Convolutional Neural Network）を用いた。

【0040】

モデル生成部２０５は、決定された損傷を識別可能な識別子（ＩＤ：Identifier）を付与する。モデル生成部２０５は、識別子として、例えば、損傷の範囲（大きさ）、その損傷の名称、損傷の属性（古い、新しい、色）などを側部平面画像１０３に付与する。なお、モデル生成部２０５は、選択部２０３により、天井平面画像１０１、底部平面画像１０２が選択されていれば、これらの平面画像に識別子を付与する。なお、この識別子は、選択された側部平面画像１０３に直接付与しても、所定のデータベース等に記憶しておき、適宜読み出すようにしてもよい。

【0041】

そして、モデル生成部２０５は、付与した識別子、決定された損傷とともに側部平面画像１０３を人工知能（ＡＩ：Artificial Intelligence）に入力して、機械学習させる。人工知能による機械学習が終了すると、モデル生成部２０５は、学習済み損傷特定モデルを生成する。なお、モデル生成部２０５は、生成した学習済み損傷特定モデルを所定のストレージ等に保存しておいてもよい。この場合、新たな学習用画像（例えば、天井平面画像１０１、底部平面画像１０２および側部平面画像１０３）を取得して、機械学習を行い、学習済み損傷特定モデルを生成するたびに、保存された学習済み損傷特定モデルを更新するようにしてもよい。

【0042】

また、人工知能による機械学習は、既知のアルゴリズムを用いて行われる。機械学習においては、損失関数は、重み指定を行い、事象数の逆数を採用した。また、モデル生成部２０５は、人工知能による機械学習の清吾を向上させて、より精度の高い損傷特定モデルを生成するために、人工知能に学習させる内壁面画像１１０の数を水増しする。モデル生成部２０５は、例えば、左右反転を用いて水増しデータを得る。さらに、モデル生成部２０５は、人工知能による機械学習の清吾を向上させるために、転移学習を用いてもよい。ここで、点に学習とは、ことなるデータセットを用いた学習済みモデルを、別の問題に転用し、部分的な学習をすることで、モデルの性能向上を狙う手法である。特に、教師データが十分でない場合に、推論性能の向上と学習時間の低減が期待できる手法でもある。

【0043】

なお、生成された学習済み損傷特定モデルの評価には、再現率（Recall）および適合率（Precision）を用いた。再現率は、再現率＝ＴＰ／（ＴＰ＋ＦＮ）で表され、結果として出てくるべきもののうち、実際に出てきたものの割合を示す。すなわち、取り漏らしがないかに関する指標である（網羅性に関する指標）。適合率は、適合率＝ＴＰ／（ＴＰ＋ＦＰ）で表され、正しかったものの割合を示す。出てきたすべての結果の中に、どれだけ正解が含まれているかの割合を示す指標である（正確性に関する指標）なお、ＴＰ＝真陽性（True Positive）、ＦＰ＝偽陽性（False Positive）、ＦＮ＝偽陰性（False Negative）である。

【0044】

画像受付部２０６は、トンネル１７０の内壁面を撮像した内壁面画像１６０を受け付ける。つまり、画像受付部２０６は、無人航空機１４０により撮像された内壁面画像１６０をタブレット端末１３０から受信し、受け付ける。内壁面画像１６０は、検査対象となるトンネル１７０の内壁面の画像であり、発生している損傷を特定したいトンネルである。

【0045】

平面画像生成部２０７は、平面画像生成部２０２と同様に、平面画像を生成する。すなわち、平面画像生成部２０７は、内壁面画像１６０を、内壁面画像１６０におけるトンネル１７０の天井部分から切り開いて展開して得られる天井平面画像１６１を生成する。同様に、平面画像生成部２０７は、内壁面画像１６０におけるトンネル１７０の底部部分から切り開いて展開して得られる底部平面画像１６２を生成する。さらに、平面画像生成部２０７は、内壁面画像１６０におけるトンネル１７０の側部部分から切り開いて展開して得られる側部平面画像１６３を生成する。側部平面画像１６３は、１つには限られない。このように、平面画像生成部２０７は、３種類の平面画像として、天井平面画像１６１、底部平面画像１６２および側部平面画像１６３を生成する。

【0046】

つまり、平面画像生成部２０７は、まず、画像受付部２０６が受け付けた内壁面画像１６０から輪切り画像を生成する。そして、平面画像生成部２０７は、輪切り画像から天井平面画像１６１、底部平面画像１６２および側部平面画像１６３を生成する。なお、輪切り画像は、予め無人航空機１４０において生成しておき、画像受付部２０６は、無人航空機１４０により生成された輪切り画像を取得してもよい。

【0047】

選択部２０８は、平面画像生成部２０７が生成した天井平面画像１６１、底部平面画像１６２および側部平面画像１６３から、管状構造物の属性、すなわち、トンネル１７０に応じた平面画像を選択する。つまり、選択部２０８は、トンネル１７０の損傷を決定するのに適した平面画像として、例えば、側部平面画像１６３を選択する。

【0048】

損傷特定部２０９は、選択部２０８により選択された側部平面画像１６３および学習済み損傷特定モデルを用いて、トンネル１７０に発生している損傷を特定する。損傷特定部２０９による損傷の特定方法は、例えば、図３Ｂに示す損傷決定テーブル３０２を参照して特定する方法がある。なお、損傷特定部２０９は、２つの側部平面画像１６３が並列に並べられた状態の画像および学習済み損傷特定モデルを用いて、トンネル１７０に発生している損傷を特定する。

【0049】

出力部２１０は、特定された損傷をタブレット端末１３０などの携帯端末へ出力する。また、作業員は、タブレット端末１３０のディスプレイに表示された特定結果を参照することにより、トンネル１２０に発生している損傷を認識できる。出力部２１０は、損傷の種類や進行度合いに応じたアラートを出力してもよい。出力部２１０は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。

【0050】

図４Ａは、本実施形態に係る構造物損傷特定装置の処理手順を説明するためのフローチャートである。図４Ｂは、本実施形態に係る構造物損傷特定装置の処理手順を説明するための他のフローチャートである。図４Ａおよび図４Ｂに示したフローチャートは、構造物損傷特定装置１００の不図示のＣＰＵ（Central Processing Unit）が、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を用いて実行し、図２に示した構造物損傷特定装置１００の各機能構成を実現する。

【0051】

まず、図４Ａを参照して説明する。ステップＳ４０１において、画像取得部２０１は、トンネル１２０の内壁面を撮像したな壁面画像を取得する。ステップＳ４０３において、平面画像生成部２０２は、内壁面画像１１０から輪切り画像１４３を生成する。そして、平面画像生成部２０２は、輪切り画像１４３から、天井平面画像１０１、底部平面画像１０２および側部平面画像１０３を生成する。ステップＳ４０５において、選択部２０３は、管状構造物の属性に応じた平面画像を選択する。選択部２０３は、トンネル１２０に応じた平面画像として側部平面画像１０３を選択する。

【0052】

ステップＳ４０７において、損傷決定部２０４は、ステップＳ４０５において選択された側部平面画像１０３を用いてトンネル１２０に発生している損傷を決定する。ステップＳ４０９において、モデル生成部２０５は、ステップＳ４０９において決定された損傷を識別可能な識別子を付与して、決定された損傷とともに側部平面画像１０３を人工知能に学習させて、学習済み損傷特定モデルを生成する。ここでは、例えば、２つの側部平面画像１０３を並列に並べた画像を用いて人工知能に学習させる。すなわち、輪切り画像１４３を２つの異なる側部位置で切断して展開した２つの側部平面画像１０３を並列に並べた画像を人工知能に学習させる。ステップＳ４１１において、構造物損傷特定装置１００は、人工知能による機械学習が終了したか否かを判断する。機械学習が終了していないと判断した場合（ステップＳ４１１のＮＯ）、構造物損傷特定装置１００は、ステップＳ４０３へ戻る。機械学習が終了したと判断した場合（ステップＳ４１１のＹＥＳ）、構造物損傷特定装置１００は、処理を終了する。

【0053】

次に、図４Ｂを参照して説明する。ステップＳ４２１において、画像受付部２０６は、トンネル１７０の内壁面を撮像した内壁面画像１６０を受け付ける。ステップＳ４２３において、平面画像生成部２０７は、ステップＳ４０３と同様に、平面画像を生成する。すなわち、平面画像生成部２０７は、内壁面画像１６０を、内壁面画像１６０におけるトンネル１７０の天井部分、底部部分および側部部分から切り開いて展開して得られる天井平面画像１６１、底部平面画像１６２および側部平面画像１６３を生成する。本実施形態においては、平面画像生成部２０７は、側部平面画像１６３を生成する。ステップＳ４２５において、選択部２０８は、ステップＳ４２３において生成された平面画像から、トンネル１７０に応じた平面画像、すなわち、側部平面画像１６３を選択する。ステップＳ４２７において、損傷特定部２０９は、ステップＳ４２５において選択された平面画像、すなわち、側部平面画像１６３およびステップＳ４０９において生成された、学習済み損傷特定モデルを用いて、トンネル１７０に発生している損傷を特定する。ステップＳ４２９において、構造物損傷特定装置１００は、損傷の特定が終了したか否かを判断する。特定が終了していないと判断した場合（ステップＳ４２９のＮＯ）、構造物損傷特定装置１００は、ステップＳ４２３へ戻る。特定が終了したと判断した場合（ステップＳ４２９のＹＥＳ）、構造物損傷特定装置１００は、ステップＳ４３１へ進む。ステップＳ４３１において、出力部２１０は、特定した損傷をタブレット端末１３０等の携帯端末へ出力する。

【0054】

本実施形態によれば、管状構造物の属性に応じた平面画像を選択して人工知能に学習させるので、損傷を特定するための学習済みモデルとして精度の高いモデルを生成することができる。また、精度の高い学習済み損傷特定モデルを用いて、管状構造物に発生している損傷を特定するので、損傷の特定精度を向上させることができる。

【0055】

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

【0056】

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】