特許 7356942 管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-27

(45)【発行日】2023-10-05

(54)【発明の名称】管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラム

(51)【国際特許分類】

   G01N 21/954 20060101AFI20230928BHJP

   G06T 7/00 20170101ALI20230928BHJP

   F17D 5/02 20060101ALI20230928BHJP

   E03F 7/12 20060101ALI20230928BHJP

【ＦＩ】

G01N21/954 A

G06T7/00 350C

G06T7/00 610B

F17D5/02

E03F7/12

【請求項の数】 9

(21)【出願番号】P 2020055269

(22)【出願日】2020-03-26

(65)【公開番号】P2021156654

(43)【公開日】2021-10-07

【審査請求日】2022-08-26

(73)【特許権者】

【識別番号】000140292

【氏名又は名称】株式会社奥村組

(73)【特許権者】

【識別番号】394026714

【氏名又は名称】株式会社ジャスト

(74)【代理人】

【識別番号】110002170

【氏名又は名称】弁理士法人翔和国際特許事務所

(72)【発明者】

【氏名】岩下 将也

(72)【発明者】

【氏名】山口 治

(72)【発明者】

【氏名】角田 賢明

(72)【発明者】

【氏名】岡田 一哉

(72)【発明者】

【氏名】鎌形 勇樹

【審査官】井上 徹

(56)【参考文献】

【文献】特表２００４－５０９３２１（ＪＰ，Ａ）

【文献】特開２０１９－１３８７５５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０３２３１６３（ＵＳ，Ａ１）

【文献】韓国登録特許第１０－２００８９７３（ＫＲ，Ｂ１）

【文献】頼光 拓真ら，管内画像検査のAR表示のためのデプス情報を用いた検査カメラの姿勢補正，土木学会論文集F3（土木情報学），2016年，Vol. 72，No. 2，PP.II_40-II_46

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－Ｇ０１Ｎ ２１／９５８

Ｇ０１Ｂ １１／００－Ｇ０１Ｂ １１／３０

Ｇ０６Ｔ ７／００

Ｆ１７Ｄ １／００－Ｆ１７Ｄ ５／０８

Ｅ０３Ｆ １／００－Ｅ０３Ｆ １１／００

Ｆ１６Ｌ ５１／００－Ｆ１６Ｌ ５５／４８

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

第１管渠の内周面を撮像した第１内周面画像を取得する画像取得部と、
前記第１内周面画像を、前記第１内周面画像における前記第１管渠の任意の位置で切り開いて展開して得られる複数の第１平面画像として、前記第１内周面画像における前記第１管渠の天井部分から切り開いて展開して得られる第１天井展開平面画像、前記第１内周面画像における前記第１管渠の底部部分から切り開いて得られる第１底部展開平面画像、並びに、前記第１内周面画像における前記第１管渠の側部部分で切り開いて展開して得られる第１左側側部展開平面画像および第１右側側部展開平面画像を生成する第１平面画像生成部と、
前記第１天井展開平面画像、前記第１底部展開平面画像、前記第１左側側部展開平面画像および前記第１右側側部展開平面画像を用いて、前記第１管渠に発生している第１損傷を決定する損傷決定部と、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに複数の前記第１平面画像とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成部と、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付部と、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の任意の位置で切り開いて展開して得られる複数の第２平面画像として、前記第２内周面画像における前記第２管渠の天井部分から切り開いて展開して得られる第２天井展開平面画像、前記第２内周面画像における前記第２管渠の底部部分から切り開いて展開して得られる第２底部展開平面画像、並びに、前記第２内周面画像における前記第２管渠の側部部分で切り開いて得られる第２左側側部展開平面画像および第２右側側部展開平面画像を生成する第２平面画像生成部と、
前記第２天井展開平面画像、前記第２底部展開平面画像、前記第２左側側部展開平面画像および前記第２右側側部展開平面画像並びに前記学習済み損傷特定モデルを用いて、前記第２管渠に発生している第２損傷を特定する損傷特定部と、
を備えた管渠損傷特定装置。

【請求項2】

前記損傷決定部は、
前記第１天井展開平面画像、前記第１左側側部展開平面画像または前記第１右側側部展開平面画像を用いて、浸入水およびモルタル付着の少なくともいずれかを含む前記第１損傷を特定し、
前記第１底部展開平面画像、前記第１左側側部展開平面画像または前記第１右側側部展開平面画像を用いて、破損、クラック、取付管の突出しおよび木根侵入の少なくともいずれかを含む前記第１損傷を特定する、請求項１に記載の管渠損傷特定装置。

【請求項3】

前記損傷特定部は、
前記第２天井展開平面画像、前記第２左側側部展開平面画像または前記第２右側側部展開平面画像を用いて、浸入水およびモルタル付着の少なくともいずれかを含む前記第２損傷を特定し、
前記第２底部展開平面画像、前記第２左側側部展開平面画像または前記第２右側側部展開平面画像を用いて、破損、クラック、取付管の突出しおよび木根侵入の少なくともいずれかを含む前記第２損傷を特定する、請求項１または２に記載の管渠損傷特定装置。

【請求項4】

前記第１管渠および前記第２管渠は、下水管である請求項１～３のいずれか１項に記載の管渠損傷特定装置。

【請求項5】

前記損傷決定部は、Ｆａｓｔｅｒ Ｒ－ＣＮＮを用いて前記第１管渠に発生している前記第１損傷を決定する請求項１～４のいずれか１項に記載の管渠損傷特定装置。

【請求項6】

前記モデル生成部は、水増しデータとして、左右反転を用いて前記学習済み損傷特定モデルを生成する請求項１～５のいずれか１項に記載の管渠損傷特定装置。

【請求項7】

前記モデル生成部は、転移学習を用いて前記学習済み損傷特定モデルを生成する請求項１～６のいずれか１項に記載の管渠損傷特定装置。

【請求項8】

第１管渠の内周面を撮像した第１内周面画像を取得する画像取得ステップと、
前記第１内周面画像を、前記第１内周面画像における前記第１管渠の任意の位置で切り開いて展開して得られる複数の第１平面画像として、前記第１内周面画像における前記第１管渠の天井部分から切り開いて展開して得られる第１天井展開平面画像、前記第１内周面画像における前記第１管渠の底部部分から切り開いて得られる第１底部展開平面画像、並びに、前記第１内周面画像における前記第１管渠の側部部分で切り開いて展開して得られる第１左側側部展開平面画像および第１右側側部展開平面画像を生成する第１平面画像生成ステップと、
前記第１天井展開平面画像、前記第１底部展開平面画像、前記第１左側側部展開平面画像および前記第１右側側部展開平面画像を用いて、前記第１管渠に発生している第１損傷を決定する損傷決定ステップと、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに複数の前記第１平面画像とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付ステップと、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の任意の位置で切り開いて展開して得られる複数の第２平面画像として、前記第２内周面画像における前記第２管渠の天井部分から切り開いて展開して得られる第２天井展開平面画像、前記第２内周面画像における前記第２管渠の底部部分から切り開いて展開して得られる第２底部展開平面画像、並びに、前記第２内周面画像における前記第２管渠の側部部分で切り開いて得られる第２左側側部展開平面画像および第２右側側部展開平面画像を生成する第２平面画像生成ステップと、
前記第２天井展開平面画像、前記第２底部展開平面画像、前記第２左側側部展開平面画像および前記第２右側側部展開平面画像並びに前記学習済み損傷特定モデルを用いて、前記第２管渠に発生している第２損傷を特定する損傷特定ステップと、
を含む管渠損傷特定方法。

【請求項9】

第１管渠の内周面を撮像した第１内周面画像を取得する画像取得ステップと、
前記第１内周面画像を、前記第１内周面画像における前記第１管渠の任意の位置で切り開いて展開して得られる複数の第１平面画像として、前記第１内周面画像における前記第１管渠の天井部分から切り開いて展開して得られる第１天井展開平面画像、前記第１内周面画像における前記第１管渠の底部部分から切り開いて得られる第１底部展開平面画像、並びに、前記第１内周面画像における前記第１管渠の側部部分で切り開いて展開して得られる第１左側側部展開平面画像および第１右側側部展開平面画像を生成する第１平面画像生成ステップと、
前記第１天井展開平面画像、前記第１底部展開平面画像、前記第１左側側部展開平面画像および前記第１右側側部展開平面画像を用いて、前記第１管渠に発生している第１損傷を決定する損傷決定ステップと、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに複数の前記第１平面画像とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付ステップと、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の任意の位置で切り開いて展開して得られる複数の第２平面画像として、前記第２内周面画像における前記第２管渠の天井部分から切り開いて展開して得られる第２天井展開平面画像、前記第２内周面画像における前記第２管渠の底部部分から切り開いて展開して得られる第２底部展開平面画像、並びに、前記第２内周面画像における前記第２管渠の側部部分で切り開いて得られる第２左側側部展開平面画像および第２右側側部展開平面画像を生成する第２平面画像生成ステップと、
前記第２天井展開平面画像、前記第２底部展開平面画像、前記第２左側側部展開平面画像および前記第２右側側部展開平面画像並びに前記学習済み損傷特定モデルを用いて、前記第２管渠に発生している第２損傷を特定する損傷特定ステップと、
をコンピュータに実行させる管渠損傷特定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラムに関し、特に、コンピュータに組み込まれた画像解析プログラムおよび人工知能による特定結果から管渠の損傷を特定する装置に関する。

【背景技術】

【0002】

インフラ構造物の老朽化は加速度的に進んでおり，維持管理・更新の必要性は，今後さらに増大していくと言われている。労働人口が減り続ける中、維持管理・更新にかかる労務の効率化は喫緊の課題となっている。維持管理・更新にかかる労務の効率化の実現に向け、近年著しく性能が向上しているＡＩによる画像認識技術を適用する研究事例が増えている。深層学習と呼ばれる高度なニューラルネットワークを用いれば、従来では困難であった人間の直感に近い画像認識が実現でき損傷部位の目視点検の補助や代替が期待できる。

【0003】

一方、管渠などインフラ構造物の検査においては、例えば、特許文献１および特許文献２に記載の技術のように、調査対象の流路管内に投入する装置本体に、テレビカメラ等の撮影装置や蛍光灯等の照明装置を搭載し、撮影装置により撮影した管内画像をもとに損傷などの調査を行っていた。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平５－３４６０２７号公報

【文献】特開平７－２１６９７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記文献に記載の技術では、撮影した管内画像を作業員が目で見て調査を行うものであり、見落としや見誤りが発生し易く、精度の高い管渠の損傷の特定を行うことができなかった。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る管渠損傷特定装置は、
第１管渠の内周面を撮像した第１内周面画像を取得する画像取得部と、
前記第１内周面画像を、前記第１内周面画像における前記第１管渠の任意の位置で切り開いて展開して得られる複数の第１平面画像を生成する第１平面画像生成部と、
複数の前記第１平面画像を用いて、前記第１管渠に発生している第１損傷を決定する損傷決定部と、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに複数の前記第１平面画像とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成部と、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付部と、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の任意の位置で切り開いて展開して得られる複数の第２平面画像を生成する第２平面画像生成部と、
複数の前記第２平面画像および前記学習済み損傷特定モデルを用いて、前記第２管渠に発生している第２損傷を特定する損傷特定部と、
を備えた。

【0007】

上記目的を達成するため、本発明に係る管渠損傷特定方法は、
第１管渠の内周面を撮像した第１内周面画像を取得する画像取得ステップと、
前記第１内周面画像を、前記第１内周面画像における前記第１管渠の任意の位置で切り開いて展開して得られる複数の第１平面画像を生成する第１平面画像生成ステップと、
複数の前記第１平面画像を用いて、前記第１管渠に発生している第１損傷を決定する損傷決定ステップと、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに前記第１平面画像とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付部と、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の任意の位置で切り開いて展開して得られる複数の第２平面画像を生成する第２平面画像生成ステップと、
複数の前記第２平面画像および前記学習済み損傷特定モデルを用いて、前記第２管渠に発生している第２損傷を特定する損傷特定ステップと、
を含む。

【0008】

上記目的を達成するため、本発明に係る管渠損傷特定プログラムは、
第１管渠の内周面を撮像した第１内周面画像を取得する画像取得ステップと、
前記第１内周面画像を、前記第１内周面画像における前記第１管渠の任意の位置で切り開いて展開して得られる複数の第１平面画像を生成する第１平面画像生成ステップと、
複数の前記第１平面画像を用いて、前記第１管渠に発生している第１損傷を決定する損傷決定ステップと、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに前記第１平面画像とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付部と、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の任意の位置で切り開いて展開して得られる複数の第２平面画像を生成する第２平面画像生成ステップと、
複数の前記第２平面画像および前記学習済み損傷特定モデルを用いて、前記第２管渠に発生している第２損傷を特定する損傷特定ステップと、
をコンピュータに実行させる。

【発明の効果】

【0009】

本発明の管渠損傷特定装置によれば、人工知能に効率的に学習させることができ、精度の高い学習済みモデルを生成できるので、精度の高い管渠の損傷の特定を行うことができる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１実施形態に係る管渠損傷特定装置による管渠損傷の特定の概要について説明するための図である。

【図2】本発明の第１実施形態に係る管渠損傷特定装置の構成を説明するためのブロック図である。

【図3A】本発明の第１実施形態に係る管渠損傷特定装置により特定される損傷の管渠内における発生位置の分布を説明するための図である。

【図3B】本発明の第１実施形態に係る管渠損傷特定装置の平面画像生成部による内周面画像の切開位置および展開について説明するための図である。

【図4A】本発明の第１実施形態に係る管渠損傷特定装置における物体検知について説明するための図である。

【図4B】本発明の第１実施形態に係る管渠損傷特定装置における損傷（破損・クラック）の決定について説明するための図である。

【図4C】本発明の第１実施形態に係る管渠損傷特定装置における損傷（破損・クラック）の決定について説明するための他の図である。

【図4D】本発明の第１実施形態に係る管渠損傷特定装置における損傷（浸入水）の決定について説明するための図である。

【図4E】本発明の第１実施形態に係る管渠損傷特定装置における損傷（浸入水）の決定について説明するための他の図である。

【図5A】本発明の第１実施形態に係る管渠損傷特定装置が有する損傷特定テーブルの一例を説明するための図である。

【図5B】本発明の第１実施形態に係る管渠損傷特定装置が有する切開位置テーブルの一例を説明するための図である。

【図6A】本発明の第１実施形態に係る管渠損傷特定装置の処理手順を説明するためのフローチャートである。

【図6B】本発明の第１実施形態に係る管渠損傷特定装置の処理手順を説明するための他のフローチャートである。

【発明を実施するための形態】

【0011】

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明する。ただし、以下の実施形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。

【0012】

［第１実施形態］
本発明の第１実施形態としての管渠損傷特定装置１００について、図１～図５Ｂを用いて説明する。管渠損傷特定装置１００は、管渠に発生した損傷を特定するために用いられる。図１は、本実施形態に係る管渠損傷特定装置１００による管渠損傷の特定の概要について説明するための図である。

【0013】

ここで、管渠とは、水路の総称であり、給水、排水を目的として作られる水路全体を指す。例えば、上水管、下水管、排水管、給水管などが含まれる。本実施形態においては、管渠として下水管１５０を例に説明をする。また、管渠の材質としては、コンクリート、陶器、鉄などが含まれ、管渠の種類としては、コンクリート管、コンクリートヒューム管、陶管、鉄管などが含まれる。

【0014】

また、損傷とは、管渠に発生したひび割れやクラック、傷などを含むものであるが、この他にも、管渠に期待される性能が発揮できない状態をも含むものとする。なお、以下の説明では、下水管１５０の直径は、作業員が下水管１５０内に入って作業することができない程度の大きさであり、例えば、φ２００～φ８００の下水管１５０を想定して説明をするが、下水管１５０の直径は、これには限定されない。

【0015】

下水管１５０の内部の検査においては、自走式検査ロボット１４０のカメラ１４２で撮像した下水管１５０の内周面の画像を用いた検査が行われている。作業員は、下水管１５０の外部に設置されたディスプレイなどを用いて、カメラ１４２で撮像した画像を確認し、下水管１５０に損傷が発生しているか否かの検査を行う。制御部１４１は、自走式検査ロボット１４０の自走速度や撮像スケジュール、撮像条件を制御したり、管渠損傷特定装置１００や作業員が所持するタブレット端末１３０との間の通信を制御したりする。作業員は、例えば、タブレット端末１３０にインストールされた操作用アプリケーションを用いて、自走式検査ロボット１４０を操作する。なお、自走式検査ロボット１４０が入れないような、直径の小さな下水管１５０の場合、自走式検査ロボット１４０の代わりに、ファイバースコープなどの超小型検査装置を用いてもよい。

【0016】

そして、制御部１４１は、カメラ１４２で撮像した内周面画像１１０（１６０）を、管渠損傷特定装置１００に送信する。なお、内周面画像１１０は、人工知能による学習のための画像であり、内周面画像１６０は、損傷を特定したい画像である。また、カメラ１４２は、広角カメラ、全周カメラのいずれであってもよい。広角カメラの場合、１周分の画像を複数回に分けて撮像し、撮像した複数枚の画像を繋いで内周面画像１１０（１６０）を生成してもよい。

【0017】

また、内周面画像１１０（１６０）は、所定の間隔（例えば、０．１ｍ）で輪切りにされる。例えば、下水管１５０の継手から継手の間を１ユニットとした場合に、１ユニットごとに撮像した画像（内周面画像１１０（１６０））を輪切りにして、輪切り画像１４３を得てもよい。また、例えば、下水管１５０の全長において撮像した画像（内周面画像１１０（１６０））を輪切りにして、輪切り画像１４３を得てもよい。

【0018】

次に、管渠損傷特定装置１００による、学習済み損傷特定モデルの生成について説明する。管渠損傷特定装置１００は、受信した内周面画像１１０（学習用画像）の輪切り画像１４３を、内周面画像１１０における下水管１５０の任意の位置で切り開いて展開して、２次元の平面画像を得る。すなわち、管渠損傷特定装置１００は、内周面画像１１０を、下水管１５０の天井部分、底部部分および側部部分で切り開いて展開した、天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３を生成する。

【0019】

天井展開平面画像１０１においては、下水管１５０の底部部分１１１が帯状の平面画像の中央に位置し、切開位置である天井部分１１２、１１３が左右両端に位置している。同様に、底部展開平面画像１０２においては、天井部分１２１が帯状の平面画像の中央に位置し、切開位置である底部部分１２２、１２３が左右両端に位置している。さらに、側部展開平面画像１０３においては、例えば、切開位置と線対称な位置に対応する部分１３１が帯状の平面画像の中央に位置し、切開位置の両端１３２、１３３が帯状の平面画像の左右両端に位置している。そして、管渠損傷特定装置１００は、天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３を用いて、下水管１５０に発生した損傷を特定し、損傷が特定されたこれらの画像（１０１～１０３）を人工知能に学習させて、学習済み損傷特定モデルを生成する。

【0020】

次に、管渠損傷特定装置１００による、損傷の特定について説明する。管渠損傷特定装置１００は、損傷を特定したい下水管１７０の内周面画像１６０について、内周面画像１１０と同様に、天井展開平面画像１６１、底部展開平面画像１６２および側部展開平面画像１６３を生成する。そして、管渠損傷特定装置１００は、生成した天井展開平面画像１６１、底部展開平面画像１６２および側部展開平面画像１６３と学習済み損傷特定モデルとを用いて、下水管１７０に発生している損傷を特定する。

【0021】

特定された損傷は、例えば、作業員が所持するタブレット端末１３０などの携帯端末に出力される。作業員は、タブレット端末１３０のディスプレイに表示された特定結果を参照して、下水管１７０に発生している損傷を認識する。なお、管渠損傷特定装置１００は、特定した損傷の種類や程度に応じて、アラートを出力してもよい。例えば、進行している損傷や、早急な補修工事が必要な損傷である場合には、管渠損傷特定装置１００は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。

【0022】

図２は、本実施形態に係る管渠損傷特定装置１００の構成を説明するためのブロック図である。管渠損傷特定装置１００は、画像取得部２０１、平面画像生成部２０２、損傷決定部２０３、モデル生成部２０４、画像受付部２０５、平面画像生成部２０６、損傷特定部２０７および出力部２０８を有する。

【0023】

ここで、管渠損傷特定装置１００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ネットワークインターフェース、およびストレージを有する。ここで、ＣＰＵは、演算制御用のプロセッサであり、プログラムを実行することで図２に示した管渠損傷特定装置１００の各機能構成を実現する。ＣＰＵは、複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭは、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインターフェースは、ネットワークを介して他の装置などと通信する。なお、ＣＰＵは、１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Graphics Processing Unit）を含んでもよい。また、ネットワークインターフェースは、ＣＰＵとは独立した他のＣＰＵを有して、ＲＡＭの領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭとストレージとの間でデータを転送するＤＭＡＣ（Direct Memory Access Controller）を設けるのが望ましい。さらに、ＣＰＵは、ＲＡＭにデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵは、処理結果をＲＡＭに準備し、後の送信あるいは転送はネットワークインターフェースやＤＭＡＣに任せる。

【0024】

ＲＡＭは、ＣＰＵが一時記憶のワークエリアとして使用するメモリである。ＲＡＭには、本実施形態の実現に必要なデータを記憶する領域が確保されている。ストレージには、データベースや各種のパラメータ、モジュール、あるいは本実施形態の実現に必要なデータまたはプログラムが記憶されている。例えば、ストレージには、管渠損傷特定装置１００の全体を制御するための制御プログラムが記憶されている。

【0025】

さらに、管渠損傷特定装置１００は、入出力インターフェースをさらに備えてもよい。入出力インターフェースには、表示部、操作部、記憶媒体が接続される。入出力インターフェースには、さらに、音声出力部であるスピーカや、音声入力部であるマイク、あるいはＧＰＳ（Global Positioning System）位置判定部が接続されてもよい。なお、ＲＡＭやストレージには、管渠損傷特定装置１００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータが記憶されていてもよい。

【0026】

画像取得部２０１は、下水管１５０の内周面を撮像した内周面画像１１０を取得する。画像取得部２０１は、自走式検査ロボット１４０の制御部１４１から内周面画像１１０を取得してもよいし、作業員が所持するタブレット端末１３０を経由して取得してもよい。なお、内周面画像１１０は、後の人工知能による学習に用いられる画像である。

【0027】

平面画像生成部２０２は、内周面画像１１０を、内周面画像１１０における任意の位置で切り開いて展開して得られる複数の平面画像を生成する。平面画像生成部２０２は、複数の平面画像の１つとして、内周面画像１１０における下水管１５０の天井部分から切り開いて展開して得られる天井展開平面画像１０１を生成する。

【0028】

また、平面画像生成部２０２は、複数の平面画像の１つとして、内周面画像１１０における下水管１５０の底部部分から切り開いて展開して得られる底部展開平面画像１０２を生成する。さらに、平面画像生成部２０２は、複数の平面画像の１つとして、内周面画像１１０における下水管１５０の側部部分から切り開いて展開して得られる側部展開平面画像１０３を生成する。

【0029】

このように、平面画像生成部２０２は、３種類の平面画像として、天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３を生成する。

【0030】

ここで、図３Ａを参照して、下水管１５０の内周面における損傷の発生傾向について説明する。図３Ａは、本実施形態に係る管渠損傷特定装置１００により特定される損傷の管渠内における発生位置の分布を説明するための図である。Ｘ軸は、左右方向の損傷の位置を示し、Ｙ軸は、上下方向の損傷の位置を示している。

【0031】

分布図３０１は、破損およびクラック、分布図３０２は、浸入水、分布図３０３は、取付管の突出し、分布図３０４は、その他の損傷を示している。各点が、各損傷の発生した位置を示している。また、点の密度が高い場所は、損傷の発生頻度が高いことを示している。

【0032】

破損、クラックおよび浸入水（分布図３０１、分布図３０２）については、上下中央付近には分布が少ないことが分かる。すなわち、下水管１５０の天井部分および底部部分を除く部分、例えば、肩部分や側部部分、下部側部部分に多く分布していることが分かる。取付管の突出し（３０３）については、上下に分布が多いことが分かる。すなわち、下水管１５０の天井部分や底部部分に多く分布していることが分かる。

【0033】

このように、損傷の種類に応じて、出現位置に特徴があり、このような特徴を利用して輪切り画像１４３や内周面画像１１０を切り開いて展開すれば、切り口の位置に損傷が存在する可能性が著しく低下する。そのため、損傷が分断されることにより発生する不具合に対する手当をする手間を省くことが可能となるので、より早く、多く、効率的に画像を人工知能に学習させることができる。

【0034】

次に、図３Ｂを参照して、平面画像生成部２０２による内周面画像１１０の切開位置および展開について説明する。図３Ｂは、本実施形態に係る管渠損傷特定装置１００の平面画像生成部による内周面画像の切開位置および展開について説明するための模式図である。図３（ａ）は、内周面画像１１０の正面図、図３（ｂ）は、内周面画像１１０の斜視図を示している。なお、同図においては、図が煩雑になるのを避けるため、下水管１５０の厚みなどは省略している。

【0035】

図３Ｂ（ａ）に示したように、損傷の種類に応じて、内周面画像１１０の切開位置が変化する。内周面画像１１０の切開位置は、天井部分３１１、底部部分３１２、左側側部部分３１３、右側側部部分３１４の４つの領域に分けられる。なお、左側側部部分３１３および右側側部部分３１４は、下水管１５０の中心軸に対して線対称な関係にある。

【0036】

図３Ｂ（ｂ）に示したように、例えば、平面画像生成部２０２は、コンピュータ上において、ナイフ３１５などの切開ツールを用いて内周面画像１１０（輪切り画像１４３）を切開する。そして、平面画像生成部２０２は、切開された内周面画像１１０を矢印（３１６、３１７）方向に広げるように展開して、２次元の平面画像を得る。具体的には、平面画像生成部２０２は、例えば、下水管１５０に発生した損傷が破損である場合、底部部分３１２または左側側部部分３１３（右側側部部分３１４）で切り開いて展開した底部展開平面画像１０２、側部展開平面画像１０３を生成する。

【0037】

再び図２に戻り、損傷決定部２０３による損傷の決定について説明する。損傷決定部２０３は、天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３を用いて、下水管１５０に発生している損傷を決定する。損傷の種類は、破損、クラック、浸入水、取付管の突出し、木根侵入およびモルタル付着を含む。なお、損傷決定部２０３は、物体検知（Object Detection）を用いて、損傷の発生している領域を検出する。物体検知のアルゴリズムとして、Ｆａｓｔｅｒ Ｒ－ＣＮＮ（Faster Region with Convolution Neural Network）を用いた。

【0038】

ここで、図４Ａ～図４Ｅを参照して、損傷決定部２０３による損傷の決定について具体的に説明する。図４Ａを参照して、損傷が破損およびクラックの場合の損傷の検知について説明する。図４Ａは、本実施形態に係る管渠損傷特定装置１００における損傷（破損・クラック）の決定について説明するための図である。画像４０１は、下水管１５０の内周面に破損またはクラックが発生している状態を示している。ここで、破損は、横方向に入ったひびであり、クラックは、縦方向（周方向）に入ったひびである。

【0039】

下水管１５０に発生している損傷が、破損およびクラックの場合、これらの損傷は、別事象の損傷としてラベル付けを行う。内周面画像１１０において、白または黒い筋を破損またはクラックとする。クラックの場合、ひび割れの方向が縦横混在している場合や、斜めにひび割れしている場合などには、破損として取り扱う。例えば、縦のひび割れの場合、概ね３０°以内の傾きはクラックとして取り扱う。

【0040】

破損個所またはクラック箇所が継手部４１１を跨いで左右に広がっている場合には、損傷決定部２０３は、１つのボックスで損傷を検知しない。損傷決定部２０３は、継手部４１１を境に、ボックスを２つに分割して、２つのボックス４１２、４１３を用いて、２つの損傷として検知する。

【0041】

また、同様に、破損箇所またはクラック箇所が、流水部４１４（下水管１５０の底部）を跨いで上下に広がっている場合には、損傷決定部２０３は、１つのボックスで損傷を検知しない。損傷決定部２０３は、流水部４１４を境にボックスを２つに分割して、２つのボックス４１５、４１６を用いて、２つの損傷として検知し、損傷を決定する。

【0042】

次に、図４Ｂを参照して、狭い範囲に小型の損傷が複数存在する場合の損傷の検知について説明する。図４Ｂは、本実施形態に係る管渠損傷特定装置１００における損傷（破損・クラック）の決定について説明するための他の図である。画像４０２は、狭い範囲に小型の破損またはクラックが発生している状態を示している。

【0043】

狭い範囲に小型の破損等が複数発生している場合、損傷決定部２０３は、図４Ｃ左図に示したように、２つのボックス４２１、４２２を用いて、複数の損傷として取り扱わない。損傷決定部２０３は、図４Ｃ右図に示したように、複数の損傷を１つのボックス４２３で取り囲み、１つの損傷として取り扱う。このように、狭い領域に小型の損傷が複数存在する場合には、これらの損傷をまとめて取り扱うことにより、効率よく損傷を検知し、決定できる。

【0044】

次に、図４Ｃを参照して、損傷が浸入水の場合の損傷の検知について説明する。図４Ｃは、本実施形態に係る管渠損傷特定装置１００における損傷（浸入水）の決定について説明するための図である。画像４０３は、浸入水が発生している状態を示している。画像４０３の上段は、左から順に、黒くにじんだ部分、茶色の部分（土の流出部分）、白色部分（遊離石灰）を示し、これら全てを浸入水として扱う。

【0045】

そして、画像４０３の下段に示したように、浸入水の場合、損傷決定部２０３は、浸入水の中心部分４３１から、同程度の色味が続いている部分までをボックス４３２で囲む。ただし、損傷決定部２０３は、土、遊離石灰の場合には、白色でない部分までをボックス４３２で囲む。より具体的には、損傷決定部２０３は、浸入水の原因となる継手部分や破損部分を中心にボックス４３２で損傷を囲み、物体検知する。例えば、損傷が原因となって浸入水が発生した場合、損傷決定部２０３は、破損および浸入水として決定する。

【0046】

次に、図４Ｄを参照して、損傷が判別の難しい浸入水の場合の損傷の検知について説明する。図４Ｄは、本実施形態に係る管渠損傷特定装置１００における損傷（浸入水）の決定について説明するための他の図である。画像４０４の上段は、左右の継手部分４４２、４４３から浸入水が流出し、２つの浸入水の境界がはっきりしない状態を示している。この場合、損傷決定部２０３は、１つのボックス４４１で浸入水を囲み、１つの損傷として取り扱う。また、画像４０４の下段の２枚の画像に示したように、浸入水のにじみと流水跡との見分けが困難な場合、浸入水の原因と考えられる継手部分または破損部分から延びる浸入水痕と流水跡とが接続しているか否かを判断基準として、ボックス４４４で損傷を取り囲む。

【0047】

最後に、図４Ｅを参照して、小型の浸入水の検知について説明する。図４Ｅは、本実施形態に係る管渠損傷特定装置１００における損傷（浸入水）の決定について説明するためのさらに他の図である。画像４０５は、小型の浸入水を示している。損傷決定部２０３は、小型の浸入水も検知対象とするが、例えば、流水路近辺の小さいもの（大きさから流水路からの這い上がり跡と推測されるもの）や、横幅が小さいものは検知の対象外とする。ただし、ある程度にじみが上に伸びている、またはにじみが分離しかかっているものは検知対象４５１とする。浸入水のような跡があるが、乾いてコントラストが低いものは対象外とする。

【0048】

再び図２に戻る。モデル生成部２０４は、決定された損傷を識別可能な識別子（ＩＤ：Identifier）を付与する。モデル生成部２０４は、識別子として、例えば、損傷の範囲（大きさ）、その損傷の名称、損傷の属性（古い、新しい、色）などを天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３に付与する。なお、この識別子は、天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３に直接付与しても、所定のデータベース等に記憶しておき、適宜読み出すようにしてもよい。

【0049】

そして、モデル生成部２０４は、付与した識別子、決定された損傷とともに天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３を人工知能（ＡＩ：Artificial Intelligence）に入力して、機械学習させる。人工知能による機械学習が終了すると、モデル生成部２０４は、学習済み損傷特定モデルを生成する。なお、モデル生成部２０４は、生成した学習済み損傷特定モデルを所定のストレージ等に保存しておいてもよい。この場合、新たな学習用画像（天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３）を取得して、機械学習を行い、学習済み損傷特定モデルを生成するたびに、保存された学習済み損傷特定モデルを更新するようにしてもよい。

【0050】

また、人工知能による機械学習は、既知のアルゴリズムを用いて行われる。機械学習において、損失関数は、重み指定を行い、事象数の逆数を採用した。また、モデル生成部２０４は、人工知能による機械学習の精度を向上させて、より精度の高い損傷特定モデルを生成するために、人工知能に学習させる内周面画像１１０の数を水増しする。モデル生成部２０４は、例えば、左右反転を用いて水増しデータを得る。さらに、モデル生成部２０４は、人工知能による機械学習の精度を向上させるために、転移学習を用いてもよい。ここで、転移学習とは、異なるデータセットを用いた学習済みモデルを、別の問題に転用し、部分的な学習をすることで、モデルの性能向上を狙う手法である。特に、教師データが十分でない場合に、推論性能の向上と学習時間の低減が期待できる手法でもある。

【0051】

なお、生成された学習済み損傷特定モデルの評価には、再現率（Recall）および適合率（Precision）を用いた。再現率は、再現率＝ＴＰ／（ＴＰ＋ＦＮ）で表され、結果として出てくるべきもののうち、実際に出てきたものの割合を示す。すなわち、取り漏らしがないかに関する指標である（網羅性に関する指標）。適合率は、適合率＝ＴＰ／（ＴＰ＋ＦＰ）で表され、正しかったものの割合を示す。出てきたすべての結果の中に、どれだけ正解が含まれているかの割合を示す指標である（正確性に関する指標）なお、ＴＰ＝真陽性（True Positive）、ＦＰ＝偽陽性（False Positive）、ＦＮ＝偽陰性（False Negative）である。

【0052】

画像受付部２０５は、管渠としての下水管１７０の内周面を撮像した内周面画像１６０を受け付ける。つまり、画像受付部２０５は、制御部１４１が送信した自走式検査ロボット１４０が撮像した内周面画像１６０を受け付ける。内周面画像１６０は、検査対象となる下水管１７０の画像であり、発生している損傷を特定したい下水管である。

【0053】

平面画像生成部２０６は、平面画像生成部２０２と同様に、平面画像を生成する。すなわち、平面画像生成部２０６は、内周面画像１６０を、内周面画像１６０における下水管１７０の天井部分から切り開いて展開して得られる天井展開平面画像１６１を生成する。同様に、平面画像生成部２０６は、内周面画像１６０における下水管１７０の底部部分から切り開いて展開して得られる底部展開平面画像１６２を生成する。さらに、平面画像生成部２０６は、内周面画像１６０における下水管１７０の側部部分から切り開いて展開して得られる側部展開平面画像１６３を生成する。

【0054】

つまり、平面画像生成部２０６は、まず、画像受付部２０５が受け付けた内周面画像１６０から輪切り画像を生成する。そして、平面画像生成部２０６は、輪切り画像から天井展開平面画像１６１、底部展開平面画像１６２および側部展開平面画像１６３を生成する。なお、輪切り画像は、予め自走式検査ロボット１４０において生成しておき、画像受付部２０５は、自走式検査ロボット１４０により生成された輪切り画像を取得してもよい。

【0055】

損傷特定部２０７は、天井展開平面画像１６１、底部展開平面画像１６２、側部展開平面画像１６３および学習済み損傷特定モデルを用いて、下水管１７０に発生している損傷を特定する。損傷特定部２０７による損傷の特定方法は、例えば、図５Ａに示す損傷特定テーブル５００を参照して特定する方法がある。

【0056】

図５Ａは、本実施形態に係る管渠損傷特定装置１００が有する損傷特定テーブル５００の一例を説明するための図である。損傷特定テーブル５００は、損傷の種類５０１に関連付けて管渠材質５０２を記憶する。損傷の種類５０１は、破損、クラック、浸入水、取付管の突出し、木根侵入およびモルタル付着を含む。

【0057】

管渠材質５０２は、コンクリートおよび陶器を含む。例えば、管渠材質５０２が、コンクリートの場合、すなわち、コンクリート管の場合、損傷の種類５０１にある破損として、内部構造の露出、鉄筋露出および錆汁などを含めてもよい。そして、損傷特定部２０７は、損傷特定テーブル５００を参照して、下水管１７０に発生している損傷を特定する。損傷特定テーブル５００に含まれる損傷の種類５０１は、発生頻度が高い損傷や見逃すことのできない損傷を含んでいる。このように、予め管渠の材質と発生する損傷との組み合わせを決めておくことにより、管渠の材質から考えて発生し得ない損傷を排除することができるので、効率的な損傷特定を行うことが可能となる。

【0058】

図５Ｂは、本実施形態に係る管渠損傷特定装置１００が有する切開位置テーブル５１０の一例を説明するための図である。切開位置テーブル５１０は、損傷の種類５０１に関連付けて切開位置５１２を記憶する。切開位置５１２は、内周面画像１１０、１６０において、これらの画像を切り開く位置を示している。平面画像生成部２０２、２０６は、切開位置テーブル５１０を参照して、内周面画像１１０、１６０の切開位置を決定する。

【0059】

再び図２に戻る。出力部２０８は、特定された損傷をタブレット端末１３０などの携帯端末へ出力する。また、作業員は、タブレット端末１３０のディスプレイに表示された特定結果を参照することにより、下水管１７０に発生している損傷を認識できる。出力部２０８は、損傷の種類や進行度合いに応じたアラートを出力してもよい。出力部２０８は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。

【0060】

図６Ａは、本実施形態に係る管渠損傷特定装置１００の処理手順を説明するためのフローチャートである。図６Ｂは、本実施形態に係る管渠損傷特定装置１００の処理手順を説明するための他のフローチャートである。図６Ａおよび図６Ｂに示したフローチャートは、管渠損傷特定装置１００の不図示のＣＰＵ（Central Processing Unit）が、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を用いて実行し、図２に示した管渠損傷特定装置１００の各機能構成を実現する。

【0061】

ステップＳ６０１において、画像取得部２０１は、機械学習用の画像として、下水管１５０の内周面画像１１０を取得する。ステップＳ６０３において、平面画像生成部２０２は、内周面画像１１０を下水管１５０の天井部分、底部部分および側部部分から切り開いて展開した天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３を生成する。ステップＳ６０５において、損傷決定部２０３は、天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３を用いて、下水管１５０に発生している損傷を決定する。

【0062】

ステップＳ６０７において、モデル生成部２０４は、決定された損傷を識別可能な識別子を付与して、決定された損傷とともに天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３とともに人工知能に入力する。ステップＳ６０９において、モデル生成部２０４は、人工知能による機械学習が終了したか否かを判定する。人工知能による機械学習が終了していないと判定した場合（ステップＳ６０９のＮＯ）、モデル生成部２０４は、人工知能による機械学習を継続させる。人工知能による機械学習が終了したと判定された場合（ステップＳ６０９のＹＥＳ）、管渠損傷特定装置１００は、ステップＳ６１１へ進む。ステップＳ６１１において、モデル生成部２０４は、学習済み損傷特定モデルを生成する。

【0063】

ステップＳ６３１において、画像受付部２０５は、下水管１７０の内周面を撮像した内周面画像１６０を受け付ける。ステップＳ６３３において、平面画像生成部２０６は、内周面画像１６０を下水管１７０の天井部分、底部部分および側部部分から切り開いて展開した天井展開平面画像１６１、底部展開平面画像１６２および側部展開平面画像１６３を生成する。ステップＳ６３５において、天井展開平面画像１６１、底部展開平面画像１６２、側部展開平面画像１６３および生成した学習済み損傷特定モデルを用いて、下水管１７０に発生している損傷を特定する。

【0064】

ステップＳ６３７において、出力部２０８は、特定結果を出力する。ステップＳ５３９において、管渠損傷特定装置１００は、受付した全ての内周面画像１６０について、損傷の特定が終了しているか否かを判定する。受付した全ての内周面画像１６０の損傷の特定が終了していないと判定した場合（ステップＳ５３９のＮＯ）、管渠損傷特定装置１００は、ステップＳ５３３へ戻る。受付した全ての内周面画像１６０の損傷の特定が終了したと判定した場合（ステップＳ５３９のＹＥＳ）、管渠損傷特定装置１００は、処理を終了する。

【0065】

本実施形態によれば、損傷の種類に応じて、内周面画像の切り開き方を変え、人工知能に学習させるので、効率よく、短時間で学習ができ、精度の高い学習済み損傷特定モデルを生成でき、精度高く損傷を特定できる。

【0066】

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

【0067】

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5A】

【図5B】

【図6A】

【図6B】