特許 7544631 管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-26

(45)【発行日】2024-09-03

(54)【発明の名称】管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240827BHJP

【ＦＩ】

G06T7/00 610Z

【請求項の数】 18

(21)【出願番号】P 2021041887

(22)【出願日】2021-03-15

(65)【公開番号】P2022141531

(43)【公開日】2022-09-29

【審査請求日】2023-05-31

(73)【特許権者】

【識別番号】000140292

【氏名又は名称】株式会社奥村組

(73)【特許権者】

【識別番号】394026714

【氏名又は名称】株式会社ジャスト

(74)【代理人】

【識別番号】110002170

【氏名又は名称】弁理士法人翔和国際特許事務所

(72)【発明者】

【氏名】岩下 将也

(72)【発明者】

【氏名】山口 治

(72)【発明者】

【氏名】角田 賢明

(72)【発明者】

【氏名】岡田 一哉

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２０１７－１９４８１３（ＪＰ，Ａ）

【文献】特開２０１２－１５９４９１（ＪＰ，Ａ）

【文献】韓国登録特許第１０－２００８９７３（ＫＲ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０１Ｎ ２１／９５４

(57)【特許請求の範囲】

【請求項1】

第１管渠の内周面を所定ピッチごとの決められた位置で前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得部と、
前記第１軸方向内周面画像の撮像前に、前記第１軸方向内周面画像を撮像するための撮像部の中心軸と、前記第１管渠の中心軸とが合致するように、作業員により前記撮像部を前記第１管渠にセットして、前記第１軸方向内周面画像の撮像を開始し、前記撮像部の焦点位置に基づいて、前記第１軸方向内周面画像における前記第１管渠の中心軸と前記第１軸方向内周面画像を撮像した前記撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出部と、
検出した前記軸ずれに基づいて、前記第１管渠に発生している第１変位の発生箇所を決定する変位決定部と、
決定された前記第１変位を識別可能な識別子を付与して、決定された前記第１変位とともに前記第１軸方向内周面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成部と、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付部と、
前記第２軸方向内周面画像と前記学習済み変位特定モデルとを用いて、前記第２管渠に発生している第２変位を特定する変位特定部と、
を備えた管渠損傷特定装置。

【請求項2】

前記変位決定部は、前記軸ずれの開始位置と、前記軸ずれの解消位置とに基づいて、前記第１変位の範囲を決定する範囲決定部をさらに有し、
前記モデル生成部は、前記第１変位の範囲をさらに人工知能に学習させて前記学習済み変位特定モデルを生成する、請求項１に記載の管渠損傷特定装置。

【請求項3】

前記軸ずれの大きさに基づいて、前記第１変位のランクを決定するランク決定部をさらに備えた請求項１または２に記載の管渠損傷特定装置。

【請求項4】

前記第１変位のランクは、前記第１管渠の管径に応じて決定される請求項１～３のいずれか１項に記載の管渠損傷特定装置。

【請求項5】

前記第１変位は、前記第１管渠のたるみおよび隆起である請求項１～４のいずれか１項に記載の管渠損傷特定装置。

【請求項6】

前記第１管渠および前記第２管渠は、下水管である請求項１～５のいずれか１項に記載の管渠損傷特定装置。

【請求項7】

前記モデル生成部は、水増しデータとして、左右反転画像を用いて前記学習済み損傷特定モデルを生成する請求項１～６のいずれか１項に記載の管渠損傷特定装置。

【請求項8】

前記モデル生成部は、転移学習を用いて前記学習済みモデルを生成する請求項１～７のいずれか１項に記載の管渠損傷特定装置。

【請求項9】

第１管渠の内周面を所定ピッチごとの決められた位置で前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得部と、
前記第１軸方向内周面画像の撮像前に、前記第１軸方向内周面画像を撮像するための撮像部の中心軸と、前記第１管渠の中心軸とが合致するように、作業員により前記撮像部を前記第１管渠にセットして、前記第１軸方向内周面画像の撮像を開始し、前記撮像部の焦点位置に基づいて、前記第１軸方向内周面画像における前記第１管渠の中心軸と前記第１軸方向内周面画像を撮像した前記撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出部と、
取得した前記第１軸方向内周面画像を前記第１軸方向内周面画像の天井部分から切り開いて展開して得られる第１天井展開平面画像を生成する第１平面画像生成部と、
検出した前記軸ずれと、前記第１天井展開平面画像とに基づいて、前記第１管渠に発生している第１変位の発生箇所を決定する変位決定部と、
決定された前記第１変位を識別可能な識別子を付与して、決定された前記第１変位とともに前記第１軸方向内周面画像および前記第１天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成部と、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付部と、
前記第２軸方向内周面画像を前記第２軸方向内周面画像の天井部分から切り開いて展開して得られる第２天井展開平面画像を生成する第２平面画像生成部と、
前記第２軸方向内周面画像と、前記第２天井展開平面画像と、前記学習済み変位特定モデルとを用いて、前記第２管渠に発生している第２変位を特定する変位特定部と、
を備えた管渠損傷特定装置。

【請求項10】

前記第１軸方向内周面画像において、前記軸ずれの開始位置と、前記軸ずれの解消位置とに基づいて、前記第１変位の範囲を決定し、
前記第１天井展開平面画像において、前記第１天井展開平面画像の長手方向に垂直な方向への水または水跡の広がりの大きさから、前記第１変位の範囲を決定する、範囲決定部をさらに有し、
前記モデル生成部は、前記第１変位の範囲をさらに人工知能に学習させて前記学習済み変位特定モデルを生成する、請求項９に記載の管渠損傷特定装置。

【請求項11】

前記第１変位は、前記第１管渠のたるみおよび隆起である請求項９または１０に記載の管渠損傷特定装置。

【請求項12】

前記第１管渠および前記第２管渠は、下水管である請求項９～１１のいずれか１項に記載の管渠損傷特定装置。

【請求項13】

前記モデル生成部は、水増しデータとして、左右反転画像を用いて前記学習済み損傷特定モデルを生成する請求項９～１２のいずれか１項に記載の管渠損傷特定装置。

【請求項14】

前記モデル生成部は、転移学習を用いて前記学習済みモデルを生成する請求項９～１３のいずれか１項に記載の管渠損傷特定装置。

【請求項15】

第１管渠の内周面を所定ピッチごとの決められた位置で前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得ステップと、
前記第１軸方向内周面画像の撮像前に、前記第１軸方向内周面画像を撮像するための撮像部の中心軸と、前記第１管渠の中心軸とが合致するように、作業員により前記撮像部を前記第１管渠にセットして、前記第１軸方向内周面画像の撮像を開始し、前記撮像部の焦点位置に基づいて、前記第１軸方向内周面画像における前記第１管渠の中心軸と前記第１軸方向内周面画像を撮像した前記撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出ステップと、
検出した前記軸ずれに基づいて、前記第１管渠に発生している第１変位の発生箇所を決定する変位決定ステップと、
決定された前記第１変位を識別可能な識別子を付与して、決定された前記第１変位とともに前記第１軸方向内周面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付ステップと、
前記第２軸方向内周面画像と前記学習済み変位特定モデルとを用いて、前記第２管渠に発生している第２変位を特定する変位特定ステップと、
を含む管渠損傷特定方法。

【請求項16】

第１管渠の内周面を所定ピッチごとの決められた位置で前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得ステップと、
前記第１軸方向内周面画像の撮像前に、前記第１軸方向内周面画像を撮像するための撮像部の中心軸と、前記第１管渠の中心軸とが合致するように、作業員により前記撮像部を前記第１管渠にセットして、前記第１軸方向内周面画像の撮像を開始し、前記撮像部の焦点位置に基づいて、前記第１軸方向内周面画像における前記第１管渠の中心軸と前記第１軸方向内周面画像を撮像した前記撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出ステップと、
検出した前記軸ずれに基づいて、前記第１管渠に発生している第１変位の発生箇所を決定する変位決定ステップと、
決定された前記第１変位を識別可能な識別子を付与して、決定された前記第１変位とともに前記第１軸方向内周面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付ステップと、
前記第２軸方向内周面画像と前記学習済み変位特定モデルとを用いて、前記第２管渠に発生している第２変位を特定する変位特定ステップと、
をコンピュータに実行させる管渠損傷特定プログラム。

【請求項17】

第１管渠の内周面を所定ピッチごとの決められた位置で前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得ステップと、
前記第１軸方向内周面画像の撮像前に、前記第１軸方向内周面画像を撮像するための撮像部の中心軸と、前記第１管渠の中心軸とが合致するように、作業員により前記撮像部を前記第１管渠にセットして、前記第１軸方向内周面画像の撮像を開始し、前記撮像部の焦点位置に基づいて、前記第１軸方向内周面画像における前記第１管渠の中心軸と前記第１軸方向内周面画像を撮像した前記撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出ステップと、
取得した前記第１軸方向内周面画像を前記第１軸方向内周面画像の天井部分から切り開いて展開して得られる第１天井展開平面画像を生成する平面画像生成ステップと、
検出した前記軸ずれと、前記第１天井展開平面画像とに基づいて、前記第１管渠に発生している第１変位の発生箇所を決定する変位決定ステップと、
決定された前記第１変位を識別可能な識別子を付与して、決定された前記第１変位とともに前記第１軸方向内周面画像および前記第１天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付ステップと、
前記第２軸方向内周面画像を前記第２軸方向内周面画像の天井部分から切り開いて展開して得られる第２天井展開平面画像を生成する第２平面画像生成ステップと、
前記第２軸方向内周面画像と、前記第２天井展開平面画像と、前記学習済み変位特定モデルとを用いて、前記第２管渠に発生している第２変位を特定する変位特定ステップと、
を含む管渠損傷特定方法。

【請求項18】

第１管渠の内周面を所定ピッチごとの決められた位置で前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得ステップと、
前記第１軸方向内周面画像の撮像前に、前記第１軸方向内周面画像を撮像するための撮像部の中心軸と、前記第１管渠の中心軸とが合致するように、作業員により前記撮像部を前記第１管渠にセットして、前記第１軸方向内周面画像の撮像を開始し、前記撮像部の焦点位置に基づいて、前記第１軸方向内周面画像における前記第１管渠の中心軸と前記第１軸方向内周面画像を撮像した前記撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出ステップと、
取得した前記第１軸方向内周面画像を前記第１軸方向内周面画像の天井部分から切り開いて展開して得られる第１天井展開平面画像を生成する平面画像生成ステップと、
検出した前記軸ずれと、前記第１天井展開平面画像とに基づいて、前記第１管渠に発生している第１変位の発生箇所を決定する変位決定ステップと、
決定された前記第１変位を識別可能な識別子を付与して、決定された前記第１変位とともに前記第１軸方向内周面画像および前記第１天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付ステップと、
前記第２軸方向内周面画像を前記第２軸方向内周面画像の天井部分から切り開いて展開して得られる第２天井展開平面画像を生成する第２平面画像生成ステップと、
前記第２軸方向内周面画像と、前記第２天井展開平面画像と、前記学習済み変位特定モデルとを用いて、前記第２管渠に発生している第２変位を特定する変位特定ステップと、
をコンピュータに実行させる管渠損傷特定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラムに関し、特に、コンピュータに組み込まれた画像解析プログラムおよび人工知能による特定結果から管渠の損傷を特定する装置に関する。

【背景技術】

【0002】

インフラ構造物の老朽化は加速度的に進んでおり，維持管理・更新の必要性は，今後さらに増大していくと言われている。労働人口が減り続ける中、維持管理・更新にかかる労務の効率化は喫緊の課題となっている。維持管理・更新にかかる労務の効率化の実現に向け、近年著しく性能が向上している人工知能（ＡＩ）による画像認識技術を適用する研究事例が増えている。深層学習と呼ばれる高度なニューラルネットワークを用いれば、従来では困難であった人間の直感に近い画像認識が実現でき損傷部位の目視点検の補助や代替が期待できる。

【0003】

一方、管渠などインフラ構造物の検査においては、例えば、特許文献１および特許文献２に記載の技術のように、調査対象の流路管内に投入する装置本体に、テレビカメラ等の撮影装置や蛍光灯等の照明装置を搭載し、撮影装置により撮影した管内画像をもとに損傷などの調査を行っていた。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平５－３４６０２７号公報

【文献】特開平７－２１６９７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記文献に記載の技術では、撮像した管内画像を作業員が目で見て調査を行うものであり、見落としや見誤りが発生しやすく、管渠に発生した変位を特定することが困難であった。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る管渠損傷特定装置は、
第１管渠の内周面を所定ピッチごとの決められた位置で前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得部と、
前記第１軸方向内周面画像における前記第１管渠の中心軸と前記第１軸方向内周面画像を撮像した撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出部と、
検出した前記軸ずれに基づいて、前記第１管渠に発生している第１変位の発生箇所を決定する変位決定部と、
決定された前記第１変位を識別可能な識別子を付与して、決定された前記第１変位とともに前記第１軸方向内周面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成部と、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付部と、
前記第２軸方向内周面画像と前記学習済み変位特定モデルとを用いて、前記第２管渠に発生している第２変位を特定する変位特定部と、
を備えた。

【0007】

また、上記目的を達成するため、本発明に係る管渠損傷特定装置は、
第１管渠の内周面を所定ピッチごとの決められた位置で前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得部と、
取得した前記第１軸方向内周面画像を前記第１軸方向内周面画像の天井部分から切り開いて展開して得られる第１天井展開平面画像を生成する第１平面画像生成部と、
前記第１天井展開平面画像を用いて、前記第１管渠に発生している第１変位の発生箇所を決定する変位決定部と、
決定された前記第１変位を識別可能な識別子を付与して、決定された前記第１変位とともに前記第１天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成部と、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付部と、
前記第２軸方向内周面画像を前記第２軸方向内周面画像の天井部分から切り開いて展開して得られる第２天井展開平面画像を生成する第２平面画像生成部と、
前記第２天井展開平面画像と前記学習済み変位特定モデルとを用いて、前記第２管渠に発生している第２変位を特定する変位特定部と、
を備えた。

【0008】

さらにまた、上記目的を達成するため、本発明に係る管渠損傷特定装置は、
第１管渠の内周面を所定ピッチごとの決められた位置で前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得部と、
前記第１軸方向内周面画像における前記第１管渠の中心軸と前記第１軸方向内周面画像を撮像した撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出部と、
取得した前記第１軸方向内周面画像を前記第１内周面画像の天井部分から切り開いて展開して得られる第１天井展開平面画像を生成する第１平面画像生成部と、
検出した前記軸ずれと、前記第１天井展開平面画像とに基づいて、前記第１管渠に発生している第１変位の発生箇所を決定する変位決定部と、
決定された前記第１変位を識別可能な識別子を付与して、決定された前記第１変位とともに前記第１軸方向内周面画像および前記第１天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成部と、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付部と、
前記第２軸方向内周面画像を前記第２軸方向内周面画像の天井部分から切り開いて展開して得られる第２天井展開平面画像を生成する第２平面画像生成部と、
前記第２軸方向内周面画像と、前記第２天井展開平面画像と、前記学習済み変位特定モデルとを用いて、前記第２管渠に発生している第２変位を特定する変位特定部と、
を備えた。

【0009】

上記目的を達成するため、本発明に係る管渠損傷特定方法は、
第１管渠の内周面を所定ピッチごとの決められた位置で前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得ステップと、
前記第１軸方向内周面画像における前記第１管渠の中心軸と前記第１軸方向内周面画像を撮像した撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出ステップと、
検出した前記軸ずれに基づいて、前記第１管渠に発生している第１変位の発生箇所を決定する変位決定ステップと、
決定された前記第１変位を識別可能な識別子を付与して、決定された前記第１変位とともに前記第１軸方向内周面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付ステップと、
前記第２軸方向内周面画像と前記学習済み変位特定モデルとを用いて、前記第２管渠に発生している第２変位を特定する変位特定ステップと、
を含む。

【0010】

また、上記目的を達成するため、本発明に係る管渠損傷特定方法は、
第１管渠の内周面を所定ピッチごとの決められた位置で前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得ステップと、
取得した前記第１軸方向内周面画像を前記第１軸方向内周面画像の天井部分から切り開いて展開して得られる第１天井展開平面画像を生成する第１平面画像生成ステップと、
前記第１天井展開平面画像を用いて、前記第１管渠に発生している第１変位の発生箇所を決定する変位決定ステップと、
決定された前記第１変位を識別可能な識別子を付与して、決定された前記第１変位とともに前記第１天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付ステップと、
前記第２軸方向内周面画像を前記第２軸方向内周面画像の天井部分から切り開いて展開して得られる第２天井展開平面画像を生成する第２平面画像生成ステップと、
前記第２天井展開平面画像と前記学習済み変位特定モデルとを用いて、前記第２管渠に発生している第２変位を特定する変位特定ステップと、
を含む。

【0011】

さらにまた、上記目的を達成するため、本発明に係る管渠損傷特定方法は、
第１管渠の内周面を所定ピッチごとの決められた位置で前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得ステップと、
前記第１軸方向内周面画像における前記第１管渠の中心軸と前記第１軸方向内周面画像を撮像した撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出ステップと、
取得した前記第１軸方向内周面画像を前記第１軸方向内周面画像の天井部分から切り開いて展開して得られる第１天井展開平面画像を生成する平面画像生成ステップと、
検出した前記軸ずれと、前記第１天井展開平面画像とに基づいて、前記第１管渠に発生している第１変位の発生箇所を決定する変位決定ステップと、
決定された前記第１変位を識別可能な識別子を付与して、決定された前記第１変位とともに前記第１軸方向内周面画像および前記第１天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付ステップと、
前記第２軸方向内周面画像を前記第２軸方向内周面画像の天井部分から切り開いて展開して得られる第２天井展開平面画像を生成する第２平面画像生成ステップと、
前記第２軸方向内周面画像と、前記第２天井展開平面画像と、前記学習済み変位特定モデルとを用いて、前記第２管渠に発生している第２変位を特定する変位特定ステップと、
を含む。

【0012】

上記目的を達成するため、本発明に係る管渠損傷特定プログラムは、
第１管渠の内周面を所定ピッチごとの決められた位置で前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得ステップと、
前記第１軸方向内周面画像における前記第１管渠の中心軸と前記第１軸方向内周面画像を撮像した撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出ステップと、
検出した前記軸ずれに基づいて、前記第１管渠に発生している第１変位の発生箇所を決定する変位決定ステップと、
決定された前記第１変位を識別可能な識別子を付与して、決定された前記第１変位とともに前記第１軸方向内周面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付ステップと、
前記第２軸方向内周面画像と前記学習済み変位特定モデルとを用いて、前記第２管渠に発生している第２変位を特定する変位特定ステップと、
をコンピュータに実行させる。

【0013】

さらに、上記目的を達成するため、本発明に係る管渠損傷特定プログラムは、
第１管渠の内周面を所定ピッチごとの決められた位置で前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得ステップと、
取得した前記第１軸方向内周面画像を前記第１軸方向内周面画像の天井部分から切り開いて展開して得られる第１天井展開平面画像を生成する第１平面画像生成ステップと、
前記第１天井展開平面画像を用いて、前記第１管渠に発生している第１変位の発生箇所を決定する変位決定ステップと、
決定された前記第１変位を識別可能な識別子を付与して、決定された前記第１変位とともに前記第１天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付ステップと、
前記第２軸方向内周面画像を前記第２軸方向内周面画像の天井部分から切り開いて展開して得られる第２天井展開平面画像を生成する第２平面画像生成ステップと、
前記第２天井展開平面画像と前記学習済み変位特定モデルとを用いて、前記第２管渠に発生している第２変位を特定する変位特定ステップと、
をコンピュータに実行させる。

【0014】

さらにまた、上記目的を達成するため、本発明に係る管渠損傷特定プログラムは、
第１管渠の内周面を所定ピッチごとの決められた位置で前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得ステップと、
前記第１軸方向内周面画像における前記第１管渠の中心軸と前記第１軸方向内周面画像を撮像した撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出ステップと、
取得した前記第１軸方向内周面画像を前記第１軸方向内周面画像の天井部分から切り開いて展開して得られる第１天井展開平面画像を生成する平面画像生成ステップと、
検出した前記軸ずれと、前記第１天井展開平面画像とに基づいて、前記第１管渠に発生している第１変位の発生箇所を決定する変位決定ステップと、
決定された前記第１変位を識別可能な識別子を付与して、決定された前記第１変位とともに前記第１軸方向内周面画像および前記第１天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付ステップと、
前記第２軸方向内周面画像を前記第２軸方向内周面画像の天井部分から切り開いて展開して得られる第２天井展開平面画像を生成する第２平面画像生成ステップと、
前記第２軸方向内周面画像と、前記第２天井展開平面画像と、前記学習済み変位特定モデルとを用いて、前記第２管渠に発生している第２変位を特定する変位特定ステップと、
をコンピュータに実行させる。

【発明の効果】

【0015】

本発明に係る管渠損傷特定装置によれば、人工知能による機械学習を用いて管渠に発生した変位を特定するモデルを生成するので、より精度高く管渠に発生した変位を特定することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の第１実施形態に係る管渠損傷特定装置による処理の概要を説明するための図である。

【図2】本発明の第１実施形態に係る管渠損傷特定装置の構成を説明するためのブロック図である。

【図3】本発明の第１実施形態に係る管渠損傷特定装置が有するランクテーブルの一例を説明するための図である。

【図4】本発明の第１実施形態に係る管渠損傷特定装置のハードウェア構成を説明するためのブロック図である。

【図5】本発明の第１実施形態に係る管渠損傷特定装置の処理手順を説明するためのフローチャートである。

【図6】本発明の第２実施形態に係る管渠損傷特定装置による処理の概要を説明するための図である。

【図7】本発明の第２実施形態に係る管渠損傷特定装置の構成を説明するためのブロック図である。

【図8】本発明の第２実施形態に係る管渠損傷特定装置が有する変位決定テーブルの一例を説明するための図である。

【図9】本発明の第２実施形態に係る管渠損傷特定装置のハードウェア構成を説明するためのブロック図である。

【図10】本発明の第２実施形態に係る管渠損傷特定装置の処理手順を説明するためのフローチャートである。

【図11】本発明の第３実施形態に係る管渠損傷特定装置の構成を説明するためのブロック図である。

【図12】本発明の第３実施形態に係る管渠損傷特定装置の処理手順を説明するためのフローチャートである。

【発明を実施するための形態】

【0017】

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明する。ただし、以下の実施形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。

【0018】

［第１実施形態］
本発明の第１実施形態としての管渠損傷特定装置１００について、図１～図５を参照して説明する。管渠損傷特定装置１００は、管渠の軸方向に撮像した管渠の内周面の画像から、管渠の中心軸と撮像部の中心軸との軸ずれから管渠に発生している変位を特定する装置である。図１は、管渠損傷特定装置１００による、管渠に発生している変位の特定の概要について説明するための図である。

【0019】

ここで、管渠とは、水路の総称であり、給水、排水を目的として作られる水路全体を指す。例えば、上水管、下水管、給水管などが含まれる。本実施形態においては、管渠として下水管１５０（下水管１７０）を例に説明をする。また、管渠の材質としては、コンクリート、陶器、鉄、塩化ビニルなどが含まれ、管渠の種類としては、コンクリート管、コンクリートヒューム管、陶管、鉄管、塩化ビニル管などが含まれる。

【0020】

また、変位は、管渠に発生したたるみおよび隆起が含まれる。ここで、変位としての管渠のたるみとは、陥没などにより管渠の一部が沈み込んで、谷となった部分に水が溜まっている状態をいう（下方向に向かうたるみ）。また、変位としての管渠の隆起とは、地震などにより管渠の一部に下方から上方、すなわち、地上へ向かう強い力が加わることにより、管渠が上方（地上）へ向けて変位している状態をいう（上方向に向かうたるみ）。

【0021】

なお、以下の説明では、管渠として、下水管１５０（下水管１７０）を例に説明をする。下水管１５０の管径（内径）は、作業員が下水管１５０内に入って作業することが困難な程度の大きさであり、例えば、２００ｍｍ～３０００ｍｍの下水管１５０であるが、下水管１５０の管径は、これには限定されない。

【0022】

下水管１５０，１７０の内部の検査においては、自走式検査ロボット１４０のカメラ１４２で撮像した下水管１５０の内周面の画像を用いた検査が行われている。ここで、下水管１５０の内周面画像は、下水管１５０の軸方向（中心軸１５１方向）に撮像した軸方向内周面画像１１０（１６０）となっている。下水管１５０の軸方向は、下水管１５０の敷設方向に垂直な面における下水管１５０の円形断面の中心軸の方向、つまり、下水管１５０の敷設方向（走行方向）に沿った方向である。

【0023】

そして、作業員は、下水管１５０の外部に設置されたディスプレイなどを用いて、カメラ１４２で撮像した画像を確認し、下水管１５０にたるみや隆起などの変位が発生しているか否かの検査を行う。制御部１４１は、自走式検査ロボット１４０の自走速度や撮影スケジュール、撮像条件を制御したり、管渠損傷特定装置１００や作業員が所持するタブレット端末１３０との間の通信を制御したりする。作業員は、例えば、タブレット端末１３０にインストールされた操作用アプリケーションを用いて、自走式検査ロボット１４０を操作する。なお、自走式検査ロボット１４０が入れないような、管径の小さな下水管の場合、自走式検査ロボット１４０の代わりに、ファイバースコープなどの超小型検査装置を用いてもよい。

【0024】

そして、制御部１４１は、カメラ１４２で撮像した軸方向内周面画像１１０（１６０）を、管渠損傷特定装置１００に送信する。なお、軸方向内周面画像１１０は、人工知能による機械学習のための画像であり、軸方向内周面画像１６０は、損傷を特定したい下水管１７０の内周面画像である。また、カメラ１４２は、通常のカメラ、広角カメラ、全周カメラのいずれであってもよい。広角カメラの場合、１周分の画像を複数回に分けて撮像し、撮像した複数枚の画像を繋いで軸方向内周面画像１１０（１６０）を生成してもよい。

【0025】

また、軸方向内周面画像１１０（１６０）は、所定のピッチ（例えば、０．１ｍ）ごとに決められた位置で下水管１５０（１７０）の軸方向に撮像された画像である。例えば、下水管１５０の継手から継手の間を１ユニットとした場合に、１ユニットごとに撮像した画像（軸方向内周面画像１１０（１６０））を輪切りにして、輪切り画像１４３を得て、これらを繋ぎ合わせることで軸方向内周面画像１１０（１６０）を生成してもよい。

【0026】

そして、本実施形態においては、まず初めに、下水管１５０の内周面画像の撮像前に、自走式検査ロボット１４０の撮像部としてのカメラ１４２の中心軸と下水管１５０の中心軸１５１とが合致するように、自走式検査ロボット１４０を下水管１５０にセットする。そして、自走式検査ロボット１４０を走行させながら、検査対象範囲の下水管１５０の内周面を撮像する。

【0027】

下水管１５０に変位が発生していない正常区間１５２（直線区間）においては、カメラ１４２の焦点は無限遠に合うこととなるが、下水管１５０に変位（例えば、たるみ）が発生している変位区間１５３においては、カメラの１４２の焦点は下水管１５０の天井部分１５４に焦点が合うこととなる。また、下水管１５０に変位として隆起が発生している場合には、カメラ１４２の焦点は下水管１５０の底部部分１５５に合うこととなる。つまり、自走式検査ロボット１４０が、下水管１５０に変位が発生していない正常区間１５２を走行している間は、カメラ１４２で撮像した画像の中心には、下水管１５０の最奥部が写ることとなる。

【0028】

しかしながら、自走式検査ロボット１４０の先に下水管１５０のたるみ部分、つまり、下水管１５０が下方に向けて変位している部分が存在すると、それまで、下水管１５０の無限遠がカメラ１４２に写っていたものが、下水管１５０の天井部分にカメラ１４２の焦点が合うようになる。例えば、カメラ１４２の画像をディスプレイ等で見ている作業員には、自走式検査ロボット１４０が下水管１５０のたるみ部分に近づくにつれて、カメラ１４２に写っている下水管１５０の内周面の天井部分が、カメラ１４２で撮像している映像を映しているディスプレイ上において、カメラ１４２の中心に向かって移動してくるように見える。

【0029】

つまり、検査の初期状態において、カメラ１４２の中心軸と下水管１５０の中心軸とは、合致していたが、下水管１５０の変位の存在のために、カメラ１４２の中心軸と下水管１５０の中心軸とにずれが生じるようになる。

【0030】

このように、下水管１５０の中心軸とカメラ１４２の中心軸とがずれ始めた位置と、２つの中心軸が再度重なる位置との間が、下水管１５０がたるんでいる区間であることが分かる。管渠損傷特定装置１００は、２つの中心軸のずれに基づいて、下水管１５０に発生しているたるみなどの変位の発生箇所を決定する。つまり、２つの中心軸のずれの開始位置とずれの解消位置との間が、下水管１５０の変位箇所であることが分かるので、管渠損傷特定装置１００は、この区間を下水管１５０の変位発生箇所とする。

【0031】

そして、管渠損傷特定装置１００は、変位の発生箇所を決定した軸方向内周面画像１１０に変位位置や変位の大きさなどを示すメタデータなどの識別子を付与して教師データを作成する。管渠損傷特定装置１００は、作成した教師データを人工知能に学習させて、下水管などの管渠に発生したたるみや隆起などの変位を特定するための学習済み変位特定モデルを生成する。

【0032】

次に、管渠損傷特定装置１００による変位の特定について説明する。管渠損傷特定装置１００は、変位を特定したい下水管１７０の軸方向内周面画像１６０について、学習済み変位特定モデルを用いて、下水管１７０に発生している変位や変位の大きさ（程度）などを特定する。

【0033】

特定された変位は、例えば、作業員が所持するタブレット端末１３０などの携帯端末に出力される。作業員は、タブレット端末１３０のディスプレイに表示された特定結果を参照して、下水管１７０に発生している変位を認識する。なお、管渠損傷特定装置１００は、特定した変位の種類や程度に応じて、アラートを出力してもよい。例えば、たるみや隆起の程度が大きい場合など、早急な補修工事が必要な変位であれば、管渠損傷特定装置１００は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。

【0034】

次に図２を参照して、管渠損傷特定装置１００の構成について説明する。管渠損傷特定装置１００は、画像取得部２０１、軸ずれ検出部２０２、変位決定部２０３、ランク決定部２０４およびモデル生成部２０５を有する。管渠損傷特定装置１００は、画像受付部２０６および変位特定部２０７をさらに有する。

【0035】

画像取得部２０１は、下水管１５０の内周面を所定のピッチごとの決められた位置で下水管１５０の軸方向に撮像した軸方向内周面画像１１０を取得する。画像取得部２０１は、自走式検査ロボット１４０のカメラ１４２で撮像した軸方向内周面画像１１０を制御部１４１から取得してもよいし、作業員が所持するタブレット端末１３０などを経由して軸方向内周面画像１１０を取得してもよい。なお、軸方向内周面画像１１０は、後の人工知能による機械学習に用いられる画像である。ここで、所定ピッチは、例えば、１０ｃｍであるがこれには限定されない。軸方向内周面画像１１０は、自走式検査ロボット１４０が１０ｃｍ進むごとに撮像された画像である。

【0036】

軸ずれ検出部２０２は、軸方向内周面画像１１０における下水管１５０の中心軸と軸方向内周面画像１１０を撮像したカメラ１４２の中心軸とがずれる軸ずれを検出する。軸ずれは、下水管１５０の高さ方向（上下方向）のずれであり、例えば、下水管１５０にたるみが発生している場合、下水管１５０の天井部分が下方向に下がるので、カメラ１４２の中心軸と下水管１５０の中心軸とがずれる。同様に、下水管１５０に隆起が発生している場合、下水管１５０の底部部分が上方向にせり上がるので、カメラ１４２の中心軸と下水管１５０の中心軸とがずれる。軸ずれ検出部２０２は、このような下水管１５０に発生した変位に起因する２つの中心軸の軸ずれを検出する。

【0037】

変位決定部２０３は、軸ずれ検出部２０２により検出した軸ずれに基づいて、下水管１５０に発生している変位の発生箇所を決定する。例えば、変位決定部２０３は、軸ずれの開始位置と終了位置とに基づいて、変位の発生箇所を決定するが、軸ずれが継続している距離と管径（下水管１５０の内径）との関係をも加味して変位箇所を決定する。つまり、例えば、軸ずれが発生している箇所の距離（軸ずれ継続距離）が、管径よりも短いような場合には、変位決定部２０３は、当該箇所は、変位箇所ではないとしてもよい。また、軸ずれ量が管径に対して極端に小さい場合なども同様に、変位決定部２０３は、当該箇所は、変位箇所ではないとしてもよい。このように、変位決定部２０３は、軸ずれ継続距離および軸ずれ量と管径との関係に基づいて、変位の発生箇所を決定することにより、変位発生箇所決定の精度を上げている。

【0038】

ランク決定部２０４は、軸ずれの大きさに基づいて、下水管１５０に発生している変位のランクを決定する。ランクは、下水管１５０の管径（管渠の内径）に応じて決定される。ランク決定部２０４は、例えば、管径が７００ｍｍ未満の場合、変位が、（Ａ）内径以上、（Ｂ）内径の１／２以上、（Ｃ）内径の１／２未満のように、Ａ～Ｃの３段階でランク付けする。また、ランク決定部２０４は、例えば、管径が７００ｍｍ以上１，６５０ｍｍ未満の場合、変位が、（Ａ）内径の１／２以上、（Ｂ）内径の１／４以上、内径の１／４未満のように、Ａ～Ｃの３段階でランク付けする。さらに、ランク決定部２０４は、例えば、管径が１，６５０ｍｍ以上３，０００ｍｍ以下の場合、変位が、（Ａ）内径の１／４以上、（Ｂ）内径の１／８以上、内径の１／８未満のように、Ａ～Ｃの３段階でランク付けする。

【0039】

モデル生成部２０５は、決定された変位を識別可能な識別子を付与して、決定された変位とともに軸方向内周面画像１１０を人工知能に学習させて、学習済み変位特定モデルを生成する。モデル生成部２０５は、例えば、変位としてたるみが発生している箇所に対して、軸方向内周面画像１１０にたるみであることを表す識別子を付与し、変位として隆起が発生している箇所に対して、軸方向内周面画像１１０に隆起であることを表す識別子を付与する。モデル生成部２０５は、変位を識別可能な識別子の他にも、決定したランクを識別可能な識別子を付与してもよい。なお、これらの識別子は、軸方向内周面画像１１０に直接付与する例で説明をしたが、識別子を所定のデータベース等に記憶しておき、適宜読み出すようにしてもよい。

【0040】

そして、モデル生成部２０５は、識別子を付与した軸方向内周面画像１１０を人工知能（ＡＩ）に機械学習させ、学習済み変位特定モデルを生成する。なお、モデル生成部２０５は、生成した学習済み変位特定モデルを所定のストレージ等に保存しておいてもよい。この場合、新たな学習用画像（軸方向内周面画像１６０）を取得して、所定の処理を施した後、機械学習を行い、学習済み変位特定モデルを生成するたびに、保存された学習済み変位特定モデルを更新するようにしてもよい。

【0041】

また、人工知能による機械学習は、既知のアルゴリズムを用いて行われる。機械学習において、損失関数は、重み指定を行い、事象数の逆数を採用した。また、モデル生成部２０５は、人工知能による機械学習の精度を向上させて、より精度の高い変位特定モデルを生成するために、人工知能に学習させる軸方向内周面画像１１０の数を水増しする。モデル生成部２０５は、例えば、左右反転を用いて水増しデータを得る。さらに、モデル生成部２０５は、人工知能による機械学習の精度を向上させるために、転移学習を用いてもよい。ここで、転移学習とは、異なるデータセットを用いた学習済みモデルを、別の問題に転用し、部分的な学習をすることで、モデルの性能向上を狙う手法である。特に、教師データが十分ではない場合に、推論性能の向上と学習時間の低減とが期待できる手法である。

【0042】

なお、生成された学習済み変位特定モデルの評価には、再現率（Ｒｅｃａｌｌ）および適合率（Ｐｒｅｃｉｓｉｏｎ）を用いた。再現率は、再現率＝ＴＰ／（ＴＰ＋ＦＮ）で表され、結果として出てくるべきもののうち、実際に出てきたものの割合を示す。すなわち、取り漏らしがないかに関する指標である（網羅性に関する指標）。適合率は、適合率＝ＴＰ／（ＴＰ＋ＦＰ）で表され、正しかったものの割合を示す。出てきたすべての結果の中に、どれだけ正解が含まれているかの割合を示す指標である（正確性に関する指標）。なお、ＴＰ＝真陽性（Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ）、ＦＰ＝偽陽性（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ）、ＦＮ＝偽陰性（Ｆａｌｓｅ Ｎｅｇａｔｉｖｅ）である。

【0043】

画像受付部２０６は、管渠としての下水管１７０の内周面を下水管１７０の軸方向に撮像した軸方向内周面画像１６０を受け付ける。軸方向内周面画像１６０は、自走式検査ロボット１４０が撮像した画像であり、制御部１４１から画像受付部２０６に対して送信された画像である。なお、軸方向内周面画像１６０は、検査対象となる下水管１７０の内周面を撮像した画像であり、発生している変位を特定したい下水管１７０である。

【0044】

変位特定部２０７は、軸方向内周面画像１６０と学習済み変位特定モデルとを用いて、下水管１７０に発生している変位を特定する。そして、管渠損傷特定装置１００は、変位が特定された場合、特定された変位位置などを示す情報を軸方向内周面画像１６０に重畳した画像を、作業員が所持するタブレット端末などに出力する出力部を有していてもよい。また、作業員は、タブレット端末のディスプレイに表示された特定結果を参照することにより、下水管１７０に発生している変位を認識できる。さらに、出力部は、変位の種類やランクなどに応じたアラートを出力してもよい。出力部は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。

【0045】

図３は、管渠損傷特定装置１００が有するランクテーブル３０１の一例を説明するための図である。ランクテーブル３０１は、管径３１１に関連付けてランク３１２を記憶する。管径３１１は、下水管などの管渠の内径である、ランク３１２は、たるみや隆起などの変位のランクであり、変位の程度に応じて３段階（Ａ～Ｃ）に分類されている。そして、ランク決定部２０４は、ランクテーブル３０１を参照して、変位のランクを決定する。

【0046】

図４を参照して、管渠損傷特定装置１００のハードウェア構成について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１０は、演算制御用のプロセッサであり、プログラムを実行することで図２の管渠損傷特定装置１００の各機能構成を実現する。ＣＰＵ４１０は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２０は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース４３０は、ネットワークを介して他の装置などと通信する。なお、ＣＰＵ４１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んでもよい。また、ネットワークインタフェース４３０は、ＣＰＵ４１０とは独立したＣＰＵを有して、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ４４０とストレージ４５０との間でデータを転送するＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）を設けるのが望ましい（図示なし）。さらに、ＣＰＵ４１０は、ＲＡＭ４４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ４１０は、処理結果をＲＡＭ４４０に準備し、後の送信あるいは転送はネットワークインタフェース４３０やＤＭＡＣに任せる。

【0047】

ＲＡＭ４４０は、ＣＰＵ４１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ４４０には、本実施形態の実現に必要なデータを記憶する記憶領域が確保されている。内周面画像データ４４１は、下水管１５０，１７０の軸方向に撮像した内周面の画像である。下水管データ４４２は、下水管１５０，１７０に関するデータであり、管径や全長などのデータである。撮像条件データ４４３は、カメラ１４２で下水管１５０，１７０の内周面を撮像した際の条件である。

【0048】

送受信データ４４４は、ネットワークインタフェース４３０を介して送受信されるデータである。また、ＲＡＭ４４０は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域４４５を有する。

【0049】

ストレージ４５０には、データベースや各種パラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ４５０は、ランクテーブル３０１を格納する。ランクテーブル３０１は、図３に示した、管径３１１とランク３１２との関係を管理するテーブルである。

【0050】

ストレージ４５０は、さらに、画像取得モジュール４５１、軸ずれ検出モジュール４５２、変位決定モジュール４５３、ランク決定モジュール４５４、モデル生成モジュール４５５、画像受付モジュール４５６および変位特定モジュール４５７を格納する。画像取得モジュール４５１は、軸方向内周面画像１１０を取得するモジュールである。軸ずれ検出モジュール４５２は、下水管１５０の中心軸とカメラ１４２の中心軸との軸ずれを検出するモジュールである。変位決定モジュール４５３は、軸ずれに基づいて、下水管１５０に発生している変位を決定するモジュールである。ランク決定モジュール４５４は、軸ずれ量と管径との関係に基づいて、変位のランクを決定するモジュールである。モデル生成モジュール４５５は、学習済み変位特定モデルを生成するモジュールである。画像受付モジュール４５６は、変位の特定対象となる下水管１７０の軸方向内周面画像を受け付けるモジュールである。変位特定モジュール４５７は、学習済み変位特定モデルを用いて、下水管１７０に発生している変位を特定するモジュールである。これらのモジュール４５１～４５７は、ＣＰＵ４１０によりＲＡＭ４４０のアプリケーション実行領域４４５に読み出され、実行される。制御プログラム４５８は、管渠損傷特定装置１００の全体を制御するためのプログラムである。

【0051】

入出力インタフェース４６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース４６０には、表示部４６１、操作部４６２、が接続される。また、入出力インタフェース４６０には、さらに、記憶媒体４６４が接続されてもよい。さらに、音声出力部であるスピーカ４６３や、音声入力部であるマイク（図示せず）、あるいは、ＧＰＳ位置判定部が接続されてもよい。なお、図４に示したＲＡＭ４４０やストレージ４５０には、管渠損傷特定装置１００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

【0052】

次に図５に示したフローチャートを参照して、管渠損傷特定装置１００の処理手順について説明する。このフローチャートは、図４のＣＰＵ４１０がＲＡＭ４４０を使用して実行し、図２の管渠損傷特定装置１００の各機能構成を実現する。

【0053】

ステップＳ５０１において、画像取得部２０１は、下水管１５０の内周面を所定ピッチごとの決められた位置で下水管１５０の軸方向に撮像した軸方向内周面画像１１０を取得する。ステップＳ５０３において、軸ずれ検出部２０２は、取得した軸方向内周面画像１１０における下水管１５０の中心軸とカメラ１４２の中心軸とのずれである軸ずれを検出する。ステップＳ５０５において、変位決定部２０３は、検出した軸ずれに基づいて、下水管１５０に発生している変位の発生箇所を決定する。

【0054】

ステップＳ５０７において、ランク決定部２０４は、軸ずれの大きさに基づいて、下水管１５０に発生している変位のランクを決定する。ステップＳ５０９において、モデル生成部２０５は、決定された変位を識別可能な識別子やランクを識別可能な識別子を付与して、決定した変位とともに軸方向内周面画像１１０を人工知能に学習させて、学習済み変位特定モデルを生成する。ステップＳ５１１において、画像受付部２０６は、変位を特定したい下水管１７０の軸方向内周面画像１６０を受け付ける。ステップＳ５１３において、変位特定部２０７は、軸方向内周面画像１６０と学習済み変位特定モデルとを用いて、下水管１７０に発生している変位を特定する。

【0055】

本実施形態によれば、軸方向内周面画像を人工知能に学習させて管渠に発生した変位を特定するモデルを生成するので、管渠に発生したたるみや隆起を確実に特定することができる。

【0056】

［第２実施形態］
次に本発明の第２実施形態に係る管渠損傷特定装置６００について、図６～図１０を参照して説明する。本実施形態に係る管渠損傷特定装置６００は、上記第１実施形態と比べると、軸方向内周面画像の代わりに軸方向内周面画像を管渠の天井部分から切り開いて展開して得られる天井展開平面画像を人工知能に機械学習させて学習済み変位特定モデルを生成する点で異なる。

【0057】

図６は、管渠損傷特定装置６００による、管渠に発生している変位の特定の概要について説明するための図である。管渠損傷特定装置６００は、まず、自走式検査ロボット１４０から取得した所定ピッチごとに撮像された軸方向内周面画像１１０から輪切り画像１４３を生成し、輪切り画像１４３を下水管１５０（１７０）の天井部分から切り開いて展開して展開平面画像を生成する。そして、管渠損傷特定装置６００は、生成された複数の展開平面画像を繋ぎ合わせて１つの天井展開平面画像１０１（１６１）を生成し、生成した天井展開平面画像１０１に変位位置や変位の大きさなどを示すメタデータなどの識別子を付与して教師データを作成する。管渠損傷特定装置６００は、作成した教師データを人工知能に学習させて、下水管などの管渠に発生したたるみや隆起などの変位を特定するための学習済み変位特定モデルを生成する。

【0058】

次に、管渠損傷特定装置６００による変位の特定について説明する。管渠損傷特定装置６００は、変位を特定したい下水管１７０の軸方向内周面画像１６０から、天井展開平面画像１６１を生成し、学習済み変位特定モデルを用いて、下水管１７０に発生している変位や変位の大きさ（程度）などを特定する。

【0059】

次に図７を参照して、管渠損傷特定装置６００の構成について説明する。管渠損傷特定装置６００は、画像取得部７０１、平面画像生成部７０２、変位決定部７０３、範囲決定部７０４、モデル生成部７０５、画像受付部７０６、平面画像生成部７０７および変位特定部７０８を有する。

【0060】

画像取得部７０１は、下水管１５０の内周面を所定のピッチごとの決められた位置で下水管１５０の軸方向に撮像した軸方向内周面画像１１０を取得する。画像取得部７０１は、自走式検査ロボット１４０のカメラ１４２で撮像した軸方向内周面画像１１０を制御部１４１から取得してもよいし、作業員が所持するタブレット端末などを経由して軸方向内周面画像１１０を取得してもよい。ここで、所定ピッチは、例えば、１０ｃｍであるが、これには限定されない。軸方向内周面画像１１０は、自走式検査ロボット１４０が１０ｃｍ進むごとに撮像された画像である。

【0061】

平面画像生成部７０２は、取得した軸方向内周面画像１１０を軸方向内周面画像１１０の天井部分（下水管１５０の天井部分）から切り開いて展開して得られる天井展開平面画像１０１を生成する。つまり、平面画像生成部７０２は、まず、画像取得部７０１が取得した所定ピッチごとに撮像された軸方向内周面画像１１０から輪切りにされた帯状の画像である輪切り画像１４３を生成する。

【0062】

そして、平面画像生成部７０２は、生成された輪切り画像１４３を天井部分から切り開いて展開して、展開輪切り画像を生成する。次に、平面画像生成部７０２は、生成した複数の展開輪切り画像を繋いで、横長の天井展開平面画像１０１を生成する。天井展開平面画像１０１においては、下水管１５０の底部部分が帯状の平面画像の短手方向（縦方向）の中央に位置し、天井部分が長手方向（横方向）の左右両端に位置するので、下水管１５０において、水が流れる部分が平面画像の縦方向の中央に位置するようになる。このような平面画像を生成することにより、下水管１５０において、水が流れる部分が画像の中央に位置するようになるので、後の人工知能による機械学習の効率や精度が向上する。

【0063】

なお、輪切り画像１４３は、自走式検査ロボット１４０において予め生成しておき、画像取得部２０１が、自走式検査ロボット１４０により生成された輪切り画像１４３を取得してもよい。そして、平面画像生成部７０２は、複数の輪切り画像１４３から生成された展開平面画像のそれぞれを繋げて１枚の横長の展開平面画像として天井展開平面画像１０１を生成する。

【0064】

変位決定部７０３は、生成された天井展開平面画像１０１を用いて、下水管１５０に発生している変位の発生箇所を決定する。変位決定部７０３は、天井展開平面画像１０１において、水や水跡がある箇所から変位の発生箇所を決定する。

【0065】

例えば、変位としてたるみが発生している場合、当該箇所には、水が溜まっている箇所が存在したり、水が溜まっていた形跡としての水跡が存在したりしている。この点、天井展開平面画像１０１においては、画像の上下方向に所定幅を有する水や水跡が存在する箇所が、変位としてのたるみが発生している箇所と推定される。

【0066】

また、変位決定部７０３は、境界線の角度、すなわち、天井展開平面画像１０１において水が写っている部分の下水管１７０の走行方向に沿った水部分の境界線の角度なども考慮して変位が発生している箇所やたるみの程度などを決定してもよい。したがって、変位決定部７０３は、天井展開平面画像１０１において、水等が存在している箇所を変位としてのたるみが発生している箇所とする。

【0067】

これに対して、例えば、変位として隆起が発生いている場合、水や水跡が存在する箇所が２つ存在し、これら２つの箇所の間に乾燥している箇所、つまり、水や水跡が存在していない箇所が存在している場合（湿→乾→湿）、変位決定部７０３は、当該箇所を変位としての隆起が発生している箇所と推定してもよい。

【0068】

なお、変位決定部７０３は、物体検知（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）を用いて、変位が発生している箇所として、水等が存在している箇所を特定する。物体検知のアルゴリズムとして、例えば、Ｆａｓｔｅｒ Ｒ－ＣＮＮ（Ｆａｓｔｅｒ Ｒｅｇｉｏｎ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることができる。

【0069】

範囲決定部７０４は、天井展開平面画像１０１において、天井展開平面画像１０１の長手方向に垂直な方向への水または水跡の広がりの大きさから、変位が発生している範囲を決定する。なお、天井展開平面画像１０１の長手方向への水または水跡の広がりの大きさを考慮に入れてもよい。すなわち、範囲決定部７０４は、天井展開平面画像１０１における、水や水跡の縦方向および横方向の長さ（下水管１５０の走行方向の長さ）や大きさ（面積）に基づいて、変位の範囲を決定する。変位としてたるみが存在する場合、範囲決定部７０４は、水や水跡の長さなどからたるみの範囲を決定する。また、変位として隆起が存在する場合、範囲決定部７０４は、水や水跡に挟まれた乾燥部分の長さなどから隆起の範囲を決定する。なお、範囲決定部７０４も変位決定部７０３と同様に物体検知を用いて変位が発生している範囲を決定する。

【0070】

モデル生成部７０５は、決定された変位を識別可能な識別子を付与して、決定された変位とともに天井展開平面画像１０１を人工知能に学習させて、学習済み変位特定モデルを生成する。モデル生成部７０５は、天井展開平面画像１０１に変位の発生箇所や発生範囲を識別可能な識別子を付与する。これらの識別子は、天井展開平面画像１０１に直接付与しても、識別子を所定のデータベース等に記憶しておき、適宜読み出すようにしてもよい。

【0071】

そして、モデル生成部７０５は、識別子を付与した天井展開平面画像１０１を人工知能に機械学習させ、学習済み変位特定モデルを生成する。モデル生成部７０５は、生成した学習済み変位特定モデルを所定のストレージ等に保存しておいてもよい。この場合、新たな学習用画像（天井展開平面画像１０１）を取得して、機械学習を行い、学習済み変位特定モデルを生成するたびに、保存された学習済み変位特定モデルを更新するようにしてもよい。また、人工知能による機械学習は、上記第１実施形態に記載したものと同様に行われる。

【0072】

画像受付部７０６は、管渠としての下水管１７０の内周面を下水管１７０の軸方向に撮像した軸方向内周面画像１６０を受け付ける。軸方向内周面画像１６０は、自走式検査ロボット１４０により撮像された画像であり、制御部１４１から画像受付部７０６に対して送信された画像である。

【0073】

平面画像生成部７０７は、平面画像生成部７０２と同様に、受け付けた軸方向内周面画像１６０を軸方向内周面画像１６０の天井部分から切り開いて展開して得られる天井展開平面画像１６１を生成する。天井展開平面画像１６１は、天井展開平面画像１０１と同様に、複数の輪切り画像を繋ぎ合わせて生成された画像である。

【0074】

変位特定部７０８は、天井展開平面画像１０２と学習済み変位特定モデルとを用いて、下水管１７０に発生している変位を特定する。そして、管渠損傷特定装置６００は、変位が特定された場合、特定された変位位置などを示す情報を軸方向内周面画像１６０に重畳した画像を、作業員が所持するタブレット端末１３０に出力する出力部を有していてもよい。また、作業員は、タブレット端末１３０のディスプレイに表示された特定結果を参照することにより、下水管１７０に発生している変位を認識できる。さらに、出力部は、変位の種類やランクなどに応じたアラートを出力してもよい。出力部は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。

【0075】

図８は、管渠損傷特定装置６００が有する変位決定テーブル８０１の一例を説明するための図である。変位決定テーブル８０１は、変位８１１に関連付けて管径８１２および範囲８１３を記憶する。変位８１１は、下水管などの管渠に発生するたるみや隆起である。管径８１２は、下水管などの管渠の内径である。範囲８１３は、天井展開平面画像において、水等が存在している範囲を示す。そして、管渠損傷特定装置６００は、変位決定テーブル８０１を参照して、管渠に発生している変位を特定する。

【0076】

次に、図９を参照して管渠損傷特定装置６００のハードウェア構成について説明する。ＲＡＭ９４０は、ＣＰＵ４１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ９４０には、本実施形態の実現に必要なデータを記憶する記憶領域が確保されている。内周面画像９４１は、下水管１５０，１７０の軸方向に撮像した内周面の画像である。展開平面画像９４２は、撮像された軸方向内周面画像を天井部分で切り開いて展開した２次元の平面画像のデータである。下水管データ９４３は、下水管１５０，１７０に関するデータであり、管径や全長などのデータである。撮像条件９４４は、カメラ１４２で下水管１５０，１７０の内周面を撮像した際の条件である。送受信データ９４５は、ネットワークインタフェース４３０を介して送受信されるデータである。また、ＲＡＭ９４０は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域９４６を有する。

【0077】

ストレージ９５０には、データベースや各種パラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ９５０は、変位決定テーブル８０１を格納する。変位決定テーブル８０１は、図８に示した、変位８１１と管径８１２などとの関係を管理するテーブルである。

【0078】

ストレージ９５０は、さらに、画像取得モジュール９５１、平面画像生成モジュール９５２、変位決定モジュール９５３、範囲決定モジュール９５４、モデル生成モジュール９５５、画像受付モジュール９５６、平面画像生成モジュール９５７および変位特定モジュール９５８を格納する。画像取得モジュール９５１は、軸方向内周面画像１１０を取得するモジュールである。平面画像生成モジュール９５２は、取得した軸方向内周面画像１１０を天井部分から切り開いて展開して得られる天井展開平面画像１０１を生成するモジュールである。変位決定モジュール９５３は、天井展開平面画像１０１を用いて、下水管１５０に発生している変位の発生箇所を決定するモジュールである。範囲決定モジュール９５４は、天井展開平面画像１０１において、天井展開平面画像１０１の長手方向に垂直な方向への水または水跡の広がりの大きさから、変位が発生している範囲を決定するモジュールである。

【0079】

モデル生成モジュール９５５は、決定された変位を識別可能な識別子を付与して、決定された変位とともに天井展開平面画像１０１を人工知能に学習させて、学習済み変位特定モデルを生成するモジュールである。画像受付モジュール９５６は、管渠としての下水管１７０の内周面を下水管１７０の軸方向に撮像した軸方向内周面画像１６０を受け付けるモジュールである。平面画像生成モジュール９５７は、平面画像生成部７０２と同様に、受け付けた軸方向内周面画像１６０を軸方向内周面画像１６０の天井部分から切り開いて展開して得られる天井展開平面画像１６１を生成するモジュールである。変位特定モジュール９５８は、天井展開平面画像１０２と学習済み変位特定モデルとを用いて、下水管１７０に発生している変位を特定するモジュールである。これらのモジュール９５１～９５７は、ＣＰＵ４１０によりＲＡＭ９４０のアプリケーション実行領域９４６に読み出され、実行される。制御プログラム４５８は、管渠損傷特定装置６００の全体を制御するためのプログラムである。

【0080】

図１０は、本実施形態に係る管渠損傷特定装置６００の処理手順を説明するためのフローチャートである。このフローチャートは、図９のＣＰＵ４１０がＲＡＭ９４０を使用して実行し、図７の管渠損傷特定装置６００の各機能構成を実現する。ステップＳ１００１において、画像取得部７０１は、下水管１５０の内周面を下水管１５０の軸方向に撮像した軸方向内周面画像１１０を取得する。ステップＳ１００３において、平面画像生成部７０２は、取得した軸方向内周面画像１１０を下水管１５０の天井部分から切り開いて展開
して得られる天井展開平面画像１０１を生成する。

【0081】

ステップＳ１００５において、変位決定部７０３は、天井展開平面画像１０１を用いて、下水管１５０に発生している変位の発生箇所を特定する。ステップＳ１００７において、範囲決定部７０４は、天井展開平面画像１０１の長手方向に垂直な方向への水または水跡の広がりの大きさから、変位の発生している範囲を決定する。ステップＳ１００９において、モデル生成部７０５は、決定された変位を識別可能な識別子を付与して、決定された変位とともに軸方向内周面画像１１０を人工知能に学習させて、学習済みへに特定モデルを生成する。

【0082】

ステップＳ１０１１において、画像受付部７０６は、下水管１７０の内周面を下水管１７０の軸方向に撮像した軸方向内周面画像１６０を受け付ける。ステップＳ１０１３において、平面画像生成部７０７は、受け付けた軸方向内周面画像１６０を軸方向内周面画像１６０の天井部分から切り開いて展開して得られる天井展開平面画像１０１を生成する。ステップＳ１０１５において、変位特定部７０８は、天井展開平面画像１０１と学習済み変位モデルとを用いて、下水管１７０に発生している変位を特定する。

【0083】

本実施形態によれば、天井展開平面画像を人工知能に学習させて管渠に発生した変位を特定するモデルを生成するので、管渠に発生したたるみや隆起を確実に特定することができる。

【0084】

［第３実施形態］
次に本発明の第３実施形態に係る管渠損傷特定装置１１００について、図１１～図１２を参照して説明する。本実施形態に係る管渠損傷特定装置１１００は、上記第１実施形態および第２実施形態と比べると、第１実施形態で用いた軸方向内周面画像と第２実施形態で用いた天井展開平面画像とを人工知能に機械学習させて学習済み変位特定モデルを生成する点で異なる。

【0085】

次に、図１１を参照して、管渠損傷特定装置１１００の構成について説明する。管渠損傷特定装置１１００は、画像取得部１１０１、平面画像生成部１１０２、軸ずれ検出部１１０３、範囲決定部１１０４、変位決定部１１０５、モデル生成部１１０６、画像受付部１１０７、平面画像生成部１１０８および変位特定部１１０９を有する。

【0086】

画像取得部１１０１は、上述の画像取得部２０１，７０１に相当し、下水管１５０の内周面を所定ピッチごとの決められた位置で下水管１５０の軸方向に撮像した軸方向内周面画像１１０を取得する。

【0087】

平面画像生成部１１０２は、上述の平面画像生成部７０２に相当し、取得した軸方向内周面画像１１０を軸方向内周面画像１１０の天井部分から切り開いて展開して得られる天井展開平面画像１０１を生成する。

【0088】

軸ずれ検出部１１０３は、上述の軸ずれ検出部２０２に相当し、軸方向内周面画像１１０における下水管１５０の中心軸と軸方向内周面画像１１０を撮像したカメラ１４２の中心軸とがずれる軸ずれを検出する。

【0089】

範囲決定部１１０４は、範囲決定部７０４の相当する機能構成である。範囲決定部１１０４は、軸方向内周面画像１１０において、軸ずれの開始位置と軸ずれの解消位置とに基づいて、下水管１５０に発生している変位の範囲を決定する。範囲決定部１１０４は、さらに、天井展開平面画像１０１において、天井展開平面画像１０１の長手方向に垂直な方向への水または水跡の広がりの大きさから、下水管１５０に発生している変位の範囲を決定する。なお、天井展開平面画像１０１の長手方向への水または水跡の広がりの大きさを考慮に入れてもよい。すなわち、範囲決定部１１０４は、天井展開平面画像１０１において、水や水跡の縦方向や横方向の長さや大きさ（面積）に基づいて、変位の範囲を決定する。

【0090】

変位決定部１１０５は、検出した軸ずれと天井展開平面画像１０１とに基づいて、下水管１５０に発生している変位の発生箇所を決定する。つまり、変位決定部１１０５は、軸ずれ検出部１１０３により検出された軸ずれと、範囲決定部１１０４により決定された範囲とに基づいて、下水管１５０に発生している変位の発生箇所を決定する。

【0091】

モデル生成部１１０６は、決定された変位を識別可能な識別子を付与して、決定された変位とともに軸方向内周面画像１１０および天井展開平面画像１０１を人工知能に機械学習させて、学習済み変位特定モデルを生成する。

【0092】

画像受付部１１０７は、画像受付部２０６，７０６に相当し、下水管１７０の内周面を下水管１７０の軸方向に撮像した軸方向内周面画像１６０を受け付ける。

【0093】

平面画像生成部１１０８は、受け付けた軸方向内周面画像１６０を軸方向内周面画像１６０の天井部分から切り開いて展開して得られる天井展開平面画像１６１を生成する。

【0094】

変位特定部１１０９は、軸方向内周面画像１６０と、天井展開平面画像１６１と、学習済み変位特定モデルとを用いて下水管１７０に発生している変位を特定する。

【0095】

図１２は、本実施形態に係る管渠損傷特定装置１１００の処理手順を説明するためのフローチャートである。このフローチャートは、管渠損傷特定装置１１００の不図示のＣＰＵが、ＲＯＭ、ＲＡＭを用いて実行し、図１１に示した管渠損傷特定装置１１００の各機能構成を実現する。

【0096】

ステップＳ１２０１において、画像取得部１１０１は、下水管１５０の内周面を所定ピッチごとの決められた位置で下水管１５０の軸方向に撮像した軸方向内周面画像１１０を取得する。ステップＳ１２０３において、平面画像生成部１１０２は、取得した軸方向内周面画像１１０を軸方向内周面画像１１０の天井部分から切り開いて展開して得られる天井展開平面画像１０１を生成する。ステップＳ１２０５において、軸ずれ検出部１１０３は、軸方向内周面画像１１０における下水管１５０の中心軸と軸方向内周面画像１１０を撮像したカメラ１４２の中心軸とがずれる軸ずれを検出する。

【0097】

ステップＳ１２０７において、範囲決定部１１０４は、軸方向内周面画像１１０における軸ずれの開始位置と軸ずれの解消位置とに基づいて、下水管１５０に発生している変位の範囲を決定する。さらに、範囲決定部１１０４は、天井展開平面画像１０１において、天井展開平面画像１０１の長手方向と当該長手方向に垂直な方向とへの水または水跡の広がりの大きさから、下水管１５０に発生している変位の範囲を決定する。ステップＳ１２０９において、変位決定部１１０５は、検出した軸ずれと決定された範囲とに基づいて、下水管１５０に発生している変位の発生箇所を決定する。

【0098】

ステップＳ１２１１において、モデル生成部１１０６は、決定された変位を識別可能な識別子を付与して、決定された変位とともに軸方向内周面画像１１０および天井展開平面画像１０１を人工知能に機械学習させて、学習済み変位特定モデルを生成する。ステップＳ１２１３において、画像受付部１１０７は、下水管１７０の内周面を下水管１７０の軸方向に撮像した軸方向内周面画像１６０を受け付ける。下水管１７０は、発生している変位を特定したい管渠である。ステップＳ１２１５において、平面画像生成部１１０８は、受け付けた軸方向内周面画像１６０を軸方向内周面画像１６０の天井部分から切り開いて展開して得られる天井展開平面画像１６１を生成する。ステップＳ１２１７において、変位特定部１１０９は、軸方向内周面画像１６０と、天井展開平面画像１６１と、学習済み変位特定モデルとを用いて、下水管１７０に発生している変位を特定する。

【0099】

本実施形態によれば、軸方向内周面画像および天井展開平面画像の２つの画像を用いて人工知能に機械学習させて管渠に発生した変位を特定するモデルを生成するので、管渠に発生したたるみや隆起をより確実に、精度高く、迅速に特定することができる。

【0100】

［他の実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

【0101】

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】