(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022141531
(43)【公開日】2022-09-29
(54)【発明の名称】管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220921BHJP
【FI】
G06T7/00 610
【審査請求】未請求
【請求項の数】26
【出願形態】OL
(21)【出願番号】P 2021041887
(22)【出願日】2021-03-15
(71)【出願人】
【識別番号】000140292
【氏名又は名称】株式会社奥村組
(71)【出願人】
【識別番号】394026714
【氏名又は名称】株式会社ジャスト
(74)【代理人】
【識別番号】110002170
【氏名又は名称】弁理士法人翔和国際特許事務所
(72)【発明者】
【氏名】岩下 将也
(72)【発明者】
【氏名】山口 治
(72)【発明者】
【氏名】角田 賢明
(72)【発明者】
【氏名】岡田 一哉
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA03
5L096CA04
5L096DA02
5L096DA03
5L096EA07
5L096FA64
5L096FA67
5L096FA69
5L096HA11
5L096KA04
(57)【要約】
【課題】より精度高く管渠に発生した変位を特定する。
【解決手段】管渠損傷特定装置であって、第1管渠の内周面を所定ピッチごとの決められた位置で前記第1管渠の軸方向に撮像した第1軸方向内周面画像を取得する画像取得部と、第1軸方向内周面画像における第1管渠の中心軸と第1軸方向内周面画像を撮像した撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出部と、検出した軸ずれに基づいて、第1管渠に発生している第1変位の発生箇所を決定する変位決定部と、決定された第1変位を識別可能な識別子を付与して、決定された第1変位とともに第1軸方向内周面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成部と、第2管渠の内周面を第2管渠の軸方向に撮像した第2軸方向内周面画像を受け付ける画像受付部と、第2軸方向内周面画像と学習済み変位特定モデルとを用いて、第2管渠に発生している第2変位を特定する変位特定部と、を備えた。
【選択図】
図2
【特許請求の範囲】
【請求項1】
第1管渠の内周面を所定ピッチごとの決められた位置で前記第1管渠の軸方向に撮像した第1軸方向内周面画像を取得する画像取得部と、
前記第1軸方向内周面画像における前記第1管渠の中心軸と前記第1軸方向内周面画像を撮像した撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出部と、
検出した前記軸ずれに基づいて、前記第1管渠に発生している第1変位の発生箇所を決定する変位決定部と、
決定された前記第1変位を識別可能な識別子を付与して、決定された前記第1変位とともに前記第1軸方向内周面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成部と、
第2管渠の内周面を前記第2管渠の軸方向に撮像した第2軸方向内周面画像を受け付ける画像受付部と、
前記第2軸方向内周面画像と前記学習済み変位特定モデルとを用いて、前記第2管渠に発生している第2変位を特定する変位特定部と、
を備えた管渠損傷特定装置。
【請求項2】
前記変位決定部は、前記軸ずれの開始位置と、前記軸ずれの解消位置とに基づいて、前記第1変位の範囲を決定する範囲決定部をさらに有し、
前記モデル生成部は、前記第1変位の範囲をさらに人工知能に学習させて前記学習済みたるみ特定モデルを生成する、請求項1に記載の管渠損傷特定装置。
【請求項3】
前記軸ずれの大きさに基づいて、前記第1変位のランクを決定するランク決定部をさらに備えた請求項1または2に記載の管渠損傷特定装置。
【請求項4】
前記第1変位のランクは、前記第1管渠の管径に応じて決定される請求項1~3のいずれか1項に記載の管渠損傷特定装置。
【請求項5】
前記第1変位は、前記第1管渠のたるみおよび隆起である請求項1~4のいずれか1項に記載の管渠損傷特定装置。
【請求項6】
前記第1管渠および前記第2管渠は、下水管である請求項1~5のいずれか1項に記載の管渠損傷特定装置。
【請求項7】
前記モデル生成部は、水増しデータとして、左右反転画像を用いて前記学習済み損傷特定モデルを生成する請求項1~6のいずれか1項に記載の管渠損傷特定装置。
【請求項8】
前記モデル生成部は、転移学習を用いて前記学習済みモデルを生成する請求項1~7のいずれか1項に記載の管渠損傷特定装置。
【請求項9】
第1管渠の内周面を所定ピッチごとの決められた位置で前記第1管渠の軸方向に撮像した第1軸方向内周面画像を取得する画像取得部と、
取得した前記第1軸方向内周面画像を前記第1軸方向内周面画像の天井部分から切り開いて展開して得られる第1天井展開平面画像を生成する第1平面画像生成部と、
前記第1天井展開平面画像を用いて、前記第1管渠に発生している第1変位の発生箇所を決定する変位決定部と、
決定された前記第1変位を識別可能な識別子を付与して、決定された前記第1変位とともに前記第1天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成部と、
第2管渠の内周面を前記第2管渠の軸方向に撮像した第2軸方向内周面画像を受け付ける画像受付部と、
前記第2軸方向内周面画像を前記第2軸方向内周面画像の天井部分から切り開いて展開して得られる第2天井展開平面画像を生成する第2平面画像生成部と、
前記第2天井展開平面画像と前記学習済み変位特定モデルとを用いて、前記第2管渠に発生している第2変位を特定する変位特定部と、
を備えた管渠損傷特定装置。
【請求項10】
前記変位決定部は、前記第1天井展開平面画像において、前記第1天井展開平面画像の長手方向に垂直な方向への水または水跡の広がりの大きさから、前記第1変位の範囲を決定する範囲決定部をさらに有し、
前記モデル生成部は、前記第1変位の範囲をさらに人工知能に学習させて前記学習済み変位特定モデルを生成する、請求項9に記載の管渠損傷特定装置。
【請求項11】
前記第1変位は、前記第1管渠のたるみである請求項9または10に記載の管渠損傷特定装置。
【請求項12】
前記第1管渠および前記第2管渠は、下水管である請求項9~11のいずれか1項に記載の管渠損傷特定装置。
【請求項13】
前記モデル生成部は、水増しデータとして、左右反転画像を用いて前記学習済み損傷特定モデルを生成する請求項9~12のいずれか1項に記載の管渠損傷特定装置。
【請求項14】
前記モデル生成部は、転移学習を用いて前記学習済みモデルを生成する請求項9~13のいずれか1項に記載の管渠損傷特定装置。
【請求項15】
第1管渠の内周面を所定ピッチごとの決められた位置で前記第1管渠の軸方向に撮像した第1軸方向内周面画像を取得する画像取得部と、
前記第1軸方向内周面画像における前記第1管渠の中心軸と前記第1軸方向内周面画像を撮像した撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出部と、
取得した前記第1軸方向内周面画像を前記第1軸方向内周面画像の天井部分から切り開いて展開して得られる第1天井展開平面画像を生成する第1平面画像生成部と、
検出した前記軸ずれと、前記第1天井展開平面画像とに基づいて、前記第1管渠に発生している第1変位の発生箇所を決定する変位決定部と、
決定された前記第1変位を識別可能な識別子を付与して、決定された前記第1変位とともに前記第1軸方向内周面画像および前記第1天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成部と、
第2管渠の内周面を前記第2管渠の軸方向に撮像した第2軸方向内周面画像を受け付ける画像受付部と、
前記第2軸方向内周面画像を前記第2軸方向内周面画像の天井部分から切り開いて展開して得られる第2天井展開平面画像を生成する第2平面画像生成部と、
前記第2軸方向内周面画像と、前記第2天井展開平面画像と、前記学習済み変位特定モデルとを用いて、前記第2管渠に発生している第2変位を特定する変位特定部と、
を備えた管渠損傷特定装置。
【請求項16】
前記第1軸方向内周面画像において、前記軸ずれの開始位置と、前記軸ずれの解消位置とに基づいて、前記第1変位の範囲を決定し、
前記第1天井展開平面画像において、前記第1天井展開平面画像の長手方向に垂直な方向への水または水跡の広がりの大きさから、前記第1変位の範囲を決定する、範囲決定部をさらに有し、
前記モデル生成部は、前記第1変位の範囲をさらに人工知能に学習させて前記学習済み変位特定モデルを生成する、請求項15に記載の管渠損傷特定装置。
【請求項17】
前記第1変位は、前記第1管渠のたるみおよび隆起である請求項15または16に記載の管渠損傷特定装置。
【請求項18】
前記第1管渠および前記第2管渠は、下水管である請求項15~17のいずれか1項に記載の管渠損傷特定装置。
【請求項19】
前記モデル生成部は、水増しデータとして、左右反転画像を用いて前記学習済み損傷特定モデルを生成する請求項15~18のいずれか1項に記載の管渠損傷特定装置。
【請求項20】
前記モデル生成部は、転移学習を用いて前記学習済みモデルを生成する請求項15~19のいずれか1項に記載の管渠損傷特定装置。
【請求項21】
第1管渠の内周面を所定ピッチごとの決められた位置で前記第1管渠の軸方向に撮像した第1軸方向内周面画像を取得する画像取得ステップと、
前記第1軸方向内周面画像における前記第1管渠の中心軸と前記第1軸方向内周面画像を撮像した撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出ステップと、
検出した前記軸ずれに基づいて、前記第1管渠に発生している第1変位の発生箇所を決定する変位決定ステップと、
決定された前記第1変位を識別可能な識別子を付与して、決定された前記第1変位とともに前記第1軸方向内周面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第2管渠の内周面を前記第2管渠の軸方向に撮像した第2軸方向内周面画像を受け付ける画像受付ステップと、
前記第2軸方向内周面画像と前記学習済み変位特定モデルとを用いて、前記第2管渠に発生している第2変位を特定する変位特定ステップと、
を含む管渠損傷特定方法。
【請求項22】
第1管渠の内周面を所定ピッチごとの決められた位置で前記第1管渠の軸方向に撮像した第1軸方向内周面画像を取得する画像取得ステップと、
前記第1軸方向内周面画像における前記第1管渠の中心軸と前記第1軸方向内周面画像を撮像した撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出ステップと、
検出した前記軸ずれに基づいて、前記第1管渠に発生している第1変位の発生箇所を決定する変位決定ステップと、
決定された前記第1変位を識別可能な識別子を付与して、決定された前記第1変位とともに前記第1軸方向内周面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第2管渠の内周面を前記第2管渠の軸方向に撮像した第2軸方向内周面画像を受け付ける画像受付ステップと、
前記第2軸方向内周面画像と前記学習済み変位特定モデルとを用いて、前記第2管渠に発生している第2変位を特定する変位特定ステップと、
をコンピュータに実行させる管渠損傷特定プログラム。
【請求項23】
第1管渠の内周面を所定ピッチごとの決められた位置で前記第1管渠の軸方向に撮像した第1軸方向内周面画像を取得する画像取得ステップと、
取得した前記第1軸方向内周面画像を前記第1軸方向内周面画像の天井部分から切り開いて展開して得られる第1天井展開平面画像を生成する第1平面画像生成ステップと、
前記第1天井展開平面画像を用いて、前記第1管渠に発生している第1変位の発生箇所を決定する変位決定ステップと、
決定された前記第1変位を識別可能な識別子を付与して、決定された前記第1変位とともに前記第1天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第2管渠の内周面を前記第2管渠の軸方向に撮像した第2軸方向内周面画像を受け付ける画像受付ステップと、
前記第2軸方向内周面画像を前記第2軸方向内周面画像の天井部分から切り開いて展開して得られる第2天井展開平面画像を生成する第2平面画像生成ステップと、
前記第2天井展開平面画像と前記学習済み変位特定モデルとを用いて、前記第2管渠に発生している第2変位を特定する変位特定ステップと、
を含む管渠損傷特定方法。
【請求項24】
第1管渠の内周面を所定ピッチごとの決められた位置で前記第1管渠の軸方向に撮像した第1軸方向内周面画像を取得する画像取得ステップと、
取得した前記第1軸方向内周面画像を前記第1軸方向内周面画像の天井部分から切り開いて展開して得られる第1天井展開平面画像を生成する第1平面画像生成ステップと、
前記第1天井展開平面画像を用いて、前記第1管渠に発生している第1変位の発生箇所を決定する変位決定ステップと、
決定された前記第1変位を識別可能な識別子を付与して、決定された前記第1変位とともに前記第1天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第2管渠の内周面を前記第2管渠の軸方向に撮像した第2軸方向内周面画像を受け付ける画像受付ステップと、
前記第2軸方向内周面画像を前記第2軸方向内周面画像の天井部分から切り開いて展開して得られる第2天井展開平面画像を生成する第2平面画像生成ステップと、
前記第2天井展開平面画像と前記学習済み変位特定モデルとを用いて、前記第2管渠に発生している第2変位を特定する変位特定ステップと、
をコンピュータに実行させる管渠損傷特定プログラム。
【請求項25】
第1管渠の内周面を所定ピッチごとの決められた位置で前記第1管渠の軸方向に撮像した第1軸方向内周面画像を取得する画像取得ステップと、
前記第1軸方向内周面画像における前記第1管渠の中心軸と前記第1軸方向内周面画像を撮像した撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出ステップと、
取得した前記第1軸方向内周面画像を前記第1軸方向内周面画像の天井部分から切り開いて展開して得られる第1天井展開平面画像を生成する平面画像生成ステップと、
検出した前記軸ずれと、前記第1天井展開平面画像とに基づいて、前記第1管渠に発生している第1変位の発生箇所を決定する変位決定ステップと、
決定された前記第1変位を識別可能な識別子を付与して、決定された前記第1変位とともに前記第1軸方向内周面画像および前記第1天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第2管渠の内周面を前記第2管渠の軸方向に撮像した第2軸方向内周面画像を受け付ける画像受付ステップと、
前記第2軸方向内周面画像を前記第2軸方向内周面画像の天井部分から切り開いて展開して得られる第2天井展開平面画像を生成する第2平面画像生成ステップと、
前記第2軸方向内周面画像と、前記第2天井展開平面画像と、前記学習済み変位特定モデルとを用いて、前記第2管渠に発生している第2変位を特定する変位特定ステップと、
を含む管渠損傷特定方法。
【請求項26】
第1管渠の内周面を所定ピッチごとの決められた位置で前記第1管渠の軸方向に撮像した第1軸方向内周面画像を取得する画像取得ステップと、
前記第1軸方向内周面画像における前記第1管渠の中心軸と前記第1軸方向内周面画像を撮像した撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出ステップと、
取得した前記第1軸方向内周面画像を前記第1軸方向内周面画像の天井部分から切り開いて展開して得られる第1天井展開平面画像を生成する平面画像生成ステップと、
検出した前記軸ずれと、前記第1天井展開平面画像とに基づいて、前記第1管渠に発生している第1変位の発生箇所を決定する変位決定ステップと、
決定された前記第1変位を識別可能な識別子を付与して、決定された前記第1変位とともに前記第1軸方向内周面画像および前記第1天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第2管渠の内周面を前記第2管渠の軸方向に撮像した第2軸方向内周面画像を受け付ける画像受付ステップと、
前記第2軸方向内周面画像を前記第2軸方向内周面画像の天井部分から切り開いて展開して得られる第2天井展開平面画像を生成する第2平面画像生成ステップと、
前記第2軸方向内周面画像と、前記第2天井展開平面画像と、前記学習済み変位特定モデルとを用いて、前記第2管渠に発生している第2変位を特定する変位特定ステップと、
をコンピュータに実行させる管渠損傷特定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラムに関し、特に、コンピュータに組み込まれた画像解析プログラムおよび人工知能による特定結果から管渠の損傷を特定する装置に関する。
【背景技術】
【0002】
インフラ構造物の老朽化は加速度的に進んでおり,維持管理・更新の必要性は,今後さらに増大していくと言われている。労働人口が減り続ける中、維持管理・更新にかかる労務の効率化は喫緊の課題となっている。維持管理・更新にかかる労務の効率化の実現に向け、近年著しく性能が向上している人工知能(AI)による画像認識技術を適用する研究事例が増えている。深層学習と呼ばれる高度なニューラルネットワークを用いれば、従来では困難であった人間の直感に近い画像認識が実現でき損傷部位の目視点検の補助や代替が期待できる。
【0003】
一方、管渠などインフラ構造物の検査においては、例えば、特許文献1および特許文献2に記載の技術のように、調査対象の流路管内に投入する装置本体に、テレビカメラ等の撮影装置や蛍光灯等の照明装置を搭載し、撮影装置により撮影した管内画像をもとに損傷などの調査を行っていた。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平5-346027号公報
【特許文献2】特開平7-216972号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記文献に記載の技術では、撮像した管内画像を作業員が目で見て調査を行うものであり、見落としや見誤りが発生しやすく、管渠に発生した変位を特定することが困難であった。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明に係る管渠損傷特定装置は、
第1管渠の内周面を所定ピッチごとの決められた位置で前記第1管渠の軸方向に撮像した第1軸方向内周面画像を取得する画像取得部と、
前記第1軸方向内周面画像における前記第1管渠の中心軸と前記第1軸方向内周面画像を撮像した撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出部と、
検出した前記軸ずれに基づいて、前記第1管渠に発生している第1変位の発生箇所を決定する変位決定部と、
決定された前記第1変位を識別可能な識別子を付与して、決定された前記第1変位とともに前記第1軸方向内周面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成部と、
第2管渠の内周面を前記第2管渠の軸方向に撮像した第2軸方向内周面画像を受け付ける画像受付部と、
前記第2軸方向内周面画像と前記学習済み変位特定モデルとを用いて、前記第2管渠に発生している第2変位を特定する変位特定部と、
を備えた。
【0007】
また、上記目的を達成するため、本発明に係る管渠損傷特定装置は、
第1管渠の内周面を所定ピッチごとの決められた位置で前記第1管渠の軸方向に撮像した第1軸方向内周面画像を取得する画像取得部と、
取得した前記第1軸方向内周面画像を前記第1軸方向内周面画像の天井部分から切り開いて展開して得られる第1天井展開平面画像を生成する第1平面画像生成部と、
前記第1天井展開平面画像を用いて、前記第1管渠に発生している第1変位の発生箇所を決定する変位決定部と、
決定された前記第1変位を識別可能な識別子を付与して、決定された前記第1変位とともに前記第1天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成部と、
第2管渠の内周面を前記第2管渠の軸方向に撮像した第2軸方向内周面画像を受け付ける画像受付部と、
前記第2軸方向内周面画像を前記第2軸方向内周面画像の天井部分から切り開いて展開して得られる第2天井展開平面画像を生成する第2平面画像生成部と、
前記第2天井展開平面画像と前記学習済み変位特定モデルとを用いて、前記第2管渠に発生している第2変位を特定する変位特定部と、
を備えた。
【0008】
さらにまた、上記目的を達成するため、本発明に係る管渠損傷特定装置は、
第1管渠の内周面を所定ピッチごとの決められた位置で前記第1管渠の軸方向に撮像した第1軸方向内周面画像を取得する画像取得部と、
前記第1軸方向内周面画像における前記第1管渠の中心軸と前記第1軸方向内周面画像を撮像した撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出部と、
取得した前記第1軸方向内周面画像を前記第1内周面画像の天井部分から切り開いて展開して得られる第1天井展開平面画像を生成する第1平面画像生成部と、
検出した前記軸ずれと、前記第1天井展開平面画像とに基づいて、前記第1管渠に発生している第1変位の発生箇所を決定する変位決定部と、
決定された前記第1変位を識別可能な識別子を付与して、決定された前記第1変位とともに前記第1軸方向内周面画像および前記第1天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成部と、
第2管渠の内周面を前記第2管渠の軸方向に撮像した第2軸方向内周面画像を受け付ける画像受付部と、
前記第2軸方向内周面画像を前記第2軸方向内周面画像の天井部分から切り開いて展開して得られる第2天井展開平面画像を生成する第2平面画像生成部と、
前記第2軸方向内周面画像と、前記第2天井展開平面画像と、前記学習済み変位特定モデルとを用いて、前記第2管渠に発生している第2変位を特定する変位特定部と、
を備えた。
【0009】
上記目的を達成するため、本発明に係る管渠損傷特定方法は、
第1管渠の内周面を所定ピッチごとの決められた位置で前記第1管渠の軸方向に撮像した第1軸方向内周面画像を取得する画像取得ステップと、
前記第1軸方向内周面画像における前記第1管渠の中心軸と前記第1軸方向内周面画像を撮像した撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出ステップと、
検出した前記軸ずれに基づいて、前記第1管渠に発生している第1変位の発生箇所を決定する変位決定ステップと、
決定された前記第1変位を識別可能な識別子を付与して、決定された前記第1変位とともに前記第1軸方向内周面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第2管渠の内周面を前記第2管渠の軸方向に撮像した第2軸方向内周面画像を受け付ける画像受付ステップと、
前記第2軸方向内周面画像と前記学習済み変位特定モデルとを用いて、前記第2管渠に発生している第2変位を特定する変位特定ステップと、
を含む。
【0010】
また、上記目的を達成するため、本発明に係る管渠損傷特定方法は、
第1管渠の内周面を所定ピッチごとの決められた位置で前記第1管渠の軸方向に撮像した第1軸方向内周面画像を取得する画像取得ステップと、
取得した前記第1軸方向内周面画像を前記第1軸方向内周面画像の天井部分から切り開いて展開して得られる第1天井展開平面画像を生成する第1平面画像生成ステップと、
前記第1天井展開平面画像を用いて、前記第1管渠に発生している第1変位の発生箇所を決定する変位決定ステップと、
決定された前記第1変位を識別可能な識別子を付与して、決定された前記第1変位とともに前記第1天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第2管渠の内周面を前記第2管渠の軸方向に撮像した第2軸方向内周面画像を受け付ける画像受付ステップと、
前記第2軸方向内周面画像を前記第2軸方向内周面画像の天井部分から切り開いて展開して得られる第2天井展開平面画像を生成する第2平面画像生成ステップと、
前記第2天井展開平面画像と前記学習済み変位特定モデルとを用いて、前記第2管渠に発生している第2変位を特定する変位特定ステップと、
を含む。
【0011】
さらにまた、上記目的を達成するため、本発明に係る管渠損傷特定方法は、
第1管渠の内周面を所定ピッチごとの決められた位置で前記第1管渠の軸方向に撮像した第1軸方向内周面画像を取得する画像取得ステップと、
前記第1軸方向内周面画像における前記第1管渠の中心軸と前記第1軸方向内周面画像を撮像した撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出ステップと、
取得した前記第1軸方向内周面画像を前記第1軸方向内周面画像の天井部分から切り開いて展開して得られる第1天井展開平面画像を生成する平面画像生成ステップと、
検出した前記軸ずれと、前記第1天井展開平面画像とに基づいて、前記第1管渠に発生している第1変位の発生箇所を決定する変位決定ステップと、
決定された前記第1変位を識別可能な識別子を付与して、決定された前記第1変位とともに前記第1軸方向内周面画像および前記第1天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第2管渠の内周面を前記第2管渠の軸方向に撮像した第2軸方向内周面画像を受け付ける画像受付ステップと、
前記第2軸方向内周面画像を前記第2軸方向内周面画像の天井部分から切り開いて展開して得られる第2天井展開平面画像を生成する第2平面画像生成ステップと、
前記第2軸方向内周面画像と、前記第2天井展開平面画像と、前記学習済み変位特定モデルとを用いて、前記第2管渠に発生している第2変位を特定する変位特定ステップと、
を含む。
【0012】
上記目的を達成するため、本発明に係る管渠損傷特定プログラムは、
第1管渠の内周面を所定ピッチごとの決められた位置で前記第1管渠の軸方向に撮像した第1軸方向内周面画像を取得する画像取得ステップと、
前記第1軸方向内周面画像における前記第1管渠の中心軸と前記第1軸方向内周面画像を撮像した撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出ステップと、
検出した前記軸ずれに基づいて、前記第1管渠に発生している第1変位の発生箇所を決定する変位決定ステップと、
決定された前記第1変位を識別可能な識別子を付与して、決定された前記第1変位とともに前記第1軸方向内周面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第2管渠の内周面を前記第2管渠の軸方向に撮像した第2軸方向内周面画像を受け付ける画像受付ステップと、
前記第2軸方向内周面画像と前記学習済み変位特定モデルとを用いて、前記第2管渠に発生している第2変位を特定する変位特定ステップと、
をコンピュータに実行させる。
【0013】
さらに、上記目的を達成するため、本発明に係る管渠損傷特定プログラムは、
第1管渠の内周面を所定ピッチごとの決められた位置で前記第1管渠の軸方向に撮像した第1軸方向内周面画像を取得する画像取得ステップと、
取得した前記第1軸方向内周面画像を前記第1軸方向内周面画像の天井部分から切り開いて展開して得られる第1天井展開平面画像を生成する第1平面画像生成ステップと、
前記第1天井展開平面画像を用いて、前記第1管渠に発生している第1変位の発生箇所を決定する変位決定ステップと、
決定された前記第1変位を識別可能な識別子を付与して、決定された前記第1変位とともに前記第1天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第2管渠の内周面を前記第2管渠の軸方向に撮像した第2軸方向内周面画像を受け付ける画像受付ステップと、
前記第2軸方向内周面画像を前記第2軸方向内周面画像の天井部分から切り開いて展開して得られる第2天井展開平面画像を生成する第2平面画像生成ステップと、
前記第2天井展開平面画像と前記学習済み変位特定モデルとを用いて、前記第2管渠に発生している第2変位を特定する変位特定ステップと、
をコンピュータに実行させる。
【0014】
さらにまた、上記目的を達成するため、本発明に係る管渠損傷特定プログラムは、
第1管渠の内周面を所定ピッチごとの決められた位置で前記第1管渠の軸方向に撮像した第1軸方向内周面画像を取得する画像取得ステップと、
前記第1軸方向内周面画像における前記第1管渠の中心軸と前記第1軸方向内周面画像を撮像した撮像部の中心軸とがずれる軸ずれを検出する軸ずれ検出ステップと、
取得した前記第1軸方向内周面画像を前記第1軸方向内周面画像の天井部分から切り開いて展開して得られる第1天井展開平面画像を生成する平面画像生成ステップと、
検出した前記軸ずれと、前記第1天井展開平面画像とに基づいて、前記第1管渠に発生している第1変位の発生箇所を決定する変位決定ステップと、
決定された前記第1変位を識別可能な識別子を付与して、決定された前記第1変位とともに前記第1軸方向内周面画像および前記第1天井展開平面画像を人工知能に学習させて、学習済み変位特定モデルを生成するモデル生成ステップと、
第2管渠の内周面を前記第2管渠の軸方向に撮像した第2軸方向内周面画像を受け付ける画像受付ステップと、
前記第2軸方向内周面画像を前記第2軸方向内周面画像の天井部分から切り開いて展開して得られる第2天井展開平面画像を生成する第2平面画像生成ステップと、
前記第2軸方向内周面画像と、前記第2天井展開平面画像と、前記学習済み変位特定モデルとを用いて、前記第2管渠に発生している第2変位を特定する変位特定ステップと、
をコンピュータに実行させる。
【発明の効果】
【0015】
本発明に係る管渠損傷特定装置によれば、人工知能による機械学習を用いて管渠に発生した変位を特定するモデルを生成するので、より精度高く管渠に発生した変位を特定することができる。
【図面の簡単な説明】
【0016】
【
図1】本発明の第1実施形態に係る管渠損傷特定装置による処理の概要を説明するための図である。
【
図2】本発明の第1実施形態に係る管渠損傷特定装置の構成を説明するためのブロック図である。
【
図3】本発明の第1実施形態に係る管渠損傷特定装置が有するランクテーブルの一例を説明するための図である。
【
図4】本発明の第1実施形態に係る管渠損傷特定装置のハードウェア構成を説明するためのブロック図である。
【
図5】本発明の第1実施形態に係る管渠損傷特定装置の処理手順を説明するためのフローチャートである。
【
図6】本発明の第2実施形態に係る管渠損傷特定装置による処理の概要を説明するための図である。
【
図7】本発明の第2実施形態に係る管渠損傷特定装置の構成を説明するためのブロック図である。
【
図8】本発明の第2実施形態に係る管渠損傷特定装置が有する変位決定テーブルの一例を説明するための図である。
【
図9】本発明の第2実施形態に係る管渠損傷特定装置のハードウェア構成を説明するためのブロック図である。
【
図10】本発明の第2実施形態に係る管渠損傷特定装置の処理手順を説明するためのフローチャートである。
【
図11】本発明の第3実施形態に係る管渠損傷特定装置の構成を説明するためのブロック図である。
【
図12】本発明の第3実施形態に係る管渠損傷特定装置の処理手順を説明するためのフローチャートである。
【発明を実施するための形態】
【0017】
以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明する。ただし、以下の実施形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。
【0018】
[第1実施形態]
本発明の第1実施形態としての管渠損傷特定装置100について、
図1~
図5を参照して説明する。管渠損傷特定装置100は、管渠の軸方向に撮像した管渠の内周面の画像から、管渠の中心軸と撮像部の中心軸との軸ずれから管渠に発生している変位を特定する装置である。
図1は、管渠損傷特定装置100による、管渠に発生している変位の特定の概要について説明するための図である。
【0019】
ここで、管渠とは、水路の総称であり、給水、排水を目的として作られる水路全体を指す。例えば、上水管、下水管、給水管などが含まれる。本実施形態においては、管渠として下水管150(下水管170)を例に説明をする。また、管渠の材質としては、コンクリート、陶器、鉄、塩化ビニルなどが含まれ、管渠の種類としては、コンクリート管、コンクリートヒューム管、陶管、鉄管、塩化ビニル管などが含まれる。
【0020】
また、変位は、管渠に発生したたるみおよび隆起が含まれる。ここで、変位としての管渠のたるみとは、陥没などにより管渠の一部が沈み込んで、谷となった部分に水が溜まっている状態をいう(下方向に向かうたるみ)。また、変位としての管渠の隆起とは、地震などにより管渠の一部に下方から上方、すなわち、地上へ向かう強い力が加わることにより、管渠が上方(地上)へ向けて変位している状態をいう(上方向に向かうたるみ)。
【0021】
なお、以下の説明では、管渠として、下水管150(下水管170)を例に説明をする。下水管150の管径(内径)は、作業員が下水管150内に入って作業することが困難な程度の大きさであり、例えば、200mm~3000mmの下水管150であるが、下水管150の管径は、これには限定されない。
【0022】
下水管150,170の内部の検査においては、自走式検査ロボット140のカメラ142で撮像した下水管150の内周面の画像を用いた検査が行われている。ここで、下水管150の内周面画像は、下水管150の軸方向(中心軸151方向)に撮像した軸方向内周面画像110(160)となっている。下水管150の軸方向は、下水管150の敷設方向に垂直な面における下水管150の円形断面の中心軸の方向、つまり、下水管150の敷設方向(走行方向)に沿った方向である。
【0023】
そして、作業員は、下水管150の外部に設置されたディスプレイなどを用いて、カメラ142で撮像した画像を確認し、下水管150にたるみや隆起などの変位が発生しているか否かの検査を行う。制御部141は、自走式検査ロボット140の自走速度や撮影スケジュール、撮像条件を制御したり、管渠損傷特定装置100や作業員が所持するタブレット端末130との間の通信を制御したりする。作業員は、例えば、タブレット端末130にインストールされた操作用アプリケーションを用いて、自走式検査ロボット140を操作する。なお、自走式検査ロボット140が入れないような、管径の小さな下水管の場合、自走式検査ロボット140の代わりに、ファイバースコープなどの超小型検査装置を用いてもよい。
【0024】
そして、制御部141は、カメラ142で撮像した軸方向内周面画像110(160)を、管渠損傷特定装置100に送信する。なお、軸方向内周面画像110は、人工知能による機械学習のための画像であり、軸方向内周面画像160は、損傷を特定したい下水管170の内周面画像である。また、カメラ142は、通常のカメラ、広角カメラ、全周カメラのいずれであってもよい。広角カメラの場合、1周分の画像を複数回に分けて撮像し、撮像した複数枚の画像を繋いで軸方向内周面画像110(160)を生成してもよい。
【0025】
また、軸方向内周面画像110(160)は、所定のピッチ(例えば、0.1m)ごとに決められた位置で下水管150(170)の軸方向に撮像された画像である。例えば、下水管150の継手から継手の間を1ユニットとした場合に、1ユニットごとに撮像した画像(軸方向内周面画像110(160))を輪切りにして、輪切り画像143を得て、これらを繋ぎ合わせることで軸方向内周面画像110(160)を生成してもよい。
【0026】
そして、本実施形態においては、まず初めに、下水管150の内周面画像の撮像前に、自走式検査ロボット140の撮像部としてのカメラ142の中心軸と下水管150の中心軸151とが合致するように、自走式検査ロボット140を下水管150にセットする。そして、自走式検査ロボット140を走行させながら、検査対象範囲の下水管150の内周面を撮像する。
【0027】
下水管150に変位が発生していない正常区間152(直線区間)においては、カメラ142の焦点は無限遠に合うこととなるが、下水管150に変位(例えば、たるみ)が発生している変位区間153においては、カメラの142の焦点は下水管150の天井部分154に焦点が合うこととなる。また、下水管150に変位として隆起が発生している場合には、カメラ142の焦点は下水管150の底部部分155に合うこととなる。つまり、自走式検査ロボット140が、下水管150に変位が発生していない正常区間152を走行している間は、カメラ142で撮像した画像の中心には、下水管150の最奥部が写ることとなる。
【0028】
しかしながら、自走式検査ロボット140の先に下水管150のたるみ部分、つまり、下水管150が下方に向けて変位している部分が存在すると、それまで、下水管150の無限遠がカメラ142に写っていたものが、下水管150の天井部分にカメラ142の焦点が合うようになる。例えば、カメラ142の画像をディスプレイ等で見ている作業員には、自走式検査ロボット140が下水管150のたるみ部分に近づくにつれて、カメラ142に写っている下水管150の内周面の天井部分が、カメラ142で撮像している映像を映しているディスプレイ上において、カメラ142の中心に向かって移動してくるように見える。
【0029】
つまり、検査の初期状態において、カメラ142の中心軸と下水管150の中心軸とは、合致していたが、下水管150の変位の存在のために、カメラ142の中心軸と下水管150の中心軸とにずれが生じるようになる。
【0030】
このように、下水管150の中心軸とカメラ142の中心軸とがずれ始めた位置と、2つの中心軸が再度重なる位置との間が、下水管150がたるんでいる区間であることが分かる。管渠損傷特定装置100は、2つの中心軸のずれに基づいて、下水管150に発生しているたるみなどの変位の発生箇所を決定する。つまり、2つの中心軸のずれの開始位置とずれの解消位置との間が、下水管150の変位箇所であることが分かるので、管渠損傷特定装置100は、この区間を下水管150の変位発生箇所とする。
【0031】
そして、管渠損傷特定装置100は、変位の発生箇所を決定した軸方向内周面画像110に変位位置や変位の大きさなどを示すメタデータなどの識別子を付与して教師データを作成する。管渠損傷特定装置100は、作成した教師データを人工知能に学習させて、下水管などの管渠に発生したたるみや隆起などの変位を特定するための学習済み変位特定モデルを生成する。
【0032】
次に、管渠損傷特定装置100による変位の特定について説明する。管渠損傷特定装置100は、変位を特定したい下水管170の軸方向内周面画像160について、学習済み変位特定モデルを用いて、下水管170に発生している変位や変位の大きさ(程度)などを特定する。
【0033】
特定された変位は、例えば、作業員が所持するタブレット端末130などの携帯端末に出力される。作業員は、タブレット端末130のディスプレイに表示された特定結果を参照して、下水管170に発生している変位を認識する。なお、管渠損傷特定装置100は、特定した変位の種類や程度に応じて、アラートを出力してもよい。例えば、たるみや隆起の程度が大きい場合など、早急な補修工事が必要な変位であれば、管渠損傷特定装置100は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。
【0034】
次に
図2を参照して、管渠損傷特定装置100の構成について説明する。管渠損傷特定装置100は、画像取得部201、軸ずれ検出部202、変位決定部203、ランク決定部204およびモデル生成部205を有する。管渠損傷特定装置100は、画像受付部206および変位特定部207をさらに有する。
【0035】
画像取得部201は、下水管150の内周面を所定のピッチごとの決められた位置で下水管150の軸方向に撮像した軸方向内周面画像110を取得する。画像取得部201は、自走式検査ロボット140のカメラ142で撮像した軸方向内周面画像110を制御部141から取得してもよいし、作業員が所持するタブレット端末130などを経由して軸方向内周面画像110を取得してもよい。なお、軸方向内周面画像110は、後の人工知能による機械学習に用いられる画像である。ここで、所定ピッチは、例えば、10cmであるがこれには限定されない。軸方向内周面画像110は、自走式検査ロボット140が10cm進むごとに撮像された画像である。
【0036】
軸ずれ検出部202は、軸方向内周面画像110における下水管150の中心軸と軸方向内周面画像110を撮像したカメラ142の中心軸とがずれる軸ずれを検出する。軸ずれは、下水管150の高さ方向(上下方向)のずれであり、例えば、下水管150にたるみが発生している場合、下水管150の天井部分が下方向に下がるので、カメラ142の中心軸と下水管150の中心軸とがずれる。同様に、下水管150に隆起が発生している場合、下水管150の底部部分が上方向にせり上がるので、カメラ142の中心軸と下水管150の中心軸とがずれる。軸ずれ検出部202は、このような下水管150に発生した変位に起因する2つの中心軸の軸ずれを検出する。
【0037】
変位決定部203は、軸ずれ検出部202により検出した軸ずれに基づいて、下水管150に発生している変位の発生箇所を決定する。例えば、変位決定部203は、軸ずれの開始位置と終了位置とに基づいて、変位の発生箇所を決定するが、軸ずれが継続している距離と管径(下水管150の内径)との関係をも加味して変位箇所を決定する。つまり、例えば、軸ずれが発生している箇所の距離(軸ずれ継続距離)が、管径よりも短いような場合には、変位決定部203は、当該箇所は、変位箇所ではないとしてもよい。また、軸ずれ量が管径に対して極端に小さい場合なども同様に、変位決定部203は、当該箇所は、変位箇所ではないとしてもよい。このように、変位決定部203は、軸ずれ継続距離および軸ずれ量と管径との関係に基づいて、変位の発生箇所を決定することにより、変位発生箇所決定の精度を上げている。
【0038】
ランク決定部204は、軸ずれの大きさに基づいて、下水管150に発生している変位のランクを決定する。ランクは、下水管150の管径(管渠の内径)に応じて決定される。ランク決定部204は、例えば、管径が700mm未満の場合、変位が、(A)内径以上、(B)内径の1/2以上、(C)内径の1/2未満のように、A~Cの3段階でランク付けする。また、ランク決定部204は、例えば、管径が700mm以上1,650mm未満の場合、変位が、(A)内径の1/2以上、(B)内径の1/4以上、内径の1/4未満のように、A~Cの3段階でランク付けする。さらに、ランク決定部204は、例えば、管径が1,650mm以上3,000mm以下の場合、変位が、(A)内径の1/4以上、(B)内径の1/8以上、内径の1/8未満のように、A~Cの3段階でランク付けする。
【0039】
モデル生成部205は、決定された変位を識別可能な識別子を付与して、決定された変位とともに軸方向内周面画像110を人工知能に学習させて、学習済み変位特定モデルを生成する。モデル生成部205は、例えば、変位としてたるみが発生している箇所に対して、軸方向内周面画像110にたるみであることを表す識別子を付与し、変位として隆起が発生している箇所に対して、軸方向内周面画像110に隆起であることを表す識別子を付与する。モデル生成部205は、変位を識別可能な識別子の他にも、決定したランクを識別可能な識別子を付与してもよい。なお、これらの識別子は、軸方向内周面画像110に直接付与する例で説明をしたが、識別子を所定のデータベース等に記憶しておき、適宜読み出すようにしてもよい。
【0040】
そして、モデル生成部205は、識別子を付与した軸方向内周面画像110を人工知能(AI)に機械学習させ、学習済み変位特定モデルを生成する。なお、モデル生成部205は、生成した学習済み変位特定モデルを所定のストレージ等に保存しておいてもよい。この場合、新たな学習用画像(軸方向内周面画像160)を取得して、所定の処理を施した後、機械学習を行い、学習済み変位特定モデルを生成するたびに、保存された学習済み変位特定モデルを更新するようにしてもよい。
【0041】
また、人工知能による機械学習は、既知のアルゴリズムを用いて行われる。機械学習において、損失関数は、重み指定を行い、事象数の逆数を採用した。また、モデル生成部205は、人工知能による機械学習の精度を向上させて、より精度の高い変位特定モデルを生成するために、人工知能に学習させる軸方向内周面画像110の数を水増しする。モデル生成部205は、例えば、左右反転を用いて水増しデータを得る。さらに、モデル生成部205は、人工知能による機械学習の精度を向上させるために、転移学習を用いてもよい。ここで、転移学習とは、異なるデータセットを用いた学習済みモデルを、別の問題に転用し、部分的な学習をすることで、モデルの性能向上を狙う手法である。特に、教師データが十分ではない場合に、推論性能の向上と学習時間の低減とが期待できる手法である。
【0042】
なお、生成された学習済み変位特定モデルの評価には、再現率(Recall)および適合率(Precision)を用いた。再現率は、再現率=TP/(TP+FN)で表され、結果として出てくるべきもののうち、実際に出てきたものの割合を示す。すなわち、取り漏らしがないかに関する指標である(網羅性に関する指標)。適合率は、適合率=TP/(TP+FP)で表され、正しかったものの割合を示す。出てきたすべての結果の中に、どれだけ正解が含まれているかの割合を示す指標である(正確性に関する指標)。なお、TP=真陽性(True Positive)、FP=偽陽性(False Positive)、FN=偽陰性(False Negative)である。
【0043】
画像受付部206は、管渠としての下水管170の内周面を下水管170の軸方向に撮像した軸方向内周面画像160を受け付ける。軸方向内周面画像160は、自走式検査ロボット140が撮像した画像であり、制御部141から画像受付部206に対して送信された画像である。なお、軸方向内周面画像160は、検査対象となる下水管170の内周面を撮像した画像であり、発生している変位を特定したい下水管170である。
【0044】
変位特定部207は、軸方向内周面画像160と学習済み変位特定モデルとを用いて、下水管170に発生している変位を特定する。そして、管渠損傷特定装置100は、変位が特定された場合、特定された変位位置などを示す情報を軸方向内周面画像160に重畳した画像を、作業員が所持するタブレット端末などに出力する出力部を有していてもよい。また、作業員は、タブレット端末のディスプレイに表示された特定結果を参照することにより、下水管170に発生している変位を認識できる。さらに、出力部は、変位の種類やランクなどに応じたアラートを出力してもよい。出力部は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。
【0045】
図3は、管渠損傷特定装置100が有するランクテーブル301の一例を説明するための図である。ランクテーブル301は、管径311に関連付けてランク312を記憶する。管径311は、下水管などの管渠の内径である、ランク312は、たるみや隆起などの変位のランクであり、変位の程度に応じて3段階(A~C)に分類されている。そして、ランク決定部204は、ランクテーブル301を参照して、変位のランクを決定する。
【0046】
図4を参照して、管渠損傷特定装置100のハードウェア構成について説明する。CPU(Central Processing Unit)410は、演算制御用のプロセッサであり、プログラムを実行することで
図2の管渠損傷特定装置100の各機能構成を実現する。CPU410は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ROM(Read Only Memory)420は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース430は、ネットワークを介して他の装置などと通信する。なお、CPU410は1つに限定されず、複数のCPUであっても、あるいは画像処理用のGPU(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース430は、CPU410とは独立したCPUを有して、RAM(Random Access Memory)440の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、RAM440とストレージ450との間でデータを転送するDMAC(Direct Memory Access Controller)を設けるのが望ましい(図示なし)。さらに、CPU410は、RAM440にデータが受信あるいは転送されたことを認識してデータを処理する。また、CPU410は、処理結果をRAM440に準備し、後の送信あるいは転送はネットワークインタフェース430やDMACに任せる。
【0047】
RAM440は、CPU410が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM440には、本実施形態の実現に必要なデータを記憶する記憶領域が確保されている。内周面画像データ441は、下水管150,170の軸方向に撮像した内周面の画像である。下水管データ442は、下水管150,170に関するデータであり、管径や全長などのデータである。撮像条件データ443は、カメラ142で下水管150,170の内周面を撮像した際の条件である。
【0048】
送受信データ444は、ネットワークインタフェース430を介して送受信されるデータである。また、RAM440は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域445を有する。
【0049】
ストレージ450には、データベースや各種パラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ450は、ランクテーブル301を格納する。ランクテーブル301は、
図3に示した、管径311とランク312との関係を管理するテーブルである。
【0050】
ストレージ450は、さらに、画像取得モジュール451、軸ずれ検出モジュール452、変位決定モジュール453、ランク決定モジュール454、モデル生成モジュール455、画像受付モジュール456および変位特定モジュール457を格納する。画像取得モジュール451は、軸方向内周面画像110を取得するモジュールである。軸ずれ検出モジュール452は、下水管150の中心軸とカメラ142の中心軸との軸ずれを検出するモジュールである。変位決定モジュール453は、軸ずれに基づいて、下水管150に発生している変位を決定するモジュールである。ランク決定モジュール454は、軸ずれ量と管径との関係に基づいて、変位のランクを決定するモジュールである。モデル生成モジュール455は、学習済み変位特定モデルを生成するモジュールである。画像受付モジュール456は、変位の特定対象となる下水管170の軸方向内周面画像を受け付けるモジュールである。変位特定モジュール457は、学習済み変位特定モデルを用いて、下水管170に発生している変位を特定するモジュールである。これらのモジュール451~457は、CPU410によりRAM440のアプリケーション実行領域445に読み出され、実行される。制御プログラム458は、管渠損傷特定装置100の全体を制御するためのプログラムである。
【0051】
入出力インタフェース460は、入出力機器との入出力データをインタフェースする。入出力インタフェース460には、表示部461、操作部462、が接続される。また、入出力インタフェース460には、さらに、記憶媒体464が接続されてもよい。さらに、音声出力部であるスピーカ463や、音声入力部であるマイク(図示せず)、あるいは、GPS位置判定部が接続されてもよい。なお、
図4に示したRAM440やストレージ450には、管渠損傷特定装置100が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。
【0052】
次に
図5に示したフローチャートを参照して、管渠損傷特定装置100の処理手順について説明する。このフローチャートは、
図4のCPU410がRAM440を使用して実行し、
図2の管渠損傷特定装置100の各機能構成を実現する。
【0053】
ステップS501において、画像取得部201は、下水管150の内周面を所定ピッチごとの決められた位置で下水管150の軸方向に撮像した軸方向内周面画像110を取得する。ステップS503において、軸ずれ検出部202は、取得した軸方向内周面画像110における下水管150の中心軸とカメラ142の中心軸とのずれである軸ずれを検出する。ステップS505において、変位決定部203は、検出した軸ずれに基づいて、下水管150に発生している変位の発生箇所を決定する。
【0054】
ステップS507において、ランク決定部204は、軸ずれの大きさに基づいて、下水管150に発生している変位のランクを決定する。ステップS509において、モデル生成部205は、決定された変位を識別可能な識別子やランクを識別可能な識別子を付与して、決定した変位とともに軸方向内周面画像110を人工知能に学習させて、学習済み変位特定モデルを生成する。ステップS511において、画像受付部206は、変位を特定したい下水管170の軸方向内周面画像160を受け付ける。ステップS513において、変位特定部207は、軸方向内周面画像160と学習済み変位特定モデルとを用いて、下水管170に発生している変位を特定する。
【0055】
本実施形態によれば、軸方向内周面画像を人工知能に学習させて管渠に発生した変位を特定するモデルを生成するので、管渠に発生したたるみや隆起を確実に特定することができる。
【0056】
[第2実施形態]
次に本発明の第2実施形態に係る管渠損傷特定装置600について、
図6~
図10を参照して説明する。本実施形態に係る管渠損傷特定装置600は、上記第1実施形態と比べると、軸方向内周面画像の代わりに軸方向内周面画像を管渠の天井部分から切り開いて展開して得られる天井展開平面画像を人工知能に機械学習させて学習済み変位特定モデルを生成する点で異なる。
【0057】
図6は、管渠損傷特定装置600による、管渠に発生している変位の特定の概要について説明するための図である。管渠損傷特定装置600は、まず、自走式検査ロボット140から取得した所定ピッチごとに撮像された軸方向内周面画像110から輪切り画像143を生成し、輪切り画像143を下水管150(170)の天井部分から切り開いて展開して展開平面画像を生成する。そして、管渠損傷特定装置600は、生成された複数の展開平面画像を繋ぎ合わせて1つの天井展開平面画像101(161)を生成し、生成した天井展開平面画像101に変位位置や変位の大きさなどを示すメタデータなどの識別子を付与して教師データを作成する。管渠損傷特定装置600は、作成した教師データを人工知能に学習させて、下水管などの管渠に発生したたるみや隆起などの変位を特定するための学習済み変位特定モデルを生成する。
【0058】
次に、管渠損傷特定装置600による変位の特定について説明する。管渠損傷特定装置600は、変位を特定したい下水管170の軸方向内周面画像160から、天井展開平面画像161を生成し、学習済み変位特定モデルを用いて、下水管170に発生している変位や変位の大きさ(程度)などを特定する。
【0059】
次に
図7を参照して、管渠損傷特定装置600の構成について説明する。管渠損傷特定装置600は、画像取得部701、平面画像生成部702、変位決定部703、範囲決定部704、モデル生成部705、画像受付部706、平面画像生成部707および変位特定部708を有する。
【0060】
画像取得部701は、下水管150の内周面を所定のピッチごとの決められた位置で下水管150の軸方向に撮像した軸方向内周面画像110を取得する。画像取得部701は、自走式検査ロボット140のカメラ142で撮像した軸方向内周面画像110を制御部141から取得してもよいし、作業員が所持するタブレット端末などを経由して軸方向内周面画像110を取得してもよい。ここで、所定ピッチは、例えば、10cmであるが、これには限定されない。軸方向内周面画像110は、自走式検査ロボット140が10cm進むごとに撮像された画像である。
【0061】
平面画像生成部702は、取得した軸方向内周面画像110を軸方向内周面画像110の天井部分(下水管150の天井部分)から切り開いて展開して得られる天井展開平面画像101を生成する。つまり、平面画像生成部702は、まず、画像取得部701が取得した所定ピッチごとに撮像された軸方向内周面画像110から輪切りにされた帯状の画像である輪切り画像143を生成する。
【0062】
そして、平面画像生成部702は、生成された輪切り画像143を天井部分から切り開いて展開して、展開輪切り画像を生成する。次に、平面画像生成部702は、生成した複数の展開輪切り画像を繋いで、横長の天井展開平面画像101を生成する。天井展開平面画像101においては、下水管150の底部部分が帯状の平面画像の短手方向(縦方向)の中央に位置し、天井部分が長手方向(横方向)の左右両端に位置するので、下水管150において、水が流れる部分が平面画像の縦方向の中央に位置するようになる。このような平面画像を生成することにより、下水管150において、水が流れる部分が画像の中央に位置するようになるので、後の人工知能による機械学習の効率や精度が向上する。
【0063】
なお、輪切り画像143は、自走式検査ロボット140において予め生成しておき、画像取得部201が、自走式検査ロボット140により生成された輪切り画像143を取得してもよい。そして、平面画像生成部702は、複数の輪切り画像143から生成された展開平面画像のそれぞれを繋げて1枚の横長の展開平面画像として天井展開平面画像101を生成する。
【0064】
変位決定部703は、生成された天井展開平面画像101を用いて、下水管150に発生している変位の発生箇所を決定する。変位決定部703は、天井展開平面画像101において、水や水跡がある箇所から変位の発生箇所を決定する。
【0065】
例えば、変位としてたるみが発生している場合、当該箇所には、水が溜まっている箇所が存在したり、水が溜まっていた形跡としての水跡が存在したりしている。この点、天井展開平面画像101においては、画像の上下方向に所定幅を有する水や水跡が存在する箇所が、変位としてのたるみが発生している箇所と推定される。
【0066】
また、変位決定部703は、境界線の角度、すなわち、天井展開平面画像101において水が写っている部分の下水管170の走行方向に沿った水部分の境界線の角度なども考慮して変位が発生している箇所やたるみの程度などを決定してもよい。したがって、変位決定部703は、天井展開平面画像101において、水等が存在している箇所を変位としてのたるみが発生している箇所とする。
【0067】
これに対して、例えば、変位として隆起が発生いている場合、水や水跡が存在する箇所が2つ存在し、これら2つの箇所の間に乾燥している箇所、つまり、水や水跡が存在していない箇所が存在している場合(湿→乾→湿)、変位決定部703は、当該箇所を変位としての隆起が発生している箇所と推定してもよい。
【0068】
なお、変位決定部703は、物体検知(Object Detection)を用いて、変位が発生している箇所として、水等が存在している箇所を特定する。物体検知のアルゴリズムとして、例えば、Faster R-CNN(Faster Region with Convolutional Neural Network)を用いることができる。
【0069】
範囲決定部704は、天井展開平面画像101において、天井展開平面画像101の長手方向に垂直な方向への水または水跡の広がりの大きさから、変位が発生している範囲を決定する。なお、天井展開平面画像101の長手方向への水または水跡の広がりの大きさを考慮に入れてもよい。すなわち、範囲決定部704は、天井展開平面画像101における、水や水跡の縦方向および横方向の長さ(下水管150の走行方向の長さ)や大きさ(面積)に基づいて、変位の範囲を決定する。変位としてたるみが存在する場合、範囲決定部704は、水や水跡の長さなどからたるみの範囲を決定する。また、変位として隆起が存在する場合、範囲決定部704は、水や水跡に挟まれた乾燥部分の長さなどから隆起の範囲を決定する。なお、範囲決定部704も変位決定部703と同様に物体検知を用いて変位が発生している範囲を決定する。
【0070】
モデル生成部705は、決定された変位を識別可能な識別子を付与して、決定された変位とともに天井展開平面画像101を人工知能に学習させて、学習済み変位特定モデルを生成する。モデル生成部705は、天井展開平面画像101に変位の発生箇所や発生範囲を識別可能な識別子を付与する。これらの識別子は、天井展開平面画像101に直接付与しても、識別子を所定のデータベース等に記憶しておき、適宜読み出すようにしてもよい。
【0071】
そして、モデル生成部705は、識別子を付与した天井展開平面画像101を人工知能に機械学習させ、学習済み変位特定モデルを生成する。モデル生成部705は、生成した学習済み変位特定モデルを所定のストレージ等に保存しておいてもよい。この場合、新たな学習用画像(天井展開平面画像101)を取得して、機械学習を行い、学習済み変位特定モデルを生成するたびに、保存された学習済み変位特定モデルを更新するようにしてもよい。また、人工知能による機械学習は、上記第1実施形態に記載したものと同様に行われる。
【0072】
画像受付部706は、管渠としての下水管170の内周面を下水管170の軸方向に撮像した軸方向内周面画像160を受け付ける。軸方向内周面画像160は、自走式検査ロボット140により撮像された画像であり、制御部141から画像受付部706に対して送信された画像である。
【0073】
平面画像生成部707は、平面画像生成部702と同様に、受け付けた軸方向内周面画像160を軸方向内周面画像160の天井部分から切り開いて展開して得られる天井展開平面画像161を生成する。天井展開平面画像161は、天井展開平面画像101と同様に、複数の輪切り画像を繋ぎ合わせて生成された画像である。
【0074】
変位特定部708は、天井展開平面画像102と学習済み変位特定モデルとを用いて、下水管170に発生している変位を特定する。そして、管渠損傷特定装置600は、変位が特定された場合、特定された変位位置などを示す情報を軸方向内周面画像160に重畳した画像を、作業員が所持するタブレット端末130に出力する出力部を有していてもよい。また、作業員は、タブレット端末130のディスプレイに表示された特定結果を参照することにより、下水管170に発生している変位を認識できる。さらに、出力部は、変位の種類やランクなどに応じたアラートを出力してもよい。出力部は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。
【0075】
図8は、管渠損傷特定装置600が有する変位決定テーブル801の一例を説明するための図である。変位決定テーブル801は、変位811に関連付けて管径812および範囲813を記憶する。変位811は、下水管などの管渠に発生するたるみや隆起である。管径812は、下水管などの管渠の内径である。範囲813は、天井展開平面画像において、水等が存在している範囲を示す。そして、管渠損傷特定装置600は、変位決定テーブル801を参照して、管渠に発生している変位を特定する。
【0076】
次に、
図9を参照して管渠損傷特定装置600のハードウェア構成について説明する。RAM940は、CPU410が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM940には、本実施形態の実現に必要なデータを記憶する記憶領域が確保されている。内周面画像941は、下水管150,170の軸方向に撮像した内周面の画像である。展開平面画像942は、撮像された軸方向内周面画像を天井部分で切り開いて展開した2次元の平面画像のデータである。下水管データ943は、下水管150,170に関するデータであり、管径や全長などのデータである。撮像条件944は、カメラ142で下水管150,170の内周面を撮像した際の条件である。送受信データ945は、ネットワークインタフェース430を介して送受信されるデータである。また、RAM940は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域946を有する。
【0077】
ストレージ950には、データベースや各種パラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ950は、変位決定テーブル801を格納する。変位決定テーブル801は、
図8に示した、変位811と管径812などとの関係を管理するテーブルである。
【0078】
ストレージ950は、さらに、画像取得モジュール951、平面画像生成モジュール952、変位決定モジュール953、範囲決定モジュール954、モデル生成モジュール955、画像受付モジュール956、平面画像生成モジュール957および変位特定モジュール958を格納する。画像取得モジュール951は、軸方向内周面画像110を取得するモジュールである。平面画像生成モジュール952は、取得した軸方向内周面画像110を天井部分から切り開いて展開して得られる天井展開平面画像101を生成するモジュールである。変位決定モジュール953は、天井展開平面画像101を用いて、下水管150に発生している変位の発生箇所を決定するモジュールである。範囲決定モジュール954は、天井展開平面画像101において、天井展開平面画像101の長手方向に垂直な方向への水または水跡の広がりの大きさから、変位が発生している範囲を決定するモジュールである。
【0079】
モデル生成モジュール955は、決定された変位を識別可能な識別子を付与して、決定された変位とともに天井展開平面画像101を人工知能に学習させて、学習済み変位特定モデルを生成するモジュールである。画像受付モジュール956は、管渠としての下水管170の内周面を下水管170の軸方向に撮像した軸方向内周面画像160を受け付けるモジュールである。平面画像生成モジュール957は、平面画像生成部702と同様に、受け付けた軸方向内周面画像160を軸方向内周面画像160の天井部分から切り開いて展開して得られる天井展開平面画像161を生成するモジュールである。変位特定モジュール958は、天井展開平面画像102と学習済み変位特定モデルとを用いて、下水管170に発生している変位を特定するモジュールである。これらのモジュール951~957は、CPU410によりRAM940のアプリケーション実行領域946に読み出され、実行される。制御プログラム458は、管渠損傷特定装置600の全体を制御するためのプログラムである。
【0080】
図10は、本実施形態に係る管渠損傷特定装置600の処理手順を説明するためのフローチャートである。このフローチャートは、
図9のCPU410がRAM940を使用して実行し、
図7の管渠損傷特定装置600の各機能構成を実現する。ステップS1001において、画像取得部701は、下水管150の内周面を下水管150の軸方向に撮像した軸方向内周面画像110を取得する。ステップS1003において、平面画像生成部702は、取得した軸方向内周面画像110を下水管150の天井部分から切り開いて展開
して得られる天井展開平面画像101を生成する。
【0081】
ステップS1005において、変位決定部703は、天井展開平面画像101を用いて、下水管150に発生している変位の発生箇所を特定する。ステップS1007において、範囲決定部704は、天井展開平面画像101の長手方向に垂直な方向への水または水跡の広がりの大きさから、変位の発生している範囲を決定する。ステップS1009において、モデル生成部705は、決定された変位を識別可能な識別子を付与して、決定された変位とともに軸方向内周面画像110を人工知能に学習させて、学習済みへに特定モデルを生成する。
【0082】
ステップS1011において、画像受付部706は、下水管170の内周面を下水管170の軸方向に撮像した軸方向内周面画像160を受け付ける。ステップS1013において、平面画像生成部707は、受け付けた軸方向内周面画像160を軸方向内周面画像160の天井部分から切り開いて展開して得られる天井展開平面画像101を生成する。ステップS1015において、変位特定部708は、天井展開平面画像101と学習済み変位モデルとを用いて、下水管170に発生している変位を特定する。
【0083】
本実施形態によれば、天井展開平面画像を人工知能に学習させて管渠に発生した変位を特定するモデルを生成するので、管渠に発生したたるみや隆起を確実に特定することができる。
【0084】
[第3実施形態]
次に本発明の第3実施形態に係る管渠損傷特定装置1100について、
図11~
図12を参照して説明する。本実施形態に係る管渠損傷特定装置1100は、上記第1実施形態および第2実施形態と比べると、第1実施形態で用いた軸方向内周面画像と第2実施形態で用いた天井展開平面画像とを人工知能に機械学習させて学習済み変位特定モデルを生成する点で異なる。
【0085】
次に、
図11を参照して、管渠損傷特定装置1100の構成について説明する。管渠損傷特定装置1100は、画像取得部1101、平面画像生成部1102、軸ずれ検出部1103、範囲決定部1104、変位決定部1105、モデル生成部1106、画像受付部1107、平面画像生成部1108および変位特定部1109を有する。
【0086】
画像取得部1101は、上述の画像取得部201,701に相当し、下水管150の内周面を所定ピッチごとの決められた位置で下水管150の軸方向に撮像した軸方向内周面画像110を取得する。
【0087】
平面画像生成部1102は、上述の平面画像生成部702に相当し、取得した軸方向内周面画像110を軸方向内周面画像110の天井部分から切り開いて展開して得られる天井展開平面画像101を生成する。
【0088】
軸ずれ検出部1103は、上述の軸ずれ検出部202に相当し、軸方向内周面画像110における下水管150の中心軸と軸方向内周面画像110を撮像したカメラ142の中心軸とがずれる軸ずれを検出する。
【0089】
範囲決定部1104は、範囲決定部704の相当する機能構成である。範囲決定部1104は、軸方向内周面画像110において、軸ずれの開始位置と軸ずれの解消位置とに基づいて、下水管150に発生している変位の範囲を決定する。範囲決定部1104は、さらに、天井展開平面画像101において、天井展開平面画像101の長手方向に垂直な方向への水または水跡の広がりの大きさから、下水管150に発生している変位の範囲を決定する。なお、天井展開平面画像101の長手方向への水または水跡の広がりの大きさを考慮に入れてもよい。すなわち、範囲決定部1104は、天井展開平面画像101において、水や水跡の縦方向や横方向の長さや大きさ(面積)に基づいて、変位の範囲を決定する。
【0090】
変位決定部1105は、検出した軸ずれと天井展開平面画像101とに基づいて、下水管150に発生している変位の発生箇所を決定する。つまり、変位決定部1105は、軸ずれ検出部1103により検出された軸ずれと、範囲決定部1104により決定された範囲とに基づいて、下水管150に発生している変位の発生箇所を決定する。
【0091】
モデル生成部1106は、決定された変位を識別可能な識別子を付与して、決定された変位とともに軸方向内周面画像110および天井展開平面画像101を人工知能に機械学習させて、学習済み変位特定モデルを生成する。
【0092】
画像受付部1107は、画像受付部206,706に相当し、下水管170の内周面を下水管170の軸方向に撮像した軸方向内周面画像160を受け付ける。
【0093】
平面画像生成部1108は、受け付けた軸方向内周面画像160を軸方向内周面画像160の天井部分から切り開いて展開して得られる天井展開平面画像161を生成する。
【0094】
変位特定部1109は、軸方向内周面画像160と、天井展開平面画像161と、学習済み変位特定モデルとを用いて下水管170に発生している変位を特定する。
【0095】
図12は、本実施形態に係る管渠損傷特定装置1100の処理手順を説明するためのフローチャートである。このフローチャートは、管渠損傷特定装置1100の不図示のCPUが、ROM、RAMを用いて実行し、
図11に示した管渠損傷特定装置1100の各機能構成を実現する。
【0096】
ステップS1201において、画像取得部1101は、下水管150の内周面を所定ピッチごとの決められた位置で下水管150の軸方向に撮像した軸方向内周面画像110を取得する。ステップS1203において、平面画像生成部1102は、取得した軸方向内周面画像110を軸方向内周面画像110の天井部分から切り開いて展開して得られる天井展開平面画像101を生成する。ステップS1205において、軸ずれ検出部1103は、軸方向内周面画像110における下水管150の中心軸と軸方向内周面画像110を撮像したカメラ142の中心軸とがずれる軸ずれを検出する。
【0097】
ステップS1207において、範囲決定部1104は、軸方向内周面画像110における軸ずれの開始位置と軸ずれの解消位置とに基づいて、下水管150に発生している変位の範囲を決定する。さらに、範囲決定部1104は、天井展開平面画像101において、天井展開平面画像101の長手方向と当該長手方向に垂直な方向とへの水または水跡の広がりの大きさから、下水管150に発生している変位の範囲を決定する。ステップS1209において、変位決定部1105は、検出した軸ずれと決定された範囲とに基づいて、下水管150に発生している変位の発生箇所を決定する。
【0098】
ステップS1211において、モデル生成部1106は、決定された変位を識別可能な識別子を付与して、決定された変位とともに軸方向内周面画像110および天井展開平面画像101を人工知能に機械学習させて、学習済み変位特定モデルを生成する。ステップS1213において、画像受付部1107は、下水管170の内周面を下水管170の軸方向に撮像した軸方向内周面画像160を受け付ける。下水管170は、発生している変位を特定したい管渠である。ステップS1215において、平面画像生成部1108は、受け付けた軸方向内周面画像160を軸方向内周面画像160の天井部分から切り開いて展開して得られる天井展開平面画像161を生成する。ステップS1217において、変位特定部1109は、軸方向内周面画像160と、天井展開平面画像161と、学習済み変位特定モデルとを用いて、下水管170に発生している変位を特定する。
【0099】
本実施形態によれば、軸方向内周面画像および天井展開平面画像の2つの画像を用いて人工知能に機械学習させて管渠に発生した変位を特定するモデルを生成するので、管渠に発生したたるみや隆起をより確実に、精度高く、迅速に特定することができる。
【0100】
[他の実施形態]
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【0101】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の範疇に含まれる。