特開 2022-141532 管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022141532

(43)【公開日】2022-09-29

(54)【発明の名称】管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220921BHJP

【ＦＩ】

G06T7/00 610

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021041888

(22)【出願日】2021-03-15

(71)【出願人】

【識別番号】000140292

【氏名又は名称】株式会社奥村組

(71)【出願人】

【識別番号】394026714

【氏名又は名称】株式会社ジャスト

(74)【代理人】

【識別番号】110002170

【氏名又は名称】弁理士法人翔和国際特許事務所

(72)【発明者】

【氏名】岩下 将也

(72)【発明者】

【氏名】山口 治

(72)【発明者】

【氏名】角田 賢明

(72)【発明者】

【氏名】岡田 一哉

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096BA08

5L096CA04

5L096DA02

5L096DA03

5L096EA07

5L096FA64

5L096FA67

5L096FA69

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】より精度高く管渠の取付管を特定する装置及び方法を提供する。
【解決手段】管渠損傷特定装置は、第１管渠の内周面を軸方向に撮像した第１軸方向内周面画像を取得する画像取得部、取得した第１軸方向内周面画像を第１管渠の任意位置で展開して得られる展開平面画像を生成する平面画像生成部、展開平面画像を用いて、第１管渠における取付管の位置を決定する取付管位置決定部、第１管渠内への取付管の突出の程度から、取付管の突出ランクを決定する突出ランク決定部、決定した位置及び突出ランクとともに第１軸方向内周面画像及び展開平面画像を人工知能に学習させて、学習済み取付管特定モデルを生成するモデル生成部、第２管渠の内周面を第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付部及び第２軸方向内周面画像と学習済み取付管特定モデルとを用いて、第２管渠の取付管の位置及び突出ランクを特定する取付管特定部を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１管渠の内周面を前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得部と、
取得した前記第１軸方向内周面画像を前記第１軸方向内周面画像における前記第１管渠の任意位置で切り開いて展開して得られる第１展開平面画像を生成する第１展開平面画像生成部と、
前記第１展開平面画像を用いて、前記第１管渠における取付管の位置を決定する取付管位置決定部と、
前記第１軸方向内周面画像を用いて、前記第１管渠内への前記取付管の突出の前記第１管渠の管径に対する割合から、前記取付管の突出ランクを決定する突出ランク決定部と、
前記取付管の位置および突出ランクを識別可能な識別子を付与して、決定された位置および突出ランクとともに前記第１軸方向内周面画像および前記第１展開平面画像を人工知能に学習させて、学習済み取付管特定モデルを生成するモデル生成部と、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付部と、
取得した前記第２軸方向内周面画像を前記第２軸方向内周面画像における前記第２管渠の任意位置で切り開いて展開して得られる第２展開平面画像を生成する第２展開平面画像生成部と、
前記第２軸方向内周面画像と前記第２展開平面画像と前記学習済み取付管特定モデルとを用いて、前記第２管渠の取付管の位置および突出ランクを特定する取付管特定部と、
を備えた管渠損傷特定装置。

【請求項2】

前記第１軸方向内周面画像は、所定間隔ごとに撮像された連続画像であり、
前記突出ランク決定部は、前記第１軸方向内周面画像のうち、突出した前記取付管の位置よりも手前の位置から撮像した前記第１軸方向内周面画像を少なくとも１つ用いて、前記突出ランクを決定し、
前記モデル生成部は、推定された前記突出ランクを人工知能にさらに学習させて、前記学習済み取付管特定モデルを生成する、請求項１に記載の管渠損傷特定装置。

【請求項3】

前記第１管渠および前記第２管渠は、下水管である請求項１または２に記載の管渠損傷特定装置。

【請求項4】

前記モデル生成部は、水増しデータとして、左右反転画像を用いて前記学習済み損傷特定モデルを生成する請求項１～３のいずれか１項に記載の管渠損傷特定装置。

【請求項5】

前記モデル生成部は、転移学習を用いて前記学習済みモデルを生成する請求項１～４のいずれか１項に記載の管渠損傷特定装置。

【請求項6】

第１管渠の内周面を前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得ステップと、
取得した前記第１軸方向内周面画像を前記第１軸方向内周面画像における前記第１管渠の任意位置で切り開いて展開して得られる第１展開平面画像を生成する第１展開平面画像生成ステップと、
前記第１展開平面画像を用いて、前記第１管渠における取付管の位置を決定する取付管位置決定ステップと、
前記第１軸方向内周面画像を用いて、前記第１管渠内への前記取付管の突出の前記第１管渠の管径に対する割合から、前記取付管の突出ランクを決定する突出ランク決定ステップと、
前記取付管の位置および突出ランクを識別可能な識別子を付与して、決定された位置および突出ランクとともに前記第１軸方向内周面画像および前記第１展開平面画像を人工知能に学習させて、学習済み取付管特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付ステップと、
取得した前記第２軸方向内周面画像を前記第２軸方向内周面画像における前記第２管渠の任意位置で切り開いて展開して得られる第２展開平面画像を生成する第２展開平面画像生成ステップと、
前記第２軸方向内周面画像と前記第２展開平面画像と前記学習済み取付管特定モデルとを用いて、前記第２管渠の取付管の位置および突出ランクを特定する取付管特定ステップと、
を含む管渠損傷特定方法。

【請求項7】

第１管渠の内周面を前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得ステップと、
取得した前記第１軸方向内周面画像を前記第１軸方向内周面画像における前記第１管渠の任意位置で切り開いて展開して得られる第１展開平面画像を生成する第１展開平面画像生成ステップと、
前記第１展開平面画像を用いて、前記第１管渠における取付管の位置を決定する取付管位置決定ステップと、
前記第１軸方向内周面画像を用いて、前記第１管渠内への前記取付管の突出の前記第１管渠の管径に対する割合から、前記取付管の突出ランクを決定する突出ランク決定ステップと、
前記取付管の位置および突出ランクを識別可能な識別子を付与して、決定された位置および突出ランクとともに前記第１軸方向内周面画像および前記第１展開平面画像を人工知能に学習させて、学習済み取付管特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付ステップと、
取得した前記第２軸方向内周面画像を前記第２軸方向内周面画像における前記第２管渠の任意位置で切り開いて展開して得られる第２展開平面画像を生成する第２展開平面画像生成ステップと、
前記第２軸方向内周面画像と前記第２展開平面画像と前記学習済み取付管特定モデルとを用いて、前記第２管渠の取付管の位置および突出ランクを特定する取付管特定ステップと、
をコンピュータに実行させる管渠損傷特定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラムに関し、特に、コンピュータに組み込まれた画像解析プログラムおよび人工知能による特定結果から管渠の損傷を特定する装置に関する。

【背景技術】

【0002】

インフラ構造物の老朽化は加速度的に進んでおり，維持管理・更新の必要性は，今後さらに増大していくと言われている。労働人口が減り続ける中、維持管理・更新にかかる労務の効率化は喫緊の課題となっている。維持管理・更新にかかる労務の効率化の実現に向け、近年著しく性能が向上しているＡＩによる画像認識技術を適用する研究事例が増えている。深層学習と呼ばれる高度なニューラルネットワークを用いれば、従来では困難であった人間の直感に近い画像認識が実現でき損傷部位の目視点検の補助や代替が期待できる。

【0003】

一方、管渠などインフラ構造物の検査においては、例えば、特許文献１および特許文献２に記載の技術のように、調査対象の流路管内に投入する装置本体に、テレビカメラ等の撮影装置や蛍光灯等の照明装置を搭載し、撮影装置により撮影した管内画像をもとに損傷などの調査を行っていた。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平５－３４６０２７号公報

【特許文献2】特開平７－２１６９７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記文献に記載の技術では、撮像した管内画像を作業員が目で見て調査を行うものであり、見落としや見誤りが発生しやすく、管渠の取付管を特定することが困難であった。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る管渠損傷特定装置は、
第１管渠の内周面を前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得部と、
取得した前記第１軸方向内周面画像を前記第１軸方向内周面画像における前記第１管渠の任意位置で切り開いて展開して得られる第１展開平面画像を生成する第１平面画像生成部と、
前記第１展開平面画像を用いて、前記第１管渠における取付管の位置を決定する取付管位置決定部と、
前記第１軸方向内周面画像を用いて、前記第１管渠内への前記取付管の突出の前記第１管渠の管径に対する割合から、前記取付管の突出ランクを決定する突出ランク決定部と、
前記取付管の位置および突出ランクを識別可能な識別子を付与して、決定された位置および突出ランクとともに前記第１軸方向内周面画像および前記第１展開平面画像を人工知能に学習させて、学習済み取付管特定モデルを生成するモデル生成部と、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付部と、
取得した前記第２軸方向内周面画像を前記第２軸方向内周面画像における前記第２管渠の任意位置で切り開いて展開して得られる第２展開平面画像を生成する第２展開平面画像生成部と、
前記第２軸方向内周面画像と前記第２展開平面画像と前記学習済み取付管特定モデルとを用いて、前記第２管渠の取付管の位置および突出ランクを特定する取付管特定部と、
を備えた。

【0007】

また、上記目的を達成するため、本発明に係る管渠損傷特定方法は、
第１管渠の内周面を前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得ステップと、
取得した前記第１軸方向内周面画像を前記第１軸方向内周面画像における前記第１管渠の任意位置で切り開いて展開して得られる第１展開平面画像を生成する第１平面画像生成ステップと、
前記第１展開平面画像を用いて、前記第１管渠における取付管の位置を決定する取付管位置決定ステップと、
前記第１軸方向内周面画像を用いて、前記第１管渠内への前記取付管の突出の前記第１管渠の管径に対する割合から、前記取付管の突出ランクを決定する突出ランク決定ステップと、
前記取付管の位置および突出ランクを識別可能な識別子を付与して、決定された位置および突出ランクとともに前記第１内周面画像および前記第１展開平面画像を人工知能に学習させて、学習済み取付管特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付ステップと、
取得した前記第２軸方向内周面画像を前記第２軸方向内周面画像における前記第２管渠の任意位置で切り開いて展開して得られる第２展開平面画像を生成する第２展開平面画像生成ステップと、
前記第２軸方向内周面画像と前記第２展開平面画像と前記学習済み取付管特定モデルとを用いて、前記第２管渠の取付管の位置および突出ランクを特定する取付管特定ステップと、
を含む。

【0008】

さらに、上記目的を達成するため、本発明に係る管渠損傷特定プログラムは、
第１管渠の内周面を前記第１管渠の軸方向に撮像した第１軸方向内周面画像を取得する画像取得ステップと、
取得した前記第１軸方向内周面画像を前記第１軸方向内周面画像における前記第１管渠の任意位置で切り開いて展開して得られる第１展開平面画像を生成する第１平面画像生成ステップと、
前記第１展開平面画像を用いて、前記第１管渠における取付管の位置を決定する取付管位置決定ステップと、
前記第１軸方向内周面画像を用いて、前記第１管渠内への前記取付管の突出の前記第１管渠の管径に対する割合から、前記取付管の突出ランクを決定する突出ランク決定ステップと、
前記取付管の位置および突出ランクを識別可能な識別子を付与して、決定された位置および突出ランクとともに前記第１軸方向内周面画像および前記第１展開平面画像を人工知能に学習させて、学習済み取付管特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を前記第２管渠の軸方向に撮像した第２軸方向内周面画像を受け付ける画像受付ステップと、
取得した前記第２軸方向内周面画像を前記第２軸方向内周面画像における前記第２管渠の任意位置で切り開いて展開して得られる第２展開平面画像を生成する第２展開平面画像生成ステップと、
前記第２軸方向内周面画像と前記第２展開平面画像と前記学習済み取付管特定モデルとを用いて、前記第２管渠の取付管の位置および突出ランクを特定する取付管特定ステップと、
をコンピュータに実行させる。

【発明の効果】

【0009】

本発明の管渠損傷特定装置によれば、人工知能による機械学習を用いて管渠に発生した損傷を特定するモデルを生成するので、より精度高く管渠の取付管を特定することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の好ましい実施形態に係る管渠損傷特定装置による処理の概要を説明するための図である。

【図2】本発明の好ましい実施形態に係る管渠損傷特定装置の構成を説明するためのブロック図である。

【図3】本発明の好ましい実施形態に係る管渠損傷特定装置が有するランクテーブルの一例を説明するための図である。

【図4】本発明の好ましい実施形態に係る管渠損傷特定装置のハードウェア構成を説明するためのブロック図である。

【図5】本発明の好ましい実施形態に係る管渠損傷特定装置の処理手順を説明するためのフローチャートである。

【発明を実施するための形態】

【0011】

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明する。ただし、以下の実施形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。

【0012】

本発明の好ましい実施形態としての管渠損傷特定装置１００について、図１～図５を参照して説明する。管渠損傷特定装置１００は、管渠の軸方向に撮像した管渠の内周面画像と、当該内周面画像を切り開いて展開して得られる展開平面画像とを用いて、管渠に取り付けられている取付管の位置と当該取付管の突出ランクを特定する装置である。図１は、管渠損傷特定装置１００による、管渠に取り付けられている取付管の位置と当該取付管の突出ランクの特定の概要について説明するための図である。

【0013】

ここで、管渠とは、水路の総称であり、給水、排水を目的として作られる水路全体を指す。例えば、上水管、下水管、給水管などが含まれる。本実施形態においては、管渠として下水管１５０，１７０を例に説明する。また、管渠の材質としては、コンクリート、陶器、鉄、塩化ビニルなどが含まれ、管渠の種類としては、コンクリート管、コンクリートヒューム管、陶管、鉄管、塩化ビニル管などが含まれる。

【0014】

また、取付管とは、敷地内などから出されるは排水を敷地内排水設備で流下し、公共の下水道の本管または水路へ流入させるために敷設される管をいう。例えば、取付管は、公共ますと汚水管などの管渠とを接続する管のことをいう。

【0015】

なお、以下の説明では、管渠として、下水管１５０（下水管１７０）を例に説明をする。下水管１５０の管径（内径）は、作業員が下水管１５０内に入って作業することが困難な程度の大きさであり、例えば、２００ｍｍ～３０００ｍｍの下水管１５０であるが、下水管１５０の管径は、これには限定されない。

【0016】

下水管１５０の内部の検査においては、自走式検査ロボット１４０のカメラ１４２で撮像した下水管１５０（１７０）の内周面の画像を用いた検査が行われている。ここで、下水管１５０の内周面画像は、下水管１５０の軸方向（中心軸方向）に撮像した軸方向内周面画像１１０（１６０）となっている。下水管１５０の軸方向は、下水管１５０の敷設方向に垂直な面における下水管１５０の円形断面の中心軸の方向、つまり、下水管１５０の敷設方向（走行方向）に沿った方向である。

【0017】

そして、作業員は、下水管１５０の外部に設置されたディスプレイなどを用いて、カメラ１４２で撮像した画像を確認し、下水管１５０に取り付けられた取付管の位置や当該取付管が下水管１５０の内部にどれだけ突出しているかの検査を行う。制御部１４１は、自走式検査ロボット１４０の自走速度や撮影スケジュール、撮像条件を制御したり、管渠損傷特定装置１００や作業員が所持するタブレット端末１３０との間の通信を制御したりする。作業員は、例えば、タブレット端末１３０にインストールされた操作用アプリケーションを用いて、自走式検査ロボット１４０を操作する。なお、自走式検査ロボット１４０が入れないような、管径の小さな下水管の場合、自走式検査ロボット１４０の代わりに、ファイバースコープなどの超小型検査装置を用いてもよい。

【0018】

そして、制御部１４１は、カメラ１４２で撮像した軸方向内周面画像１１０（１６０）を、管渠損傷特定装置１００に送信する。なお、軸方向内周面画像１１０は、人工知能による機械学習のための画像であり、軸方向内周面画像１６０は、取付管の位置などを特定したい下水管１７０の画像である。また、カメラ１４２は、通常の広角カメラ、全周カメラのいずれであってもよい。広角カメラの場合、１周分の画像を複数回に分けて撮像し、撮像した複数枚の画像を繋いで軸方向内周面画像１１０（１６０）を生成してもよい。

【0019】

また、軸方向内周面画像１１０（１６０）は、所定のピッチ（例えば、０．１ｍ）ごとに決められた位置で下水管１５０（１７０）の軸方向に撮像された画像である。例えば、下水管１５０の継手から継手の間を１ユニットとした場合に、１ユニットごとに撮像した画像（軸方向内周面画像１１０（１６０））を輪切りにして、輪切り画像１４３を得て、これらを繋ぎ合わせることで軸方向内周面画像１１０（１６０）を生成してもよい。

【0020】

そして、本実施形態においては、まず初めに、下水管１５０の内周面画像の撮像前に、自走式検査ロボット１４０の撮像部としてのカメラ１４２の中心軸と下水管１５０の中心軸１５１とが合致するように、自走式検査ロボット１４０を下水管１５０にセットすることが好ましい。そして、自走式検査ロボット１４０を走行させながら、検査対象範囲の下水管１５０の内周面を撮像する。撮像が完了したら、制御部１４１は、撮像した画像を管渠損傷特定装置１００に送信する。

【0021】

管渠損傷特定装置１００は、受信した軸方向内周面画像１１０から、取付管１８０の位置および突出ランクを決定して、人工知能に学習させて、学習済み取付管特定モデルを生成する。そして、管渠損傷特定装置１００は、生成した学習済み取付管特定モデルを用いて、管渠の取付管の位置および突出ランクを特定する。なお、突出ランクは、取付管１８０が、下水管１５０の内部に飛び出している量に依存するランクである。

【0022】

次に、管渠損傷特定装置１００による取付管１８０の位置および突出ランクの特定について説明する。管渠損傷特定装置１００は、取付管１８０の位置等を特定したい下水管１７０の軸方向内周面画像１６０について、学習済み取付管特定モデルを用いて、下水管１７０の取付管１８０の位置および突出ランクを特定する。

【0023】

特定された取付管１８０の位置および突出ランクは、例えば、作業員が所持するタブレット端末１３０などの携帯端末に出力される。作業員は、タブレット端末１３０のディスプレイに表示された特定結果を参照して、下水管１７０の取付管１８０の位置や突出ランクを認識する。なお、管渠損傷特定装置１００は、特定した取付管１８０の位置や突出ランクに応じて、アラートを出力してもよい。例えば、突出ランクが大きい場合など、早急な補修工事等が必要であれば、管渠損傷特定装置１００は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。

【0024】

次に、図２を参照して本実施形態に係る管渠損傷特定装置１００の構成について説明する。管渠損傷特定装置１００は、画像取得部２０１、展開平面画像生成部２０２、取付管位置決定部２０３、突出ランク決定部２０４、モデル生成部２０５、画像受付部２０６、展開平面画像生成部２０７および取付管特定部２０８を有する。

【0025】

画像取得部２０１は、下水管１５０の内周面を下水管１５０の軸方向に撮像した軸方向内周面画像１１０を取得する。画像取得部２０１は、自走式検査ロボット１４０のカメラ１４２で撮像した軸方向内周面画像１１０を制御部１４１から取得してもよいし、作業員が所持するタブレット端末１３０などを経由して取得してもよい。なお、軸方向内周面画像１１０は、後の人工知能による機械学習に用いられる画像である。ここで、軸方向内周面画像１１０は、下水管１５０の内周面を所定の間隔（ピッチ）ごとの決められた位置で下水管１５０の軸方向に撮像した連続画像であり、所定ピッチは、例えば、１０ｃｍであるが、これには限定されない。軸方向内周面画像１１０は、自走式検査ロボット１４０が１０ｃｍ進むごとに撮像された画像である。

【0026】

展開平面画像生成部２０２は、取得した軸方向内周面画像１１０を軸方向内周面画像１１０における下水管１５０の任意位置で切り開いて展開して得られる展開平面画像１０１を生成する。展開平面画像生成部２０２は、例えば、取得した軸方向内周面画像１１０を軸方向内周面画像１１０の底部部分（下水管１５０の底部部分）から切り開いて展開して得られる底部展開平面画像生成する。なお、展開平面画像生成部２０２が生成する展開平面画像は、底部展開平面画像には限定されず、例えば、軸方向内周面画像１１０の天井部分や側部部分（下水管１５０の天井部分や側部部分）から切り開いて展開して得られる天井展開平面画像や側部展開平面画像などを生成してもよい。

【0027】

ここで、展開平面画像生成部２０２は、まず、画像取得部２０１が取得した所定間隔ごとに撮像された軸方向内周面画像１１０から輪切りにされた帯状の画像である輪切り画像１４３を生成する。そして、展開平面画像生成部２０２は、生成された輪切り画像１４３を下水管１５０の任意位置で切り開いて展開して、展開輪切り画像を生成する。次に、展開平面画像生成部２０２は、生成した複数の展開輪切り画像を繋いで、横長の展開平面画像１０１を生成する。例えば、横長の底部展開平面画像においては、下水管１５０の天井部分が帯状の平面画像の中央に位置し、底部部分が左右両端に位置するようになる。このような平面画像を生成することにより、下水管１５０において、水が流れない部分が画像の縦方向の中央に位置するようになるので、後の人工知能による機械学習の効率や精度が上昇する。

【0028】

なお、輪切り画像１４３は、自走式検査ロボット１４０において予め生成しておき、画像取得部２０１が、自走式検査ロボット１４０により生成された輪切り画像１４３を取得してもよい。そして、展開平面画像生成部２０２は、複数の輪切り画像１４３から生成された展開平面画像のそれぞれを繋いで１枚の横長の画像として展開平面画像１０１を生成する。

【0029】

取付管位置決定部２０３は、展開平面画像１０１を用いて、下水管１５０における取付管１８０の位置を決定する。取付管位置決定部２０３は、展開平面画像１０１において、例えば、下水管１５０の内周面に出現する空洞を探し出すことにより、取付管１８０の位置を決定する。また、取付管位置決定部２０３は、探し出した空洞部分の大きさや輝度などを加味して取付管１８０の位置を決定してもよい。

【0030】

なお、取付管位置決定部２０３は、物体検知（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）を用いて、取付管１８０の位置を決定する。物体検知のアルゴリズムとして、例えば、Ｆａｓｔｅｒ Ｒ－ＣＮＮ（Ｆａｓｔｅｒ Ｒｅｇｉｏｎ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることができる。

【0031】

突出ランク決定部２０４は、軸方向内周面画像１１０を用いて、下水管１５０内への取付管１８０の突出の下水管１５０の管径に対する割合から、取付管１８０の突出ランクを決定する。突出ランクは、例えば、所定間隔ごとに撮像された軸方向内周面画像１１０のうち、突出した取付管１８０が写っている軸方向内周面画像１１０と、取付管１８０の位置よりも手前の位置で撮像した軸方向内周面画像１１０を１つ用いて、突出ランクを決定する。具体的には、例えば、作業員が、目視にて、この突出ならＡ、この突出ならＢというように突出のランクを決定するが、突出ランクの決定方法は、これには限定されない。例えば、取付管１８０が写っている複数枚の軸方向内周面画像１１０を用いて、突出長さを導出し、導出した突出長さに応じてランクを決定してもよい。ここで、突出ランク決定部２０４は、軸方向内周面画像１１０を用いて突出ランクを決定しているが、展開平面画像１０１では、取付管１８０が手前に向かって突出しており（画像手前側に突出している）、突出ランクの決定が難いためである。

【0032】

モデル生成部２０５は、取付管１８０の位置および突出ランクを識別可能な識別子を付与して、決定された位置および突出ランクとともに軸方向内周面画像１１０および展開平面画像１０１を人工知能に学習させて、学習済み取付管特定モデルを生成する。モデル生成部２０５は、例えば、取付管１８０が設置されている位置に対して、取付管１８０の設置された位置であることを示す識別子を付与し、さらに、取付管１８０の突出ランクを示す識別子を付与する。なお、これらの識別子は、展開平面画像１０１や軸方向内周面画像１１０に付与しても、あるいは、識別子を所定のデータベース等に記憶しておき、適宜読み出すようにしてもよい。

【0033】

そして、モデル生成部２０５は、識別子を付与した軸方向内周面画像１１０および展開平面画像１０１を人工知能（ＡＩ）に機械学習させ、学習済み取付管特定モデルを生成する。なお、モデル生成部２０５は、生成した学習済み取付管特定モデルを所定のストレージ等に保存しておいてもよい。この場合、新たな学習用画像（軸方向内周面画像１６０）を取得して、所定の処理を施した後、機械学習を行い、学習済み取付管特定モデルを生成するたびに、保存された学習済み取付管特定モデルを更新するようにしてもよい。

【0034】

また、人工知能による機械学習は、既知のアルゴリズムを用いて行われる。機械学習において、損失関数は、重み指定を行い、事象数の逆数を採用した。また、モデル生成部２０５は、人工知能による機械学習の精度を向上させて、より精度の高い取付管特定モデルを生成するために、人工知能に学習させる軸方向内周面画像１１０および展開平面画像１０１の数を水増しする。モデル生成部２０５は、例えば、左右反転を用いて水増しデータを得る。さらに、モデル生成部２０５は、人工知能による機械学習の精度を向上させるために、転移学習を用いてもよい。ここで、転移学習とは、異なるデータセットを用いた学習済みモデルを、別の問題に転用し、部分的な学習をすることで、モデルの性能向上を狙う手法である。特に、教師データが十分ではない場合に、推論性能の向上と学習時間の低減とが期待できる手法である。

【0035】

なお、生成された学習済み変位特定モデルの評価には、再現率（Ｒｅｃａｌｌ）および適合率（Ｐｒｅｃｉｓｉｏｎ）を用いた。再現率は、再現率＝ＴＰ／（ＴＰ＋ＦＮ）で表され、結果として出てくるべきもののうち、実際にでてきたものの割合を示す。すなわち、取り漏らしがないかに関する指標である（網羅性に関する指標）。適合率は、適合率＝ＴＰ／（ＴＰ＋ＦＰ）で表され、正しかったものの割合を示す。出てきたすべての結果の中に、どれだけ正解が含まれているかの割合を示す指標である（正確性に関する指標）。
なお、ＴＰ＝真陽性（Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ）、ＦＰ＝偽陽性（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ）、ＦＮ＝偽陰性（Ｆａｌｓｅ Ｎｅｇａｔｉｖｅ）である。

【0036】

画像受付部２０６は、下水管１７０の内周面を下水管１７０の軸方向に撮像した軸方向内周面画像１６０を受け付ける。軸方向内周面画像１６０は、自走式検査ロボット１４０が撮像した画像であり、制御部１４１から画像受付部２０６に対して送信された画像である。なお、軸方向内周面画像１６０は、検査対象となる下水管１７０の内周面を撮像した画像であり、取付管１８０の位置や突出ランクを特定したい下水管１７０である。

【0037】

展開平面画像生成部２０７は、受け付けた軸方向内周面画像１６０を軸方向内周面画像１６０における下水管１７０の任意位置で切り開いて展開して得られる展開平面画像１６１を生成する。展開平面画像生成部２０７は、展開平面画像生成部２０２と同様に、受け付けた軸方向内周面画像１６０を軸方向内周面画像１６０の任意の位置から切り開いて展開して得られる展開平面画像１６１を生成する。展開平面画像１６１は、展開平面画像１０１と同様に、複数の輪切り画像を繋ぎ合わせて生成された画像である。

【0038】

取付管特定部２０８は、軸方向内周面画像１６０と展開平面画像１６１と学習済み取付管特定モデルとを用いて、下水管１７０の取付管１８０の位置および突出ランクを特定する。そして、管渠損傷特定装置１００は、取付管１８０の位置および突出ランクが特定された場合、特定された位置などを示す情報を軸方向内周面画像１６０に重畳した画像を、作業員が所持するタブレット端末１３０に出力する出力部を有していてもよい。また、作業員は、タブレット端末１３０のディスプレイに表示された特定結果を参照することにより、下水管１７０の取付管１８０の位置等を認識できる。さらに、出力部は、特定された位置やランクに応じたアラートを出力してもよい。出力部は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。

【0039】

図３は、管渠損傷特定装置１００が有するランクテーブル３０１の一例を説明するための図である。ランクテーブル３０１は、突出割合３１１に関連付けてランク３１２を記憶する。突出割合３１１は、例えば、突出した取付管１８０が、下水管１５０，１７０の管径に対して占める割合［％］である。ランク３１２は、突出割合３１１に応じて分類されている（Ａ，Ｂ，Ｃ，Ｄ・・・）。そして、突出ランク決定部２０４は、ランクテーブル３０１を参照して、突出ランクを決定する。

【0040】

図４を参照して、管渠損傷特定装置１００のハードウェア構成について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１０は、演算制御用のプロセッサであり、プログラムを実行することで図２の管渠損傷特定装置１００の各機能構成を実現する。ＣＰＵ４１０は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２０は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース４３０は、ネットワークを介して他の装置などと通信する。なお、ＣＰＵ４１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んでもよい。また、ネットワークインタフェース４３０は、ＣＰＵ４１０とは独立したＣＰＵを有して、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ４４０とストレージ４５０との間でデータを転送するＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）を設けるのが望ましい（図示なし）。さらに、ＣＰＵ４１０は、ＲＡＭ４４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ４１０は、処理結果をＲＡＭ４４０に準備し、後の送信あるいは転送はネットワークインタフェース４３０やＤＭＡＣに任せる。

【0041】

ＲＡＭ４４０は、ＣＰＵ４１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ４４０には、本実施形態の実現に必要なデータを記憶する記憶領域が確保されている。内周面画像データ４４１は、下水管１５０，１７０の軸方向に撮像した内周面の画像である。展開平面画像データ４４２は、撮像された軸方向内周面画像を下水管の任意位置で切り開いて展開した２次元の平面画像のデータである。下水管データ４４３は、下水管１５０，１７０に関するデータであり、管径や全長などのデータである。撮像条件データ４４４は、カメラ１４２で下水管１５０，１７０の内周面を撮像した際の条件である。

【0042】

送受信データ４４５は、ネットワークインタフェース４３０を介して送受信されるデータである。また、ＲＡＭ４４０は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域４４６を有する。

【0043】

ストレージ４５０には、データベースや各種パラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ４５０は、ランクテーブル３０１を格納する。ランクテーブル３０１は、図３に示した、突出割合３１１とランク３１２との関係を管理するテーブルである。

【0044】

ストレージ４５０は、さらに、画像取得モジュール４５１、展開平面画像生成モジュール４５２、取付管位置決定モジュール４５３、突出ランク決定モジュール４５４、モデル生成モジュール４５５、画像受付モジュール４５６、展開平面画像生成モジュール４５７、取付管特定モジュール４５８を格納する。画像取得モジュール４５１は、軸方向内周面画像１１０を取得するモジュールである。展開平面画像生成モジュール４５２は、取得した軸方向内周面画像１１０を下水管１５０の任意位置で切り開いて展開して得られる展開平面画像を生成するモジュールである。取付管位置決定モジュール４５３は、展開平面画像を用いて、下水管１５０における取付管１８０の位置を決定する。突出ランク決定モジュール４５４は、軸方向内周面画像１１０を用いて、取付管１８０の下水管１５０の内部への突出の割合に基づいて、取付管１８０の突出ランクを決定するモジュールである。モデル生成モジュール４５５は、学習済み取付管特定モデルを生成するモジュールである。画像受付モジュール４５６は、下水管１７０の内周面を下水管１７０の軸方向に撮像した軸方向内周面画像１６０を受け付けるモジュールである。展開平面画像生成モジュール４５７は、取得した軸方向内周面画像１６０を軸方向内周面画像１６０における下水管１７０の任意位置で切り開いて展開して得られる展開平面画像１６１を生成するモジュールである。取付管特定モジュール４５８は、軸方向内周面画像１６０と展開平面画像１６１と学習済み取付管特定モデルとを用いて、下水管１７０の取付管１８０の位置および突出ランクを特定するモジュールである。これらのモジュール４５１～４５８は、ＣＰＵ４１０によりＲＡＭ４４０のアプリケーション実行領域４４６に読み出され、実行される。制御プログラム４５９は、管渠損傷特定装置１００の全体を制御するためのプログラムである。

【0045】

入出力インタフェース４６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース４６０には、表示部４６１、操作部４６２、が接続される。また、入出力インタフェース４６０には、さらに、記憶媒体４６４が接続されてもよい。さらに、音声出力部であるスピーカ４６３や、音声入力部であるマイク（図示せず）、あるいは、ＧＰＳ位置判定部が接続されてもよい。なお、図４に示したＲＡＭ４４０やストレージ４５０には、管渠損傷特定装置１００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

【0046】

次に図５に示したフローチャートを参照して、管渠損傷特定装置１００の処理手順について説明する。このフローチャートは、図４のＣＰＵ４１０がＲＡＭ４４０を使用して実行し、図２の管渠損傷特定装置１００の各機能構成を実現する。

【0047】

ステップＳ５０１において、画像取得部２０１は、軸方向内周面画像１１０を取得する。ステップＳ５０３において、展開平面画像生成部２０２は、軸方向内周面画像１１０を軸方向内周面画像１１０における下水管１５０の任意位置で切り開いて展開して得られる展開平面画像１０１を生成する。ステップＳ５０５において、取付管位置決定部２０３は、展開平面画像１０１を用いて、下水管１５０における取付管の位置を決定する。ステップＳ５０７において、突出ランク決定部２０４は、軸方向内周面画像１１０を用いて、下水管１５０への取付管１８０の突出の割合から、取付管１８０の突出ランクを決定する。ステップＳ５０９において、モデル生成部２０５は、取付管１８０の位置および突出ランクを識別可能な識別子を付与して、決定された位置および突出ランクとともに軸方向内周面画像１１０および展開平面画像１０１を人工知能に学習させて、学習済み取付管特定モデルを生成する。ステップＳ５１１において、画像受付部２０６は、下水管１７０の内周面を下水管１７０の軸方向に撮像した軸方向内周面画像１６０を受け付ける。ステップＳ５１３において、展開平面画像生成部２０７は、受け付けた軸方向内周面画像１６０を軸方向内周面画像１６０における下水管１７０の任意位置で切り開いて展開して得られる展開平面画像１６１を生成する。ステップＳ５１５において、取付管特定部２０８は、軸方向内周面画像１６０と展開平面画像１６１と学習済み取付管特定モデルとを用いて、下水管１７０の取付管１８０の位置および突出ランクを特定する。

【0048】

本実施形態によれば、軸方向内周面画像および展開平面画像を人工知能に学習させて管渠の取付管の位置および突出ランクを特定するモデルを生成するので、管渠の取付管の位置および突出ランクを確実に特定することができる。

【0049】

［他の実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

【0050】

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】