特開 2022-141533 管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022141533

(43)【公開日】2022-09-29

(54)【発明の名称】管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220921BHJP

【ＦＩ】

G06T7/00 610

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021041889

(22)【出願日】2021-03-15

(71)【出願人】

【識別番号】000140292

【氏名又は名称】株式会社奥村組

(71)【出願人】

【識別番号】394026714

【氏名又は名称】株式会社ジャスト

(74)【代理人】

【識別番号】110002170

【氏名又は名称】弁理士法人翔和国際特許事務所

(72)【発明者】

【氏名】岩下 将也

(72)【発明者】

【氏名】山口 治

(72)【発明者】

【氏名】角田 賢明

(72)【発明者】

【氏名】鎌形 勇樹

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096CA04

5L096DA02

5L096DA03

5L096EA07

5L096EA37

5L096FA69

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】管渠のジョイント部分を精度高く特定する装置及び方法を提供する。
【解決手段】管渠損傷特定装置は、第１管渠の内周面を撮像した第１内周面画像を取得する画像取得部、第１内周面画像を第１管渠の底部部分で展開して得られる第１底部展開平面画像を生成する第１底部展開平面画像生成部、第１底部展開平面画像の長手方向に所定幅を有するバウンディングボックスとしてのジョイント部分を特定したジョイント部分特定画像を生成する特定画像生成部、生成したジョイント部分特定画像を人工知能に学習させて、学習済みジョイント特定モデルを生成するモデル生成部、第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付部、第２内周面画像から第２底部展開平面画像を生成する第２底部展開平面画像生成部及び第２底部展開平面画像と学習済みジョイント特定モデルとを用いて、第２管渠のジョイント部分を特定するジョイント特定部を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１管渠の内周面を撮像した第１内周面画像を取得する画像取得部と、
取得した前記第１内周面画像を前記第１内周面画像における前記第１管渠の底部部分で切り開いて展開して得られる第１底部展開平面画像を生成する第１底部展開平面画像生成部と、
前記第１底部展開平面画像の長手方向に対して所定幅を有するバウンディングボックスとして前記第１管渠のジョイント部分を特定したジョイント部分特定画像を生成する特定画像生成部と、
生成した前記ジョイント部分特定画像を人工知能に学習させて、学習済みジョイント特定モデルを生成するモデル生成部と、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付部と、
取得した前記第２内周面画像を前記第２内周面画像における前記第２管渠の底部部分で切り開いて展開して得られる第２底部展開平面画像を生成する第２底部展開平面画像生成部と、
前記第２底部展開平面画像と前記学習済みジョイント特定モデルとを用いて、前記第２管渠のジョイント部分を特定するジョイント特定部と、
を備えた管渠損傷特定装置。

【請求項2】

前記第１底部展開平面画像から、前記第１底部展開平面画像の上端部分および下端部分を除去する除去部をさらに有する請求項１に記載の管渠損傷特定装置。

【請求項3】

前記第１管渠および前記第２管渠は、下水管である請求項１または２に記載の管渠損傷特定装置。

【請求項4】

前記モデル生成部は、水増しデータとして、左右反転画像を用いて前記学習済みジョイント特定モデルを生成する請求項１～３のいずれか１項に記載の管渠損傷特定装置。

【請求項5】

前記モデル生成部は、転移学習を用いて前記学習済みモデルを生成する請求項１～４のいずれか１項に記載の管渠損傷特定装置。

【請求項6】

第１管渠の内周面を撮像した第１内周面画像を取得する画像取得ステップと、
取得した前記第１内周面画像を前記第１内周面画像における前記第１管渠の底部部分で切り開いて展開して得られる第１底部展開平面画像を生成する第１底部展開平面画像生成ステップと、
前記第１底部展開平面画像の長手方向に対して所定幅を有するバウンディングボックスとして前記第１管渠のジョイント部分を特定したジョイント部分特定画像を生成する特定画像生成ステップと、
生成した前記ジョイント部分特定画像を人工知能に学習させて、学習済みジョイント特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付ステップと、
取得した前記第２内周面画像を前記第２内周面画像における前記第２管渠の底部部分で切り開いて展開して得られる第２底部展開平面画像を生成する第２底部展開平面画像生成ステップと、
前記第２底部展開平面画像と前記学習済みジョイント特定モデルとを用いて、前記第２管渠のジョイント部分を特定するジョイント特定ステップと、
を含む管渠損傷特定方法。

【請求項7】

第１管渠の内周面を撮像した第１内周面画像を取得する画像取得ステップと、
取得した前記第１内周面画像を前記第１内周面画像における前記第１管渠の底部部分で切り開いて展開して得られる第１底部展開平面画像を生成する第１底部展開平面画像生成ステップと、
前記第１底部展開平面画像の長手方向に対して所定幅を有するバウンディングボックスとして前記第１管渠のジョイント部分を特定したジョイント部分特定画像を生成する特定画像生成ステップと、
生成した前記ジョイント部分特定画像を人工知能に学習させて、学習済みジョイント特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付ステップと、
取得した前記第２内周面画像を前記第２内周面画像における前記第２管渠の底部部分で切り開いて展開して得られる第２底部展開平面画像を生成する第２底部展開平面画像生成ステップと、
前記第２底部展開平面画像と前記学習済みジョイント特定モデルとを用いて、前記第２管渠のジョイント部分を特定するジョイント特定ステップと、
をコンピュータに実行させる管渠損傷特定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラムに関し、特に、コンピュータに組み込まれた画像解析プログラムおよび人工知能による特定結果から管渠の損傷を特定する装置に関する。

【背景技術】

【0002】

インフラ構造物の老朽化は加速度的に進んでおり，維持管理・更新の必要性は，今後さらに増大していくと言われている。労働人口が減り続ける中、維持管理・更新にかかる労務の効率化は喫緊の課題となっている。維持管理・更新にかかる労務の効率化の実現に向け、近年著しく性能が向上しているＡＩによる画像認識技術を適用する研究事例が増えている。深層学習と呼ばれる高度なニューラルネットワークを用いれば、従来では困難であった人間の直感に近い画像認識が実現でき損傷部位の目視点検の補助や代替が期待できる。

【0003】

一方、管渠などインフラ構造物の検査においては、例えば、特許文献１および特許文献２に記載の技術のように、調査対象の流路管内に投入する装置本体に、テレビカメラ等の撮影装置や蛍光灯等の照明装置を搭載し、撮影装置により撮影した管内画像をもとに損傷などの調査を行っていた。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平５－３４６０２７号公報

【特許文献2】特開平７－２１６９７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記文献に記載の技術では、撮像した管内画像を作業員が目で見て調査を行うものであり、画像が不鮮明な場合や撮像角度によっては、見落としや見誤りが発生しやすく、管渠のジョイント部分を精度高く特定することができなかった。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る管渠損傷特定装置は、
第１管渠の内周面を撮像した第１内周面画像を取得する画像取得部と、
取得した前記第１内周面画像を前記第１内周面画像における前記第１管渠の底部部分で切り開いて展開して得られる第１底部展開平面画像を生成する第１底部展開平面画像生成部と、
前記第１底部展開平面画像の長手方向に対して所定幅を有するバウンディングボックスとして前記第１管渠のジョイント部分を特定したジョイント部分特定画像を生成する特定画像生成部と、
生成した前記ジョイント部分特定画像を人工知能に学習させて、学習済みジョイント特定モデルを生成するモデル生成部と、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付部と、
取得した前記第２内周面画像を前記第２内周面画像における前記第２管渠の底部部分で切り開いて展開して得られる第２底部展開平面画像を生成する第２底部展開平面画像生成部と、
前記第２底部展開平面画像と前記学習済みジョイント特定モデルとを用いて、前記第２管渠のジョイント部分を特定するジョイント特定部と、
を備えた。

【0007】

また、上記目的を達成するため、本発明に係る管渠損傷特定方法は、
第１管渠の内周面を撮像した第１内周面画像を取得する画像取得ステップと、
取得した前記第１内周面画像を前記第１内周面画像における前記第１管渠の底部部分で切り開いて展開して得られる第１底部展開平面画像を生成する第１底部展開平面画像生成ステップと、
前記第１底部展開平面画像の長手方向に対して所定幅を有するバウンディングボックスとして前記第１管渠のジョイント部分を特定したジョイント部分特定画像を生成する特定画像生成ステップと、
生成した前記ジョイント部分特定画像を人工知能に学習させて、学習済みジョイント特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付ステップと、
取得した前記第２内周面画像を前記第２内周面画像における前記第２管渠の底部部分で切り開いて展開して得られる第２底部展開平面画像を生成する第２底部展開平面画像生成ステップと、
前記第２底部展開平面画像と前記学習済みジョイント特定モデルとを用いて、前記第２管渠のジョイント部分を特定するジョイント特定ステップと、
を含む。

【0008】

さらに、上記目的を達成するため、本発明に係る管渠損傷特定プログラムは、
第１管渠の内周面を撮像した第１内周面画像を取得する画像取得ステップと、
取得した前記第１内周面画像を前記第１内周面画像における前記第１管渠の底部部分で切り開いて展開して得られる第１底部展開平面画像を生成する第１底部展開平面画像生成ステップと、
前記第１底部展開平面画像の長手方向に対して所定幅を有するバウンディングボックスとして前記第１管渠のジョイント部分を特定したジョイント部分特定画像を生成する特定画像生成ステップと、
生成した前記ジョイント部分特定画像を人工知能に学習させて、学習済みジョイント特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付ステップと、
取得した前記第２内周面画像を前記第２内周面画像における前記第２管渠の底部部分で切り開いて展開して得られる第２底部展開平面画像を生成する第２底部展開平面画像生成ステップと、
前記第２底部展開平面画像と前記学習済みジョイント特定モデルとを用いて、前記第２管渠のジョイント部分を特定するジョイント特定ステップと、
をコンピュータに実行させる。

【発明の効果】

【0009】

本発明の管渠損傷特定装置によれば、人工知能による機械学習を用いて管渠のジョイント部分を特定するので、管渠のジョイント部分を精度高く特定することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の好ましい実施形態に係る管渠損傷特定装置による処理の概要を説明するための図である。

【図2】本発明の好ましい実施形態に係る管渠損傷特定装置の構成を説明するためのブロック図である。

【図3】本発明の好ましい実施形態に係る管渠損傷特定装置が有する除去量テーブルの一例を説明するための図である。

【図4】本発明の好ましい実施形態に係る管渠損傷特定装置のハードウェア構成を説明するためのブロック図である。

【図5】本発明の好ましい実施形態に係る管渠損傷特定装置の処理手順を説明するためのフローチャートである。

【発明を実施するための形態】

【0011】

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明する。ただし、以下の実施形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。

【0012】

本発明の好ましい実施形態としての管渠損傷特定装置１００について、図１～図５を参照して説明する。管渠損傷特定装置１００は、管渠の軸方向の撮像した管渠の内周面画像を管渠の底部部分で切り開いて展開して得られる底部展開平面画像を用いて、管渠のジョイント部分を特定する装置である。図１は、管渠損傷特定装置１００による、管渠のジョイント部分の特定の概要について説明するための図である。

【0013】

ここで、管渠とは、水路の総称であり、給水、排水を目的として作られる水路全体を指す。例えば、上水管、下水管、給水管などが含まれる。本実施形態においては、管渠として下水管１５０（下水管１７０）を例に説明をする。また、管渠の材質としては、コンクリート、陶器、鉄、塩化ビニルなどが含まれ、管渠の種類としては、コンクリート管、コンクリートヒューム管、陶管、鉄管、塩化ビニル管などが含まれる。

【0014】

また、ジョイント部分１８０は、下水管１５０（１７０）の接続部分（継ぎ目部分）である。このような下水管１５０（１７０）においては、複数の単位ユニット管を繋ぎ合わせて１つの下水管１５０（１７０）の全長が構成される。単位ユニット管の管径（管の直径／内径）に対して単位ユニット管の長さは規格で決められているため、１つの下水管１５０（１７０）において、ジョイント部分１８０は、等間隔で存在することとなる。

【0015】

なお、以下の説明では、管渠として下水管１５０（下水管１７０）を例に説明をする。下水管１５０の管径（内径）は、作業員が下水管１５０内に入って作業することが困難な程度の大きさであり、例えば、２００ｍｍ～３０００ｍｍの下水管１５０，１７０であるが、下水管１５０，１７０の管径は、これには限定されない。

【0016】

下水管１５０，１７０の内部の検査においては、自走式検査ロボット１４０のカメラ１４２で撮像した下水管１５０の内周面の画像を用いた検査が行われている。ここで、下水管１５０の内周面画像は、下水管１５０の軸方向（中心軸１５１方向）に撮像した軸方向内周面画像１１０（１６０）となっている。下水管１５０の軸方向は、下水管１５０の敷設方向に垂直な面における下水管１５０の円形断面の中心軸の方向、つまり、下水管１５０の敷設方向（走行方向）に沿った方向である。

【0017】

そして、作業員は、下水管１５０の外部に設置されたディスプレイなどを用いて、カメラ１４２で撮像した画像を確認し、下水管１５０のジョイント部分を確認する。制御部１４１は、自走式検査ロボット１４０の自走速度や撮影スケジュール、撮像条件を制御したり、管渠損傷特定装置１００や作業員が所持するタブレット端末１３０との間の通信を制御したりする。作業員は、例えば、タブレット端末１３０にインストールされた操作用アプリケーションを用いて、自走式検査ロボット１４０を操作する。なお、自走式検査ロボット１４０が入れないような、管径の小さな下水管の場合、自走式検査ロボット１４０の代わりに、ファイバースコープなどの超小型検査装置を用いてもよい。

【0018】

そして、制御部１４１は、カメラ１４２で撮像した軸方向内周面画像１１０（１６０）を、管渠損傷特定装置１００に送信する。なお、軸方向内周面画像１１０は、人工知能による機械学習のための画像であり、軸方向内周面画像１６０は、ジョイント部分を特定したい下水管１７０の内周面画像である。また、カメラ１４２は、通常のカメラ、広角カメラ、全周カメラのいずれであってもよい。広角カメラの場合、１周分の画像を複数回に分けて撮像し、撮像した複数枚の画像を繋いで軸方向内周面画像１１０（１６０）を生成してもよい。

【0019】

また、軸方向内周面画像１１０（１６０）は、所定のピッチ（例えば、０．１ｍ）ごとに決められた位置で下水管１５０（１７０）の軸方向に撮像された画像である。例えば、下水管１５０の基準位置から規格で決められた下水管１５０の１ユニット分の長さごとに撮像した画像（軸方向内周面画像１１０（１６０））を輪切りにして、輪切り画像１４３を得て、これらを繋ぎ合わせることで軸方向内周面画像１１０（１６０）を生成してもよい。

【0020】

そして、本実施形態においては、まず初めに、下水管１５０の内周面画像の撮像前に、自走式検査ロボット１４０の撮像部としてのカメラ１４２の中心軸と下水管１５０の中心軸１５１とが合致するように、自走式検査ロボット１４０を下水管１５０にセットすることが好ましい。そして、自走式検査ロボット１４０を走行させながら、検査対象範囲の下水管１５０の内周面を撮像する。撮像が完了したら、制御部１４１は、撮像した画像を管渠損傷特定装置１００に送信する。

【0021】

管渠損傷特定装置１００は、受信した軸方向内周面画像１１０から、ジョイント部分１８０を特定して、人工知能に学習させて、学習済みジョイント特定モデルを生成する。そして、管渠損傷特定装置１００は、生成した学習済みジョイント特定モデルを用いて、下水管１７０のジョイント部分１８０を特定する。

【0022】

次に、図２を参照して本実施形態に係る管渠損傷特定装置１００の構成について説明する。管渠損傷特定装置１００は、画像取得部２０１、底部展開平面画像生成部２０２、除去部２０３、特定画像生成部２０４、モデル生成部２０５、画像受付部２０６、底部展開平面画像生成部２０７およびジョイント特定部２０８を有する。

【0023】

画像取得部２０１は、下水管１５０の内周面を下水管１５０の軸方向に撮像した軸方向内周面画像１１０を取得する。画像取得部２０１は、自走式検査ロボット１４０のカメラ１４２で撮像した軸方向内周面画像１１０を制御部１４１から取得してもよいし、作業員が所持するタブレット端末１３０などを経由して軸方向内周面画像１１０を取得してもよい。なお、軸方向内周面画像１１０は、後の人工知能による機械学習に用いられる画像である。ここで、軸方向内周面画像１１０は、下水管１５０の内周面を所定の間隔（ピッチ）ごとの決められた位置で下水管１５０の軸方向に撮像した連続画像であり、所定ピッチは、例えば、１０ｃｍであるが、これには限定されない。軸方向内周面画像１１０は、自走式検査ロボット１４０が１０ｃｍ進むごとに撮像された画像である。

【0024】

底部展開平面画像生成部２０２は、取得した軸方向内周面画像１１０を軸方向内周面画像１１０の底部部分（下水管１５０の底部部分）から切り開いて展開して得られる底部展開平面画像１０１を生成する。つまり、底部展開平面画像生成部２０２は、まず、画像取得部２０１が取得した所定ピッチごとに撮像された軸方向内周面画像１１０から輪切りにされた帯状の画像である複数の輪切り画像１４３を生成する。

【0025】

そして、底部展開平面画像生成部２０２は、生成された輪切り画像１４３を底部部分から切り開いて展開して、底部展開画像を生成する。次に、底部展開平面画像生成部２０２は、生成した複数の底部展開画像を繋ぎ合わせて、横長の底部展開平面画像１０１を生成する。横長の底部展開平面画像１０１においては、下水管１５０の天井部分が帯状の平面画像の短手方向（縦方向）の中央に位置し、底部部分が長手方向（横方向）の左右両端に位置するので、下水管１５０において、水が流れない部分が平面画像の縦方向の中央に位置するようになる。このような平面画像を生成することにより、下水管１５０において、水が流れない部分が平面画像の縦方向の中央に位置するようになるので、後の人工知能による機械学習の効率や精度が向上する。

【0026】

なお、輪切り画像１４３は、自走式検査ロボット１４０において予め生成しておき、画像取得部２０１が、自走式検査ロボット１４０により生成された輪切り画像１４３を取得してもよい。そして、底部展開平面画像生成部２０２は、複数の輪切り画像１４３から生成された底部展開平面画像のそれぞれを繋げて１枚の横長の展開平面画像として底部展開平面画像１０１を生成する。

【0027】

除去部２０３は、底部展開平面画像１０１から、底部展開平面画像１０１の上端部分および下端部分を除去する。すなわち、底部展開平面画像１０１においては、横長の展開画像の縦方向の中心部分には、下水管１５０において水が流れていない部分が位置しているが、上下の端部分には、水が流れている部分が位置している。そして、この水が流れている部分は、下水管１５０の継ぎ目であるジョイント部分１８０が水により隠されてしまうため、後の人工知能による機械学習においては、学習に不必要な部分となる。そのため、除去部２０３は、横長の底部展開平面画像１０１における上端から所定の長さ分（上端部分）および下端から所定の長さ分（下端部分）を、底部展開平面画像１０１から取り除く。このように、人工知能による機械学習において、不要な部分を予め取り除いておくことにより、機械学習に必要な部分が写っている画像を人工知能に学習させることができるので、機械学習の効率が向上し、より精度の高いモデルを生成することが可能となる。そのため、本実施形態においては、生成された底部展開平面画像１０１を、いわゆるトリミングして、人工知能による機械学習にとって、不必要で、余分な部分を予め取り除くようにしている。なお、除去部２０３による、底部展開平面画像１０１の上端部分および下端部分の除去をしなくても、人工知能による機械学習を行うことは可能であるが、上述の理由から、上端部分および下端部分を除去するほうが好ましい。

【0028】

特定画像生成部２０４は、底部展開平面画像１０１の長手方向に対して所定幅を有するバウンディングボックス１９０（ＢＢ）として、下水管１５０のジョイント部分１８０を特定したジョイント部分特定画像を生成する。

【0029】

すなわち、特定画像生成部２０４は、横長の平面画像である底部展開平面画像１０１において、長手方向（横方向）に対して所定幅を有し、短手方向に対して底部展開平面画像１０１の縦方向の長さとほぼ同じ長さを有する矩形形状のバウンディングボックス１９０を生成する。そして、特定画像生成部２０４は、生成したバウンディングボックス１９０を用いて、下水管１５０のジョイント部分１８０のそれぞれを囲んだ画像を生成する。つまり、特定画像生成部２０４は、このように、生成された底部展開平面画像１０１にバウンディングボックス１９０を用いて、ジョイント部分１８０であることを示す印を付けることにより、後の人工知能による機械学習において、学習し易いような画像処理を予め施している。

【0030】

なお、バウンディングボックス１９０の縦横の長さ（または面積）は、特に限定はされないが、例えば、下水管１５０の管径や全長、あるいは、学習済みモデルの精度に応じて、適切な値が選択される。なお、下水管１５０のジョイント部分１８０の幅よりも大きな幅（横幅）を有するバウンディングボックス１９０を用いることが好ましい。横幅の狭いバウンディングボックス１９０であってもよいが、ジョイント部分１８０の幅に対して、ある程度の大きさの幅を有するバウンディングボックス１９０が好ましい。

【0031】

モデル生成部２０５は、生成したジョイント部分特定画像を人工知能に機械学習させて、学習済みジョイント特定モデルを生成する。人工知能は、バウンディングボックス１９０で囲まれた部分が、下水管１５０においけるジョイント部分１８０に相当するため、バウンディングボックス１９０で囲まれた部分を重点的に学習することにより、より効率的に学習を行うことが可能となり、これにより、より精度の高い学習済みモデルを生成することが可能となる。

【0032】

なお、モデル生成部２０５は、生成した学習済みジョイント特定モデルを所定のストレージ等に保存しておいてもよい。この場合、新たな学習用画像（軸方向内周面画像１６０）を取得して、所定の処理を施した後、機械学習を行い、学習済みジョイント特定モデルを生成するたびに、保存された学習済みジョイント特定モデルを更新するようにしてもよい。

【0033】

また、人工知能による機械学習は、既知のアルゴリズムを用いて行われる。機械学習において、損失関数は、重み指定を行い、事象数の逆数を採用した。また、モデル生成部２０５は、人工知能による機械学習の精度を向上させて、より精度の高いジョイント特定モデルを生成するために、人工知能に学習させる軸方向内周面画像１１０および底部展開平面画像１０１の数を水増しする。モデル生成部２０５は、例えば、左右反転を用いて水増しデータを得る。さらに、モデル生成部２０５は、人工知能による機械学習の精度を向上させるために、転移学習を用いてもよい。ここで、転移学習とは、異なるデータセットを用いた学習済みモデルを、別の問題に転用し、部分的な学習をすることで、モデルの性能向上を狙う手法である。特に、教師データが十分ではない場合に、推論性能の向上と学習時間の低減とが期待できる手法である。

【0034】

なお、生成された学習済み変位特定モデルの評価には、再現率（Ｒｅｃａｌｌ）および適合率（Ｐｒｅｃｉｓｉｏｎ）を用いた。再現率は、再現率＝ＴＰ／（ＴＰ＋ＦＮ）で表され、結果として出てくるべきもののうち、実際にでてきたものの割合を示す。すなわち、取り漏らしがないかに関する指標である（網羅性に関する指標）。適合率は、適合率＝ＴＰ／（ＴＰ＋ＦＰ）で表され、正しかったものの割合を示す。出てきたすべての結果の中に、どれだけ正解が含まれているかの割合を示す指標である（正確性に関する指標）。
なお、ＴＰ＝真陽性（Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ）、ＦＰ＝偽陽性（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ）、ＦＮ＝偽陰性（Ｆａｌｓｅ Ｎｅｇａｔｉｖｅ）である。

【0035】

画像受付部２０６は、下水管１７０の内周面を下水管１７０の軸方向に撮像した軸方向内周面画像１６０を受け付ける。軸方向内周面画像１６０は、自走式検査ロボット１４０が撮像した画像であり、制御部１４１から画像受付部２０６に対して送信された画像である。なお、軸方向内周面画像１６０は、検査対象となる下水管１７０の内周面画像を撮像した画像であり、下水管１７０におけるジョイント部分１８０を特定したい下水管１７０である。

【0036】

底部展開平面画像生成部２０７は、受け付けた軸方向内周面画像１６０を軸方向内周面画像１６０における下水管１７０の底部部分で切り開いて展開して得られる底部展開平面画像１６１を生成する。底部展開平面画像生成部２０７は、底部展開平面画像生成部２０２と同様に、受け付けた軸方向内周面画像１６０を軸方向内周面画像１１０の底部の位置から切り開いて展開して得られる底部展開平面画像１６１を生成する。底部展開平面画像１６１は、底部展開平面画像１０１と同様に、複数の輪切り画像を繋ぎ合わせて生成された画像である。

【0037】

ジョイント特定部２０８は、底部展開平面画像１６１と学習済みジョイント特定モデルとを用いて、下水管１７０のジョイント部分１８０の位置などを特定する。そして、管渠損傷特定装置１００は、ジョイント部分１８０が特定された場合、特定されたジョイント部分１８０の位置などを示す情報を軸方向内周面画像１６０に重畳した画像を、作業員が所持するタブレット端末１３０に出力する出力部を有していてもよい。また、作業員は、タブレット端末１３０のディスプレイに表示された特定結果を参照することにより、下水管１７０のジョイント部分１８０の位置等を認識できる。さらに、出力部は、特定された位置などに応じたアラートを出力してもよい。出力部は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。

【0038】

図３は、管渠損傷特定装置１００が有する除去量テーブル３０１の一例を説明するための図である。除去量テーブル３０１は、画像ＩＤ３１１に関連付けて管径３１２および除去量３１３を記憶する。画像ＩＤ３１１は、軸方向内周面画像１６０や底部展開平面画像１６１などを識別するための識別子である。管径３１２は、各画像に写っている下水管１７０の内径（直径）である。除去量３１３は、下水管１７０の直径（管径）に応じて決めれられた、底部展開平面画像１６１から取り除く上端部分および下端部分の量である。そして、除去部２０３は、除去量テーブル３０１を参照して、除去量を決定する。

【0039】

図４を参照して、管渠損傷特定装置１００のハードウェア構成について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１０は、演算制御用のプロセッサであり、プログラムを実行することで図２の管渠損傷特定装置１００の各機能構成を実現する。ＣＰＵ４１０は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２０は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース４３０は、ネットワークを介して他の装置などと通信する。なお、ＣＰＵ４１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んでもよい。また、ネットワークインタフェース４３０は、ＣＰＵ４１０とは独立したＣＰＵを有して、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ４４０とストレージ４５０との間でデータを転送するＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）を設けるのが望ましい（図示なし）。さらに、ＣＰＵ４１０は、ＲＡＭ４４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ４１０は、処理結果をＲＡＭ４４０に準備し、後の送信あるいは転送はネットワークインタフェース４３０やＤＭＡＣに任せる。

【0040】

ＲＡＭ４４０は、ＣＰＵ４１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ４４０には、本実施形態の実現に必要なデータを記憶する記憶領域が確保されている。内周面画像データ４４１は、下水管１５０，１７０の軸方向に撮像した内周面の画像である。底部展開平面画像データ４４２は、撮像された軸方向内周面画像１１０，１６０を下水管１５０，１７０の底部部分で切り開いて展開した２次元の平面画像データでえある。下水管データ４４３は、下水管１５０，１７０に関するデータであり、管径や全長などのデータである。撮像条件データ４４４は、カメラ１４２で下水管１５０，１７０の内周面を撮像した際の条件である。

【0041】

送受信データ４４５は、ネットワークインタフェース４３０を介して送受信されるデータである。また、ＲＡＭ４４０は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域４４６を有する。

【0042】

ストレージ４５０には、データベースや各種パラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ４５０は、除去量テーブル３０１を格納する。除去量テーブル３０１は、図３に示した、画像ＩＤ３１１と除去量３１３などとの関係を管理するテーブルである。

【0043】

ストレージ４５０は、さらに、画像取得モジュール４５１、底部展開平面画像生成モジュール４５２、除去モジュール４５３、特定画像生成モジュール４５４、モデル生成モジュール４５５、画像受付モジュール４５６および底部展開平面画像生成モジュール４５８を格納する。画像取得モジュール４５１は、軸方向内周面画像１１０を取得するモジュールである。底部展開平面画像生成モジュール４５２は、取得した軸方向内周面画像１１０を下水管１５０の底部部分で切り開いて展開して得られる底部展開平面画像を生成するモジュールである。除去モジュール４５３は、底部展開平面画像１０１から、底部展開平面画像１０１の上端部分および下端部分を除去するモジュールである。特定画像生成モジュール４５４は、底部展開平面画像１０１の長手方向に対して所定幅を有するバウンディングボックス１９０として、下水管１５０のジョイント部分１８０を特定したジョイント部分特定画像を生成するモジュールである。モデル生成モジュール４５５は、学習済みジョイント特定モデルを生成するモジュールである。画像受付モジュール４５６は、下水管１７０の内周面を下水管１７０の軸方向に撮像した軸方向内周面画像１６０を受け付けるモジュールである。底部展開平面画像生成モジュール４５７は、取得した軸方向内周面画像１６０を軸方向内周面画像１６０における下水管１７０の底部部分で切り開いて展開して得られる底部展開平面画像１６１を生成するモジュールである。ジョイント特定モジュール４５８は、底部展開平面画像１６１および学習済みジョイント特定モデルを用いて、下水管１７０のジョイント部分１８０を特定するモジュールである。これらのモジュール４５１～４５８は、ＣＰＵ４１０によりＲＡＭ４４０のアプリケーション実行領域４４６に読み出され、実行される。制御プログラム４５９は、管渠損傷特定装置１００の全体を制御するためのプログラムである。

【0044】

入出力インタフェース４６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース４６０には、表示部４６１、操作部４６２、が接続される。また、入出力インタフェース４６０には、さらに、記憶媒体４６４が接続されてもよい。さらに、音声出力部であるスピーカ４６３や、音声入力部であるマイク（図示せず）、あるいは、ＧＰＳ位置判定部が接続されてもよい。なお、図４に示したＲＡＭ４４０やストレージ４５０には、管渠損傷特定装置１００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

【0045】

次に図５に示したフローチャートを参照して、管渠損傷特定装置１００の処理手順について説明する。このフローチャートは、図４のＣＰＵ４１０がＲＡＭ４４０を使用して実行し、図２の管渠損傷特定装置１００の各機能構成を実現する。

【0046】

ステップＳ５０１において、画像取得部２０１は、下水管１５０の内周面を撮像した軸方向内周面画像１１０を取得する。ステップＳ５０３において、底部展開平面画像生成部２０２は、取得した軸方向内周面画像１１０を軸方向内周面画像１１０における下水管１５０の底部部分で切り開いて展開して得られる底部展開平面画像１０１を生成する。ステップＳ５０５において、底部展開平面画像１０１から、底部展開平面画像１０１の上端部分および下端部分を除去する。底部展開平面画像１０１の上端部分および下端部分の除去量は、下水管１５０の管径などに応じて決められる。ステップＳ５０７において、特定画像生成部２０４は、底部展開平面画像１０１の長手方向に対して所定幅を有するバウンディングボックス１９０として下水管１５０のジョイント部分１８０を特定したジョイント部分特定画像を生成する。

【0047】

ステップＳ５０９において、モデル生成部２０５は、生成したジョイント部分特定画像を人工知能に学習させて、学習済みジョイント特定モデルを生成する。ステップＳ５１１において、画像受付部２０６は、下水管１７０の内周面を下水管１７０の軸方向に撮像した軸方向内周面画像１６０を受け付ける。ステップＳ５１３において、底部展開平面画像生成部２０７は、受け付けた軸方向内周面画像１６０を軸方向内周面画像１６０における下水管１７０の底部位置で切り開いて展開して得られる底部展開平面画像１６１を生成する。ステップＳ５１５において、ジョイント特定部２０８は、底部展開平面画像１６１と学習済みジョイント特定モデルとを用いて、下水管１７０のジョイント部分１８０の位置などを特定する。

【0048】

本実施形態によれば、バウンディングボックスとして下水管のジョイント部分を特定するので、人工知能による機械学習により精度の高いジョイント特定モデルを生成でき、管渠のジョイント部分を効率よく、確実に特定することができる。

【0049】

［他の実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

【0050】

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】