特許 7506624 管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-18

(45)【発行日】2024-06-26

(54)【発明の名称】管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240619BHJP

【ＦＩ】

G06T7/00 610

【請求項の数】 8

(21)【出願番号】P 2021041891

(22)【出願日】2021-03-15

(65)【公開番号】P2022141535

(43)【公開日】2022-09-29

【審査請求日】2023-05-31

(73)【特許権者】

【識別番号】000140292

【氏名又は名称】株式会社奥村組

(73)【特許権者】

【識別番号】394026714

【氏名又は名称】株式会社ジャスト

(74)【代理人】

【識別番号】110002170

【氏名又は名称】弁理士法人翔和国際特許事務所

(72)【発明者】

【氏名】岩下 将也

(72)【発明者】

【氏名】山口 治

(72)【発明者】

【氏名】角田 賢明

(72)【発明者】

【氏名】鎌形 勇樹

【審査官】伊知地 和之

(56)【参考文献】

【文献】米国特許出願公開第２００３／００２３４０４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０３２３１６３（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１１６６７４７０（ＣＮ，Ａ）

【文献】特開２００５－２２７０５５（ＪＰ，Ａ）

【文献】特開２０１９－０５６６６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ０３Ｆ １／００ － １１／００

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

ＣＳＤＢ（日本国特許庁）

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

第１管渠の内周面を撮像した第１内周面画像を取得する画像取得部と、
取得した前記第１内周面画像を前記第１内周面画像における前記第１管渠の任意位置で切り開いて展開して得られる第１展開平面画像を生成する第１展開平面画像生成部と、
前記第１展開平面画像を用いて、前記第１管渠に発生している損傷を決定する損傷決定部と、
前記損傷を識別可能な識別子を付与して、決定された損傷とともに前記第１展開平面画像を人工知能に学習させて、学習済み損傷種類特定モデルを生成するモデル生成部と、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付部と、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の任意位置から切り開いて展開して得られる第２展開平面画像を生成する第２展開平面画像生成部と、
前記第２展開平面画像と前記学習済み損傷種類特定モデルとを用いて、前記第２管渠に発生している損傷から欠落とひび割れとを判定し、さらに、判定されたひび割れから破損とクラックとを判定する損傷発生判定部と、
前記損傷発生判定部により、前記ひび割れが発生していると判定された場合、前記第２展開平面画像と前記学習済み損傷種類特定モデルとを用いて、前記ひび割れの損傷種類を判定する損傷種類判定部と、
を備えた管渠損傷特定装置。

【請求項2】

前記損傷決定部は、
前記第１展開平面画像において、前記欠落として判定されたひび割れ以外のひび割れの前記第１管渠の軸方向および周方向の長さを測定する長さ測定部と、
前記第１展開平面画像において、前記欠落として判定されたひび割れ以外のひび割れの前記軸方向または前記周方向に対する傾きを導出する傾き導出部と、
をさらに有し、
測定された前記軸方向および前記周方向の長さと、導出された前記軸方向または前記周方向の傾きと、に基づいて、前記ひび割れが、損傷としてクラックまたは破損に該当すると決定する、請求項１に記載の管渠損傷特定装置。

【請求項3】

前記損傷種類判定部は、
前記ひび割れが、前記周方向に対して所定傾きを有し、前記周方向に所定長さを有する場合、損傷種類としてクラックに該当すると判定し、
前記ひび割れが、前記軸方向に対して所定傾きを有し、前記軸方向に所定長さを有する場合、損傷種類として破損に該当すると判定する、
請求項２に記載の管渠損傷特定装置。

【請求項4】

前記第１展開平面画像および前記第２展開平面画像は、前記第１内周面画像および前記第２内周面画像を、前記第１管渠および前記第２管渠の底部部分から切り開いて展開して得られる底部展開平面画像である、請求項１～３のいずれか１項に記載の管渠損傷特定装置。

【請求項5】

前記モデル生成部は、水増しデータとして、左右反転画像を用いて前記学習済み損傷種類特定モデルを生成する請求項１～４のいずれか１項に記載の管渠損傷特定装置。

【請求項6】

前記モデル生成部は、転移学習を用いて前記学習済み損傷種類特定モデルを生成する請求項１～５のいずれか１項に記載の管渠損傷特定装置。

【請求項7】

第１管渠の内周面を撮像した第１内周面画像を取得する画像取得ステップと、
取得した前記第１内周面画像を前記第１内周面画像における前記第１管渠の任意位置で切り開いて展開して得られる第１展開平面画像を生成する第１展開平面画像生成ステップと、
前記第１展開平面画像を用いて、前記第１管渠に発生している損傷を決定する損傷決定ステップと、
前記損傷を識別可能な識別子を付与して、決定された損傷とともに前記第１展開平面画像を人工知能に学習させて、学習済み損傷種類特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付ステップと、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の任意位置から切り開いて展開して得られる第２展開平面画像を生成する第２展開平面画像生成ステップと、
前記第２展開平面画像と前記学習済み損傷種類特定モデルとを用いて、前記第２管渠に発生している損傷から欠落とひび割れとを判定し、さらに、判定されたひび割れから破損とクラックとを判定する損傷発生判定ステップと、
前記損傷発生判定ステップにおいて、前記ひび割れが発生していると判定された場合、前記第２展開平面画像と前記学習済み損傷種類特定モデルとを用いて、前記ひび割れの損傷種類を判定する損傷種類判定ステップと、
を含む管渠損傷特定方法。

【請求項8】

第１管渠の内周面を撮像した第１内周面画像を取得する画像取得ステップと、
取得した前記第１内周面画像を前記第１内周面画像における前記第１管渠の任意位置で切り開いて展開して得られる第１展開平面画像を生成する第１展開平面画像生成ステップと、
前記第１展開平面画像を用いて、前記第１管渠に発生している損傷を決定する損傷決定ステップと、
前記損傷を識別可能な識別子を付与して、決定された損傷とともに前記第１展開平面画像を人工知能に学習させて、学習済み損傷種類特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付ステップと、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の任意位置から切り開いて展開して得られる第２展開平面画像を生成する第２展開平面画像生成ステップと、
前記第２展開平面画像と前記学習済み損傷種類特定モデルとを用いて、前記第２管渠に発生している損傷から欠落とひび割れとを判定し、さらに、判定されたひび割れから破損とクラックとを判定する損傷発生判定ステップと、
前記損傷発生判定ステップにおいて、前記ひび割れが発生していると判定された場合、前記第２展開平面画像と前記学習済み損傷種類特定モデルとを用いて、前記ひび割れの損傷種類を判定する損傷種類判定ステップと、
をコンピュータに実行させる管渠損傷特定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラムに関し、特に、コンピュータに組み込まれた画像解析プログラムおよび人工知能による特定結果から管渠の損傷を特定する装置に関する。

【背景技術】

【0002】

インフラ構造物の老朽化は加速度的に進んでおり，維持管理・更新の必要性は，今後さらに増大していくと言われている。労働人口が減り続ける中、維持管理・更新にかかる労務の効率化は喫緊の課題となっている。維持管理・更新にかかる労務の効率化の実現に向け、近年著しく性能が向上しているＡＩによる画像認識技術を適用する研究事例が増えている。深層学習と呼ばれる高度なニューラルネットワークを用いれば、従来では困難であった人間の直感に近い画像認識が実現でき損傷部位の目視点検の補助や代替が期待できる。

【0003】

一方、管渠などインフラ構造物の検査においては、例えば、特許文献１および特許文献２に記載の技術のように、調査対象の流路管内に投入する装置本体に、テレビカメラ等の撮影装置や蛍光灯等の照明装置を搭載し、撮影装置により撮影した管内画像をもとに損傷などの調査を行っていた。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平５－３４６０２７号公報

【文献】特開平７－２１６９７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記文献に記載の技術では、撮像した管内画像を作業員が目で見て調査を行うものであり、見落としや見誤りが発生し易く、管渠に発生した損傷の種類を精度高く判定することができなかった。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る管渠損傷特定装置は、
第１管渠の内周面を撮像した第１内周面画像を取得する画像取得部と、
取得した前記第１内周面画像を前記第１内周面画像における前記第１管渠の任意位置で切り開いて展開して得られる第１展開平面画像を生成する第１展開平面画像生成部と、
前記第１展開平面画像を用いて、前記第１管渠に発生している損傷を決定する損傷決定部と、
前記損傷を識別可能な識別子を付与して、決定された損傷とともに前記第１展開平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成部と、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付部と、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の任意位置から切り開いて展開して得られる第２展開平面画像を生成する第２展開平面画像生成部と、
前記第２展開平面画像と前記学習済み損傷種類特定モデルとを用いて、前記第２管渠に発生している損傷から欠落とひび割れとを判定し、さらに、判定されたひび割れから破損とクラックとを判定する損傷発生判定部と、
前記損傷発生判定部により、前記ひび割れが発生していると判定された場合、前記第２展開平面画像と前記学習済み損傷種類特定モデルとを用いて、前記ひび割れの損傷種類を判定する損傷種類判定部と、
を備えた。

【0007】

また、上記目的を達成するため、本発明に係る管渠損傷特定方法は、
第１管渠の内周面を撮像した第１内周面画像を取得する画像取得ステップと、
取得した前記第１内周面画像を前記第１内周面画像における前記第１管渠の任意位置で切り開いて展開して得られる第１展開平面画像を生成する第１展開平面画像生成ステップと、
前記第１展開平面画像を用いて、前記第１管渠に発生している損傷を決定する損傷決定ステップと、
前記損傷を識別可能な識別子を付与して、決定された損傷とともに前記第１展開平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付ステップと、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の任意位置から切り開いて展開して得られる第２展開平面画像を生成する第２展開平面画像生成ステップと、
前記第２展開平面画像と前記学習済み損傷種類特定モデルとを用いて、前記第２管渠に発生している損傷から欠落とひび割れとを判定し、さらに、判定されたひび割れから破損とクラックとを判定する損傷発生判定ステップと、
前記損傷発生判定ステップにおいて、前記ひび割れが発生していると判定された場合、前記第２展開平面画像と前記学習済み損傷種類特定モデルとを用いて、前記ひび割れの損傷種類を判定する損傷種類判定ステップと、
を含む。

【0008】

さらに、上記目的を達成するため、本発明に係る管渠損傷特定プログラムは、
第１管渠の内周面を撮像した第１内周面画像を取得する画像取得ステップと、
取得した前記第１内周面画像を前記第１内周面画像における前記第１管渠の任意位置で切り開いて展開して得られる第１展開平面画像を生成する第１展開平面画像生成ステップと、
前記第１展開平面画像を用いて、前記第１管渠に発生している損傷を決定する損傷決定ステップと、
前記損傷を識別可能な識別子を付与して、決定された損傷とともに前記第１展開平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付ステップと、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の任意位置から切り開いて展開して得られる第２展開平面画像を生成する第２展開平面画像生成ステップと、
前記第２展開平面画像と前記学習済み損傷種類特定モデルとを用いて、前記第２管渠に発生している損傷から欠落とひび割れとを判定し、さらに、判定されたひび割れから破損とクラックとを判定する損傷発生判定ステップと、
前記損傷発生判定ステップにおいて、前記ひび割れが発生していると判定された場合、前記第２展開平面画像と前記学習済み損傷種類特定モデルとを用いて、前記ひび割れの損傷種類を判定する損傷種類判定ステップと、
をコンピュータに実行させる。

【発明の効果】

【0009】

本発明の管渠損傷判定装置によれば、人工知能による機械学習を用いて管渠の損傷の種類を判定するので、管渠に発生した損傷の種類を精度高く判定することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の好ましい実施形態に係る管渠損傷特定装置による処理の概要を説明するための図である。

【図2A】本発明の好ましい実施形態に係る管渠損傷特定装置の構成を説明するためのブロック図である。

【図2B】本発明の好ましい実施形態に係る管渠損傷特定装置により決定される損傷について説明する図である。

【図3】本発明の好ましい実施形態に係る管渠損傷特定装置が有する態様テーブルの一例を説明するための図である。

【図4】本発明の好ましい実施形態に係る管渠損傷特定装置のハードウェア構成を説明するためのブロック図である。

【図5A】本発明の好ましい実施形態に係る管渠損傷特定装置の処理手順を説明するためのフローチャートである。

【図5B】本発明の好ましい実施形態に係る管渠損傷特定装置の損傷決定の処理手順の詳細を説明するためのフローチャートである。

【発明を実施するための形態】

【0011】

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明する。ただし、以下の実施形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。

【0012】

本発明の好ましい実施形態としての管渠損傷特定装置１００について、図１～図５を参照して説明する。管渠損傷特定装置１００は、管渠に発生したひび割れの態様に基づいて、当該ひび割れが、欠落、クラックおよび破損のいずれの損傷種類に該当するかを判定する装置である。

【0013】

ここで、管渠とは、水路の総称であり、給水、排水を目的として作られる水路全体を指す。例えば、上水管、下水管、給水管などが含まれる。本実施形態においては、管渠として下水管１５０，１７０を例に説明をする。また、管渠の材質としては、コンクリート、陶器、鉄、塩化ビニルなどが含まれ、管渠の種類としては、コンクリート管、コンクリートヒューム管、陶管、鉄管、塩化ビニル管などが含まれる。

【0014】

なお、以下の説明では、管渠として、下水管１５０（下水管１７０）を例に説明をする。下水管１５０の管径（内径）は、作業員が下水管１５０内に入って作業することが困難な程度の大きさであり、例えば、２００ｍｍ～３０００ｍｍの下水管１５０であるが、下水管１５０の管径は、これには限定されない。

【0015】

下水管１５０の内部の検査においては、自走式検査ロボット１４０のカメラ１４２で撮像した下水管１５０（１７０）の内周面の画像を用いた検査が行われている。ここで、下水管１５０の内周面画像は、下水管１５０の軸方向（中心軸方向）に撮像した軸方向内周面画像１１０（１６０）となっている。下水管１５０の軸方向は、下水管１５０の敷設方向に垂直な面における下水管１５０の円形断面の中心軸の方向、つまり、下水管１５０の敷設方向（走行方向）に沿った方向である。

【0016】

そして、作業員は、下水管１５０の外部に設置されたディスプレイなどを用いて、カメラ１４２で撮像した画像を確認し、下水管１５０に発生しているひび割れの位置や大きさ、角度などの検査を行う。制御部１４１は、自走式検査ロボット１４０の自走速度や撮影スケージュール、撮像条件を制御したり、管渠損傷特定装置１００や作業員が所持するタブレット端末１３０との間の通信を制御したりする。作業員は、例えば、タブレット端末１３０にインストールされた操作用アプリケーションを用いて、自走式検査ロボット１４０を操作する。なお、自走式検査ロボット１４０が入れないような、管径の小さな下水管の場合、自走式検査ロボット１４０の代わりにファイバースコープなどの超小型検査装置を用いてもよい。

【0017】

そして、制御部１４１は、カメラ１４２で撮像した軸方向内周面画像１１０（１６０）を、管渠損傷特定装置１００に送信する。なお、軸方向内周面画像１１０は、人工知能による機械学習のための画像であり、軸方向内周面画像１６０は、ひび割れの態様に基づいて、いずれの損傷種類に該当するかを判定した下水管１７０の画像である。また、カメラ１４２は、通常の広角カメラ、全周カメラのいずれであてもよい。広角カメラの場合、１周分の画像を複数回に分けて撮像し、撮像した複数枚の画像を繋いで軸方向内周面画像１１０（１６０）を生成してもよい。

【0018】

また、軸方向内周面画像１１０（１６０）は、所定のピッチ（例えば、０．１ｍ）ごとに決められた位置で下水管１５０（１７０）の軸方向に撮像された画像である。例えば、下水管１５０の継手（ジョイント部分）から継手（ジョイント部分）の間を１ユニットとした場合に、１ユニットごとに撮像した画像（軸方向内周面画像１１０（１６０））を輪切りにして、輪切り画像１４３を得て、これらを繋ぎ合わせることで軸方向内周面画像１１０（１６０）を生成してもよい。

【0019】

そして、本実施形態においては、まず初めに、下水管１５０の内周面画像の撮像前に、自走式検査ロボット１４０の撮像部としてのカメラ１４２の中心軸と下水管１５０の中心軸１５１とが合致するように、自走式検査ロボット１４０を下水管１５０にセットすることが好ましい。そして、自走式検査ロボット１４０を走行させながら、検査対象範囲の下水管１５０の内周面を撮像する。撮像が完了したら、制御部１４１は、撮像した画像を管渠損傷特定装置１００に送信する。

【0020】

管渠損傷特定装置１００は、受信した軸方向内周面画像１１０から、人工知能に学習させるための教師データを作成して、学習させて、学習済み損傷種類特定モデルを生成する。そして、管渠損傷特定装置１００は、生成した学習済み損傷種類特定モデルを用いて、管渠に発生したひび割れが該当する損傷種類を判定する。判定する損傷種類には、欠落、クラックおよび破損が含まれる。

【0021】

判定された損傷種類は、例えば、作業員が所持するタブレット端末１３０などの携帯端末に出力される。作業員は、タブレット端末１３０のディスプレイに表示された判定結果を参照して、下水管１７０に発生している損傷がどの損傷種類に属するかを認識する。なお、管渠損傷特定装置１００は、判定した損傷種類に応じて、アラートを出力してもよい。例えば、損傷種類ごとにアラートの内容を変えて出力してもよい。また、例えば、損傷としてのひび割れの長さや向きに応じて、警告音や振動、光、メッセージなどを出力してもよい。

【0022】

次に図２Ａを参照して本実施形態に係る管渠損傷特定装置１００の構成について説明する。管渠損傷特定装置１００は、画像取得部２０１、展開平面画像生成部２０２、損傷決定部２０３、モデル生成部２０４、画像受付部２０５、展開平面画像生成部２０６、損傷発生判定部２０７および損傷種類判定部２０８を有する。損傷決定部２０３は、さらに、長さ測定部２３１および傾き導出部２３２を有する。

【0023】

画像取得部２０１は、下水管１５０の内周面を下水管１５０の軸方向に撮像した軸方向内周面画像１１０を取得する。画像取得部２０１は、自走式検査ロボット１４０のカメラ１４２で撮像した軸方向内周面画像１１０を制御部１４１から取得してもよいし、作業員が所持するタブレット端末１３０などを経由して取得してもよい。なお、軸方向内周面画像１１０は、後の人工知能による機械学習に用いられる画像である。ここで、軸方向内周面画像１１０は、下水管１５０の内周面を所定の間隔（ピッチ）ごとの決められた位置で下水管１５０の軸方向に撮像した連続画像であり、所定ピッチは、例えば、１０ｃｍであるが、これには限定されない。軸方向内周面画像１１０は、自走式検査ロボット１４０が１０ｃｍ進むごとに撮像されて画像である。

【0024】

展開平面画像生成部２０２は、取得した軸方向内周面画像１１０を軸方向内周面画像１１０における下水管１５０の任意位置で切り開いて展開して得られる展開平面画像１０１を生成する。展開平面画像生成部２０２は、例えば、取得してた軸方向内周面画像１１０を軸方向内周面画像１１０における下水管１５０の底部部分から切り開いて展開して得られる底部展開平面画像を生成する。なお、展開平面画像生成部２０２が生成する展開平面画像は、底部展開平面画像には限定されず、例えば、軸方向内周面画像１１０の天井部分や側部部分（下水管１５０の天井部分や側部部分）から切り開いて展開して得られる天井展開平面画像や側部展開平面画像などを生成してもよい。

【0025】

ここで、展開平面画像生成部２０２は、まず、画像取得部２０１が取得した所定間隔ごとに撮像された軸方向内周面画像１１０から輪切りにされた帯状の画像である輪切り画像１４３を生成する。そして、展開平面画像生成部２０２は、生成された輪切り画像１４３を下水管１５０の任意位置で切り開いて展開して、展開画像を生成する。次に、展開平面画像生成部２０２は、生成した複数の展開画像を繋ぎ合わせて、横長の展開平面画像１０１を生成する。例えば、底部展開平面画像においては、下水管１５０の天井部分が帯状の平面画像の中央に位置し、底部部分が左右両端に位置するようになる。このような平面画像を生成することにより、下水管１５０において、水が流れない部分が画像の縦方向の中央に位置するようになるので、後の人工知能による機械学習の効率や精度が上昇する。

【0026】

なお、輪切り画像１４３は、自走式検査ロボット１４０において予め生成しておき、画像取得部２０１が、自走式検査ロボット１４０により生成された輪切り画像１４３を取得してもよい。そして、展開平面画像生成部２０２は、複数の輪切り画像１４３から生成された展開平面画像のそれぞれを繋いで１枚の横長の画像として展開平面画像１０１を生成する。

【0027】

損傷決定部２０３は、展開平面画像１０１を用いて、下水管１５０に発生している損傷を決定する。損傷決定部２０３は、まず、展開平面画像１０１を用いて、損傷として欠落が発生しているか否かを決定する。その後、損傷決定部２０３は、欠落以外の損傷、すなわち、ひび割れの損傷種類を決定する。損傷決定部２０３は、さらに、長さ測定部２３１および傾き導出部２３２を有している。まず、長さ測定部２３１は、展開平面画像１０１において、欠落として判定されたひび割れ以外のひび割れの下水管１５０の軸方向および周方向の長さを測定する。さらに、傾き導出部２３２は、展開平面画像１０１において、欠落として判定されたひび割れ以外のひび割れの軸方向または周方向に対する傾きを導出する。そして、損傷決定部２０３は、下水管１５０のひび割れの長さや傾きに基づいて、下水管１５０に発生している損傷を決定する。なお、損傷決定部２０３は、損傷種類として、欠落、破損ａ、破損ｂ、クラックａ、クラックｂを決定する。破損ａ、ｂは、軸方向に伸びるひび割れであり、その軸方向の長さが管径の１／２未満か否かで決定される。１／２未満でない場合、破損ａとなり、１／２未満の場合、破損ｂとなる。クラックａ、ｂは、周方向に伸びるひび割れであり、その周方向の長さが円周の２／３未満か否かで決定される。２／３未満でない場合、クラックａとなり、２／３未満の場合、クラックｂとなる。

【0028】

具体的には、図２Ｂ（ａ）～（ｃ）に示したように、損傷決定部２０３は、ひび割れの長さおよび傾きに基づいて、下水管１５０に発生している損傷を決定する。なお、図２Ｂ（ａ）および（ｂ）は、展開平面画像１０１の一部を模式的に示した図となっている。

【0029】

長さ測定部２３１は、ひび割れの長さを測定する。また、傾き導出部２３２は、ひび割れの傾きを導出する。そして、損傷決定部２０３は、以下の基準に基づいて、ひび割れが、破損に該当するのか、クラックに該当するのかを決定する。

【0030】

具体的には、損傷決定部２０３は、図２Ｂ（ａ）に示したように、ひび割れの長さが、管長（ジョイントとジョイントとの間の長さ）の１／２未満か、１／２以上かに基づいて、破損か否かを決定する。あるいは、損傷決定部２０３は、図２Ｂ（ｂ）に示したように、ひび割れの長が、下水管１５０の内周面の円周の２／３未満か、２／３以上かに基づいて、クラックか否かを決定する。なお、ひび割れの角度は、図２Ｂ（ｃ）に示したように、下水管１５０の軸方向（敷設方向）に対して垂直な方向に対する角度に基づいて、導出される。損傷決定部２０３は、ひび割れの角度が、３０°未満であれば、クラック、３０°以上であれば、破損と判定する。

【0031】

また、損傷決定部２０３は、物体検知（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）を用いて、損傷の発生箇所を特定する。物体検知のアルゴリズムとして、例えば、Ｆａｓｔｅｒ Ｒ－ＣＮＮ（Ｆａｓｔｅｒ Ｒｅｇｉｏｎ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることができる。

【0032】

モデル生成部２０４は、損傷を識別可能な識別子を付与して、決定された損傷を人工知能に学習させて、学習済み損傷種類特定モデルを生成する。損傷に付与される識別子は、損傷の長さや角度（方向）、損傷種類などである。これらの識別子は、展開平面画像１０１に付与しても、あるいは、識別子を所定のデータベース等に記憶しておき、適宜読み出すようにしてもよい。

【0033】

そして、モデル生成部２０４は、識別子を付与した展開平面画像１０１を人工知能（ＡＩ）に機械学習させ、学習済み損傷種類特定モデルを生成する。なお、モデル生成部２０４は、生成した学習済み損傷種類特定モデルを所定のストレージ等に保存しておいてもよい。この場合、新たな学習用画像（軸方向内周面画像１６０）を取得して、所定の処理を施した後、機械学習を行い、学習済み損傷種類特定モデルを生成するたびに、保存された学習済み損傷種類特定モデルを更新するようにしてもよい。

【0034】

また、人工知能による機械学習は、既知のアルゴリズムを用いて行われる。機械学習において、損失関数は、重み指定を行い、事象数の逆数を採用した。また、モデル生成部２０４は、人工知能による機械学習の精度を向上させて、より精度の高い損傷種類特定モデルを生成するために、人工知能に学習させる軸方向内周面画像１１０および展開平面画像１０１の数を水増しする。モデル生成部２０４は、例えば、左右反転を用いて水増しデータを得る。さらに、モデル生成部２０４は、人工知能による機械学習の精度を向上させるために、転移学習を用いてもよい。ここで、転移学習とは、異なるデータセットを用いた学習済みモデルを、別の問題に転用し、部分的な学習をすることで、モデルの性能向上を狙う手法である。特に、教師データが十分ではない場合に、推論性能の向上と学習時間の低減とが期待できる手法である。

【0035】

なお、生成された学習済み損傷種類特定モデルの評価には、再現率（Ｒｅｃａｌｌ）および適合率（Ｐｒｅｃｉｓｉｏｎ）を用いた。再現率は、再現率＝ＴＰ／（ＴＰ＋ＦＮ）で表され、結果として出てくるべきもののうち、実際にでてきたものの割合を示す。すなわち、取り漏らしがないかに関する指標である（網羅性に関する指標）。適合率は、適合率＝ＴＰ／（ＴＰ＋ＦＰ）で表され、正しかったものの割合を示す。出てきたすべての結果の中に、どれだけ正解が含まれているかの割合を示す指標である（正確性に関する指標）。なお、ＴＰ＝真陽性（Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ）、ＦＰ＝偽陽性（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ）、ＦＮ＝偽陰性（Ｆａｌｓｅ Ｎｅｇａｔｉｖｅ）である。

【0036】

画像受付部２０５は、下水管１７０の内周面を下水管１７０の軸方向に撮像した軸方向内周面画像１６０を受け付ける。軸方向内周面画像１６０は、自走式検査ロボット１４０が撮像した画像であり、制御部１４１から画像受付部２０５に対して送信された画像である。なお、軸方向内周面画像１６０は、検査対象となる下水管１７０の内周面を撮像した画像であり、損傷種類を特定したい下水管１７０である。

【0037】

展開平面画像生成部２０６は、受け付けた軸方向内周面画像１６０を軸方向内周面画像における下水管１７０の任意位置から切り開いて展開して得られる展開平面画像１６１を生成する。展開平面画像生成部２０６は、展開平面画像生成部２０２と同様に、受け付けた軸方向内周面画像１６０を軸方向内周面画像１６０の任意の位置、例えば、下水管１７０の底部部分から切り開いて展開して得られる展開平面画像１６１を生成する。展開平面画像１６１は、展開平面画像１０１と同様に、複数の輪切り画像を繋ぎ合わせて生成された横長の画像である。

【0038】

損傷発生判定部２０７は、展開平面画像１６１と学習済み損傷種類特定モデルとを用いて、下水管１７０に発生している損傷から欠落とひび割れとを判定し、さらに、判定されたひび割れから破損とクラックとを判定する。

【0039】

損傷種類判定部２０８は、損傷発生判定部２０７により、ひび割れが発生していると判定された場合、展開平面画像１６１と学習済み損傷種類特定モデルとを用いて、ひび割れの損傷種類を判定する。つまり、損傷種類判定部２０８は、発生しているひび割れが、クラックａ、ｂおよび破損ａ、ｂのいずれの損傷種類に該当するかを判定する。

【0040】

図３は、管渠損傷特定装置１００が有する態様テーブル３０１の一例を説明するための図である。態様テーブル３０１は、損傷種類３１１に関連付けてひび割れ態様３１２を記憶する。損傷種類３１１は、管渠損傷特定装置１００が特定する損傷の種類である。ひび割れ態様３１２は、ひび割れの方向や長さ、傾きなどを含む。そして、管渠損傷特定装置１００は、例えば、態様テーブル３０１を参照して、損傷種類を判定する。

【0041】

図４を参照して、管渠損傷特定装置１００のハードウェア構成について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１０は、演算制御用のプロセッサであり、プログラムを実行することで図２の管渠損傷特定装置１００の各機能構成を実現する。ＣＰＵ４１０は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２０は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース４３０は、ネットワークを介して他の装置などと通信する。なお、ＣＰＵ４１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んでもよい。また、ネットワークインタフェース４３０は、ＣＰＵ４１０とは独立したＣＰＵを有して、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ４４０とストレージ４５０との間でデータを転送するＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）を設けるのが望ましい（図示なし）。さらに、ＣＰＵ４１０は、ＲＡＭ４４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ４１０は、処理結果をＲＡＭ４４０に準備し、後の送信あるいは転送はネットワークインタフェース４３０やＤＭＡＣに任せる。

【0042】

ＲＡＭ４４０は、ＣＰＵ４１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ４４０には、本実施形態の実現に必要なデータを記憶する記憶領域が確保されている。内周面画像データ４４１は、下水管１５０，１７０の軸方向に撮像した内周面の画像である。展開平面画像データ４４２は、撮像された軸方向内周面画像を下水管の任意位置で切り開いて展開した２次元の平面画像のデータである。下水管データ４４３は、下水管１５０，１７０に関するデータであり、管径や全長などデータである。撮像条件データ４４４は、カメラ１４２で下水管１５０，１７０の内周面を撮像した際の条件である。長さ／傾きデータ４４５は、下水管に発生しているひび割れの長さや傾きに関するデータである。

【0043】

送受信データ４４６は、ネットワークインタフェース４３０を介して送受信されるデータである。また、ＲＡＭ４４０は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域４４７を有する。

【0044】

ストレージ４５０には、データベースや各種パラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ４５０は、態様テーブル３０１を格納する。態様テーブル３０１は、図３に示した、損傷種類３１１とひび割れ態様３１２との関係を管理するテーブルである。

【0045】

ストレージ４５０は、さらに、画像取得モジュール４５１、展開平面画像生成モジュール４５２、損傷決定モジュール４５３、モデル生成モジュール４５４、画像受付モジュール４５５、展開平面画像生成モジュール４５６、ひび割れ発生判定モジュール４５７および損傷種類判定モジュール４５８を格納する。画像取得モジュール４５１は、軸方向内周面画像１１０を取得するモジュールである。展開平面画像生成モジュール４５２は、取得した軸方向内周面画像１１０を下水管１５０の任意位置で切り開いて展開して得られる展開平面画像１０１を生成するモジュールである。損傷決定モジュール４５３は、展開平面画像１０１を用いて、下水管１５０に発生している損傷を決定するモジュールである。なお、損傷決定モジュール４５３は、さらに、長さ測定モジュールと傾き導出モジュールとを有し、長さ測定モジュールは、ひび割れの長さを測定するモジュールであり、傾き導出モジュールは、ひび割れの傾きを導出するモジュールである。モデル生成モジュール４５４は、学習済み損傷種類特定モデルを生成するモジュールである。画像受付モジュール４５５は、下水管１７０の内周面を下水管１７０の軸方向に撮像した軸方向内周面画像１６０を受け付けるモジュールである。展開平面画像生成モジュール４５６は、取得した軸方向内周面画像１６０を軸方向内周面画像１６０における下水管１７０の任意位置で切り開いて展開して得られる展開平面画像１６１を生成するモジュールである。損傷発生判定モジュール４５７は、展開平面画像１６１と学習済み損傷種類特定モデルとを用いて、下水管１７０に損傷としてのひび割れが発生しているか否かを判定するモジュールである。損傷種類判定モジュール４５８は、下水管１７０にひび割れが発生していると判定された場合、展開平面画像１６１と学習済み損傷種類特定モデルとを用いて、下水管１７０に発生しているひび割れが、欠落、クラックおよび破損のいずれの損傷種類に該当するかを判定するモジュールである。これらのモジュール４５１～４５８は、ＣＰＵ４１０によりＲＡＭ４４０のアプリケーション実行領域４４７に読み出され、実行される。制御プログラム４５９は、管渠損傷特定装置１００の全体を制御するためのプログラムである。

【0046】

入出力インタフェース４６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース４６０には、表示部４６１、操作部４６２、が接続される。また、入出力インタフェース４６０には、さらに、記憶媒体４６４が接続されてもよい。さらに、音声出力部であるスピーカ４６３や、音声入力部であるマイク（図示せず）、あるいは、ＧＰＳ位置判定部が設億されてもよい。なお、図４に示したＲＡＭ４４０やストレージ４５０には、管渠損傷特定装置１００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

【0047】

次に図５Ａおよび図５Ｂに示したフローチャートを参照して、管渠損傷特定装置１００の処理手順について説明する。これらのフローチャートは、図４のＣＰＵ４１０がＲＡＭ４４０を使用して実行し、図２の管渠損傷特定装置１００の各機能構成を実現する。

【0048】

まず図５Ａを参照して、ステップＳ５０１において、画像取得部２０１は、軸方向内周面画像１１０を取得する。ステップＳ５０３において、展開平面画像生成部２０２は、軸方向内周面画像１１０を軸方向内周面画像１１０における下水管１５０の任意位置で切り開いて展開して得られる展開平面画像１０１を生成する。ステップＳ５０５において、損傷決定部２０３は、展開平面画像１０１を用いて、下水管１５０に発生している損傷を決定する。ステップＳ５０７において、モデル生成部２０４は、損傷を識別可能な識別子を付与して、識別子を付与された損傷とともに展開平面画像１０１を人工知能に学習させて、学習済み損傷種類特定モデルを生成する。

【0049】

ステップＳ５０９において、画像受付部２０５は、下水管１７０の内周面を下水管１７０の軸方向に撮像した軸方向内周面画像１６０を受け付ける。ステップＳ５１１において、展開平面画像生成部２０６は、受け付けた軸方向内周面画像１６０を軸方向内周面画像１６０における下水管１７０の任意位置で切り開いて展開して得られる展開平面画像１６１を生成する。ステップＳ５１３において、損傷発生判定部２０７は、展開平面画像１６１と学習済み損傷種類特定モデルとを用いて、下水管１７０に損傷としてのひび割れが発生しているか否かを判定する。ステップＳ５１５において、損傷種類判定部２０８は、ステップＳ５１３においてひび割れが発生していると判定された場合、展開平面画像１６１と学習済み損傷種類特定モデルとを用いて、ひび割れが、欠落、クラックおよび破損のいずれの損傷種類に該当するかを判定する。

【0050】

次に、図５Ｂを参照して、ステップＳ５０５の損傷決定処理の詳細について説明する。ステップＳ５２１において、損傷決定部２０３は、展開平面画像１０１を用いて、下水管１５０に欠落が発生しているか否かを判定する。欠落が発生していないと判定した場合（ステップＳ５２１のＮＯ）、管渠損傷特定装置１００は、ステップＳ５２３へ進む。ステップＳ５２３において、損傷決定部２０３は、展開平面画像１０１を用いて、下水管１５０にひび割れが発生しているか否かを判定する。ひび割れが発生していると判定した場合（ステップＳ５２３のＹＥＳ）、管渠損傷特定装置１００は、ステップＳ５２５へ進む。ステップＳ５２５において、損傷決定部２０３は、発生しているひび割れの方向が、軸方向か周方向かを判定する。軸方向のひび割れと判定した場合（ステップＳ５２５のＹＥＳ）、管渠損傷特定装置１００は、ステップＳ５２７へ進む。ステップＳ５２７において、損傷決定部２０３は、ひびわれの長さが下水管１５０のジョイントとジョイントとの間の長さ（管径）の１／２未満か否かを判定する。管径の１／２未満と判定した場合（ステップＳ５２７のＹＥＳ）、管渠損傷特定装置１００は、ステップＳ５２９へ進む。ステップＳ５２９において、損傷決定部２０３は、損傷としてのひび割れの損傷種類として、破損ｂに該当すると判定する。管径の１／２未満でないと判定した場合（ステップＳ５２７のＮＯ）、管渠損傷特定装置１００は、ステップＳ５３１へ進む。ステップＳ５３１において、損傷決定部２０３は、損傷としてのひび割れの損傷種類として、破損ａに該当すると判定する。ステップＳ５２１において、欠落が発生していると判定した場合（ステップＳ５２１のＹＥＳ）、管渠損傷特定装置１００は、ステップＳ５３３へ進む。ステップＳ５３３において、損傷決定部２０３は、欠落と判定する。

【0051】

周方向のひび割れと判定した場合、管渠損傷特定装置１００は、ステップＳ５３５に進む。ステップＳ５３５において、損傷決定部２０３はひび割れの長さが、下水管１５０の円周の２／３未満か否かを判定する。円周の２／３未満と判定した場合（ステップＳ５３５のＹＥＳ）、管渠損傷特定装置１００は、ステップＳ５３７へ進む。ステップＳ５３７において、損傷決定部２０３は、損傷としてのひび割れの損傷種類として、クラックｂと判定する。

【0052】

ステップＳ５３５において、円周の２／３未満でないと判定した場合（ステップＳ５３５のＮＯ）、管渠損傷特定装置１００は、ステップＳ５３９へ進む。ステップＳ５３９において、損傷決定部２０３は、クラックａと判定する。ステップＳ５２３において、ひび割れが発生しいないと判定した場合（ステップＳ５２３のＮＯ）、管渠損傷特定装置１００は、処理を終了する。

【0053】

本実施形態によれば、人工知能による機械学習を用いて、管渠に発生した損傷の損傷種類を特定するための損傷種類特定モデルを生成するので、管渠に発生した損傷の損傷種類を精度高く迅速に判定することができる。

【0054】

［他の実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

【0055】

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5A】

【図5B】