特開2021-156653(P2021-156653A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社奥村組の特許一覧 ▶ 株式会社ジャストの特許一覧

特開2021-156653管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2021-156653(P2021-156653A)
(43)【公開日】2021年10月7日
(54)【発明の名称】管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラム
(51)【国際特許分類】
   G01N 21/954 20060101AFI20210910BHJP
   G06N 20/00 20190101ALI20210910BHJP
   G06T 7/00 20170101ALI20210910BHJP
   F17D 5/00 20060101ALI20210910BHJP
   F16L 55/00 20060101ALI20210910BHJP
   E03F 7/00 20060101ALI20210910BHJP
【FI】
   G01N21/954 A
   G06N20/00
   G06T7/00 350C
   G06T7/00 610B
   F17D5/00
   F16L55/00 D
   E03F7/00
【審査請求】未請求
【請求項の数】11
【出願形態】OL
【全頁数】21
(21)【出願番号】特願2020-55268(P2020-55268)
(22)【出願日】2020年3月26日
(71)【出願人】
【識別番号】000140292
【氏名又は名称】株式会社奥村組
(71)【出願人】
【識別番号】394026714
【氏名又は名称】株式会社ジャスト
(74)【代理人】
【識別番号】110002170
【氏名又は名称】特許業務法人翔和国際特許事務所
(72)【発明者】
【氏名】岩下 将也
(72)【発明者】
【氏名】山口 治
(72)【発明者】
【氏名】角田 賢明
(72)【発明者】
【氏名】岡田 一哉
(72)【発明者】
【氏名】鎌形 勇樹
【テーマコード(参考)】
2D063
2G051
3J071
5L096
【Fターム(参考)】
2D063EA03
2G051AA82
2G051AB03
2G051AC17
2G051CA04
2G051EA21
2G051EC01
2G051FA03
3J071AA12
3J071AA16
3J071CC07
3J071EE08
3J071EE16
3J071EE18
3J071EE37
3J071FF12
5L096BA03
5L096CA02
5L096EA26
5L096HA11
5L096KA04
5L096KA15
(57)【要約】      (修正有)
【課題】精度の高い管渠の損傷の特定を行うこと。
【解決手段】管渠損傷特定装置であって、第1管渠の第1内周面画像を取得する画像取得部201と、第1内周面画像から第1天井展開平面画像、および、第1底部展開平面画像を生成する第1平面画像生成部202と、第1天井展開平面画像および第1底部展開平面画像を用いて、第1管渠に発生している損傷を決定する損傷決定部と、決定された損傷とともに第1天井展開平面画像および第1底部展開平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成部と、第2管渠の内周面を撮像した第2内周面画像を受け付ける画像受付部と、第2内周面画像から第2天井展開平面画像、および、第2底部展開平面画像を生成する第2平面画像生成部と、第2天井展開平面画像、第2底部展開平面画像および学習済み損傷特定モデルを用いて、第2管渠に発生している損傷を特定する損傷特定部と、を備えた。
【選択図】図2
【特許請求の範囲】
【請求項1】
第1管渠の内周面を撮像した第1内周面画像を取得する画像取得部と、
前記第1内周面画像を、前記第1内周面画像における前記第1管渠の天井部分から切り開いて展開して得られる第1天井展開平面画像、および、前記第1内周面画像における前記第1管渠の底部部分から切り開いて展開して得られる第1底部展開平面画像を生成する第1平面画像生成部と、
前記第1天井展開平面画像および前記第1底部展開平面画像を用いて、前記第1管渠に発生している第1損傷を決定する損傷決定部と、
決定された前記第1損傷を識別可能な識別子を付与して、決定された前記第1損傷とともに前記第1天井展開平面画像および前記第1底部展開平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成部と、
第2管渠の内周面を撮像した第2内周面画像を受け付ける画像受付部と、
前記第2内周面画像を、前記第2内周面画像における前記第2管渠の天井部分から切り開いて展開して得られる第2天井展開平面画像、および、前記第2内周面画像における前記第2管渠の底部部分から切り開いて展開して得られる第2底部展開平面画像を生成する第2平面画像生成部と、
前記第2天井展開平面画像、前記第2底部展開平面画像および前記学習済み損傷特定モデルを用いて、前記第2管渠に発生している第2損傷を特定する損傷特定部と、
を備えた管渠損傷特定装置。
【請求項2】
前記モデル生成部は、前記第1天井展開平面画像と前記第1底部展開平面画像とを、前記天井部分および前記底部部分が対応するように並べた画像を用いて、前記学習済み損傷特定モデルを生成する請求項1に記載の管渠損傷特定装置。
【請求項3】
前記損傷特定部は、前記第2天井展開平面画像と前記第2底部展開平面画像とを、前記天井部分および前記底部部分が対応するように並べた画像、および、前記学習済み損傷特定モデルを用いて、前記第2管渠に発生している前記第2損傷を特定する請求項1または2に記載の管渠損傷特定装置。
【請求項4】
前記第1管渠の材質と前記第1損傷の種類とを関連付けて記憶する記憶部をさらに備え、
前記モデル生成部は、前記記憶部に関連付けて記憶された前記第1管渠の材質と前記第1損傷の種類とを参照して、前記学習済み損傷特定モデルを生成する請求項1〜3のいずれか1項に記載の管渠損傷特定装置。
【請求項5】
前記損傷決定部により決定された前記第1損傷の損傷度合を判定する損傷度合判定部をさらに備え、
前記モデル生成部は、前記識別子および決定された前記第1損傷とともに前記損傷度合判定部により判定された損傷度合を人工知能に学習させて、前記学習済み損傷特定モデルを生成し、
前記損傷特定部は、前記第2管渠に発生している損傷を、前記損傷度合とともに特定する請求項1〜4のいずれか1項に記載の管渠損傷特定装置。
【請求項6】
前記第1管渠および前記第2管渠は、下水管である請求項1〜5のいずれか1項に記載の管渠損傷特定装置。
【請求項7】
前記損傷決定部は、Faster R-CNNを用いて前記第1管渠に発生している前記第1損傷を決定する請求項1〜6のいずれか1項に記載の管渠損傷特定装置。
【請求項8】
前記モデル生成部は、水増しデータとして、左右反転を用いて前記学習済み損傷特定モデルを生成する請求項1〜7のいずれか1項に記載の管渠損傷特定装置。
【請求項9】
前記モデル生成部は、転移学習を用いて前記学習済み損傷特定モデルを生成する請求項1〜8のいずれか1項に記載の管渠損傷特定装置。
【請求項10】
第1管渠の内周面を撮像した第1内周面画像を取得する画像取得ステップと、
前記第1内周面画像を、前記第1内周面画像における前記第1管渠の天井部分から切り開いて展開して得られる第1天井展開平面画像、および、前記第1内周面画像における前記第1管渠の底部部分から切り開いて展開して得られる第1底部展開平面画像を生成する第1平面画像生成ステップと、
前記第1天井展開平面画像および前記第1底部展開平面画像を用いて、前記第1管渠に発生している第1損傷を決定する損傷決定ステップと、
決定された前記第1損傷を識別可能な識別子を付与して、決定された前記第1損傷とともに前記第1天井展開平面画像および前記第1底部展開平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップ部と、
第2管渠の内周面を撮像した第2内周面画像を受け付ける画像受付ステップと、
前記第2内周面画像を、前記第2内周面画像における前記第2管渠の天井部分から切り開いて展開して得られる第2天井展開平面画像、および、前記第2内周面画像における前記第2管渠の底部部分から切り開いて展開して得られる第2底部展開平面画像を生成する第2平面画像生成ステップと、
前記第2天井展開平面画像、前記第2底部展開平面画像および前記学習済み損傷特定モデルを用いて、前記第2管渠に発生している第2損傷を特定する損傷特定ステップと、
を含む管渠損傷特定方法。
【請求項11】
第1管渠の内周面を撮像した第1内周面画像を取得する画像取得ステップと、
前記第1内周面画像を、前記第1内周面画像における前記第1管渠の天井部分から切り開いて展開して得られる第1天井展開平面画像、および、前記第1内周面画像における前記第1管渠の底部部分から切り開いて展開して得られる第1底部展開平面画像を生成する第1平面画像生成ステップと、
前記第1天井展開平面画像および前記第1底部展開平面画像を用いて、前記第1管渠に発生している第1損傷を決定する損傷決定ステップと、
決定された前記第1損傷を識別可能な識別子を付与して、決定された前記第1損傷とともに前記第1天井展開平面画像および前記第1底部展開平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップ部と、
第2管渠の内周面を撮像した第2内周面画像を受け付ける画像受付ステップと、
前記第2内周面画像を、前記第2内周面画像における前記第2管渠の天井部分から切り開いて展開して得られる第2天井展開平面画像、および、前記第2内周面画像における前記第2管渠の底部部分から切り開いて展開して得られる第2底部展開平面画像を生成する第2平面画像生成ステップと、
前記第2天井展開平面画像、前記第2底部展開平面画像および前記学習済み損傷特定モデルを用いて、前記第2管渠に発生している第2損傷を特定する損傷特定ステップと、
をコンピュータに実行させる管渠損傷特定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラムに関し、特に、コンピュータに組み込まれた画像解析プログラムおよび人工知能による特定結果から管渠の損傷を特定する装置に関する。
【背景技術】
【0002】
インフラ構造物の老朽化は加速度的に進んでおり,維持管理・更新の必要性は,今後さらに増大していくと言われている。労働人口が減り続ける中、維持管理・更新にかかる労務の効率化は喫緊の課題となっている。維持管理・更新にかかる労務の効率化の実現に向け、近年著しく性能が向上しているAIによる画像認識技術を適用する研究事例が増えている。深層学習と呼ばれる高度なニューラルネットワークを用いれば、従来では困難であった人間の直感に近い画像認識が実現でき損傷部位の目視点検の補助や代替が期待できる。
【0003】
一方、管渠などインフラ構造物の検査においては、例えば、特許文献1および特許文献2に記載の技術のように、調査対象の流路管内に投入する装置本体に、テレビカメラ等の撮影装置や蛍光灯等の照明装置を搭載し、撮影装置により撮影した管内画像をもとに損傷などの調査を行っていた。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平5−346027号公報
【特許文献2】特開平7−216972号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記文献に記載の技術では、撮影した管内画像を作業員が目で見て調査を行うものであり、見落としや見誤りが発生し易く、精度の高い管渠の損傷の特定を行うことができなかった。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明に係る管渠損傷特定装置は、
第1管渠の内周面を撮像した第1内周面画像を取得する画像取得部と、
前記第1内周面画像を、前記第1内周面画像における前記第1管渠の天井部分から切り開いて展開して得られる第1天井展開平面画像、および、前記第1内周面画像における前記第1管渠の底部部分から切り開いて展開して得られる第1底部展開平面画像を生成する第1平面画像生成部と、
前記第1天井展開平面画像および前記第1底部展開平面画像を用いて、前記第1管渠に発生している第1損傷を決定する損傷決定部と、
決定された前記第1損傷を識別可能な識別子を付与して、決定された前記第1損傷とともに前記第1天井展開平面画像および前記第1底部展開平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成部と、
第2管渠の内周面を撮像した第2内周面画像を受け付ける画像受付部と、
前記第2内周面画像を、前記第2内周面画像における前記第2管渠の天井部分から切り開いて展開して得られる第2天井展開平面画像、および、前記第2内周面画像における前記第2管渠の底部部分から切り開いて展開して得られる第2底部展開平面画像を生成する第2平面画像生成部と、
前記第2天井展開平面画像、前記第2底部展開平面画像および前記学習済み損傷特定モデルを用いて、前記第2管渠に発生している第2損傷を特定する損傷特定部と、
を備えた。
【0007】
上記目的を達成するため、本発明に係る管渠損傷特定方法は、
第1管渠の内周面を撮像した第1内周面画像を取得する画像取得ステップと、
前記第1内周面画像を、前記第1内周面画像における前記第1管渠の天井部分から切り開いて展開して得られる第1天井展開平面画像、および、前記第1内周面画像における前記第1管渠の底部部分から切り開いて展開して得られる第1底部展開平面画像を生成する第1平面画像生成ステップと、
前記第1天井展開平面画像および前記第1底部展開平面画像を用いて、前記第1管渠に発生している第1損傷を決定する損傷決定ステップと、
決定された前記第1損傷を識別可能な識別子を付与して、決定された前記第1損傷とともに前記第1天井展開平面画像および前記第1底部展開平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップ部と、
第2管渠の内周面を撮像した第2内周面画像を受け付ける画像受付ステップと、
前記第2内周面画像を、前記第2内周面画像における前記第2管渠の天井部分から切り開いて展開して得られる第2天井展開平面画像、および、前記第2内周面画像における前記第2管渠の底部部分から切り開いて展開して得られる第2底部展開平面画像を生成する第2平面画像生成ステップと、
前記第2天井展開平面画像、前記第2底部展開平面画像および前記学習済み損傷特定モデルを用いて、前記第2管渠に発生している第2損傷を特定する損傷特定ステップと、
を含む。
【0008】
上記目的を達成するため、本発明に係る管渠損傷特定プログラムは、
第1管渠の内周面を撮像した第1内周面画像を取得する画像取得ステップと、
前記第1内周面画像を、前記第1内周面画像における前記第1管渠の天井部分から切り開いて展開して得られる第1天井展開平面画像、および、前記第1内周面画像における前記第1管渠の底部部分から切り開いて展開して得られる第1底部展開平面画像を生成する第1平面画像生成ステップと、
前記第1天井展開平面画像および前記第1底部展開平面画像を用いて、前記第1管渠に発生している第1損傷を決定する損傷決定ステップと、
決定された前記第1損傷を識別可能な識別子を付与して、決定された前記第1損傷とともに前記第1天井展開平面画像および前記第1底部展開平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップ部と、
第2管渠の内周面を撮像した第2内周面画像を受け付ける画像受付ステップと、
前記第2内周面画像を、前記第2内周面画像における前記第2管渠の天井部分から切り開いて展開して得られる第2天井展開平面画像、および、前記第2内周面画像における前記第2管渠の底部部分から切り開いて展開して得られる第2底部展開平面画像を生成する第2平面画像生成ステップと、
前記第2天井展開平面画像、前記第2底部展開平面画像および前記学習済み損傷特定モデルを用いて、前記第2管渠に発生している第2損傷を特定する損傷特定ステップと、
をコンピュータに実行させる。
【発明の効果】
【0009】
本発明の管渠損傷特定装置によれば、人工知能による機械学習を用いて管渠の損傷の特定を行うので、精度の高い管渠の損傷の特定を行うことができる。
【図面の簡単な説明】
【0010】
図1】本発明の第1実施形態に係る管渠損傷特定装置による管渠損傷の特定の概要について説明するための図である。
図2】本発明の第1実施形態に係る管渠損傷特定装置の構成を説明するためのブロック図である。
図3A】本発明の第1実施形態に係る管渠損傷特定装置における物体検知について説明するための図である。
図3B】本発明の第1実施形態に係る管渠損傷特定装置における損傷(破損・クラック)の決定について説明するための図である。
図3C】本発明の第1実施形態に係る管渠損傷特定装置における損傷(破損・クラック)の決定について説明するための他の図である。
図3D】本発明の第1実施形態に係る管渠損傷特定装置における損傷(浸入水)の決定について説明するための図である。
図3E】本発明の第1実施形態に係る管渠損傷特定装置における損傷(浸入水)の決定について説明するための他の図である。
図3F】本発明の第1実施形態に係る管渠損傷特定装置における損傷(浸入水)の決定について説明するためのさらに他の図である。
図4】本発明の第1実施形態に係る管渠損傷特定装置が有する損傷特定テーブルの一例を説明するための図である。
図5A】本発明の第1実施形態に係る管渠損傷特定装置の処理手順を説明するためのフローチャートである。
図5B】本発明の第1実施形態に係る管渠損傷特定装置の他の処理手順を説明するための他のフローチャートである。
図6】本発明の第2実施形態に係る管渠損傷特定装置の構成を説明するためのブロック図である。
図7】本発明の第2実施形態に係る管渠損傷特定装置が有する損傷度合テーブルの一例を説明するための図である。
図8】本発明の第2実施形態に係る管渠損傷特定装置の処理手順を説明するためのフローチャートである。
図9】本発明の第3実施形態に係る管渠損傷特定装置の構成を説明するためのブロック図である。
図10】本発明の第3実施形態に係る管渠損傷特定装置が有する平面画像選択テーブルの一例を説明するための図である。
図11A】本発明の第3実施形態に係る管渠損傷特定装置の処理手順を説明するためのフローチャートである。
図11B】本発明の第3実施形態に係る管渠損傷特定装置の他の処理手順を説明するためのフローチャートである。
【発明を実施するための形態】
【0011】
以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明する。ただし、以下の実施形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。
【0012】
[第1実施形態]
本発明の第1実施形態としての管渠損傷特定装置100について、図1図5Bを用いて説明する。管渠損傷特定装置100は、管渠に発生した損傷を特定するために用いられる。図1は、本実施形態に係る管渠損傷特定装置100による管渠損傷の特定の概要について説明するための図である。
【0013】
ここで、管渠とは、水路の総称であり、給水、排水を目的として作られる水路全体を指す。例えば、上水管、下水管、排水管、給水管などが含まれる。本実施形態においては、管渠として下水管150を例に説明をする。また、管渠の材質としては、コンクリート、陶器、鉄などが含まれ、管渠の種類としては、コンクリート管、コンクリートヒューム管、陶管、鉄管などが含まれる。
【0014】
また、損傷とは、管渠に発生したひび割れやクラック、傷などを含むものであるが、この他にも、管渠に期待される性能が発揮できない状態をも含むものとする。なお、以下の説明では、下水管150の直径は、作業員が下水管150内に入って作業することができない程度の大きさであり、例えば、φ200〜φ800の下水管150を想定して説明をするが、下水管150の直径は、これには限定されない。
【0015】
下水管150の内部の検査においては、自走式検査ロボット140のカメラ142で撮像した下水管150の内周面の画像を用いた検査が行われている。作業員は、下水管150の外部に設置されたディスプレイなどを用いて、カメラ142で撮像した画像を確認し、下水管150に損傷が発生しているか否かの検査を行う。制御部141は、自走式検査ロボット140の自走速度や撮像スケジュール、撮像条件を制御したり、管渠損傷特定装置100や作業員が所持するタブレット端末130との間の通信を制御したりする。作業員は、例えば、タブレット端末130にインストールされた操作用アプリケーションを用いて、自走式検査ロボット140を操作する。なお、自走式検査ロボット140が入れないような、直径の小さな下水管150の場合、自走式検査ロボット140の代わりに、ファイバースコープなどの超小型検査装置を用いてもよい。
【0016】
そして、制御部141は、カメラ142で撮像した内周面画像110(160)を、管渠損傷特定装置100に送信する。なお、内周面画像110は、人工知能による学習のための画像であり、内周面画像160は、損傷を特定したい画像である。また、カメラ142は、広角カメラ、全周カメラのいずれであってもよい。広角カメラの場合、1周分の画像を複数回に分けて撮像し、撮像した複数枚の画像を繋いで内周面画像110(160)を生成してもよい。
【0017】
また、内周面画像110(160)は、所定の間隔(例えば、0.1m)で輪切りにされる。例えば、下水管150の継手から継手の間を1ユニットとした場合に、1ユニットごとに撮像した画像(内周面画像110(160))を輪切りにして、輪切り画像143を得てもよい。また、例えば、下水管150の全長において撮像した画像(内周面画像110(160))を輪切りにして、輪切り画像143を得てもよい。
【0018】
次に、管渠損傷特定装置100による、学習済み損傷特定モデルの生成について説明する。管渠損傷特定装置100は、受信した内周面画像110(学習用画像)の輪切り画像143を、下水管150の天井部分および底部部分で切り開いて展開して、2次元平面画像を得る。すなわち、管渠損傷特定装置100は、下水管150の天井部分で内周面画像110を切開して展開した天井展開平面画像101、および、下水管150の底部部分で内周面画像110を切開して展開した底部展開平面画像102を生成する。
【0019】
天井展開平面画像101においては、下水管150の底部部分111が帯状の平面画像の中央に位置し、天井部分112、113が左右両端に位置している。同様に、底部展開平面画像102においては、天井部分121が帯状の平面画像の中央に位置し、底部部分122、123が左右両端に位置している。そして、管渠損傷特定装置100は、天井展開平面画像101および底部展開平面画像102を並べた画像について、損傷を特定し、損傷が特定された並列画像を人工知能に学習させて、学習済み損傷特定モデルを生成する。
【0020】
次に、管渠損傷特定装置100による、損傷の特定について説明する。管渠損傷特定装置100は、損傷を特定したい下水管170の内周面画像160について、内周面画像110と同様に、天井展開平面画像161および底部展開平面画像162を生成し、学習済み損傷特定モデルを用いて、下水管170に発生している損傷を特定する。
【0021】
特定された損傷は、例えば、作業員が所持するタブレット端末130などの携帯端末に出力される。作業員は、タブレット端末130のディスプレイに表示された特定結果を参照して、下水管170に発生している損傷を認識する。なお、管渠損傷特定装置100は、特定した損傷の種類や程度に応じて、アラートを出力してもよい。例えば、進行している損傷や、早急な補修工事が必要な損傷である場合には、管渠損傷特定装置100は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。
【0022】
図2は、本実施形態に係る管渠損傷特定装置100の構成を説明するためのブロック図である。管渠損傷特定装置100は、画像取得部201、平面画像生成部202、損傷決定部203、モデル生成部204、画像受付部205、平面画像生成部206、損傷特定部207、出力部208および記憶部209を有する。
【0023】
ここで、管渠損傷特定装置100は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、ネットワークインターフェース、およびストレージを有する。ここで、CPUは、演算制御用のプロセッサであり、プログラムを実行することで図2に示した管渠損傷特定装置100の各機能構成を実現する。CPUは、複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ROMは、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインターフェースは、ネットワークを介して他の装置などと通信する。なお、CPUは、1つに限定されず、複数のCPUであっても、あるいは画像処理用のGPU(Graphics Processing Unit)を含んでもよい。また、ネットワークインターフェースは、CPUとは独立した他のCPUを有して、RAMの領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、RAMとストレージとの間でデータを転送するDMAC(Direct Memory Access Controller)を設けるのが望ましい。さらに、CPUは、RAMにデータが受信あるいは転送されたことを認識してデータを処理する。また、CPUは、処理結果をRAMに準備し、後の送信あるいは転送はネットワークインターフェースやDMACに任せる。
【0024】
RAMは、CPUが一時記憶のワークエリアとして使用するメモリである。RAMには、本実施形態の実現に必要なデータを記憶する領域が確保されている。ストレージには、データベースや各種のパラメータ、モジュール、あるいは本実施形態の実現に必要なデータまたはプログラムが記憶されている。例えば、ストレージには、管渠損傷特定装置100の全体を制御するための制御プログラムが記憶されている。
【0025】
さらに、管渠損傷特定装置100は、入出力インターフェースをさらに備えてもよい。入出力インターフェースには、表示部、操作部、記憶媒体が接続される。入出力インターフェースには、さらに、音声出力部であるスピーカや、音声入力部であるマイク、あるいはGPS(Global Positioning System)位置判定部が接続されてもよい。なお、RAMやストレージには、管渠損傷特定装置100が有する汎用の機能や他の実現可能な機能に関するプログラムやデータが記憶されていてもよい。
【0026】
画像取得部201は、下水管150の内周面を撮像した内周面画像110を取得する。画像取得部201は、自走式検査ロボット140の制御部141から内周面画像110を取得してもよいし、作業員が所持するタブレット端末130を経由して取得してもよい。なお、内周面画像110は、後の人工知能による学習に用いられる画像である。
【0027】
平面画像生成部202は、内周面画像110を、内周面画像110における下水管150の天井部分から切り開いて展開して得られる天井展開平面画像101を生成する。同様に、平面画像生成部202は、内周面画像110における下水管150の底部部分から切り開いて展開して得られる底部展開平面画像102を生成する。
【0028】
すなわち、平面画像生成部202は、まず、画像取得部201が取得した内周面画像110から輪切り画像143を生成する。そして、平面画像生成部202は、輪切り画像143から、天井展開平面画像101および底部展開平面画像102を生成する。なお、輪切り画像143は、予め自走式検査ロボット140において生成しておき、画像取得部201は、自走式検査ロボット140により生成された輪切り画像143を取得してもよい。
【0029】
損傷決定部203は、天井展開平面画像101および底部展開平面画像102を用いて、下水管150に発生している損傷を決定する。損傷決定部203は、天井展開平面画像101および底部展開平面画像102が、並列に並べられた状態の画像を用いて、損傷を決定する。損傷の種類は、破損、クラック、浸入水、取付管の突出し、木根侵入およびモルタル付着を含む。なお、損傷決定部203は、物体検知(Object Detection)を用いて、損傷の発生している領域を検出する。物体検知のアルゴリズムとして、Faster R−CNN(Faster Region with Convolutional Neural Network)を用いた。
【0030】
ここで、図3A図3Fを参照して、損傷決定部203による損傷の決定について具体的に説明する。図3Aは、本実施形態に係る管渠損傷特定装置100における物体検知について説明するための図である。
【0031】
画像301は、内周面画像110を天井部分または底部部分で切り開いて展開された天井展開平面画像101または底部展開平面画像102である。このように、天井部分311、312(または底部部分)で内周面画像110を切り開くと、天井部分(または底部部分)に損傷が存在していた場合、損傷が分断されることがある。しかしながら、この場合には、分断された損傷については、1つの損傷として統合するのではなく、2つの損傷が存在するものとして取り扱う。すなわち、損傷決定部203は、分断された損傷に対して、2つのボックス313、314を用いて損傷を検知(物体を検知)する。
【0032】
次に、図3Bを参照して、損傷が破損およびクラックの場合の損傷の検知について説明する。図3Bは、本実施形態に係る管渠損傷特定装置における損傷(破損・クラック)の決定について説明するための図である。画像302は、下水管150の内周面に破損またはクラックが発生している状態を示している。ここで、破損は、横方向に入ったひびであり、クラックは、縦方向(周方向)に入ったひびである。
【0033】
下水管150に発生している損傷が、破損およびクラックの場合、これらの損傷は、別事象の損傷としてラベル付けを行う。内周面画像110において、白または黒い筋を破損またはクラックとする。クラックの場合、ひび割れの方向が縦横混在いている場合や、斜めにひび割れしている場合などには、破損として取り扱う。例えば、縦のひび割れの場合、概ね30°以内の傾きはクラックとして取り扱う。
【0034】
破損個所またはクラック箇所が継手部321を跨いで左右に広がっている場合には、損傷決定部203は、1つのボックスで損傷を検知しない。損傷決定部203は、継手部321を境に、ボックスを2つに分割して、2つのボックス322、323を用いて、2つの損傷として検知する。
【0035】
また、同様に、破損箇所またはクラック箇所が、流水部324(下水管150の底部)を跨いで上下に広がっている場合には、損傷決定部203は、1つのボックスで損傷を検知しない。損傷決定部203は、流水部324を境にボックスを2つに分割して、2つのボックス325、326を用いて、2つの損傷として検知し、損傷を決定する。
【0036】
次に、図3Cを参照して、狭い範囲に小型の損傷が複数存在する場合の損傷の検知について説明する。図3Cは、本実施形態に係る管渠損傷特定装置100における損傷(破損・クラック)の決定について説明するための他の図である。画像303は、狭い範囲に小型の破損またはクラックが発生している状態を示す。
【0037】
狭い範囲に小型の破損等が複数発生している場合、損傷決定部203は、図3C左図に示したように、2つのボックス331、332を用いて、複数の損傷として取り扱うのではない。損傷決定部203は、図3C右図に示したように、複数の損傷を1つのボックス333で取り囲み、1つの損傷として取り扱う。このように、狭い領域に小型の損傷が複数存在する場合には、これらの損傷をまとめて取り扱うことにより、効率よく損傷を検知し、決定できる。
【0038】
次に、図3Dを参照して、損傷が浸入水の場合の損傷の検知について説明する。図3Dは、本実施形態に係る管渠損傷特定装置100における損傷(浸入水)の決定について説明するための図である。画像304は、浸入水が発生している状態を示す。画像304の上段は、左から順に、黒くにじんだ部分、茶色の部分(土の流出部分)、白色部分(遊離石灰)を示し、これら全てを浸入水として扱う。
【0039】
そして、画像304の下段に示したように、浸入水の場合、損傷決定部203は、浸入水の中心部分341から、同程度の色味が続いている部分までをボックス342で囲む。ただし、損傷決定部203は、土、遊離石灰の場合には、白色でない部分までをボックス342で囲む。より具体的には、損傷決定部203は、浸入水の原因となる継手部分や破損部分を中心にボックス342で損傷を囲み、物体検知する。例えば、損傷が原因となって浸入水が発生した場合、損傷決定部203は、破損および浸入水として決定する。
【0040】
次に、図3Eを参照して、損傷が判別の難しい浸入水の場合の損傷の検知について説明する。図3Eは、本実施形態に係る管渠損傷特定装置100における損傷(浸入水)の決定について説明するための他の図である。画像305の上段は、左右の継手部分352、353から浸入水が流出し、2つの浸入水の境界がはっきりしない状態を示している。この場合、損傷決定部203は、1つのボックス351で浸入水を囲み、1つの損傷として取り扱う。また、画像305の下段の2枚の画像に示したように、浸入水のにじみと流水跡との見分けが困難な場合、浸入水の原因と考えられる継手部分または破損部分から延びる浸入水痕と流水跡とが接続しているか否かを判断基準として、ボックス354で損傷を取り囲む。
【0041】
最後に、図3Fを参照して、小型の浸入水の検知について説明する。図3Fは、本実施形態に係る管渠損傷特定装置100における損傷(浸入水)の決定について説明するためのさらに他の図である。画像306は、小型の浸入水を示している。損傷決定部203は、小型の浸入水も検知対象とするが、例えば、流水路近辺の小さいもの(大きさから流水路からの這い上がり跡と推測されるもの)や、横幅が小さいものは検知の対象外とする。ただし、ある程度にじみが上に伸びている、またはにじみが分離しかかっているものは検知対象361とする。浸入水のような跡があるが、乾いてコントラストが低いものは対象外とする。
【0042】
再び図2に戻る。モデル生成部204は、決定された損傷を識別可能な識別子(ID:Identifier)を付与する。モデル生成部204は、識別子として、例えば、損傷の範囲(大きさ)、その損傷の名称、損傷の属性(古い、新しい、色)などを天井展開平面画像101および底部展開平面画像102に付与する。なお、この識別子は、天井展開平面画像101および底部展開平面画像102に直接付与しても、所定のデータベース等に記憶しておき、適宜読み出すようにしてもよい。
【0043】
そして、モデル生成部204は、付与した識別子、決定された損傷とともに天井展開平面画像101および底部展開平面画像102を人工知能(AI:Artificial Intelligence)に入力して、機械学習させる。人工知能による機械学習が終了すると、モデル生成部204は、学習済み損傷特定モデルを生成する。なお、モデル生成部204は、生成した学習済み損傷特定モデルを所定のストレージ等に保存しておいてもよい。この場合、新たな学習用画像(天井展開平面画像101および底部展開平面画像102)を取得して、機械学習を行い、学習済み損傷特定モデルを生成するたびに、保存された学習済み損傷特定モデルを更新するようにしてもよい。
【0044】
また、人工知能による機械学習は、既知のアルゴリズムを用いて行われる。機械学習において、損失関数は、重み指定を行い、事象数の逆数を採用した。また、モデル生成部204は、人工知能による機械学習の精度を向上させて、より精度の高い損傷特定モデルを生成するために、人工知能に学習させる内周面画像110の数を水増しする。モデル生成部204は、例えば、左右反転を用いて水増しデータを得る。さらに、モデル生成部204は、人工知能による機械学習の精度を向上させるために、転移学習を用いてもよい。ここで、転移学習とは、異なるデータセットを用いた学習済みモデルを、別の問題に転用し、部分的な学習をすることで、モデルの性能向上を狙う手法である。特に、教師データが十分でない場合に、推論性能の向上と学習時間の低減が期待できる手法である。
【0045】
なお、生成された学習済み損傷特定モデルの評価には、再現率(Recall)および適合率(Precision)を用いた。再現率は、再現率=TP/(TP+FN)で表され、結果として出てくるべきもののうち、実際に出てきたものの割合を示す。すなわち、取り漏らしがないかに関する指標である(網羅性に関する指標)。適合率は、適合率=TP/(TP+FP)で表され、正しかったものの割合を示す。出てきたすべての結果の中に、どれだけ正解が含まれているかの割合を示す指標である(正確性に関する指標)。なお、TP=真陽性(True Positive)、FP=偽陽性(False Positive)、FN=偽陰性(False Negative)である。
【0046】
画像受付部205は、管渠としての下水管170の内周面を撮像した内周面画像160を受け付ける。つまり、画像受付部205は、制御部141が送信した自走式検査ロボット140が撮像した内周面画像160を受け付ける。内周面画像160は、検査対象となる下水管170の画像であり、発生している損傷を特定したい下水管である。
【0047】
平面画像生成部206は、平面画像生成部202と同様に、平面画像を生成する。すなわち、平面画像生成部206は、内周面画像160を、内周面画像160における下水管170の天井部分から切り開いて展開して得られる天井展開平面画像161を生成する。同様に、平面画像生成部206は、内周面画像160における下水管170の底部部分から切り開いて展開して得られる底部展開平面画像162を生成する。
【0048】
つまり、平面画像生成部206は、まず、画像受付部205が受け付けた内周面画像160から輪切り画像を生成する。そして、平面画像生成部206は、輪切り画像から天井展開平面画像161および底部展開平面画像162を生成する。なお、輪切り画像は、予め自走式検査ロボット140において生成しておき、画像受付部205は、自走式検査ロボット140により生成された輪切り画像を取得してもよい。
【0049】
損傷特定部207は、天井展開平面画像161、底部展開平面画像162および学習済み損傷特定モデルを用いて、下水管170に発生している損傷を特定する。損傷特定部207による損傷の特定方法は、例えば、図4に示す損傷特定テーブル281を参照して特定する方法がある。なお、損傷特定部207は、天井展開平面画像161および底部展開平面画像162が並列に並べられた状態の画像を用いて、下水管170に発生している損傷を特定する。
【0050】
出力部208は、特定された損傷をタブレット端末130などの携帯端末へ出力する。また、作業員は、タブレット端末130のディスプレイに表示された特定結果を参照することにより、下水管170に発生している損傷を認識できる。出力部208は、損傷の種類や進行度合いに応じたアラートを出力してもよい。出力部208は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。
【0051】
図4は、本実施形態に係る管渠損傷特定装置100が有する損傷特定テーブル291の一例を説明するための図である。なお、損傷特定テーブル291は、記憶部209に記憶される。損傷特定テーブル291は、損傷の種類401に関連付けて管渠材質402を記憶する。損傷の種類401は、破損、クラック、浸入水、取付管の突き出し、木根侵入およびモルタル付着を含む。
【0052】
管渠材質402は、コンクリートおよび陶器を含む。例えば、管渠材質402が、コンクリートの場合、すなわち、コンクリート管の場合、損傷の種類401にある破損として、内部構造の露出、鉄筋露出および錆汁などを含めてもよい。そして、損傷特定部207は、損傷特定テーブル291を参照して、下水管170に発生している損傷を特定する。損傷特定テーブル291に含まれる損傷の種類401は、発生頻度が高い損傷や見逃すことのできない損傷を含んでいる。このように、予め管渠の材質と発生する損傷との組み合わせを決めておくことにより、管渠の材質から考えて発生し得ない損傷を排除することができるので、効率的な損傷特定を行うことが可能となる。
【0053】
図5Aは、本実施形態に係る管渠損傷特定装置100の処理手順を説明するためのフローチャートである。図5Bは、本実施形態に係る管渠損傷特定装置100の処理手順を説明するための他のフローチャートである。図5Aおよび図5Bに示したフローチャートは、管渠損傷特定装置100の不図示のCPU(Central Processing Unit)が、ROM(Read Only Memory)、RAM(Random Access Memory)を用いて実行し、図2に示した管渠損傷特定装置100の各機能構成を実現する。
【0054】
図5Aを参照して、ステップS501において、画像取得部201は、機械学習用の画像として、下水管150の内周面画像110を取得する。ステップS503において、平面画像生成部202は、内周面画像110を下水管150の天井部分および底部部分から切り開いて展開した天井展開平面画像101および底部展開平面画像102を生成する。ステップS505において、損傷決定部203は、天井展開平面画像101および底部展開平面画像102を用いて、下水管150に発生している損傷を決定する。
【0055】
ステップS507において、モデル生成部204は、決定された損傷を識別可能な識別子を付与して、決定された損傷とともに天井展開平面画像101および底部展開平面画像102とともに人工知能に入力する。ステップS509において、モデル生成部204は、人工知能による機械学習が終了したか否かを判定する。人工知能による機械学習が終了していないと判定された場合(ステップS509のNO)、モデル生成部204は、人工知能による機械学習を継続させる。人工知能による機械学習が終了したと判定された場合(ステップS509のYES)、管渠損傷特定装置100は、ステップS511へ進む。ステップS511において、モデル生成部204は、学習済み損傷特定モデルを生成する。
【0056】
図5Bを参照して、ステップS531において、画像受付部205は、下水管170の内周面を撮像した内周面画像160を受け付ける。ステップS533において、平面画像生成部206は、内周面画像160を下水管170の天井部分および底部部分から切り開いて展開した天井展開平面画像161および底部展開平面画像162を生成する。ステップS535において、損傷特定部207は、天井展開平面画像161、底部展開平面画像162および生成した学習済み損傷特定モデルを用いて、下水管170に発生している損傷を特定する。
【0057】
ステップS537において、出力部208は、特定結果を出力する。ステップS539において、管渠損傷特定装置100は、受付した全ての内周面画像160について、損傷の特定が終了しているか否かを判定する。受付した全ての内周面画像160の損傷の特定が終了していないと判定した場合(ステップS539のNO)、管渠損傷特定装置100は、ステップS533へ戻る。受付した全ての内周面画像160の損傷の特定が終了したと判定した場合(ステップS539のYES)、管渠損傷特定装置100は、処理を終了する。
【0058】
本実施形態によれば、下水管の材質と損傷の種類とを関連付けて記憶しているので、下水管の材質から考えて、発生し得ない損傷を予め排除することができ、管渠損傷特定装置による損傷の特定の精度を向上させることができる。また、天井展開平面画像と底部展開平面画像とを並列に並べて損傷の決定および特定を行うので、下水管の内周面のどの位置に損傷が発生したとしても、精度の高い学習済み損傷特定モデルを生成できる。さらに、2つの平面画像を並列に並べるので、精度の高い学習済み損傷特定モデルを用いた精度の高い損傷特定を行うことができる。
【0059】
[第2実施形態]
次に本発明の第2実施形態に係る管渠損傷特定装置について、図6図8を用いて説明する。図6は、管渠損傷特定装置600の構成を説明するためのブロック図である。本実施形態に係る管渠損傷特定装置600は、上記第1実施形態と比べると、損傷度合い判定部を有する点で異なる。その他の構成および動作は第1実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0060】
管渠損傷特定装置600は、損傷度合判定部601を備える。損傷度合判定部601は、損傷決定部203により決定された損傷の損傷度合を判定する。そして、モデル生成部204は、付与した識別子、決定された損傷および損傷度合判定部601により判定された損傷度合とともに天井展開平面画像101および底部展開平面画像102を人工知能に入力して、機械学習させる。人工知能による機械学習が終了すると、モデル生成部204は、学習済み損傷特定モデルを生成する。
【0061】
例えば、図3Cに示したように、狭い領域に小型の損傷が複数存在する場合、損傷度合判定部601は、複数の損傷のそれぞれについて、損傷度合を判定し、複数の損傷度合の平均値をその領域の損傷度合と判定する。また、例えば、損傷度合判定部601は、複数の損傷の損傷度合のうち、最も高い損傷度合と最も低い損傷度合とを除いた、残りの損傷度合の平均値をその領域の損傷度合と判定してもよい。さらに、例えば、損傷度合判定部601は、複数の損傷の損傷度合のうち、最も高い損傷度合や、加重平均などをその領域の損傷度合と判定してもよい。所定の領域に複数の損傷が存在する場合の、損傷度合の判定は、ここに示した判定方法には限定されない。
【0062】
図7は、本実施形態に係る管渠損傷特定装置600が有する損傷度合テーブル700の一例を説明するための図である。損傷度合テーブル700は、項目701に関連付けて損傷度合(ランク)702を記憶する。項目701は、損傷の種類を表す。破損およびクラックについては、管渠の材質により評価が異なるので、コンクリート管と陶管とに分けている。損傷度合(ランク)702については、a〜cでランク分けしている。aは、劣化、異常が進んでいることを示す。bは、中程度の劣化、異常があることを示す。cは、劣化、異常の程度は低いことを示す。損傷度合判定部601は、損傷度合テーブル700を参照して、損傷の度合いを判定する。なお、ここでは、損傷の度合いとして、a〜cの3段階でランク分けをしているが、ランク分けの方法はこれには限定されない。例えば、損傷の度合いに応じたスコア(0〜100点)を付与してもよい。
【0063】
図8は、本実施形態に係る管渠損傷特定装置600の処理手順を説明するためのフローチャートである。図8に示したフローチャートは、管渠損傷特定装置600の不図示のCPU(Central Processing Unit)が、ROM(Read Only Memory)、RAM(Random Access Memory)を用いて実行し、図6に示した管渠損傷特定装置600の各機能構成を実現する。
【0064】
ステップS801において、損傷度合判定部601は、決定された損傷の損傷度合を判定する。ステップS803において、モデル生成部204は、付与した識別子、損傷および損傷度合とともに天井展開平面画像101および底部展開平面画像102を人工知能に入力して、機械学習させる。
【0065】
本実施形態によれば、下水管150に発生している損傷のみならず、損傷の度合いも合わせて特定できるので、作業員は、損傷についてのより詳細な情報を得られる。また、作業員は、その後の補修計画の立案に資する情報を得られる。
【0066】
[第3実施形態]
次に本発明の第3実施形態に係る管渠損傷特定装置について、図9図11を用いて説明する。図9は、管渠損傷特定装置900の構成を説明するためのブロック図である。本実施形態に係る管渠損傷特定装置900は、上記第1実施形態および第2実施形態と比べると、選択部を有する点で異なる。その他の構成および動作は第1実施形態および第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0067】
管渠損傷特定装置900は、平面画像選択部901および平面画像選択部902を有する。平面画像選択部901は、平面画像生成部202により生成された、天井展開平面画像101および底部展開平面画像102から、損傷に応じた平面画像を選択する。例えば、決定したい損傷が破損やクラックの場合、平面画像選択部901は、底部展開平面画像102を選択する。そして、損傷決定部203は、平面画像選択部901により選択された底部展開平面画像102を用いて、損傷を決定する。また、例えば、決定した損傷が浸入水やモルタル付着の場合、平面画像選択部901は、天井展開平面画像101を選択する。
【0068】
平面画像選択部902は、平面画像生成部206により生成された、天井展開平面画像101および底部展開平面画像102から、損傷に応じた平面画像を選択する。例えば、特定したい損傷が取付管の突出しや木根侵入の場合、平面画像選択部902は、底部展開平面画像162を選択する。そして、損傷特定部207は、平面画像選択部902により選択された底部展開平面画像162を用いて、損傷を特定する。
【0069】
図10は、本実施形態に係る管渠損傷特定装置が有する平面画像選択テーブル1000の一例を説明するための図である。平面画像選択テーブル1000は、損傷の種類1001に関連付けて展開平面画像1002を記憶する。平面画像選択テーブル1000においては、損傷の種類1001に対応して、損傷の決定や特定に有利な展開平面画像1002が対応付けられている。例えば、損傷として破損の決定や特定を行いたい場合には、底部展開平面画像102や底部展開平面画像162が有利となる。そして、平面画像選択部901および平面画像選択部902は、例えば、平面画像選択テーブル1000を参照して展開平面画像を選択する。
【0070】
図11Aは、本実施形態に係る管渠損傷特定装置の処理手順を説明するためのフローチャートである。図11Bは、本実施形態に係る管渠損傷特定装置の他の処理手順を説明するためのフローチャートである。図11Aおよび図11Bに示したフローチャートは、管渠損傷特定装置900の不図示のCPU(Central Processing Unit)が、ROM(Read Only Memory)、RAM(Random Access Memory)を用いて実行し、図9に示した管渠損傷特定装置900の各機能構成を実現する。ステップS1101において、平面画像選択部901は、決定したい損傷に応じた平面画像を選択する。平面画像選択部901は、天井展開平面画像101および底部展開平面画像102から、決定したい損傷に応じた有利な平面画像を選択する。次に、図11Bを参照して、ステップS1121において、平面画像選択部902は、特定したい損傷に応じた平面画像を選択する。平面画像選択部902は、天井展開平面画像161および底部展開平面画像162から、特定したい損傷に応じた有利な平面画像を選択する。
【0071】
本実施形態によれば、決定したい損傷に応じた平面画像を選択するので、人工知能による機械学習の精度が向上し、精度の高い学習済み損傷特定モデルを生成できる。また、特定したい損傷に応じた平面画像を選択し、選択した平面画像と精度の高い学習済み損傷特定モデルとを用いて損傷を特定するので、損傷を高い精度で特定できる。
【0072】
[他の実施形態]
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【0073】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の範疇に含まれる。
図1
図2
図3A
図3B
図3C
図3D
図3E
図3F
図4
図5A
図5B
図6
図7
図8
図9
図10
図11A
図11B