ホーム > 特許ランキング > 東京都下水道サービス株式会社
▶ 東京都下水道サービス株式会社の特許一覧 ▶ 日本工営株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-04-10
(45)【発行日】2024-04-18
(54)【発明の名称】管渠の劣化を診断する装置及びその方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20240411BHJP
G06T 7/00 20170101ALI20240411BHJP
G01N 21/954 20060101ALI20240411BHJP
【ＦＩ】
G06N20/00 130
G06T7/00 610Z
G06T7/00 350C
G01N21/954 A
【請求項の数】
17
(21)【出願番号】P 2023214609
(22)【出願日】2023-12-20
【審査請求日】2023-12-28
【早期審査対象出願】
(73)【特許権者】
【識別番号】000220675
【氏名又は名称】東京都下水道サービス株式会社
(73)【特許権者】
【識別番号】000230973
【氏名又は名称】日本工営株式会社
(74)【代理人】
【識別番号】100076255
【弁理士】
【氏名又は名称】古澤 俊明
(72)【発明者】
【氏名】坂巻 和男
(72)【発明者】
【氏名】中川 秀治
(72)【発明者】
【氏名】杉本 泰亮
(72)【発明者】
【氏名】辻井 純平
(72)【発明者】
【氏名】佐藤 美雪
【審査官】牛丸 太希
(56)【参考文献】
【文献】特開２０２２－１４１５３１（ＪＰ，Ａ）
【文献】特開２０２２－１４１５３５（ＪＰ，Ａ）
【文献】特許第４１４９１７９（ＪＰ，Ｂ２）
【文献】Shaoqing Renほか，Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks，arXiv [オンライン]，version 3，2016年，頁１～１４，[検索日 2024.01.25] インターネット＜URL:https://arxiv.org/abs/1506.01497＞
【文献】DeepTama(NPO法人AI開発推進協会)，物体検出Faster R-CNN （Faster Region-based CNN），Qiita，2021年，[検索日 2024.01.25] インターネット＜URL:https://qiita.com/DeepTama/items/0cb9ca2d35c200deed37＞
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／９５４
Ｇ０６Ｆ１８／００－１８／４０
Ｇ０６Ｔ ７／００－ ７／９０
Ｇ０６Ｎ ３／００－９９／００
(57)【特許請求の範囲】
【請求項1】
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、前記原展開画像に異常位置の数値情報を結合する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記原展開画像を使って損傷なし画像を生成する工程と、
前記原展開画像の画像情報及びその画像に付与した前記数値情報を取り出して損傷画像を作成し、前記原展開画像の前記数値情報から異常個所の座標を読み取り、前記異常個所が画像に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された前記数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記ＡＩ学習用プログラムを構築する工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した前記学習済みＡＩ判定モデルを使い、前記原展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなり、
抜き出した前記損傷画像ごとにＡＩ判定が識別表示された前記ＡＩ判定済展開画像を出力する工程における識別表示は、抜き出した画像毎に損傷判定基準のランク別に異ならせた識別表示をするようにしたことを特徴とする管渠の劣化を診断する方法。
【請求項2】
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、前記原展開画像に異常位置の数値情報を結合する工程と、
前記原展開画像に異常の部分を強調表示させた画像処理済展開画像を作成し、保存する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記画像処理済展開画像を使って損傷なし画像を生成する工程と、
前記画像処理済展開画像の画像情報及びその画像に付与した前記数値情報を取り出して損傷画像を作成し、前記画像処理済展開画像の前記数値情報から異常個所の座標を読み取り、前記異常個所が画像の中心点に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された前記数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記ＡＩ学習用プログラムを構築する工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した前記学習済みＡＩ判定モデルを使い、前記画像処理済展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなり、
抜き出した前記損傷画像ごとにＡＩ判定が識別表示された前記ＡＩ判定済展開画像を出力する工程における識別表示は、抜き出した画像毎に損傷判定基準のランク別に異ならせた識別表示をするようにしたことを特徴とする管渠の劣化を診断する方法。
【請求項3】
前記異常の部分を強調表示させた前記画像処理済展開画像を作成し、保存する工程における画像処理は、前記原展開画像に、画像処理プログラムとしてＣａｎｎｙ法を適用し、エッジ検出を行い、さらに、膨張収縮処理による線分抽出で、原展開画像の異常個所を強調表示することを特徴とする請求項２記載の管渠の劣化を診断する方法。
【請求項4】
前記異常位置の前記数値情報を結合する工程における前記異常位置の前記数値情報は、前記異常位置の座標や異常種別からなることを特徴とする請求項１又は２記載の管渠の劣化を診断する方法。
【請求項5】
前記異常種別は、すくなくとも管の破損、管のクラック、管の継目ずれ、管の腐食を含むことを特徴とする請求項４記載の管渠の劣化を診断する方法。
【請求項6】
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、前記原展開画像に異常位置の数値情報を結合する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記原展開画像を使って損傷なし画像を生成する工程と、
前記原展開画像の画像情報及びその画像に付与した前記数値情報を取り出して損傷画像を作成し、前記原展開画像の前記数値情報から異常個所の座標を読み取り、前記異常個所が画像に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された前記数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記ＡＩ学習用プログラムを構築する工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した前記学習済みＡＩ判定モデルを使い、前記原展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなり、
前記異常位置の前記数値情報を結合する工程における前記異常位置の前記数値情報は、前記異常位置の座標や異常種別からなり、
前記異常種別は、すくなくとも管の破損、管のクラック、管の継目ずれ、管の腐食を含み、
前記管の破損は、軸方向のクラックで、幅が５ｍｍ以上とし、前記管のクラックは、円周方向のクラックで、幅が５ｍｍ以上とし、前記管の継目ずれは、管の連結部の脱却とし、前記管の腐食は、鉄筋露出状態としたことを特徴とする管渠の劣化を診断する方法。
【請求項7】
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、前記原展開画像に異常位置の数値情報を結合する工程と、
前記原展開画像に異常の部分を強調表示させた画像処理済展開画像を作成し、保存する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記画像処理済展開画像を使って損傷なし画像を生成する工程と、
前記画像処理済展開画像の画像情報及びその画像に付与した前記数値情報を取り出して損傷画像を作成し、前記画像処理済展開画像の前記数値情報から異常個所の座標を読み取り、前記異常個所が画像の中心点に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された前記数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記ＡＩ学習用プログラムを構築する工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した前記学習済みＡＩ判定モデルを使い、前記画像処理済展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなり、
前記異常位置の前記数値情報を結合する工程における前記異常位置の前記数値情報は、前記異常位置の座標や異常種別からなり、
前記異常種別は、すくなくとも管の破損、管のクラック、管の継目ずれ、管の腐食を含み、
前記管の破損は、軸方向のクラックで、幅が５ｍｍ以上とし、前記管のクラックは、円周方向のクラックで、幅が５ｍｍ以上とし、前記管の継目ずれは、管の連結部の脱却とし、前記管の腐食は、鉄筋露出状態としたことを特徴とする管渠の劣化を診断する方法。
【請求項8】
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、前記原展開画像に異常位置の数値情報を結合する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記原展開画像を使って損傷なし画像を生成する工程と、
前記原展開画像の画像情報及びその画像に付与した前記数値情報を取り出して損傷画像を作成し、前記原展開画像の前記数値情報から異常個所の座標を読み取り、前記異常個所が画像に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された前記数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記ＡＩ学習用プログラムを構築する工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した前記学習済みＡＩ判定モデルを使い、前記原展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなり、
前記異常位置の前記数値情報を結合する工程における前記異常位置の前記数値情報は、前記異常位置の座標や異常種別からなり、
前記異常種別は、すくなくとも管の破損、管のクラック、管の継目ずれ、管の腐食を含み、
前記管の破損と管のクラックは、クラックの幅でランク分けし、前記管の継目ずれは、管の連結部が脱却しているか又は所定以上ずれているかでランク分けし、前記管の腐食は、鉄筋が露出しているか又は骨材が露出しているかでランク分けしていることを特徴とする管渠の劣化を診断する方法。
【請求項9】
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、前記原展開画像に異常位置の数値情報を結合する工程と、
前記原展開画像に異常の部分を強調表示させた画像処理済展開画像を作成し、保存する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記画像処理済展開画像を使って損傷なし画像を生成する工程と、
前記画像処理済展開画像の画像情報及びその画像に付与した前記数値情報を取り出して損傷画像を作成し、前記画像処理済展開画像の前記数値情報から異常個所の座標を読み取り、前記異常個所が画像の中心点に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された前記数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記ＡＩ学習用プログラムを構築する工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した前記学習済みＡＩ判定モデルを使い、前記画像処理済展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなり、
前記異常位置の前記数値情報を結合する工程における前記異常位置の前記数値情報は、前記異常位置の座標や異常種別からなり、
前記異常種別は、すくなくとも管の破損、管のクラック、管の継目ずれ、管の腐食を含み、
前記管の破損と管のクラックは、クラックの幅でランク分けし、前記管の継目ずれは、管の連結部が脱却しているか又は所定以上ずれているかでランク分けし、前記管の腐食は、鉄筋が露出しているか又は骨材が露出しているかでランク分けしていることを特徴とする管渠の劣化を診断する方法。
【請求項10】
前記異常個所が画像に入る画像領域を抜き出す工程における画像領域は、前記原展開画像を縦方向と横方向にそれぞれ所定のピクセル数で区分した形状としたことを特徴とする請求項１記載の管渠の劣化を診断する方法。
【請求項11】
前記異常個所が画像の中心点に入る画像領域を抜き出す工程における画像領域は、前記画像処理済み展開画像を縦方向と横方向にそれぞれ所定のピクセル数で区分した形状としたことを特徴とする請求項２記載の管渠の劣化を診断する方法。
【請求項12】
抜き出した前記損傷画像にＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程における識別表示は、抜き出した異なる異常種別の画像領域毎に色分けにより表示するようにしたことを特徴とする請求項１又は２記載の管渠の劣化を診断する方法。
【請求項13】
前記抜き出した損傷画像ごとにＡＩ判定が識別表示されたＡＩ判定済展開画像を出力する工程における識別表示は、抜き出した異なる異常種別の画像領域毎に線影分けにより表示するようにしたことを特徴とする請求項１又は２記載の管渠の劣化を診断する方法。
【請求項14】
抜き出した前記損傷画像ごとにＡＩ判定が識別表示されたＡＩ判定済展開画像を出力する工程における識別表示は、抜き出した物体毎に異なる識別表示を施すようにしたことを特徴とする請求項１又は２記載の管渠の劣化を診断する方法。
【請求項15】
外部装置とネットワークを介して管渠内面画像情報の送受信を行う通信部と、ユーザーによって操作される入力部と、画像処理部と、記録部とを有し、前記記録部は、前記通信部を介して入力した管渠内面画像情報・診断記録情報の記録領域と、入力データの記録領域と、管渠内面の損傷未登録情報の記録領域とを具備し、
前記画像処理部は、前記通信部の情報を前記記録部に伝送するデータ取得部と、前記記録領域に記録された管渠内面画像情報に基づき管渠内面の原展開画像を作成するとともに、この原展開画像に帳票管理情報を結合し、この原展開画像に対して画像処理プログラムを実施した展開画像を作成する入力データ生成部と、この入力データ生成部により作成された損傷なしの画像と損傷画像とからＡＩ学習用プログラムの構築をするＡＩ学習用モデルの構築部と、このＡＩ学習用モデルの構築部で構築した学習済みＡＩ判定モデルを使い、前記原展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済み展開画像を作成する損傷モデルの構築部と、前記ＡＩ判定済み展開画像に前記損傷画像ごとにＡＩ判定により識別表示をして出力する出力部と、
を具備し、
抜き出した前記損傷画像ごとにＡＩ判定が識別表示された前記ＡＩ判定済展開画像を出力する出力部における識別表示は、抜き出した画像毎に損傷判定基準のランク別に異ならせた識別表示をするようにしたことを特徴とする管渠の劣化を診断する装置。
【請求項16】
前記入力データ生成部は、原展開画像に対して画像処理プログラムを実施した画像処理反映済み展開画像を作成することを特徴とする請求項１５記載の管渠の劣化を診断する装置。
【請求項17】
前記ＡＩ学習用モデルの構築部は、ＡＩ学習がニューラルネットワーク法による画像分類とし、前記ＡＩ学習のアルゴリズムがＥｆｆｉｃｉｅｎｔＮｅｔを適用し、構築したＡＩ学習用プログラムに教師データを読み込ませて学習し、得られたニューラルネットワークモデルのコア情報となる重みデータを出力することを特徴とする請求項１５又は１６記載の管渠の劣化を診断する装置。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、既存の多数の管渠内壁情報とこの管渠内壁情報に付与した数値情報とから学習用ＡＩモデルを構築し、この学習済みモデルを使用して新たに診断しようとする管渠画像における異常個所の有無と異常個所の種類に応じて色分け表示等の識別表示をして管渠内壁の劣化を正確に、かつ、速やかに診断する管渠の劣化を診断する装置及びその方法に関するものである。
【背景技術】
【0002】
本出願人等は、管渠内検査診断支援装置、管渠内検査診断支援方法及び管渠内検査診断支援プログラムを記憶した記憶媒体を既に提案した（特許文献１）。
これは、上・下水管、鉄道・車道・歩道などの交通用トンネル、ケーブル埋設管、その他の大・小口径の管渠内壁面を撮影したビデオデータに基づいて、管渠の状態を動画や静止画として表示したり、長手方向展開図を作成したり、動画や静止画で表示しながら、管渠内壁面の異常状態を検査・診断したりする管渠内面画像の処理をパソコン上で行うためのものである。
この従来の発明は、展開図処理前のカメラによる画像を連続的に動かしながらの動画での異常個所を発見したときに、画像上でチェックすることにより、その点の位置情報が登録でき、かつ、異常個所が連続しているときには、マークした点が移動して認識できるようにしたものである。
これは、上・下水管、鉄道・車道・歩道などの交通用トンネル、ケーブル埋設管、その他の大・小口径の管渠内壁面を撮影したビデオデータに基づいて、管渠の状態を動画や静止画として表示したり、長手方向展開図を作成したり、動画や静止画で表示しながら、管渠内壁面の異常状態を検査・診断したりする管渠内面画像の処理をパソコン上で行うためのものである。
この従来の発明は、展開図処理前のカメラによる画像を連続的に動かしながらの動画での異常個所を発見したときに、画像上でチェックすることにより、その点の位置情報が登録でき、かつ、異常個所が連続しているときには、マークした点が移動して認識できるようにしたものである。
【0003】
従来の管渠内検査診断支援装置、管渠内検査診断支援方法及び管渠内検査診断支援プログラムを用いて診断を行う具体的な流れを、図８～図１４を用いて説明する。
図１０は、従来の装置のブロック図で、メモリ８０には、システムプログラム１、画像データ８７、テーブル８８が格納され、ＣＰＵ８１との間で必要なデータのやり取りが行われる。前記画像データ８７は、図１４（ａ）に示すような実際の撮影画像である実画像データや図１４（ｂ）に示すような展開図処理された展開図データなどの管路ビデオデータ８６から、パソコンのメモリ８０に取込んだものであり、これらの画像データ８７を用いて管渠の診断が行われる。前記テーブル８８は、システムプログラム１における各種テーブル構造を表すもので、このテーブル８８のデータ構造によって、取込んだ画像データを管理している。
図１０は、従来の装置のブロック図で、メモリ８０には、システムプログラム１、画像データ８７、テーブル８８が格納され、ＣＰＵ８１との間で必要なデータのやり取りが行われる。前記画像データ８７は、図１４（ａ）に示すような実際の撮影画像である実画像データや図１４（ｂ）に示すような展開図処理された展開図データなどの管路ビデオデータ８６から、パソコンのメモリ８０に取込んだものであり、これらの画像データ８７を用いて管渠の診断が行われる。前記テーブル８８は、システムプログラム１における各種テーブル構造を表すもので、このテーブル８８のデータ構造によって、取込んだ画像データを管理している。
【0004】
前記ＣＰＵ８１には、入出力制御部８２を介して入力装置８３、表示装置８４及び出力装置８５が結合されている。
前記入出力制御部８２は、入力装置８３からの信号をＣＰＵ８１に送り、また、ＣＰＵ８１による演算結果を表示装置８４及び出力装置８５に送る役割を果たしている。前記入力装置８３は、マウス、キーボードなどからなり、前記表示装置８４は、パソコンのディスプレイ、ＴＶ画面などからなり、前記出力装置８５は、プリンタなどからなる。
前記システムプログラム１は、メモリ８０に読込まれ、このメモリ８０からＣＰＵ８１にプログラムの情報が送られて、演算処理を行い、前記システムプログラム１を立ち上げる。その後、入力装置８３からの信号によって、画像の再生、画像の診断、診断情報の入力などの様々な処理をＣＰＵ８１にて行い、その都度、結果を表示装置８４及び出力装置８５に出力し、その出力の結果を基に、診断者が管渠の総合的な診断を行う。
前記入出力制御部８２は、入力装置８３からの信号をＣＰＵ８１に送り、また、ＣＰＵ８１による演算結果を表示装置８４及び出力装置８５に送る役割を果たしている。前記入力装置８３は、マウス、キーボードなどからなり、前記表示装置８４は、パソコンのディスプレイ、ＴＶ画面などからなり、前記出力装置８５は、プリンタなどからなる。
前記システムプログラム１は、メモリ８０に読込まれ、このメモリ８０からＣＰＵ８１にプログラムの情報が送られて、演算処理を行い、前記システムプログラム１を立ち上げる。その後、入力装置８３からの信号によって、画像の再生、画像の診断、診断情報の入力などの様々な処理をＣＰＵ８１にて行い、その都度、結果を表示装置８４及び出力装置８５に出力し、その出力の結果を基に、診断者が管渠の総合的な診断を行う。
【0005】
前記システムプログラム１には、図１２に示す管渠内検査診断作業支援プログラム１を具備している。この管渠内検査診断作業支援プログラム１は、現地管渠調査の結果（以下、管路ビデオデータと呼ぶ）と、この管路ビデオデータをパソコンに取り込み作成された展開図（以下、診断情報と呼ぶ）とを使用して、事務所内でビデオ検査診断を行い、調査結果（以下、帳票と呼ぶ）を作成するためのものであり、診断データの入力・出力処理部２、診断支援処理部３、診断結果の入力処理部４、帳票の表示・印刷処理部５、帳票管理情報の入力処理部６、診断情報一覧の表示・印刷処理部７からなる。
【0006】
前記帳票の表示・印刷処理部５は、診断結果に基づき作成される診断情報を元に、帳票の表示及び印刷を行うためのものである。
前記帳票管理情報の入力処理部６は、管渠の調査件名、調査個所、調査者、管路情報、人孔情報などの編集を行うためのものである。
前記診断情報一覧の表示・印刷処理部７は、診断した情報一覧を表示及び印刷を行うためのものである。
前記帳票管理情報の入力処理部６は、管渠の調査件名、調査個所、調査者、管路情報、人孔情報などの編集を行うためのものである。
前記診断情報一覧の表示・印刷処理部７は、診断した情報一覧を表示及び印刷を行うためのものである。
【0007】
図８に基づき診断情報の登録を行う工程を説明する。そのためには、図１０における管路ビデオデータ８６をパソコンのハードディスクなどのメモリ８０に、画像データ８７として読込む。また、前記システムプログラム１を起動させる。
前記システムプログラム１を起動させたら、この前記システムプログラム１で管路ビデオデータ８６の画像データ８７を開いて、「デッキコントローラ」ウィンドウを表示させる（図８のａ）。この「デッキコントローラ」を操作して、管路ビデオデータ８６を再生し、表示する（図８のｂ）。
「デッキコントローラ」では、図９（ａ）に示す管路ビデオデータ８６の画像フレーム情報１、２、…ｍを１フレームずつ再生し、表示することにより、図１１に示す管渠１４内でカメラ３５が前進又は後進して移動しているかのように、連続的に動画として再生することができる。さらに詳しくは、
（１）図９（ａ）に示す画像フレーム情報内の画像名を基に、表示画像を画面に表示させる。
（２）カメラのミラーレンズの特性、調査管路半径、画像フレーム情報内の画像撮影距離を基に、表示中の画像に写っている管路の距離範囲を求める。
（３）求めた管路の距離範囲を図９（ｂ）に示す画像診断情報に記憶されている管路距離（エ）と比較し、関連のある画像診断情報の内容を画面上に表示させる。
また、動画以外に１フレーム毎に静止画として見ることもできる。
前記システムプログラム１を起動させたら、この前記システムプログラム１で管路ビデオデータ８６の画像データ８７を開いて、「デッキコントローラ」ウィンドウを表示させる（図８のａ）。この「デッキコントローラ」を操作して、管路ビデオデータ８６を再生し、表示する（図８のｂ）。
「デッキコントローラ」では、図９（ａ）に示す管路ビデオデータ８６の画像フレーム情報１、２、…ｍを１フレームずつ再生し、表示することにより、図１１に示す管渠１４内でカメラ３５が前進又は後進して移動しているかのように、連続的に動画として再生することができる。さらに詳しくは、
（１）図９（ａ）に示す画像フレーム情報内の画像名を基に、表示画像を画面に表示させる。
（２）カメラのミラーレンズの特性、調査管路半径、画像フレーム情報内の画像撮影距離を基に、表示中の画像に写っている管路の距離範囲を求める。
（３）求めた管路の距離範囲を図９（ｂ）に示す画像診断情報に記憶されている管路距離（エ）と比較し、関連のある画像診断情報の内容を画面上に表示させる。
また、動画以外に１フレーム毎に静止画として見ることもできる。
【0008】
先ず、動画として再生して診断登録したい画像を検索する。異常個所として可能性のある部分を発見したら（図８のステップｃ）、静止画に切替えて詳しく診断するような作業を行う。異常個所をマウスボタンでクリックすると（図８のステップｄ）、図９（ｂ）に示す画像診断情報を作成し、マウス位置座標を図９（ｂ）の（ア）の欄に仮登録し、そのときの画像フレーム番号も図９（ａ）の画像フレーム情報から、自動的に図９（ｂ）の欄に記憶される。また、画面上にはマーク点９２（×印）が表示される（図１１（Ｃ）、（Ｄ）及び図１３）。ここで、異常個所がある間は、「登録継続？」がＹＥＳとなり（図８のステップｅ）、図８のステップｂに戻り繰り返す。
【0009】
次に、「登録継続？」がＮＯになると、診断情報ウィンドウを開いて診断情報の入力に移り（図８のステップｆ）、診断情報を設定する。
診断情報の設定では、図８に示すように、「１．異常分類の選択」、「２．ランク情報の選択」、「３．異常状況の選択」、「４．詳細情報の入力」を行う。
「１．異常分類」には、前記異常分類の登録で示した通り、破損、クラック、継目ずれ、腐食、たるみ蛇行、浸入水、取付管突出し、モルタル付着、ラード付着、木の根侵入、段差、取付管右、取付管左、その他があり、この中から選択する。
「２．ランク情報」には、「特Ａ」、「Ａ」、「Ｂ」、「Ｃ」、「その他」として扱う。
「３．異常状況」は、異常状況の登録として、取付管、取付管右、取付管左、取付管突出し、破損、クラック、継目ずれ、腐食、たるみ蛇行、浸入水、モルタル付着、ラード付着、木の根侵入、段差があり、この中から選択する。
「４．詳細情報」は、異常個所に関して気付いた点をコメントとして登録する。
上記１．２．３．の具体例は、図６及び図７の目視調査判定基準に示される。
診断情報の設定では、図８に示すように、「１．異常分類の選択」、「２．ランク情報の選択」、「３．異常状況の選択」、「４．詳細情報の入力」を行う。
「１．異常分類」には、前記異常分類の登録で示した通り、破損、クラック、継目ずれ、腐食、たるみ蛇行、浸入水、取付管突出し、モルタル付着、ラード付着、木の根侵入、段差、取付管右、取付管左、その他があり、この中から選択する。
「２．ランク情報」には、「特Ａ」、「Ａ」、「Ｂ」、「Ｃ」、「その他」として扱う。
「３．異常状況」は、異常状況の登録として、取付管、取付管右、取付管左、取付管突出し、破損、クラック、継目ずれ、腐食、たるみ蛇行、浸入水、モルタル付着、ラード付着、木の根侵入、段差があり、この中から選択する。
「４．詳細情報」は、異常個所に関して気付いた点をコメントとして登録する。
上記１．２．３．の具体例は、図６及び図７の目視調査判定基準に示される。
【0010】
診断情報の設定内容に「変更点なし」、が「ＮＯ」の間はこれを繰り返し、「ＹＥＳ」を確認したら（図８のステップｇ）、「登録ボタン選択」を選択して（図８のステップｈ）、登録を終了する。「登録ボタン選択」を選択すると、異常個所故障状況と登録状態が、図９（ｂ）の（ウ）と（オ）に登録される。（エ）の登録点の「管路距離」は、画像フレーム番号の距離とマウス位置座標から求められて登録される。
ここで、（オ）における登録状態において、登録処理における単独登録の場合は０がセットされる。また、連続登録であって、連続開始点であれば１、連続登録中であれば２、連続点終了点であれば３がセットされる。
ここで、（オ）における登録状態において、登録処理における単独登録の場合は０がセットされる。また、連続登録であって、連続開始点であれば１、連続登録中であれば２、連続点終了点であれば３がセットされる。
【0011】
以上のようにして登録された図１３に示すマーク点９２、結合線９３を含む画像フレームは、帳票に展開図として表示され、また、異常図としてその画像フレームを表示することもできる。また、このマーク点９２と結合線９３は、異なる画像フレームにおける対応する位置に演算により求め、この求められた位置にマーク点を表示されるようになっている。
例えば、図１１（Ａ）において、カメラ３５がａの位置における画像で傷を発見し、上述の登録の手順で、図１１（Ｃ）のようにマーク点９２と結合線９３つきの画像を登録したとする。この図１１（Ｃ）の画像のマーク点９２と結合線９３の位置は、管渠での空間座標に変換されて認識されており、この空間座標でのマーク点９２と結合線９３の位置は、隣接する画像フレームにも存在するかどうかを演算により求め、存在する場合は、画像診断情報として登録され、該当する位置にマーク点９２と結合線９３が表示される。
したがって、図１１（Ｂ）のように、カメラ３５がｂの位置まで移動したとすると、画像上の傷の位置も移動するが、空間座標の位置は、図１１（Ａ）でカメラがａの位置のとき登録した傷と同じであるため、この図１１（Ｂ）のカメラがｂの位置での画像フレームには、自動的にマーク点９２と結合線９３が表示されることになる。
このような方法をとることで、一度登録したマーク点９２と結合線９３は他の画像フレームにも表示されることになり、動画として見たときにマーク点９２と結合線９３も一緒に移動して見えるようになる。図１１（Ｄ）に示すように、カメラの位置がａからｂに移動する間の画像フレームには、全てマーク点９２と結合線９３が表示されるため、傷も図のように移動して見える。
管路ビデオデータを最後まで診断して、診断情報登録が終わったら、帳票を作成する。帳票に表示する展開図の表示距離範囲や展開角度は、帳票イメージ表示指定によって指定でき、評価し易いように設定する。また、帳票管理情報の編集によって帳票管理情報を作成して、診断結果として全体の評価を行う。
展開図、管路図、異常図がそれぞれ表示される。
例えば、図１１（Ａ）において、カメラ３５がａの位置における画像で傷を発見し、上述の登録の手順で、図１１（Ｃ）のようにマーク点９２と結合線９３つきの画像を登録したとする。この図１１（Ｃ）の画像のマーク点９２と結合線９３の位置は、管渠での空間座標に変換されて認識されており、この空間座標でのマーク点９２と結合線９３の位置は、隣接する画像フレームにも存在するかどうかを演算により求め、存在する場合は、画像診断情報として登録され、該当する位置にマーク点９２と結合線９３が表示される。
したがって、図１１（Ｂ）のように、カメラ３５がｂの位置まで移動したとすると、画像上の傷の位置も移動するが、空間座標の位置は、図１１（Ａ）でカメラがａの位置のとき登録した傷と同じであるため、この図１１（Ｂ）のカメラがｂの位置での画像フレームには、自動的にマーク点９２と結合線９３が表示されることになる。
このような方法をとることで、一度登録したマーク点９２と結合線９３は他の画像フレームにも表示されることになり、動画として見たときにマーク点９２と結合線９３も一緒に移動して見えるようになる。図１１（Ｄ）に示すように、カメラの位置がａからｂに移動する間の画像フレームには、全てマーク点９２と結合線９３が表示されるため、傷も図のように移動して見える。
管路ビデオデータを最後まで診断して、診断情報登録が終わったら、帳票を作成する。帳票に表示する展開図の表示距離範囲や展開角度は、帳票イメージ表示指定によって指定でき、評価し易いように設定する。また、帳票管理情報の編集によって帳票管理情報を作成して、診断結果として全体の評価を行う。
展開図、管路図、異常図がそれぞれ表示される。
【0012】
なお、以下の図４、図５、図６、図７において、単に「管」と表示しているのは、「管渠（地下水路）」を構成する「管」そのものをいうことによる。
以上のように構成された従来の装置により図４及び図５に示すような異常状態の発生した多数のテレビカメラ展開画像からなる管路ビデオデータ８６が得られたものとする。これらの管路ビデオデータ８６は、図１０のメモリ８０内の画像メモリ８７として記憶され、図９（ａ）に示す画像フレーム情報１～ｍに相当する。
各画像フレーム情報１～ｍに対応する画像診断情報は、図９（ｂ）に示す帳票管理情報（ア）、（イ）、（ウ）、（エ）、（オ）として記憶される。
これらの帳票管理情報（ア）～（オ）は、図４、図５に示す種々の展開画像８６を図６（鉄筋コンクリート管及び陶管の場合）及び図７（硬質塩化ビニル管の場合）の判定基準に基づき目視判定したもので、具体的には、座標情報（マウス位置）（ア）、対応する画像フレーム番号（イ）、図６、図７に記載された異常項目とランクＡ、Ｂ、Ｃを含む異常個所情報（ウ）、管路距離（エ）、登録状態（オ）からなる。
目視判定の具体例を図４及び図５に基づき説明する。図中、１５は管の継目、１６は水跡、１７は取付管、１８は鉄筋、１９は汚れである。
以上のように構成された従来の装置により図４及び図５に示すような異常状態の発生した多数のテレビカメラ展開画像からなる管路ビデオデータ８６が得られたものとする。これらの管路ビデオデータ８６は、図１０のメモリ８０内の画像メモリ８７として記憶され、図９（ａ）に示す画像フレーム情報１～ｍに相当する。
各画像フレーム情報１～ｍに対応する画像診断情報は、図９（ｂ）に示す帳票管理情報（ア）、（イ）、（ウ）、（エ）、（オ）として記憶される。
これらの帳票管理情報（ア）～（オ）は、図４、図５に示す種々の展開画像８６を図６（鉄筋コンクリート管及び陶管の場合）及び図７（硬質塩化ビニル管の場合）の判定基準に基づき目視判定したもので、具体的には、座標情報（マウス位置）（ア）、対応する画像フレーム番号（イ）、図６、図７に記載された異常項目とランクＡ、Ｂ、Ｃを含む異常個所情報（ウ）、管路距離（エ）、登録状態（オ）からなる。
目視判定の具体例を図４及び図５に基づき説明する。図中、１５は管の継目、１６は水跡、１７は取付管、１８は鉄筋、１９は汚れである。
【0013】
［１］管の破損は、図４（ａ）に示す軸方向のクラックと、図４（ｂ）に示す内壁の欠落が代表例である：ランクＡは、幅が５ｍｍ以上（鉄筋コンクリート管の場合）、長さが２本の管の継ぎ目１５の間で表される管長の１／２以上（陶管の場合）の例であり、ランクＢ、Ｃは、図６、図７に示すとおりである。
［２］管のクラックは、図４（ｃ）に示す円周方向のクラックが代表例である：ランクＡは、幅が５ｍｍ以上（鉄筋コンクリート管の場合）、長さが円周の２／３以上（陶管の場合）の例であり、ランクＢ、Ｃは、図６、図７に示すとおりである。
［３］管の継ぎ目ずれは、図４（ｄ）に示される：ランクＡは、脱却で図４（ｅ）に示される。ランクＢ、Ｃは、図６、図７に示すように２本の管の連結部で継ぎ目１５に所定のずれが生じている状態である。
［２］管のクラックは、図４（ｃ）に示す円周方向のクラックが代表例である：ランクＡは、幅が５ｍｍ以上（鉄筋コンクリート管の場合）、長さが円周の２／３以上（陶管の場合）の例であり、ランクＢ、Ｃは、図６、図７に示すとおりである。
［３］管の継ぎ目ずれは、図４（ｄ）に示される：ランクＡは、脱却で図４（ｅ）に示される。ランクＢ、Ｃは、図６、図７に示すように２本の管の連結部で継ぎ目１５に所定のずれが生じている状態である。
【0014】
［４］管の腐食：ランクＡは、図５（ｃ）に示され、鉄筋１８の露出である。ランクＢ、Ｃは、図６、図７に示すように骨材が露出状態の場合と表面が荒れた状態の場合である。
［５］管のたるみ・蛇行は、図５（ｅ）に示すように、水跡１６の膨らみから判断できる：ランクＡ、Ｂ、Ｃは、図６、図７に示すとおり、内径以上、内径の１／２以上、１／２未満である。
［６］モルタル付着は、図５（ｄ）に示される：ランクＡ、Ｂ、Ｃは、図６、図７に示すとおり、内径の３割以上、内径の１割以上、１割未満である。
［７］浸入水は、図５（ａ）に示すように管の継目から吹き出でいる場合と、図５（ｂ）に示すように管のクラックから吹き出ている場合がある：ランクＡ、Ｂ、Ｃは、図６、図７に示すとおり、吹き出ている場合、流れている場合、にじんでいる場合である。
［８］取付管７突出しは、図５（ｄ）に示すように管渠１４の内壁から突き出ている場合である：ランクＡ、Ｂ、Ｃは、図６、図７に示すとおり、取付管１７の内径の１／２以上、１／１０以上、１／１０未満の場合である。
［９］ラードの付着は、図５（ｆ）に示され、木の根浸入は、図５（ｆ）に示される：ランクＡ、Ｂは、図６、図７に示すとおり、内径の１／２以上閉塞している、内径の１／２未満閉塞している場合である。
［５］管のたるみ・蛇行は、図５（ｅ）に示すように、水跡１６の膨らみから判断できる：ランクＡ、Ｂ、Ｃは、図６、図７に示すとおり、内径以上、内径の１／２以上、１／２未満である。
［６］モルタル付着は、図５（ｄ）に示される：ランクＡ、Ｂ、Ｃは、図６、図７に示すとおり、内径の３割以上、内径の１割以上、１割未満である。
［７］浸入水は、図５（ａ）に示すように管の継目から吹き出でいる場合と、図５（ｂ）に示すように管のクラックから吹き出ている場合がある：ランクＡ、Ｂ、Ｃは、図６、図７に示すとおり、吹き出ている場合、流れている場合、にじんでいる場合である。
［８］取付管７突出しは、図５（ｄ）に示すように管渠１４の内壁から突き出ている場合である：ランクＡ、Ｂ、Ｃは、図６、図７に示すとおり、取付管１７の内径の１／２以上、１／１０以上、１／１０未満の場合である。
［９］ラードの付着は、図５（ｆ）に示され、木の根浸入は、図５（ｆ）に示される：ランクＡ、Ｂは、図６、図７に示すとおり、内径の１／２以上閉塞している、内径の１／２未満閉塞している場合である。
【先行技術文献】
【特許文献】
【0015】
【文献】特許第４１４９１７９号公報。
【発明の概要】
【発明が解決しようとする課題】
【0016】
図６及び図７に示すような判定基準に基づき作業員は、図４、図５に表されるような管路ビデオデータを個々に目視で判定している。
そして、前述の図８に示した手順で異常個所の有無を判定し、図９（ｂ）に示す帳票に記録している。
従来の管渠劣化個所の判定は、管渠の内面画像を展開画像や管路図などとしてパソコン上に表示し、その画像を直視して損傷があると思われる異常個所にマーク点を付けて異常個所の登録及び帳票管理情報の管理を行っていた。
このような異常個所のマーク付けは、作業員が管渠内出力した表示画面をマウス等で連続的に動かしながら、目視で異常と思われる個所を見つけて帳票登録するため、全路線に対して表示画面を一つ一つ動かして異常個所を探索する作業に多くの時間がかかることと、異常かどうかを判断できる作業員の確保も必要となり、さらに、判定レベルの統一に困難さがあるという問題があった。
そして、前述の図８に示した手順で異常個所の有無を判定し、図９（ｂ）に示す帳票に記録している。
従来の管渠劣化個所の判定は、管渠の内面画像を展開画像や管路図などとしてパソコン上に表示し、その画像を直視して損傷があると思われる異常個所にマーク点を付けて異常個所の登録及び帳票管理情報の管理を行っていた。
このような異常個所のマーク付けは、作業員が管渠内出力した表示画面をマウス等で連続的に動かしながら、目視で異常と思われる個所を見つけて帳票登録するため、全路線に対して表示画面を一つ一つ動かして異常個所を探索する作業に多くの時間がかかることと、異常かどうかを判断できる作業員の確保も必要となり、さらに、判定レベルの統一に困難さがあるという問題があった。
【0017】
本発明は、人工知能技術（ＡＩ）を活用し、予め管渠内画像上にＡＩが異常と思われる位置や種別などを表示させたＡＩ判定済みの展開図を作成することで、作業員は、その図を足掛かりにして異常をより早く、かつ、正確に見つけることができるような管渠の劣化を診断する装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【0018】
本発明の管渠の劣化を診断する方法は、
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記原展開画像を使って損傷なし画像を生成する工程と、
前記原展開画像の画像情報及びその画像に付与した数値情報を取り出して損傷画像を作成し、前記原展開画像の数値情報から異常個所の座標を読み取り、異常個所が画像に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記工程で構築したＡＩ学習用モデルを入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した学習済みＡＩ判定モデルを使い、原展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなる。
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記原展開画像を使って損傷なし画像を生成する工程と、
前記原展開画像の画像情報及びその画像に付与した数値情報を取り出して損傷画像を作成し、前記原展開画像の数値情報から異常個所の座標を読み取り、異常個所が画像に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記工程で構築したＡＩ学習用モデルを入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した学習済みＡＩ判定モデルを使い、原展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなる。
【0019】
また、本発明の管渠の劣化を診断する方法は、特に、原展開画像に異常の部分を強調表示させた画像処理済展開画像を作成するもので、
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
前記原展開画像に異常の部分を強調表示させた画像処理済み展開画像を作成し、保存する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記画像処理済展開画像を使って損傷なし画像を生成する工程と、
前記画像処理済展開画像の画像情報及びその画像に付与した数値情報を取り出して損傷画像を作成し、前記画像処理済展開画像の数値情報から異常個所の座標を読み取り、異常個所が画像の中心点に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した学習済みＡＩ判定モデルを使い、画像処理済展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなることを特徴とする。
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
前記原展開画像に異常の部分を強調表示させた画像処理済み展開画像を作成し、保存する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記画像処理済展開画像を使って損傷なし画像を生成する工程と、
前記画像処理済展開画像の画像情報及びその画像に付与した数値情報を取り出して損傷画像を作成し、前記画像処理済展開画像の数値情報から異常個所の座標を読み取り、異常個所が画像の中心点に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した学習済みＡＩ判定モデルを使い、画像処理済展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなることを特徴とする。
【0020】
前記異常の部分を強調表示させた画像処理済展開画像を作成し、保存する工程における画像処理は、原展開画像に、画像処理プログラムとしてＣａｎｎｙ法を適用し、エッジ検出を行い、さらに、膨張収縮処理による線分抽出で、原展開画像の異常個所を強調表示することを特徴とする。
【0021】
前記異常位置の数値情報を結合する工程における異常位置の数値情報は、異常位置の座標や異常種別からなることを特徴とする。
【0022】
前記異常種別は、すくなくとも管の破損、管のクラック、管の継目ずれ、管の腐食を含むことを特徴とする。
【0023】
管の破損は、軸方向のクラックで、幅が５ｍｍ以上とし、管のクラックは、円周方向のクラックで、幅が５ｍｍ以上とし、管の継目ずれは、管の連結部の脱却とし、管の腐食は、鉄筋露出状態としたことを特徴とする。
【0024】
前記管の破損と管のクラックは、クラックの幅でランク分けし、管の継目ずれは、管の連結部が脱却しているか又は所定以上ずれているかでランク分けし、管の腐食は、鉄筋が露出しているか又は骨材が露出しているかに基づき複数段階にランク分けしていることを特徴とする。
【0025】
前記異常個所が画像に入る画像領域を抜き出す工程における画像領域は、前記原展開画像を縦方向と横方向にそれぞれ所定のピクセル数で区分した形状としたことを特徴とする。この例では、前記異常個所が画像に入る画像領域の中心点に入ることに限らない。
【0026】
前記異常個所が画像の中心点に入る画像領域を抜き出す工程における画像領域は、前記画像処理済み展開画像を縦方向と横方向にそれぞれ所定のピクセル数で区分した形状としたことを特徴とする。
【0027】
前記抜き出した損傷画像ごとにＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程における識別表示は、抜き出した画像領域毎に色分けにより表示するようにしたことを特徴とする。この例では、色分けにより表示する。
【0028】
前記抜き出した損傷画像ごとにＡＩ判定が識別表示されたＡＩ判定済展開画像を出力する工程における識別表示は、抜き出した画像領域毎に異なる線影により表示するようにしたことを特徴とする。この例では、異なる線影により表示する。
【0029】
前記抜き出した損傷画像ごとにＡＩ判定が識別表示されたＡＩ判定済展開画像を出力する工程における識別表示は、抜き出した物体毎に異なる識別表示を施すようにしたことを特徴とする。この例では、抜き出した物体毎に色分けや線影分けにより表示する。
【0030】
前記抜き出した損傷画像ごとにＡＩ判定が識別表示されたＡＩ判定済み展開画像を出力する工程における識別表示は、抜き出した画像毎に損傷判定基準のランク別に異ならせて表示するようにしたことを特徴とする。この例では、抜き出した物体毎にランク別に色分けや線影分けにより表示する。
【0031】
本発明による管渠の劣化を診断する装置は、
外部装置とネットワークを介して管渠内面画像情報の送受信を行う通信部１０と、ユーザーによって操作される入力部１１と、画像処理部１２と、記録部１３とを有し、
前記記録部１３は、前記通信部１０を介して入力した管渠内面画像情報・診断記録情報の記録領域３０と、入力データの記録領域３１と、管渠内面の損傷未登録情報の記録領域３２とを具備し、
前記画像処理部１２は、前記通信部１０の情報を前記記録部１３に伝送するデータ取得部２０と、前記記録領域３０に記録された管渠内面画像情報に基づき管渠内面の原展開画像を作成するとともに、この原展開画像に帳票管理情報を結合し、この原展開画像に対して画像処理プログラムを実施した展開画像を作成する入力データ生成部２１と、この入力データ生成部２１により作成された損傷なしの画像と損傷画像とからＡＩ学習用プログラムの構築をするＡＩ学習用モデルの構築部２３と、このＡＩ学習用モデルの構築部２３で構築した学習済みＡＩ判定モデルを使い、展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済み展開画像を作成する損傷モデルの構築部２４と、前記ＡＩ判定済み展開画像に損傷画像ごとにＡＩ判定により識別表示をして出力する出力部２５と、
を具備してなることを特徴とする。
外部装置とネットワークを介して管渠内面画像情報の送受信を行う通信部１０と、ユーザーによって操作される入力部１１と、画像処理部１２と、記録部１３とを有し、
前記記録部１３は、前記通信部１０を介して入力した管渠内面画像情報・診断記録情報の記録領域３０と、入力データの記録領域３１と、管渠内面の損傷未登録情報の記録領域３２とを具備し、
前記画像処理部１２は、前記通信部１０の情報を前記記録部１３に伝送するデータ取得部２０と、前記記録領域３０に記録された管渠内面画像情報に基づき管渠内面の原展開画像を作成するとともに、この原展開画像に帳票管理情報を結合し、この原展開画像に対して画像処理プログラムを実施した展開画像を作成する入力データ生成部２１と、この入力データ生成部２１により作成された損傷なしの画像と損傷画像とからＡＩ学習用プログラムの構築をするＡＩ学習用モデルの構築部２３と、このＡＩ学習用モデルの構築部２３で構築した学習済みＡＩ判定モデルを使い、展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済み展開画像を作成する損傷モデルの構築部２４と、前記ＡＩ判定済み展開画像に損傷画像ごとにＡＩ判定により識別表示をして出力する出力部２５と、
を具備してなることを特徴とする。
【0032】
前記入力データ生成部２１は、原展開画像に対して画像処理プログラムを実施した画像処理反映済み展開画像を作成することを特徴とする。
【0033】
前記入力データ生成部２１は、原展開画像に対してＣａｎｎｙ法による画像処理プログラムを内蔵していることを特徴とする。
【0034】
前記ＡＩ学習用モデルの構築部２３は、ニューラルネットワーク法（ＡＩ学習）による画像分類とし、ＡＩ学習のアルゴリズムにはＥｆｆｉｃｉｅｎｔＮｅｔを適用し、構築したＡＩ学習用プログラムに教師データを読み込ませて学習し、得られたニューラルネットワークモデルのコア情報となる重みデータを出力することを特徴とする。
【発明の効果】
【0035】
請求項１記載の発明によれば、
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記原展開画像を使って損傷なし画像を生成する工程と、
前記原展開画像の画像情報及びその画像に付与した前記数値情報を取り出して損傷画像を作成し、前記原展開画像の前記数値情報から異常個所の座標を読み取り、前記異常個所が画像に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された前記数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記ＡＩ学習用プログラムを構築する工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した前記学習済みＡＩ判定モデルを使い、前記原展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなり、
抜き出した前記損傷画像ごとにＡＩ判定が識別表示された前記ＡＩ判定済展開画像を出力する工程における識別表示は、抜き出した画像毎に損傷判定基準のランク別に異ならせた識別表示をするようにしたので、作業員は、ＡＩ判定済展開画像内の異常と思われる個所の識別表示を観察することで異常を速やかに見つけ出すことができる。しかも、損傷画像ごとに異なる識別表示をするので、異常個所の種類を容易に探索することができる。
また、抜き出した画像ごとに損傷種別、損傷のラング別に判定表示できるため、重大な損傷、見落としやすいランクの低い損傷個所を発見できる。
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記原展開画像を使って損傷なし画像を生成する工程と、
前記原展開画像の画像情報及びその画像に付与した前記数値情報を取り出して損傷画像を作成し、前記原展開画像の前記数値情報から異常個所の座標を読み取り、前記異常個所が画像に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された前記数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記ＡＩ学習用プログラムを構築する工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した前記学習済みＡＩ判定モデルを使い、前記原展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなり、
抜き出した前記損傷画像ごとにＡＩ判定が識別表示された前記ＡＩ判定済展開画像を出力する工程における識別表示は、抜き出した画像毎に損傷判定基準のランク別に異ならせた識別表示をするようにしたので、作業員は、ＡＩ判定済展開画像内の異常と思われる個所の識別表示を観察することで異常を速やかに見つけ出すことができる。しかも、損傷画像ごとに異なる識別表示をするので、異常個所の種類を容易に探索することができる。
また、抜き出した画像ごとに損傷種別、損傷のラング別に判定表示できるため、重大な損傷、見落としやすいランクの低い損傷個所を発見できる。
【0036】
請求項２記載の発明によれば、
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
前記原展開画像に異常の部分を強調表示させた画像処理済展開画像を作成し、保存する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記画像処理済展開画像を使って損傷なし画像を生成する工程と、
前記画像処理済展開画像の画像情報及びその画像に付与した前記数値情報を取り出して損傷画像を作成し、前記画像処理済展開画像の前記数値情報から異常個所の座標を読み取り、前記異常個所が画像の中心点に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された前記数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記ＡＩ学習用プログラムを構築する工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した前記学習済みＡＩ判定モデルを使い、前記画像処理済展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなり、
抜き出した前記損傷画像ごとにＡＩ判定が識別表示された前記ＡＩ判定済展開画像を出力する工程における識別表示は、抜き出した画像毎に損傷判定基準のランク別に異ならせた識別表示をするようにしたので、作業員は、ＡＩ判定済展開画像内の異常と思われる個所を速やかに見つけ出すことができる。しかも、損傷画像ごとに異なる識別表示をするので、異常個所の種類を容易に探索することができる。
また、原展開画像に異常の部分を強調表示させた画像処理済展開画像を作成したので、判別の精度を上げることができる。
また、抜き出した画像ごとに損傷種別、損傷のラング別に判定表示できるため、重大な損傷、見落としやすいランクの低い損傷個所を発見できる。
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
前記原展開画像に異常の部分を強調表示させた画像処理済展開画像を作成し、保存する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記画像処理済展開画像を使って損傷なし画像を生成する工程と、
前記画像処理済展開画像の画像情報及びその画像に付与した前記数値情報を取り出して損傷画像を作成し、前記画像処理済展開画像の前記数値情報から異常個所の座標を読み取り、前記異常個所が画像の中心点に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された前記数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記ＡＩ学習用プログラムを構築する工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した前記学習済みＡＩ判定モデルを使い、前記画像処理済展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなり、
抜き出した前記損傷画像ごとにＡＩ判定が識別表示された前記ＡＩ判定済展開画像を出力する工程における識別表示は、抜き出した画像毎に損傷判定基準のランク別に異ならせた識別表示をするようにしたので、作業員は、ＡＩ判定済展開画像内の異常と思われる個所を速やかに見つけ出すことができる。しかも、損傷画像ごとに異なる識別表示をするので、異常個所の種類を容易に探索することができる。
また、原展開画像に異常の部分を強調表示させた画像処理済展開画像を作成したので、判別の精度を上げることができる。
また、抜き出した画像ごとに損傷種別、損傷のラング別に判定表示できるため、重大な損傷、見落としやすいランクの低い損傷個所を発見できる。
【0037】
請求項３記載の発明によれば、
前記異常の部分を強調表示させた画像処理済展開画像を作成し、保存する工程における画像処理は、原展開画像に、画像処理プログラムとしてＣａｎｎｙ法を適用し、エッジ検出を行い、さらに、膨張収縮処理による線分抽出で、原展開画像の異常個所を強調表示するようにしたので、異常の部分をより確実に認識することができる。
前記異常の部分を強調表示させた画像処理済展開画像を作成し、保存する工程における画像処理は、原展開画像に、画像処理プログラムとしてＣａｎｎｙ法を適用し、エッジ検出を行い、さらに、膨張収縮処理による線分抽出で、原展開画像の異常個所を強調表示するようにしたので、異常の部分をより確実に認識することができる。
【0038】
請求項４記載の発明によれば、
前記異常位置の数値情報を結合する工程における異常位置の数値情報は、異常位置の座標や異常種別からなるので、展開画像における異常位置を確実に表示できる。
前記異常位置の数値情報を結合する工程における異常位置の数値情報は、異常位置の座標や異常種別からなるので、展開画像における異常位置を確実に表示できる。
【0039】
請求項５記載の発明によれば、
前記異常種別は、すくなくとも管の破損、管のクラック、管の継目ずれ、管の腐食を含むこので、管の異常個所の大半を識別できる。
前記異常種別は、すくなくとも管の破損、管のクラック、管の継目ずれ、管の腐食を含むこので、管の異常個所の大半を識別できる。
【0040】
請求項６記載の発明によれば、
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記原展開画像を使って損傷なし画像を生成する工程と、
前記原展開画像の画像情報及びその画像に付与した前記数値情報を取り出して損傷画像を作成し、前記原展開画像の前記数値情報から異常個所の座標を読み取り、前記異常個所が画像に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された前記数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記ＡＩ学習用プログラムを構築する工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した前記学習済みＡＩ判定モデルを使い、前記原展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなり、
前記異常位置の前記数値情報を結合する工程における前記異常位置の前記数値情報は、前記異常位置の座標や異常種別からなり、
前記異常種別は、すくなくとも管の破損、管のクラック、管の継目ずれ、管の腐食を含み、
前記管の破損は、軸方向のクラックで、幅が５ｍｍ以上とし、前記管のクラックは、円周方向のクラックで、幅が５ｍｍ以上とし、前記管の継目ずれは、管の連結部の脱却とし、前記管の腐食は、鉄筋露出状態としたので、ランクＡの異常状態を精度よく確実に認識できる。
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記原展開画像を使って損傷なし画像を生成する工程と、
前記原展開画像の画像情報及びその画像に付与した前記数値情報を取り出して損傷画像を作成し、前記原展開画像の前記数値情報から異常個所の座標を読み取り、前記異常個所が画像に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された前記数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記ＡＩ学習用プログラムを構築する工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した前記学習済みＡＩ判定モデルを使い、前記原展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなり、
前記異常位置の前記数値情報を結合する工程における前記異常位置の前記数値情報は、前記異常位置の座標や異常種別からなり、
前記異常種別は、すくなくとも管の破損、管のクラック、管の継目ずれ、管の腐食を含み、
前記管の破損は、軸方向のクラックで、幅が５ｍｍ以上とし、前記管のクラックは、円周方向のクラックで、幅が５ｍｍ以上とし、前記管の継目ずれは、管の連結部の脱却とし、前記管の腐食は、鉄筋露出状態としたので、ランクＡの異常状態を精度よく確実に認識できる。
【0041】
請求項７記載の発明によれば、
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
前記原展開画像に異常の部分を強調表示させた画像処理済展開画像を作成し、保存する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記画像処理済展開画像を使って損傷なし画像を生成する工程と、
前記画像処理済展開画像の画像情報及びその画像に付与した前記数値情報を取り出して損傷画像を作成し、前記画像処理済展開画像の前記数値情報から異常個所の座標を読み取り、前記異常個所が画像の中心点に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された前記数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記ＡＩ学習用プログラムを構築する工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した前記学習済みＡＩ判定モデルを使い、前記画像処理済展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなり、
前記異常位置の前記数値情報を結合する工程における前記異常位置の前記数値情報は、前記異常位置の座標や異常種別からなり、
前記異常種別は、すくなくとも管の破損、管のクラック、管の継目ずれ、管の腐食を含み、
前記管の破損と管のクラックは、クラックの幅でランク分けし、前記管の継目ずれは、管の連結部が脱却しているか又は所定以上ずれているかでランク分けし、前記管の腐食は、鉄筋が露出しているか又は骨材が露出しているかでランク分けしているので、ランクに応じた管の異常を区別して表示できる。
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
前記原展開画像に異常の部分を強調表示させた画像処理済展開画像を作成し、保存する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記画像処理済展開画像を使って損傷なし画像を生成する工程と、
前記画像処理済展開画像の画像情報及びその画像に付与した前記数値情報を取り出して損傷画像を作成し、前記画像処理済展開画像の前記数値情報から異常個所の座標を読み取り、前記異常個所が画像の中心点に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された前記数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記ＡＩ学習用プログラムを構築する工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した前記学習済みＡＩ判定モデルを使い、前記画像処理済展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなり、
前記異常位置の前記数値情報を結合する工程における前記異常位置の前記数値情報は、前記異常位置の座標や異常種別からなり、
前記異常種別は、すくなくとも管の破損、管のクラック、管の継目ずれ、管の腐食を含み、
前記管の破損と管のクラックは、クラックの幅でランク分けし、前記管の継目ずれは、管の連結部が脱却しているか又は所定以上ずれているかでランク分けし、前記管の腐食は、鉄筋が露出しているか又は骨材が露出しているかでランク分けしているので、ランクに応じた管の異常を区別して表示できる。
【0042】
請求項８記載の発明によれば、
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記原展開画像を使って損傷なし画像を生成する工程と、
前記原展開画像の画像情報及びその画像に付与した前記数値情報を取り出して損傷画像を作成し、前記原展開画像の前記数値情報から異常個所の座標を読み取り、前記異常個所が画像に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された前記数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記ＡＩ学習用プログラムを構築する工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した前記学習済みＡＩ判定モデルを使い、前記原展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなり、
前記異常位置の前記数値情報を結合する工程における前記異常位置の前記数値情報は、前記異常位置の座標や異常種別からなり、
前記異常種別は、すくなくとも管の破損、管のクラック、管の継目ずれ、管の腐食を含み、
前記管の破損と管のクラックは、クラックの幅でランク分けし、前記管の継目ずれは、管の連結部が脱却しているか又は所定以上ずれているかでランク分けし、前記管の腐食は、鉄筋が露出しているか又は骨材が露出しているかでランク分けしているので、ランクに応じた管の異常を区別して表示できる。
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記原展開画像を使って損傷なし画像を生成する工程と、
前記原展開画像の画像情報及びその画像に付与した前記数値情報を取り出して損傷画像を作成し、前記原展開画像の前記数値情報から異常個所の座標を読み取り、前記異常個所が画像に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された前記数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記ＡＩ学習用プログラムを構築する工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した前記学習済みＡＩ判定モデルを使い、前記原展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなり、
前記異常位置の前記数値情報を結合する工程における前記異常位置の前記数値情報は、前記異常位置の座標や異常種別からなり、
前記異常種別は、すくなくとも管の破損、管のクラック、管の継目ずれ、管の腐食を含み、
前記管の破損と管のクラックは、クラックの幅でランク分けし、前記管の継目ずれは、管の連結部が脱却しているか又は所定以上ずれているかでランク分けし、前記管の腐食は、鉄筋が露出しているか又は骨材が露出しているかでランク分けしているので、ランクに応じた管の異常を区別して表示できる。
【0043】
請求項９記載の発明によれば、
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
前記原展開画像に異常の部分を強調表示させた画像処理済展開画像を作成し、保存する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記画像処理済展開画像を使って損傷なし画像を生成する工程と、
前記画像処理済展開画像の画像情報及びその画像に付与した前記数値情報を取り出して損傷画像を作成し、前記画像処理済展開画像の前記数値情報から異常個所の座標を読み取り、前記異常個所が画像の中心点に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された前記数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記ＡＩ学習用プログラムを構築する工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した前記学習済みＡＩ判定モデルを使い、前記画像処理済展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなり、
前記異常位置の前記数値情報を結合する工程における前記異常位置の前記数値情報は、前記異常位置の座標や異常種別からなり、
前記異常種別は、すくなくとも管の破損、管のクラック、管の継目ずれ、管の腐食を含み、
前記管の破損と管のクラックは、クラックの幅でランク分けし、前記管の継目ずれは、管の連結部が脱却しているか又は所定以上ずれているかでランク分けし、前記管の腐食は、鉄筋が露出しているか又は骨材が露出しているかでランク分けしているので、ランクに応じた管の異常を区別して表示できる。
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
前記原展開画像に異常の部分を強調表示させた画像処理済展開画像を作成し、保存する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記画像処理済展開画像を使って損傷なし画像を生成する工程と、
前記画像処理済展開画像の画像情報及びその画像に付与した前記数値情報を取り出して損傷画像を作成し、前記画像処理済展開画像の前記数値情報から異常個所の座標を読み取り、前記異常個所が画像の中心点に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された前記数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記ＡＩ学習用プログラムを構築する工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した前記学習済みＡＩ判定モデルを使い、前記画像処理済展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなり、
前記異常位置の前記数値情報を結合する工程における前記異常位置の前記数値情報は、前記異常位置の座標や異常種別からなり、
前記異常種別は、すくなくとも管の破損、管のクラック、管の継目ずれ、管の腐食を含み、
前記管の破損と管のクラックは、クラックの幅でランク分けし、前記管の継目ずれは、管の連結部が脱却しているか又は所定以上ずれているかでランク分けし、前記管の腐食は、鉄筋が露出しているか又は骨材が露出しているかでランク分けしているので、ランクに応じた管の異常を区別して表示できる。
【0044】
請求項１０記載の発明によれば、
前記異常個所が画像に入る画像領域を抜き出す工程における画像領域は、前記原展開画像を縦方向と横方向にそれぞれ所定のピクセル数で区分した形状としたので、展開画像を複数に区分けして複数の異常個所を表示することができる。この請求項８記載の発明では、前記異常個所が画像領域の中心点に入ることに限らない。
前記異常個所が画像に入る画像領域を抜き出す工程における画像領域は、前記原展開画像を縦方向と横方向にそれぞれ所定のピクセル数で区分した形状としたので、展開画像を複数に区分けして複数の異常個所を表示することができる。この請求項８記載の発明では、前記異常個所が画像領域の中心点に入ることに限らない。
【0045】
請求項１１記載の発明によれば、
前記異常個所が画像の中心点に入る画像領域を抜き出す工程における画像領域は、前記画像処理済み展開画像を縦方向と横方向にそれぞれ所定のピクセル数で区分した形状としたので、画像の中心点に管の異常個所を表示することができる。
前記異常個所が画像の中心点に入る画像領域を抜き出す工程における画像領域は、前記画像処理済み展開画像を縦方向と横方向にそれぞれ所定のピクセル数で区分した形状としたので、画像の中心点に管の異常個所を表示することができる。
【0046】
請求項１２記載の発明によれば、
抜き出した前記損傷画像にＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程における識別表示は、抜き出した異なる異常種別の画像領域毎に色分けにより表示するようにしたので、異常個所を色分けして確実に見分けることができる。
抜き出した前記損傷画像にＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程における識別表示は、抜き出した異なる異常種別の画像領域毎に色分けにより表示するようにしたので、異常個所を色分けして確実に見分けることができる。
【0047】
請求項１３記載の発明によれば、
前記抜き出した損傷画像ごとにＡＩ判定が識別表示されたＡＩ判定済展開画像を出力する工程における識別表示は、抜き出した異なる異常種別の画像領域毎に線影分けにより表示するようにしたので、損傷の種別を線影の違いにより確実に認識できる。
前記抜き出した損傷画像ごとにＡＩ判定が識別表示されたＡＩ判定済展開画像を出力する工程における識別表示は、抜き出した異なる異常種別の画像領域毎に線影分けにより表示するようにしたので、損傷の種別を線影の違いにより確実に認識できる。
【0048】
請求項１４記載の発明によれば、
抜き出した前記損傷画像ごとにＡＩ判定が識別表示されたＡＩ判定済展開画像を出力する工程における識別表示は、抜き出した物体毎に異なる識別表示を施すようにしたので、異常個所が複数の画像に跨っていても確実に発見できる。
抜き出した前記損傷画像ごとにＡＩ判定が識別表示されたＡＩ判定済展開画像を出力する工程における識別表示は、抜き出した物体毎に異なる識別表示を施すようにしたので、異常個所が複数の画像に跨っていても確実に発見できる。
【0049】
請求項１５記載の発明によれば、
外部装置とネットワークを介して管渠内面画像情報の送受信を行う通信部と、ユーザーによって操作される入力部と、画像処理部と、記録部とを有し、
前記記録部は、前記通信部を介して入力した管渠内面画像情報・診断記録情報の記録領域と、入力データの記録領域と、管渠内面の損傷未登録情報の記録領域とを具備し、
前記画像処理部は、前記通信部の情報を前記記録部に伝送するデータ取得部と、前記記録領域に記録された管渠内面画像情報に基づき管渠内面の原展開画像を作成するとともに、この原展開画像に帳票管理情報を結合し、この原展開画像に対して画像処理プログラムを実施した展開画像を作成する入力データ生成部と、この入力データ生成部により作成された損傷なしの画像と損傷画像とからＡＩ学習用プログラムの構築をするＡＩ学習用モデルの構築部と、このＡＩ学習用モデルの構築部で構築した学習済みＡＩ判定モデルを使い、前記原展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済み展開画像を作成する損傷モデルの構築部と、前記ＡＩ判定済み展開画像に前記損傷画像ごとにＡＩ判定により識別表示をして出力する出力部と、
を具備し、
抜き出した前記損傷画像ごとにＡＩ判定が識別表示された前記ＡＩ判定済展開画像を出力する出力部における識別表示は、抜き出した画像毎に損傷判定基準のランク別に異ならせた識別表示をするようにしたので、請求項１と同様の作用効果を有する。
外部装置とネットワークを介して管渠内面画像情報の送受信を行う通信部と、ユーザーによって操作される入力部と、画像処理部と、記録部とを有し、
前記記録部は、前記通信部を介して入力した管渠内面画像情報・診断記録情報の記録領域と、入力データの記録領域と、管渠内面の損傷未登録情報の記録領域とを具備し、
前記画像処理部は、前記通信部の情報を前記記録部に伝送するデータ取得部と、前記記録領域に記録された管渠内面画像情報に基づき管渠内面の原展開画像を作成するとともに、この原展開画像に帳票管理情報を結合し、この原展開画像に対して画像処理プログラムを実施した展開画像を作成する入力データ生成部と、この入力データ生成部により作成された損傷なしの画像と損傷画像とからＡＩ学習用プログラムの構築をするＡＩ学習用モデルの構築部と、このＡＩ学習用モデルの構築部で構築した学習済みＡＩ判定モデルを使い、前記原展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済み展開画像を作成する損傷モデルの構築部と、前記ＡＩ判定済み展開画像に前記損傷画像ごとにＡＩ判定により識別表示をして出力する出力部と、
を具備し、
抜き出した前記損傷画像ごとにＡＩ判定が識別表示された前記ＡＩ判定済展開画像を出力する出力部における識別表示は、抜き出した画像毎に損傷判定基準のランク別に異ならせた識別表示をするようにしたので、請求項１と同様の作用効果を有する。
【0050】
請求項１６記載の発明によれば、
前記入力データ生成部は、原展開画像に対して画像処理プログラムを実施した画像処理反映済み展開画像を作成したので、異常個所の種類を精度よく容易に探索することができる。
前記入力データ生成部は、原展開画像に対して画像処理プログラムを実施した画像処理反映済み展開画像を作成したので、異常個所の種類を精度よく容易に探索することができる。
【0051】
請求項１７記載の発明によれば、
前記ＡＩ学習用モデルの構築部は、ＡＩ学習がニューラルネットワーク法による画像分類とし、ＡＩ学習のアルゴリズムがＥｆｆｉｃｉｅｎｔＮｅｔを適用し、構築したＡＩ学習用プログラムに教師データを読み込ませて学習し、得られたニューラルネットワークモデルのコア情報となる重みデータを出力するようにしたので、ＡＩ学習により、データの蓄積に合わせて判定精度を向上させることが可能となる。
前記ＡＩ学習用モデルの構築部は、ＡＩ学習がニューラルネットワーク法による画像分類とし、ＡＩ学習のアルゴリズムがＥｆｆｉｃｉｅｎｔＮｅｔを適用し、構築したＡＩ学習用プログラムに教師データを読み込ませて学習し、得られたニューラルネットワークモデルのコア情報となる重みデータを出力するようにしたので、ＡＩ学習により、データの蓄積に合わせて判定精度を向上させることが可能となる。
【図面の簡単な説明】
【0052】
【図1】本発明による管渠の劣化を診断する装置の実施例１を示すブロック図である。
【図2】本発明による管渠の劣化を診断する方法の実施例１を示すフローチャートである。
【図3】（ａ）は、原展開画像の説明図、（ｂ）は、画像処理済展開画像の説明図、（ｃ）は、ＡＩ判定済展開画像の説明図、（d）は、ＡＩ判定の識別表示例を示す説明図である。
【図4】（ａ）は、管の破損（軸方向のクラック）の例を示す図、（ｂ）は、管の破損（欠落）の例を示す図、（ｃ）は、管のクラック（円周方向のクラック）の例を示す図、（d）は、管の継目ずれの例を示す図、（e）は、管の継目の脱却の例を示す図である。
【図5】（ａ）は、管の継目から浸入水が吹き出ている例を示す図、（ｂ）は、管のクラックから浸入水が吹き出ている例を示す図、（ｃ）は、管の腐食（鉄筋の露出）の例を示す図、（ｄ）は、取付管突出とモルタル付着の例を示す図、（ｅ）は、管のたるみの例を示す図、（ｆ）は、木の根侵入とラード付着の例を示す図である。
【図6】テレビカメラ調査及び目視調査判定基準（鉄筋コンクリート管及び陶管）の説明図である。
【図7】テレビカメラ調査及び目視調査判定基準（硬質塩化ビニル管）の説明図である。
【図8】従来の管渠内検査診断支援方法を示すフローチャートである。
【図9】従来方法を示すもので、（ａ）は、画像フレーム情報の説明図、（ｂ）は、画像診断情報の説明図である。
【図10】従来の管渠内検査診断支援装置のブロック図である。
【図11】従来の管渠内検査診断支援装置を用いた場合のカメラの位置と管路ビデオデータの対応を示すもので、（Ａ）は、ａ点での撮影状態の一部切り欠いた斜視図、（Ｂ）は、ｂ点での撮影状態の一部切り欠いた斜視図、（Ｃ）は、ａ点でのカメラの画像図、（Ｄ）は、ｂ点でのカメラの画像図である。
【図12】従来の管渠内検査診断作業支援プログラム１の構成を示すブロック図である。
【図13】従来の管渠内検査診断支援装置を用いて表示したインデックス画像例の正面図である。
【図14】（ａ）は、実管渠１０の展開前の実画像データ図、（ｂ）は、展開後の展開図である。
【発明を実施するための形態】
【0053】
本発明は、
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記原展開画像を使って損傷なし画像を生成する工程と、
前記原展開画像の画像情報及びその画像に付与した数値情報を取り出して損傷画像を作成し、前記原展開画像の数値情報から異常個所の座標を読み取り、異常個所が画像に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記工程で構築したＡＩ学習用モデルを入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した学習済みＡＩ判定モデルを使い、原展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなる。
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記原展開画像を使って損傷なし画像を生成する工程と、
前記原展開画像の画像情報及びその画像に付与した数値情報を取り出して損傷画像を作成し、前記原展開画像の数値情報から異常個所の座標を読み取り、異常個所が画像に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記工程で構築したＡＩ学習用モデルを入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した学習済みＡＩ判定モデルを使い、原展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなる。
【0054】
また、本発明の管渠の劣化を診断する方法は、特に、原展開画像に異常の部分を強調表示させた画像処理済展開画像を作成するもので、
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
前記原展開画像に異常の部分を強調表示させた画像処理済展開画像を作成し、保存する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記画像処理済展開画像を使って損傷なし画像を生成する工程と、
前記画像処理済展開画像の画像情報及びその画像に付与した数値情報を取り出して損傷画像を作成し、前記画像処理済展開画像の数値情報から異常個所の座標を読み取り、異常個所が画像の中心点に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した学習済みＡＩ判定モデルを使い、画像処理済展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなる。
管渠内面画像情報に基づき作成した原展開画像を保存する工程と、
前記原展開画像に異常位置の数値情報を結合する工程と、
前記原展開画像に異常の部分を強調表示させた画像処理済展開画像を作成し、保存する工程と、
ＡＩ学習モデルに異常個所とそれ以外の個所を学習させるため、前記画像処理済展開画像を使って損傷なし画像を生成する工程と、
前記画像処理済展開画像の画像情報及びその画像に付与した数値情報を取り出して損傷画像を作成し、前記画像処理済展開画像の数値情報から異常個所の座標を読み取り、異常個所が画像の中心点に入る画像領域を抜き出す工程と、
前記損傷なし画像、前記損傷画像及びそれらに付与された数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、
損傷未登録の管渠内面画像の画像情報のみからなる未登録展開画像を使って損傷位置や損傷種別が不明な画像データに対して、前記工程で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、
前記工程で構築した学習済みＡＩ判定モデルを使い、画像処理済展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済展開画像を出力する工程と
からなる。
【0055】
前記異常の部分を強調表示させた画像処理済展開画像を作成し、保存する工程における画像処理は、原展開画像に、画像処理プログラムとしてＣａｎｎｙ法を適用し、エッジ検出を行い、さらに、膨張収縮処理による線分抽出で、原展開画像の異常個所を強調表示することが望ましい。
【0056】
前記異常位置の数値情報を結合する工程における異常位置の数値情報は、一例として異常位置の座標や異常種別からなるものとする。
【0057】
前記異常種別は、すくなくとも管の破損、管のクラック、管の継目ずれ、管の腐食を含む。
【0058】
管の破損は、軸方向のクラックで、幅が５ｍｍ以上とし、管のクラックは、円周方向のクラックで、幅が５ｍｍ以上とし、管の継目ずれは、管の連結部の脱却とし、管の腐食は、鉄筋露出状態とする。
【0059】
前記管の破損と管のクラックは、クラックの幅でランク分けし、管の継目ずれは、管の連結部が脱却しているか又は所定以上ずれているかでランク分けし、管の腐食は、鉄筋が露出しているか又は骨材が露出しているかに基づき複数段階にランク分けする。
【0060】
前記異常個所が画像に入る画像領域を抜き出す工程における画像領域は、前記原展開画像を縦方向と横方向にそれぞれ所定のピクセル数で区分した形状とすることにより、展開画像を複数に区分けして複数の異常個所を表示することができる。
【0061】
前記異常個所が画像の中心点に入る画像領域を抜き出す工程における画像領域は、前記画像処理済み展開画像を縦方向と横方向にそれぞれ所定のピクセル数で区分した形状とする。
【0062】
前記抜き出した損傷画像ごとにＡＩ判定により識別表示されたＡＩ判定済み展開画像を出力する工程における識別表示は、抜き出した画像領域毎に色分けにより表示する。
【0063】
前記抜き出した損傷画像ごとにＡＩ判定が識別表示されたＡＩ判定済み展開画像を出力する工程における識別表示は、抜き出した画像領域毎に異なる線影により表示する。
【0064】
前記抜き出した損傷画像ごとにＡＩ判定が識別表示されたＡＩ判定済み展開画像を出力する工程における識別表示は、抜き出した物体毎に異なる識別表示を施すようにしてもよい。
【0065】
前記抜き出した損傷画像ごとにＡＩ判定が識別表示されたＡＩ判定済み展開画像を出力する工程における識別表示は、抜き出した画像毎に損傷判定基準のランク別に異ならせて表示するようにしてもよい。
【0066】
前記抜き出した損傷画像ごとにＡＩ判定が識別表示されたＡＩ判定済み展開画像を出力する工程における識別表示は、抜き出した画像毎に損傷判定基準のランク別に異ならせて表示するようにすれば、見落としやすいランクの低い損傷個所を発見できる。
【0067】
外部装置とネットワークを介して管渠内面画像情報の送受信を行う通信部と、ユーザーによって操作される入力部と、画像処理部と、記録部とを有し、
前記記録部は、前記通信部を介して入力した管渠内面画像情報・診断記録情報の記録領域と、入力データの記録領域と、管渠内面の損傷未登録情報の記録領域とを具備し、
前記画像処理部は、前記通信部の情報を前記記録部に伝送するデータ取得部と、前記記録領域に記録された管渠内面画像情報に基づき管渠内面の原展開画像を作成するとともに、この原展開画像に帳票管理情報を結合し、この原展開画像に対して画像処理プログラムを実施した展開画像を作成する入力データ生成部と、この入力データ生成部により作成された損傷なしの画像と損傷画像とからＡＩ学習用プログラムの構築をするＡＩ学習用モデルの構築部と、このＡＩ学習用モデルの構築部で構築した学習済みＡＩ判定モデルを使い、展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済み展開画像を作成する損傷モデルの構築部と、前記ＡＩ判定済み展開画像に損傷画像ごとにＡＩ判定により識別表示をして出力する出力部と、
を具備してなる。
前記記録部は、前記通信部を介して入力した管渠内面画像情報・診断記録情報の記録領域と、入力データの記録領域と、管渠内面の損傷未登録情報の記録領域とを具備し、
前記画像処理部は、前記通信部の情報を前記記録部に伝送するデータ取得部と、前記記録領域に記録された管渠内面画像情報に基づき管渠内面の原展開画像を作成するとともに、この原展開画像に帳票管理情報を結合し、この原展開画像に対して画像処理プログラムを実施した展開画像を作成する入力データ生成部と、この入力データ生成部により作成された損傷なしの画像と損傷画像とからＡＩ学習用プログラムの構築をするＡＩ学習用モデルの構築部と、このＡＩ学習用モデルの構築部で構築した学習済みＡＩ判定モデルを使い、展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済み展開画像を作成する損傷モデルの構築部と、前記ＡＩ判定済み展開画像に損傷画像ごとにＡＩ判定により識別表示をして出力する出力部と、
を具備してなる。
【0068】
前記入力データ生成部は、原展開画像に対して画像処理プログラムを実施した画像処理反映済み展開画像を作成すれば、異常個所の種類を精度よく容易に探索することができる。
【0069】
前記入力データ生成部は、原展開画像に対してＣａｎｎｙ法による画像処理プログラムを内蔵している。
【0070】
前記ＡＩ学習用モデルの構築部は、ＡＩ学習がニューラルネットワーク法による画像分類とし、ＡＩ学習のアルゴリズムにはＥｆｆｉｃｉｅｎｔＮｅｔを適用し、構築したＡＩ学習用プログラムに教師データを読み込ませて学習し、得られたニューラルネットワークモデルのコア情報となる重みデータを出力する。
【実施例1】
【0071】
本発明による管渠の劣化を診断する装置及びその方法の実施例１を図面に基づき説明する。
図１において、本発明の管渠の劣化を診断する装置は、通信部１０、入力部１１、画像処理部１２、記録部１３からなる。
前記通信部１０は、ＬＡＮなどのネットワークに接続され、外部装置とネットワークを介して情報の送受信を行う。
前記入力部１１は、マウス、キーボード等からなり、前記画像処理部１２のユーザーによって操作される。
前記画像処理部１２は、データ取得部２０、画像処理プログラム２２を内蔵した入力データの生成部２１、ＡＩ学習用プログラム２３ａを内蔵したＡＩ学習用モデルの構築部２３、損傷判定モデルの構築部２４、出力部２５からなる。
前記記録部１３は、管渠内面画像情報・診断記録情報の記録領域３０、入力データの記録領域３１、管渠内面画像情報（損傷未登録情報）の記録領域３２からなる。
図１において、本発明の管渠の劣化を診断する装置は、通信部１０、入力部１１、画像処理部１２、記録部１３からなる。
前記通信部１０は、ＬＡＮなどのネットワークに接続され、外部装置とネットワークを介して情報の送受信を行う。
前記入力部１１は、マウス、キーボード等からなり、前記画像処理部１２のユーザーによって操作される。
前記画像処理部１２は、データ取得部２０、画像処理プログラム２２を内蔵した入力データの生成部２１、ＡＩ学習用プログラム２３ａを内蔵したＡＩ学習用モデルの構築部２３、損傷判定モデルの構築部２４、出力部２５からなる。
前記記録部１３は、管渠内面画像情報・診断記録情報の記録領域３０、入力データの記録領域３１、管渠内面画像情報（損傷未登録情報）の記録領域３２からなる。
【0072】
図２に基づき本発明によるＡＩを利用して行う異常診断の流れを説明する。
ステップ１～４は、入力データの生成工程である。
ステップ１：管渠内面の展開画像（原展開画像）の作成
前記記録部１３の管路内面画情報・診断記録情報の記録領域３０には、図９（ａ）に示すように、従来の方法で取得した図４及び図５に示すような１フレームずつ区分された管路ビデオデータ８６が記録されている。この管路ビデオデータ８６は、異常状態のものだけでなく、異常と認められないものを含めて多数の展開画像が前記画像処理部１２の取得部２０を経て記録されている。また、前記管渠内面画像情報・診断記録情報の記録領域３０には、図９（ｂ）に示す従来の方法で取得した図４及び図５に示すような前記管路ビデオデータ８６の１フレーム毎の帳票管理情報（画像診断情報）として、前述したマウス位置情報の座標情報（ア）、画像フレーム番号（イ）、異常個所情報（ウ）、管路距離（エ）、登録状態（オ）などが記録されている。
入力部１１からの指示により、パソコンなどの前記記録部１３の管渠内面画像情報・診断記録情報の記録領域３０にある静止画情報や動画情報、異常種別損傷位置等のデータベースを、画像処理部１２の入力データの生成部２１に呼び出す。この入力データに基づき図３（ａ）に示すようなＡＩ学習に利用する管渠内展開画像（原展開画像）を作成し、入力データの記録領域３１に保存する。この原展開画像は、管を開きにした画像であり、画像の中央が管渠の管底部で水跡１６がついており、画像の上下が管頂部である。画像には、クラック、取付管１７、水跡１６などの他、汚れ１９なども表されている。このステップ１で作成された原展開画像は、画像のみの情報である。
ステップ１～４は、入力データの生成工程である。
ステップ１：管渠内面の展開画像（原展開画像）の作成
前記記録部１３の管路内面画情報・診断記録情報の記録領域３０には、図９（ａ）に示すように、従来の方法で取得した図４及び図５に示すような１フレームずつ区分された管路ビデオデータ８６が記録されている。この管路ビデオデータ８６は、異常状態のものだけでなく、異常と認められないものを含めて多数の展開画像が前記画像処理部１２の取得部２０を経て記録されている。また、前記管渠内面画像情報・診断記録情報の記録領域３０には、図９（ｂ）に示す従来の方法で取得した図４及び図５に示すような前記管路ビデオデータ８６の１フレーム毎の帳票管理情報（画像診断情報）として、前述したマウス位置情報の座標情報（ア）、画像フレーム番号（イ）、異常個所情報（ウ）、管路距離（エ）、登録状態（オ）などが記録されている。
入力部１１からの指示により、パソコンなどの前記記録部１３の管渠内面画像情報・診断記録情報の記録領域３０にある静止画情報や動画情報、異常種別損傷位置等のデータベースを、画像処理部１２の入力データの生成部２１に呼び出す。この入力データに基づき図３（ａ）に示すようなＡＩ学習に利用する管渠内展開画像（原展開画像）を作成し、入力データの記録領域３１に保存する。この原展開画像は、管を開きにした画像であり、画像の中央が管渠の管底部で水跡１６がついており、画像の上下が管頂部である。画像には、クラック、取付管１７、水跡１６などの他、汚れ１９なども表されている。このステップ１で作成された原展開画像は、画像のみの情報である。
【0073】
ステップ２：帳票管理情報の結合
ＡＩに異常個所の判定を学習させるためには、原展開画像の画像情報と、その原展開画像のどの部分にどのような異常があるのかコンピューターに読み込ませるための数値情報も必要になる。そのため、ステップ２では、管渠内面画像情報・診断記録情報の記録領域３０に記録されている帳票登録管理情報（過去の目視によって判定し付加された情報）を結合して、原展開画像のファイル名（ＩＤ情報）を読み取って、ＩＤ情報に合致した点検調査結果が蓄積された帳票管理情報より、数値情報（異常位置の座標、異常種別、異常のランク等）の紐づけを行う。具体的には、前述の図９（ａ）（ｂ）に示されているような画像フレーム情報に加えて画像診断情報として、座標情報（ア）、画像フレーム番号（イ）、異常個所情報（ウ）、管路距離（エ）、登録状態（オ）などの数値情報その他の情報が付与される。
これにより原展開画像の画像情報に対して、その画像情報を説明する数値情報その他の情報が付与される（画像＋テキストデータ）。
ＡＩに異常個所の判定を学習させるためには、原展開画像の画像情報と、その原展開画像のどの部分にどのような異常があるのかコンピューターに読み込ませるための数値情報も必要になる。そのため、ステップ２では、管渠内面画像情報・診断記録情報の記録領域３０に記録されている帳票登録管理情報（過去の目視によって判定し付加された情報）を結合して、原展開画像のファイル名（ＩＤ情報）を読み取って、ＩＤ情報に合致した点検調査結果が蓄積された帳票管理情報より、数値情報（異常位置の座標、異常種別、異常のランク等）の紐づけを行う。具体的には、前述の図９（ａ）（ｂ）に示されているような画像フレーム情報に加えて画像診断情報として、座標情報（ア）、画像フレーム番号（イ）、異常個所情報（ウ）、管路距離（エ）、登録状態（オ）などの数値情報その他の情報が付与される。
これにより原展開画像の画像情報に対して、その画像情報を説明する数値情報その他の情報が付与される（画像＋テキストデータ）。
【0074】
ステップ３：画像処理プログラムの実施
前記ステップ１、２で作成した原展開画像は、汚れやシミ・ゴミなども混在するため、見た目の画像上では異常の個所を特定しづらい。
ＡＩ学習を行う場合においても、原展開画像だけでは、判定の精度が低い懸念がある。
そこで、原展開画像に、画像処理技術を適用し、異常の可能性のある部分を強調表示させることで、異常かどうかの特定がし易くなりよりＡＩの判定精度を高めることができる。
具体的な画像処理は、原展開画像に、画像処理プログラムとして特開２００５－２２７０５５号公報にて公知のＣａｎｎｙ法（キャニー法）を適用し、エッジ検出を行う。さらに、膨張収縮処理による線分抽出で、原展開画像の異常個所を強調表示することが可能となる。
検証実験では、画像処理技術を入れない場合より、本技術の画像処理技術を摘要した方がＡＩの判定精度が向上した結果となった。
このように、原展開画像に対してＣａｎｎｙ法（キャニー法）による画像処理プログラムを実施する。
前記ステップ１、２で作成した原展開画像は、汚れやシミ・ゴミなども混在するため、見た目の画像上では異常の個所を特定しづらい。
ＡＩ学習を行う場合においても、原展開画像だけでは、判定の精度が低い懸念がある。
そこで、原展開画像に、画像処理技術を適用し、異常の可能性のある部分を強調表示させることで、異常かどうかの特定がし易くなりよりＡＩの判定精度を高めることができる。
具体的な画像処理は、原展開画像に、画像処理プログラムとして特開２００５－２２７０５５号公報にて公知のＣａｎｎｙ法（キャニー法）を適用し、エッジ検出を行う。さらに、膨張収縮処理による線分抽出で、原展開画像の異常個所を強調表示することが可能となる。
検証実験では、画像処理技術を入れない場合より、本技術の画像処理技術を摘要した方がＡＩの判定精度が向上した結果となった。
このように、原展開画像に対してＣａｎｎｙ法（キャニー法）による画像処理プログラムを実施する。
【0075】
ステップ４：画像処理反映済みの展開図画像（以下、画像処理済展開画像という）の作成
原展開画像に対してステップ３の画像処理を行うことで、画像処理反映済みの展開図画像として画像処理済展開画像を作成する。作成された画像処理済展開画像の例が図３（ｂ）に示される。この図３（ｂ）における線状模様が画像処理技術を適用し、異常個所を強調させたものである。
図３（ｂ）において、実際の異常個所（損傷クラックや取り付け管突出）の周辺に多くの線状模様が発生していることが確認できる。
画像処理済展開画像は、入力データの記録領域３１に保存する。
この画像処理反映済みの画像処理済展開図画像をＡＩに学習させる（ディープラーニングを実施させる）ことで、異常の判定精度を向上させることができる。
このステップ４は、データ処理の簡易化など、他の目的から省くこともできる。
原展開画像に対してステップ３の画像処理を行うことで、画像処理反映済みの展開図画像として画像処理済展開画像を作成する。作成された画像処理済展開画像の例が図３（ｂ）に示される。この図３（ｂ）における線状模様が画像処理技術を適用し、異常個所を強調させたものである。
図３（ｂ）において、実際の異常個所（損傷クラックや取り付け管突出）の周辺に多くの線状模様が発生していることが確認できる。
画像処理済展開画像は、入力データの記録領域３１に保存する。
この画像処理反映済みの画像処理済展開図画像をＡＩに学習させる（ディープラーニングを実施させる）ことで、異常の判定精度を向上させることができる。
このステップ４は、データ処理の簡易化など、他の目的から省くこともできる。
【0076】
ステップ５、６及び７は、前記入力データの記録領域３１から取り込んだ画像処理済展開画像の画像情報及びその画像に付与した数値情報を教師データとし、管渠内面画像（原展開画像）内の異常個所を見つける学習用ＡＩモデルを構築する。その出力値である学習済みパラメータ（重み情報）を得る。
前記ＡＩ学習モデルは、ディープラーニングの一手法であるニューラルネットワーク（ＣＮＮ）の画像分類という手法を用いる。さらに詳しく説明する。
前記ＡＩ学習モデルは、ディープラーニングの一手法であるニューラルネットワーク（ＣＮＮ）の画像分類という手法を用いる。さらに詳しく説明する。
【0077】
ステップ５～７は、ＡＩ学習モデルの構築をする。
ステップ５：損傷なしの画像の作成
前記入力データの記録領域３１から画像処理済展開画像の画像情報とその画像に付与した数値情報を取り出す。
ＡＩ学習モデルに異常個所とそれ以外を学習させるため、入力データの記録領域３１に記録されている原展開画像を使って損傷なし画像を生成する。
損傷なし画像を生成するには、前記ステップ２で付与された画像処理済展開画像の数値情報から異常個所の座標を読み取り、異常範囲に重ならない範囲内でランダムに異常がない画像領域（図３（ｂ）の損傷なし画像［０］）を抜き出す。より詳しくは、原展開画像から図６及び図７の判定基準の損傷項目にもランクＡ、Ｂ、Ｃにも入らない損傷のない画像を切り取って損傷なし画像を生成する。
この損傷なし画像［０］を入力データの記録領域３１に再度保存する。
ステップ５：損傷なしの画像の作成
前記入力データの記録領域３１から画像処理済展開画像の画像情報とその画像に付与した数値情報を取り出す。
ＡＩ学習モデルに異常個所とそれ以外を学習させるため、入力データの記録領域３１に記録されている原展開画像を使って損傷なし画像を生成する。
損傷なし画像を生成するには、前記ステップ２で付与された画像処理済展開画像の数値情報から異常個所の座標を読み取り、異常範囲に重ならない範囲内でランダムに異常がない画像領域（図３（ｂ）の損傷なし画像［０］）を抜き出す。より詳しくは、原展開画像から図６及び図７の判定基準の損傷項目にもランクＡ、Ｂ、Ｃにも入らない損傷のない画像を切り取って損傷なし画像を生成する。
この損傷なし画像［０］を入力データの記録領域３１に再度保存する。
【0078】
ステップ６：損傷画像の作成
前記入力データの記録領域３１から図３（ｂ）に示す画像処理済展開画像の画像情報及びその画像に付与した数値情報を取り出す。
ＡＩ学習モデルに異常個所とそれ以外を学習させるため、ステップ５で作成した異常がない画像情報［０］と、入力データの記録領域３１の異常個所のある画像処理済展開画像（図３（ｂ））を使って損傷画像の作成をする。
画像処理済展開画像の数値情報から異常個所の座標を読み取り、異常個所が画像の中心点に入る画像領域を抜き出す。
異常の種類は、前記図４、図５に示す管の破損［１］、管のクラック［２］、管の継目ずれ［３］、管の腐食［４］、管のたるみ・蛇行［５］、モルタル付着［６］、浸入水［７］、取付管突出し［８］、ラードの付着・木の根侵入［９］などとする。
抜き出す画像の大きさは、例えば、図３（ｂ）において、展開図を横方向に３等分した長さｄを１辺とする３００×３００ピクセルの正方形とする。
その損傷個所を入力データの記録領域３１に再度保存する。
抜き出す画像の大きさは、正方形に限られず、長方形、その他の形状とすることができる。
なお、ステップ５の損傷なしの画像の作成とステップ６の損傷画像の作成は、画像処理済み展開画像の画像情報及びその画像に付与した数値情報に基づき生成したが、判定精度に問題があるが、原展開画像の画像情報及びその画像に付与した数値情報に基づき生成してもよい。
前記入力データの記録領域３１から図３（ｂ）に示す画像処理済展開画像の画像情報及びその画像に付与した数値情報を取り出す。
ＡＩ学習モデルに異常個所とそれ以外を学習させるため、ステップ５で作成した異常がない画像情報［０］と、入力データの記録領域３１の異常個所のある画像処理済展開画像（図３（ｂ））を使って損傷画像の作成をする。
画像処理済展開画像の数値情報から異常個所の座標を読み取り、異常個所が画像の中心点に入る画像領域を抜き出す。
異常の種類は、前記図４、図５に示す管の破損［１］、管のクラック［２］、管の継目ずれ［３］、管の腐食［４］、管のたるみ・蛇行［５］、モルタル付着［６］、浸入水［７］、取付管突出し［８］、ラードの付着・木の根侵入［９］などとする。
抜き出す画像の大きさは、例えば、図３（ｂ）において、展開図を横方向に３等分した長さｄを１辺とする３００×３００ピクセルの正方形とする。
その損傷個所を入力データの記録領域３１に再度保存する。
抜き出す画像の大きさは、正方形に限られず、長方形、その他の形状とすることができる。
なお、ステップ５の損傷なしの画像の作成とステップ６の損傷画像の作成は、画像処理済み展開画像の画像情報及びその画像に付与した数値情報に基づき生成したが、判定精度に問題があるが、原展開画像の画像情報及びその画像に付与した数値情報に基づき生成してもよい。
【0079】
ステップ７：ＡＩ学習用プログラムの構築
損傷なし画像（ステップ５）、損傷画像（ステップ６）及びそれらに付与された数値情報（前述の図９に示されているような座標情報（ア）、画像フレーム番号（イ）、異常個所情報（ウ）、管路距離（エ）、登録状態（オ）など）を教師データとしてＡＩ学習用プログラムを構築する。
ＡＩ学習は、ニューラルネットワーク法（画像分類）とし、ＡＩ学習のアルゴリズムは、ＥｆｆｉｃｉｅｎｔＮｅｔを適用する。
構築したＡＩ学習用プログラムに教師データを読み込ませて学習し、得られたニューラルネットワークモデルのコア情報となる重みデータを出力する。
これまでに蓄積された多数の、具体的には約２万の展開画像データを使ってＡＩ学習用プログラムを実行し、重みデータを出力させる。
損傷なし画像（ステップ５）、損傷画像（ステップ６）及びそれらに付与された数値情報（前述の図９に示されているような座標情報（ア）、画像フレーム番号（イ）、異常個所情報（ウ）、管路距離（エ）、登録状態（オ）など）を教師データとしてＡＩ学習用プログラムを構築する。
ＡＩ学習は、ニューラルネットワーク法（画像分類）とし、ＡＩ学習のアルゴリズムは、ＥｆｆｉｃｉｅｎｔＮｅｔを適用する。
構築したＡＩ学習用プログラムに教師データを読み込ませて学習し、得られたニューラルネットワークモデルのコア情報となる重みデータを出力する。
これまでに蓄積された多数の、具体的には約２万の展開画像データを使ってＡＩ学習用プログラムを実行し、重みデータを出力させる。
【0080】
ステップ８：学習済みの損傷位置の判定モデルの構築
管渠内面画像（損傷未登録情報）記録領域３２の判定しようとする原展開画像（数値情報は使わず、画像情報のみ）を使って損傷位置や種別が不明な画像データに対して、前記ステップ７で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を出力するプログラムを構築する。
ここで、管渠内面画像（損傷未登録情報）とは、ステップ１で作成された原展開画像のうち、まだ損傷の有無、種類、ランクなどを判定していない管渠内面画像（損傷未登録情報）記録領域３２に記録された未登録の原展開画像をいう。
管渠内面画像（損傷未登録情報）記録領域３２の判定しようとする原展開画像（数値情報は使わず、画像情報のみ）を使って損傷位置や種別が不明な画像データに対して、前記ステップ７で構築したＡＩ学習用モデルのコア情報を入力データとして、ＡＩ判定済みの展開図の画像情報を出力するプログラムを構築する。
ここで、管渠内面画像（損傷未登録情報）とは、ステップ１で作成された原展開画像のうち、まだ損傷の有無、種類、ランクなどを判定していない管渠内面画像（損傷未登録情報）記録領域３２に記録された未登録の原展開画像をいう。
【0081】
ステップ９：ＡＩ判定済みの展開画像の作成
前記ステップ７で構築した学習済みＡＩ判定モデルを使って、画像処理済展開画像（図３（ｂ））を入力データとし、ＡＩ判定が識別表示（例えば、色分け表示や線影分け表示）された図３（ｃ）に示すようなＡＩ判定済展開画像を出力する。
前記入力データは、画像処理済展開画像に代えて原展開画像でもよく、原展開画像を入力データとした場合には、図３（ａ）に示すような原展開画像にＡＩ判定の識別表示が付される。
抜き出した画像の大きさは、ステップ６では、展開図を横方向に３等分した長さｄを１辺とする正方形としたが、大きさや形状はこれに限られるものではない。
前記ステップ７で構築した学習済みＡＩ判定モデルを使って、画像処理済展開画像（図３（ｂ））を入力データとし、ＡＩ判定が識別表示（例えば、色分け表示や線影分け表示）された図３（ｃ）に示すようなＡＩ判定済展開画像を出力する。
前記入力データは、画像処理済展開画像に代えて原展開画像でもよく、原展開画像を入力データとした場合には、図３（ａ）に示すような原展開画像にＡＩ判定の識別表示が付される。
抜き出した画像の大きさは、ステップ６では、展開図を横方向に３等分した長さｄを１辺とする正方形としたが、大きさや形状はこれに限られるものではない。
【0082】
識別表示する損傷画像は、図６又は図７に示す判定基準のランクＡ、Ｂ、Ｃごとに異ならせてもよい。
損傷画像は、特定の形状で、特定の大きさとしたが、これに限られるものではなく、例えば損傷部分が２区分以上に跨っているような場合には、損傷している物体そのものに異なる識別表示を施すようにしてもよい。
識別表示が色分け表示の場合は、例えば、損傷なし［０］は白、破損［１］は赤、クラック［２］はオレンジ、継目ずれ［３］は黄、腐食［４］は薄緑、管のたるみ・蛇行［５］は緑、モルタル付着［６］は薄青、浸入水［７］は青、取付管突出し［８］はグレー、ラードの付着・木の根侵入［９］は紫などとする。
識別表示は、他の色と判別でき、かつ、損傷画像の異常の有無に影響しないような淡色にすることが望ましい。
識別表示が線影の場合は、例えば、図３（ｄ）に示すように、損傷なし［０］は線影なし、破損［１］は格子状、クラック［２］は右上り斜線、継目ずれ［３］は横線、腐食［４］は右下がり斜線、管のたるみ・蛇行［５］は縦波線、モルタル付着［６］は横波線、浸入水［７］は縦線、取付管突出し［８］は交差する斜線、ラードの付着・木の根浸入［９］は縦横交差する波線などとする。
前記図１１において、カメラ３５は、ミラーレンズ型としたが、これ限られるものではなく、魚眼レンズ型、広角レンズ型など画像を取り込むカメラの種類に限定されるものではない。
損傷画像は、特定の形状で、特定の大きさとしたが、これに限られるものではなく、例えば損傷部分が２区分以上に跨っているような場合には、損傷している物体そのものに異なる識別表示を施すようにしてもよい。
識別表示が色分け表示の場合は、例えば、損傷なし［０］は白、破損［１］は赤、クラック［２］はオレンジ、継目ずれ［３］は黄、腐食［４］は薄緑、管のたるみ・蛇行［５］は緑、モルタル付着［６］は薄青、浸入水［７］は青、取付管突出し［８］はグレー、ラードの付着・木の根侵入［９］は紫などとする。
識別表示は、他の色と判別でき、かつ、損傷画像の異常の有無に影響しないような淡色にすることが望ましい。
識別表示が線影の場合は、例えば、図３（ｄ）に示すように、損傷なし［０］は線影なし、破損［１］は格子状、クラック［２］は右上り斜線、継目ずれ［３］は横線、腐食［４］は右下がり斜線、管のたるみ・蛇行［５］は縦波線、モルタル付着［６］は横波線、浸入水［７］は縦線、取付管突出し［８］は交差する斜線、ラードの付着・木の根浸入［９］は縦横交差する波線などとする。
前記図１１において、カメラ３５は、ミラーレンズ型としたが、これ限られるものではなく、魚眼レンズ型、広角レンズ型など画像を取り込むカメラの種類に限定されるものではない。
【符号の説明】
【0083】
１…システムプログラム（管渠内検査診断支援プログラム）、２…診断データの入力・出力処理部、３…診断支援処理部、４…診断結果の入力処理部、５…帳票の表示・印刷処理部、６…帳票管理情報の入力処理部、７…診断情報一覧の表示・印刷処理部、１０…通信部、１１…入力部、１２…画像処理部、１３…記録部、１４…管渠、１５…管の継目、１６…水跡、１７…取付管、１８…鉄筋、１９…汚れ、２０…データ取得部、２１…入力データの生成部、２２…画像処理プログラム、２３…ＡＩ学習用モデルの構築部、２３ａ…ＡＩ学習用プログラム、２４…損傷判定モデルの構築部、２５…出力部、３０…管渠内面画情報・診断記録情報の記録領域、３１…入力データの記録領域、３２…管渠内面画像情報（損傷未登録情報）の記録領域、３５…カメラ、８０…メモリ、８１…ＣＰＵ、８２…入出力制御部、８３…入力装置、８４…表示装置、８５…出力装置、８６…管路ビデオデータ、８７…画像データ、８８…テーブル、９２…マーク点、９３…結合線。
【要約】
【課題】人工知能技術（ＡＩ）を活用し、管渠内画像上の異常をより早く、かつ、正確に見つけることができるような方法又は装置を提供する。
【解決手段】原展開画像を保存する工程と、前記原展開画像に数値情報を結合する工程と、損傷なし画像を生成する工程と、前記原展開画像情報と数値情報を取り出して損傷画像を作成し、前記原展開画像の異常個所が画像に入る画像領域を抜き出す工程と、前記画像及び数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、損傷未登録の画像情報に対して、前記ＡＩ学習用モデルを入力データとして、学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、前記学習済みＡＩ判定モデルを使い、前記原展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済み展開画像を出力する工程とからなる。
【選択図】図１
【解決手段】原展開画像を保存する工程と、前記原展開画像に数値情報を結合する工程と、損傷なし画像を生成する工程と、前記原展開画像情報と数値情報を取り出して損傷画像を作成し、前記原展開画像の異常個所が画像に入る画像領域を抜き出す工程と、前記画像及び数値情報を教師データとしてＡＩ学習用プログラムを構築する工程と、損傷未登録の画像情報に対して、前記ＡＩ学習用モデルを入力データとして、学習済みＡＩ判定モデルとして出力するプログラムを構築する工程と、前記学習済みＡＩ判定モデルを使い、前記原展開画像を入力データとし、ＡＩ判定により識別表示されたＡＩ判定済み展開画像を出力する工程とからなる。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】