知財求人 - 知財ポータルサイト「IP Force」
特許7559247下水管内異状診断支援システム、下水管内異状診断支援システム用のクライアントマシン、サーバマシン、及び関連する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-20
(45)【発行日】2024-10-01
(54)【発明の名称】下水管内異状診断支援システム、下水管内異状診断支援システム用のクライアントマシン、サーバマシン、及び関連する方法
(51)【国際特許分類】
G01N 21/954 20060101AFI20240924BHJP
G06T 7/00 20170101ALI20240924BHJP
【ＦＩ】
G01N21/954 A
G06T7/00 610Z
G06T7/00 350B
【請求項の数】
16
(21)【出願番号】P 2023537745
(86)(22)【出願日】2021-07-26
(86)【国際出願番号】 JP2021027478
(87)【国際公開番号】W WO2023007535
(87)【国際公開日】2023-02-02
【審査請求日】2023-12-22
【新規性喪失の例外の表示】特許法第３０条第２項適用 令和２年７月２７日 刊行物「第５７回下水道研究発表会講演集」における公開
(73)【特許権者】
【識別番号】501054551
【氏名又は名称】株式会社ＮＪＳ
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100141553
【弁理士】
【氏名又は名称】鈴木 信彦
(74)【代理人】
【識別番号】100151987
【弁理士】
【氏名又は名称】谷口 信行
(72)【発明者】
【氏名】大西 明和
(72)【発明者】
【氏名】江口 倫太郎
(72)【発明者】
【氏名】柴田 敬介
【審査官】嶋田 行志
(56)【参考文献】
【文献】韓国登録特許第１０－２００８９７３（ＫＲ，Ｂ１）
【文献】管内検査カメラ，株式会社キュー・アイ 製品案内[online]，日本，株式会社キュー・アイ，2020年08月05日，URL:https://www.qi-inc.com/products/snake-camera/
【文献】上下水道の事業基盤強化に貢献する監視制御システムＴＯＳＷＡＣＳ－Ｖ，東芝レビュー，日本，2016年，Vol. 71, No. 4，pp. 52-56
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／８４－Ｇ０１Ｎ ２１／９５８
Ｇ０６Ｎ ２０／００－Ｇ０６Ｎ ２０／２０
Ｇ０６Ｎ ３／００－Ｇ０６Ｎ ３／１２６
Ｇ０３Ｂ １５／００
Ｇ２１Ｃ １７／００
Ｇ０２Ｂ ２３／２４
Ｂ６１Ｂ １３／１０
Ａ６１Ｂ １／００－Ａ６１Ｂ １／３２
ＪＳＴＰｌｕｓ／ＪＳＴ７５８０／ＪＳＴＣｈｉｎａ（ＪＤｒｅａｍＩＩＩ）
(57)【特許請求の範囲】
【請求項1】
下水管内で撮影した動画又は静止画である撮影画像を用いて行われる該下水管の異状診断を支援する、下水管内異状診断支援システムであって、前記下水管内の撮影画像を取り込む、撮影画像取込部と、
前記撮影画像から前記下水管の内側の展開画像を生成する、展開画像生成部と、
前記展開画像から前記下水管の内側における異状箇所を判定する、異状箇所判定部と、
前記異状箇所判定部により異状であると判定された箇所を判定結果としてユーザに対して画面表示する、判定結果表示部と、
前記異状箇所判定部により異状であると判定された箇所の判定結果としてのユーザに対する前記画面表示に基づく前記ユーザからの入力内容として、前記判定結果に対する変更内容の登録を受け付ける、変更登録受付部と
を備えたシステム。
【請求項2】
前記異状箇所判定部は画像解析部を備え、該画像解析部は、管種、及び調査条件の入力を受け付ける、管種及び調査条件受付部と、
前記管種、及び調査条件に応じて二値化パラメータを設定する、二値化パラメータ設定部と、
前記二値化パラメータを用いて前記展開画像を二値画像に変換する、画像変換部と、
前記二値画像を解析して異常箇所を判定する、二値画像解析部と
を備える、請求項１に記載のシステム。
【請求項3】
前記異状箇所判定部は診断モデル判定部を備え、該診断モデル判定部は、下水管の内側の展開画像と、該展開画像中の異状箇所とを記憶する教師データ記憶部と、
前記教師データ記憶部に記憶された展開画像と該展開画像中の異状箇所とを教師データとして用い、入力を展開画像とし、出力を該展開画像中の異状箇所とする診断モデルを機械学習により生成する診断モデル生成部と、
前記診断モデル生成部により生成された診断モデルを用いて、前記展開画像生成部が生成した展開画像から前記下水管の内側における異状箇所を判定する、異状箇所モデル判定部と
を備える、請求項１又は２に記載のシステム。
【請求項4】
前記診断モデル判定部は、前記異状箇所モデル判定部による異状箇所の判定に先立って前記展開画像をクラスタリングにより分類する展開画像分類部を更に備える、請求項３に記載のシステム。
【請求項5】
前記教師データ記憶部は、前記下水管の内側の展開画像に対応する管種を更に記憶し、前記教師データ記憶部に記憶された展開画像と該展開画像に対応する管種とを教師データとして用い、入力を展開画像とし、出力を該展開画像に対応する管種とする管種推定モデルを機械学習により生成する管種推定モデル生成部と、
前記管種推定モデル生成部により生成された管種推定モデルを用いて、前記展開画像生成部が生成した展開画像に対応する管種を推定する、管種推定部と
を更に備える、請求項３又は４に記載のシステム。
【請求項6】
前記診断モデル生成部は、前記変更登録受付部が登録を受け付けた前記判定結果に対する変更内容に基づいて、機械学習により前記診断モデルを更新する、請求項３乃至５のいずれか一項に記載のシステム。
【請求項7】
前記撮影画像取込部と、前記展開画像生成部と、前記判定結果表示部と、前記変更登録受付部とは、クライアントマシンによって具現化され、前記異状箇所判定部に含まれる前記診断モデル判定部のうち、前記教師データ記憶部と、前記診断モデル生成部とは、サーバマシンによって具現化され、前記異状箇所モデル判定部は前記クライアントマシンによって具現化される、
請求項３乃至６のいずれか一項に記載のシステム。
【請求項8】
前記異状箇所判定部による判定結果、及び、前記変更登録受付部が登録を受け付けた該判定結果に対する変更内容に基づき、前記下水管の異状診断結果を帳票として出力する帳票出力部を更に備えた、請求項１乃至７のいずれか一項に記載のシステム。
【請求項9】
下水管内で撮影した動画又は静止画である撮影画像を用いて行われる該下水管の異状診断を支援する、下水管内異状診断支援システム用のクライアントマシンであって、前記下水管内の撮影画像を取り込む、撮影画像取込部と、
前記撮影画像から前記下水管の内側の展開画像を生成する、展開画像生成部と、
前記展開画像から前記下水管の内側における異状箇所を判定する、クライアント側異状箇所判定部と、
前記クライアント側異状箇所判定部により異状であると判定された箇所を判定結果としてユーザに対して画面表示する、判定結果表示部と、
前記クライアント側異状箇所判定部により異状であると判定された箇所の判定結果としてのユーザに対する前記画面表示に基づく前記ユーザからの入力内容として、前記判定結果に対する変更内容の登録を受け付ける、変更登録受付部と
を備えたクライアントマシン。
【請求項10】
前記クライアント側異状箇所判定部は画像解析部を備え、該画像解析部は、管種、及び調査条件の入力を受け付ける、管種及び調査条件受付部と、
前記管種、及び調査条件に応じて二値化パラメータを設定する、二値化パラメータ設定部と、
前記二値化パラメータを用いて前記展開画像を二値画像に変換する、画像変換部と、
前記二値画像を解析して異常箇所を判定する、二値画像解析部と
を備える、請求項９に記載のクライアントマシン。
【請求項11】
前記クライアント側異状箇所判定部はクライアント側診断モデル判定部を備え、該クライアント側診断モデル判定部は、展開画像と該展開画像中の異状箇所とを教師データとして用いて機械学習により生成された、入力を展開画像とし、出力を該展開画像中の異状箇所とする診断モデルを受信する診断モデル受信部と、
前記診断モデル受信部が受信した診断モデルを用いて、前記展開画像生成部が生成した展開画像から前記下水管の内側における異状箇所を判定する、異状箇所モデル判定部と
を備える、請求項１０に記載のクライアントマシン。
【請求項12】
下水管内で撮影した動画又は静止画である撮影画像を用いて行われる該下水管の異状診断を支援する、下水管内異状診断支援システム用のサーバマシンであって、下水管の内側の展開画像と、該展開画像中の異状箇所とを記憶する教師データ記憶部と、
前記教師データ記憶部に記憶された展開画像と該展開画像中の異状箇所とを教師データとして用い、入力を展開画像とし、出力を該展開画像中の異状箇所とする診断モデルを機械学習により生成する診断モデル生成部と、
前記診断モデル生成部により生成された診断モデルを送信する診断モデル送信部と、
前記診断モデルを用いた異状箇所の判定結果の画面表示に基づく、ユーザからの入力内容としての、該判定結果に対する変更内容を受信する、変更内容受信部と
を備える、サーバマシン。
【請求項13】
クラウドサーバとして具現化される、請求項１２に記載のサーバマシン。
【請求項14】
下水管内で撮影した動画又は静止画である撮影画像を用いて行われる該下水管の異状診断を支援する、下水管内異状診断支援システムによる方法であって、撮影画像取込部が、前記下水管内の撮影画像を取り込むことと、
展開画像生成部が、前記撮影画像から前記下水管の内側の展開画像を生成することと、
異状箇所判定部が、前記展開画像から前記下水管の内側における異状箇所を判定することと、
判定結果表示部が、前記異状箇所判定部により異状であると判定された箇所を判定結果としてユーザに対して画面表示することと、
前記異状箇所判定部により異状であると判定された箇所の判定結果としてのユーザに対する前記画面表示に基づく前記ユーザからの入力内容として、変更登録受付部が、前記判定結果に対する変更内容の登録を受け付けることと
を含む、方法。
【請求項15】
下水管内で撮影した動画又は静止画である撮影画像を用いて行われる該下水管の異状診断を支援する、下水管内異状診断支援システム用のクライアントマシンによる方法であって、撮影画像取込部が、前記下水管内の撮影画像を取り込むことと、
展開画像生成部が、前記撮影画像から前記下水管の内側の展開画像を生成することと、
クライアント側異状箇所判定部が、前記展開画像から前記下水管の内側における異状箇所を判定することと、
判定結果表示部が、前記異状箇所判定部により異状であると判定された箇所を判定結果としてユーザに対して画面表示することと、
前記クライアント側異状箇所判定部により異状であると判定された箇所の判定結果としてのユーザに対する前記画面表示に基づく前記ユーザからの入力内容として、変更登録受付部が、前記判定結果に対する変更内容の登録を受け付けることと
を含む、方法。
【請求項16】
下水管内で撮影した動画又は静止画である撮影画像を用いて行われる該下水管の異状診断を支援する、下水管内異状診断支援システム用のサーバマシンによる方法であって、教師データ記憶部が、下水管の内側の展開画像と、該展開画像中の異状箇所とを記憶することと、
診断モデル生成部が、前記教師データ記憶部に記憶された展開画像と該展開画像中の異状箇所とを教師データとして用い、入力を展開画像とし、出力を該展開画像中の異状箇所とする診断モデルを機械学習により生成することと、
診断モデル送信部が、前記診断モデル生成部により生成された診断モデルを送信することと、
変更内容受信部が、前記診断モデルを用いた異状箇所の判定結果の画面表示に基づく、ユーザからの入力内容としての、該判定結果に対する変更内容を受信することと
を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、下水管内の異状（異常）診断を支援するためのシステム、当該システムに用いることができるクライアントマシン、サーバマシン、及び関連する方法に関する。
【背景技術】
【0002】
標準耐用年数を超える管きょ（管渠）が増加し、道路陥没等の発生リスクが高まる中、管きょの計画的な維持管理がこれまで以上に重要となっている。そのため、今後急増する老朽管の状態把握を進めていく上で、管内調査の日進量の向上に加え、管内の異状（異常）箇所の判定スピードの向上が必要不可欠となる。異状箇所の迅速な判定のためには、画像を用いた診断が有効と考えられる。
【0003】
特許文献１においては、下水配管網の画像診断において、変形位置から求められる断面積を一方の診断指標に、先験的に定まる亀裂方向に直交する方向への濃淡勾配の画像統計量を他方の診断指標とし、予め対応付けられた診断指標の軸方向分布と実際の異常事象に基づき、下水配管網の異常を診断することを特徴とする画像診断システムが記載されている。しかしながら、特許文献１のシステムにおいては、システムによる画像診断結果に対してユーザから変更等のフィードバックを受け付けることが想定されておらず、システムの運用を続けることにより診断精度を向上させるための構成も与えられてはいないし、下水道管内の画像から管種、管の状態等を考慮して異状箇所を分析するための構成も与えられていない。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１７－１９４８１３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
以上に鑑み、本発明は、下水管内で撮影した動画又は静止画を用いて下水管の異状診断を支援するシステムとして、まずシステム側の判定結果を表示して、ユーザ等からの変更内容の登録を受け付けることができるシステム、当該システムに用いることができるクライアントマシン、サーバマシン、及び関連する方法を提供することを課題とする。
【課題を解決するための手段】
【0006】
上記課題を解決するべく、本発明は、下水管内で撮影した動画又は静止画である撮影画像を用いて行われる下水管の異状診断を支援する、下水管内異状診断支援システムであって、下水管内の撮影画像を取り込む、撮影画像取込部と、撮影画像から下水管の内側の展開画像を生成する、展開画像生成部と、展開画像から下水管の内側における異状箇所を判定する、異状箇所判定部と、異状箇所判定部により異状であると判定された箇所を判定結果として表示する、判定結果表示部と、判定結果に対する変更内容の登録を受け付ける、変更登録受付部とを備えたシステムを提供する。
【0007】
異状箇所判定部は画像解析部を備えてよく、画像解析部は、管種、及び調査条件の入力を受け付ける、管種及び調査条件受付部と、管種、及び調査条件に応じて二値化パラメータを設定する、二値化パラメータ設定部と、二値化パラメータを用いて展開画像を二値画像に変換する、画像変換部と、二値画像を解析して異常箇所を判定する、二値画像解析部とを備えてよい。
【0008】
異状箇所判定部は診断モデル判定部を備えてよく、診断モデル判定部は、下水管の内側の展開画像と、展開画像中の異状箇所とを記憶する教師データ記憶部と、教師データ記憶部に記憶された展開画像と展開画像中の異状箇所とを教師データとして用い、入力を展開画像とし、出力を展開画像中の異状箇所とする診断モデルを機械学習により生成する診断モデル生成部と、診断モデル生成部により生成された診断モデルを用いて、展開画像生成部が生成した展開画像から下水管の内側における異状箇所を判定する、異状箇所モデル判定部と、を備えてよい。
【0009】
診断モデル判定部は、異状箇所モデル判定部による異状箇所の判定に先立って展開画像をクラスタリングにより分類する展開画像分類部を更に備えてよい。
【0010】
教師データ記憶部は、下水管の内側の展開画像に対応する管種を更に記憶してよく、上記システムは、教師データ記憶部に記憶された展開画像と展開画像に対応する管種とを教師データとして用い、入力を展開画像とし、出力を展開画像に対応する管種とする管種推定モデルを機械学習により生成する管種推定モデル生成部と、管種推定モデル生成部により生成された管種推定モデルを用いて、展開画像生成部が生成した展開画像に対応する管種を推定する、管種推定部とを更に備えてよい。
【0011】
診断モデル生成部は、変更登録受付部が登録を受け付けた判定結果に対する変更内容に基づいて、機械学習により診断モデルを更新してよい。
【0012】
撮影画像取込部と、展開画像生成部と、判定結果表示部と、変更登録受付部とは、クライアントマシンによって具現化されてよく、異状箇所判定部に含まれる診断モデル判定部のうち、教師データ記憶部と、診断モデル生成部とは、サーバマシンによって具現化されてよく、異状箇所モデル判定部はクライアントマシンによって具現化されてよい。
【0013】
上記システムは、異状箇所判定部による判定結果、及び、変更登録受付部が登録を受け付けた判定結果に対する変更内容に基づき、下水管の異状診断結果を帳票として出力する帳票出力部を更に備えてよい。
【0014】
また本発明は、下水管内で撮影した動画又は静止画である撮影画像を用いて行われる下水管の異状診断を支援する、下水管内異状診断支援システム用のクライアントマシンであって、下水管内の撮影画像を取り込む、撮影画像取込部と、撮影画像から下水管の内側の展開画像を生成する、展開画像生成部と、展開画像から下水管の内側における異状箇所を判定する、クライアント側異状箇所判定部と、クライアント側異状箇所判定部により異状であると判定された箇所を判定結果として表示する、判定結果表示部と、判定結果に対する変更内容の登録を受け付ける、変更登録受付部と、を備えたクライアントマシンを提供する。
【0015】
クライアント側異状箇所判定部は画像解析部を備えてよく、画像解析部は、管種、及び調査条件の入力を受け付ける、管種及び調査条件受付部と、管種、及び調査条件に応じて二値化パラメータを設定する、二値化パラメータ設定部と、二値化パラメータを用いて展開画像を二値画像に変換する、画像変換部と、二値画像を解析して異常箇所を判定する、二値画像解析部とを備えてよい。
【0016】
クライアント側異状箇所判定部はクライアント側診断モデル判定部を備えてよく、クライアント側診断モデル判定部は、展開画像と展開画像中の異状箇所とを教師データとして用いて機械学習により生成された、入力を展開画像とし、出力を展開画像中の異状箇所とする診断モデルを受信する診断モデル受信部と、診断モデル受信部が受信した診断モデルを用いて、展開画像生成部が生成した展開画像から下水管の内側における異状箇所を判定する、異状箇所モデル判定部とを備えてよい。
【0017】
また本発明は、下水管内で撮影した動画又は静止画である撮影画像を用いて行われる下水管の異状診断を支援する、下水管内異状診断支援システム用のサーバマシンであって、下水管の内側の展開画像と、展開画像中の異状箇所とを記憶する教師データ記憶部と、教師データ記憶部に記憶された展開画像と展開画像中の異状箇所とを教師データとして用い、入力を展開画像とし、出力を展開画像中の異状箇所とする診断モデルを機械学習により生成する診断モデル生成部と、診断モデル生成部により生成された診断モデルを送信する診断モデル送信部とを備える、サーバマシンを提供する。
【0018】
上記サーバマシンは、クラウドサーバとして具現化されてよい。
【0019】
また本発明は、下水管内で撮影した動画又は静止画である撮影画像を用いて行われる下水管の異状診断を支援する、下水管内異状診断支援システムによる方法であって、撮影画像取込部が、下水管内の撮影画像を取り込むことと、展開画像生成部が、撮影画像から下水管の内側の展開画像を生成することと、異状箇所判定部が、展開画像から下水管の内側における異状箇所を判定することと、判定結果表示部が、異状箇所判定部により異状であると判定された箇所を判定結果として表示することと、変更登録受付部が、判定結果に対する変更内容の登録を受け付けることとを含む、方法を提供する。
【0020】
また本発明は、下水管内で撮影した動画又は静止画である撮影画像を用いて行われる下水管の異状診断を支援する、下水管内異状診断支援システム用のクライアントマシンによる方法であって、撮影画像取込部が、下水管内の撮影画像を取り込むことと、展開画像生成部が、撮影画像から下水管の内側の展開画像を生成することと、クライアント側異状箇所判定部が、展開画像から下水管の内側における異状箇所を判定することと、判定結果表示部が、異状箇所判定部により異状であると判定された箇所を判定結果として表示することと、変更登録受付部が、判定結果に対する変更内容の登録を受け付けることと、を含む方法を提供する。
【0021】
また本発明は、下水管内で撮影した動画又は静止画である撮影画像を用いて行われる下水管の異状診断を支援する、下水管内異状診断支援システム用のサーバマシンによる方法であって、教師データ記憶部が、下水管の内側の展開画像と、展開画像中の異状箇所とを記憶することと、診断モデル生成部が、教師データ記憶部に記憶された展開画像と展開画像中の異状箇所とを教師データとして用い、入力を展開画像とし、出力を展開画像中の異状箇所とする診断モデルを機械学習により生成することと、診断モデル送信部が、診断モデル生成部により生成された診断モデルを送信することと、を含む方法を提供する。
【発明の効果】
【0022】
本発明によれば、下水道管内を撮影した動画又は静止画である撮影画像より生成した展開図から異状箇所の有無を判定し、判定結果に対する変更内容の登録を受け付けることにより、診断精度の向上を図ることが可能となる。一例においては、下水道管内を撮影した撮影画像より生成した展開図から管種、管の状態等を判定し、判定された管種、管の状態の情報を考慮して、より良い精度で異状箇所の有無を判定することが可能となる。また一例においては、展開図及び展開図に対応する管種、管の状態等の判定結果及び異状箇所の解析結果を記憶装置に集積し、その関連性を繰り返し学習させることで解析精度を向上させることも可能となる。
【図面の簡単な説明】
【0023】
【図1】本発明の一実施形態における下水管内異状診断支援システムの構成を示す概念図。
【図2】下水道管路の一例を示す図。
【図3】下水管内異状診断支援システムに含まれるクライアントマシンの構成を示すブロック図。
【図4】クライアントマシンの画像解析部の構成を示すブロック図。
【図5】クライアント側診断モデル判定部の構成を示すブロック図。
【図6】クライアント側管種推定部の構成を示すブロック図。
【図7】下水管内異状診断支援システムに含まれるクラウドサーバ等、サーバマシンの構成を示すブロック図。
【図8】下水管内異状診断支援システムの動作フローを示すフローチャート。
【図18】展開図作成により得られる展開図の一例を模式的に示す図。
【図22】学習アルゴリズムの一例として、ランダムフォレストの概念（学習段階）を説明する図。
【図23】学習アルゴリズムの一例として、ランダムフォレストの概念（運用段階）を説明する図。
【図24】学習アルゴリズムの一例として、ニューラルネットワークの概念を説明する図。
【図33】下水管内異状診断支援システムの実施例における検証対象データの表。
【図34】実施例における画像解析の原理を説明する図。
【図35】画像解析の検証結果を示す表。
【図36】実施例における検証対象の異状箇所例（機械学習）。
【図37】実施例における診断モデル生成フローを示す図。
【図38】機械学習による異常（異状）箇所判定結果を示すグラフ。
【図39】機械学習による異常（異状）箇所判定結果を示す表。
【発明を実施するための形態】
【0024】
以下、本発明の実施形態を、図面を参照しつつ説明する。ただし、本発明の範囲は以下の実施形態に限られるわけではなく、請求の範囲の記載によって定められることに留意する。例えば、本発明の下水管内異状診断支援システムは、サーバ・クライアント型のシステムに限らず単独のコンピュータ等によって構成されてもよいし、クライアントマシンの有する機能、（クラウド）サーバマシンの有する機能を、１以上の任意の数のコンピュータ等に分散させてもよい。以下の実施形態で説明する全ての機能を、本発明の下水管内異状診断支援システム、クライアントマシン、サーバが備える必要もない。例えば管種や清掃の有無等の調査条件を機械学習モデルで判定することは必須ではなく、ユーザ等が直接システムに入力してもよい。機械学習モデルを生成するための機械学習アルゴリズムも、後述のランダムフォレスト（ｒａｎｄｏｍ ｆｏｒｅｓｔ）、ニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）に限らず任意のアルゴリズムであってよい。例えば管種や清掃条件の有無等の調査条件の推定、異状箇所の推定においてはディープラーニングによる画像診断モデルを用いることができる。後述の各々の機能部は、単独のハードウェアによって実現されてもよいし、２以上のハードウェアにより実現されてもよいし、後述のとおり複数の機能部が１つのハードウェアにより実現されてもよい。なお、本明細書中、「水」とは純水であってもよいし、汚水等の下水、或いは雨水等、任意の不純物等を任意に含む水であってもよい。
【0025】
図１は、本発明の一実施形態における下水管内異状診断支援システムの構成を示す概念図であり、図２は、下水道管路の一例を示す図である。本発明の一実施形態においては、図２に示す下水道管１０００内でカメラを搭載した無人航空機（ドローン）に撮影飛行をさせることにより、或いはテレビカメラ等の動画カメラ、又は静止画カメラを搭載したカメラ車に撮影走行をさせること等により得られた下水道管１０００内の撮影画像（動画であっても静止画であってもよい）をクライアントマシンに取り込み、以下の流れで異状箇所診断が行われる。
（１）撮影画像から展開図を作成する。
（２）管種等解析モデルを用いて展開図（展開画像）から管種等を解析する。また解析結果に対するクライアント側からの変更等の確定登録の結果を用いて管種等解析モデルを再トレーニングする。
（３）異状箇所解析モデルを用いて展開図（展開画像）から破損、クラック等の異状箇所を解析する。
（４）異状箇所の解析結果に対して、クライアント側から変更を含む異状箇所の確定結果を登録し、確定結果を用いて異状箇所解析モデルを再トレーニングする。
（５）診断結果を帳票（印刷物、或いは電子ファイル等、任意の形式）として出力する。
（１）撮影画像から展開図を作成する。
（２）管種等解析モデルを用いて展開図（展開画像）から管種等を解析する。また解析結果に対するクライアント側からの変更等の確定登録の結果を用いて管種等解析モデルを再トレーニングする。
（３）異状箇所解析モデルを用いて展開図（展開画像）から破損、クラック等の異状箇所を解析する。
（４）異状箇所の解析結果に対して、クライアント側から変更を含む異状箇所の確定結果を登録し、確定結果を用いて異状箇所解析モデルを再トレーニングする。
（５）診断結果を帳票（印刷物、或いは電子ファイル等、任意の形式）として出力する。
【0026】
クライアントマシンの構成
図３は、下水管内異状診断支援システムに含まれるクライアントマシンの構成を示すブロック図であり、図４は、クライアントマシンの画像解析部の構成を示すブロック図であり、図５は、クライアント側診断モデル判定部の構成を示すブロック図であり、図６は、クライアント側管種推定部の構成を示すブロック図である。
図３は、下水管内異状診断支援システムに含まれるクライアントマシンの構成を示すブロック図であり、図４は、クライアントマシンの画像解析部の構成を示すブロック図であり、図５は、クライアント側診断モデル判定部の構成を示すブロック図であり、図６は、クライアント側管種推定部の構成を示すブロック図である。
【0027】
クライアントマシン１は、制御部２と、記憶部３と、入出力部４と、通信部５とを備える。制御部２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）等のプロセッサ６と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ランダム アクセス メモリ）等の一時メモリ７とを備える。プロセッサ６が、記憶部３に記憶された展開画像生成プログラム１７を実行することにより、制御部２（のプロセッサ６。以下においても同様）は展開画像生成部８として機能する。プロセッサ６が、記憶部３に記憶された画像解析プログラム１８を実行することにより、制御部２は画像解析部１０として機能する。プロセッサ６が、記憶部３に記憶された機械学習関連プログラム１９を実行することにより、制御部２はクライアント側診断モデル判定部１１、クライアント側管種推定部１２として機能する。具体的には、プロセッサ６が診断モデル受信プログラムを実行することにより制御部２は通信部５を用いる診断モデル受信部３２として機能し、プロセッサ６が異状箇所モデル判定プログラムを実行することにより制御部２は展開画像分類部３３、異状箇所モデル判定部３４として機能し、プロセッサ６が管種推定モデル受信プログラムを実行することにより制御部２は通信部５を用いる管種推定モデル受信部３５として機能し、プロセッサ６が管種推定プログラムを実行することにより制御部２は管種モデル推定部３６として機能する。プロセッサ６が、記憶部３に記憶された帳票出力プログラム２２を実行することにより、制御部２は帳票出力部１５として機能する。その他、プロセッサ６が各種制御、表示プログラム等２３（オペレーティングシステムや、各種アプリケーションソフトウェア、各種デバイスのドライバソフトウェア等を含む）を実行することにより、制御部２は判定結果表示部１３、変更登録受付部１４、各種制御、表示部１６として機能する。記憶部３にはその他に任意のプログラムが記憶されていてよく、制御部２のプロセッサ６が任意のプログラムを実行することにより制御部２は任意の機能部として機能することができる。
【0028】
展開画像生成部８は、入出力部４のデータ入出力部（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）ポート等）を介する等して外部から入力された下水管内部の撮影画像（撮影画像データ２４として記憶部３に記憶される。）から、一例においては後述の図９～図１８に示す原理で展開画像を生成する機能部である。展開画像生成部８は、生成した展開画像のデータを展開画像データ２５として記憶部３に記憶させる。
【0029】
画像解析部１０は、管種及び調査条件受付部２８、二値化パラメータ設定部２９、画像変換部３０、二値画像解析部３１を含み、展開画像を解析することにより、破損、クラック等の異状箇所を特定する機能部である。画像解析部１０は、解析により特定された異状箇所を示すデータ（異常箇所の位置、種類を示すデータであってもよいし、或いは特定された異状箇所周辺の展開画像部分のデータであってもよい。）を、異状箇所、管種データ２６として記憶部３に記憶させる。
【0030】
クライアント側診断モデル判定部１１は、診断モデル受信部３２、展開画像分類部３３、異状箇所モデル判定部３４の各機能部を含む機能部であり、診断モデル受信部３２が後述のサーバマシン３７（図７参照）から機械学習済み診断モデルを受信して記憶部３に機械学習済み診断モデル２０として記憶させ、展開画像分類部３３が必要に応じて展開画像を分類し、異状箇所モデル判定部３４が、機械学習済み診断モデル（機械学習アルゴリズムは任意のアルゴリズムであってよく、ディープラーニングによる画像認識を用いてもよいし、或いは展開画像から特定の特徴量を抽出して後述のランダムフォレスト、ニューラルネットワークによってモデルを構築してもよい。）を用いて展開画像を解析することにより、破損、クラック等の異状箇所を特定する。クライアント側診断モデル判定部１１は、解析により特定された異状箇所を示すデータ（異常箇所の位置、種類を示すデータであってもよいし、或いは特定された異状箇所周辺の展開画像部分のデータであってもよい。）を、異状箇所、管種データ２６として記憶部３に記憶させる。
【0031】
クライアント側管種推定部１２は、管種推定モデル受信部３５、管種モデル推定部３６の各機能部を含む機能部であり、管種推定モデル受信部３５がサーバマシン３７から機械学習済み管種推定モデルを受信して記憶部３に機械学習済み管種推定モデル２１として記憶させ、管種モデル推定部３６が機械学習済み管種推定モデル（機械学習アルゴリズムは任意のアルゴリズムであってよく、ディープラーニングによる画像認識を用いてもよいし、或いは展開画像から特定の特徴量を抽出して後述のランダムフォレスト、ニューラルネットワークによってモデルを構築してもよい。）を用いて展開画像を解析することにより、展開画像から管種を推定する。クライアント側管種推定部１２は、解析により特定された管種（及び、必要に応じて清掃の有無等の調査条件）を示すデータを、異状箇所、管種データ２６として記憶部３に記憶させる。
【0032】
判定結果表示部１３は、クライアント側異状箇所判定部により異状であると判定された箇所を判定結果として表示する機能部である。一例においては、後述の図２５に示すレイアウトの診断結果閲覧画面を入出力部４のディスプレイ装置に表示する。
【0033】
変更登録受付部１４は、入出力部４のキーボードやマウスを介して、クライアント側異状箇所判定部９による異状箇所判定結果に対する変更内容の登録を受け付ける機能部である。クライアントマシン１のユーザは、一例においては図２５のような診断結果閲覧画面を確認しつつ、キーボードやマウスを操作することにより、クライアント側異状箇所判定部９による異状箇所判定結果に対する確定登録、変更登録等の入力を行うことができ、変更登録受付部１４は、登録内容を変更登録データ２７として記憶部３に記憶させる（変更の登録内容のみを記憶してもよいし、クライアント側異状箇所判定部による異状箇所判定結果を承認して「確定した」ことも記憶してもよい。）。
【0034】
帳票出力部１５は、クライアント側異状箇所判定部による判定結果、及び、変更登録受付部１４が登録を受け付けた判定結果に対する変更内容に基づき、下水管の異状診断結果を帳票として出力する機能部である。帳票の例は後述の図２６～図３２に示される。
【0035】
記憶部３は、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を備えた記憶（記録）装置であり、上述のとおり制御部２をさまざまな機能部として機能させるためにプロセッサ６によって実行されるプログラムとして、展開画像生成プログラム１７、画像解析プログラム１８、機械学習関連プログラム１９（診断モデル受信プログラム、管種推定モデル受信プログラム、異状箇所モデル判定プログラム、管種推定プログラムを含む）、帳票出力プログラム２２、各種制御、表示プログラム等２３を記憶する。また記憶部３は、サーバマシン３７の診断モデル生成部４４により生成される機械学習済みモデルとして、展開画像から画像認識等により異状箇所を判定する機械学習済み診断モデル２０を記憶する。さらに記憶部３は、サーバマシン３７の管種推定モデル生成部４６により生成される機械学習済みモデルとして、展開画像から管種を推定する機械学習済み管種推定モデル２１を記憶する。また記憶部３は、図３に示すとおり撮影画像データ２４、展開画像データ２５、異状箇所、管種データ２６、変更登録データ２７も記憶する。
【0036】
サーバマシンの構成
図７は、下水管内異状診断支援システムに含まれるクラウドサーバ等、サーバマシンの構成を示すブロック図である。サーバマシン３７は、制御部３８と、記憶部３９と、入出力部４０と、通信部４１とを備える。制御部３８は、ＣＰＵ等のプロセッサ４２と、ＲＡＭ等の一時メモリ４３とを備える。プロセッサ４２が、記憶部３９に記憶された機械学習関連プログラム５１中、診断モデル生成プログラムを実行することにより、制御部３８（のプロセッサ４２。以下においても同様）は診断モデル生成部４４として機能し、プロセッサ４２が診断モデル送信プログラムを実行することにより、制御部３８は通信部４１を用いる診断モデル送信部４５として機能し、プロセッサ４２が管種推定モデル生成プログラムを実行することにより、制御部３８は管種推定モデル生成部４６として機能し、プロセッサ４２が管種推定モデル送信プログラムを実行することにより、制御部３８は通信部４１を用いる管種推定モデル送信部４７として機能し、プロセッサ４２が診断モデル評価プログラムを実行することにより、制御部３８は診断モデル評価部４８として機能し、プロセッサ４２が管種推定モデル評価プログラムを実行することにより、制御部３８は管種推定モデル評価部４９として機能する。その他、プロセッサ４２が各種制御、表示プログラム等５４（オペレーティングシステムや、各種アプリケーションソフトウェア、各種デバイスのドライバソフトウェア等を含む）を実行することにより、制御部３８は各種制御、表示部５０として機能する。記憶部３９にはその他に任意のプログラムが記憶されていてよく、制御部３８のプロセッサ４２が任意のプログラムを実行することにより制御部３８は任意の機能部として機能することができる。
図７は、下水管内異状診断支援システムに含まれるクラウドサーバ等、サーバマシンの構成を示すブロック図である。サーバマシン３７は、制御部３８と、記憶部３９と、入出力部４０と、通信部４１とを備える。制御部３８は、ＣＰＵ等のプロセッサ４２と、ＲＡＭ等の一時メモリ４３とを備える。プロセッサ４２が、記憶部３９に記憶された機械学習関連プログラム５１中、診断モデル生成プログラムを実行することにより、制御部３８（のプロセッサ４２。以下においても同様）は診断モデル生成部４４として機能し、プロセッサ４２が診断モデル送信プログラムを実行することにより、制御部３８は通信部４１を用いる診断モデル送信部４５として機能し、プロセッサ４２が管種推定モデル生成プログラムを実行することにより、制御部３８は管種推定モデル生成部４６として機能し、プロセッサ４２が管種推定モデル送信プログラムを実行することにより、制御部３８は通信部４１を用いる管種推定モデル送信部４７として機能し、プロセッサ４２が診断モデル評価プログラムを実行することにより、制御部３８は診断モデル評価部４８として機能し、プロセッサ４２が管種推定モデル評価プログラムを実行することにより、制御部３８は管種推定モデル評価部４９として機能する。その他、プロセッサ４２が各種制御、表示プログラム等５４（オペレーティングシステムや、各種アプリケーションソフトウェア、各種デバイスのドライバソフトウェア等を含む）を実行することにより、制御部３８は各種制御、表示部５０として機能する。記憶部３９にはその他に任意のプログラムが記憶されていてよく、制御部３８のプロセッサ４２が任意のプログラムを実行することにより制御部３８は任意の機能部として機能することができる。
【0037】
診断モデル生成部４４は、展開画像から異状箇所を推定するための診断モデルを機械学習により生成する機能部である。機械学習のアルゴリズムとしては任意のアルゴリズムを用いてよいが、一例においては、展開画像データを入力とし、当該展開画像データ中の異状箇所の情報（位置、タイプ、及び異状箇所周辺の画像データ等）を出力とするディープラーニングによる画像認識の学習アルゴリズムを用いることができる。ディープラーニングを用いた機械学習においては、教師データ（学習データ）として、展開画像データ（入力）と、当該展開画像中の異状箇所の情報（位置、タイプ、及び異状箇所周辺の画像データ等。出力）の組のデータを多数用意し、これらの教師データ（一例においては、異状箇所の情報でラベル付けされた多数の展開画像データとして学習データを用意する。）により画像認識モデルに機械学習をさせることでモデルの判定精度を向上させることができる。ディープラーニングによる画像認識は広く知られており、ここではこれ以上詳しく説明しない。なお、管種、及び清掃状態等の調査条件に応じて分類された教師データを準備し、管種、及び清掃状態等の調査条件に応じて別個の診断モデルを生成することにより、展開画像データを管種、及び清掃状態等の調査条件で分類してから対応する診断モデルを用いて異状箇所診断を行うことが可能となり、これにより判定精度が向上すると考えられる。診断モデル生成部４４は、生成した診断モデルを機械学習済み診断モデル５２として記憶部３９に記憶させる。診断モデル送信部４５は、診断モデル生成部４４が生成した機械学習済み診断モデルを、通信部４１を用いてクライアントマシン１に送信する。診断モデル評価部４８は、テストデータ５６として展開画像データと異状箇所データを用いて機械学習済み診断モデル５２の判定精度を評価したり、機械学習済み診断モデル５２の診断結果を、変更登録データ５７によって示されるクライアント側での変更内容と比較して機械学習済み診断モデル５２の判定精度を評価したりする。
【0038】
管種推定モデル生成部４６は、展開画像から管種を推定するための管種推定モデルを機械学習により生成する機能部である。機械学習のアルゴリズムとしては任意のアルゴリズムを用いてよいが、一例においては、展開画像データを入力とし、当該展開画像によって表される下水管の管種（ヒューム管、陶管、塩ビ管、等）を出力とするディープラーニングによる画像認識の学習アルゴリズムを用いることができる。ディープラーニングを用いた機械学習においては、教師データ（学習データ）として、展開画像データ（入力）と、当該展開画像によって表される下水管の管種（ヒューム管、陶管、塩ビ管、等。出力）の組のデータを多数用意し、これらの教師データ（一例においては、管種の情報でラベル付けされた多数の展開画像データとして学習データを用意する。）により画像認識モデルに機械学習をさせることでモデルの判定精度を向上させることができる。また管種だけでなく、清掃の有無等も推定するモデルとして管種推定モデルを構築することもできる。この場合は、教師データ（学習データ）として、展開画像データ（入力）と、当該展開画像によって表される「下水管の管種（ヒューム管、陶管、塩ビ管、等）及び清掃状態等の調査条件」（出力）の組のデータを多数用意し、これらの教師データ（一例においては、管種及び清掃状態等の調査条件の情報（「ヒューム管、清掃済み」等）でラベル付けされた多数の展開画像データとして学習データを用意する。）により画像認識モデルに機械学習をさせることでモデルの判定精度を向上させることができる。管種推定モデル生成部４６は、生成した管種推定モデルを機械学習済み管種推定モデル５３として記憶部３９に記憶させる。管種推定モデル送信部４７は、管種推定モデル生成部４６が生成した機械学習済み管種推定モデルを、通信部４１を用いてクライアントマシン１に送信する。管種推定モデル評価部４９は、テストデータ５６として展開画像データと管種データ（清掃状態等の調査条件の情報を含んでもよい。）を用いて機械学習済み管種推定モデル５３の判定精度を評価したり、機械学習済み管種推定モデル５３の診断結果を、変更登録データ５７によって示されるクライアント側での変更内容と比較して機械学習済み管種推定モデル５３の判定精度を評価したりする。
【0039】
記憶部３９は、ハードディスクドライブ、ＳＳＤ等を備えた記憶（記録）装置であり、上述のとおり制御部３８をさまざまな機能部として機能させるためにプロセッサ４２によって実行されるプログラムとして、機械学習関連プログラム５１（診断モデル生成プログラム、管種推定モデル生成プログラム、診断モデル送信生成プログラム、管種推定モデル送信プログラム、診断モデル評価プログラム、管種推定モデル評価プログラム）、各種制御、表示プログラム等５４を記憶する。また記憶部３９は、サーバマシン３７の診断モデル生成部４４により生成される機械学習済みモデルとして、展開画像から画像認識等により異状箇所を判定する機械学習済み診断モデル５２を記憶する。さらに記憶部３９は、サーバマシン３７の管種推定モデル生成部４６により生成される機械学習済みモデルとして、展開画像から管種を推定する機械学習済み管種推定モデル５３を記憶する。また記憶部３９は、図７に示すとおり教師データ５５、テストデータ５６、変更登録データ５７も記憶する。
【0040】
下水管内異状診断支援システムの動作
以下、図８～図３２も参照しつつ、下水管内異状診断支援システムの動作を説明する。図８は、下水管内異状診断支援システムの動作フローを示すフローチャートである。なお、以下の例においては撮影画像が動画であるとして説明するが、静止画としての撮影画像（例えば静止画カメラを搭載したカメラ車が下水道管路内部で走行しつつ静止画を断続的に撮影することにより、動画と同様の画像情報を得ることができる）を用いても、同様の原理で下水管内異状診断支援システムを動作させることができる。
以下、図８～図３２も参照しつつ、下水管内異状診断支援システムの動作を説明する。図８は、下水管内異状診断支援システムの動作フローを示すフローチャートである。なお、以下の例においては撮影画像が動画であるとして説明するが、静止画としての撮影画像（例えば静止画カメラを搭載したカメラ車が下水道管路内部で走行しつつ静止画を断続的に撮影することにより、動画と同様の画像情報を得ることができる）を用いても、同様の原理で下水管内異状診断支援システムを動作させることができる。
【0041】
下水管内の動画は、既に説明したとおりカメラを搭載した無人航空機に管内を撮影飛行させるなどして予め撮影済みであるとし、またクライアントマシン１の記憶部３に撮影動画（撮影画像）データ２４として記憶されているとする。クライアントマシン１のユーザは、各種制御、表示部１６（図２５に示すような閲覧画面表示、ユーザからの変更登録等を受け付けるインタフェース等の処理も行う。）により入出力部４のディスプレイ装置に表示される画面を参照しつつ、撮影動画データのリストから、入出力部４のキーボード、マウス等を介して（ユーザからのその他の入出力においても同様）読み込むべき撮影動画を選択する。各種制御、表示部１６は、撮影データ２４に含まれる撮影動画データ１～Ｎ（Ｎは１以上の整数）のうち、選択された撮影動画データを読み込んで入出力部４のディスプレイ装置に表示する（ステップＳ１０１）。
【0042】
次にクライアントマシン１のユーザは、各種制御、表示部１６により入出力部４のディスプレイ装置に表示される画面を参照しつつ、展開図作成の指示を入力し、展開画像作成部８は選択された撮影動画データを用いて展開図（展開画像）を作成する（ステップＳ１０２）。
【0043】
【0044】
１．展開画像作成部８は、まずＯｐｅｎＣＶ（オープンソースのコンピュータビジョン向けライブラリ）の機能（展開画像生成プログラム１７に含まれる）を用いて、動画をフレーム単位に画面キャプチャし、フレーム単位の画像データを生成する（図９）。
【0045】
２．次に展開画像生成部８は、連続した２枚の画像から進んだ距離（ｄｉｓｔ）を算出する（図１０）。ここにおいて、撮影動画は図１１に示すとおり距離メータ表示（単位はｍとする）を含み、ある画像中の距離メータ表示をＡとし、次の画像の距離メータ表示をＢとすると、進んだ距離（ｄｉｓｔ）は、
となる。画像中の左上の距離メータは、画像認識（パターンマッチング）で読み取る。また距離メータがない場合、下記「４．」以降の処理は、切り取り角度ｗｄｅｇ＝１８１．０として行う。
【数1】
【0046】
３．次に展開画像生成部８は、求めた距離（ｄｉｓｔ）からＡ画像の切り取り角度（ｗｄｅｇ）を以下の手順で算出する（図１２）。
（１）ｒｌの円周と、実際の管径（入力パラメータ）から求めた円周よりｒｌ地点の１画素当たりの距離を算出
ただし「＊」は乗算を表す。
（２）ｒｌをｒｓ方向に縮めて行き、距離の合計が入力距離となるｒｓを算出
（３）上記で求めたｒｓから切り取り角度（ｗｄｅｇ）を算出
（１）ｒｌの円周と、実際の管径（入力パラメータ）から求めた円周よりｒｌ地点の１画素当たりの距離を算出
【数2】
（２）ｒｌをｒｓ方向に縮めて行き、距離の合計が入力距離となるｒｓを算出
【数3】
（３）上記で求めたｒｓから切り取り角度（ｗｄｅｇ）を算出
【数4】
【0047】
４．次に展開画像生成部８は、以下の手順で切り取り角度を基に画像の切り取りを行う（図１３～図１５）。
（１）切り取り角度ｗｄｅｇよりｒｓを再度算出
（２）展開図高さはｒｌの円周画素＋１とする
（３）展開図幅は以下の式で算出
（４）ｒｌの円周角度単位に正像変換で展開画像を作成。
※ｐａｒａｍ…可変パラメータ。別途チューニングして設定
上記角度パラメータより展開パラメータを計算する。
展開図幅単位に参照画素を求める。
（１）切り取り角度ｗｄｅｇよりｒｓを再度算出
（２）展開図高さはｒｌの円周画素＋１とする
（３）展開図幅は以下の式で算出
【数5】
（４）ｒｌの円周角度単位に正像変換で展開画像を作成。
【数6】
上記角度パラメータより展開パラメータを計算する。
【数7】
展開図幅単位に参照画素を求める。
【数8】
【数9】
【数10】
【数11】
【数12】
【0048】
５．次に展開画像生成部８は、以下の手順で展開画像の輝度を平準化する（図１６。光の辺り具合にばらつきがある場合があるので、平準化する）。
・天井部分の平均輝度（ｌＹ）を求める。
・対象行の平均輝度（ｒＹ）と調べる画素輝度（Ｙ）の差がＺＺ（閾値）以下であれば輝度を補正する。
・天井部分の平均輝度（ｌＹ）を求める。
・対象行の平均輝度（ｒＹ）と調べる画素輝度（Ｙ）の差がＺＺ（閾値）以下であれば輝度を補正する。
【数13】
【0049】
６．最後に展開画像生成部８は、展開図の接合処理を行う（図１７）。
【0050】
図１８は、展開図作成により得られる展開図の一例を模式的に示す図である。一例においては円筒状の下水管の内側表面が、図１８に示すとおり長方形状の平面図として表される。後述の画像解析、診断モデルによる判定により、下水管内壁５８中の異状箇所６０が自動検出され、また検出結果はクライアント側で変更登録することができる。展開画像生成部８が生成した展開画像は、入出力部４のディスプレイ装置に表示される。
【0051】
次にクライアントマシン１のユーザは、表示された展開画像に対する異状解析方法として、（Ａ）画像解析、及び（Ｂ）診断モデルによる解析のどちらかを選択する（ステップＳ１０３）。
【0052】
（Ａ）画像解析が選択された場合、画像解析部１０は、ステップＳ１０２で生成された展開画像を用いて図１９に示す手順で異状箇所の画像解析を行う（ステップＳ１０４）。
【0053】
図１９は、図８のフロー中、画像解析の動作フローを示すフローチャートである。画像解析は、展開画像の生成と同様にＯｐｅｎＣＶの機能（画像解析プログラム１８に含まれる）を用いて実装することができる。まずユーザは、展開画像の管種を手動設定して入出力部４から入力し、管種及び調査条件受付部２８が入力を受け付ける（ステップＳ２０１）。一例においてユーザはヒューム管、陶管、塩ビ管のうちから設定して入力する。次にユーザは、展開画像の調査条件を手動設定して入出力部４から入力し、管種及び調査条件受付部２８が入力を受け付ける（ステップＳ２０２）。一例においては清掃の有無を設定して入力する。次に二値化パラメータ設定部２９は、管種、調査条件より、画像変換（二値化）のパラメータを生成する（ステップＳ２０３）。具体的に、二値化パラメータ設定部２９は、管種、調査条件ごとにあらかじめ決められた二値化の閾値を設定する（ＯｐｅｎＣＶのｔｈｒｅｓｈｏｌｄパラメータを設定）。引き続き画像変換部３０は、「パラメータ生成」により生成されたパラメータをもとに二値化を行い、展開画像を白黒画像（二値画像）に変換し（ステップＳ２０４）、二値画像解析部３１は、「画像変換」により二値化した画像をピクセル単位に分割する（ステップＳ２０５）。次に二値画像解析部３１は、二値画像に対してピクセル単位で走査を行い、黒色が含まれる部分を黒色でマークし、黒色の塊（特徴点）として抽出し（ステップＳ２０６）、抽出された特徴点を分析して異常箇所を判定する（ステップＳ２０７）。具体的に、二値画像解析部３１は、各異常箇所（破損、クラック…ｅｔｃ）の特徴を判定するアルゴリズムにより、異常箇所であるかの判定および異常箇所であった場合、異常種別を判定する。ここにおけるアルゴリズムとしては、ＯｐｅｎＣＶ等により公知の物体認識アルゴリズム等、任意のアルゴリズムを用いることができ、異常種類ごとにあらかじめ決められた黒色箇所の繋がり、広がり、割合の情報（パラメータ）を用いて異常箇所の判定を行う。具体的な判定基準としては、例えば黒色のピクセル数が所定の閾値を超えた時に異常であると判定し、黒色箇所の形状に応じて破損、クラック等に分類する等、ノウハウ（パターン）の蓄積により判定条件を設定してプログラム化することができる。
【0054】
ステップＳ１０３で（Ｂ）診断モデルによる解析が選択された場合、クライアント側診断モデル判定部１１は、ステップＳ１０２で生成された展開画像を用いて図２０，図２１に示す手順で異状箇所の画像解析を行う（ステップＳ１０５）。
【0055】
まず診断モデル受信部３２は、最新の診断モデルをクラウドサーバ３７からダウンロードし、機械学習済み診断モデル２０として記憶部３に記憶する（ステップＳ３０１）。引き続き、異状箇所モデル判定部３４は、ダウンロードした機械学習済み診断モデル２０を用いて異状箇所の判定を行う（ステップＳ３０２）。上述のとおり機械学習済み診断モデルは、一例において、展開画像データを入力とし、当該展開画像データ中の異状箇所の情報（位置、タイプ、及び異状箇所周辺の画像データ等）を出力とするディープラーニングによる画像認識の学習アルゴリズムを用いて機械学習を行った診断モデルである。異状箇所モデル判定部３４は、機械学習済み診断モデル２０に対する入力として展開画像データを用い、出力として異状箇所の情報（位置、タイプ、及び異状箇所周辺の画像データ等）を得ることにより異状箇所の判定を行う。
【0056】
なお、後述の実施例でも説明するとおり、予めｋ－ｍｅａｎｓ法（ｋ平均法）等の手法により展開画像データをクラスタリングした上で異状箇所のモデル判定を行うことにより判定精度の向上が期待できる。この場合は、展開画像分類部３３が異状箇所モデル判定プログラムを実行することにより展開画像データを分類し、その後に異常箇所モデル判定部３４が任意のアルゴリズムによる機械学習済みの診断モデル２０を用いて異状箇所の判定を行う。一例においては、まず展開画像分類部３３がｋ－ｍｅａｎｓ法により展開画像データをクラスタリングし、その後に異常箇所モデル判定部３４が、クラスタリング結果に応じて定められる特徴量抽出方法に従って展開画像データから複数のパラメータ（背景色、最大明度差、背景とみなす範囲等）から特徴量を抽出し、抽出した特徴量を入力として、ランダムフォレスト、ニューラルネットワーク等の機械学習アルゴリズムにより機械学習された診断モデルに入力して診断を行い、異状箇所の情報（位置、タイプ、及び異状箇所周辺の画像データ等）を出力として得ることができる。
【0057】
なお、ステップＳ１０５においては、クライアント側管種推定部１２による管種、及び清掃状態等の調査条件の推定と併せて異状箇所の判定を行ってもよい。この場合、ステップＳ３０１においては、上述の処理に加えて管種推定モデル受信部３５が最新の管種推定モデルをクラウドサーバ３７からダウンロードし、機械学習済み管種推定モデル２１として記憶部３に記憶する。引き続き、ステップＳ３０２においては、管種モデル推定部３６は、ダウンロードした機械学習済み管種推定モデル２１を用いて管種、及び清掃状態等の調査条件の推定を行い、異状箇所モデル判定部３４は、管種モデル推定部３６の推定結果に応じた機械学習済み診断モデル２０を用いて（ステップＳ３０１において、診断モデル受信部３２はさまざまな管種、及び清掃状態等の調査条件に応じた機械学習済み診断モデル２０を受信して記憶部３に記憶しているとする。）異状箇所の判定を行う。
【0058】
ステップＳ１０６において、判定結果表示部１３は、ステップＳ１０４又はＳ１０５において判定された異状箇所の情報（診断結果）を入出力部４のディスプレイ装置にシステム画面として出力する。一例においては、図２５に示す診断結果閲覧画面が判定結果表示部１３によって入出力部４のディスプレイ装置に表示される。図２５の閲覧画面中、左上には撮影動画データファイルのリストが表示され、ユーザは任意の撮影動画を選択して、上述の展開図生成及び異状箇所診断を閲覧画面内のボタン押下により指示する。また閲覧画面の下部には展開画像が表示され、特に画像解析又は診断モデルによる解析で異状であると判定された箇所を囲むよう色付きの枠（本件図面ではグレースケール表示となっている。）が表示されている。また接続部分（継手部分）に重なるよう色付きの線（本件図面ではグレースケール表示となっている。）が表示されている（画像解析アルゴリズム、或いは機械学習により異状箇所の判定モデルを生成する際に、出力として異状箇所の情報だけでなく接続部分（継手部分）の位置等も出力するよう構成できる。例えば診断モデルにディープラーニングとしての機械学習をさせる場合は、教師データとして、異状箇所の情報に加えて継手部分の情報とセットにした展開画像データを与えてモデルに機械学習をさせることができるし、或いは画像解析アルゴリズムとして、二値画像において下水管を切断するような線状部分を検出した時に接続部分（継手部分）と判断するようアルゴリズムを構築することができる。）。
【0059】
またステップＳ１０６で表示される診断結果閲覧画面において、ユーザは、異状箇所の判定結果に対する変更登録（編集）を行うことができる。一例において、図２５の閲覧画面を見たユーザが、上記色付きの枠で囲まれていない部分において異状箇所を発見した時は、当該発見した異状箇所を入出力部４のマウス操作（ドラッグ・アンド・ドロップ等）により選択し、画面案内に沿って異状の種類（破損・クラック等）等の情報を選択することにより、異状箇所の判定結果を編集することができる。またここにおいてユーザは、管種、清掃状態等の調査条件も同様に編集することができることとしてよい。
【0060】
編集が終わり、ユーザによる異状箇所の確認、変更が終了すると、ユーザが閲覧画面で完了ボタンを押下することにより、変更内容が変更登録データ２７として記憶部３に記憶されて異状箇所の確定処理が行われる（ステップＳ１０７）。また変更がない場合も、ユーザ操作により出力された異常箇所の確認を行い、異常箇所の確定を行う。引き続き、異状箇所の画像データ、及びユーザによる変更後の異状箇所のデータ（管種、清掃状態等の調査条件の変更後のデータも含んでよい。）がクライアントマシン１の通信部５からサーバマシン３７へと送信され（異常箇所データアップロード）、サーバマシン３７の通信部４１がこれを受信して、記憶部３９が変更登録データ５７として変更後の異状箇所のデータを異状箇所の画像データとともに記憶する（ステップＳ１０８）。サーバマシン３７の診断モデル生成部４４、管種推定モデル生成部４６は、受信したユーザによる変更後の異状箇所データ、管種、清掃状態等の調査条件の変更後のデータと、対応する展開画像データ（クライアントマシン１から受信するとする。）を教師データとして異状箇所診断モデル、管種推定モデルをそれぞれ再度機械学習させて機械学習済みモデルを生成することにより、異状箇所診断モデル、管種推定モデルの判定精度を向上させることができる（ステップＳ１０９）。引き続き、診断モデル評価部４８、管種推定モデル評価部４９は、生成した機械学習済みの異状箇所診断モデル、管種推定モデルの精度を、テストデータ５６を用いる等して検証し（ステップＳ１１０）、診断モデル送信部４５、管種推定モデル送信部４７からクライアントマシン１へと送信し、クライアントマシン１は次回の診断モデルによる解析においては判定精度が向上した異状箇所診断モデル、管種推定モデルを利用することができる。このように、ステップＳ１０５、Ｓ１０６、Ｓ１０７、Ｓ１０８、Ｓ１０９、Ｓ１１０、Ｓ１０５のサイクルを繰り返すことで、異常箇所の教師データが蓄積され、機械学習により生成される診断モデル、管種推定モデルの異常解析、管種推定精度が向上する。
【0061】
なお、既に述べたとおり、異状箇所診断モデル、管種推定モデルはディープラーニングによる機械学習済みの異状箇所診断モデル、管種推定モデルであってよいが、これに限らず、ランダムフォレスト、ニューラルネットワーク等、任意の機械学習アルゴリズムにより異状箇所診断モデル、管種推定モデルを構築してよい。診断モデル生成の動作フローの一例を図２１に示す。
【0062】
ステップＳ４０１において、診断モデル生成部４４は、クラスタリングにより異状箇所の画像を分類する。一例において、診断モデル生成部４４は、ｋ－ｍｅａｎｓ法によりクラスタリングを行う。この際、分類の数は任意の値Ｎを設定し、Ｎ種類に分類する。ステップＳ４０２において、診断モデル生成部４４は、分類された画像ごとに、以下のとおり分類器作成のパラメータを生成する。
［パラメータ生成手法］
分類種別ごとに決められたＯｐｅｎ ＣＶのパラメータ（内容は以下）を設定する
＜ベクトルファイル作成パラメータ＞
－ｉｎｖ －ｒａｎｄｉｎｖ…色の反転をする場合に指定
－ｂｇｃｏｌｏｒ …背景色
－ｂｇｔｈｒｅｓｈ…背景とみなす範囲
－ｍａｘｉｄｅｖ…最大明度差
－ｍａｘｘａｎｇｌｅ
－ｍａｘｙａｎｇｌｅ ．．．最大回転角度ｒａｄ
－ｍａｘｚａｎｇｌｅ
－ｗ…ベクトルの横幅
－ｈ…ベクトルの高さ
＜分類器作成パラメータ＞
－ｆｅａｔｕｒｅＴｙｐｅ …特徴量の見つけ方
ＨＡＡＲ：画像の明暗差により特徴を捉える手法
ＬＢＰ：輝度の分布（ヒストグラム）により特徴を捉える手法
ＨＯＧ：輝度の勾配方向の分布により特徴を捉える手法
－ｂｔ …ｂｏｏｓｔ分類器のタイプ
ＤＡＢ：Ｄｉｓｃｒｅｔｅ ＡｄａＢｏｏｓｔ
ＲＡＢ ：Ｒｅａｌ ＡｄａＢｏｏｓｔ
ＬＢ：ＬｏｇｉｔＢｏｏｓｔ
ＧＡＢ：Ｇｅｎｔｌｅ ＡｄａＢｏｏｓｔ
－ｍｉｎＨｉｔＲａｔｅ…最小ヒット率
－ｍａｘＦａｌｓｅＡｌａｒｍＲａｔｅ…最大ｆａｌｓｅ ａｌａｒｍ率
－ｗｅｉｇｈｔＴｒｉｍＲａｔｅ…値によりトリミングを行うか指定する
－ｍａｘＤｅｐｔｈ…弱検出器の最大の深さ
－ｍａｘＷｅａｋＣｏｕｎｔ…ｍａｘＦａｌｓｅＡｌａｒｍＲａｔｅ達成に必要とされる弱分類器の最大数
［パラメータ生成手法］
分類種別ごとに決められたＯｐｅｎ ＣＶのパラメータ（内容は以下）を設定する
＜ベクトルファイル作成パラメータ＞
－ｉｎｖ －ｒａｎｄｉｎｖ…色の反転をする場合に指定
－ｂｇｃｏｌｏｒ …背景色
－ｂｇｔｈｒｅｓｈ…背景とみなす範囲
－ｍａｘｉｄｅｖ…最大明度差
－ｍａｘｘａｎｇｌｅ
－ｍａｘｙａｎｇｌｅ ．．．最大回転角度ｒａｄ
－ｍａｘｚａｎｇｌｅ
－ｗ…ベクトルの横幅
－ｈ…ベクトルの高さ
＜分類器作成パラメータ＞
－ｆｅａｔｕｒｅＴｙｐｅ …特徴量の見つけ方
ＨＡＡＲ：画像の明暗差により特徴を捉える手法
ＬＢＰ：輝度の分布（ヒストグラム）により特徴を捉える手法
ＨＯＧ：輝度の勾配方向の分布により特徴を捉える手法
－ｂｔ …ｂｏｏｓｔ分類器のタイプ
ＤＡＢ：Ｄｉｓｃｒｅｔｅ ＡｄａＢｏｏｓｔ
ＲＡＢ ：Ｒｅａｌ ＡｄａＢｏｏｓｔ
ＬＢ：ＬｏｇｉｔＢｏｏｓｔ
ＧＡＢ：Ｇｅｎｔｌｅ ＡｄａＢｏｏｓｔ
－ｍｉｎＨｉｔＲａｔｅ…最小ヒット率
－ｍａｘＦａｌｓｅＡｌａｒｍＲａｔｅ…最大ｆａｌｓｅ ａｌａｒｍ率
－ｗｅｉｇｈｔＴｒｉｍＲａｔｅ…値によりトリミングを行うか指定する
－ｍａｘＤｅｐｔｈ…弱検出器の最大の深さ
－ｍａｘＷｅａｋＣｏｕｎｔ…ｍａｘＦａｌｓｅＡｌａｒｍＲａｔｅ達成に必要とされる弱分類器の最大数
【0063】
ステップＳ４０３において、診断モデル生成部４４は、ステップＳ４０２の「分類器生成パラメータ生成」により生成されたパラメータをもとに分類器の作成を行う。ここにおける分類器とは、ランダムフォレスト、ニューラルネットワーク等、任意の機械学習アルゴリズムによる分類器であってよい。
【0064】
図２２は、学習アルゴリズムの一例として、ランダムフォレストの概念（学習段階）を説明する図であり、図２３はランダムフォレストの概念（運用段階）を説明する図である。ランダムフォレストの概要を次に説明する。ランダムフォレストにより機械学習された最終的なモデルは、運用段階においては、決定木と呼ばれるモデルを複数用いて、各々の決定木による予測（推定）結果の多数決（分類）、平均（回帰）をとることにより最終的な出力を得る。ランダムフォレストの学習段階においては、多数の説明変数をブートストラップ法と呼ばれる手法のランダムな復元抽出によって複数のサブサンプルに分類し、各々のサブサンプルにおける大量の教師データを各々の決定木に与えることにより各々の決定木が別個に独立した学習を行って、複数のモデル（決定木）での学習がなされる。ランダムフォレストの機械学習アルゴリズムにより生成される最終的な機械学習モデルは、複数の決定木の集合体と解釈することができる。
【0065】
図２４は、学習アルゴリズムの一例として、ニューラルネットワークの概念を説明する図である。ニューラルネットワークの概要を次に説明する。ニューラルネットワークにおいては、入力層と出力層との間に１以上の隠れ層（中間層）が存在し、入力層中のノード値が隠れ層中のノード値へと変換され、隠れ層中のノード値が出力層のノード値へと変換されることにより、入力データ（説明変数データ）から出力データ（目的変数データ、分類結果）が得られる。或る層から次の層へのノード値の変換は、線形変換や、活性化関数を用いた非線形変換によって行われる。入力層と隠れ層との間にあるノード間の結合、そして隠れ層と出力層との間にあるノード間の結合は、１つ１つが別個に重みの値を有しており、説明変数と目的変数の教師データを与えて学習させることにより、それぞれの重みの値が更新されていく。学習時に各層の重さは、誤差逆伝播法によって重みを更新している。要求出力と実際の出力の差が小さくなるように計算して、各層に反映する。中間層の層数や、個々の中間層に属するノード数等のハイパーパラーメータを調整することによりモデルを任意に構築することができる。ランダムフォレストやニューラルネットワークは周知の機械学習アルゴリズムであるから、ここではこれ以上詳しく説明しない。
【0066】
ステップＳ４０４において、診断モデル生成部４４は、異常分類ごとに作成された分類器をもとに診断モデルを生成する。
【0067】
またステップＳ１０７で異状箇所が確定されると、帳票出力部１５による帳票出力が行われる（ステップＳ１１１）。帳票出力は、クライアントマシン１に接続されたプリンタにより紙媒体に出力することにより行われてもよいし、ＥＸＣＥＬ（登録商標）ファイル等、電子ファイルの形式で出力することにより行われてもよい。図２６に、帳票出力における帳票の一例（本管用調査記録表）を、図２７～図３２に、図２６の本管用調査記録表の一部を拡大した図を、それぞれ示す（図２９～図３２は別シートの展開画像）。ただし、実際の異常箇所を表しているわけではなく例としてシステムで入力したものであることに留意する。
【0068】
図２７，図２８に示す帳票の各項目中、調査番号６１、調査名６２、上流人孔番号６３、下流人孔番号６４、（上流）人孔種別、人孔深、土被り６５、管種、管径、路線延長６６、（下流）人孔種別、人孔深、土被り６７、異常箇所イメージ６８、管本数、取付管数、管不良数、布設年度６９、距離７０、異常（破損）箇所の内容、距離７１、異常（クラック）箇所の内容、距離７２、異常個所ごとの、各異常内容の数７３は、システム側から出力される項目であり、システムにて登録した値およびそれらを集計した値が出力される。それ以外の箇所は、テンプレートとしてあらかじめ用意された項目である。特に異常箇所イメージ６８は、システムで登録した異常箇所のイメージ（画像解析、或いは診断モデル解析により判定され、必要に応じてユーザ側で変更された異状箇所のイメージ）を出力し、異常箇所の内容、距離７１，７２は、システムで登録した異常箇所の情報（異常種別、ランク、左端からの距離）を出力する。図２９～図３２は、別シートで展開画像を表示したものであり、これらにおいても、路線番号、上流人孔番号、下流人孔番号、調査方向、管本数、延長、管径、管種、管長７４、破損個所７５、路線番号、上流人孔番号、下流人孔番号、調査方向、管本数、延長、管径、管種、管長７６、クラック個所７７のように、登録した情報に基づき帳票出力が行われる。
【実施例】
【0069】
下水管内異状診断支援システムの性能評価
以下、本発明の実施例として作成した下水管内異状診断支援システムの性能評価結果を説明する。
以下、本発明の実施例として作成した下水管内異状診断支援システムの性能評価結果を説明する。
【0070】
（実施例のシステムの構成）
本実施例のシステムにおいては、ＴＶカメラ車に搭載した以下の仕様：
・走行速度 ２１ｍ／分
・適用管径 ２００～１２００ｍｍ
・解像度 ＣＭＯＳセンサ
・レンズ 超広角レンズ（画角１８５°）
・画素数 ５００万画素
・その他 リアルタイム確認可
のカメラで撮影した下水管渠（管きょ）の映像をパーソナルコンピュータ（クライアントマシン）に取り込み、展開図を作成する。作成した展開図に対して、画像解析及び機械学習によって生成された診断モデルを用いて異常箇所の判定を行い、機械的に異常箇所と判定された箇所を展開図上に表示する。調査担当者（ユーザ）は、その結果を基に不具合等の異常箇所の判定を行い、調査報告書を作成する。クラウド側の機能は、調査担当者が最終判断した結果とシステム判定結果（誤検出含む）を教師データとして管理し、機械学習モデル（診断モデル）を生成する。この診断モデルは、パーソナルコンピュータ側の機械学習モデルを最適化し、次回以降の異常箇所判定に適用される。この異常箇所判定から機械学習モデルの精度向上のサイクルを繰り返し行うことで、判定精度を向上させ、診断にかかる作業負担や調査時間の短縮を目指すことができる。
本実施例のシステムにおいては、ＴＶカメラ車に搭載した以下の仕様：
・走行速度 ２１ｍ／分
・適用管径 ２００～１２００ｍｍ
・解像度 ＣＭＯＳセンサ
・レンズ 超広角レンズ（画角１８５°）
・画素数 ５００万画素
・その他 リアルタイム確認可
のカメラで撮影した下水管渠（管きょ）の映像をパーソナルコンピュータ（クライアントマシン）に取り込み、展開図を作成する。作成した展開図に対して、画像解析及び機械学習によって生成された診断モデルを用いて異常箇所の判定を行い、機械的に異常箇所と判定された箇所を展開図上に表示する。調査担当者（ユーザ）は、その結果を基に不具合等の異常箇所の判定を行い、調査報告書を作成する。クラウド側の機能は、調査担当者が最終判断した結果とシステム判定結果（誤検出含む）を教師データとして管理し、機械学習モデル（診断モデル）を生成する。この診断モデルは、パーソナルコンピュータ側の機械学習モデルを最適化し、次回以降の異常箇所判定に適用される。この異常箇所判定から機械学習モデルの精度向上のサイクルを繰り返し行うことで、判定精度を向上させ、診断にかかる作業負担や調査時間の短縮を目指すことができる。
【0071】
（検査対象）
本実施例のシステムの判定精度の検証は、管路調査結果報告書の異常箇所の情報（人による診断結果）を正解として、システムの判定結果との比較により精度評価を行う。検証対象とするデータは、３都市で実施したスクリーニング調査結果（管きょ延長１１．７ｋｍ）のうち、スパン単位の異常判定結果が主にクラックや破損によるランクＡ及びランクＢの管きょ映像をサンプリングした（図３３の表－１参照）。
本実施例のシステムの判定精度の検証は、管路調査結果報告書の異常箇所の情報（人による診断結果）を正解として、システムの判定結果との比較により精度評価を行う。検証対象とするデータは、３都市で実施したスクリーニング調査結果（管きょ延長１１．７ｋｍ）のうち、スパン単位の異常判定結果が主にクラックや破損によるランクＡ及びランクＢの管きょ映像をサンプリングした（図３３の表－１参照）。
【0072】
（画像解析による異常箇所判定）
画像解析による異常箇所判定は、異常箇所とその他の画像的な特徴の違いにより行う。処理フローと特徴的な処理イメージを図３４に示す。スクリーニング調査結果を基に生成する展開図に対して、管種や清掃の有無等の調査条件を設定し、それぞれの管種、管内の状態に応じて輝度やノイズ除去の要否等の画像処理に係わるパラメータを設定する。このパラメータは管内調査の条件を基に特徴箇所の抽出を容易にする値となっている。次に解析処理では、変換画像をピクセル単位に分割し、このピクセル単位を黒色でマークする。マークされた黒の塊を特徴点として抽出し、その分布（繋がり、広がり方、割合等）から異常箇所の判定及び異常種別の判定を行う。
画像解析による異常箇所判定は、異常箇所とその他の画像的な特徴の違いにより行う。処理フローと特徴的な処理イメージを図３４に示す。スクリーニング調査結果を基に生成する展開図に対して、管種や清掃の有無等の調査条件を設定し、それぞれの管種、管内の状態に応じて輝度やノイズ除去の要否等の画像処理に係わるパラメータを設定する。このパラメータは管内調査の条件を基に特徴箇所の抽出を容易にする値となっている。次に解析処理では、変換画像をピクセル単位に分割し、このピクセル単位を黒色でマークする。マークされた黒の塊を特徴点として抽出し、その分布（繋がり、広がり方、割合等）から異常箇所の判定及び異常種別の判定を行う。
【0073】
（検証結果）
検証対象データ（図３３の表－１）に対して、画像解析による異常箇所判定を実施した。判定結果は、破損やクラックの異常箇所のうち、ランクａ及びｂは、異常ではない箇所を２３％～３５％判定したものの、異常箇所として全て特定することができた。その一方で、ランクｃの小さな異常では、検知できない箇所が生じ、異常箇所特定率は９６．７％であった（図３５の表－２）。画像解析による判定は、調査条件等の調査映像に左右されるものの比較的大きな異常であれば、異常ではない箇所も含まれるが、漏れなく特定できると考えられる。
検証対象データ（図３３の表－１）に対して、画像解析による異常箇所判定を実施した。判定結果は、破損やクラックの異常箇所のうち、ランクａ及びｂは、異常ではない箇所を２３％～３５％判定したものの、異常箇所として全て特定することができた。その一方で、ランクｃの小さな異常では、検知できない箇所が生じ、異常箇所特定率は９６．７％であった（図３５の表－２）。画像解析による判定は、調査条件等の調査映像に左右されるものの比較的大きな異常であれば、異常ではない箇所も含まれるが、漏れなく特定できると考えられる。
【0074】
（機械学習を用いた異常箇所判定精度の向上）
これまでの検証結果から、画像処理による異常箇所の判定においても一定の精度を確保することが確認できた。しかし、抽出できなかった異常が検出される場合は、パラメータの最適化や異常箇所判定手法の改良を行う必要があり、恒久的に精度向上を図っていくには課題が残る。そこで、恒久的な精度向上を目的として、機械学習による異常箇所の判定が有用と考え、本研究では、データ数は少ないものの診断結果を教師データとして機械学習モデルを生成し、その判定精度について検証を試みた。
これまでの検証結果から、画像処理による異常箇所の判定においても一定の精度を確保することが確認できた。しかし、抽出できなかった異常が検出される場合は、パラメータの最適化や異常箇所判定手法の改良を行う必要があり、恒久的に精度向上を図っていくには課題が残る。そこで、恒久的な精度向上を目的として、機械学習による異常箇所の判定が有用と考え、本研究では、データ数は少ないものの診断結果を教師データとして機械学習モデルを生成し、その判定精度について検証を試みた。
【0075】
（機械学習による診断モデルの生成）
機械学習により生成されるモデルの異常箇所の判定精度は、学習を行うデータの量に依存する。そのため、今回の検証においては、教師データとなる診断結果の数が比較的多い破損とクラックを対象に、学習データ量の違いによる判定精度を比較する。生成する診断モデルは、異常箇所と異常箇所以外の比率（７：３）を同じにした状態で、学習データ量を変更させて複数生成する。それぞれの診断モデルにて学習データ以外の異常箇所判定を実施した。また、学習データが少ないため、機械的な判定が比較的容易なランクａ程度の特徴的なもの（図３６参照）を対象に検証する。診断モデルは、破損とクラックに対してそれぞれの分類器（クラスタリングを行って分類された画像ごとに学習（ディープラーニング）させた結果生成される機械学習モデル）を用いた生成フローとした（図３７参照）。異常箇所の画像は、ｋ－ｍｅａｎｓ法によるクラスタリングにより共通した特徴を持つ画像に分類する。その特徴を抽出するパラメータでの機械学習（ディープラーニング）により、異常を判定する診断モデルが生成される。
機械学習により生成されるモデルの異常箇所の判定精度は、学習を行うデータの量に依存する。そのため、今回の検証においては、教師データとなる診断結果の数が比較的多い破損とクラックを対象に、学習データ量の違いによる判定精度を比較する。生成する診断モデルは、異常箇所と異常箇所以外の比率（７：３）を同じにした状態で、学習データ量を変更させて複数生成する。それぞれの診断モデルにて学習データ以外の異常箇所判定を実施した。また、学習データが少ないため、機械的な判定が比較的容易なランクａ程度の特徴的なもの（図３６参照）を対象に検証する。診断モデルは、破損とクラックに対してそれぞれの分類器（クラスタリングを行って分類された画像ごとに学習（ディープラーニング）させた結果生成される機械学習モデル）を用いた生成フローとした（図３７参照）。異常箇所の画像は、ｋ－ｍｅａｎｓ法によるクラスタリングにより共通した特徴を持つ画像に分類する。その特徴を抽出するパラメータでの機械学習（ディープラーニング）により、異常を判定する診断モデルが生成される。
【0076】
（機械学習を用いた異常箇所判定の検証結果）
機械学習モデルを用いた異常箇所判定結果は、学習データを増やすことで、破損では９割以上、クラックでは、約７割の判定結果となった（図３８，図３９）。これは、破損と比較してクラックの形状に特徴が少なかったためであると考えられる。本検証の結果から、少ないデータ量でも比較的特定しやすい異常であれば、一定の精度を確保できることと、今後、学習データを増やすことで、判定精度を向上できることを確認した。
機械学習モデルを用いた異常箇所判定結果は、学習データを増やすことで、破損では９割以上、クラックでは、約７割の判定結果となった（図３８，図３９）。これは、破損と比較してクラックの形状に特徴が少なかったためであると考えられる。本検証の結果から、少ないデータ量でも比較的特定しやすい異常であれば、一定の精度を確保できることと、今後、学習データを増やすことで、判定精度を向上できることを確認した。
【産業上の利用可能性】
【0077】
本発明は、ヒューム管、陶管、塩ビ管等、さまざまな管種の下水管の異状診断のために用いることができる。
【符号の説明】
【0078】
１ クライアントマシン
２ 制御部
３ 記憶部
４ 入出力部
５ 通信部
６ プロセッサ
７ 一時メモリ
８ 展開画像生成部
９ クライアント側異状箇所判定部
１０ 画像解析部
１１ クライアント側診断モデル判定部
１２ クライアント側管種推定部
１３ 判定結果表示部
１４ 変更登録受付部
１５ 帳票出力部
１６ 各種制御、表示部
１７ 展開画像生成プログラム
１８ 画像解析プログラム
１９ 機械学習関連プログラム
２０ 機械学習済み診断モデル
２１ 機械学習済み管種推定モデル
２２ 帳票出力プログラム
２３ 各種制御、表示プログラム等
２４ 撮影動画（画像）データ
２５ 展開画像データ
２６ 異状箇所、管種データ
２７ 変更登録データ
２８ 管種及び調査条件受付部
２９ 二値化パラメータ設定部
３０ 画像変換部
３１ 二値画像解析部
３２ 診断モデル受信部
３３ 展開画像分類部
３４ 異状箇所モデル判定部
３５ 管種推定モデル受信部
３６ 管種モデル推定部
３７ （クラウド）サーバマシン
３８ 制御部
３９ 記憶部
４０ 入出力部
４１ 通信部
４２ プロセッサ
４３ 一時メモリ
４４ 診断モデル生成部
４５ 診断モデル送信部
４６ 管種推定モデル生成部
４７ 管種推定モデル送信部
４８ 診断モデル評価部
４９ 管種推定モデル評価部
５０ 各種制御、表示部
５１ 機械学習関連プログラム
５２ 機械学習済み診断モデル
５３ 機械学習済み管種推定モデル
５４ 各種制御、表示プログラム等
５５ 教師データ
５６ テストデータ
５７ 変更登録データ
５８ 下水管内壁
５９ 下水
６０ 異常（異状）箇所
６１ 調査番号
６２ 調査名
６３ 上流人孔番号
６４ 下流人孔番号
６５ （上流）人孔種別、人孔深、土被り
６６ 管種、管径、路線延長
６７ （下流）人孔種別、人孔深、土被り
６８ 異常箇所イメージ
６９ 管本数、取付管数、管不良数、布設年度
７０ 距離
７１ 異常（破損）箇所の内容、距離
７２ 異常（クラック）箇所の内容、距離
７３ 異常個所ごとの、各異常内容の数
７４ 路線番号、上流人孔番号、下流人孔番号、調査方向、管本数、延長、管径、管種、管長
７５ 破損個所
７６ 路線番号、上流人孔番号、下流人孔番号、調査方向、管本数、延長、管径、管種、管長
７７ クラック個所
１０００ 下水道管
１００１ 地表
１００２，１００３ マンホール
１１００ 接続部（継手部分）
１２００ 管状空間
２ 制御部
３ 記憶部
４ 入出力部
５ 通信部
６ プロセッサ
７ 一時メモリ
８ 展開画像生成部
９ クライアント側異状箇所判定部
１０ 画像解析部
１１ クライアント側診断モデル判定部
１２ クライアント側管種推定部
１３ 判定結果表示部
１４ 変更登録受付部
１５ 帳票出力部
１６ 各種制御、表示部
１７ 展開画像生成プログラム
１８ 画像解析プログラム
１９ 機械学習関連プログラム
２０ 機械学習済み診断モデル
２１ 機械学習済み管種推定モデル
２２ 帳票出力プログラム
２３ 各種制御、表示プログラム等
２４ 撮影動画（画像）データ
２５ 展開画像データ
２６ 異状箇所、管種データ
２７ 変更登録データ
２８ 管種及び調査条件受付部
２９ 二値化パラメータ設定部
３０ 画像変換部
３１ 二値画像解析部
３２ 診断モデル受信部
３３ 展開画像分類部
３４ 異状箇所モデル判定部
３５ 管種推定モデル受信部
３６ 管種モデル推定部
３７ （クラウド）サーバマシン
３８ 制御部
３９ 記憶部
４０ 入出力部
４１ 通信部
４２ プロセッサ
４３ 一時メモリ
４４ 診断モデル生成部
４５ 診断モデル送信部
４６ 管種推定モデル生成部
４７ 管種推定モデル送信部
４８ 診断モデル評価部
４９ 管種推定モデル評価部
５０ 各種制御、表示部
５１ 機械学習関連プログラム
５２ 機械学習済み診断モデル
５３ 機械学習済み管種推定モデル
５４ 各種制御、表示プログラム等
５５ 教師データ
５６ テストデータ
５７ 変更登録データ
５８ 下水管内壁
５９ 下水
６０ 異常（異状）箇所
６１ 調査番号
６２ 調査名
６３ 上流人孔番号
６４ 下流人孔番号
６５ （上流）人孔種別、人孔深、土被り
６６ 管種、管径、路線延長
６７ （下流）人孔種別、人孔深、土被り
６８ 異常箇所イメージ
６９ 管本数、取付管数、管不良数、布設年度
７０ 距離
７１ 異常（破損）箇所の内容、距離
７２ 異常（クラック）箇所の内容、距離
７３ 異常個所ごとの、各異常内容の数
７４ 路線番号、上流人孔番号、下流人孔番号、調査方向、管本数、延長、管径、管種、管長
７５ 破損個所
７６ 路線番号、上流人孔番号、下流人孔番号、調査方向、管本数、延長、管径、管種、管長
７７ クラック個所
１０００ 下水道管
１００１ 地表
１００２，１００３ マンホール
１１００ 接続部（継手部分）
１２００ 管状空間
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
