特開 2025-8560 水質判定装置および水質判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025008560

(43)【公開日】2025-01-20

(54)【発明の名称】水質判定装置および水質判定方法

(51)【国際特許分類】

   C02F 1/00 20230101AFI20250109BHJP

   G06T 7/00 20170101ALI20250109BHJP

   G06V 10/82 20220101ALI20250109BHJP

【ＦＩ】

C02F1/00 T

G06T7/00 350C

G06V10/82

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023110817

(22)【出願日】2023-07-05

(71)【出願人】

【識別番号】000006105

【氏名又は名称】株式会社明電舎

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】徐 鄭

(72)【発明者】

【氏名】木村 雄喜

(72)【発明者】

【氏名】鮫島 正一

(72)【発明者】

【氏名】▲高▼倉 正佳

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA02

5L096BA18

5L096CA02

5L096DA02

5L096EA03

5L096EA13

5L096EA35

5L096EA43

5L096FA19

5L096FA25

5L096FA59

5L096GA10

5L096GA34

5L096HA11

5L096MA07

(57)【要約】

【課題】誤検出することなく、高精度で異常を検出することを可能とした水質判定装置および水質判定方法を提供する。
【解決手段】画像データ記憶部１０１は、ネットカメラで撮影された水面の画像データを保存する。画像データ加工部１０２は、画像データを加工して加工済画像データを出力する。画像データ拡張部１０３は、加工済画像データから異常ダミーデータを生成する。学習処理部１０４は、異常ダミーデータを教師データとして学習を行い、学習済パラメータをパラメータ記憶部１０５に保存する。異常推定部１０６は、加工済画像データを、学習済パラメータを用いて処理し、セグメンテーションマップを出力する。水質判定部１０７は、セグメンテーションマップに基づいて、所定の閾値に基づいて正常／異常を判定し、判定結果を示す水質判定結果データを出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

水質判定対象から取得した画像データを記憶する画像データ記憶部と、
前記画像データ記憶部に記憶された前記画像データに加工処理を行って加工済画像データを出力する画像データ加工部と、
前記加工済画像データに対してデータ拡張を行い、異常ダミーデータを生成する画像データ拡張部と、
前記異常ダミーデータを教師データとして用いて深層学習し、学習済パラメータを出力する学習処理部と、
前記学習済パラメータを記憶するパラメータ記憶部と、
前記パラメータ記憶部に記憶された前記学習済パラメータを用いて、前記加工済画像データの各ピクセルに対してどのクラスラベルに属するかを推定する異常推定部と、
前記異常推定部により推定された各ピクセルのクラスラベルに基づいて水質判定を行う水質判定部と、
を備える水質判定装置。

【請求項2】

前記画像データ拡張部は、
異常画像データからユーザ操作に応じて選択された領域をブロック画像データとして選択し、前記選択されたブロック画像データを２値化することにより、異常ピクセルと近傍に残留の背景ピクセルとを正確に分離した、異常ピクセルのみが存在する二値化されたマスク画像データを生成し、前記ブロック画像データと前記マスク画像データとを結合し、任意の形状と明るさを有するブロックデータセットを作成し、前記ブロックデータセットと正常な前記加工済画像データとを結合し、前記異常ダミーデータを生成することを特徴とする請求項１に記載の水質判定装置。

【請求項3】

前記画像データ拡張部は、
自動的に、異常ピクセルを有する前記異常画像データを任意の形状の局部画像に分割し、異常ピクセルの密集度に応じてラベリングを行い、異常ピクセルを有する画像の局所領域をクラスタリングすることで、前記ブロック画像データの切り取り位置と形状を確定することを特徴とする請求項２に記載の水質判定装置。

【請求項4】

前記画像データ拡張部によって、事前にラベル付けされた異常ピクセルデータを、前記水質判定対象とは異なる水質判定対象における水質を判定する水質判定装置で使用可能に記憶する異常ピクセルデータ記憶部をさらに備えることを特徴とする請求項２または３に記載の水質判定装置。

【請求項5】

前記画像データ拡張部に代えて、前記異常ピクセルデータ記憶部の異常ピクセルデータを用いて、前記異なる水質判定対象における正常な画像データと組み合わせて学習用の異常ダミーデータを生成するダミーデータ生成部を備えることを特徴とする請求項４に記載の水質判定装置。

【請求項6】

画像データ記憶部と、画像データ加工部と、画像データ拡張部と、学習処理部と、パラメータ記憶部と、異常推定部と、水質判定部と備える水質判定装置の水質判定方法であって、
前記画像データ記憶部が、水質判定対象から取得した画像データを記憶すること、
前記画像データ加工部が、前記画像データ記憶部に記憶された前記画像データに加工処理を行って加工済画像データを出力すること、
前記画像データ拡張部が、前記加工済画像データに対してデータ拡張を行い、異常ダミーデータを生成すること、
前記学習処理部が、前記異常ダミーデータを教師データとして用いて深層学習し、学習済パラメータを出力すること、
前記パラメータ記憶部が、前記学習済パラメータを記憶すること、
前記異常推定部が、前記パラメータ記憶部に記憶された前記学習済パラメータを用いて、前記加工済画像データの各ピクセルに対してどのクラスラベルに属するかを推定すること、
前記水質判定部が、前記異常推定部により推定された各ピクセルのクラスラベルに基づいて水質判定を行うこと含むことを特徴とする水質判定方法。

【請求項7】

前記画像データ拡張部が、異常ダミーデータを生成することは、
異常画像データからユーザ操作に応じて選択された領域をブロック画像データとして選択すること、
前記選択されたブロック画像データを２値化することにより、異常ピクセルと近傍に残留の背景ピクセルとを正確に分離した、異常ピクセルのみが存在する二値化されたマスク画像データを生成すること、
前記ブロック画像データと前記マスク画像データとを結合し、任意の形状と明るさを有するブロックデータセットを作成すること、
前記ブロックデータセットと正常な前記加工済画像データとを結合し、前記異常ダミーデータを生成することを含むことを特徴とする請求項６に記載の水質判定方法。

【請求項8】

前記画像データ拡張部が、異常ダミーデータを生成することは、
自動的に、異常ピクセルを有する前記異常画像データを任意の形状の局部画像に分割し、異常ピクセルの密集度に応じてラベリングを行うこと、
異常ピクセルを有する画像の局所領域をクラスタリングすることで、前記ブロック画像データの切り取り位置と形状を確定することを含むことを特徴とする請求項７に記載の水質判定方法。

【請求項9】

前記水質判定装置は、異常ピクセルデータ記憶部をさらに備え、
前記異常ピクセルデータ記憶部が、前記画像データ拡張部によって事前にラベル付けされた異常ピクセルデータを、前記水質判定対象とは異なる水質判定対象における水質を判定する水質判定装置で使用可能に記憶することを含むことを特徴とする請求項７または８に記載の水質判定方法。

【請求項10】

前記水質判定装置は、前記画像データ拡張部に代えて、ダミーデータ生成部を備え、
前記ダミーデータ生成部が、前記異常ピクセルデータ記憶部の異常ピクセルデータを用いて、前記異なる水質判定対象における正常な画像データと組み合わせて学習用の異常ダミーデータを生成することを含むことを特徴とする請求項９に記載の水質判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、水質判定装置および水質判定方法に関する。

【背景技術】

【0002】

下水処理場の汚水処理の一環である最終沈殿池は、反応タンクで増殖した活性汚泥を取り除くことで、下水を浄化するものである。水面に浮かぶフロック（活性汚泥の中に含まれる、微生物の集合体）やスカム（浮きカス）といった異物を定期的に検出・回収することによって、川に放流する下水の水質を安定させることができる。

【0003】

近年、下水処理場においても労働力が不足しており、下水道処理施設の維持及び管理の効率化が求められている。そのため、職員の業務の一部を人工知能（ＡＩ：Artificial Intelligence）により代替することが検討されている。

【0004】

従来技術の一例である特許文献１には、特別なチューニングを行うことなく、水質の多様な特徴に対応した水質分析を行う水質分析装置及び水質分析方法が開示されている。特許文献１の水質分析装置は、沈殿池の画像データについて畳み込みオートエンコーダ（ＣＡＥ）を学習して前記沈殿池の色相の特徴量を抽出し、該色相の特徴量からクラスタリングにより前記画像データを色相のクラスタに分類して色相の特徴空間及びクラスタ分布を描画する色相分析部と、ＣＡＥを用いて前記沈殿池の浮遊物の特徴量を抽出し、該浮遊物の特徴量からクラスタリングにより前記画像データを浮遊物のクラスタに分類して浮遊物の特徴空間及びクラスタ分布を描画する浮遊物分析部とを備えている。

【0005】

また、従来技術の一例である特許文献２には、水質判定装置は、ＣＡＥを用いて入力画像に基づいた正常な背景画像を生成し、入力画像との差異を評価することで、水質を判定する水質判定装置が開示されている。

【0006】

また、従来技術の一例である特許文献３には、時系列画像データを活かして、照明変化や外光による画像の変化が水質状態の判定に影響を与えることを避けるために、過酷な撮影環境下でも、高いロバスト性を実現した水質判定装置が開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０２１－１７０３７３号公報

【特許文献2】特開２０１９－１３６６６４号公報

【特許文献3】特開２０２１－１４０５２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献１では、レンズの汚れや悪天候（霧や雨）、水面の揺らぎ、水の屈折・反射などの外乱要因により、画像品質が低下するため、誤検知の確率が高く、また、異常データが極めて少ないため、学習のバランスを維持させることが困難であるという問題がある。

【0009】

また、特許文献２では、外乱がある場合には、外乱部分が異常として検知され、誤検知が発生するという問題がある。また、沈殿池の照明が不十分であったり、急な照明変化によりカメラ露出補正が不適切だったりすると、沈殿池画像にノイズが発生しやすくなるという問題がある。これらのノイズが正常な特徴量として学習の過程にＣＡＥモデルに混入すると、フロックのような微細な浮遊物の検出精度が低下するという問題がある。

【0010】

また、特許文献３では、外乱が水質状態の判定に悪影響を及ばすことで、検知精度が不安定になるという問題がある。

【0011】

また、畳み込みオートエンコーダ（ＣＡＥ）という教師なし深層学習モデルを用いた場合には、モデルは正常な背景画像の細部や特徴を学習し、一部抽出しない情報を失わせて、入力画像に近い正常な背景画像を再現する。その再現画像と入力画像との差によって、様々な異物が検出されるが、その異物が、水質に影響する異物か、影響しないレンズの汚れなどの外乱要素かを区別できないという問題がある。

【0012】

教師ありセマンティックセグメンテーションという深層学習モデルには、画像内のすべてのピクセルにラベルを付ける深層学習手法があるが、各ピクセルに対して正常・異常のラベルを付ける作業は人工的なコストが極めて高くなるという問題がある。また、ディープニューラルネットワークに対して、汎化性能を向上させるために過学習を防止する必要があるが、最終沈殿池では異常が発生する頻度が非常に低いため、異常画像を収集することが困難であるという問題がある。

【0013】

そこで本発明は、誤検出することなく、高精度で異常を検出することが可能な水質判定装置を提供することを課題とする。

【課題を解決するための手段】

【0014】

上記の課題を解決するための第１の発明に係る水質判定装置は、水質判定対象から取得した画像データを記憶する画像データ記憶部と、前記画像データ記憶部に記憶された前記画像データに加工処理を行って加工済画像データを出力する画像データ加工部と、前記加工済画像データに対してデータ拡張を行い、異常ダミーデータを生成する画像データ拡張部と、前記異常ダミーデータを教師データとして用いて深層学習し、学習済パラメータを出力する学習処理部と、前記学習済パラメータを記憶するパラメータ記憶部と、前記パラメータ記憶部に記憶された前記学習済パラメータを用いて、前記加工済画像データの各ピクセルに対してどのクラスラベルに属するかを推定する異常推定部と、前記異常推定部により推定された各ピクセルのクラスラベルに基づいて水質判定を行う水質判定部と、を備えることを特徴とする。

【0015】

また、上記の課題を解決するための第２の発明に係る水質判定装置は、第１の発明において、前記画像データ拡張部は、異常画像データからユーザ操作に応じて選択された領域をブロック画像データとして選択し、前記選択されたブロック画像データを２値化することにより、異常ピクセルと近傍に残留の背景ピクセルとを正確に分離した、異常ピクセルのみが存在する二値化されたマスク画像データを生成し、前記ブロック画像データと前記マスク画像データとを結合し、任意の形状と明るさを有するブロックデータセットを作成し、前記ブロックデータセットと正常な前記加工済画像データとを結合し、前記異常ダミーデータを生成することを特徴とする。

【0016】

また、上記の課題を解決するための第３の発明に係る水質判定装置は、第２の発明において、前記画像データ拡張部は、自動的に、異常ピクセルを有する前記異常画像データを任意の形状の局部画像に分割し、異常ピクセルの密集度に応じてラベリングを行い、異常ピクセルを有する画像の局所領域をクラスタリングすることで、前記ブロック画像データの切り取り位置と形状を確定することを特徴とする。

【0017】

また、上記の課題を解決するための第４の発明に係る水質判定装置は、第２または３の発明において、前記画像データ拡張部によって、事前にラベル付けされた異常ピクセルデータを、前記水質判定対象とは異なる水質判定対象における水質を判定する水質判定装置で使用可能に記憶する異常ピクセルデータ記憶部をさらに備えることを特徴とする。

【0018】

また、上記の課題を解決するための第５の発明に係る水質判定装置は、第４の発明において、前記画像データ拡張部に代えて、前記異常ピクセルデータ記憶部の異常ピクセルデータを用いて、前記異なる水質判定対象における正常な画像データと組み合わせて学習用の異常ダミーデータを生成するダミーデータ生成部を備えることを特徴とする。

【0019】

上記の課題を解決するための第６の発明に係る水質判定方法は、画像データ記憶部と、画像データ加工部と、画像データ拡張部と、学習処理部と、パラメータ記憶部と、異常推定部と、水質判定部と備える水質判定装置の水質判定方法であって、前記画像データ記憶部が、水質判定対象から取得した画像データを記憶すること、前記画像データ加工部が、前記画像データ記憶部に記憶された前記画像データに加工処理を行って加工済画像データを出力すること、前記画像データ拡張部が、前記加工済画像データに対してデータ拡張を行い、異常ダミーデータを生成すること、前記学習処理部が、前記異常ダミーデータを教師データとして用いて深層学習し、学習済パラメータを出力すること、前記パラメータ記憶部が、前記学習済パラメータを記憶すること、前記異常推定部が、前記パラメータ記憶部に記憶された前記学習済パラメータを用いて、前記加工済画像データの各ピクセルに対してどのクラスラベルに属するかを推定すること、前記水質判定部が、前記異常推定部により推定された各ピクセルのクラスラベルに基づいて水質判定を行うこと含むことを特徴とする。

【0020】

また、上記の課題を解決するための第７の発明に係る水質判定方法は、第６の発明において、前記画像データ拡張部が、異常ダミーデータを生成することは、異常画像データからユーザ操作に応じて選択された領域をブロック画像データとして選択すること、前記選択されたブロック画像データを２値化することにより、異常ピクセルと近傍に残留の背景ピクセルとを正確に分離した、異常ピクセルのみが存在する二値化されたマスク画像データを生成すること、前記ブロック画像データと前記マスク画像データとを結合し、任意の形状と明るさを有するブロックデータセットを作成すること、前記ブロックデータセットと正常な前記加工済画像データとを結合し、前記異常ダミーデータを生成することを含むことを特徴とする。

【0021】

また、上記の課題を解決するための第８の発明に係る水質判定方法は、第７の発明において、前記画像データ拡張部が、異常ダミーデータを生成することは、自動的に、異常ピクセルを有する前記異常画像データを任意の形状の局部画像に分割し、異常ピクセルの密集度に応じてラベリングを行うこと、異常ピクセルを有する画像の局所領域をクラスタリングすることで、前記ブロック画像データの切り取り位置と形状を確定することを含むことを特徴とする。

【0022】

また、上記の課題を解決するための第９の発明に係る水質判定方法は、第７または第８の発明において、前記水質判定装置は、異常ピクセルデータ記憶部をさらに備え、前記異常ピクセルデータ記憶部が、前記画像データ拡張部によって事前にラベル付けされた異常ピクセルデータを、前記水質判定対象とは異なる水質判定対象における水質を判定する水質判定装置で使用可能に記憶することを含むことを特徴とする。

【0023】

また、上記の課題を解決するための第１０の発明に係る水質判定方法は、第９の発明において、前記水質判定装置は、前記画像データ拡張部に代えて、ダミーデータ生成部を備え、前記ダミーデータ生成部が、前記異常ピクセルデータ記憶部の異常ピクセルデータを用いて、前記異なる水質判定対象における正常な画像データと組み合わせて学習用の異常ダミーデータを生成することを含むことを特徴とする。

【発明の効果】

【0024】

この発明によれば、誤検出することなく、高精度で異常を検出することが可能となる。

【図面の簡単な説明】

【0025】

【図1】本発明の第１実施形態による水質判定装置１００の構成を示すブロック図である。

【図2】本第１実施形態による学習処理部１０４に採用したＤｅｅｐＬａｂＶ３＋モデルの構成を示す概念図である。

【図3】本第２実施形態による水質判定装置１００における画像データ拡張部１０３のデータ拡張法を示す概念図である。

【図4】本第３実施形態による水質判定システム４００の構成を示すブロック図である。

【発明を実施するための形態】

【0026】

以下、添付図面を参照して、本発明の実施の形態について説明する。

【0027】

Ａ．第１実施形態
図１は、本発明の第１実施形態による水質判定装置１００の構成を示すブロック図である。図１において、水質判定装置１００は、画像データ記憶部１０１と、画像データ加工部１０２と、画像データ拡張部１０３と、学習処理部１０４と、パラメータ記憶部１０５と、異常推定部１０６と、水質判定部１０７とを備えている。

【0028】

画像データ記憶部１０１は、下水処理場の沈殿池をネットカメラ（不図示）で撮影することによって得られた水面の画像データを保存する。画像データ加工部１０２は、画像データ記憶部１０１に保存された画像データに対して、学習処理部１０４で用いられる深層学習セマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）モデルに入力可能な形式にトリミング、正規化、リサイズ、及びデータラベリングを行い、加工済画像データとして出力する。画像データ加工部１０２は、ＭＰＵ（Ｍｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサにより実現することができる。

【0029】

画像データ拡張部１０３は、画像データ加工部１０２によって加工された加工済画像データに対してデータ拡張処理（ｄａｔａ ａｕｇｍｅｎｔａｔｉｏｎ）を実行し、異常ダミーデータを生成する。学習処理部１０４は、画像データ拡張部１０３から供給される異常ダミーデータを教師データとして学習を行い、学習済パラメータを生成してパラメータ記憶部１０５に出力する。学習処理部１０４は、ＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサにより実現することができる。パラメータ記憶部１０５は、学習済みの深層畳み込みニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＤＣＮＮ）のパラメータと、学習処理部１０４の学習に参加せず、別途学習を行ったパラメータとを保存する。

【0030】

異常推定部１０６は、画像データ加工部１０２からの加工済画像データを、パラメータ記憶部１０５から読み込んだ学習済パラメータを用いて処理し、最終的にセグメンテーションマップを出力する。水質判定部１０７は、異常推定部１０６から出力されるセグメンテーションマップに基づいて、正常領域の面積及び数量と、異常領域の面積及び数量とを計算し、所定の閾値に基づいて、正常／異常を判定し、判定結果を示す水質判定結果データを出力する。

【0031】

図２は、本第１実施形態による学習処理部１０４に採用した深層学習セマンティックセグメンテーションモデルの一例を示す概念図である。本発明では、教師ありの深層学習セマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）モデルを用いるが、特定の深層学習におけるセマンティックセグメンテーションのモデルに限定しない。有名な深層学習モデルには、Ｕ－Ｎｅｔ、ＰＳＰＮｅｔ、ＤｅｅｐＬａｂなどがある。本発明で提案する学習手法と異常検知手法には、これらの深層学習モデルのいずれでも有効であるが、異常検知の性能を評価するために、ＤｅｅｐＬａｂＶ３＋という深層学習モデルを用いる。そのため、異なる深層学習モデル、ハイパーパラメータ、学習データを使用すると、テストスコアに差異が生じる可能性がある。セマンティックセグメンテーションは、画像をピクセル単位で分類し、各ピクセルに対してラベルを割り当てる技術であり、物体検出や画像処理などの分野で広く利用されている。ＤｅｅｐＬａｂＶ３＋は、セマンティックセグメンテーションの分野で最も高い精度を誇るアルゴリズムの一つである。

【0032】

過学習を防止し、汎化性能を向上させるためには、異常箇所をラベリングした大量の画像を学習データとして用意する必要がある。しかしながら、沈殿池では異常が発生する頻度が極めて低いため、必要な数の異常画像を確保することは困難である。そのため、本発明では、学習用データセットにおいて各ピクセルにどのクラスに属するラベルを付け、異常画像データを回転、反転、クロップ、ズーム、明るさ調整、ノイズ追加などの変換を行い、元の学習用データセットから新しい異常ダミーデータセットを作成することで、必要な量の異常画像データを確保する。そして、元の学習用データセットと新しく作成された異常ダミーデータセットとを結合させてＤｅｅｐＬａｂＶ３＋の学習処理部１０４に入力する。

【0033】

図２は、本第１実施形態による学習処理部１０４に採用したＤｅｅｐＬａｂＶ３＋モデルの構成を示す概念図である。ＤｅｅｐＬａｂＶ３＋モデルは、図２に示すように、エンコーダ２００とデコーダ２０１との二つの部分から構成される。エンコーダ２００は、学習済みの深層畳み込みニューラルネットワーク（ＤＣＮＮ）を用いて、入力画像（学習用画像データ）２０２を多数の畳み込み層を通過させ、複数の空間的スケールでの特徴表現を組み合わせる。また、異なるレートの拡張畳み込み層を持つピラミッド構造ＡＳＰＰ（Ａｔｒｏｕｓ Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ）と呼ばれる手法を用いて、異なる解像度での特徴表現を融合させる。これにより、より広範囲の特徴を捉えることができると同時に計算量も削減することができる。

【0034】

デコーダ２０１は、畳み込み層による特徴量マップを元に、入力画像と対応するセグメンテーションマップのサイズに合わせてアップサンプリングして、図示のようにセグメンテーションマップ２０３を出力する。学習処理部１０４は、出力したセグメンテーションマップ２０３と正解のラベルマップとの差を最小化させることで、深層学習モデルのパラメータを調整する。但し、強力な特徴抽出能力を求めるため、本第１実施形態では、学習済みの高精度画像分類ネットワークであるＲｅｓＮｅｔ５０（深度残差ネットワーク）をエンコーダ２００のＤＣＮＮの部分のネットワークとして用いている。ＤＣＮＮのパラメータは、学習処理部１０４の学習に参加せず、別途学習を行ったパラメータと一緒にパラメータ記憶部１０５に保存される。

【0035】

次に、上述した本第１実施形態の水質判定装置１００による異物の量を検出する手順について説明する。図１に示す水質判定装置１００において、ネットカメラで撮影された下水処理場の沈殿池の水面の画像は、画像データ記憶部１０１に保存される。画像データ加工部１０２は、画像データ記憶部１０１に保存された画像データに対して、深層学習セマンティックセグメンテーションモデルに入力可能な形式にトリミング、正規化、リサイズ、及びデータラベリングを行った後、加工済画像データとして、画像データ拡張部１０３と異常推定部１０６に供給する。

【0036】

画像データ拡張部１０３は、加工済画像データに対してデータ拡張処理を実行し、新しく異常ダミーデータを作成して学習処理部１０４に供給する。学習処理部１０４は、異常ダミーデータを教師データとして、ＤｅｅｐＬａｂＶ３＋モデルにより学習を行い、学習済パラメータを生成してパラメータ記憶部１０５に出力する。

【0037】

一方、異常推定部１０６は、まず、パラメータ記憶部１０５からＤｅｅｐＬａｂＶ３＋モデルにより生成された学習済みパラメータを読み込み、該学習済みパラメータを用いて、入力された画像データ加工部１０２からの加工済の画像データに対して、各ピクセルがどのクラスに属するかの確率を推定し、各クラスラベルの確率分布を表す２次元配列を生成する。そして、この２次元配列によって各ピクセルに対して、最も高い確率のクラスラベルが割り当てられる。最後に、異常推定部１０６は、各ピクセルのクラスラベルによって、予め設定されたクラスラベルに対応するＲＧＢ画素を組み合わせて、セグメンテーションマップを出力する。クラスラベルは、きれいな水質と天井の反射を正常ラベルとし、フロックとスカムを異常ラベルとする二値分類問題として扱うことや、正常の背景、スカム、フロックなどの複数の水質状態を分類する多値分類問題として扱うことを可能とする。

【0038】

異常推定部１０６は、生成されたセグメンテーションマップを水質判定部１０７に供給する。水質判定部１０７は、生成されたセグメンテーションマップに基づいて、各ピクセルのクラスラベルによって、正常領域の面積と数量及び異常領域の面積と数量をそれぞれに計算する。次いで、水質判定部１０７は、計算した面積と数量が予め設定された閾値を超えた場合に異常と判定し、超えなかった場合に正常と判定し、水質判定結果を示す水質判定結果データを出力する。

【0039】

上述した第１実施形態によれば、教師ありの畳み込みニューラルネットワークを用いて、正常の背景や、スカム、フロックなどの特徴とテクスチャとを学習した深層学習モデルで推定するようにしたので、従来教師なしの深層学習手法では異常を見分けることが困難であった、レンズの汚れや悪天候（霧や雨）、水面の揺らぎ、水の屈折・反射、照明変化などの外乱と、フロック（活性汚泥の中に含まれる、微生物の集合体）やスカム（浮きカス）といった異物とを区別して高い精度で検出する（異常を見分ける）ことができる。

【0040】

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態では、画像データ拡張部１０３が第１実施形態とは異なるものの、水質判定装置１００の基本構成は、図１と同様であるので説明を省略する。

【0041】

一般的なデータ拡張法(データオーグメンテーション)では、画像データの左右反転、回転・拡大・縮小、色・明度・彩度の変更、ノイズ付加などの処理が挙げられる。但し、一般的なデータ拡張法で生成された画像データは不自然であり、元の画像データとの類似度が低い場合がある。逆に元の画像データに類似した拡張済画像データを生成した場合には、新しい情報が少ない、拡張データの多様性が低くとなるなどの問題がある。そこで、本第２実施形態では、第１実施形態で説明した公知的なデータ拡張技術に基づいて、新しいデータ拡張法を提案する。

【0042】

図３は、本第２実施形態による水質判定装置１００における画像データ拡張部１０３のデータ拡張法を示す概念図である。本第２実施形態のデータ拡張法は、図３に示すように、異常なブロック画像データセットを生成するブロックデータセット生成法と、それに基づいて深層学習モデル訓練用と検証用のダミーデータを生成するためのダミーデータ生成法との２つの部分から構成される。

【0043】

次に、ブロックデータセット生成法について説明する。まず、異常画像データに対して、泥状に堆積したスカムの部分や浮遊物が比較的密集しているフロック部分を、経験者による手動（マウス等の入力手段、または座標＋形状（任意形状、矩形／楕円などの特定形状）を指定する入力手段）で領域を選択するか、あるいはアルゴリズム（プログラム）によって区切り、クロップ処理を行い、ブロック画像データ３０１を生成する。次に、これらのブロック画像データ３０１を２値化することにより、異常ピクセルと近傍に残留の背景ピクセルとを正確に分離した、異常ピクセルのみが存在する二値化されたバイナリ画像（マスク画像データ３０２）を生成する。二値化されたバイナリ画像（マスク画像データ３０２）では、値が１のピクセルが異常ピクセルとなり、値が０のピクセルが正常ピクセルとなる。異常ピクセルに対応するラベル値をバイナリ画像にかけて、異常ブロック画像のグラウンドトゥルースを作成する。

【0044】

通常、手動で異常画像データ３００から異常ピクセルを切り取ることで、任意形状のブロック画像データを取得することができるが、所定のアルゴリズムを用いて、異常ピクセル密集領域を識別し、適切なサイズと形状を有するバウンディングボックスで囲み、クロップ処理により、自動的にクロッピングする画像領域を選別し、ブロック画像データ３０１を切り取ることも可能である。例えば、所定のアルゴリズムとしては、以下に説明する局所特徴学習法を用いることが考えられる。異常ピクセルを有する異常画像データ３００を均等的な正方形の局部画像に分割し、異常ピクセルが比較的に密集している画像に１、その他に０のラベルを付ける。密集度の判別は、畳み込みニューラルネットワーク（ＣＮＮ）で行う。ＣＮＮモデルでは、１つ又は複数の畳み込み層とプーリング層とから構成されるエンコーダを用いて、異常画像データ３００の各局部的な特徴を抽出し、これらの特徴をマッピングするために全結合層を用いて、出力層で、シグモイド関数を用いて０から１までの値に圧縮する。これにより、ＣＮＮモデルの出力値により、異常ピクセルが密集している場所を概ね確定することができる。最後に、Ｋ－ｍｅａｎｓや、ＤＢＳＣＡＮ（Ｄｅｎｓｉｔｙ－Ｂａｓｅｄ Ｓｐａｔｉａｌ Ｃｌｕｓｔｅｒｉｎｇ ｏｆ Ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ Ｎｏｉｓｅ）などのようなクラスタリングアルゴリズムを用いて、異常ピクセルを有する画像の局所領域をクラスタリングし、ブロック画像データ３０１の切り取り位置と形状を確定する。

【0045】

上述した所定のアルゴリズム以外にも、追加学習時に、（異常）ダミーデータ３０５を作成する方法について説明する。まず、異常検出された領域をそのままブロックデータセットに保存する。次に、異常画像データをメッシュ分割して、異常の種類ごとに異常の密度が高い箇所を見つける。このとき、クラスタリングを用いて領域をさらに拡張するようにしてもよい。この場合、例えば、近傍も異常の場合には領域を連結し拡張させることを行う。次に、特定の形状の領域を画像上で走査（領域を画像の左上から始めて、ずらしながら領域内に含まれる異常の密度を確認する）させ、異常の密度が高い領域を見つけることで有意なサイズで、かつ形状のブロック画像データ３０１を生成するようにしてもよい。

【0046】

次に、ダミーデータ生成法について説明する。ダミーデータ生成法は、上述したブロック画像データセット生成法で生成されたブロック画像データ３０１をランダムに抽出し、正常な背景画像データに一部のピクセルを置き換えて、新しい学習用の異常画像データを生成する方法である。正常な背景画像データ３０４とは、異なる明るさや時間、画角などの条件下に撮影された沈殿池画像から、モデル入力画像のサイズと検知すべき範囲によってトリミングされた画像データである。多様なダミーデータを生成するため、ブロック画像データ３０１に対してデータ拡張法としてアフィン変換と明るさ調整を行う。水面の浮遊物や浮きカスには、固定的な形状や大きさを持たないため、アフィン変換を行っても不自然な画像にならない。アフィン変換は、異常ピクセルを回転・スケール変換し、モデル入力画像の中心から平行移動変換をランダムに組み合わせた変換である。続いて、複数のアフィン変換と明るさ調整を行ったブロック画像データ３０１とマスク画像データ３０２とを結合して、オリジナルの形状と明るさを有するブロックデータセット３０３を作成する。但し、結合した際に被っているピクセルは、重ねた順序によって置き換えられる。最後に、オリジナルのブロックデータセット３０３と複数の背景画像データからランダムに選んだ正常な背景画像データ３０４とを結合し、それを対応するクラスラベルと一緒にデータセットに追加することで、最終的に（異常）ダミーデータ３０５を生成する。

【0047】

上述した第２実施形態によれば、位置関係やスケール、画角に強く影響される背景ピクセルとテクスチャや明るさに影響される異常ピクセルとを分けて、それぞれに変換処理を行うことで、多様性を保つとともに、より自然なダミーデータを生成することができる。また、ラベル付きの異常データが不足する場合であっても、教師ありの深層学習モデルを利用することが可能となる。

【0048】

Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
図４は、本第３実施形態による水質判定システム４００の構成を示すブロック図である。図４において、水質判定システム４００は、沈殿池Ａ、沈殿池Ｂ、及び沈殿池Ｃのそれぞれに配設された複数の水質判定装置５００、６００、８００を備えている。沈殿池Ａに対する水質判定装置５００の構成、沈殿池Ｂに対する水質判定装置６００の構成は、第１実施形態の水質判定装置１００の構成とほぼ同じである。

【0049】

すなわち、水質判定装置５００は、画像データ記憶部５０１と、画像データ加工部５０２と、画像データ拡張部５０３と、学習処理部５０４と、パラメータ記憶部５０５と、異常推定部５０６と、水質判定部５０７とを備えている。また、水質判定装置６００は、画像データ記憶部６０１と、画像データ加工部６０２と、画像データ拡張部６０３と、学習処理部６０４と、パラメータ記憶部６０５と、異常推定部６０６と、水質判定部６０７とを備えている。また、水質判定装置８００は、画像データ記憶部８０１と、画像データ加工部８０２と、ダミーデータ生成部８０３と、学習処理部８０４と、パラメータ記憶部８０５と、異常推定部８０６と、水質判定部８０７とを備えている。

【0050】

図４に示す構成において、画像データ拡張部５０３、６０３の機能は、上述した第２実施形態と同じであるが、沈殿池Ａの画像データ拡張部５０３、沈殿池Ｂの画像データ拡張部６０３の各々から出力された異常ブロック画像データセットが異常ピクセル記憶部７００に保存され、統一的に管理される点が異なる。すなわち、異常ピクセル記憶部７００には、沈殿池ＡやＢで生成された事前にラベル付けを行った異常ピクセルデータが保存される。

【0051】

沈殿池Ｃの水質判定装置８００の構成は、第１実施形態の構成とほぼ同じであるが、画像データ拡張部に代えてダミーデータ生成部８０３を備えている点で異なる。ダミーデータ生成部８０３は、異常ピクセル記憶部７００から沈殿池ＡやＢなど、事前にラベル付けを行った異常ピクセルデータを読み出して、沈殿池Ｃの正常な画像データと組み合わせて学習用のダミーデータを生成する。学習処理部８０４は、ダミーデータ生成部８０３から供給されるダミーデータを教師データとして学習を行い、学習済パラメータを生成してパラメータ記憶部８０５に出力する。したがって、パラメータ記憶部８０５には、沈殿池ＡやＢに対する水質判定装置５００、６００における異常ピクセルデータを元に生成されたダミーデータで学習された学習済パラメータが記憶されることになる。

【0052】

異常推定部８０６は、画像データ加工部８０２によって加工された沈殿池Ｃの画像データを、パラメータ記憶部８０５からロードした深層学習セマンティックセグメンテーションモデルに入力し、最終的にセグメンテーションマップを出力する。水質判定部８０７は、異常推定部８０６から出力されるセグメンテーションマップに基づいて、正常領域の面積及び数量と、異常領域の面積及び数量とを計算し、所定の閾値に基づいて、正常／異常を判定し、判定結果を沈殿池Ｃの水質判定結果データとして出力する。

【0053】

異常検知モデルを学習する際に、異常画像データが少ない、またはクラスラベルを付ける処理のコストが高い場合がしばしば発生する。しかしながら、同じ下水処理手法を利用する異なる沈殿池の間では、スカムや、フロックなどの異常ピクセルの特徴が高度に一致している。そこで、本第３実施形態では、（新たに水質判定装置８００を設置した）沈殿池Ｃに対して、沈殿池ＡやＢなど、事前にラベル付けを行った異常ピクセルデータを異常ピクセル記憶部７００に保存し、この異常ピクセル記憶部７００から異常ピクセルデータを流用して、沈殿池Ｃの正常な画像データと組み合わせて学習用のダミーデータを生成する。また、沈殿池Ａや沈殿池Ｂの異常ピクセルも互いに流用し、新たなダミーデータを生成することで、検知の多様性と精度、及びモデルの汎化性もさらに向上させることできる。

【0054】

単一の沈殿池に対して、すべての異常水質を有する画像データを網羅して、学習用データとして加工させることが難しい。ある沈殿池画像データに対して異常データが１つもない場合もある。また、異常画像データの種類や、特徴などを理解し、それに応じた適切なクラスラベルを付けるためには、専門家の知識と経験が必要である。沈殿池の数や、画像の数などが多ければ多いほど、その作業にかかる時間も増える。

【0055】

上述した第３実施形態によれば、同じような特徴を有する他の沈殿池の水質判定装置で作成された異常ピクセルデータを活用することで、データ前処理のコストを下げるとともに、同時に学習データの多様性を増やすことになり、モデルの汎化性を向上させることができる。

【0056】

これ以外にも、本発明の主旨を逸脱しない限り、上記実施形態で挙げた構成を取捨選択したり、他の構成に適宜変更したりすることが可能である。

【符号の説明】

【0057】

１００、５００、６００、８００ 水質判定装置
１０１、５０１、６０１、８０１ 画像データ記憶部
１０２、５０２、６０２、８０２ 画像データ加工部
１０３、５０３、６０３ 画像データ拡張部
８０３ ダミーデータ生成部
１０４、５０４、６０４、８０４ 学習処理部
１０５、５０５、６０５、８０５ パラメータ記憶部
１０６、５０６、６０６、８０６ 異常推定部
１０７、５０７、６０７、８０７ 水質判定部

【図1】

【図2】

【図3】

【図4】