(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-07
(45)【発行日】2022-02-16
(54)【発明の名称】水質分析装置
(51)【国際特許分類】
C02F 1/00 20060101AFI20220208BHJP
G06T 7/00 20170101ALI20220208BHJP
【ＦＩ】
C02F1/00 V
G06T7/00 350C
【請求項の数】
2
(21)【出願番号】P 2018023058
(22)【出願日】2018-02-13
(65)【公開番号】P2019136664
(43)【公開日】2019-08-22
【審査請求日】2020-09-17
(73)【特許権者】
【識別番号】000006105
【氏名又は名称】株式会社明電舎
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林特許業務法人
(72)【発明者】
【氏名】高▲瀬▼ 信彰
(72)【発明者】
【氏名】木村 雄喜
【審査官】佐々木 典子
(56)【参考文献】
【文献】特開平０６－１１９４５４（ＪＰ，Ａ）
【文献】国際公開第２０１７／１５９６１４（ＷＯ，Ａ１）
【文献】特開昭６２－０８３６６３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｃ０２Ｆ １／００
Ｇ０６Ｔ ７／００－ ７／９０
Ｇ０６Ｆ １６／００－１６／９５８
ＰｕｂＭｅｄ
(57)【特許請求の範囲】
【請求項1】
沈殿池の画像データについて第１の畳み込みＡＥを学習して前記沈殿池の色相の特徴量を抽出し、該色相の特徴量からクラスタリングにより前記画像データを色相のクラスタに分類して色相の特徴空間及びクラスタ分布を描画する色相分析部と、前記画像データについて前記第１の畳み込みＡＥとは異なる第２の畳み込みＡＥを学習して前記沈殿池の浮遊物の特徴量を抽出し、該浮遊物の特徴量からクラスタリングにより前記画像データを浮遊物のクラスタに分類して浮遊物の特徴空間及びクラスタ分布を描画する浮遊物分析部とを備える水質分析装置。
【請求項2】
前記画像データについて畳み込みＡＥを学習して前記沈殿池の密なオプティカルフローで求めた移動方向及び移動速度の特徴量を抽出し、該特徴量からクラスタリングにより前記画像データを移動体のクラスタに分類して移動体の特徴空間及びクラスタ分布を描画する移動体分析部を備える請求項１に記載の水質分析装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、下水道処理施設等の水質分析装置及び水質分析方法に関する。
【背景技術】
【0002】
近年、下水道処理施設の維持及び管理の効率化が求められている。従来技術の一例である非特許文献１には、浄水場に発生する凝集物であるフロックの監視を、運転操作員の目視に代えて画像処理によって行う技術が開示されている。非特許文献１に開示された技術では、グレースケール画像に対して空間フィルタリング処理を適用することで輝度を調整し、輝度を調整した画像を二値化処理することでフロックを抽出し、抽出したフロックに対してラベリング及び粒径分布計算を行っている。
【0003】
また、従来技術の一例である特許文献１には、オートエンコーダで画像データの特徴抽出を行い、Ｏｎｅ－Ｃｌａｓｓ ＳＶＭ（Support Vector Machine）等の１クラス分類器を用いて正常値と外れ値とを識別して異常判定を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１８－５７７３号公報
【非特許文献】
【0005】
【文献】馬場研二，依田幹雄，谷本正巳、「浄水場におけるフロック画像監視技術の基礎研究」、電気学会論文誌Ｄ、１９８７年、Ｖｏｌ．１０７、Ｎｏ．７、ｐ．８４４－８５１
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、非特許文献１に開示された技術によれば、二値化処理のしきい値並びに空間フィルタリング処理のフィルタサイズ及び重みの調整を要し、別の対象に対してはモデルを再構築して再度のチューニングを要する、という問題があった。
【0007】
また、特許文献１に開示された技術では、単一の１クラス分類器により判定を行うため、色、スカム及びフロックといった、水質の多様な特徴に対応することが困難である、という問題があった。
【0008】
本発明は、上記に鑑みてなされたものであって、特別なチューニングを行うことなく、水質の多様な特徴に対応した水質分析を行うことを目的とする。
【課題を解決するための手段】
【0009】
上述の課題を解決して目的を達成する本発明は、沈殿池の画像データについて畳み込みＡＥ（Auto Encoder）を学習して前記沈殿池の色相の特徴量を抽出し、該色相の特徴量からクラスタリングにより前記画像データを色相のクラスタに分類して色相の特徴空間及びクラスタ分布を描画する色相分析部と、前記画像データについて畳み込みＡＥを学習して前記沈殿池の浮遊物の特徴量を抽出し、該浮遊物の特徴量からクラスタリングにより前記画像データを浮遊物のクラスタに分類して浮遊物の特徴空間及びクラスタ分布を描画する浮遊物分析部とを備える水質分析装置である。
【0010】
上記構成の水質分析装置は、前記画像データについて畳み込みＡＥを学習して前記沈殿池の移動体の特徴量を抽出し、該移動体の特徴量からクラスタリングにより前記画像データを移動体のクラスタに分類して移動体の特徴空間及びクラスタ分布を描画する移動体分析部を備えることが好ましい。
【0011】
又は、本発明は、各々が、少なくとも画像加工部と、畳み込みＡＥ学習部と、畳み込みＡＥパラメータ記憶部と、特徴量抽出部と、クラスタリング部と、クラスタリングパラメータ記憶部と、クラスタ分類部と、特徴空間描画部とを含む、色相分析部及び浮遊物分析部を備える水質分析装置の水質分析方法であって、前記画像加工部が、沈殿池の画像データを加工すること、前記畳み込みＡＥ学習部が、加工した前記画像データについて畳み込みＡＥ学習を要する場合には前記画像データについて畳み込みＡＥ学習を行うこと、前記畳み込みＡＥパラメータ記憶部が、前記畳み込みＡＥ学習により得られた畳み込みＡＥパラメータを記憶すること、前記特徴量抽出部が、前記畳み込みＡＥパラメータを適用したエンコーダに、加工した前記画像データから特徴量抽出を行うこと、前記クラスタリング部が、加工した前記画像データについてクラスタリングを要する場合には前記画像データについてクラスタリングを行うこと、前記クラスタリングパラメータ記憶部が、前記クラスタリングにより得られたクラスタリングパラメータを記憶すること、前記クラスタ分類部が、特徴量抽出を行った前記画像データをクラスタに分類すること、前記特徴空間描画部が、クラスタ分類された前記画像データによる特徴空間及びクラスタ分布を描画することを含む水質分析方法である。
【発明の効果】
【0012】
本発明によれば、特別なチューニングを行うことなく、水質の多様な特徴に対応した水質分析を行うことができる、という効果を奏する。
【図面の簡単な説明】
【0013】
【図1】実施形態１に係る水質分析装置の構成を示すブロック図である。
【図2】畳み込みＡＥの概要を説明する図である。
【図3】学習済みエンコーダによる特徴量抽出の概要を説明する図である。
【図4】クラスタリング手法の概要を説明する図である。
【図5】実施形態１に係る水質分析装置の色相分析部の動作を示すフローチャートである。
【図6】実施形態２に係る水質分析装置の前提となる移動体分析部の構成を示すブロック図である。
【図7】実施形態２に係る水質分析装置の構成を示すブロック図である。
【発明を実施するための形態】
【0014】
以下、添付図面を参照して、本発明の水質分析装置及び水質分析方法を実施するための形態について説明する。ただし、本発明は、以下の実施形態の記載によって限定解釈されるものではない。
【0015】
【0016】
データ蓄積部１０１は、下水道処理施設等の沈殿池に設置された、図示しないカメラが取得した沈殿池の画像データを蓄積する。データ蓄積部１０１は、半導体メモリ及び磁気ディスク等の記録媒体により実現することができる。この画像データは、静止画又は複数の連続した静止画により構成される動画の双方を含む。
【0017】
色相分析部１１０は、データ蓄積部１０１の画像データを用いて処理水の色を分析する。色相分析部１１０を用いて処理水の色を分析することにより、例えば、処理水中に巻き上がる汚泥による沈殿池の色の変化を判別し、処理水中に巻き上がる汚泥の量を評価することが可能である。浮遊物分析部１２０は、データ蓄積部１０１の画像データを用いて処理水の浮遊物を分析する。浮遊物分析部１２０を用いて処理水を分析することにより、例えば、浮遊物の有無を判別することが可能である。また、浮遊物が存在する場合には、当該浮遊物の成分を特定することも可能である。ここで、浮遊物には、スカム及び泡を例示することができる。浮遊物の成分を分析することにより、例えば、この浮遊物がスカムであるか否かの判別が可能となる。色相分析部１１０及び浮遊物分析部１２０は、データ蓄積部１０１に蓄積された画像データについて、畳み込みＡＥ学習、特徴量抽出及びクラスタリングを行う。
【0018】
ここで、色相分析部１１０の構成について説明する。色相分析部１１０は、第１の画像加工部１１１と、第１の畳み込みＡＥ学習部１１２と、第１の畳み込みＡＥパラメータ記憶部１１３と、第１の特徴量抽出部１１４と、第１のクラスタリング部１１５と、第１のクラスタリングパラメータ記憶部１１６と、第１のクラスタ分類部１１７と、第１の特徴空間描画部１１８と、第１の学習要否判定部１１９とを備え、ＲＧＢ画像データを用いて処理水の色を分析する。
【0019】
第１の画像加工部１１１は、データ蓄積部１０１の画像データにトリミング処理又は正規化を行うことで、加工済みのＲＧＢ３チャネル画像を得る。第１の画像加工部１１１は、ＭＰＵ（Micro-Processing Unit）及びＣＰＵ（Central Processing Unit）等のプロセッサにより実現することができる。
【0020】
第１の畳み込みＡＥ学習部１１２は、第１の画像加工部１１１によって加工済みのＲＧＢ３チャネル画像を用いて、畳み込みＡＥを学習する。第１の畳み込みＡＥ学習部１１２は、ＭＰＵ及びＣＰＵ等のプロセッサにより実現することができる。第１の畳み込みＡＥパラメータ記憶部１１３は、第１の畳み込みＡＥ学習部１１２で学習されて得られた畳み込みＡＥパラメータを記憶する。第１の畳み込みＡＥパラメータ記憶部１１３は、半導体メモリ及び磁気ディスク等の記録媒体により実現することができる。
【0021】
図２は、畳み込みＡＥの概要を説明する図である。図２に示すように、畳み込みＡＥは次元を圧縮するエンコーダと次元を復元するデコーダとを含む。エンコーダとデコーダの間に存在する全結合層は、入力画像に対して次元が低く、学習済みのエンコーダは次元圧縮器として適切に動作する。第１の畳み込みＡＥ学習部１１２では、教師データを入力画像として、ネットワークが生成する画像と教師データとの誤差が最小となるような学習を行うことで、画像の有する特徴をエンコーダが学習する。ここで、畳み込みＡＥは、教師なし学習であり、教師データを入力画像として学習を行うため、ユーザが処理水の画像に対して、色及び浮遊物に対するラベリングを行う必要がないという利点がある。また、畳み込みＡＥでは設計に特別なチューニングを要さず、その学習は画像の入力のみで行われる。
【0022】
第１の特徴量抽出部１１４は、第１の畳み込みＡＥパラメータ記憶部１１３に記憶された畳み込みＡＥパラメータを適用して、学習済みのエンコーダを含む畳み込みＡＥを用いて、第１の画像加工部１１１によって加工済みのデータの特徴量抽出を行う。第１の特徴量抽出部１１４は、ＭＰＵ及びＣＰＵ等のプロセッサにより実現することができる。
【0023】
図３は、学習済みエンコーダによる特徴量抽出の概要を説明する図である。第１の特徴量抽出部１１４は、学習済みエンコーダに入力画像を入力し、入力画像の次元圧縮を行うことで特徴量抽出を行う。
【0024】
第１のクラスタリング部１１５は、第１の特徴量抽出部１１４が抽出した特徴量に対してクラスタリング手法を適用し、画像データのクラスタリングを行う。第１のクラスタリング部１１５は、ＭＰＵ及びＣＰＵ等のプロセッサにより実現することができる。なお、このクラスタリングは、ユーザの知識に基づいた判定条件によって可否が決定される。第１のクラスタリングパラメータ記憶部１１６は、第１のクラスタリング部１１５によって得られたクラスタリングパラメータを記憶する。第１のクラスタリングパラメータ記憶部１１６は、半導体メモリ及び磁気ディスク等の記録媒体により実現することができる。第１のクラスタ分類部１１７は、第１の特徴量抽出部１１４が特徴量抽出を行った画像データの所属クラスタを特徴量に基づいて決定し、各画像データをクラスタに分類する。第１のクラスタ分類部１１７は、ＭＰＵ及びＣＰＵ等のプロセッサにより実現することができる。
【0025】
図４は、クラスタリング手法の概要を説明する図である。ここで用いるクラスタリング手法は非階層型クラスタリングであり、ｋ－ｍｅａｎｓ法、混合正規分布、ＤＢＳＣＡＮ（Density-Based Spatial Clustering of Applications with Noise）を例示することができる。図４では、データがクラスタ１、クラスタ２又はクラスタ３のいずれかに分類され、特徴空間に描画されている。
【0026】
第１の特徴空間描画部１１８は、第１のクラスタリング部１１５及び第１のクラスタ分類部１１７の情報に基づいて特徴空間及びクラスタ分布を描画することで情報の可視化を行う。第１の特徴空間描画部１１８は、例えば、特徴空間を主成分分析（principal component analysis）によって、２次元又は３次元に圧縮することでデータ及びクラスタの分布を提示する。ユーザには、各クラスタが有する特徴が提示され、ユーザは手動で各クラスタのラベル付けを行うことが可能になる。第１の特徴空間描画部１１８としては、タッチパネル等の入出力装置により実現することができる。
【0027】
なお、第１の畳み込みＡＥ学習部１１２による学習及び第１のクラスタリング部１１５によるクラスタリングは、学習が必要な場合、すなわち最初の動作時又は再学習が必要な場合にのみ行えばよい。第１の学習要否判定部１１９は、第１の畳み込みＡＥ学習部１１２及び第１のクラスタリング部１１５の学習の要否を判定し、第１の畳み込みＡＥ学習部１１２及び第１のクラスタリング部１１５に対して学習すべきか否かを指示する。ここで、再学習のタイミングは、ユーザによって決定され、設定された一定の周期又は沈殿池の環境変化時とする。設定された一定の周期は、例えば一週間又は一か月であり、沈殿池の環境変化は、例えば、季節の変化又は処理場の工事によって生じるものである。
【0028】
次に、浮遊物分析部１２０の構成について説明する。浮遊物分析部１２０は、第２の画像加工部１２１と、第２の畳み込みＡＥ学習部１２２と、第２の畳み込みＡＥパラメータ記憶部１２３と、第２の特徴量抽出部１２４と、第２のクラスタリング部１２５と、第２のクラスタリングパラメータ記憶部１２６と、第２のクラスタ分類部１２７と、第２の特徴空間描画部１２８と、第２の学習要否判定部１２９とを備え、グレースケール画像を用いて処理水上の浮遊物を分析する。
【0029】
第２の画像加工部１２１は、データ蓄積部１０１の画像データを加工する。具体的には、第２の画像加工部１２１は、浮遊物の分析のために、データ蓄積部１０１のデータに対してグレースケール変換を行う。
【0030】
第２の畳み込みＡＥ学習部１２２は、第２の画像加工部１２１によって加工済みのデータを用いて、畳み込みＡＥを学習する。畳み込みＡＥについては、第１の畳み込みＡＥ学習部１１２の説明を援用する。第２の畳み込みＡＥパラメータ記憶部１２３は、第２の畳み込みＡＥ学習部１２２で学習されて得られた畳み込みＡＥパラメータを記憶する。
【0031】
第２の特徴量抽出部１２４は、第２の畳み込みＡＥパラメータ記憶部１２３に記憶された畳み込みＡＥパラメータを適用して、学習済みのエンコーダを含む畳み込みＡＥを用いて、第２の画像加工部１２１によって加工済みのデータの特徴量抽出を行う。特徴量抽出については、第１の特徴量抽出部１１４の説明を援用する。
【0032】
第２のクラスタリング部１２５は、第２の特徴量抽出部１２４が抽出した特徴量に対してクラスタリング手法を適用し、画像データのクラスタリングを行う。第２のクラスタリングパラメータ記憶部１２６は、第２のクラスタリング部１２５によって得られたクラスタリングパラメータを記憶する。第２のクラスタ分類部１２７は、第２の特徴量抽出部１２４が特徴量抽出を行った画像データの所属クラスタを特徴量に基づいて決定し、各画像データをクラスタに分類する。クラスタリング手法については、第１のクラスタリング部１１５の説明を援用する。
【0033】
第２の特徴空間描画部１２８は、第２のクラスタリング部１２５及び第２のクラスタ分類部１２７の情報に基づいて特徴空間及びクラスタ分布を描画することで情報の可視化を行う。特徴空間及びクラスタ分布の描画については、第１の特徴空間描画部１１８の説明を援用する。
【0034】
なお、第２の畳み込みＡＥ学習部１２２による学習及び第２のクラスタリング部１２５によるクラスタリングは、学習が必要な場合、すなわち最初の動作時又は再学習が必要な場合にのみ行えばよい。第２の学習要否判定部１２９は、第２の畳み込みＡＥ学習部１２２及び第２のクラスタリング部１２５の学習の要否を判定し、第２の畳み込みＡＥ学習部１２２及び第２のクラスタリング部１２５に対して学習すべきか否かを指示する。
【0035】
このように、色相分析部１１０が第１の畳み込みＡＥ学習部１１２を備え、浮遊物分析部１２０が第２の畳み込みＡＥ学習部１２２を備えるため、水質の多様な特徴に対応することが可能であり、単一の畳み込みＡＥで特徴量抽出を行う構成よりも高精度に特徴量抽出を行うことができる。
【0036】
更には、第１の特徴空間描画部１１８及び第２の特徴空間描画部１２８を備えるため、自動生成されたクラスタ分布を視覚的に確認することができ、ユーザは、畳み込みＡＥにより抽出された特徴を確認することができる。
【0037】
なお、上述の色相分析部１１０及び浮遊物分析部１２０が備える構成のうちプロセッサにより実現されるものは同一の１つのプロセッサにより実現されていてもよい。また、上述の色相分析部１１０及び浮遊物分析部１２０が備える構成のうち記録媒体により実現されるものは同一の１つの記録媒体により実現されていてもよい。更には、上述の色相分析部１１０及び浮遊物分析部１２０が備える構成のうちタッチパネル等の入出力装置により実現されるものは同一の１つの入出力装置により実現されていてもよい。
【0038】
次に、色相分析部１１０の動作について説明する。図５は、色相分析部１１０の動作を示すフローチャートである。まず、第１の画像加工部１１１は、データ蓄積部１０１から画像データを取得して加工する（Ｓ１：画像データ加工ステップ）。第１の学習要否判定部１１９は、第１の畳み込みＡＥ学習部１１２の学習の要否を判定する（Ｓ２：畳み込みＡＥ学習部の学習要否判定ステップ）。第１の学習要否判定部１１９が、第１の畳み込みＡＥ学習部１１２の学習を不要と判定した場合（Ｓ２：否）には、フローはＳ５に進む。第１の学習要否判定部１１９が、第１の畳み込みＡＥ学習部１１２の学習を必要と判定した場合（Ｓ２：要）には、第１のＡＥ畳み込み学習部１１２は、加工済みの画像データを用いて畳み込みＡＥの学習を行い（Ｓ３：畳み込みＡＥ学習ステップ）、得られた畳み込みＡＥパラメータを第１の畳み込みＡＥパラメータ記憶部１１３に記憶させる（Ｓ４：畳み込みＡＥパラメータ記憶ステップ）。次に、第１の特徴量抽出部１１４は、第１の畳み込みＡＥパラメータ記憶部１１３から畳み込みＡＥパラメータを取得し、当該畳み込みＡＥパラメータを適用したエンコーダに加工済みの画像データを入力して次元圧縮を行うことで特徴量抽出を行う（Ｓ５：特徴量抽出ステップ）。第１の学習要否判定部１１９は、第１のクラスタリング部１１５の学習の要否を判定する（Ｓ６：クラスタリング部の学習要否判定ステップ）。第１の学習要否判定部１１９が、第１のクラスタリング部１１５の学習を不要と判定した場合（Ｓ６：否）には、フローはＳ９に進む。第１の学習要否判定部１１９が、第１のクラスタリング部１１５の学習を必要と判定した場合（Ｓ６：要）には、第１のクラスタリング部１１５は、第１の特徴量抽出部１１４で抽出された特徴量を取得してクラスタリングを行い（Ｓ７：クラスタリングステップ）、得られたクラスタリングパラメータを第１のクラスタリングパラメータ記憶部１１６に記憶させる（Ｓ８：クラスタリングパラメータ記憶ステップ）。次に、第１のクラスタ分類部１１７は、特徴量抽出を行った画像データをクラスタに分類する（Ｓ９：クラスタ分類ステップ）。次に、第１の特徴空間描画部１１８は、クラスタ分類された画像データによる特徴空間及びクラスタ分布を描画し（Ｓ１０：描画ステップ）、処理をエンドする。このように描画された情報はユーザに提示され、提示された情報についてユーザはラベリング処理を行う。
【0039】
浮遊物分析部１２０の動作は、色相分析部１１０と同様であるため、色相分析部１１０の説明を援用する。
【0040】
以上説明した本実施形態によれば、従来技術では必要であった、二値化処理のしきい値並びに空間フィルタリング処理のフィルタサイズ及び重みの調整が不要であり、対象が異なってもモデルの再構築及び再度のチューニングが不要である。更には、複数の畳み込みＡＥ学習部を備えてクラスタリングを行うことから、柔軟な特徴抽出及びクラスタ分類が可能である。従って、特別なチューニングを行うことなく、水質の多様な特徴に対応した水質分析を行うことが可能である。また、本実施形態によれば、色相分析部１１０及び浮遊物分析部１２０の出力を連関させることで、高精度な分析が可能となる。
【0041】
＜実施形態２＞
実施形態１では、色相分析部及び浮遊物分析部を備える水質分析装置を説明したが、本発明に係る水質分析装置は、これに限定されるものではなく、更に移動体分析部を備える構成とすることも可能である。
実施形態１では、色相分析部及び浮遊物分析部を備える水質分析装置を説明したが、本発明に係る水質分析装置は、これに限定されるものではなく、更に移動体分析部を備える構成とすることも可能である。
【0042】
＜前提技術＞
図６は、本実施形態に係る水質分析装置の前提となる移動体分析部の構成を示すブロック図である。図６に示す移動体分析部２１０は、画像加工部２１１と、フロー推定部２１２と、統計量算出部２１３とを備える。移動体分析部２１０は、データ蓄積部２０１のデータを供給可能に構成されている。データ蓄積部２０１は、データ蓄積部１０１と同様に、沈殿池に設置されたカメラが取得した沈殿池の動画データを蓄積する。データ蓄積部２０１は、半導体メモリ及び磁気ディスク等の記録媒体により実現することができる。画像加工部２１１は、データ蓄積部２０１の動画データをグレースケール変換し、複数のグレースケール画像データに加工する。フロー推定部２１２は、物体の動きをベクトル表示するオプティカル・フロー（Optical Flow）によって移動体のフローを推定する。この移動体は、スカム及びフロックである。ここで、オプティカル・フロー（Optical Flow）の計算アルゴリズムには、画素全体の移動体を解析する、密なオプティカル・フロー（Dense Optical Flow）を用いる。密なオプティカル・フロー（Dense Optical Flow）には、Ｇｕｎｎａｒ Ｆａｒｎｅｂａｃｋ法、ＴＶ－Ｌ１法、Ｂｒｏｘ法を例示することができる。統計量算出部２１３は、フロー推定部２１２によって得られた速度及び移動方向の情報から統計量を算出する。一般に、スカム及びフロックは、処理水そのものと比較して、乱雑な方向及び速度で移動するため、算出した統計量によりスカム及びフロックの有無を評価することが可能となる。画像加工部２１１、フロー推定部２１２及び統計量算出部２１３は、ＭＰＵ（Micro-Processing Unit）及びＣＰＵ（Central Processing Unit）等のプロセッサにより実現することができる。
図６は、本実施形態に係る水質分析装置の前提となる移動体分析部の構成を示すブロック図である。図６に示す移動体分析部２１０は、画像加工部２１１と、フロー推定部２１２と、統計量算出部２１３とを備える。移動体分析部２１０は、データ蓄積部２０１のデータを供給可能に構成されている。データ蓄積部２０１は、データ蓄積部１０１と同様に、沈殿池に設置されたカメラが取得した沈殿池の動画データを蓄積する。データ蓄積部２０１は、半導体メモリ及び磁気ディスク等の記録媒体により実現することができる。画像加工部２１１は、データ蓄積部２０１の動画データをグレースケール変換し、複数のグレースケール画像データに加工する。フロー推定部２１２は、物体の動きをベクトル表示するオプティカル・フロー（Optical Flow）によって移動体のフローを推定する。この移動体は、スカム及びフロックである。ここで、オプティカル・フロー（Optical Flow）の計算アルゴリズムには、画素全体の移動体を解析する、密なオプティカル・フロー（Dense Optical Flow）を用いる。密なオプティカル・フロー（Dense Optical Flow）には、Ｇｕｎｎａｒ Ｆａｒｎｅｂａｃｋ法、ＴＶ－Ｌ１法、Ｂｒｏｘ法を例示することができる。統計量算出部２１３は、フロー推定部２１２によって得られた速度及び移動方向の情報から統計量を算出する。一般に、スカム及びフロックは、処理水そのものと比較して、乱雑な方向及び速度で移動するため、算出した統計量によりスカム及びフロックの有無を評価することが可能となる。画像加工部２１１、フロー推定部２１２及び統計量算出部２１３は、ＭＰＵ（Micro-Processing Unit）及びＣＰＵ（Central Processing Unit）等のプロセッサにより実現することができる。
【0043】
このように、動画を用いた移動体分析部を備えることで、フロック及びスカムの位置、移動方向及び移動速度の定量的な評価が可能である。
【0044】
図７は、本実施形態に係る水質分析装置の構成を示すブロック図である。図７に示す水質分析装置１００Ａは、データ蓄積部１０１と、色相分析部１１０と、浮遊物分析部１２０と、移動体分析部１３０とを備える。色相分析部１１０及び浮遊物分析部１２０は、図１に示すものと同じであるため実施形態１の説明を援用する。
【0045】
移動体分析部１３０は、第３の画像加工部１３１と、第３の畳み込みＡＥ学習部１３２と、第３の畳み込みＡＥパラメータ記憶部１３３と、第３の特徴量抽出部１３４と、第３のクラスタリング部１３５と、第３のクラスタリングパラメータ記憶部１３６と、第３のクラスタ分類部１３７と、第３の特徴空間描画部１３８と、第３の学習要否判定部１３９と、フロー推定部１４０とを備え、スカム及びフロックの有無を評価可能とする。
【0046】
次に、移動体分析部１３０の構成について説明する。第３の画像加工部１３１は、前提技術における図６に示す画像加工部２１１と同様に、データ蓄積部１０１の動画データをグレースケール変換し、複数のグレースケール画像データに加工する。フロー推定部１４０は、第３の画像加工部１３１によって加工済みのデータを用いて、前提技術における図６に示すフロー推定部２１２と同様に、オプティカル・フロー（Optical Flow）によって移動体のフローを推定する。これにより、移動体の移動方向及び移動速度の情報が抽出される。
【0047】
第３の畳み込みＡＥ学習部１３２は、フロー推定部１４０によって得られた、移動体の移動方向及び移動速度の情報を用いて、畳み込みＡＥを学習する。畳み込みＡＥについては、実施形態１における第１の畳み込みＡＥ学習部１１２の説明を援用する。第３の畳み込みＡＥパラメータ記憶部１３３は、第３の畳み込みＡＥ学習部１３２で学習されて得られた畳み込みＡＥパラメータを記憶する。
【0048】
第３の特徴量抽出部１３４は、第３の畳み込みＡＥパラメータ記憶部１３３に記憶された畳み込みＡＥパラメータを適用した学習済みのエンコーダを含む畳み込みＡＥを用いて、第３の画像加工部１３１によって加工済みのデータの特徴量抽出を行う。特徴量抽出については、実施形態１における第１の特徴量抽出部１１４の説明を援用する。
【0049】
第３のクラスタリング部１３５は、第３の特徴量抽出部１３４が抽出した特徴量に対してクラスタリング手法を適用し、画像データのクラスタリングを行う。第３のクラスタリングパラメータ記憶部１３６は、第３のクラスタリング部１３５によって得られたクラスタリングパラメータを記憶する。第３のクラスタ分類部１３７は、第３の特徴量抽出部１３４が特徴量抽出を行った画像データの所属クラスタを特徴量に基づいて決定し、各画像データをクラスタに分類する。クラスタリング手法については、第３のクラスタリング部１３５の説明を援用する。
【0050】
第３の特徴空間描画部１３８は、第３のクラスタリング部１３５及び第３のクラスタ分類部１３７の情報に基づいて特徴空間及びクラスタ分布を描画することで情報の可視化を行う。特徴空間及びクラスタ分布の描画については、第１の特徴空間描画部１１８の説明を援用する。
【0051】
なお、第３の畳み込みＡＥ学習部１３２による学習及び第３のクラスタリング部１３５によるクラスタリングは、学習が必要な場合、すなわち最初の動作時又は再学習が必要な場合にのみ行えばよい。第３の学習要否判定部１３９は、第３の畳み込みＡＥ学習部１３２及び第３のクラスタリング部１３５の学習の要否を判定し、第３の畳み込みＡＥ学習部１３２及び第３のクラスタリング部１３５に対して学習すべきか否かを指示する。
【0052】
なお、上述の移動体分析部１３０が備える構成のうちプロセッサにより実現されるものは、同一の１つのプロセッサにより実現されていてもよいし、色相分析部１１０及び浮遊物分析部１２０が備えるプロセッサと兼用であってもよい。また、上述の移動体分析部１３０が備える構成のうち記録媒体により実現されるものは、同一の１つの記録媒体により実現されていてもよいし、色相分析部１１０及び浮遊物分析部１２０が備える記録媒体と兼用であってもよい。なお、上述の移動体分析部１３０が備える構成のうちタッチパネル等の入出力装置により実現されるものは、同一の１つのタッチパネルにより実現されていてもよいし、色相分析部１１０及び浮遊物分析部１２０が備えるタッチパネルと兼用であってもよい。
【0053】
移動体分析部１３０の動作は、色相分析部１１０と同様であるため、色相分析部１１０の説明を援用する。
【0054】
本実施形態によれば、オプティカル・フロー（Optical Flow）の推定結果に対して畳み込みＡＥ及びクラスタリングを行うことで、移動体の特徴抽出及びクラスタ分類が可能となる。また、本実施形態によれば、統計量によって移動体を分析する前提技術と異なり、移動体の移動方向及び移動速度情報に対して、特徴量抽出を直接行うため、より高精度な分析が可能となる。更には、本実施形態によれば、色相分析部１１０、浮遊物分析部１２０及び移動体分析部１３０の出力を連関させることで、更に高精度な分析が可能となる。
【0055】
以上説明した本実施形態によれば、動画を用いる移動体分析部を備えることで、フロック及びスカムの位置、移動方向及び移動速度の定量的な評価が可能であるため、フロックと他の粒子との判別が可能となる。
【0056】
また、本発明は、上述の実施形態に限定されるものではなく、上述の構成に対して、構成要素の付加、削除又は転換を行った様々な変形例も含むものとする。
【符号の説明】
【0057】
１００ 水質分析装置
１０１ データ蓄積部
１１０ 色相分析部
１１１ 第１の画像加工部
１１２ 第１の畳み込みＡＥ学習部
１１３ 第１の畳み込みＡＥパラメータ記憶部
１１４ 第１の特徴量抽出部
１１５ 第１のクラスタリング部
１１６ 第１のクラスタリングパラメータ記憶部
１１７ 第１のクラスタ分類部
１１８ 第１の特徴空間描画部
１１９ 第１の学習要否判定部
１２０ 浮遊物分析部
１２１ 第２の画像加工部
１２２ 第２の畳み込みＡＥ学習部
１２３ 第２の畳み込みＡＥパラメータ記憶部
１２４ 第２の特徴量抽出部
１２５ 第２のクラスタリング部
１２６ 第２のクラスタリングパラメータ記憶部
１２７ 第２のクラスタ分類部
１２８ 第２の特徴空間描画部
１２９ 第２の学習要否判定部
１３０ 移動体分析部
１３１ 第３の画像加工部
１３２ 第３の畳み込みＡＥ学習部
１３３ 第３の畳み込みＡＥパラメータ記憶部
１３４ 第３の特徴量抽出部
１３５ 第３のクラスタリング部
１３６ 第３のクラスタリングパラメータ記憶部
１３７ 第３のクラスタ分類部
１３８ 第３の特徴空間描画部
１３９ 第３の学習要否判定部
１４０ フロー推定部
２０１ データ蓄積部
２１０ 移動体分析部
２１１ 画像加工部
２１２ フロー推定部
２１３ 統計量算出部
１０１ データ蓄積部
１１０ 色相分析部
１１１ 第１の画像加工部
１１２ 第１の畳み込みＡＥ学習部
１１３ 第１の畳み込みＡＥパラメータ記憶部
１１４ 第１の特徴量抽出部
１１５ 第１のクラスタリング部
１１６ 第１のクラスタリングパラメータ記憶部
１１７ 第１のクラスタ分類部
１１８ 第１の特徴空間描画部
１１９ 第１の学習要否判定部
１２０ 浮遊物分析部
１２１ 第２の画像加工部
１２２ 第２の畳み込みＡＥ学習部
１２３ 第２の畳み込みＡＥパラメータ記憶部
１２４ 第２の特徴量抽出部
１２５ 第２のクラスタリング部
１２６ 第２のクラスタリングパラメータ記憶部
１２７ 第２のクラスタ分類部
１２８ 第２の特徴空間描画部
１２９ 第２の学習要否判定部
１３０ 移動体分析部
１３１ 第３の画像加工部
１３２ 第３の畳み込みＡＥ学習部
１３３ 第３の畳み込みＡＥパラメータ記憶部
１３４ 第３の特徴量抽出部
１３５ 第３のクラスタリング部
１３６ 第３のクラスタリングパラメータ記憶部
１３７ 第３のクラスタ分類部
１３８ 第３の特徴空間描画部
１３９ 第３の学習要否判定部
１４０ フロー推定部
２０１ データ蓄積部
２１０ 移動体分析部
２１１ 画像加工部
２１２ フロー推定部
２１３ 統計量算出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】