(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024135199
(43)【公開日】2024-10-04
(54)【発明の名称】藻類測定結果表示システム、藻類測定結果表示方法、およびプログラム
(51)【国際特許分類】
C12M 1/34 20060101AFI20240927BHJP
G01N 21/17 20060101ALI20240927BHJP
【FI】
C12M1/34 B
G01N21/17 A
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023045764
(22)【出願日】2023-03-22
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(71)【出願人】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】野田 周平
(72)【発明者】
【氏名】早見 徳介
(72)【発明者】
【氏名】橋本 勇太
(72)【発明者】
【氏名】横山 雄
(72)【発明者】
【氏名】金谷 道昭
(72)【発明者】
【氏名】阿部 法光
(72)【発明者】
【氏名】今田 敏弘
(72)【発明者】
【氏名】水内 理映子
【テーマコード(参考)】
2G059
4B029
【Fターム(参考)】
2G059AA05
2G059BB04
2G059BB08
2G059BB12
2G059EE01
2G059EE12
2G059EE13
2G059FF01
2G059FF04
2G059GG01
2G059GG02
2G059HH02
2G059KK04
2G059PP04
4B029AA07
4B029BB04
4B029CC01
4B029FA02
4B029FA03
(57)【要約】
【課題】 各種の藻類の測定結果を把握し易くすること。
【解決手段】 実施形態の藻類測定結果表示システムは、藻類の測定結果に基づく情報を表示部に表示する制御を行う表示制御部を具備し、前記情報は、藻類の種類ごとの測定量を含み、当該測定量は、藻類の個体数、群体数、長さ、巻数の少なくともいずれかで表現される。
【選択図】
図1
【特許請求の範囲】
【請求項1】
藻類の測定結果に基づく情報を表示部に表示する制御を行う表示制御部を具備し、
前記情報は、藻類の種類ごとの測定量を含み、当該測定量は、藻類の個体数、群体数、長さ、巻数の少なくともいずれかで表現される、
藻類測定結果表示システム。
【請求項2】
前記情報は、藻類の測定日時の情報をさらに含む、
請求項1に記載の藻類測定結果表示システム。
【請求項3】
前記藻類の種類ごとの測定量は、測定日時の異なる複数の測定量を含む、
請求項2に記載の藻類測定結果表示システム。
【請求項4】
前記表示制御部は、
前記藻類の種類ごとの測定量を、測定日時ごとに比較できるように表示する制御を行う、
請求項3に記載の藻類測定結果表示システム。
【請求項5】
前記表示制御部は、
前記藻類の種類ごとの測定量を、時間ごと、日ごと、または週ごとに比較できるように表示する制御を行う、
請求項3に記載の藻類測定結果表示システム。
【請求項6】
前記表示制御部は、
前記藻類の種類ごとの測定量を、過去に測定されたものと比較できるように表示する制御を行う、
請求項3に記載の藻類測定結果表示システム。
【請求項7】
前記表示制御部は、
前記藻類の種類ごとの測定量を、複数の浄水場もしくは複数の水源の間で比較できるように表示する制御を行う、
請求項1乃至6のいずれか1項に記載の藻類測定結果表示システム。
【請求項8】
各種の藻類を撮影する撮像装置から得られる画像に基づき、藻類の種類ごとの測定を行い、前記藻類の測定結果を出力する藻類測定部をさらに具備する、
請求項1乃至6のいずれか1項に記載の藻類測定結果表示システム。
【請求項9】
前記藻類測定部は、
前記藻類の測定結果として、藻類の種類ごとに、藻類の個体数、群体数、長さ、巻数の少なくともいずれかで表現された測定量を含む情報を生成する、
請求項8に記載の藻類測定結果表示システム。
【請求項10】
前記情報は、モノクロ画像、カラー画像、複数の波長で撮影して得られるスペクトル画像のいずれかを含む、
請求項1に記載の藻類測定結果表示システム。
【請求項11】
藻類測定結果表示システムが実行する藻類測定結果表示方法であって、
藻類の測定結果に基づく情報を表示部に表示する制御を行うことを含み、
前記情報は、藻類の種類ごとの測定量を含み、当該測定量は、藻類の個体数、群体数、長さ、巻数の少なくともいずれかで表現される、
藻類測定結果表示方法。
【請求項12】
コンピュータに、
藻類の測定結果に基づく情報を表示部に表示する制御を行う機能を実現させるためのプログラムであって、
前記情報は、藻類の種類ごとの測定量を含み、当該測定量は、藻類の個体数、群体数、長さ、巻数の少なくともいずれかで表現される、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、藻類測定結果表示システム、藻類測定結果表示方法、およびプログラム
【背景技術】
【0002】
河川や沼湖などの現場の水や浄水場の水の中における藻類の種類や数を判別するためには、対象となる水を採水し、採水した水を容器に通水もしくは充填した上で、その水の中にある藻類を、顕微鏡等を用いて観察することにより、藻類の種類や数などを測定する。
【0003】
しかしながら、従来の手法では、藻類の測定結果から、特定の種類の藻類による障害(異臭の発生、ろ過閉塞など)の予兆を知得したり、今後の藻類発生の傾向を予測したりすることは、容易なことではない。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第7007225号公報
【特許文献2】特許第7181139号公報
【特許文献3】特許第6946015号公報
【特許文献4】特開2022-16077号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、各種の藻類の測定結果を把握し易くする藻類測定結果表示システム、藻類測定結果表示方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0006】
実施形態の藻類測定結果表示システムは、藻類の測定結果に基づく情報を表示部に表示する制御を行う表示制御部を具備し、前記情報は、藻類の種類ごとの測定量を含み、当該測定量は、藻類の個体数、群体数、長さ、巻数の少なくともいずれかで表現される。
【図面の簡単な説明】
【0007】
【
図1】
図1は、実施形態に係る藻類測定結果表示システムの構成の一例を示す図である。
【
図2】
図2は、
図1中に示される藻類測定結果表示システムの各部の機能構成の一例を示す図である。
【
図3】
図3は、データ取得部11に備えられる撮像装置の構成の一例を示す図である。
【
図4】
図4は、撮像装置110の具体的な構成の一例を示す図である。
【
図5】
図5は、容器112の構成の一例を示す図である。
【
図6】
図6は、藻類の分類を概略的に示す図である。
【
図7】
図7は、各種の藻類と色素との関係を概略的に示す図である。
【
図8】
図8は、各種の藻類の吸収スペクトルを示すとともに各種の色素の光の吸収ピーク(吸収極大)がある波長域を示す図である。
【
図9】
図9は、撮像装置110が出力する撮像信号から得られる情報の一例を模式的に示す図である。
【
図10】
図10は、各種の藻類の姿が写った画像の例を示す図である。
【
図11】
図11は、テーブル表示制御部31によるテーブル表示の例を示す図である。
【
図12】
図12は、藻類の綱、属、種ごとに、グラフ中の折れ線を線の色もしくは線種の違いで識別できるように表現したグラフ表示を示す図である。
【
図13】
図13は、
図12にグラフにおいて縦軸のスケールを対数表示としたグラフ表示を示す図である。
【
図14】
図14は、藍藻の内訳を、グラフ中の折れ線を線の色もしくは線種の違いで識別できるように表現したグラフ表示を示す図である。
【
図15】
図15は、藍藻、珪藻、緑藻の綱ごとの検出数を、グラフ中の折れ線を線の色もしくは線種の違いで識別できるように表現したグラフ表示を示す図である。
【
図16】
図16は、藍藻、珪藻、緑藻の綱ごとの検出数を、日ごとのトレンドを示すグラフとして表現したグラフ表示を示す図である。
【
図17】
図17は、過去年との比較を行えるように表現したグラフ表示を示す図である。
【
図18】
図18は、複数の浄水場もしくは複数の水源との比較を行えるように表現したグラフ表示を示す図である。
【
図19】
図19は、藻類測定結果表示システムの動作の一例を示すフローチャートである。
【発明を実施するための形態】
【0008】
以下、図面を参照して、実施の形態について説明する。
【0009】
<システム全体の構成>
図1に、実施形態に係る藻類測定結果表示システムの構成の一例を示す。
【0010】
図1に示される藻類測定結果表示システムは、データベース管理部M、データ収集部10、藻類測定部20、表示制御部30、およびユーザ操作部60-1,60-2を含む。ユーザ操作部60-1,60-2は、それぞれ表示部62を備えている。
【0011】
ユーザ操作部60-1は、本システムの運用者が使用するコンピュータ(PC)に相当する。
【0012】
データ収集部10およびユーザ操作部60-2は、浄水場もしくは河川・沼湖などの現場の管理区域や管理事務所などに配置される。データ収集部10は、後述する撮像装置を備えている。ユーザ操作部60-2は、現場の作業員が使用するコンピュータ(PC、タブレット、スマートフォンなど)に相当する。
【0013】
藻類測定部20、表示制御部30、およびデータベース管理部Mは、クラウド上(インターネット上)のコンピュータやストレージに相当する。藻類測定部20、表示制御部30、およびデータベース管理部Mは、1つ又は複数のコンピュータ(1つ又は複数のプロセッサ)が実行するプログラムとして実現される。
【0014】
データベース管理部Mは、各種のデータベースを保管する記憶部を備えている。なお、各種のデータベースを1つのデータベース管理部Mがまとめて保管する形態としてもよいが、複数個のデータベース管理部Mがデータベースの種類ごとに異なるデータベースを別々に保管する形態としてもよい。
【0015】
データ収集部10は、後述する撮像装置で撮影して得られる藻類の画像データ(本例では、マルチスペクトルデータ)および当該データに対応付けられた識別情報(本例では、顧客情報)を収集し、収集したマルチスペクトルデータおよび顧客情報をデータベース管理部Mへ送る。ただし、藻類の画像データは、モノクロ画像、カラー画像、複数の波長で撮影して得られるスペクトル画像のいずれのデータであってもよい。
【0016】
データベース管理部Mは、データ収集部10から送られてくるマルチスペクトルデータおよび顧客情報などを所定の記憶部に記憶したり、当該マルチスペクトルデータを藻類測定部20へ送り、藻類測定部20から返される藻類の測定結果を所定の記憶部に記憶したり、表示制御部30から送られてくる顧客情報などを添えた要求(データ送信要求)に応じ、当該顧客情報などに対応する藻類の測定結果を表示制御部30へ送ったりする。
【0017】
藻類測定部20は、データベース管理部Mからマルチスペクトルデータを取得して、藻類の測定を行い、測定結果をデータベース管理部Mへ送る。藻類の測定は、藻類そのものの検出、藻類の種類(綱、属、種、形状などの種類)の判別、および藻類の種類ごとの測定量の算出を含む。算出される藻類の種類ごとの測定量は、所定の指標に基づく値(指標値)、例えば単位容積あたりの藻類の個体数、群体数、長さ、巻数の少なくともいずれかで表現される。藻類の測定の処理は、AI(Artificial Intelligence)エンジンや深層学習モデルを用いて自動化に実施されることが望ましい。
【0018】
表示制御部30は、ユーザ操作部60-1,60-2からの要求に応じて情報を提供するウェブシステムとして動作する。表示制御部30は、ユーザ操作部60-1から送られてくる要求(データ送信要求)や、ユーザ操作部60-2から送られてくる要求(データ送信要求)に応じ、当該要求に添えられた顧客情報などをデータベース管理部Mに送ることにより対応する藻類の測定結果をデータベース管理部Mから取得し、取得した藻類の測定結果を含む情報をユーザ操作部60-1またはユーザ操作部60-2からの要求に応じた表示方法で表示部62に表示するための制御を行う。表示される藻類の測定結果には、藻類の種類ごとの測定量が含まれている。藻類の種類ごとの測定量は、所定の指標に基づく値(指標値)、例えば単位容積当たりの藻類の個体数、群体数、長さ、巻数の少なくともいずれかで表現される。
【0019】
ユーザ操作部60-1は、承認用の承認情報などを添えた要求(データ送信要求)を表示制御部30に送ることにより、データベース管理部Mに保管されている藻類の測定結果を含む情報もしくは管理用データを表示制御部30から取得して表示部62に表示する。
【0020】
ユーザ操作部60-2は、顧客情報や承認用の承認情報などを添えた要求(データ送信要求)を表示制御部30に送ることにより、データベース管理部Mに保管されている藻類の測定結果を含む情報を表示制御部30から取得して表示部62に表示する。
【0021】
<各部の機能構成>
図2に、
図1中に示される藻類測定結果表示システムの各部の機能構成の一例を示す。
【0022】
なお、ここでは、前述したデータベース管理部Mが2つのデータベース管理部M1,M2で実現される場合の例を示す。ただし、この例に限定されるものではなく、勿論、1つのデータベース管理部で実現しても構わない。
【0023】
<データ収集部10>
データ収集部10は、データ取得部11およびデータ送信部12を含む。
【0024】
(データ取得部11)
データ取得部11は、後述する撮像装置により藻類を撮影して画像データを取得する。撮影を行う撮像装置は、顕微鏡にカメラを装着したものであってもよい。カメラは、複数の波長で撮影を行うマルチスペクトルカメラのほか、多数の波長で撮影を行うハイパースペクトルカメラ、一般のカラーカメラやグレースケールカメラであってもよい。微生物の中でも藻類を検出対象とする場合、藻類が持つ色素の有無を判別しやすいマルチスペクトルカメラやハイパースペクトルカメラを採用することが望ましい。ただし、カラーカメラやグレースケールカメラであっても、十分な検出アルゴリズムを構築する(例えば検出対象の画像を事前に学習した深層学習モデルを用いる)ことで、藻類の検出を行うことができる。例えば、観測される藻類のデータを事前に収集し、機械学習モデルを作成することで、藻類の検出を行うことができる。
【0025】
なお、撮影画像は加工してもよい。例えば、マルチスペクトルカメラで撮影して得られたマルチスペクトル画像を、RGBのカラー画像に変換したものを作成し、元のマルチスペクトル画像と共に利用してもよい。
【0026】
また、データには画像以外のものが含まれてもよい。例えば、撮影した日時、撮影画像1枚あたりの水の容積、気温や水温、その他水質の指標値が含まれてもよい。撮影した日時については、データ保持部40に保存される日時の情報で代用してもよい。
【0027】
さらに、藻類の撮影は連続的に行える構成でもよい。例えば、後述するようにフローセルを用いて、撮影対象の水を入れ替えながら撮影を行ってもよい。
【0028】
(データ取得部11に備えられる撮像装置の構成)
図3に、データ取得部11に備えられる撮像装置の構成の一例を示す。
【0029】
図3では、撮像装置がマルチスペクトルカメラを備えたものである場合の例を示している。マルチスペクトルカメラは、撮像信号としてマルチスペクトルデータを出力する
図3に示される撮像装置110は、光源111、容器112、レンズ113、および検出器114を含む。撮像装置110は、前述したデータ収集部10と接続される。撮像装置110とデータ収集部10とはケーブルを用いて有線で接続されていてもよいし、無線通信装置を用いて無線で接続されていてもよい。また、撮像装置110とデータ収集部10とは、所定のネットワーク経由で接続されていてもよい。あるいは、撮像装置110はデータ収集部10に備えられていてもよい。
【0030】
光源111は、藻類の撮影に使用される照明である。光源111は、その波長分布が分かればどのような発光原理を有するものであってもよい。例えば、LED(Light-Emitting Diode)、レーザ、もしくはハロゲンランプを用いて構成されてもよい。光源111から発せられた光は、容器112中の水を照らす。
【0031】
容器112は、河川や沼湖から採取された水を通水もしくは充填する透明の入れ物である。容器112は、例えばフローセルもしくは顕鏡プレートであってもよい。容器112の素材は、サンプルがないときの透過光強度を取得可能なものであればどのような素材であってもよい。
図3の例では、容器112の中の水に、撮像対象となる藻類Aが含まれている。容器112を透過した光は、レンズ113へ向かう。
【0032】
レンズ113は、容器112を透過した光を通し、検出器114のセンサ部に集光させる。なお、レンズ113は、必ずしも必要とされるものではない。
【0033】
検出器114は、容器112からレンズ113を通じて送られる光をセンサ部で受光することにより容器112中の水を撮像し、撮像で得られた画像もしくはシグナルを撮像信号として出力する撮像素子を有する。シグナルは、特定点における信号強度を示す信号であり、実質的に1画素分に相当する信号である。検出器114は、例えば、フォトダイオード(PD)、アバランシェ・フォトダイオード(APD)、光電子倍増管(PMT: Photomultiplier Tube)、電荷結合素子(CCD: Charge Coupled Device)、もしくは相補型金属酸化膜半導体(CMOS: Complementary Metal-Oxide-Semiconductor)を用いて構成されてもよい。容器112の水の中に藻類Aが存在する場合、藻類Aの全部または一部が写った撮像信号がデータ収集部10へ送られる。
【0034】
また、検出器114は、複数の波長の光にそれぞれ対応する信号を出力する。なお、複数の波長は、それぞれ任意に選択できるように構成されてもよい。例えば、検出器114は、任意の波長に対する分光特性を有するものであってもよいし、そのような特性を有しておらず後述する各種のカラーフィルタのいずれかを通過する任意の波長の光(例えば単色光)を受光するものであってもよい。
【0035】
図4に、撮像装置110の具体的な構成の一例を示す。
【0036】
図4に示される撮像装置110は、前述した光源111、容器112、レンズ113、および検出器114に加え、光学フィルタ115をさらに備える。光学フィルタ115は、容器112とレンズ113との間の空間に配置され、各種のカラーフィルタを有する。各種のカラーフィルタは、それぞれ、所定の波長の光(色)を通過させ、他の波長の光(色)を減衰させる。カラーフィルタ毎に、通過させる波長(色)が異なる。
【0037】
このような光学フィルタ115を駆動部(図示せず)で回転/停止させることにより、光軸Xに任意のカラーフィルタを挿入させることができるようになっている。光学フィルタ115を回転/停止させる操作は、データ収集部10側で実施してもよい。
【0038】
なお、光学フィルタ115は、必ずしも必要とされるものではない。光学フィルタ115を設けず、検出器114側で任意の波長を選択できるように構成してもよい。また、検出器114側で任意の波長を選択する機能が無くても、複数の波長の光にそれぞれ対応する信号を出力できるのであれば、そのような機能は無くても問題はない。
【0039】
【0040】
図5は、容器112がフローセルである場合の例を示している。なお、ここでは水を通水するフローセルの例を示すが、代わりに、例えば水を充填した状態で使用する容器(顕鏡プレートなど)を採用しても構わない。
【0041】
フローセルは、例えばある水源から取得された原水が通過する流路を内部に有する。フローセルの流路では、原水がほぼ静止することなく流れ続ける。具体的には、フローセルは、本体121、採水管122、および排水管123を備える。
【0042】
採水管122は、水源から採水された原水の一部が本体121に流入するための流入口を有する。流入口から流入する原水は、高低差やポンプ等により水圧がかかっており、矢印の方向に流れる。採水管122の流入口から流入した原水は、採水管122を通過して本体121へ流入する。
【0043】
本体121は、内部に流路を有する。本体121は、少なくとも撮像装置110の撮影対象となる領域においては、仮に原水が透明であれば光源111からの光を波長によらず均一に透過させるように透明の部材を用いて構成される。
【0044】
排水管123は、本体121を通過した原水を排出するための排水口を有する。排水口から排出される原水は、特定の箇所へ廃棄されてもよいし、水源へ戻されてもよい。
【0045】
(藻類の種類)
次に、各種の藻類について説明する。
【0046】
【0047】
藻類は、大きく「綱」に分類され、「綱」はさらに「目」、「科」、「属」など(以降、「属など」と称す。)に小分類される。
【0048】
「綱」の例としては、藍藻(綱)、珪藻(綱)などがある。そのほか、図示されていない緑藻(綱)、黄金色藻(綱)といったものもある。「属など」の例としては、藍藻(綱)の中には、フォルミジウム、オシラトリア、アナベナなどがあり、珪藻(綱)の中には、アウラコセイラなどがある。
【0049】
(藻類の光合成色素)
次に、各種の藻類が備えている光合成色素(以降、「色素」と称す。)について説明する。
【0050】
【0051】
藍藻(綱)は、クロロフィルaのほか、フィコシアニンなどの色素を有する。珪藻(綱)は、クロロフィルaのほか、フコキサンチン、ジアトキサンチン、ジアジノキサンチンなどの色素を有する。図示されていない緑藻(綱)、黄金色藻(綱)も、いくつかの色素を有する。
【0052】
図8に、各種の藻類の吸収スペクトル(以降、「スペクトル」と称す。)を示すとともに各種の色素の光の吸収ピーク(吸収極大)がある波長域を示す。
図8のグラフにおいて、縦軸は光の透過率を、横軸は波長を示す。光の透過率は、信号強度に相当するものとみなすことができる。
【0053】
図8のグラフには、藍藻の属であるフォルミジウム、オシラトリア、およびアナベナのスペクトル、ならびに珪藻の属であるアウラコセイラのスペクトルが示されている。
【0054】
図8中のCHL-aは、クロロフィルaにより光が特に吸収される波長域を示す。また、
図8中のPHYは、フィコシアニンにより光が特に吸収される波長域を示す。
【0055】
フォルミジウム、オシラトリア、アナベナ、およびアウラコセイラは、いずれも、クロロフィルaにより特に440 nm付近および680 nm付近で光が吸収されている。クロロフィルaは、藻類全般に見られる色素である。したがって、クロロフィルaの吸収ピークがある440 nm付近および680 nm付近の色相の情報を用いることにより、撮像装置110で撮像した領域の中に藻類が存在するか否かがわかる。
【0056】
藍藻の属であるフォルミジウム、オシラトリア、およびアナベナは、フィコシアニンにより特に620 nm付近の光が吸収されている。フィコシアニンは、藍藻以外の藻類が有していることは少なく、藍藻に特有の色素といえる。したがって、フィコシアニンの吸収ピークがある620 nm付近の色相の情報と、クロロフィルaの吸収ピークがある440 nm付近および680 nm付近の色相の情報とを用いることにより、撮像装置110で撮像した領域の中に藻類が存在するか否か、および、藻類が存在する場合にはその藻類が藍藻であるのか藍藻以外の藻類であるのかがわかる。すなわち、藍藻の有無がわかる。
【0057】
同様の手法により、藍藻の有無を判別するだけでなく珪藻の有無を判別することも可能である。
【0058】
例えば、珪藻の属であるアウラコセイラは、図示しないフコキサンチン、ジアトキサンチン、ジアジノキサンチンにより、それぞれ所定の波長域で光が吸収される。したがって、それらの波長域の色相の情報と、クロロフィルaの吸収ピークがある440 nm付近および680 nm付近の色相の情報とを用いることにより、撮像装置110で撮像した領域の中に藻類が存在するか否か、および、藻類が存在する場合にはその藻類が珪藻であるのか、それとも珪藻以外の藻類であるのかがわかる。すなわち、珪藻の有無がわかる。
【0059】
緑藻の有無、黄金色藻の有無なども、同様の手法により判別することが可能である。
【0060】
藍藻の属であるフォルミジウム、オシラトリア、アナベナ等のそれぞれの有無は、それらのスペクトルの波形の特徴から判別することが可能である。
【0061】
藍藻における各種の属(フォルミジウム、オシラトリア、アナベナ等)の有無に限らず、珪藻における各種の属(アウラコセイラ等)の有無も、同様の手法により判別することが可能である。緑藻における各種の属の有無、黄金色藻における各種の属の有無なども、同様の手法により判別することが可能である。
【0062】
(撮像信号から得られる情報)
図9に、撮像装置110が出力する撮像信号から得られる情報の一例を模式的に示す。
【0063】
図9の例では、容器112の中の水に藻類Aが存在している。検出器114は、藻類Aを含む領域を撮像し、複数の波長にそれぞれ対応する複数の画像Gを出力する。なお、ここでは、撮像装置110から画像が出力される場合の例が示されているが、画像ではなく、上述したシグナルが出力されるように構成してもよい。
【0064】
図9に示される画像Gの例では、50 nmの間隔で波長400 nm,450 nm,500 nm,550 nm,600 nm,650 nm,750 nmにそれぞれ対応する複数の画像Gが得られるものとなっている。
【0065】
複数の画像Gの数や各波長の間隔は、適宜変えてもよい。例えば対象の藻類が有する色素の特徴が特に現われる帯域(例えば色素の吸収ピークがある波長域の周辺)においては、50 nmよりも短い間隔で、より多くの画像Gが得られるようにしてもよい。また、対象の藻類のスペクトルの形をより捉えやすくするため、波長が短い帯域から長い帯域までより広い範囲で、各波長の間隔をより短くして、より多くの画像Gが得られるようにしてもよい。
【0066】
また、個々の波長に対応する画像Gが同時に全て生成されるようにしてもよいが、一部のいくつかの波長に対応する画像Gのみが生成されるようにしてもよい。例えば、対象とする藻類の種類に合わせて、その藻類が有する色素の特徴が特に現われる帯域(例えば色素の吸収ピークがある波長域の周辺)の各波長に対応する画像Gのみが生成されるようにしてもよい。
【0067】
波長の選択は、上述したように光学フィルタ115を操作することにより行われるようにしてもよいし、光学フィルタ115を用いずに検出器114の内部で行われるようにしてもよい。個々の波長や画像取得倍率は、藻類の大きさや種類に応じて適宜変更してもよい。
【0068】
図9では、画像Gに棒状のフォルミジウムの姿が写った例が示されているが、画像Gに写り得る藻類の形状は種類によって様々である。
図10に、各種の藻類の姿が写った画像の例を示す。
【0069】
図10には、(a)アナベナ、(b)オシラトリア、(c)フォルミジウム、および(d)ミクロキスティスの姿が写った画像の例が示されている。
【0070】
図10に示されるように、藻類には、数珠が繋がったようなもの、糸状のもの、棒状のもの、球状のものなどがあり、形状は様々である。
【0071】
(データ送信部12)
データ送信部12は、データ取得部11が取得したデータを、データ保持部40に送信する。
【0072】
<データベース管理部M1>
データベース管理部M1は、データ保持部40を含む。
【0073】
(データ保持部40)
データ保持部40は、藻類を撮影した画像データや、画像データの取得日時、その他(気温、水温、水質の指標値)のデータを保持する。また、データ保持部40は、保持したデータを、藻類測定部20または表示制御部30からの要求に応じて要求元の藻類測定部20または表示制御部30へ送信する。
【0074】
<藻類測定部20>
藻類測定部20は、データ取得部21、藻類検出部22、指標算出部23、および指標送信部24を含む。
【0075】
(データ取得部21)
データ取得部21は、データベース管理部M1に対してデータ送信要求を送り、データ保持部40から画像データを含む各種データを取得する。
【0076】
(藻類検出部22)
藻類検出部22は、データ取得部21が取得した各種データを処理して、画像データに映る藻類を検出する。
【0077】
藻類の検出する際の分類方法としては、以下がある。以下の分類方法は、表示時の藻類の分類に使用される。
【0078】
・藻類か否かの分類
- 映った物体が藻類か藻類以外か(藻類が存在するか否か)の分類を行う。
【0079】
- 具体的には、藻類が保有するクロロフィルaの有無の判別を行う、もしくは事前に藻類の画像を学習した機械学習モデルにより映った物体が藻類か否かの判別を行う。
【0080】
・藻類が持つ色素による綱の分類
-
図7で説明した藍藻、珪藻、緑藻などの分類を行う。
【0081】
・藻類の属による分類
-
図8で説明したアナベナ、オシラトリア、フォルミジウム、などの分類を行う。
【0082】
- 対象の画像を事前に学習した深層学習モデルを用いて上記分類を行う。
【0083】
・藻類の種による分類
- アナベナの中のaffinis、spiroidesなどの分類を行う。
【0084】
- 対象の画像を事前に学習した深層学習モデルを用いて上記分類を行う。
【0085】
・藻類の形状による分類
- 糸状体か否かの分類を行う。
【0086】
・糸状体が直鎖か螺旋かの分類
- 群体か否かの分類を行う。
【0087】
- 藻類の画像上の特徴を基に、一般的な画像処理や藻類の形状を学習した機械学習モデルを用いて上記分類を行う。
【0088】
(指標算出部23)
指標算出部23は、藻類検出部22が検出した藻類の情報を基に、検出した藻類それぞれについて各種の指標値を算出する。指標としては、以下がある。
【0089】
・藻類の大きさ
- 画像上の面積(画素単位)
- 画像を撮影した平面での断面積(実スケール単位(平方ミリメートルなど))
・藻類の位置
- 重心座標
- 外接矩形座標
指標算出部23は、藻類検出部22が検出した藻類の情報を基に、前述した分類ごとの各種の指標値を算出する。指標としては、以下がある。これらの数は、水の単位容積(例えば1mL)あたりの数(濃度)としてもよい。その場合、撮影画像1枚あたりの水の容積を用いて、濃度を算出する。
【0090】
・個体数
個体数の算出のためには、画像に映る個々の藻類の塊を検出する必要がある。そのためには、ラベリングなどの既知の画像処理手法を使用する。個々の藻類の塊を検出できれば、その塊に属する画素数を数え上げることで藻類の大きさを求めることができる。
【0091】
・細胞数
細胞数は、藻類の塊が1個の細胞に対応するのであれば、上述の塊の検出で算出することができる。すなわち、塊の数=細胞数として算出する。複数の細胞が1個の塊を形成する藻類であれば、その種類の藻類における細胞1個あたりの標準面積(例えば100px)で塊の面積(例えば1,000px)を割ることで細胞数を推定することができる(例えば、1,000px/100px=10個)。
【0092】
・糸状体の長さ(連なった藻類を1つとした数、単位長さ(例えば100μm)で測った数)
糸状体の長さは、その藻類の画像上の塊をもとに、藻類の中心線を求めることで算出することができる。藻類の中心線を求めるには、藻類が映る画素のベクトル化などの既知の画像処理手法を使用する(例えば特許第2817885号公報)。
【0093】
・螺旋状の糸状体の巻数
螺旋状の糸状体の巻数を算出するには、上述の方法で求めた藻類の中心線を基に、曲率の大きな部分(藻類が曲がって映った部分)の個数を求めればよい。もしくは、螺旋状の藻類が円形に映っていれば、藻類の中心線がつくる円の個数を求めることでも算出可能である。
【0094】
・群体数
群体数(群体の個数)は、藻類の塊の数と同等である。画像上で複数の塊に分離して映っている群体に対しては、膨張・収縮処理により1つの塊に結合するなど、既知の画像処理手法を用いればよい。
【0095】
(指標送信部24)
指標送信部24は、指標算出部23が算出した指標値や撮影画像、撮影日時のデータを指標保持部50に送信する。
【0096】
<データベース管理部M2>
データベース管理部M2は、指標保持部50を含む。
【0097】
指標保持部50は、藻類測定部20が算出した指標値を保持する。また、指標保持部50は、保持したデータを、表示制御部30からの要求に応じて表示制御部30に送信する。
【0098】
<表示制御部30>
表示制御部30は、テーブル表示制御部31、グラフ表示制御部32、および検出画像表示制御部33を含む。
【0099】
テーブル表示制御部31、グラフ表示制御部32、および検出画像表示制御部33におけるどの表示制御においても、データ保持部40および指標保持部50から撮影画像(もしくは撮影画像をRGB画像などに加工したもの)および各種の指標値を取得した上で、指標値を基に表示画面を生成する。
【0100】
(テーブル表示制御部31)
テーブル表示制御部31は、藻類の測定結果として測定日時、藻類の種類、指標値を含む情報を表形式で表示する。
【0101】
図11に、テーブル表示制御部31によるテーブル表示の例を示す。
【0102】
図11の例では、各種の項目として、日時、綱、属、種、形状、検出数[個・群体/mL]、検出数[単位長/mL]、および巻数[巻]が設けられている。個々の藻類の測定結果は例えば検出された順に時系列で追記される。
【0103】
綱、属、種、および形状は、藻類の種類に相当する。検出数[個・群体/mL]、検出数[単位長/mL]、および巻数[巻]は、藻類の種類ごとの測定量すなわち指標値に相当する。検出数[個・群体/mL]は、単位容積あたりの個体数(または細胞数)もしくは群体数を表している。検出数[単位長/mL]は、単位容積あたりの単位長を表している。
【0104】
なお、属の種類によっては、種が検出できないものもある。形状が螺旋のものについては、指標値として巻数[巻]が使用されるが、形状が螺旋でないものについては巻数[巻]は使用されない。また、形状が群体のものについては、検出数[単位長/mL]は使用されない。
【0105】
このような表示形式を採用することにより、測定日時や藻類の分類ごとに詳細な指標値を一覧することができる。また、報告書の作成をサポートすることもできる。
【0106】
(グラフ表示制御部32)
グラフ表示制御部32は、藻類の測定結果として測定日時、藻類の種類、指標値を含む情報をグラフ形式で表示する。
【0107】
図12~
図18に、グラフ表示制御部32によるいくつかのグラフ表示の例を示す。
図12~
図18は、それぞれ、縦軸に藻類の検出数[個・群体/mL]を、横軸に測定日時を取り、藻類の検出数の経時変化を折れ線グラフで表現した場合の例を示している。
【0108】
図12のグラフ表示では、藻類の綱、属、種ごとに、グラフ中の折れ線を線の色もしくは線種の違いで識別できるように表現している。このような形式で表示を行うと、ユーザは藻類の増減を把握しやすくなる。いくつかの折れ線に重なる部分が多くて見えにくい場合は、以下の
図13のグラフ表示のように変えればよい。
【0109】
図13のグラフ表示では、縦軸のスケールを対数表示としている。このような形式で表示を行うと、折れ線の重なりが低減し、見えやすくなる。この表示形式は、観測数のオーダーが10~100倍異なる場合に有効である。
【0110】
図14(a)のグラフ表示では、藍藻の内訳を、グラフ中の折れ線を線の色もしくは線種の違いで識別できるように表現している。
図14(b)のグラフ表示では、
図14(a)のグラフを対数表示に変えている。藍藻のほか、珪藻や緑藻についても同様な表示形式を採用してもよい。このような形式で表示を行うと、種ごとの内訳を把握しやすい。この表示形式は、種ごとに異臭味の有無や種類が異なる場合に把握しやすい。
【0111】
図15(a)のグラフ表示では、藍藻、珪藻、緑藻の綱ごとの検出数を、グラフ中の折れ線を線の色もしくは線種の違いで識別できるように表現している。
図15(b)のグラフ表示では、
図15(a)のグラフを対数表示に変えている。このような形式で表示を行うと、綱ごとの傾向を把握しやすい。例えば藍藻は異臭味の主要因、珪藻はろ過閉塞の主要因となるため、それらの予兆を把握しやすい。
【0112】
図16のグラフ表示では、藍藻、珪藻、緑藻の綱ごとの検出数を、日ごとのトレンドを示すグラフとして表現している。このような形式で表示を行うと、日ごとの藍藻、珪藻、緑藻のトレンドを把握しやすい。トレンドを把握する際に、横軸の時間のスケールを自由に変更できるようにしておくことが望ましい。また、日ごとのトレンドを示すグラフに限らず、日ごとのトレンドを示すグラフや、週ごとのトレンドを示すグラフ、年ごとのトレンドを示すグラフを自由に表示できるようにしてもよい。
【0113】
図17のグラフ表示では、過去年との比較を行えるように表現している。このような形式で表示を行うと、過去のトレンドとの比較が容易となり、今後の障害の度合いを予測しやすい。
【0114】
図18のグラフ表示では、複数の浄水場もしくは複数の水源との比較を行えるように表現している。このような形式で表示を行うと、複数の浄水場や複数の水源との比較が容易となり、藻類数のトレンドや障害の原因を推測しやすい。
【0115】
(検出画像表示制御部33)
検出画像表示制御部33は、各種の指標値と撮影画像とを合わせた表示を行う機能である。ただし、この機能は必ずしも必要とされるものではない。
【0116】
<ユーザ操作部60-1,60-2>
ユーザ操作部60-1は、要求発行部61および表示部62を含む。ユーザ操作部60-2も、ユーザ操作部60-1と同様に、要求発行部61および表示部62を含む。
【0117】
(要求発行部61)
要求発行部61は、ユーザの操作に応じた要求を表示制御部30に送信する。この要求には、日時(期間)、表示する画面の種類、表示する指標値の種類などが含まれる。
【0118】
(表示部62)
表示部62は、要求に応じて表示制御部30が作成した表示画面を表示する。
【0119】
<1つまたは複数の装置による構成>
図2に示される各部の機能は、1つの装置で実現されてもよいし、複数の装置に分けて実現されてもよい。例えばデータ収集部10において、1つの装置がデータ取得とデータ送信を行う構成であってもよいし、ある装置がデータの取得を行い、別の装置がそのデータの送信を行う構成であってもよい。また、1台の装置内にデータ保持部40と藻類測定部20が存在するようにし、装置内部で藻類測定部20がデータ保持部40に保持されるデータを使って指標値を算出するように構成してもよい。
【0120】
<動作例>
図19のフローチャートを参照して、藻類測定結果表示システムの動作の一例を説明する。
【0121】
最初に、データ収集部10では、データ取得部11が、藻類のデータ(画像含む)を取得し(S1)、データ送信部12が、藻類のデータをデータ保持部40に送信して保存させる(S2)。
【0122】
次に、藻類測定部20では、データ取得部21が、データ保持部から藻類のデータを取得し(S3)、藻類検出部22が、藻類のデータを基に対象の藻類を検出する(S4)。続いて、指標算出部23が、藻類の検出結果を基に指標値を算出し(S5)、指標送信部24が、指標値を指標保持部に送信して保存する(S6)。
【0123】
次に、ユーザ操作部60-1もしくは60-2において、要求発行部61が、ユーザの要求を発行する(S7)。この要求は、日時(期間)、表示する画面の種類、表示する指標値の種類などを含む。
【0124】
次に、表示制御部30では、テーブル表示制御部31が、表形式で指標値を表示する画面を生成し(S8)、グラフ表示制御部32が、例えば時系列のグラフ形式で指標値を表示する画面を生成し(S9)、検出画像表示制御部33が、藻類の画像に重畳した検出結果を表示する画面を生成する(S10)。
【0125】
次に、表示制御部30では、個々の制御部31~33が、ユーザの要求に合わせた表示を行う(S11)。
【0126】
上述した実施形態では、少なくとも次のような効果が得られる。
【0127】
・属や種の分類で藻類の量を把握することができる。そのため、障害の予兆を知ることや、障害の種別を予測することができる。
【0128】
・個体数・群体数・糸状体の長さ単位など、浄水場の運営に即した藻類発生量の把握が可能となる。そのため、障害の予兆を知ることや、障害の種別を予測することができるほか、報告書の作成をサポートすることができる。
【0129】
・過去の藻類観測量との比較を行うことができ、今後の藻類発生の予測を高精度に行うことができる。
【0130】
・顕微鏡画像と同等の画像が得られ、その画像に重畳して藻類の検出結果を表示できる。そのため、一般的な顕微鏡観察と同じ要領で検出結果を管理することができる。
【0131】
以上詳述したように、実施形態によれば、各種の藻類の測定結果を把握し易くすることができる。
【0132】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0133】
10…データ収集部、11…データ取得部、12…データ送信部、20…藻類測定部、21…データ取得部、22…藻類検出部、23…指標算出部、24…指標送信部、30…表示制御部、31…テーブル表示制御部、32…グラフ表示制御部、33…検出画像表示制御部、40…データ保持部、50…指標保持部、60-1…ユーザ操作部、60-2…ユーザ操作部、61…要求発行部、62…表示部、111…光源、112…容器、113…レンズ、114…検出器、115…フィルタ、110…撮像装置、M,M1,M2…データベース管理部。