ホーム > 特許ランキング > ＡｎｙＴｅｃｈ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024127495
(43)【公開日】2024-09-20
(54)【発明の名称】処理装置、処理プログラム、処理方法及び処理システム
(51)【国際特許分類】
G01N 21/27 20060101AFI20240912BHJP
G01N 33/18 20060101ALI20240912BHJP
C02F 1/00 20230101ALI20240912BHJP
【ＦＩ】
G01N21/27 A
G01N33/18 101
C02F1/00 V
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2023036683
(22)【出願日】2023-03-09
(71)【出願人】
【識別番号】520126295
【氏名又は名称】ＡｎｙＴｅｃｈ株式会社
(74)【代理人】
【識別番号】100151448
【弁理士】
【氏名又は名称】青木 孝博
(72)【発明者】
【氏名】岩井 拓也
(72)【発明者】
【氏名】坪井 祐太
(72)【発明者】
【氏名】福田 敦史
(72)【発明者】
【氏名】三島 悠希
【テーマコード（参考）】
2G059
【Ｆターム（参考）】
2G059AA05
2G059BB05
2G059EE13
2G059FF01
2G059FF04
2G059KK04
2G059MM01
2G059MM05
(57)【要約】
【課題】
撮像画像を用いて水溶液の局所的な検査を行いつつ、当該水溶液の水質を高精度に検査すること。
【解決手段】
少なくとも一つのプロセッサを具備し、当該少なくとも一つのプロセッサは、液体に対して所定の位置に配置されたマーカーを撮像するように構成された撮像装置から前記マーカーの撮像情報を取得し、取得した前記撮像情報に基づいて前記マーカーの周囲における前記液体の異常を検知する、ための処理を実行するように構成されていること。
【選択図】 図１
撮像画像を用いて水溶液の局所的な検査を行いつつ、当該水溶液の水質を高精度に検査すること。
【解決手段】
少なくとも一つのプロセッサを具備し、当該少なくとも一つのプロセッサは、液体に対して所定の位置に配置されたマーカーを撮像するように構成された撮像装置から前記マーカーの撮像情報を取得し、取得した前記撮像情報に基づいて前記マーカーの周囲における前記液体の異常を検知する、ための処理を実行するように構成されていること。
【選択図】 図１
【特許請求の範囲】
【請求項1】
少なくとも一つのプロセッサを具備する処理装置であって、
前記少なくとも一つのプロセッサは、
液体に対して所定の位置に配置されたマーカーを撮像するように構成された撮像装置から前記マーカーの撮像情報を取得し、
取得した前記撮像情報に基づいて前記マーカーの周囲における前記液体の異常を検知する、
ための処理を実行するように構成された処理装置。
前記少なくとも一つのプロセッサは、
液体に対して所定の位置に配置されたマーカーを撮像するように構成された撮像装置から前記マーカーの撮像情報を取得し、
取得した前記撮像情報に基づいて前記マーカーの周囲における前記液体の異常を検知する、
ための処理を実行するように構成された処理装置。
【請求項2】
前記少なくとも一つのプロセッサは、
前記液体の正常時における前記マーカーの基本情報と、取得した前記撮像情報とを比較した比較結果に応じて前記異常を検知する、
ための処理を実行するように構成された、請求項１に記載の処理装置。
前記液体の正常時における前記マーカーの基本情報と、取得した前記撮像情報とを比較した比較結果に応じて前記異常を検知する、
ための処理を実行するように構成された、請求項１に記載の処理装置。
【請求項3】
前記比較結果は、前記マーカーがあらかじめ含まれる学習用画像を用いて機械学習することによって生成された判定モデルに対して対象画像を与えた結果得られる異常度合である、
請求項２に記載の処理装置。
請求項２に記載の処理装置。
【請求項4】
前記比較結果は、前記マーカーの対象画像と前記マーカーの正常画像に対して画像処理を施した後に比較して得られる異常度合である、
請求項２に記載の処理装置。
請求項２に記載の処理装置。
【請求項5】
前記少なくとも一つのプロセッサは、
取得した前記撮像情報から前記マーカーを抽出する、
ための処理を実行するように構成された、請求項１に記載の処理装置。
取得した前記撮像情報から前記マーカーを抽出する、
ための処理を実行するように構成された、請求項１に記載の処理装置。
【請求項6】
前記少なくとも一つのプロセッサは、
取得した前記撮像情報に応じて、前記撮像装置の駆動を制御するための制御信号を生成する、
ための処理を実行するように構成された、請求項１に記載の処理装置。
取得した前記撮像情報に応じて、前記撮像装置の駆動を制御するための制御信号を生成する、
ための処理を実行するように構成された、請求項１に記載の処理装置。
【請求項7】
前記制御信号は、前記撮像装置の移動又は画拡調整に係る情報が含まれる、請求項５に記載の処理装置。
【請求項8】
前記マーカーは、前記液体中に沈む錘、又は前記液体上若しくは液体中に位置する浮きである、請求項１に記載の処理装置。
【請求項9】
前記マーカーは、前記撮像装置の設置位置から前記液体を跨ぎ、前記撮像装置と対向する位置に配置されている、請求項１に記載の処理装置。
【請求項10】
前記マーカーは、前記液体を収容する容器の底に描かれた印である、請求項１に記載の処理装置。
【請求項11】
少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサを、
液体に対して所定の位置に配置されたマーカーを撮像するように構成された撮像装置から前記マーカーの撮像情報を取得し、
取得した前記撮像情報に基づいて前記マーカーの周囲における前記液体の異常を検知する、
ように機能させる処理プログラム。
液体に対して所定の位置に配置されたマーカーを撮像するように構成された撮像装置から前記マーカーの撮像情報を取得し、
取得した前記撮像情報に基づいて前記マーカーの周囲における前記液体の異常を検知する、
ように機能させる処理プログラム。
【請求項12】
少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサにより実行される処理方法であって、
液体に対して所定の位置に配置されたマーカーを撮像するように構成された撮像装置から前記マーカーの撮像情報を取得する段階と、
取得した前記撮像情報に基づいて前記マーカーの周囲における前記液体の異常を検知する段階と、
を含む処理方法。
液体に対して所定の位置に配置されたマーカーを撮像するように構成された撮像装置から前記マーカーの撮像情報を取得する段階と、
取得した前記撮像情報に基づいて前記マーカーの周囲における前記液体の異常を検知する段階と、
を含む処理方法。
【請求項13】
液体に対して所定の位置に配置されたマーカーと、
前記マーカーを撮像するように構成された撮像装置と、
前記撮像装置から前記マーカーの撮像情報を取得し、前記撮像情報に基づいて前記マーカーの周囲における前記液体の異常を検知する処理装置と、
を含む処理システム。
前記マーカーを撮像するように構成された撮像装置と、
前記撮像装置から前記マーカーの撮像情報を取得し、前記撮像情報に基づいて前記マーカーの周囲における前記液体の異常を検知する処理装置と、
を含む処理システム。
【請求項14】
前記マーカーは、前記液体の種類、又は前記液体の置かれる環境に応じて、形状、色、及び設置位置が調整される、請求項１３に記載の処理システム。
【請求項15】
前記処理装置から前記液体の水質の異常に係る判定情報を受信する端末装置を更に含む、請求項１３に記載の処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像画像を用いて液体の品質を検査する処理装置、処理プログラム、処理方法、及び処理システムに関する。
【背景技術】
【0002】
従来より、水中の魚類を監視カメラによって撮像し、当該魚類の活動状況を把握することによって水質を検査する水質監視装置が知られていた。例えば、特許文献１には、「水の流入口とその水の排出口を備えた水槽と、その水槽内に飼育した走流性を有する魚類の画像を取得する監視カメラと、前記監視カメラで取得された画像を処理して画像信号を取得しその画像信号に基づいて前記魚類の行動による輝度の変化を検出する画像処理手段とを備え、前記画像処理手段が検出した前記輝度の変化量の大小に基づいて前記水槽内の水質の良否を判定する判定手段を備えた水質監視装置において、前記監視カメラが画像を取得する水槽内の監視領域を、前記流入口から前記排出口に至る水流に沿って複数の分割領域に区分し、前記水質の良否を判定する際の輝度の変化量の基準値を、前記水流の下流側の前記分割領域が上流側の前記分割領域よりも低くなるようにしたことを特徴とする水質監視装置。」が記載されている。
【0003】
しかし、特許文献１に記載の水質監視装置においては、撮像対象である魚類が動くため、撮像による画像解析の精度が低く、水質監視の精度も低下する問題があった。また、監視対象である水全体の水質は分かるものの、局所的な異物や異常の検知は不可能であった。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００９－７４８４０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は、上述した背景からなされたものであり、撮像画像を用いて液体の局所的な検査を行いつつ、当該液体の品質を高精度に検査することが可能な処理装置、処理プログラム、処理方法、及び処理システムを提供する。
【課題を解決するための手段】
【0006】
本開示の一態様によれば、「少なくとも一つのプロセッサを具備する処理装置であって、前記少なくとも一つのプロセッサは、液体に対して所定の位置に配置されたマーカーを撮像するように構成された撮像装置から前記マーカーの撮像情報を取得し、取得した前記撮像情報に基づいて前記マーカーの周囲における前記液体の異常を検知する、ための処理を実行するように構成された処理装置。」が提供される。
【0007】
本開示の一態様によれば、「少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサを、液体に対して所定の位置に配置されたマーカーを撮像するように構成された撮像装置から前記マーカーの撮像情報を取得し、取得した前記撮像情報に基づいて前記マーカーの周囲における前記液体の異常を検知する、ように機能させる処理プログラム。」が提供される。
【0008】
本開示の一態様によれば、「少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサにより実行される処理方法であって、液体に対して所定の位置に配置されたマーカーを撮像するように構成された撮像装置から前記マーカーの撮像情報を取得する段階と、取得した前記撮像情報に基づいて前記マーカーの周囲における前記液体の異常を検知する段階と、を含む処理方法。」が提供される。
【0009】
本開示の一態様によれば、「液体に対して所定の位置に配置されたマーカーと、前記マーカーを撮像するように構成された撮像装置と、前記撮像装置から前記マーカーの撮像情報を取得し、前記撮像情報に基づいて前記マーカーの周囲における前記液体の異常を検知する処理装置と、を含む処理システム。」が提供される。
【発明の効果】
【0010】
本開示によれば、撮像画像を用いて液体の局所的な検査を行いつつ、当該液体の品質を高精度に検査することが可能な処理装置、処理プログラム、処理方法、及び処理システムを提供することができる。
【0011】
なお、上記効果は説明の便宜のための例示的なものであるにすぎず、限定的なものではない。上記効果に加えて、又は上記効果に代えて、本開示中に記載されたいかなる効果や当業者であれば明らかな効果を奏することも可能である。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
添付図面を参照して本開示の各実施形態を説明する。なお、図面における共通する構成要素には同一の参照符号が付されている。
【0014】
＜実施形態１＞
１．本開示に係る処理システム１の概要
本開示に係る処理システム１は、一例としては、貯留された液体に対して所定の位置に配置されたマーカーを撮像し、撮像結果である撮像情報に含まれるマーカー画像を利用して当該液体の品質を検査し、異物等の異常が存在しないかなどを把握するために用いられる。特に、当該処理システム１は、例えば、マーカーを含む複数の画像を人工知能（ＡＩ：artificial intelligence）を用いて機械学習し、マーカー検出用の検出モデル及び水質判定用の判定モデルを設定する。そして、実際に撮影されたマーカー画像をこれらのモデルに入力し、マーカーの位置判定及び水質判定を行う場合などにおいて好適に用いられる。また、当該処理システム１は、水質判定の結果として異常を検出した場合には、当該処理システム１を利用する使用者に対して当該異常を報知し、当該異常への対応を迅速に行える環境を提供することが可能である。
１．本開示に係る処理システム１の概要
本開示に係る処理システム１は、一例としては、貯留された液体に対して所定の位置に配置されたマーカーを撮像し、撮像結果である撮像情報に含まれるマーカー画像を利用して当該液体の品質を検査し、異物等の異常が存在しないかなどを把握するために用いられる。特に、当該処理システム１は、例えば、マーカーを含む複数の画像を人工知能（ＡＩ：artificial intelligence）を用いて機械学習し、マーカー検出用の検出モデル及び水質判定用の判定モデルを設定する。そして、実際に撮影されたマーカー画像をこれらのモデルに入力し、マーカーの位置判定及び水質判定を行う場合などにおいて好適に用いられる。また、当該処理システム１は、水質判定の結果として異常を検出した場合には、当該処理システム１を利用する使用者に対して当該異常を報知し、当該異常への対応を迅速に行える環境を提供することが可能である。
【0015】
図１は、本開示の実施形態１に係る処理システム１に係る水質検査の概要を概略的に示す図である。具体的には、図１には、マーカーの撮像から異常の報知までにおける装置間の関係が示されている。図１に示すように、処理システム１は、端末装置１００、処理装置２００、撮像装置３００、貯留槽４００の水４２０に沈められた撮像対象であるマーカー４１０を含む。そして、処理システム１においては、端末装置１００、処理装置２００、及び撮像装置３００が互いに無線、有線又はこれらの組み合わせにより通信可能に接続されている。
【0016】
このような構成により、当該処理システム１において、撮像装置３００によって撮影されたマーカー４１０の画像を含む撮像情報が処理装置２００へ送信される。処理装置２００は、取得した撮像情報に含まれるマーカー４１０の画像を利用して水４２０の水質を検査する。そして、処理装置２００は、検査結果として異常を検知した場合には、当該異常を端末装置１００へ報知すべく、異常に係る情報である判定情報を送信する。端末装置１００の利用者は、当該異常が表示されることにより、貯留槽４００における水４２０の異常を把握することができ、当該異常に対する対応を行うことができる。
【0017】
本開示において、品質検査の対象となる「液体」とは、一般的な水、及び当該水に対して各種の物質が溶けた水溶液、及び当該水溶液には属さない他の液体等が含まれる。具体的に、「液体」とは、工場、プラント、又は電力施設等における排水、貯留水、又は貯留液等である。これらの液体は、例えば曝気槽、沈殿槽、凝集槽、調整槽、クラリファイヤー、最終槽、排水桝、又は加圧浮上槽等を通過し、又は一時的若しくは定常的に貯留される。なお、実施形態１において、「液体」は水４２０であり、当該水４２０がプール等の貯留槽４００に貯留されている場合が想定されている。
【0018】
本開示において、「液体」の品質検査としては、当該液体における異常の有無を判定することである。ここで「異常」とは、当該液体が本来含むはずのない他の物質である異物を含んでいる状態、当該液体の色が変化した場合、又は液体が本来ある状態から変化した場合等である。具体的に、排水ピットにおける異常としては、油若しくはゴミの発生、又は赤錆による赤色化、白濁による白色化、他の不純物による茶色化若しくは黒色化等がある。曝気槽における異常としては、泡の異常発生がある。沈殿槽における異常としては、油、ゴミ、若しくは泥の発生、又は錆などが溶け出ることによる変色がある。凝集槽及び調整槽における異常としては、フロックの成形不良、又はフロックが形成されないことによる茶色化がある。クラリファイヤーにおける異常としては、茶色のフロックの発生である。最終槽及び排水桝の異常としては、前述の各槽における異常が生じていると、当該異常状態の液体が流れてくることである。加圧浮上槽の異常としては、汚れた泡又は泡の成形不良がある。
【0019】
本開示において、「マーカー」とは、上述した異常を検出するために、液体に対して所定の位置に配置されるものである。具体的に、「マーカー」として液体中に沈められる錘、液体中又は液体表面に浮く浮きを用いることができる。
また、「マーカー」はこのような立体的なものに限定されず、例えば、液体を貯留する容器である各槽の底に描かれた印であってもよい。すなわち、「マーカー」は二次元の画像を用いることもできる。更に、「マーカー」の色及び形状は、液体及び当該液体を貯留する槽の種類に応じて変更することができる。「マーカー」の色は、例えば、液体の色として極小となる赤色を用いることができるが、青、緑、黒、白等の他の色であってもよく、異物又は液体の色の変化を検出できるように設定される。「マーカー」の形状は、例えば、円柱、直方体、立方体、錐体、又は球体等であってもよく、当該液体を貯留する槽や「マーカー」の配置場所に応じて、適宜設定される。なお、実施形態１においては、赤色且つ円柱状のマーカー４１０が想定されている。
また、「マーカー」はこのような立体的なものに限定されず、例えば、液体を貯留する容器である各槽の底に描かれた印であってもよい。すなわち、「マーカー」は二次元の画像を用いることもできる。更に、「マーカー」の色及び形状は、液体及び当該液体を貯留する槽の種類に応じて変更することができる。「マーカー」の色は、例えば、液体の色として極小となる赤色を用いることができるが、青、緑、黒、白等の他の色であってもよく、異物又は液体の色の変化を検出できるように設定される。「マーカー」の形状は、例えば、円柱、直方体、立方体、錐体、又は球体等であってもよく、当該液体を貯留する槽や「マーカー」の配置場所に応じて、適宜設定される。なお、実施形態１においては、赤色且つ円柱状のマーカー４１０が想定されている。
【0020】
本開示において、「マーカー」が配置される「所定の位置」とは、上述したように、液体の底、液体の表面、液体の内部等の、液体に接触する位置が想定される。また、「マーカー」の配置される場所は、液体に接触する位置に限定されず、「マーカー」を撮像することができれば、液体の背面であってもよい。すなわち、「マーカー」は、撮像装置３００の設置位置から「液体」を跨ぎ、撮像装置３２０と対向する位置に配置されてもよい。なお、実施形態１においては、マーカー４１０を水４２０の底（貯留槽４００の底面）に沈めた場合が想定されている。
【0021】
本開示において「撮像情報」とは、撮像装置３００によって撮影された画像を含むものであり、特定の画像のみに限定されるものではない。すなわち、当該画像内に「マーカー」が含まれている必要はない。ここで、当該画像は、１枚の静止画に限定されるものではなく、複数枚の静止画であってもよいし、１又は複数の動画であってもよい。また、当該画像は、特定のカラー画像のみに限定されるものではなく、赤外線画像、紫外線画像、白黒画像、点群画像又はこれらの組み合わせなど、いずれの画像であってもよい。また、撮像装置３００については、ＣＭＯＳセンサを備えるカメラのみならず、赤外線センサや紫外線センサを用いることも可能であるし、赤外線センサ、紫外線センサ、加速度センサ、ジャイロセンサなど、各種センサが組み合わされたものであってもよい。
【0022】
なお、本開示において、「第１」や「第２」等の記載がなされていたとしても、これらが付された二つの要素のみに限定されることを意味するわけではない。当然に、「第３」、「第４」及びそれ以上の複数の要素が含まれていてもよい。
【0023】
２．処理システム１の構成
図２は、本開示の実施形態１に係る処理システム１の構成を概略的に示す概念図である。図２に示すように、端末装置１００、処理装置２００、及び撮像装置３００は、互いにネットワーク５００を通じて通信可能に接続されている。当該ネットワーク５００は、インターネット、無線回線、有線回線又はそれらの組み合わせにより構成されていてもよい。
図２は、本開示の実施形態１に係る処理システム１の構成を概略的に示す概念図である。図２に示すように、端末装置１００、処理装置２００、及び撮像装置３００は、互いにネットワーク５００を通じて通信可能に接続されている。当該ネットワーク５００は、インターネット、無線回線、有線回線又はそれらの組み合わせにより構成されていてもよい。
【0024】
なお、図２の例では、端末装置１００、処理装置２００、及び撮像装置３００は、それぞれ１台しか記載されていないが、当然２台以上の各装置を含むことが可能である。また、処理装置２００は単一のものとして記載されているが、処理装置２００の各構成要素及び処理を複数のサーバ装置やクラウドサーバ装置に分配することも可能である。
【0025】
また、複数の撮像装置３００に対応させ、マーカー４１０を複数配置してもよいが、１台の撮像装置３００が複数のマーカー４１０を撮像するようにしてもよい。
【0026】
３．端末装置１００の構成
図３は、本開示の実施形態１に係る端末装置１００の構成の例を示すブロック図である。端末装置１００は、図３に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。
図３は、本開示の実施形態１に係る端末装置１００の構成の例を示すブロック図である。端末装置１００は、図３に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。
【0027】
端末装置１００は、典型的には、スマートフォンに代表される無線通信可能な端末装置が挙げられるが、当然当該装置のみには限られない。例えば、端末装置としては、フィーチャーフォン、携帯情報端末、ＰＤＡ、ラップトップパソコン、デスクトップパソコン、携帯型ゲーム機、据え置き型ゲーム機など、本開示に係るプログラムを実行可能な装置であれば、いずれでも好適に適用することが可能である。また、上記のとおり、端末装置１００が複数台の場合において、各端末装置が常に同種又は同じ端末装置である必要はなく、互いに異なる種類の端末装置であってもよい。
【0028】
図３によると、端末装置１００は、出力インターフェイス１１１、プロセッサ１１２、ＲＡＭ、ＲＯＭ、又は不揮発性メモリ（場合によっては、ＨＤＤ）等を含むメモリ１１３、通信処理回路及びアンテナを含む通信インターフェイス１１４、タッチパネル及びハードキーを含む入力インターフェイス１１５を含む。そして、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。
【0029】
出力インターフェイス１１１は、プロセッサ１１２の指示に応じて、カメラ（図示せず）で撮影される画像や、本開示に係るプログラムを実行することによって出力される各種表示を、ディスプレイやプリンタ等の機器に出力する出力部として機能する。なお、このようなディスプレイは、例えば液晶ディスプレイ、有機ＥＬディスプレイ又は電子ペーパー等から構成される。
【0030】
プロセッサ１１２は、ＣＰＵ（マイクロコンピュータ：マイコン）から構成され、メモリ１１３に記憶された各種プログラムに基づいて、接続された他の構成要素を制御する制御部として機能する。具体的には、プロセッサ１１２は、本開示に係るアプリケーションを実行するためのプログラムやＯＳを実行するためのプログラムをメモリ１１３から読み出して実行する。本開示においては、プロセッサ１１２は、特に、図６の処理シーケンスで記載された処理等を実行する（処理の詳細は、図６において説明する。）。なお、プロセッサ１１２は、単一のＣＰＵで構成されても良いが、複数のＣＰＵやＧＰＵを組み合わせて構成しても良い。
【0031】
メモリ１１３は、ＲＯＭ、ＲＡＭ、不揮発性メモリ、ＨＤＤ等から構成され、記憶部として機能する。ＲＯＭは、本開示に係るアプリケーションやＯＳを実行するための指示命令をプログラムとして記憶する。ＲＡＭは、ＲＯＭに記憶されたプログラムがプロセッサ１１２により処理されている間、データの書き込み及び読み込みをするために用いられる。不揮発性メモリは、当該プログラムの実行によってデータの書き込み及び読み込みが実行されるメモリであって、ここに書き込まれたデータは、当該プログラムの実行が終了した後でも保存される。本開示においては、メモリ１１３は、特に、図６の処理シーケンスで記載された各処理等を実行するプログラムを記憶する（処理の詳細は、図６において説明する。）。
【0032】
通信インターフェイス１１４は、通信処理回路及びアンテナを介して、遠隔に設置された処理装置２００や他の端末装置との間で情報の送受信をする通信部として機能する。通信処理回路は、処理システム１において用いられるプログラムや各種情報等を処理の進行に応じて、処理装置２００や他の端末装置から情報を送受信するための処理をする。本開示においては、特に、判定情報が処理装置２００から受信される。
【0033】
通信処理回路は、ＬＴＥ方式に代表されるような広帯域の無線通信方式に基づいて処理されるが、ＩＥＥＥ８０２．１１に代表されるような無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような狭帯域の無線通信に関する方式や非接触無線通信に関する方式に基づいて処理することも可能である。また、無線通信に代えて、又は加えて、有線通信を用いることも可能である。
【0034】
入力インターフェイス１１５は、タッチパネルやハードキー等から構成され、本開示に係るプログラムの実行に係る指示入力や、様々な情報を登録するための操作入力等を受け付ける入力部として機能する。タッチパネルは、出力インターフェイス１１１を被覆するように配置され、出力インターフェイス１１１からディスプレイに出力される画像データに対応する位置座標の情報を、プロセッサ１１２に送信する。タッチパネル方式としては、抵抗膜方式、静電容量結合方式、超音波表面弾性波方式など、公知の方式を利用することができる。本開示においては、タッチパネルは、指示体により出力インターフェイス１１１に表示された各アイコン等に対するスワイプ操作やタップ操作を検出する。なお、本開示では端末装置１００に備えられる入力インターフェイス１１５を用いたが、例えばマウスのような、プロセッサ１１２等を備える本体に無線又は有線で接続された入力インターフェイス１１５を用いることも可能である。
【0035】
４．処理装置２００の構成
図４は、本開示の実施形態１に係る処理装置２００の構成の例を示すブロック図である。処理装置２００は、図４に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。また、処理装置２００は単一の筐体に図４に図示するものを備える必要はなく、処理装置２００の各構成要素及び処理を複数のサーバ装置やクラウドサーバ装置に分配することも可能である。
図４は、本開示の実施形態１に係る処理装置２００の構成の例を示すブロック図である。処理装置２００は、図４に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。また、処理装置２００は単一の筐体に図４に図示するものを備える必要はなく、処理装置２００の各構成要素及び処理を複数のサーバ装置やクラウドサーバ装置に分配することも可能である。
【0036】
図４によると、処理装置２００は、ＲＡＭ、ＲＯＭ、及び不揮発性メモリ、ＨＤＤ等を含むメモリ２１１、ＣＰＵ等から構成されるプロセッサ２１２、通信インターフェイス２１３、及び入力インターフェイス２１４を含む。そして、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。
【0037】
メモリ２１１は、ＲＡＭ、ＲＯＭ、不揮発性メモリ、ＨＤＤを含み、記憶部として機能する。ＲＯＭは、本開示に係るアプリケーションやＯＳを実行するための指示命令をプログラムとして記憶する。このようなプログラムは、プロセッサ２１２によってロードされ実行される。ＲＡＭは、ＲＯＭに記憶されたプログラムがプロセッサ２１２によって処理されている間、データの書き込み及び読み込みを実行するために用いられる。不揮発性メモリは、当該プログラムの実行によってデータの書き込み及び読み込みが実行されるメモリであって、ここに書き込まれたデータは、当該プログラムの実行が終了した後でも保存される。
【0038】
本開示においては、メモリ２１１は、特に、「水４２０に対して所定の位置に配置されたマーカー４１０を撮像するように構成された撮像装置３００からマーカー４１０の撮像情報を取得する処理」、「取得した当該撮像情報に基づいてマーカー４１０の周囲における水４２０の異常を検知する処理」等のためのプログラムを記憶する。
【0039】
プロセッサ２１２は、ＧＰＵ（グラフィックスプロセッシングユニット）又はＣＰＵ（マイクロコンピュータ：マイコン）から構成され、メモリ２１１に記憶された各種プログラムに基づいて、接続された他の構成要素を制御するための制御部として機能する。具体的には、プロセッサ１１２は、本開示に係るアプリケーションを実行するためのプログラムやＯＳを実行するためのプログラムをメモリ１１３から読み出して実行する。
【0040】
本開示においては、プロセッサ１１２は、特に、「水４２０に対して所定の位置に配置されたマーカー４１０を撮像するように構成された撮像装置３００からマーカー４１０の撮像情報を取得する処理」、「取得した当該撮像情報に基づいてマーカー４１０の周囲における水４２０の異常を検知する処理」等を実行し、人工知能としての機能も実現する。なお、プロセッサ２１２は、単一のＧＰＵ又はＣＰＵで構成されても良いが、複数のＧＰＵ又はＣＰＵで構成しても良い。
【0041】
通信インターフェイス２１３は、通信処理回路及びアンテナを介して、遠隔に設置された他のサーバ装置や端末装置１００との間で情報の送受信をする通信部として機能する。通信処理回路は、処理システム１において用いられるプログラムや各種情報等を処理の進行に応じて、他のサーバ装置や端末装置１００から情報を送受信するための処理をする。本開示においては、特に、通信インターフェイス２１３を介して、判定情報が端末装置１００に送信され、制御情報が撮像装置３００に送信される。また、通信インターフェイス２１３を介して、撮像情報が撮像装置３００から受信される。
【0042】
通信処理回路は、ＬＴＥ方式に代表されるような広帯域の無線通信方式に基づいて処理されるが、ＩＥＥＥ８０２．１１に代表されるような無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような狭帯域の無線通信に関する方式や非接触無線通信に関する方式に基づいて処理することも可能である。また、無線通信に代えて、又は加えて、有線通信を用いることも可能である。
【0043】
入力インターフェイス２１４は、タッチパネルやハードキー等から構成され、本開示に係るプログラムの実行に係る指示入力や、様々な情報を登録するための操作入力等を受け付ける入力部として機能する。本開示においては、後述する初期設定等を実行するための情報入力装置として、入力インターフェイス２１４が使用される。
【0044】
５．撮像装置３００の構成
図５は、本開示の実施形態１に係る撮像装置３００の構成の例を示すブロック図である。撮像装置３００は、図５に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。実施形態１において、撮像装置３００は、一般的な監視カメラである。
図５は、本開示の実施形態１に係る撮像装置３００の構成の例を示すブロック図である。撮像装置３００は、図５に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。実施形態１において、撮像装置３００は、一般的な監視カメラである。
【0045】
図５に示すように、撮像装置３００は、出力インターフェイス３１１、プロセッサ３１２、ＲＡＭ、ＲＯＭ、又は不揮発性メモリ（場合によっては、ＨＤＤ）等を含むメモリ３１３、通信処理回路及びアンテナを含む通信インターフェイス３１４、タッチパネル並びにハードキーを含む入力インターフェイス３１５、センサ３１６、及び光源３１７を含む。そして、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。
【0046】
出力インターフェイス３１１は、プロセッサ３１２の指示に応じて、撮影される画像や、本開示に係るプログラムを実行することによって出力される各種表示を、ディスプレイ（図示せず）に出力部として機能する。なお、このようなディスプレイは、例えば液晶ディスプレイ、有機ＥＬディスプレイ又は電子ペーパー等から構成され、撮像装置３００の背面等に設けられている。
【0047】
プロセッサ３１２は、ＣＰＵ（マイクロコンピュータ：マイコン）から構成され、メモリ３１３に記憶された各種プログラムに基づいて、接続された他の構成要素を制御する制御部として機能する。具体的には、プロセッサ３１２は、メモリ３１３に記憶されたプログラムに基づいて、センサ３１６の駆動、光源３１７の駆動を制御するとともに、センサ３１６によって撮影された画像の送信や撮影における撮影条件等のメモリ３１３への記憶を制御する。本開示においては、プロセッサ３１２は、特に、図６の処理シーケンスで記載された処理等を実行する（処理の詳細は、図６において説明する。）。なお、プロセッサ３１２は、単一のＣＰＵで構成されても良いが、複数のＣＰＵを組み合わせて構成しても良い。
【0048】
メモリ３１３は、ＲＯＭ、ＲＡＭ、不揮発性メモリ、ＨＤＤ等から構成され、記憶部として機能する。ＲＯＭは、本開示に係るアプリケーションやＯＳを実行するための指示命令をプログラムとして記憶する。ＲＡＭは、ＲＯＭに記憶されたプログラムがプロセッサ３１２により処理されている間、データの書き込み及び読み込みをするために用いられる。不揮発性メモリは、当該プログラムの実行によってデータの書き込み及び読み込みが実行されるメモリであって、ここに書き込まれたデータは、当該プログラムの実行が終了した後でも保存される。本開示においては、メモリ３１３は、特に、図６の処理シーケンスで記載された各処理等を実行するプログラムを記憶する（処理の詳細は、図６において説明する。）。また、メモリ３１３は、当該プログラムのほかに、撮影された画像などを記憶する。
【0049】
通信インターフェイス３１４は、通信処理回路及びアンテナを介して、遠隔に設置された処理装置２００との間で情報の送受信をする通信部として機能する。通信インターフェイスの一例としては、ＵＳＢ、ＳＣＳＩなどの有線通信用コネクタや、セルラ通信、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線などの無線通信用送受信デバイスや、プリント実装基板やフレキシブル実装基板用の各種接続端子など、様々なものが挙げられる。通信処理回路は、処理システム１において用いられるプログラムや各種情報等を処理の進行に応じて、処理装置２００から情報を送受信するための処理をする。本開示においては、特に、通信インターフェイス３１４を介して、撮像情報が処理装置２００に送信され、制御情報が処理装置２００から受信される。
【0050】
通信処理回路は、ＬＴＥ方式に代表されるような広帯域の無線通信方式に基づいて処理されるが、ＩＥＥＥ８０２．１１に代表されるような無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような狭帯域の無線通信に関する方式や非接触無線通信に関する方式に基づいて処理することも可能である。また、無線通信に代えて、又は加えて、有線通信を用いることも可能である。
【0051】
入力インターフェイス３１５は、タッチパネルやハードキー等から構成され、本開示に係るプログラムの実行に係る指示入力や、様々な情報を登録するための操作入力等を受け付ける入力部として機能する。なお、実施形態１においては、撮像装置３００として監視カメラが想定されているため、通常の撮影時において、入力インターフェイス３１５が使用されることは少ない。
【0052】
センサ３１６は、被写体から反射した反射光を検出して被写体画像を生成する撮影部として機能する。センサ３１６は、一例としてＣＭＯＳセンサが挙げられる。なお、ＣＭＯＳセンサ以外にも、ＣＣＤセンサなどのイメージセンサや、赤外線センサや紫外線センサを用いることも可能であるし、赤外線センサ、紫外線センサ、加速度センサ、ジャイロセンサなど、各種センサが組み合わされたものであってもよい。
【0053】
光源３１７は、処理装置２００からの制御信号に対応し、プロセッサ３１２によって駆動され、マーカー４１０に向けて光を照射するための光源部として機能する。光源３１７は、一又は複数の光源を含む。本開示においては、光源３１７は、一又は複数のＬＥＤから構成され、各ＬＥＤから所定の周波数帯域を有する光が被写体に照射される。光源３１７には、一例としては、紫外光帯域、可視光帯域、赤外光帯域の中から所望の帯域を有する光、又はそれらの組み合わせが用いられてもよい。
【0054】
６．処理システム１により実行される処理シーケンス
図６は、本開示の実施形態１に係る端末装置１００、処理装置２００、及び撮像装置３００の間で実行される処理シーケンスを示す図である。具体的には、図６は、処理装置２００における水質判定の初期設定から水質に異常があったと判定されるまでに、端末装置１００、処理装置２００、及び撮像装置３００の間で実行される処理シーケンスを示す図である。
図６は、本開示の実施形態１に係る端末装置１００、処理装置２００、及び撮像装置３００の間で実行される処理シーケンスを示す図である。具体的には、図６は、処理装置２００における水質判定の初期設定から水質に異常があったと判定されるまでに、端末装置１００、処理装置２００、及び撮像装置３００の間で実行される処理シーケンスを示す図である。
【0055】
先ず、図６に示すように、処理装置２００のプロセッサ２１２は、入力インターフェイス２１４を介して、使用者の操作入力を受け付けて、処理システム１による処理のために必要な各種初期設定パラメータ値の設定を行う（Ｓ１１：初期設定）。具体的には、プロセッサ１１２は、初期設定情報として、撮像装置３００の明るさや画角等の設定情報、マーカー４１０の検出用の検出モデル、及び水質判定用の判定モデルを設定するための設定情報について、入力インターフェイス２１４を介して使用者の操作入力を受け付ける。なお、撮像装置３００の明るさや画角等の設定情報に係る操作入力は、当該検出モデル及び当該判定モデルを設定するための設定情報に係る操作入力とは異なるタイミングにて行われてもよい。そして、プロセッサ２１２は、受け付けた各初期設定情報をメモリ２１１に記憶するとともに、当該初期設定情報に対応させ、撮像装置３００を制御するための制御信号を生成する。また、プロセッサ２１２は、当該初期設定情報に対応させ、マーカー４１０の検出用の検出モデル、及び水質判定用の判定モデルの設定を実行する。なお、検出モデルの設定については、図７を参照し、判定モデルの設定については、図８を参照して後述する。
【0056】
次に、処理装置２００のプロセッサ２１２は、生成した制御信号を含む制御情報を撮像装置３００に通信インターフェイス２１３を介して送信する（Ｔ１１）。ここで、当該制御情報には、マーカー４１０及び水４２０の撮影を開始するための指示信号が含まれている。
【0057】
次に、第１制御情報が通信インターフェイス３１４を介して撮像装置３００によって受信されると、プロセッサ３１２は、当該制御情報に含まれる制御信号に対応させて画角調整を実行し、広角撮影モードにて撮影を開始する（Ｓ１２：マーカーの撮影）。すなわち、マーカー４１０及びその周辺の水４２０が含まれる範囲が撮影されることになる。そして、撮像装置３００のプロセッサ３１２は、撮影された画像をメモリ３１３に記憶するとともに、当該画像に各種の情報を付加した撮像情報を通信インターフェイス３１４を介して処理装置２００に送信する（Ｔ１２）。ここで、当該画像に各種の情報とは、撮影時刻、撮影条件（画角の数値、フラッシュの有無等）、及び撮影環境（温度、湿度等）が含まれてもよい。なお、撮像装置３００により撮影された画像は、静止画であってもよいし、動画であってもよい。すなわち、静止画である場合には、所定の間隔で撮像処理を繰り返し複数枚の静止画を撮影画像として取得する。また、動画である場合には、所定の間隔でフレーム画像が取り込まれた動画を撮影画像として取得する。
【0058】
次に、処理装置２００のプロセッサ２１２は、通信インターフェイス２１３を介して撮像情報を受信すると、当該撮像情報に含まれる画像を用い、当該画像内におけるマーカー４１０を検出するための処理を行う（Ｓ１３：マーカー検出処理）。。具体的に、プロセッサ２１２は、マーカー検出用の検出モデルに取得した画像を入力し、出力結果としてマーカー４１０がズームされた状態のマーカー画像（すなわち、切り出された画像）を取得する。なお、より具体的な処理については、図９における処理フローを参照して後述する。
【0059】
次に、処理装置２００のプロセッサ２１２は、Ｓ１３にて取得したマーカー画像を用いて水質判定を行うとともに、取得したマーカー画像をメモリ２１１に記憶する（Ｓ１４：水質判定処理）。具体的に、プロセッサ２１２は、水質判定用の判定モデルに取得したマーカー画像を入力し、判定結果を出力情報として取得する。また、プロセッサ２１２は、異常があると判定した場合には、異常に係る情報を含む判定情報を生成する。なお、より具体的な判定処理については、図９における処理フローを参照して後述する。
【0060】
次に、処理装置２００のプロセッサ２１２は、生成した判定情報を端末装置１００に通信インターフェイス２１３を介して送信する（Ｔ１３）。そして、端末装置１００のプロセッサ１１２は、通信インターフェイス１１４を介して判定情報を受信すると、出力インターフェイス１１１を介して、水４２０の水質に異常がある旨の報知を行う（Ｓ１５：水質異常報知）。これにより、端末装置１００の利用者は、貯留槽４００における水４２０の水質に異常があることを把握することができ、当該異常に対する措置を実行することができる。なお、端末装置１００のプロセッサ１１２は、当該判定情報を１回受信した場合に、当該報知処理を実行するだけでなく、当該判定情報を複数回受信した場合に、当該報知処理を実行してもよい。このようにすることより、画像データ処理に起因する誤判定が１回発生しても、誤った報知を防止することが可能になる。
【0061】
７．処理装置２００において実行される処理フロー
以下、図６に記載された初期設定に係る処理（Ｓ１１）、マーカー検出処理（Ｓ１３）、及び水質判定処理（Ｓ１４）において、処理装置２００において実行される処理フローを具体的に説明する。
以下、図６に記載された初期設定に係る処理（Ｓ１１）、マーカー検出処理（Ｓ１３）、及び水質判定処理（Ｓ１４）において、処理装置２００において実行される処理フローを具体的に説明する。
【0062】
（Ａ）初期設定に係る検出モデルの設定の処理フロー
図７は、本開示の実施形態１に係る処理装置２００において実行される処理フローを示す図である。具体的には、図７は、撮像された画像からマーカー４１０を検出し、マーカー４１０をズームしたマーカー画像を生成するための検出モデルを生成するための処理フローを示す。
図７は、本開示の実施形態１に係る処理装置２００において実行される処理フローを示す図である。具体的には、図７は、撮像された画像からマーカー４１０を検出し、マーカー４１０をズームしたマーカー画像を生成するための検出モデルを生成するための処理フローを示す。
【0063】
先ず、処理装置２００のプロセッサ２１２は、撮像対象であるマーカー４１０が少なくとも含まれ、撮像装置３００によって撮影された学習用画像の画像データを取得する（Ｓ１０１）。当該画像データは、入力インターフェイス２１４を介し、処理装置２００の使用者によって入力される。ここで、学習画像とは、マーカー４１０を種々の条件によって撮影した場合の画像であり、マーカー４１０の見え方が当該条件によって異なっていることになる。
【0064】
次に、処理装置２００のプロセッサ２１２は、取得された学習用画像にアノテーション処理を行う（Ｓ１０２）。具体的なアノテーション処理としては、取得された学習用画像において、処理装置２００の使用者の操作に応じてマーカー４１０が矩形で取り込まれ、マーカー４１０の位置及び大きさが特定されつつ、当該矩形で囲まれたものがマーカーであることを意味付けられる。なお、当該アノテーション処理の取り込みについては、矩形に限定されず、三角形、多角形、円形、又は楕円形でもよく、点で結ばれたポリゴン形式、又はピクセル単位の取り込みでもよい。
【0065】
次に、プロセッサ２１２は、学習用画像とアノテーションされたデータ用いてマーカー４１０の識別パターンの機械学習を行う（Ｓ１０３）。当該機械学習は、一例として、アノテーションされたデータ内におけるマーカー４１０の部分（バウンディングボックス）を切り抜き、当該切り抜かれた部分の分類としてマーカーであるかを判断しつつスコアリングを実施し、マーカーの位置とマーカーの特徴を覚えこませていく。
【0066】
次に、上述した機械学習によってマーカー検出用の検出モデルが形成されると、マーカー４１０の撮像情報を受信した際における処理モデルとして、当該検出モデルが設定される。検出モデルの設定とは、処理装置２００のメモリ２１１や処理装置２００と有線又は無線ネットワークを介して接続された他の処理装置（例えば、クラウド上のサーバ装置）内に記憶することである。
【0067】
なお、図７においては、学習用画像として撮像装置３００により撮影された画像を用い、当該学習用画像に対して例えば使用者により識別処理がなされる場合について説明した。しかし、これに限らず、あらかじめマーカー４１０のみが含まれた画像を学習用画像として用いたり、ＣＧ（コンピュータグラフィックス）画像を作成し学習用画像及び学習用識別情報として利用することも可能である。
【0068】
また、学習用画像は、撮像装置３００で取得された画像をそのまま用いてもよいし、所望に応じて所定の前処理を行うことも可能である。このような前処理としては、ハイパスフィルタやローパスフィルタを含むバンドパスフィルタ、平均化フィルタ、ガウシアンフィルタ、ガボールフィルタ、キャニーフィルタ、ソーベルフィルタ、ラプラシアンフィルタ、メディアンフィルタ、バイラテラルフィルタなどのフィルタ処理、トリミング処理、曇り除去処理、超解像処理及びこれらの組み合わせから、高精細化、領域抽出、ノイズ除去、エッジ強調、画像補正、画像変換などの目的に応じて選択される。このように、前処理を実行することによって、識別精度を更に向上させることが可能となる。
【0069】
更に、図７においては、学習用画像を用いて学習する場合について説明したが、例えば撮像装置３００によって画像が撮影されたときの撮影条件情報や、撮影されたときに各種センサ装置で測定された出力値である撮影環境情報をさらに用いて学習させてもよい。これにより、識別精度をさらに向上させることが可能となる。
【0070】
（Ｂ）初期設定に係る判定モデルの設定の処理フロー
図８は、本開示の実施形態１に係る処理装置２００において実行される処理フローを示す図である。具体的には、図８は、マーカー４１０の画像から異物等の異常の有無を判定するための水質判定用の判定モデルを生成するための処理フローを示す。
図８は、本開示の実施形態１に係る処理装置２００において実行される処理フローを示す図である。具体的には、図８は、マーカー４１０の画像から異物等の異常の有無を判定するための水質判定用の判定モデルを生成するための処理フローを示す。
【0071】
先ず、処理装置２００のプロセッサ２１２は、撮像対象であるマーカー４１０が少なくとも含まれ、撮像装置３００によって撮影された学習用画像の画像データを取得する（Ｓ１１１）。当該学習データは、入力インターフェイス２１４を介し、処理装置２００の使用者によって入力される。ここで、学習画像とは、マーカー４１０を種々の条件によって撮影した場合の画像であり、マーカー４１０の見え方が当該条件によって異なっていることになる。ここで、本実施形態１においては、水質に異常がない状態の画像のみを用いて機械学習することになる。すなわち、水質異常の画像が取得できない場合が想定され、異常となる教師データが存在しないことになる。このため、水質の異常が基本的には起こらない場合などにおいて、判定モデルを効率的に生成することができる。なお、当該学習用画像としては、Ｓ１０１で取得したものを使用してもよい。
【0072】
次に、処理装置２００のプロセッサ２１２は、取得された画像データから、マーカー４１０の切り出し処理を行う（Ｓ１１２）。例えば、取得された学習用画像に対して、処理装置２００の使用者の操作に応じてマーカー４１０が矩形で取り込まれることにより、当該切り出しが実行されてもよい。なお、当該マーカー４１０の取り囲みについては、矩形に限定されず、三角形、多角形、円形、又は楕円形でもよく、点で結ばれたポリゴン形式、又はピクセル単位の切り出しでもよい。また、図７において設定されたマーカー用の検出モデルを使用することにより、当該切り出し処理を自動化してもよい。
【0073】
取得された画像データからマーカー部分が切り出された状態の画像が複数得られると、プロセッサ２１２は、当該切り出し画像の機械学習を行う（Ｓ１１３）。当該機械学習は、一例として、パーセプトロンを組み合わせたニューラルネットワークに対して、これらの情報の組を与え、各パーセプトロンのパラメータを調整しながら学習を繰り返すことにより行われる。なお、当該機械学習の際に、Ｓ１１２において切り出された画像について、回転、縮小、拡大などの変形を加えて、データを水増しして学習させてもよい。すなわち、切り出し画像のみを使用して機械学習してもよく、更には切り出し画像及び当該画像から拡張された画像を利用して機械学習してもよい。
【0074】
次に、上述した機械学習によって水質判定用の判定モデルが形成されると、マーカー４１０の抽出画像を取得した際における処理モデルとして、当該判定モデルが設定される（Ｓ１１４）。判定モデルの設定とは、処理装置２００のメモリ２１１や処理装置２００と有線又は無線ネットワークを介して接続された他の処理装置（例えば、クラウド上のサーバ装置）内に記憶することである。
【0075】
なお、図７においては、学習用画像として撮像装置３００により撮影された画像を用い、当該学習用画像に対して例えば使用者により識別処理がなされる場合について説明した。しかし、これに限らず、あらかじめマーカー４１０のみが含まれた画像を学習用画像として用いたり、ＣＧ（コンピュータグラフィックス）画像を作成し学習用画像及び学習用識別情報として利用することも可能である。
【0076】
また、学習用画像は、撮像装置３００で取得された画像をそのまま用いてもよいし、所望に応じて所定の前処理を行うことも可能である。このような前処理としては、ハイパスフィルタやローパスフィルタを含むバンドパスフィルタ、平均化フィルタ、ガウシアンフィルタ、ガボールフィルタ、キャニーフィルタ、ソーベルフィルタ、ラプラシアンフィルタ、メディアンフィルタ、バイラテラルフィルタなどのフィルタ処理、トリミング処理、曇り除去処理、超解像処理及びこれらの組み合わせから、高精細化、領域抽出、ノイズ除去、エッジ強調、画像補正、画像変換などの目的に応じて選択される。このように、前処理を実行することによって、識別精度を更に向上させることが可能となる。
【0077】
更に、図８においては、学習用画像と学習用識別情報とを用いて学習する場合について説明したが、例えば撮像装置３００によって画像が撮影されたときの撮影条件情報や、撮影されたときに各種センサ装置で測定された出力値である撮影環境情報をさらに用いて学習させてもよい。これにより、識別精度をさらに向上させることが可能となる。
【0078】
（Ｃ）マーカー抽出から水質判定に係る処理フロー
図９は、本開示の実施形態１に係る処理装置２００において実行される処理フローを示す図である。具体的には、図９は、マーカー４１０の撮像情報からマーカー４１０を抽出し、水４２０の水質を判定するための処理フローを示す。
図９は、本開示の実施形態１に係る処理装置２００において実行される処理フローを示す図である。具体的には、図９は、マーカー４１０の撮像情報からマーカー４１０を抽出し、水４２０の水質を判定するための処理フローを示す。
【0079】
先ず、処理装置２００のプロセッサ２１２は、通信インターフェイス２１３を介して撮像情報を撮像装置３００から受信すると（Ｓ２０１：Ｙｅｓ）、設定した検出モデルに当該撮像情報を入力する（Ｓ２０２）。これにより、プロセッサ２１２は、当該判定モデルを利用し、当該撮像情報に含まれるマーカー４１０の画像からマーカー４１０を抽出する（Ｓ２０３）。具体的な抽出方法として、プロセッサ２１２は、判定モデルに含まれるマーカー４１０の基本情報であるマーカー４１０のみの画像と、撮像情報に含まれる画像とを比較して特徴量を算出し、当該特徴量に基づいてマーカー４１０の位置を求め、マーカー４１０の抽出を行う。
【0080】
次に、撮像情報に含まれる画像においてマーカー４１０が抽出されると、プロセッサ２１２は、抽出されたマーカー４１０の画像を判定モデルに入力する（Ｓ２０４）。続いて、プロセッサ２１２は、当該判定モデルを利用し、マーカー４１０が設置されている貯留槽４００の水４２０の水質判定結果を出力する（Ｓ２０５）。より具体的に、プロセッサ２１２は、水４００の正常時におけるマーカー４１０の基本情報と、抽出後のマーカー４１０の画像とを比較した比較結果に応じ、水４００の異常を検知する。すなわち、本実施形態１において、プロセッサ２１２は、当該判定モデルにマーカー４１０の画像を入力し、その結果として得られる特徴量を当該比較結果とし、水４００の異常を検知している。換言すると、マーカー４１０の見え方が、水質に異常がない場合と比較して変わったことを把握し、変わったことがある場合には水質に異常があったと判定する。
【0081】
なお、本実施形態において、上記特徴量の比較方法としては、正常な画像から生成される正常値（スカラー値又は２次元ベクトル）と入力された画像に係る値を比較することが想定されているが、これに限定されず種々のＡＩ判定を用いることができる。例えば、当該比較方法として、あらかじめ設定された閾値に対して、入力された画像に係る値が超える場合又は小さい場合に異常と判定してもよい。また、当該閾値は数値範囲として設定し、入力された画像に係る値が当該数値範囲内又は範囲外の場合に異常と判定してもよい。
【0082】
また、上記において、プロセッサ２１２は１つの画像の判断結果に基づいて水質の異常を判定していたが、複数の画像に対する比較結果を用いて、総合的に水質の異常を判定してもよい。例えば、プロセッサ２１２は、一定の経過時間に得られる複数画像のそれぞれに対する判定結果を用い、異常と判断される画像が連続的に取得されている場合に、水質に異常があると判定（時間軸での判定）してもよい。一方で、プロセッサ２１２は、複数のマーカーに係る複数の画像又は１つのマーカーに対す異なる方向から撮影した複数の画像に対する判定結果を用いて、異常と判断される画像が所定数を超えた場合に水質に異常があると判定（座標軸での判定）してもよい。
【0083】
次に、処理装置２００のプロセッサ２１２は、水４２０における異常が発生していると判定すると（Ｓ２０６：Ｙｅｓ）、通信インターフェイス２１３を介して判定情報を端末装置１００に送信する（Ｓ２０７）。なお、処理装置２００のプロセッサ２１２は、異常がない場合であっても、定期的に水質に異常がない旨を端末装置１００に送信してもよい。
【0084】
実施形態１の処理システム１においては、教師データとなる複数のマーカー画像を人工知能（ＡＩ：artificial intelligence）を用いて学習し、マーカー４１０の位置を把握することができるため、マーカー４１０の追尾が可能になっている。すなわち、処理システム１においては、マーカー４１０が移動した場合であっても、マーカー４１０の位置に対応させて撮像装置３００を駆動させて適切な撮影を継続することができる。このため、マーカー４１０を意図的に移動させる場合であっても、撮像装置３００を手動で再設定する必要がなく、更には処理装置２００における判定処理のカスタマイズも必要がなく、マーカー４１０の撮影及び水質検査を継続して行うことができる。マーカー４１０を移動させる場合としては、昼間と夜間で位置を変える場合、天気に応じて変える場合、季節に応じて変える場合、及び水４２０に係る業務変化に応じて変える場合等が想定される。より具体的には、水４２０の状態を考慮して、水４２０の流入口から排出口にマーカー４１０を移動させる場合が考えられる。
【0085】
実施形態１に係る処理システム１においては、マーカー４１０が水底に配置されているため、泥や他の沈殿物等の異常の検出を高精度に行うことが可能である。
【0086】
なお、実施形態１において、撮像情報に含まる画像からマーカー４１０を検出するために、機械学習によって得られた検出モデルを使用していたが、他の方法によって検出してもよい。例えば、処理装置２００のプロセッサ２１２は、撮像情報に含まる画像の色相、彩度、又は明度等の色調に関わる数値を計測し、一定の閾値を超えたものをマーカー４１０として検出してもよい。すなわち、処理装置２００のプロセッサ２１２は、マーカー４１０の対象画像とマーカー４１０の正常画像に対して画像処理を施した後に比較して得られる異常度合を用いて判定を行うことになる。この場合には機械学習及びモデル生成が不要となり、処理システム１としてのコストを低減することができる。また、機械学習によって得られた検出モデルを使用する場合としては、マーカー４１０の色が周囲の色に近く、単純な閾値での検出が難しい場合となるが、上記閾値を使用した検出方法としては、マーカー４１０の色が周囲の色と明らかに異なる場合に利用することができる。
【0087】
また、実施形態１においては、水質判定用の判定モデルを生成する場合に、水質に異常がない画像のみを用いて機械学習が実行されていたが、水質に異常がある場合の画像も用いて機械学習が実行されてもよい。この場合には、図８における判定モデルの生成の際に、プロセッサ２１２は水質に異常がない画像に対して異常がないという正解ラベルを付与するとともに、水質に異常がある画像に対して異常があるという正解ラベルを付与し、水質に異常がある画像と異常がない画像とを学習用識別情報としてメモリ２１１に記憶し、当該学習用識別情報を用いて機械学習を実行することになる。当該機械学習は、一例として、パーセプトロンを組み合わせたニューラルネットワークに対して、これらの情報の組を与え、ニューラルネットワークからの出力が正解ラベル情報と同じになるように、各パーセプトロンのパラメータを調整しながら学習を繰り返すことにより行われる。
【0088】
そして、この場合には、異常の画像を直接的に学ばせることができるため、教師無し学習と比べて、当該機械学習が安定して実行されることが多い。また、当該判定モデルを利用する場合、取得されたマーカー４１０の画像（対象画像）が正常時の画像（正常画像）と比較してどの程度かけ離れているか（異常度合）が判定され、当該判定結果としては、異常の種別も抽出することが可能になる。例えば、水質に異常がある場合の画像として、油が発生している画像、及びごみ等の異物が発生している画像を用いて機械学習が実行されると、水質の異常として油の発生、又はごみの発生などのより詳細な判定が可能になる。
【0089】
なお、実施形態１において、水質の異常を判定するために、機械学習によって得られた判定モデルを使用していたが、他の方法によって検出してもよい。例えば、処理装置２００のプロセッサ２１２は、マーカー４１０が抽出された状態の画像の色相、彩度、又は明度等の色調に関わる数値を計測し、一定の閾値を超えたものを異常として検出してもよい。換言すると、処理装置２００のプロセッサ２１２は、水４２０の正常時におけるマーカー４１０の画像（基本情報）と、取得した撮像情報に含まれる画像との差分（比較結果）を抽出し、当該差分を利用して異常を判定していることになる。この場合には機械学習及びモデル生成が不要となり、処理システム１としてのコストを低減することができる。また、機械学習によって得られた検出モデルを使用する場合としては、マーカー４１０の色が水質の異常に係る色（例えば、油汚れ）とが近く、単純な閾値での検出が難しい場合となるが、上記閾値を使用した検出方法としては、マーカー４１０の色が水質の異常に係る色と明らかに異なる場合に利用することができる。
【0090】
＜実施形態２＞
１．本開示に係る処理システム２の概要
実施形態１においては、撮像装置３００として固定の監視カメラが想定されてたが、カメラ付きのドローン等のような移動が可能な撮像装置を用いてもよい。このような移動可能な撮像装置を利用する場合を実施形態２として以下に説明する。図１０は、本開示の実施形態２に係る処理システム２における水質検査の概要を概略的に示す図である。具体的には、図１０には、マーカーの撮像から異常の報知までにおける装置間の関係が示されている。なお、実施形態１と同様の構成については、同一の符号を付し、その説明を省略する。
１．本開示に係る処理システム２の概要
実施形態１においては、撮像装置３００として固定の監視カメラが想定されてたが、カメラ付きのドローン等のような移動が可能な撮像装置を用いてもよい。このような移動可能な撮像装置を利用する場合を実施形態２として以下に説明する。図１０は、本開示の実施形態２に係る処理システム２における水質検査の概要を概略的に示す図である。具体的には、図１０には、マーカーの撮像から異常の報知までにおける装置間の関係が示されている。なお、実施形態１と同様の構成については、同一の符号を付し、その説明を省略する。
【0091】
図１０に示すように、処理システム２は、端末装置１００、処理装置２００、カメラ付きドローンである撮像装置６００、貯留槽４００の水４２０に沈められた撮像対象である２つの第１マーカー４１０ａ及び第２マーカー４１０ｂを含む。そして、処理システム２においては、端末装置１００、処理装置２００、及び撮像装置６００が互いに無線、有線又はこれらの組み合わせにより通信可能に接続されている。
【0092】
このような構成により、当該処理システム１において、撮像装置６００によって離れた位置に配置された２つの第１マーカー４０１ａ及び第２マーカー４１０ｂの画像を含む撮像情報が処理装置２００へ送信される。処理装置２００は、取得した撮像情報に含まれる第１マーカー４０１ａ及び第２マーカー４１０ｂの画像を利用して水４２０の水質を検査する。すなわち、実施形態２においては、複数のマーカー画像によって水質を検査することができ、貯留槽４００のより広範な範囲について異常判定が可能となり、貯留槽４００全体における水４２０の水質の判定が可能になる。
【0093】
２．撮像装置６００の構成
図１１は、本開示の実施形態２に係る撮像装置６００の構成の例を示すブロック図である。撮像装置６００は、図１１に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。実施形態２において、撮像装置６００は、カメラ機能付きのドローンである。
図１１は、本開示の実施形態２に係る撮像装置６００の構成の例を示すブロック図である。撮像装置６００は、図１１に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。実施形態２において、撮像装置６００は、カメラ機能付きのドローンである。
【0094】
図１１に示すように、撮像装置６００は、出力インターフェイス６１１、プロセッサ６１２、ＲＡＭ、ＲＯＭ、又は不揮発性メモリ（場合によっては、ＨＤＤ）等を含むメモリ６１３、通信処理回路及びアンテナを含む通信インターフェイス６１４、タッチパネル並びにハードキーを含む入力インターフェイス６１５、センサ６１６、光源６１７、駆動装置６１８を含む。そして、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。
【0095】
ここで、出力インターフェイス６１１、プロセッサ６１２、メモリ６１３、通信インターフェイス６１４、入力インターフェイス６１５、センサ６１６、及び光源６１７については、実施形態１の撮像装置３００を構成する出力インターフェイス３１１、プロセッサ３１２、メモリ３１３、通信インターフェイス３１４、入力インターフェイス３１５、センサ３１６、及び光源３１７と基本的に同一である。相違点としては、ドローンとして飛行に関するプログラムを備え、当該プログラムを実行して飛行できる点である。このため、上記構成については、その説明を省略する。
【0096】
駆動装置６１８は、ドローンとして飛行するために必要となるプロペラ等の部品である。駆動装置６１８は、プロセッサ６１２から供給される制御信号に対応して動作し、ドローンの上昇、下降、旋回、及び水平方向への移動等の各種の移動を実現する。
【0097】
３．処理システム２により実行される処理シーケンス
図１２は、本開示の実施形態２に係る端末装置１００、処理装置２００、及び撮像装置６００の間で実行される処理シーケンスを示す図である。具体的には、図１２は、処理装置２００における水質判定の初期設定から水質に異常があったと判定されるまでに、端末装置１００、処理装置２００、及び撮像装置６００の間で実行される処理シーケンスを示す図である。
図１２は、本開示の実施形態２に係る端末装置１００、処理装置２００、及び撮像装置６００の間で実行される処理シーケンスを示す図である。具体的には、図１２は、処理装置２００における水質判定の初期設定から水質に異常があったと判定されるまでに、端末装置１００、処理装置２００、及び撮像装置６００の間で実行される処理シーケンスを示す図である。
【0098】
先ず、図１２に示すように、処理装置２００のプロセッサ２１２は、入力インターフェイス２１４を介して、使用者の操作入力を受け付けて、処理システム１による処理のために必要な各種初期設定パラメータ値の設定を行う（Ｓ２１：初期設定）。具体的には、プロセッサ１１２は、初期設定情報として、撮像装置６００の明るさや画角等の設定情報、マーカー４１０の検出用の検出モデル、及び水質判定用の判定モデルを設定するための設定情報について、入力インターフェイス２１４を介して使用者の操作入力を受け付ける。なお、撮像装置６００の明るさや画角等の設定情報に係る操作入力は、当該検出モデル及び当該判定モデルを設定するための設定情報に係る操作入力とは異なるタイミングにて行われてもよい。そして、プロセッサ２１２は、受け付けた各初期設定情報をメモリ２１１に記憶するとともに、当該初期設定情報に対応させ、撮像装置６００を制御するための第１制御信号を生成する。また、プロセッサ２１２は、当該初期設定情報に対応させ、マーカー４１０の検出用の検出モデル、及び水質判定用の判定モデルの設定を実行する。検出モデル及び判定モデルの設定については、実施形態１と同様であるため、その説明は省略する。
【0099】
次に、処理装置２００のプロセッサ２１２は、生成した第１制御信号を含む第１制御情報を撮像装置６００に通信インターフェイス２１３を介して送信する（Ｔ２１）。ここで、当該第１制御情報には、第１マーカー４１０ａの撮影を開始するための指示信号が含まれている。
【0100】
次に、第１制御情報が通信インターフェイス６１４を介して撮像装置６００によって受信されると、プロセッサ６１２は、当該第１制御情報に含まれる第１制御信号に対応させ、第１マーカー４１０ａの上方に移動するための駆動命令を駆動装置６１８に供給する。そして、撮像装置６００が第１マーカー４１０ａの上方に移動した後、プロセッサ６１２は、画角調整を実行して撮影モードにて撮影を開始する（Ｓ２２：第１マーカー撮影）。そして、撮像装置６００のプロセッサ６１２は、撮影された画像をメモリ６１３に記憶するとともに、当該画像に各種の情報を付加した第１撮像情報を通信インターフェイス６１４を介して処理装置２００に送信する（Ｔ２２）。ここで、当該画像に各種の情報とは、撮影時刻、撮影条件（画角の数値、フラッシュの有無等）、及び撮影環境（温度、湿度等）が含まれてもよい。なお、撮像装置６００により撮影された画像は、静止画であってもよいし、動画であってもよい。
【0101】
次に、処理装置２００のプロセッサ２１２は、通信インターフェイス２１３を介して第１撮像情報を受信すると、当該第１撮像情報に含まれる画像を用い、当該画像内における第１マーカー４１０ａを検出するための処理を行う（Ｓ２３：第１マーカー検出処理）。その後、処理装置２００のプロセッサ２１２は、Ｓ２３にて取得したマーカー画像を用いて水質判定を行うとともに、取得したマーカー画像をメモリ２１１に記憶する（Ｓ２４：第１水質判定処理）。これらの処理は実施形態１と同一であるため、詳細な説明は省略する。そして、処理装置２００のプロセッサ２１２は、生成した第１判定情報を端末装置１００に通信インターフェイス２１３を介して送信する（Ｔ２３）。
【0102】
次に、処理装置２００のプロセッサ２１２は、第１マーカー４１０ａに係る判定が完了したことを条件として、撮像装置６００を第２マーカー４１０ｂの上方へ移動させるべく、当該移動のための第２制御信号を生成する（Ｓ２５：第２制御信号生成）。そして、処理装置２００のプロセッサ２１２は、生成した第２制御信号を含む第２制御情報を撮像装置６００に通信インターフェイス２１３を介して送信する（Ｔ２４）。ここで、当該第２制御情報には、第２マーカー４１０ｂの撮影を開始するための指示信号も含まれている。
【0103】
次に、第２制御情報が通信インターフェイス６１４を介して撮像装置６００によって受信されると、プロセッサ６１２は、当該第２制御情報に含まれる第２制御信号に対応させ、第２マーカー４１０ｂの上方に移動するための駆動命令を駆動装置６１８に供給する。そして、撮像装置６００が第２マーカー４１０ｂの上方に移動した後（Ｓ２６：移動）、プロセッサ６１２は、画角調整を実行して撮影モードにて撮影を開始する（Ｓ２７：第２マーカー撮影）。そして、撮像装置６００のプロセッサ６１２は、撮影された画像をメモリ６１３に記憶するとともに、当該画像に各種の情報を付加した第２撮像情報を通信インターフェイス６１４を介して処理装置２００に送信する（Ｔ２５）。ここで、当該画像に各種の情報とは、撮影時刻、撮影条件（画角の数値、フラッシュの有無等）、及び撮影環境（温度、湿度等）が含まれてもよい。なお、撮像装置６００により撮影された画像は、静止画であってもよいし、動画であってもよい。
【0104】
次に、処理装置２００のプロセッサ２１２は、通信インターフェイス２１３を介して第２撮像情報を受信すると、当該第２撮像情報に含まれる画像を用い、当該画像内における第２マーカー４１０ｂを検出するための処理を行う（Ｓ２８：第２マーカー検出処理）。その後、処理装置２００のプロセッサ２１２は、Ｓ２８にて取得したマーカー画像を用いて水質判定を行うとともに、取得したマーカー画像をメモリ２１１に記憶する（Ｓ２９：第２水質判定処理）。これらの処理は実施形態１と同一であるため、詳細な説明は省略する。そして、処理装置２００のプロセッサ２１２は、生成した第２判定情報を端末装置１００に通信インターフェイス２１３を介して送信する（Ｔ２６）。
【0105】
そして、端末装置１００のプロセッサ１１２は、通信インターフェイス１１４を介して第１判定情報及び第２判定情報を受信すると、出力インターフェイス１１１を介して、水４２０の水質に異常がある旨の報知を行う（Ｓ３０：水質異常報知）。これにより、端末装置１００の利用者は、貯留槽４００における水４２０の水質に異常があることを把握することができ、当該異常に対する措置を実行することができる。
【0106】
なお、第１マーカー４１０ａと第２マーカー４１０ｂとについて、異なる基本画像を使用することとして説明したが、第１マーカー４１０ａと第２マーカー４１０ｂが同一の形状及び色であれば、検出モデル及び判定モデルとして同一の基本情報（教師データ）を使用することが可能である。また、処理装置２００は、各マーカーの画像を利用した水質判定ごとに判定情報を端末装置１００に送信していたが、２つの判定情報を同時に送信してもよく、更には２つの判定情報を統合してより広範囲の水質判定の結果として１つの判定情報を送信してもよい。
【0107】
＜実施形態３＞
１．本開示に係る処理システム３の概要
実施形態１においては、マーカー４１０が水４２０の底に配置されていたが、水４２０の水面又は所定の深さの位置に配置されてもよい。このような場合を実施形態３として図１３を参照しつつ説明する。ここで、図１３は、本開示の実施形態３に係る処理システム３に係る水質検査の概要を概略的に示す図である。具体的には、図１３には、マーカーの撮像から異常の報知までにおける装置間の関係が示されている。なお、実施形態１と同様の構成については、同一の符号を付し、その説明を省略する。
１．本開示に係る処理システム３の概要
実施形態１においては、マーカー４１０が水４２０の底に配置されていたが、水４２０の水面又は所定の深さの位置に配置されてもよい。このような場合を実施形態３として図１３を参照しつつ説明する。ここで、図１３は、本開示の実施形態３に係る処理システム３に係る水質検査の概要を概略的に示す図である。具体的には、図１３には、マーカーの撮像から異常の報知までにおける装置間の関係が示されている。なお、実施形態１と同様の構成については、同一の符号を付し、その説明を省略する。
【0108】
図１３に示すように、実施形態３に係る処理システム３においては、水４２０上面に浮くようにマーカー４１１が配置され、水４２０の水中の所定の深さに位置するようにマーカー４１２が配置されている。ここで、マーカー４１１及びマーカー４１２は浮きが利用される。
【0109】
このような場合においては、特に、水４２０の表面における油等の異物や、水中の浮遊するごみ等の異物を高精度に検出することが可能になる。
【0110】
＜実施形態４＞
１．本開示に係る処理システム４の概要
実施形態１乃至３においては、各マーカーが水４２０に接触するような位置に配置されていたが、水４２０に接触しない所定の位置に配置されてもよい。このような場合を実施形態４として図１４を参照しつつ説明する。ここで、図１４は、本開示の実施形態４に係る処理システム４における水質検査の概要を概略的に示す図である。具体的には、図１４には、マーカーの撮像から異常の報知までにおける装置間の関係が示されている。なお、実施形態１と同様の構成については、同一の符号を付し、その説明を省略する。
１．本開示に係る処理システム４の概要
実施形態１乃至３においては、各マーカーが水４２０に接触するような位置に配置されていたが、水４２０に接触しない所定の位置に配置されてもよい。このような場合を実施形態４として図１４を参照しつつ説明する。ここで、図１４は、本開示の実施形態４に係る処理システム４における水質検査の概要を概略的に示す図である。具体的には、図１４には、マーカーの撮像から異常の報知までにおける装置間の関係が示されている。なお、実施形態１と同様の構成については、同一の符号を付し、その説明を省略する。
【0111】
図１４に示すように、実施形態４に係る処理システム４においては、バルブ７００から水７０１が排出されている状態において、水７０１に接触しない位置にマーカー４１３が配置されている。より具体的に、マーカー４１３は、撮像装置３００の設置位置から水７０１を跨ぎ、撮像装置３００と対向する位置に配置されている。換言すると、水７０１を基準として、撮像装置３００の設置側とは反対側にマーカー４１３が設けられている。
【0112】
このような場合においては、水質を判定すべき水７０１がマーカー４１３等の他の物質に接触することがなくなり、水質判定による水７０１の水質の低下等を低減することができる。すなわち、マーカー４１３等からマーカー４１３由来の物質が水７０１に溶け出すことがなくなり、水の純度低下を抑制することができる。これにより、処理システム４は、飲料水は蒸留水等の水質測定に好適に適用することができる。
【0113】
なお、水７０１が配管内を流れ場合には、当該配管にサイトグラスを設置し、サイトグラスを介してマーカー４１３を撮影するようにしてもよい。すなわち、マーカー４１３は、撮像装置３００の設置位置から水７０１及びサイトグラフを跨ぎ、撮像装置３００と対向する位置に配置されることになる。
【0114】
＜実施形態５＞
上述した実施形態１においては、マーカー４１０が撮影された１つの撮像情報を用いてマーカー検出及び水質判定が連続的に行われていたが、マーカー４１０の撮影モードを切り替え、マーカー検出するための撮像情報と水質判定するための撮像情報をわけてもよい。このような場合を実施形態５として説明する。なお、実施形態１と同様の構成については、同一の符号を付し、その説明を省略する。
上述した実施形態１においては、マーカー４１０が撮影された１つの撮像情報を用いてマーカー検出及び水質判定が連続的に行われていたが、マーカー４１０の撮影モードを切り替え、マーカー検出するための撮像情報と水質判定するための撮像情報をわけてもよい。このような場合を実施形態５として説明する。なお、実施形態１と同様の構成については、同一の符号を付し、その説明を省略する。
【0115】
１．処理システム１により実行される処理シーケンス
図１５は、本開示の実施形態５に係る端末装置１００、処理装置２００、及び撮像装置３００の間で実行される処理シーケンスを示す図である。具体的には、図１５は、処理装置２００における水質判定の初期設定から水質に異常があったと判定されるまでに、端末装置１００、処理装置２００、及び撮像装置３００の間で実行される処理シーケンスを示す図である。
図１５は、本開示の実施形態５に係る端末装置１００、処理装置２００、及び撮像装置３００の間で実行される処理シーケンスを示す図である。具体的には、図１５は、処理装置２００における水質判定の初期設定から水質に異常があったと判定されるまでに、端末装置１００、処理装置２００、及び撮像装置３００の間で実行される処理シーケンスを示す図である。
【0116】
先ず、図１５に示すように、処理装置２００のプロセッサ２１２は、入力インターフェイス２１４を介して、使用者の操作入力を受け付けて、処理システム１による処理のために必要な各種初期設定パラメータ値の設定を行う（Ｓ３１：初期設定）。本処理は実施形態１のＳ１１と同様の処理のため、その説明を省略する。
【0117】
次に、処理装置２００のプロセッサ２１２は、生成した制御信号を含む第１制御情報を撮像装置３００に通信インターフェイス２１３を介して送信する（Ｔ３１）。ここで、当該第１制御情報には、マーカー４１０及び水４２０を広角にて撮影を開始するための指示信号も含まれている。
【0118】
次に、第１制御情報が通信インターフェイス３１４を介して撮像装置３００によって受信されると、プロセッサ３１２は、当該第１制御情報に含まれる制御信号に対応させて画角調整を実行し、広角撮影モードにて撮影を開始する（Ｓ３２：広角撮影）。すなわち、マーカー４１０及びその周辺の水４２０が含まれる範囲が撮影されることになる。そして、撮像装置３００のプロセッサ３１２は、撮影された画像をメモリ３１３に記憶するとともに、当該画像に各種の情報を付加した広角撮像情報を通信インターフェイス３１４を介して処理装置２００に送信する（Ｔ３２）。ここで、当該画像に各種の情報とは、撮影時刻、撮影条件（画角の数値、フラッシュの有無等）、及び撮影環境（温度、湿度等）が含まれてもよい。なお、撮像装置３００により撮影された画像は、静止画であってもよいし、動画であってもよい。すなわち、静止画である場合には、所定の間隔で撮像処理を繰り返し複数枚の静止画を撮影画像として取得する。また、動画である場合には、所定の間隔でフレーム画像が取り込まれた動画を撮影画像として取得する。
【0119】
次に、処理装置２００のプロセッサ２１２は、通信インターフェイス２１３を介して広角撮像情報を受信すると、当該広角撮像情報に含まれる画像を用いてマーカー検出処理を行い、当該検出結果に対応した第２制御情報の生成を行うとともに、取得した広角撮像情報をメモリ２１１に記憶する（Ｓ３３：マーカー検出処理）。例えば、プロセッサ２１２は、広角撮像情報に含まれる画像の色相、彩度、又は明度等の色調に関わる数値を計測し、一定の閾値を超えたものをマーカー４１０として検出してもよい。すなわち、マーカー４１０を検出するために上述した検出モデルを使用することがない。そして、プロセッサ２１２は、マーカー４１０の検出結果から、水４２０におけるマーカー４１０の位置を特定し、当該位置に対応させて撮像装置３００の駆動を制御するための制御信号を生成する。ここで、撮像装置３００の駆動とは、撮影方向を調整するための撮像装置３００の向きの変更、広角から狭角への画角変更が含まれている。
【0120】
次に、処理装置２００のプロセッサ２１２は、生成した制御信号を含む第２制御情報を撮像装置３００に通信インターフェイス２１３を介して再度送信する（Ｔ３３）。ここで、当該第２制御情報には、マーカー４１０を狭角にて撮影を開始するための指示信号も含まれている。
【0121】
次に、当該第２制御情報が通信インターフェイス３１４を介して撮像装置３００によって受信されると、プロセッサ３１２は、当該第２制御情報に含まれる制御信号に対応させて画角調整を実行し、狭角撮影モードにて撮影を開始する（Ｓ３４：狭角撮影）。ここで、第２制御情報には、撮影間隔に係る情報も含まれており、例えば、３０ｍ秒の間隔によって撮影が実行される。すなわち、マーカー４１０が継続的に撮影されることになる。そして、撮像装置３００のプロセッサ３１２は、撮影されたマーカー４１０の画像をメモリ３１３に記憶するとともに、当該画像に各種の情報を付加した狭角撮像情報を通信インターフェイス３１４を介して処理装置２００に送信する（Ｔ３４）。ここで、当該画像に各種の情報とは、広角撮像情報と同様に、撮影時刻、撮影条件、及び撮影環境が含まれてもよい。なお、撮像装置３００により撮影された画像は、静止画であってもよいし、動画であってもよい。すなわち、静止画である場合には、所定の間隔で撮像処理を繰り返し複数枚の静止画を撮影画像として取得する。また、動画である場合には、所定の間隔でフレーム画像が取り込まれた動画を撮影画像として取得する。
【0122】
次に、処理装置２００のプロセッサ２１２は、通信インターフェイス２１３を介して狭角撮像情報を受信すると、当該狭角撮像情報に含まれる狭角画像を用いて水質判定を行うとともに、当該狭角画像をメモリ２１１に記憶する（Ｓ３５：水質判定処理）。これらの処理は実施形態１と同一であるため、詳細な説明は省略する。
【0123】
次に、処理装置２００のプロセッサ２１２は、生成した判定情報を端末装置１００に通信インターフェイス２１３を介して送信する（Ｔ３５）。そして、端末装置１００のプロセッサ１１２は、通信インターフェイス１１４を介して判定情報を受信すると、出力インターフェイス１１１を介して、水４２０の水質に異常がある旨の報知を行う（Ｓ３６：水質異常報知）。これにより、端末装置１００の利用者は、貯留槽４００における水４２０の水質に異常があることを把握することができ、当該異常に対する措置を実行することができる。
【0124】
＜本開示の実施形態のまとめ＞
本開示の実施形態に係る処理装置は、少なくとも一つのプロセッサを具備し、少なくとも一つのプロセッサは、液体の一種である水に対して所定の位置に配置されたマーカーを撮像するように構成された撮像装置から当該マーカーの撮像情報に基づいて当該マーカーの周囲における当該水の異常を検知する、ための処理を実行するように構成されている。このような構成により、撮像情報を用いて水の局所的な検査を行いつつ、当該水の水質を高精度に検査することができる。
本開示の実施形態に係る処理装置は、少なくとも一つのプロセッサを具備し、少なくとも一つのプロセッサは、液体の一種である水に対して所定の位置に配置されたマーカーを撮像するように構成された撮像装置から当該マーカーの撮像情報に基づいて当該マーカーの周囲における当該水の異常を検知する、ための処理を実行するように構成されている。このような構成により、撮像情報を用いて水の局所的な検査を行いつつ、当該水の水質を高精度に検査することができる。
【0125】
上記構成において、当該少なくとも一つのプロセッサは、当該液体の正常時における当該マーカーの基本情報と、取得した当該撮像情報とを比較した比較結果に応じて当該異常を検知してもよい。この場合、当該比較結果は、当該マーカーがあらかじめ含まれる学習用画像を用いて機械学習することによって生成された判定モデルに対して対象画像（マーカーの画像）を与えた結果得られる異常度合であってもよい。また、当該比較結果は、当該マーカーの対象画像と当該マーカーの正常画像に対して画像処理を施した後に比較して得られる異常度合であってもよい。このような構成により、水質の異常に対応させて判定モデルを生成することができ、水の水質判定の精度を更に向上させることができる。
【0126】
上記構成において、当該少なくとも一つのプロセッサは、取得した当該撮像情報に応じて、当該撮像装置の駆動を制御するための制御信号を生成する、ための処理を実行するように構成されてもよい。ここで、当該制御信号は、当該撮像装置の移動又は画拡調整に係る情報が含まれてもよい。このような構成により、マーカーの撮影が不十分である場合、マーカーを移動させた場合、更にはマーカーが水の流れ等の影響によって移動した場合であっても、水質判定に必要となるより正確な撮像情報を取得することができ、水の継続的な水質判定が可能になる。
【0127】
上記構成において、当該マーカーは、当該水中に沈む錘、又は当該水上若しくは水中に位置する浮きであってもよい。また、当該マーカーは、当該撮像装置の設置位置から当該水を跨ぎ、当該撮像装置と対向する位置に配置されてもよい。更に、当該マーカーは、当該水を収容する容器の底に描かれた印であってもよい。このような構成により、特別なマーカーを準備することなく、一般的に存在する各種の部材を使用して、水の水質を判定することができ、システムとしてのコスト低減にもつながる。
【0128】
本開示の実施形態に係る処理プログラムは、少なくとも一つのプロセッサを具備するコンピュータにおいて当該少なくとも一つのプロセッサを、液体の一種である水に対して所定の位置に配置されたマーカーを撮像するように構成された撮像装置から当該マーカーの撮像情報を取得し、取得した当該撮像情報に基づいて当該マーカーの周囲における当該水の異常を検知する、ように機能させる。このような構成により、撮像情報を用いて水の局所的な検査を行いつつ、当該水の水質を高精度に検査することができる。
【0129】
本開示の実施形態に係る処理方法は、少なくとも一つのプロセッサを具備するコンピュータにおいて当該少なくとも一つのプロセッサにより実行される処理方法であって、液体の一種である水に対して所定の位置に配置されたマーカーを撮像するように構成された撮像装置から当該マーカーの撮像情報を取得する段階と、取得した当該撮像情報に基づいて当該マーカーの周囲における当該水の異常を検知する段階と、を含む。このような構成により、撮像情報を用いて水の局所的な検査を行いつつ、当該水の水質を高精度に検査することができる。
【0130】
本開示の実施形態に係る処理システムは、液体の一種である水に対して所定の位置に配置されたマーカーと、当該マーカーを撮像するように構成された撮像装置と、当該撮像装置から当該マーカーの撮像情報を取得し、当該撮像情報に基づいて当該マーカーの周囲における当該水の異常を検知する処理装置と、を含む。このような構成により、撮像情報を用いて水の局所的な検査を行いつつ、当該水の水質を高精度に検査することができる。
【0131】
上記構成において、当該マーカーは、当該水の種類、又は当該水の置かれる環境に応じて、形状、色、及び設置位置が調整されてもよい。このような構成により、検査対象である水の種類及び環境に応じて、最適な水質検査を行うことが可能となり、当該水質検査の精度をより高めることができる。
【0132】
上記構成において、処理システムは、当該処理装置から当該水の水質の異常に係る判定情報を受信する端末装置を更に含んでもよい。このような構成により、水に異常があっても迅速な対応が可能となり、水の供給先又は水の排出先における問題を事前に解決することが可能になる。
【0133】
＜変形例＞
上述した各実施形態において、処理装置２００は、取得した撮像情報を利用して現時点の水質判定を行うだけであったが、メモリ２１１に記憶される撮像情報を利用し、マーカーの経年劣化を検出してもよい。例えば、処理装置２００のプロセッサ２１２は、記憶された撮像情報を解析し、水質の異常とまでは判定されない、マーカーの色の劣化又は形状の変形を検出してもよい。
上述した各実施形態において、処理装置２００は、取得した撮像情報を利用して現時点の水質判定を行うだけであったが、メモリ２１１に記憶される撮像情報を利用し、マーカーの経年劣化を検出してもよい。例えば、処理装置２００のプロセッサ２１２は、記憶された撮像情報を解析し、水質の異常とまでは判定されない、マーカーの色の劣化又は形状の変形を検出してもよい。
【0134】
本明細書で説明される処理及び手順は、本開示において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能である。具体的には、本明細書で説明された処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク、光ストレージ等の媒体に、当該処理に相当するロジックを実装することによって実現される。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、端末装置やサーバ装置を含む各種のコンピュータに実行させることが可能である。
【0135】
本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理又は手順は、複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は、複数のモジュールによって実行されるものとすることができる。また、本明細書中で説明される各種情報が単一のメモリや記憶部に格納される旨が説明されたとしても、そのような情報は、単一の装置に備えられた複数のメモリ又は複数の装置に分散して配置された複数のメモリに分散して格納されるものとすることができる。さらに、本明細書において説明されるソフトウェア及びハードウェアの要素は、それらをより少ない構成要素に統合して、又は、より多い構成要素に分解することによって実現されるものとすることができる。
【符号の説明】
【0136】
１００ 端末装置
２００ 処理装置
３００、６００ 撮像装置
４１０、４１０ａ、４１０ｂ、４１１、４１２、４１３ マーカー
２００ 処理装置
３００、６００ 撮像装置
４１０、４１０ａ、４１０ｂ、４１１、４１２、４１３ マーカー
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】