(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-20
(45)【発行日】2023-07-28
(54)【発明の名称】モニタリングシステム及びモニタリング方法
(51)【国際特許分類】
H04L 47/28 20220101AFI20230721BHJP
【FI】
H04L47/28
(21)【出願番号】P 2019195940
(22)【出願日】2019-10-29
【審査請求日】2022-07-26
(73)【特許権者】
【識別番号】504132881
【氏名又は名称】国立大学法人東京農工大学
(74)【代理人】
【識別番号】100090398
【氏名又は名称】大渕 美千栄
(74)【代理人】
【識別番号】100090387
【氏名又は名称】布施 行夫
(72)【発明者】
【氏名】中山 悠
(72)【発明者】
【氏名】井上 文彰
(72)【発明者】
【氏名】桂井 麻里衣
【審査官】大石 博見
(56)【参考文献】
【文献】国際公開第2018/105319(WO,A1)
【文献】特開2016-163242(JP,A)
【文献】特開2010-076536(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04L 47/28
(57)【特許請求の範囲】
【請求項1】
モニタリング対象の状態を検出するためのセンサと、
前記センサからのデータをネットワークを介して取得するデータ取得部と、
前記データに基づいて前記モニタリング対象が第1の状態であるか否かを検出する状態検出部と、
前記データの取得間隔を制御する取得間隔制御部とを含み、
前記取得間隔制御部は、
前記モニタリング対象が前記第1の状態であることをリアルタイムに検出する確率の目標値と、前記第1の状態が継続する時間の確率分布と、前記データが生成されてから前記状態検出部で処理されるまでにかかる遅延時間の平均値とに基づいて、前記取得間隔を算出することを特徴とするモニタリングシステム。
【請求項2】
請求項1において、
前記取得間隔制御部は、
前記目標値をrとし、前記第1の状態が継続する時間の平均値をE[Y]とし、前記遅延時間の平均値をE[D]とすると、次式により前記取得間隔τを算出することを特徴とするモニタリングシステム。
【数1】
【請求項3】
モニタリング対象の状態を検出するためのセンサからのデータをネットワークを介して取得するデータ取得ステップと、
前記データに基づいて前記モニタリング対象が第1の状態であるか否かを検出する状態検出ステップと、
前記データの取得間隔を制御する取得間隔制御ステップとを含み、
前記取得間隔制御ステップでは、
前記モニタリング対象が前記第1の状態であることをリアルタイムに検出する確率の目標値と、前記第1の状態が継続する時間の確率分布と、前記データが生成されてから前記状態検出ステップで処理されるまでにかかる遅延時間の平均値とに基づいて、前記取得間隔を算出することを特徴とするモニタリング方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、モニタリングシステム及びモニタリング方法に関する。
【背景技術】
【0002】
近年、実世界とサイバー空間を連携させたCPS(Cyber Physical System)によるデータ駆動型社会に向けた取り組みが注目されている。CPSを実現する上では、IoT(Internet of Things)等により多種多様なデータを大量に収集し、大規模なデータ解析を行うことが基本的な考え方となっている。今後、第五世代(5G)移動通信システムの普及などに伴い、エッジサーバやクラウドサーバに転送・集積されるデータ量の爆発的な増大が見込まれている。こうした技術を利用して、撮影した画像を常時サーバに対して送信し続けるネットワーク型のIoTカメラも普及している。すなわち、IoTカメラからの画像データを受信したサーバにおいて、機械学習等の技術を用いてモニタリング対象となる物体を自動検出するモニタリングシステムを構築することが可能となっている。
【0003】
特に、モニタリング結果を用いて即座に何らかの処理を行うようなリアルタイムでのモニタリングシステムの実現が重要となっている。このようなリアルタイムモニタリングシステムの一例としては、シカなどいった大型の野生動物等を観測する動物モニタリングシステムが挙げられる。すなわち、道路沿いに設置されたIoTカメラが撮影した画像を低遅延で処理して野生動物の存在を即座に検知することで、警告音を発して自動車との衝突を防止する、といった保全対策が可能となるものである。従来、野生動物の観測では、赤外線センサ等により自動で撮影する設置型のカメラトラップ等が用いられることが多かった。カメラトラップを用いた動物モニタリングの技術として例えば、撮影された大量のデータから機械学習により自動的に動物を検出する手法がある(非特許文献1参照)。但し、本手法をはじめとした従来手法では、一定期間カメラを設置した後でデータの回収に向かう必要があるため、リアルタイムな観測には適していないという課題があった。交通事故をはじめとした動物と人やモノとの接触によるトラブルを防いだり、早期の保全対策を実行するため、リアルタイム性の高い観測の必要性が高まっている。
【0004】
一方で、ネットワークやコンピューティングのリソースが限定される場合にはリアルタイム処理が難しくなる、という課題がある。つまり、これらのリソースが潤沢にあれば、取得した大量の画像データの全てをサーバに対して低遅延で転送することが可能であり、サーバでも非常に短時間で画像処理による物体検出を実行することが可能となる。これに対して、上記リソースが限定されている場合には、ネットワークがリアルタイムに転送可能なデータ量、及び、サーバがリアルタイムに処理可能なデータ量に制約が生じる。
【0005】
こうした課題に対して、特許文献1では、ネットワークにおける帯域制限を考慮した優先制御技術が提案されている。こうした技術を用いることで、データ種別に応じてネットワーク機器における転送順を制御し、通信帯域の低減や遅延の削減が可能になる。その一方でリアルタイムな物体検出率を考慮したデータ取得方法の最適化については検討されていなかった。
【先行技術文献】
【非特許文献】
【0006】
【文献】Jennifer L. Price Tack, Brian S. West, Conor P. McGowan, Stephen S. Ditchkoff, Stanley J. Reeves, Allison C. Keever, James B. Grand, "AnimalFinder: A semi-automated system for animal detection in time-lapse camera trap images", Ecological Informatics, 36, 145--151, 2016.
【特許文献】
【0007】
【発明の概要】
【発明が解決しようとする課題】
【0008】
ネットワーク及びコンピューティングのリソースが限定された環境において、センサからのデータを用いたモニタリング対象のリアルタイムな状態検出を実現するためには、転送データ量を考慮したモニタリング手法の開発が重要な課題である。
【0009】
本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、センサからの転送データ量を最適化することが可能なモニタリングシステム等を提供することになる。
【課題を解決するための手段】
【0010】
(1)本発明は、モニタリング対象の状態を検出するためのセンサと、前記センサからのデータをネットワークを介して取得するデータ取得部と、前記データに基づいて前記モニタリング対象が第1の状態であるか否かを検出する状態検出部と、前記データの取得間隔を制御する取得間隔制御部とを含み、前記取得間隔制御部は、前記モニタリング対象が前記第1の状態であることをリアルタイムに検出する確率の目標値と、前記第1の状態が継続する時間の確率分布と、前記データが生成されてから前記状態検出部で処理されるまでにかかる遅延時間の平均値とに基づいて、前記取得間隔を算出することを特徴とするモニタリングシステムに関する。
【0011】
また本発明は、モニタリング対象の状態を検出するためのセンサからのデータをネットワークを介して取得するデータ取得ステップと、前記データに基づいて前記モニタリング対象が第1の状態であるか否かを検出する状態検出ステップと、前記データの取得間隔を制御する取得間隔制御ステップとを含み、前記取得間隔制御ステップでは、前記モニタリング対象が前記第1の状態であることをリアルタイムに検出する確率の目標値と、前記第1の状態が継続する時間の確率分布と、前記データが生成されてから前記状態検出ステップで処理されるまでにかかる遅延時間の平均値とに基づいて、前記取得間隔を算出することを特徴とするモニタリング方法に関する。
【0012】
本発明によれば、モニタリング対象が第1の状態であることをリアルタイムに検出する確率の目標値を達成するのに必要十分なデータ取得間隔を算出することができ、センサからの転送データ量を最適化することができる。
【0013】
(2)また本発明に係るモニタリングシステム及びモニタリング方法では、前記取得間隔制御部は(前記取得間隔制御ステップでは)、前記目標値をrとし、前記第1の状態が継続する時間の平均値をE[Y]とし、前記遅延時間の平均値をE[D]とすると、次式
【数1】
により前記取得間隔τを算出してもよい。
【図面の簡単な説明】
【0014】
【
図1】本実施形態に係るモニタリングシステムの構成の一例を示す図。
【
図3】サーバにおいて観測されるAoIの挙動を示す図。
【
図4】モニタ状態と実際の状態について説明するための図。
【
図6】画像データの取得間隔を制御する他の手法について説明するための図。
【
図7】データ送信スケジューリング手法の一例を示す図。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0016】
図1は、本実施形態に係るモニタリングシステムの構成の一例を示す図である。モニタリングシステム1は、サーバ10とセンサ20を含む。サーバ10及びセンサ20は、インターネット等のネットワーク30を介して通信可能に構成されている。
【0017】
サーバ10は、センサ20から取得したデータに基づいてモニタリング対象(動物、人、車両など)の状態を検出してモニタリングするためのサーバである。サーバ10は、センサ20からのデータを、ゲートウェイ(図示省略)を介して取得するようにしてもよい。また、サーバ10は、センサ20に近いエッジサーバに実装してもよいし、クラウドサーバに実装してもよい。
【0018】
センサ20は、1台でもよいし、複数台でもよい。センサ20は、無線LANルータ等を介してネットワーク30に接続され、生成したデータを、ネットワーク30を通じてサーバ10或いはゲートウェイに送信(転送)する。センサ20は、モニタリング対象の状態を検出するためのデバイスであり、モニタリング対象を撮影して画像データを生成するカメラ(IoTカメラ等のデジタルカメラ)であってもよいし、物体検出用の赤外線センサやレーダ(例えば、ミリ波レーダ)であってもよいし、光センサ(照度センサ等)や、音センサ、温度センサであってもよいし、スマートフォン等の携帯端末であってもよい。
【0019】
図2は、本実施形態に係るサーバ10の機能ブロック図の一例である。サーバ10は、処理部100、記憶部110、通信部120を含む。
【0020】
記憶部110は、処理部100の各部としてコンピュータを機能させるためのプログラムや各種データを記憶するとともに、処理部100のワーク領域として機能し、その機能はハードディスク、RAMなどにより実現できる。
【0021】
通信部120は、センサ20との間で通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信用ASICなどのハードウェアや、プログラムなどにより実現できる。
【0022】
処理部100の機能は各種プロセッサ(CPU、DSP等)、ASIC(ゲートアレイ等)などのハードウェアや、プログラムにより実現できる。処理部100は、データ取得部101、状態検出部102、取得間隔制御部103を含む。
【0023】
データ取得部101は、センサ20から送信されたデータ(画像データなど)を取得する。
【0024】
状態検出部102は、取得されたデータに基づいて、モニタリング対象の状態が第1の状態であるか否か(第1の状態であるか他の状態であるか否か)を検出する。例えば、センサ20がカメラである場合には、当該カメラからの画像データに基づいて、当該カメラ
の撮影可能領域にモニタリング対象が存在する(第1の状態である)か否かを検出する。また、カメラからの画像データに基づいて、モニタリング対象の色や形状が特定の色や形状である(第1の状態である)か否かを検出してもよい。また、センサ20が赤外線センサやレーダである場合には、当該赤外線センサやレーダからのデータに基づいて、当該赤外線センサやレーダの検知可能領域にモニタリング対象が存在する(第1の状態である)か否かを検出してもよい。また、センサ20が光センサである場合には、当該光センサからのデータに基づいて、当該光センサの周囲の明るさ(照度など)が所定の閾値を超える(第1の状態である)か否かを検出してもよい。また、センサ20が音センサである場合には、当該音センサからの音データに基づいて、当該音センサの周囲の音量が所定の閾値を超える(第1の状態である)か否かを検出してもよい。また、センサ20が温度センサである場合には、当該温度センサからのデータに基づいて、当該温度センサの周囲の温度が所定の閾値を超える(第1の状態である)か否かを検出してもよい。また、センサ20がスマートフォン等の携帯端末である場合には、当該携帯端末からのデータに基づいて、当該携帯端末がオンの状態である(モニタリング対象である人が携帯端末を操作している、第1の状態である)か否かを検出してもよい。また、当該携帯端末からのデータに基づいて、当該携帯端末が特定のアクセス先にアクセスしている(第1の状態である)か否かを検出してもよい。また、当該携帯端末からの位置データに基づいて、当該携帯端末が特定の地点や地域に滞在している(第1の状態である)か否かを検出してもよい。
【0025】
取得間隔制御部103は、センサ20に制御信号を送信して、センサ20からのデータの取得間隔(センサ20によるデータの送信間隔)を制御する。取得間隔制御部103は、モニタリング対象が第1の状態であることをリアルタイムに検出する確率(モニタリング対象が第1の状態であることを検出したときに、同時刻に実際にモニタリング対象が第1の状態である確率)の目標値rと、第1の状態が継続する時間の確率分布(当該確率分布から算出される平均値E[Y])と、データが生成されてから状態検出部102で処理されるまでにかかる遅延時間の平均値E「D」とに基づいて、データの取得間隔τを算出する。取得間隔制御部103は、例えば、算出した取得間隔τが経過する毎に、画像データの送信を指示する制御信号をセンサ20に送信するようにしてもよいし、算出した取得間隔τが経過する毎に画像データを送信することを指示する制御信号をセンサ20に送信するようにしてもよい。なお、データの取得間隔の制御をサーバ10側で行う場合に限られず、センサ20側でデータの送信間隔の制御を行う(センサ20の処理部が取得間隔制御部を含む)ようにしてもよい。
【0026】
以下、センサ20としてカメラを用いて、物体検出を行う(カメラの撮影可能領域にモニタリング対象である物体が存在するか否かを検出する)場合を例にとって説明する。
図3は、サーバ10において観測されるAoI(Age of Information、情報の年齢)の挙動を示す図である。ここでは、サーバ10において最新データとして取り扱われている(例えば、モニタ表示されている)画像データがカメラで生成(撮影)されてから経過した時間をAoIとしている。AoIは情報の鮮度を定量的に表す指標であり、AoIの値が大きくなるほど情報の鮮度は低くなる。
【0027】
カメラiに関するAoIの値をA
iとし、カメラiで生成されたk番目の画像データの生成時刻をs
i,kとし、当該画像データのサーバ10への到着時刻(当該画像データがサーバ10で処理された時刻)をa
i,kとする。
図3に示すように、A
iは、時間経過とともに線形に増加していき、画像データの到着時(例えば、k-1番目の画像データの到着時刻a
i,k-1、k番目の画像データの到着時刻a
i,k)に低下する、という挙動を繰り返す。すなわち、画像データの取得間隔(送信間隔)が短いほど、A
iの最大値を小さな値にしておくことが可能となる。その一方で、高頻度で(短い送信間隔)で画像データを送信すれば、ネットワーク上を流れるデータ量が増大することとなる。その結果、リンク帯域に対してデータ量が大きくなるにつれて遅延(画像データが生成されてから
サーバ10で処理されるまでにかかる時間)が増大することとなり、A
iの最小値が増大し易くなる。ここで、A
iの平均値をE[A]とする。
【0028】
本実施形態では、
図4に示すように、時刻tにおけるモニタ状態(サーバ10において処理される画像データの内容)と、時刻tにおける実際の状態(カメラにおいて観測される画像データの内容)とが一致するかを問題とする。すなわち、時刻tにおけるモニタ状態で物体が検出され、且つ、時刻tにおいて実際に物体がカメラの撮影可能領域に存在している場合に、リアルタイムな物体検出に成功しており、時刻tにおけるモニタ状態で物体が検出されているが、時刻tにおいて実際には物体がカメラの撮影可能領域に存在していない場合に、リアルタイムな物体検出に失敗している、と定義する。このとき画像データのAoIをA
iとすると、画像データの生成時刻はt-A
iとして表される。時刻tにおけるモニタ状態をM(t)とし、時刻tにおける実際の状態をR(t)とすると、M(t)=R(t-A
i)を満たす。また、物体が存在する状態をPとすると、時刻tにおけるモニタ状態で物体が検出されるのは、M(t)=Pである場合であり、時刻tにおいて実際に物体が存在しているのは、R(t)=Pである場合である。よって、リアルタイムな物体検出に成功するのは、M(t)=Pであり、且つR(t)=Pである場合であり、リアルタイムな物体検出に成功する確率r(モニタリング対象が第1の状態であることをリアルタイムに検出する確率、以下、検出成功率とも呼ぶ)は、条件付き確率を用いて、r=Pr(M(t)=P|R(t)=P)と表すことができる。
【0029】
物体のカメラの前での滞在時間(第1の状態が継続する時間)の確率分布(累積分布関数)をF(x)とする。物体の滞在時間とは、物体がカメラの撮影可能領域にフレームインしてからフレームアウトするまでの経過時間である。物体の滞在時間の確率分布は、モニタリング対象となる物体の種類や、カメラの設置場所や時間帯など様々な条件に応じて定まるものであるが、長期的に見れば特定の条件下では定常的な分布となることが多いといえる。物体の滞在時間の確率分布F(x)から算出される、滞在時間の平均値をE[Y]とする。
【0030】
Aiの平均値E[A]と滞在時間の平均値E[Y]とを用いて、リアルタイムな物体検出に成功する確率r(rは、0以上1以下の値)は、以下の式(1)により表すことができる。
【0031】
【数2】
ここで、カメラで画像データが生成されてからサーバ10(状態検出部102)で処理されるまでにかかる遅延時間の平均値をE[D]とし、画像データの取得間隔をτとすると、A
iの平均値E[A]は、以下の式(2)により表すことができる。
【0032】
【数3】
式(1)、式(2)より、検出成功率rは、以下の式(3)により表すことができる。
【0033】
【数4】
すなわち、物体の滞在時間の平均値E[Y]と、遅延時間の平均値E[D]が与えられれば、式(3)から、検出成功率の目標値rに応じて、当該目標値rを達成するのに必要十分な取得間隔τを算出することができる。これにより、ネットワーク及びコンピューティングのリソースの負荷を最小限に抑えつつ、目標となる物体検出率を達成可能なモニタリングを実現することができる。式(3)より、取得間隔τの最大値は、2(E[Y](1-r)-E[D])となる。例えば、物体の滞在時間の確率分布から予め算出した滞在時間の平均値E[Y]が60秒であり、予め測定した遅延時間の平均値E[D]が1秒であるとして、検出成功率の目標値rを0.9(90%)とした場合、取得間隔τの最大値は10秒となり、10秒間隔で画像データを取得すれば、検出成功率の目標値rを達成しつつリソースの負荷を最小限に抑えることができる。
【0034】
次に、サーバ10の処理の一例について
図5のフローチャートを用いて説明する。
【0035】
まず、取得間隔制御部103は、予め算出(測定)され記憶部110に記憶された滞在時間の平均値E[Y]及び遅延時間の平均値E[D]と、ユーザによって予め指定された検出成功率の目標値rとに基づいて、式(3)により、画像データの取得間隔τを算出する(ステップS10)。なお、カメラが複数台ある場合には、予めカメラごとの滞在時間の平均値E[Y]を算出して記憶部110に記憶しておき、これを用いてカメラごとに画像データの取得間隔τを算出する。また、物体の滞在時間が時間帯によって大きく異なる場合には、予め時間帯ごとの滞在時間の平均値E[Y]を算出しておき、これを用いて時間帯ごとの取得間隔τを算出するようにしてもよい。
【0036】
次に、データ取得部101は、ステップS10で算出された取得間隔τに従って、カメラ(センサ20)から画像データを取得する(ステップS11)。次に、状態検出部102は、ステップS11で取得した画像データについて畳み込みニューラルネットワーク等を用いた画像認識を行って物体が存在するか否かを検出し(ステップS12)、検出結果を出力して、ステップS11に移行する。
【0037】
本実施形態によれば、カメラからの画像データの取得頻度を最適化することによるモニタリングデータの削減が可能である。結果として、ネットワーク経由で転送される画像データの量を最適化することで、ネットワーク及びコンピューティングリソースの効率的な活用を実現する。これは、モニタリング対象や周囲の環境に応じて必要十分なデータを収集し、少ないデータを用いた解析を可能とするものである。本実施形態の手法は、様々な物体や事象に対して適用可能であり、一つの例としては野生動物のモニタリングが挙げられる。
【0038】
上記例では、時刻tにおけるモニタ状態で物体が検出された(M(t)=Pである)ときに、時刻tにおいて実際に物体がカメラの前に滞在している(R(t)=Pである)か否かを問題とする場合について説明したが、定期的に撮影される画像データを用いて物体が滞在したことをサーバ10で検知できるか否かを問題とするようにしてもよい。すなわち、物体がカメラの撮影可能領域に滞在したにもかかわらず、この状態を画像データとしてサーバ10に送信することができなかった(非撮影時に物体がカメラの前に滞在したが撮影時には滞在していなかった)場合に、検知失敗であると定義する。この場合、上記例とは異なり、M(t)=PであるときにR(t)=Pであるか否かは問題としない。このとき、時間的に連続して画像を撮影し、全ての画像データをサーバ10に送信して解析し
た場合に、検知成功率は100%となる。ここでは、ネットワーク及びコンピューティングリソースの負荷を低減するために、カメラから送信されるデータを以下のようにして削減する。
【0039】
図6に示すように、カメラiで生成された画像データの取得間隔をτ
iとする。τ
i=ρであるときは、τ
i=2ρであるときの2倍の頻度で画像データを取得することになる。このとき、時刻s
i,kの画像データからは物体を検出できず、時刻s
i,k+1(s
i,k+ρ)の画像データ及び時刻s
i,k+2(s
i,k+2ρ)の画像データからは物体を検出できるものとする。この場合、カメラの前に滞在する物体を検出するという目的においては、取得間隔τ
iをρとした場合であっても2ρとした場合であっても差異はなく、取得間隔τ
iを2ρと設定した場合には、転送データ量が半分で済むというメリットがあることとなる。この性質を利用して、画像データの取得間隔を適切に制御することで転送データ量を低減することができる。
【0040】
一般的に、画像データの取得間隔τiが大きくなれば、サーバ10におけるAoIの最大値が大きくなり、物体の検知成功率が低下する。これば、検知失敗率(見逃し率)が増加することを意味する。カメラiについて、モニタリング対象となる物体の滞在時間の分布と検知成功率の目標値が与えられれば、目標とする検知成功率を達成するために必要な取得間隔τiの値を定めることが可能である。すなわち、目標とする検知成功率を高くするほど取得間隔τiを小さい値に設定する必要があるが、同時に物体の滞在時間の平均値が大きければ取得間隔τiを大きくすることができる。
【0041】
各カメラからサーバ10に対してのデータ送信には、通常の無線LANで用いられるCSMA/CAのような手法を用いてもよいし、それ以外の手法を用いてもよい。
図7は、データ送信スケジューリング手法の一例を示す図である。この例では、各カメラからのデータ送信期間は、複数のチャネルと、各チャネルにおける時分割多重(TDM)のタイムスロット(スロット)からなる、すなわち、各カメラに対して、データ送信を行うためのチャネル及びスロットを割り当てる。ここで、カメラiについて、k番目の画像データの生成時刻s
i,kから次の割り当てスロットまでの時間を待ち時間q
i,kとし、信号伝搬遅延をd
i,kとすると、待ち時間q
i,kと信号伝搬遅延d
i,kの合計値が一定以内となるように各カメラにスロットを割り当てることで、画像データの取得間隔τ
iを一定とすることができる。
【0042】
なお、本発明は、上述の実施の形態に限定されるものではなく、種々の変更が可能である。本発明は、実施の形態で説明した構成と実質的に同一の構成(例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成)を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。
【符号の説明】
【0043】
1…モニタリングシステム、10…サーバ、20…センサ、30…ネットワーク、100…処理部、101…データ取得部、102…状態検出部、103…取得間隔制御部、110…記憶部、120…通信部