(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-02-29
(45)【発行日】2024-03-08
(54)【発明の名称】害獣駆除システムおよび害獣駆除プログラム
(51)【国際特許分類】
A01M 29/06 20110101AFI20240301BHJP
A01M 29/16 20110101ALI20240301BHJP
【FI】
A01M29/06
A01M29/16
(21)【出願番号】P 2023133893
(22)【出願日】2023-08-21
【審査請求日】2023-09-06
【新規性喪失の例外の表示】特許法第30条第2項適用 配布日:令和4年9月15日、配布場所:松本市秘書広報室
【新規性喪失の例外の表示】特許法第30条第2項適用 発行日:令和4年11月30日 信州大学総務部総務課広報室発行、刊行物名:信大NOW、第136号、第3-6頁
【新規性喪失の例外の表示】特許法第30条第2項適用 発表日:令和4年9月29日 開催場所:長野県松本工業高校(住所は長野県松本市筑摩4丁目11番1号)
【早期審査対象出願】
(73)【特許権者】
【識別番号】521450540
【氏名又は名称】株式会社ヤマサ
(73)【特許権者】
【識別番号】504180239
【氏名又は名称】国立大学法人信州大学
(74)【代理人】
【識別番号】100142619
【氏名又は名称】河合 徹
(74)【代理人】
【識別番号】100153316
【氏名又は名称】河口 伸子
(74)【代理人】
【識別番号】100196140
【氏名又は名称】岩垂 裕司
(72)【発明者】
【氏名】北爪 寛孝
(72)【発明者】
【氏名】中村 正行
【審査官】星野 浩一
(56)【参考文献】
【文献】特開2020-052660(JP,A)
【文献】特許第6704979(JP,B1)
【文献】特開2020-055672(JP,A)
【文献】特表2021-531806(JP,A)
【文献】特開2020-069833(JP,A)
【文献】センシング+AI分析によるイノシシの生態可視化および対策の高度化,令和 3 年度先進的 AI ・ IoT 活用ビジネス創出実証事業業務 成果報告書,日本,2022年03月11日,第1-33,https://www.pref.miyagi.jp/documents/22981/r3aiiot02.pdf
(58)【調査した分野】(Int.Cl.,DB名)
A01M 29/06
A01M 29/16
(57)【特許請求の範囲】
【請求項1】
監視対象の
屋内空間
に設置されて前記屋内空間を撮影するカメラと、
前記
屋内空間を飛行する無人航空機と、
前記無人航空機および前記カメラと通信可能な制御装置を有し、
前記制御装置は、
機械学習により作成した動物検出モデルを用いて前記カメラにより撮影したカメラ画像から駆除対象の動物を検出する動物検出部と、
前記動物検出モデルからの出力データ
、および
、予め作成された前記
屋内空間の3次元データを用いて
、前記3次元データの座標系における前記動物の出現位置
の3次元座標を特定する出現位置特定部と、
前記無人航空機を待機させた待機位置の3次元座標が前記3次元データの座標系上に設定されており、前記待機位置から前記出現位置へ向かう最適飛行ルートを
、前記3次元データの座標系上で決定する飛行ルート決定部と、
前記最適飛行ルートを飛行する飛行命令、および、前記無人航空機に予め設定した威嚇動作を行わせる威嚇命令を前記無人航空機に送信する無人航空機制御部を備えることを特徴とする害獣駆除システム。
【請求項2】
前記3次元データは、
前記屋内空間の3次元形状をLiDARカメラを用いて移動しながら計測したスキャンデータ、もしくは、前記屋内空間を動画撮影用カメラを用いて移動しながら撮影した撮影データを用いて3次元形状化処理を行い、さらに、前記無人航空機を飛行させる際に障害となる物体を包含する飛行禁止空間を設定して、前記飛行禁止空間を除外した空間に格子状の経路点を設定したデータであることを特徴とする請求項1に記載の害獣駆除システム。
【請求項3】
前記無人航空機は、前記
屋内空間内に設定された互いに異なる複数の前記待機位置のそれぞれに待機し、
前記飛行ルート決定部は、前記3次元データを複数の目標エリアに分割して、前記複数
の目標エリアのそれぞれに対して、前記複数の前記待機位置のいずれかからの飛行ルートを対応づけた候補ルートデータセットの中から、前記出現位置を含む前記目標エリアに対応づけられた前記飛行ルートを前記最適飛行ルートとして決定することを特徴とする請求項1に記載の害獣駆除システム。
【請求項4】
前記候補ルートデータセットに含まれる前記飛行ルートは、前記待機位置から前記目標エリアまで飛行する際の飛行時間および消費エネルギーの少なくとも一方に基づいて決定されていることを特徴とする請求項
3に記載の害獣駆除システム。
【請求項5】
前記候補ルートデータセットに含まれる前記飛行ルートは、前記飛行時間が予め設定した基準飛行時間よりも短いことを特徴とする請求項
4に記載の害獣駆除システム。
【請求項6】
前記候補ルートデータセットに含まれる前記飛行ルートは、前記無人航空機の運動方程式を用いて算出した前記飛行時間と前記消費エネルギーの組合せにより構成されるパレート解の集合の中で、前記飛行時間と前記消費エネルギーを最適化させた最適解に対応する飛行ルートであることを特徴とする請求項4に記載の害獣駆除システム。
【請求項7】
前記最適解は、前記飛行時間が予め設定した基準飛行時間よりも短く、且つ、前記消費エネルギーが最小のパレート解であることを特徴とする請求項6に記載の害獣駆除システム。
【請求項8】
前記3次元データは、
前記屋内空間の3次元形状をLiDARカメラを用いて移動しながら計測したスキャンデータ、もしくは、前記屋内空間を動画撮影用カメラを用いて移動しながら撮影した撮影データを用いて3次元形状化処理を行い、さらに、前記無人航空機を飛行させる際に障害となる物体を包含する飛行禁止空間を設定して、前記飛行禁止空間を除外した空間に格子状の経路点を設定したデータであり、
前記候補ルートデータセットに含まれる前記飛行ルートは、前
記経路点を結ぶルートであることを特徴とする請求項
3から7の何れか一項に記載の害獣駆除システム。
【請求項9】
前記動物検出部は、前記動物検出モデルを用いて、前記カメラ画像から前記駆除対象の動物が写っている画像部位を抽出し、抽出した前記画像部位を取り囲む大きさのバウンディングボックスを生成し、
前記出現位置特定部は、前記カメラ画像内の前記バウンディングボックスの座標から前記出現位置を示す3次元座標を特定することを特徴とする請求項1に記載の害獣駆除システム。
【請求項10】
前記出現位置特定部は、前記出現位置を示す3次元座標をクラウドサーバに送信し、
前記3次元データおよび前記候補ルートデータセットは、前記クラウドサーバに記憶されることを特徴とする請求項
3に記載の害獣駆除システム。
【請求項11】
前記カメラは、前記
屋内空間の壁面に沿って複数配置され、床を向いて撮影し、
前記最適飛行ルートは、前記
屋内空間の床に沿って飛行するルートであることを特徴とする請求項1に記載の害獣駆除システム。
【請求項12】
前記威嚇動作としてフリップ動作を行うことを特徴とする請求項1に記載の害獣駆除システム。
【請求項13】
機械学習により作成した動物検出モデルを用いて、監視対象の屋内空間に設置されたカメラにより撮影したカメラ画像から駆除対象の動物を検出する動物検出処理と、
前記動物検出モデルからの出力データ、および、予め作成された前記屋内空間の3次元データを用いて、前記3次元データの座標系における前記動物の出現位置の3次元座標を特定する出現位置特定処理と、
前記
屋内空間を飛行する無人航空機を待機させた待機位置の3次元座標が前記3次元データの座標系上に設定されており、前記待機位置から前記出現位置へ向かう最適飛行ルートを、前記3次元データの座標系上で決定する飛行ルート決定処理と、
前記最適飛行ルートを飛行する飛行命令、および、前記無人航空機に予め設定した威嚇動作を行わせる威嚇命令を前記無人航空機に送信する無人航空機制御処理と、を単独または複数のコンピュータに行わせることを特徴とする害獣駆除プログラム。
【請求項14】
前記3次元データは、
前記屋内空間の3次元形状をLiDARカメラを用いて移動しながら計測したスキャンデータ、もしくは、前記屋内空間を動画撮影用カメラを用いて移動しながら撮影した撮影データを用いて3次元形状化処理を行い、さらに、前記無人航空機を飛行させる際に障害となる物体を包含する飛行禁止空間を設定して、前記飛行禁止空間を除外した空間に格子状の経路点を設定したデータであることを特徴とする請求項13に記載の害獣駆除プログラム。
【請求項15】
前記無人航空機は、前記
屋内空間内に設定された互いに異なる複数の前記待機位置のそれぞれに待機し、
前記飛行ルート決定処理は、前記3次元データを複数の目標エリアに分割して、前記複数の目標エリアのそれぞれに対して、前記複数の前記待機位置のいずれかからの飛行ルートを対応づけた候補ルートデータセットの中から、前記出現位置を含む前記目標エリアに対応づけられた前記飛行ルートを前記最適飛行ルートとして決定する処理であることを特徴とする請求項
13に記載の害獣駆除プログラム。
【請求項16】
前記候補ルートデータセットに含まれる飛行ルートは、前記待機位置から前記目標エリアまで飛行する際の飛行時間および消費エネルギーの少なくとも一方に基づいて決定されていることを特徴とする請求項
15に記載の害獣駆除プログラム。
【請求項17】
前記候補ルートデータセットに含まれる前記飛行ルートは、前記飛行時間が予め設定した基準飛行時間よりも短いことを特徴とする請求項
16に記載の害獣駆除プログラム。
【請求項18】
前記候補ルートデータセットに含まれる前記飛行ルートは、前記無人航空機の運動方程式を用いて算出した前記飛行時間と前記消費エネルギーの組合せにより構成されるパレート解の集合の中で、前記飛行時間と前記消費エネルギーを最適化させた最適解に対応する飛行ルートであることを特徴とする請求項16に記載の害獣駆除プログラム。
【請求項19】
前記最適解は、前記飛行時間が予め設定した基準飛行時間よりも短く、且つ、前記消費エネルギーが最小のパレート解であることを特徴とする請求項18に記載の害獣駆除プログラム。
【請求項20】
前記3次元データは、
前記屋内空間の3次元形状をLiDARカメラを用いて移動しながら計測したスキャンデータ、もしくは、前記屋内空間を動画撮影用カメラを用いて移動しながら撮影した撮影データを用いて3次元形状化処理を行い、さらに、前記無人航空機を飛行させる際に障害となる物体を包含する飛行禁止空間を設定して、前記飛行禁止空間を除外した空間に格子状の経路点を設定したデータであり、
前記候補ルートデータセットに含まれる前記飛行ルートのそれぞれは、前
記経路点を結ぶルートであることを特徴とする請求項
15から19の何れか一項に記載の害獣駆除プロ
グラム。
【請求項21】
前記動物検出処理は、前記動物検出モデルを用いて、前記カメラ画像から前記駆除対象の動物が写っている画像部位を抽出し、抽出した前記画像部位を取り囲む大きさのバウンディングボックスを生成する処理を含み、
前記出現位置特定処理は、前記カメラ画像内の前記バウンディングボックスの座標から前記出現位置を示す3次元座標を特定する処理を含むことを特徴とする請求項
13に記載の害獣駆除プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ドローンなどの無人航空機を用いてネズミなどの害獣を駆除するための害獣駆除システムおよび害獣駆除プログラムに関する。
【背景技術】
【0002】
従来から、倉庫などの建物に侵入したネズミなどの小動物による被害が問題になっている。ネズミの駆除方法としては、ネズミ忌避剤(匂い)や電池式ネズミ駆除器(音)によりネズミを追い出す方法、ネズミの侵入経路を網や粘着シートにより遮断する方法が用いられている。
【0003】
一方、近年においては、ドローンなどの小型の飛行装置を用いて害獣を追い払う技術の開発が行われている。特許文献1には、害獣を検知した場合に、ドローンにより害獣(例えば、鹿、猪、猿、鳥など)を追い払うシステム(無人飛行装置制御システム)が記載される。
【0004】
特許文献1の無人飛行装置制御システムは、監視対象の領域にカメラを設置し、カメラの画像から害獣を機械学習モデルにより検知する。そして、害獣を検知した場合は、害獣の現在位置に基づいて、害獣が侵入中の領域から出ていきやすい位置(例えば、獣道)のうちの1つを退去位置に設定する。そして、退去位置へ害獣を向かわせるための飛行指示をドローンに送信する。例えば、害獣が検知された位置から退去位置へ害獣を追うように、あるいは、退去位置へ向けて害獣を誘導するようにドローンを飛行させる。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1のシステムは、屋外の開けた空間での運用を想定しており、様々な物資が収容される倉庫などのように、飛行経路が限定される空間での運用は想定されていない。また、ドローンの飛行経路の決定方法について具体的に示されていない。
【0007】
ドローンにより害獣を追い払うシステムを屋内において運用する場合、障害物を回避しながら最短経路で飛行するのが難しい。また、飛行経路上の障害物を検知し、その都度回避運動をしながら飛行するのでは、検知された動物(害獣)に速やかに近づくことができない。そのため、害獣を追い払うことができないおそれがある。
【0008】
本発明の目的は、このような点に鑑みて、屋内でも害獣を追い払うことができる害獣駆除システムを提供することにある。
【課題を解決するための手段】
【0009】
上記の課題を解決するために、本発明の害獣駆除システムは、監視対象の屋内空間に設置されて前記屋内空間を撮影するカメラと、前記屋内空間を飛行する無人航空機と、前記無人航空機および前記カメラと通信可能な制御装置を有し、前記制御装置は、機械学習により作成した動物検出モデルを用いて前記カメラにより撮影したカメラ画像から駆除対象の動物を検出する動物検出部と、前記動物検出モデルからの出力データ、および、予め作成された前記屋内の空間の3次元データを用いて、前記3次元データの座標系における前記動物の出現位置の3次元座標を特定する出現位置特定部と、前記無人航空機を待機させた待機位置の3次元座標が前記3次元データの座標系上に設定されており、前記待機位置から前記出現位置へ向かう最適飛行ルートを、前記3次元データの座標系上で決定する飛行ルート決定部と、前記最適飛行ルートを飛行する飛行命令、および、前記無人航空機に予め設定した威嚇動作を行わせる威嚇命令を前記無人航空機に送信する無人航空機制御部を備えることを特徴とする。
【0010】
また、本発明の害獣駆除プログラムは、機械学習により作成した動物検出モデルを用いて、監視対象の屋内空間に設置されたカメラにより撮影したカメラ画像から駆除対象の動物を検出する動物検出処理と、前記動物検出モデルからの出力データ、および、予め作成された前記屋内空間の3次元データを用いて、前記3次元データの座標系における前記動物の出現位置の3次元座標を特定する出現位置特定処理と、前記屋内空間を飛行する無人航空機を待機させた待機位置の3次元座標が前記3次元データの座標系上に設定されており、前記待機位置から前記出現位置へ向かう最適飛行ルートを、前記3次元データの座標系上で決定する飛行ルート決定処理と、前記最適飛行ルートを飛行する飛行命令、および、前記無人航空機に予め設定した威嚇動作を行わせる威嚇命令を前記無人航空機に送信する無人航空機制御処理と、を単独または複数のコンピュータに行わせることを特徴とする。
【0011】
本発明によれば、監視対象の屋内空間に駆除対象の動物が現れた場合には、カメラ画像から動物を検出し、無人航空機を出現位置に向かわせて威嚇することができる。従って、
駆除対象の動物を自動処理によって追い払うことができる。その際、その際、予め作成された監視対象の屋内空間の3次元データを用いて動物の出現位置を特定し、無人航空機の飛行ルートとして予め作成された監視対象の屋内空間の3次元データを用いて決定した最適飛行ルートを用いることができるので、飛行経路に制限がある屋内空間でも、速やかに出現位置に無人航空機を向かわせることができる。従って、監視対象の屋内空間に侵入した動物を追い払うことができる。
【0012】
本発明において、前記無人航空機は、前記屋内空間内に設定された互いに異なる複数の前記待機位置のそれぞれに待機し、前記飛行ルート決定部は、前記3次元データを複数の目標エリアに分割して、前記複数の目標エリアのそれぞれに対して、前記複数の前記待機位置のいずれかからの飛行ルートを対応づけた候補ルートデータセットの中から、前記出現位置を含む前記目標エリアに対応づけられた前記飛行ルートを前記最適飛行ルートとして決定することが好ましい。このようにすると、動物が出現した際には、出現位置に基づき予め設定された候補ルートデータセットの中から出現位置を含む目標エリアに対応づけられた飛行ルートを選択するだけでよい。従って、最適飛行ルートの決定処理に要する負荷を小さくすることができる。
【0013】
本発明において、前記候補ルートデータセットに含まれる前記飛行ルートは、前記待機位置から前記目標エリアまで飛行する際の飛行時間および消費エネルギーの少なくとも一方に基づいて決定されていることが好ましい。例えば、飛行時間が最小の飛行ルートを設定することにより、最短時間で動物を威嚇することができる。あるいは、消費エネルギーが最小の飛行ルートを設定することにより、無人航空機のバッテリーの消耗を最も少なくすることができる。あるいは、飛行時間と消費エネルギーのバランスを考慮して飛行ルートを設定することもできる。
【0014】
本発明において、前記候補ルートデータセットに含まれる前記飛行ルートは、前記飛行時間が予め設定した基準飛行時間よりも短いことが好ましい。このようにすると、基準飛行時間内に動物を威嚇することができる。また、基準飛行時間内に出現位置に到達できる飛行ルートの中で、飛行時間と消費エネルギーの組合せが異なる複数の飛行ルートを候補ルートデータセットに含めておくこともできる。この場合には、状況に応じて、飛行時間とバッテリー残量のどちらを優先するかを決定して、飛行ルートを選択することができる。例えば、前記候補ルートデータセットに含まれる前記飛行ルートは、前記無人航空機の運動方程式を用いて算出した前記飛行時間と前記消費エネルギーの組合せにより構成されるパレート解の集合の中で、前記飛行時間と前記消費エネルギーを最適化させた最適解に対応する飛行ルートであることが好ましい。また、前記最適解は、前記飛行時間が予め設定した基準飛行時間よりも短く、且つ、前記消費エネルギーが最小のパレート解であることが好ましい。
【0015】
本発明において、前記3次元データは、前記屋内空間の3次元形状をLiDARカメラを用いて移動しながら計測したスキャンデータ、もしくは、前記屋内空間を動画撮影用カメラを用いて移動しながら撮影した撮影データを用いて3次元形状化処理を行い、さらに、前記無人航空機を飛行させる際に障害となる物体を包含する飛行禁止空間を設定して、前記飛行禁止空間を除外した空間に格子状の経路点を設定したデータであることが好まし
い。この場合に、前記候補ルートデータセットに含まれる前記飛行ルートは、前記経路点を結ぶルートであることが好ましい。このようにすると、飛行禁止空間に侵入しない飛行ルートを容易に設定できる。また、経路点を単純な形状(例えば、直線または円弧)で結ぶようにルートを設定することにより飛行コマンドの生成が容易となる。あるいは、離れた経路点を直線で結ぶ飛行ルートを設定することによって、飛行時間あるいはエネルギー消費の少ない飛行ルートを設定することも可能である。また、経路点毎に自己位置を検出して飛行プログラムを修正することが可能である。
【0016】
本発明において、前記動物検出部は、前記動物検出モデルを用いて、前記カメラ画像から前記駆除対象の動物が写っている画像部位を抽出し、抽出した前記画像部位を取り囲む大きさのバウンディングボックスを生成し、前記出現位置特定部は、前記カメラ画像内の前記バウンディングボックスの座標から前記出現位置を示す3次元座標を特定することが好ましい。また、カメラ画像を3次元座標に変換する際、正確な実空間上の座標を特定するために、カメラ画像のゆがみを補正するなどの加工を行う。このようにすると、動物の出現位置として適正な座標を求めることができる。
【0017】
本発明において、前記出現位置特定部は、前記出現位置を示す3次元座標をクラウドサーバに送信し、前記3次元データおよび前記候補ルートデータセットは、前記クラウドサーバに記憶されることが好ましい。このようにすると、専用のサーバや通信経路を構築する必要がないので、害獣駆除システムの構築が容易である。
【0018】
本発明において、前記動物検出モデルからの出力データを前記クラウドサーバに設けられた動物検出履歴データベースに記憶させることが好ましい。このようにすると、今後の害獣対策に有用な情報をクラウドサーバに蓄積することができる。
【0019】
本発明において、前記カメラは、前記屋内空間の壁面に沿って複数配置され、床を向いて撮影し、前記最適飛行ルートは、前記屋内空間の床に沿って飛行するルートであることが好ましい。このようにすると、監視対象の屋内空間(例えば、倉庫)の床を走り回るネズミなどの害獣が出現した場合に、カメラにその姿が映りやすい。従って、害獣の出現を検知しやすい。また、害獣の近くに無人航空機を飛ばすことができるので、効果的に追い払うことができる。
【0020】
本発明において、前記カメラは、赤外線カメラであることが好ましい。このようにすると、監視対象の空間が暗い場合でも、出現した害獣を検知することができる。
【0021】
本発明において、前記威嚇動作としてフリップ動作を行うことが好ましい。このようにすると、無人航空機において一般的に行われる動きを用いて威嚇するので、威嚇を行うための制御が容易であり、且つ、効果的に害獣を追い払うことができる。
【発明の効果】
【0022】
本発明によれば、監視対象の屋内空間に駆除対象の動物が現れた場合には、カメラ画像から動物を検出し、無人航空機を出現位置に向かわせて威嚇することができる。従って、駆除対象の動物を自動処理によって追い払うことができる。その際、その際、予め作成された監視対象の屋内空間の3次元データを用いて動物の出現位置を特定し、無人航空機の飛行ルートとして予め作成された監視対象の屋内空間の3次元データを用いて決定した最適飛行ルートを用いることができるので、飛行経路に制限がある屋内空間でも、速やかに出現位置に無人航空機を向かわせることができる。従って、監視対象の屋内空間に侵入した動物を追い払うことができる。
【図面の簡単な説明】
【0023】
【
図1】本発明を適用した害獣駆除システムの概略構成図である。
【
図2】倉庫の3Dマップを模式的に示す斜視図である。
【
図3】害獣駆除システムの機能構成を示すブロック図である。
【
図4】動物検出モデルの作成方法を示す概略フローチャートである。
【
図5】動物検出モデルを用いてカメラ画像からネズミを検出する方法を示す概略フローチャートである。
【
図6】3Dマップの作成方法および最適飛行ルートの設定方法を示す概略フローチャートである。
【
図7】3Dマップの平面図上に飛行禁止空間、経路点、および最適飛行ルートの設定例を表示した説明図である。
【
図8】害獣駆除システムによるネズミ駆除のシーケンス図である。
【発明を実施するための形態】
【0024】
以下に、図面を参照して本発明を適用した害獣駆除システムの実施形態を説明する。なお、以下に説明する実施形態は本発明の一例を示すものであり、本発明は以下に説明する実施形態に限定されるものではない。
【0025】
(全体構成)
害獣駆除システム1は、倉庫などの屋内空間を監視対象の空間とするものであり、駆除対象の害獣としてネズミなどの小動物を想定する。また、害獣を追い払うために小型の無人航空機(Unmanned Aerial Vehicle)を使用する。無人航空機としては、例えば、3以上のローターを持つマルチコプター(いわゆるドローン)や、ラジコン機を用いることができる。以下、監視対象の空間が倉庫Rであり、駆除対象の害獣がネズミAであり、害獣を追い払う無人航空機がドローン3である場合を例にとって説明する。
【0026】
図1は、本発明を適用した害獣駆除システム1の概略構成図である。
図2は、倉庫Rの3Dマップ61を模式的に示す斜視図である。
図3は、害獣駆除システム1の機能構成を示すブロック図である。
図1、
図2に示すように、害獣駆除システム1は、監視対象の空間(本形態では、倉庫R)を撮影するカメラ2と、無人航空機としてのドローン3と、ルーター4を介してカメラ2のデータを取得するとともにドローン3の飛行を制御する制御装置5を備える。制御装置5は、インターネットなどのネットワークを介してクラウドサーバ6と通信可能である。
【0027】
図1に示すように、本形態では、カメラ2が設置される倉庫Rにルーター4が設置されており、制御装置5は、倉庫Rとは別の建物に設置される。例えば、倉庫Rを管理する管理事務所に制御装置5が設置される。制御装置5としては、例えば、汎用のコンピュータを用いる。
【0028】
害獣駆除システム1は、倉庫Rの内部空間をカメラ2により撮影した撮影画像(以下、カメラ画像50という)に対して画像解析を行う。カメラ画像50にネズミAが含まれていることを検出した場合には、倉庫RにネズミAが侵入したと判定し、倉庫Rの3次元データである3Dマップ61および画像解析によるネズミAの検出結果に基づいてネズミAが出現した位置を特定する。そして、ネズミAが出現した位置までドローン3を飛行させ、侵入したネズミAを追い払うための威嚇動作をドローン3に行わせる。本形態では、3Dマップ61およびドローン3の飛行経路を決定するために必要なデータは、クラウドサーバ6に記憶される。
【0029】
カメラ2は、無線通信あるいは有線通信によりルーター4に接続される。カメラ画像50は、ルーター4を介して制御装置5に送信される。カメラ2は、倉庫Rに設置された固定式の監視カメラである。
図2に示すように、倉庫Rには、複数のカメラ2が設置される。複数のカメラ2は、隣り合うカメラ2の撮影画角が重なり合っており、倉庫R全体をカ
バーできるように設置される。
【0030】
カメラ2としては、例えば、赤外線カメラを用いる。カメラ2の位置や向きは、ネズミAの通路となる領域が写るように適宜設定する。例えば、
図2に示すように、倉庫Rの壁面31の上部に設置されたカメラ2により斜め下方を撮影する。ネズミAが地面に近い位置から侵入することが多い場合には、このような向きにカメラ2を設置することにより、侵入したネズミAがカメラ画像50に写りやすい。また、壁面31の上部から斜め下向きに撮影することにより、倉庫R内に集積された物資32によってネズミAの通路となる領域が遮蔽されにくくなる。従って、侵入したネズミAがカメラ画像50に写りやすい。
【0031】
なお、撮影方向を変えながら撮影できる可動式のカメラ2を用いて、異なる撮影領域を順次撮影するように構成してもよい。また、カメラ2の配置および数は、適宜変更することができる。例えば、ネズミAを重点的に駆除したい領域がある場合には、その領域のみ監視するようにカメラ2を配置してもよい。
【0032】
ドローン3は、ルーター4を介して、制御装置5からの飛行命令を無線通信により受信する。倉庫Rには、ドローン3の待機位置30が複数設定され、複数の待機位置30のそれぞれにドローン3を待機させる。各待機位置30には、無線給電装置を備えたドローン発着ステーションが設けられている。ドローン発着ステーションに着陸したドローン3は、無線給電装置に接続されて充電が開始されるようになっている。ドローン3の設置数や配置は、監視対象の空間の広さや形状によって適宜設定する。
【0033】
(制御装置)
図3に示すように、制御装置5は、動物検出部51と、出現位置特定部52と、飛行ルート決定部53と、無人航空機制御部としてのドローン制御部54と、記憶部55を備える。記憶部55は、RAM、ROM、フラッシュメモリ、EPROMおよびEEPROMなどの不揮発性または揮発性のメモリを備える。記憶部55は、ソフトウェアまたはファームウェアなどのプログラムおよびプログラムの処理に使用されるデータなどを記憶する。また、制御装置5は、記憶部55に記憶されたプログラムを読み出して実行するCPUやプロセッサなどの演算部(図示せず)を備える。
【0034】
本形態では、制御装置5の記憶部55に害獣駆除プログラムが記憶される。害獣駆除プログラムは、コンピュータに、動物検出処理、出現位置特定処理、飛行ルート決定処理、ドローン制御処理(無人航空機制御処理)などを行わせる。各処理の内容は後述する。制御装置5は、記憶部55に記憶された害獣駆除プログラムを演算部が読み出して実行することにより、動物検出部51、出現位置特定部52、飛行ルート決定部53、および、ドローン制御部54などの機能を実現する。
【0035】
動物検出部51は、機械学習により作成した学習済みの動物検出モデル56を用いてカメラ画像50から駆除対象の動物(本形態では、ネズミA)を検出する動物検出処理を行う。動物検出モデル56の詳細については後述する。
【0036】
出現位置特定部52は、カメラ画像50からネズミAが検出された場合に、動物検出モデル56からの出力データ、および、倉庫Rの3Dマップ61に基づき、検出されたネズミAの出現位置34を示す3次元座標を特定する出現位置特定処理を行う。
【0037】
飛行ルート決定部53は、ネズミAの出現位置34を示す3次元座標を特定した場合に、ドローン3を待機させた待機位置30からネズミAが出現した出現位置34へ向かう最適飛行ルート62を決定する飛行ルート決定処理を行う。最適飛行ルート62は、倉庫Rの3Dマップ61に基づいて決定する。
【0038】
ドローン制御部54は、最適飛行ルート62が決定されると、最適飛行ルート62に沿って飛行するための飛行命令をドローン3に送信するとともに、ドローン3に予め設定した威嚇動作を行わせる威嚇命令を送信するドローン制御処理を行う。威嚇命令は、ドローン3がネズミAの出現位置34に到達した時に威嚇動作を行わせる内容とする。あるいは、威嚇命令は、出現位置34に到達した時でなく出現位置34へ向かう途中でドローン3に威嚇動作を行わせる命令であってもよい。
【0039】
(クラウドサーバ)
クラウドサーバ6は、倉庫Rの3Dマップ61と、3Dマップ61に基づいて設定された最適飛行ルート62を記憶する。後述するように、最適飛行ルート62は、複数の目標エリアRA毎に設定されており、最適飛行ルート62を各目標エリアRAに対応づけたデータが候補ルートデータセット66としてクラウドサーバ6に記憶される。また、クラウドサーバ6は、動物検出履歴データベース64を記憶する。動物検出モデル56から出力されるデータセットは、ネズミAが検出されたカメラ画像50を撮影したカメラの情報(例えば、カメラ番号)と関連付けて、動物検出履歴データベース64に蓄積される。
【0040】
(動物検出モデル)
制御装置5に記憶されている学習済みの動物検出モデル56は、AIを活用した畳み込みニューラルネットワーク(CNN)などの機械学習アルゴリズムからなる物体検知モデルであり、例えば、広く利用されているYOLOシリーズを用いることができる。
【0041】
図4は、動物検出モデル56の作成方法を示す概略フローチャートである。作成手順は一般的なものであるが、動物検出モデル56の教師データとして、ネズミAの撮影画像を含むデータセットを用いる。上記のように、本形態では、夜行性の害獣であるネズミAの監視を行うため、カメラ2として赤外線カメラを用いる。そのため、教師データとして赤外線カメラの画像を使用して、夜間の監視に対応した学習済モデルを作成する。そのため、撮影するカメラの位置、角度、距離、明暗、ネズミの個体やその状態などを変えて学習用ネズミ画像を撮影し(ST11)、学習用データセットを作成した(ST12)。これらを教師データとして入力して、所望の検出結果が得られるようにディープラーニングを行わせ(ST13)、ネズミを精度良く抽出可能な学習済モデルである動物検出モデル56を得た(ST14)。
【0042】
本発明者らは、ディープラーニングにより複数の学習済モデルを作成し、検出精度と検出処理を行う際の負荷を検証した。害獣駆除システム1においては、動物検出モデル56がインストールされるコンピュータである制御装置5のスペック等を考慮して、動物検出モデル56として採用する学習済モデルを決定した。本形態では、ディープラーニングにより、学習済モデルA(精度低、負荷低)、学習済モデルB(精度高、負荷高)、学習済モデルC(精度中、負荷低)の3種類を作成し、精度と負荷のバランスが最も良いモデルである学習済モデルCを動物検出モデル56として採用した。
【0043】
(動物検出処理)
図5は、動物検出モデル56を用いてカメラ画像50からネズミAを検出する方法を示す概略フローチャートである。害獣駆除システム1は、倉庫Rに設置したカメラ2によって撮影を行う(ST21)。カメラ2の画像データは、ルーター4を介してリアルタイムで制御装置5に送信される。制御装置5では、動くものがカメラ2の画角に入った場合にそのことを検出する(ST22)。例えば、カメラ画像50の差分を検出することにより、動くものを検出する。なお、動くものの検出方法は、画像の差分を検出する方法に限定されるものではなく、他の方法を用いても良い。
【0044】
制御装置5では、動物検出モデル56(学習済モデル)を用いて、動くものを検出した時のカメラ画像50を解析する(ST23~25)。すなわち、動物検出モデル56(学習済モデル)にカメラ画像50を入力し(ST23)、カメラ画像50における各画像部位の特徴量を抽出し(ST24)、特徴量に基づき、ネズミAが写っている画像部位を抽出することで、ネズミAを検出する(ST25)。
【0045】
図5に示すように、動物検出モデル56は、ネズミAが写っている画像部位を包含可能な最小限の大きさのバウンディングボックス58(矩形枠)を生成する。生成したバウンディングボックス58は、解析対象のカメラ画像50上に表示することができる。例えば、制御装置5では、モニター上に、検知結果として、カメラ画像50上にネズミAを囲むバウンディングボックス58を表示することができる。
【0046】
動物検出モデル56が出力するデータセットは、以下のデータを含む。
・バウンディングボックス58の位置(左上角のx、y座標)
・バウンディングボックス58の大きさ(横幅w、縦幅h)
・撮影時刻のタイムスタンプ(yyyy-mm-dd(T)HH.MM.SS)
・確率値(抽出した画像部位がネズミAである確率)
動物検出部51は、動物検出モデル56が出力する確率値が一定値を超えた場合に、ネズミAを検出したと判定する。そして、カメラ画像50からネズミAが検出される毎に(すなわち、ネズミAである確率値が一定値を超える画像部位を検出する毎に)、上記のデータセットを他のデータ(例えば、カメラ番号)と共にクラウドサーバ6に送信し、動物検出履歴データベース64に蓄積する。
【0047】
(3Dマップ、出現位置特定処理)
害獣駆除システム1では、ドローン3の飛行制御を行うために倉庫Rの3Dマップ61を作成、使用する。出現位置特定部52は、カメラ画像50内にネズミAが検出されると、動物検出モデル56が出力するデータセットと、3Dマップ61を用いて、3Dマップ61上のネズミAの出現位置34の3次元座標を特定する。
【0048】
例えば、本形態では倉庫Rに設置される複数のカメラ2は固定式であり、各カメラ2により撮影したカメラ画像50上の2次元座標は、3Dマップ61上の3次元座標に変換することが可能である。3Dマップ61を作成する際、複数のカメラ2のそれぞれが撮影するカメラ画像50上の2次元座標と、3Dマップ61上の3次元座標との対応データを出現位置特定用データセット57として作成する。その際、2次元のカメラ画像50に対して歪みを補正する加工を行った上で、補正後の2次元画像上の座標と、3Dマップ上の3次元座標とを対応付ける。これにより、カメラ画像50上の座標と、正確な実空間上の座標とを対応づけた出現位置特定用データセットを作成する。出現位置特定用データセット57は、害獣駆除プログラムと共に制御装置5の記憶部55に記憶される。なお、出現位置特定用データセット57は、3Dマップ61と共にクラウドサーバ6に記憶させておいてもよい。この場合は、制御装置5からクラウドサーバ6にアクセスして出現位置特定用データセット57を参照することにより、出現位置特定処理を行う。
【0049】
出現位置特定部52は、カメラ画像50からネズミAが検出された場合は、出現位置特定用データセット57を用いて、バウンディングボックス58の中央の位置のx、y座標を3Dマップ61上の3次元座標に変換することにより、ネズミAの出現位置34の3次元座標を特定する。特定した3次元座標は、クラウドサーバ6に送信する。なお、出現位置34の特定方法は、このような方法に限定されるものではなく、他の方法を用いてもよい。
【0050】
(最適飛行ルートの設定)
図6は、3Dマップ61の作成方法および最適飛行ルート62の設定方法を示す概略フローチャートである。害獣駆除システム1を監視対象の空間に設置する際、監視対象の空間の3次元データである3Dマップ61を作成する。例えば、LiDARカメラを用いて、あるいは、3Dモデリングのための動画撮影用カメラを用いて、倉庫R内を移動しながらスキャンもしくは撮影を行う。しかる後に、スキャンデータもしくは撮影データを用いて3次元形状化処理を行い、3Dマップ61を取得する(ST31)。2次元画像からの3次元形状化処理の方法として、例えば、SfM(Structure from Motion)を用いる。これにより、3次元座標を持った点の集合体である点群データを生成する。
【0051】
次に、生成した3Dマップ61に対して、飛行禁止空間R1と経路点Pの設定を行う(ST32~33)。
図7(a)は、3Dマップ61の平面図上に飛行禁止空間R1、経路点P、および最適飛行ルート62の設定例を表示した説明図である。例えば、上記の3次元形状化処理によって生成した3Dマップ61(点群データ)に対してノイズ除去の処理を行い、ドローン3を飛行させる際に障害物となる物体(例えば、倉庫R内の物資32(
図2参照))が存在する位置には、その物体を包含する直方体などの立体形状を飛行禁止空間R1として設定する(ST32)。3Dマップ61上において飛行禁止空間R1を除外した空間を飛行可能空間R0とし、飛行可能空間R0に格子状の経路点Pを設定する(ST33)。経路点Pの間隔は、例えば、1mとすることができるが、1mに限定されるものではない。
【0052】
続いて、倉庫R内のどの位置にネズミAが出現した場合でも最適飛行ルート62を決定できるようにするため、飛行可能空間R0を格子状に分割するなどして3Dマップ61上に目標エリアRAを設定するとともに、3Dマップ61上にドローン3の待機位置30を設定する(ST34)。
図7(a)に示すように、各目標エリアRAは経路点Pを含むように設定する。目標エリアRAのサイズは、経路点Pの間隔や、ドローン3の位置制御の精度等を考慮して適宜設定すればよい。そして、設定した目標エリアRAのそれぞれに対して、複数の待機位置30のいずれかからの飛行ルートを最適飛行ルート62として決定し、全ての目標エリアRAに対して最適飛行ルート62を対応づけた候補ルートデータセット66を作成する(ST35)。
【0053】
(最適経路生成アルゴリズム)
各目標エリアRAに対する最適飛行ルート62は、最適経路生成アルゴリズムにより決定される。最適経路生成アルゴリズムは、ドローン3の運動方程式を用いて飛行ルートを最適化する。ネズミAを効果的に追い払うため、最適経路生成アルゴリズムは、ネズミAの出現位置34に到着するまでのドローン3の飛行時間を短くすることを最優先にして、最適飛行ルート62を決定する。飛行時間を最優先にすることで、可能な限り早くネズミAの出現位置34にドローン3を到着させて威嚇することができる。
【0054】
本形態では、待機位置30を出発地点とし、目標エリアRA内の経路点Pを目標地点PTとして、出発地点(待機位置30)と目標地点PTとを結ぶ飛行ルートを設定する。飛行ルートは、経路点Pを通るように設定する。具体的には、
図7(a)に示すように、待機位置30を囲むように配置される複数の経路点Pのうちの1つを出発点として、出発点から目標地点PTに向かって、近接する経路点P同士を直線または円弧で結ぶように飛行ルートを設定する。あるいは、飛行ルートの少なくとも一部で、離れた経路点P同士を直線または任意の曲線で結ぶように飛行ルートを設定する。
【0055】
図7(a)に例示するように、各目標エリアRAに対して、異なる待機位置30を出発点とする複数の飛行ルートF1、F2を設定できる。最適経路生成アルゴリズムは、3Dマップ61上に設定した全ての待機位置30からの飛行ルートを選択肢として、最適飛行ルート62を決定する。また、同一の待機位置30を出発点として異なる経路点Pを通る
様々な飛行ルートを選択肢として、最適飛行ルート62を決定する。
図7(b)に示すように、最適経路生成アルゴリズムは、ドローン3の運動方程式を用いて、飛行ルート毎に目標地点PTに到達するまでの飛行時間を算出し、最小飛行時間(飛行時間=t1)の飛行ルートF1を最適飛行ルート62に決定する。
【0056】
(最適経路生成アルゴリズムの変形例)
ここで、最適経路生成アルゴリズムは、1つの目的値(飛行時間)だけでなく、他の目的値(例えば、消費エネルギー)を含めた複数の目的値を同時に最適化するものとすることができる。ドローン3を飛行させる場合、飛行時間と消費エネルギーがトレードオフの関係になることがある。そのため、飛行時間と消費エネルギーとを最適化する場合には、最適経路生成アルゴリズムは、ドローン3の運動方程式を用いて、各飛行ルートの飛行時間と消費エネルギーを算出し、飛行時間と消費エネルギーの組合せの中から、最適解の集合(パレート解)を求める。そして、その中から1つの最適解を選択する。
【0057】
パレート解は、例えば、t1<t2<t3<t4、e1<e2<e3<e4である場合に、以下のような解の集合体である。
・解1(飛行時間t1、消費エネルギーe4)
・解2(飛行時間t2、消費エネルギーe3)
・解3(飛行時間t3、消費エネルギーe2)
・解4(飛行時間t4、消費エネルギーe1)
最適経路生成アルゴリズムは、パレート解の中から1つを選択し、選択した解に対応する飛行ルートを最適飛行ルート62に決定する。例えば、パレート解の中から、飛行時間が予め設定した基準飛行時間以下であり、且つ、消費エネルギーが最小の解を選択する。基準飛行時間は、例えば、ネズミAが検知されてから、その場所にドローン3を到達させるまでの時間がどの程度短ければ良いかを検討して決定することができる。このようにすると、求める時間内にネズミAの出現位置34でドローン3の威嚇動作を行い、且つ、ドローン3のバッテリー残量を可能な限り多く確保することができる。
【0058】
なお、基準飛行時間内に出現位置34に到達できる飛行ルートの中で、飛行時間と消費エネルギーの組合せが異なる複数の飛行ルートを候補ルートデータセット66に含めておくこともできる。この場合には、状況に応じて、飛行時間とバッテリー残量のどちらを優先するかを決定して、飛行ルートを選択するようなアルゴリズムを採用することができる。
【0059】
あるいは、最適経路生成アルゴリズムは、ネズミAが高い頻度で出現することを想定して、ドローン3のバッテリー残量確保のために、消費エネルギーを少なくすることを最優先にして、最適飛行ルート62を決定するものとしてもよい。
【0060】
本形態では、ドローン3の待機位置30は倉庫Rの床面に近い位置とされている。ドローン3の飛行ルートは、倉庫R内において垂直方向の移動を含む。最適経路生成アルゴリズムは、床面から離れた高い位置まで上昇するルートでなく、床面に沿って飛行するルートの中から、最適飛行ルート62を決定する。ネズミAが床面に近い位置を移動する場合、低い位置を飛行することでネズミAを効果的に威嚇することができる。また、飛行ルートを設定する際、倉庫Rの壁面31や飛行禁止空間R1から一定距離以上離れた位置を飛行するように設定する。
【0061】
(ネズミ駆除の実施例)
図8は、害獣駆除システム1によるネズミ駆除のシーケンス図である。上記のように構成した害獣駆除システム1の設置および必要なデータ作成が完了し、倉庫Rの監視を開始すると、カメラ2の撮影が開始され、リアルタイムで撮影データが制御装置5に送信され
る(ST41、51)。制御装置5では、上記のように、動くものが検出された場合のカメラ画像50から、動物検出モデル56を用いてネズミAを検出する(ST52)。ネズミAを検出した場合は、直ちにネズミAの出現位置34の3次元座標を特定する(ST53)。これにより、倉庫RへのネズミAの侵入がリアルタイムで検出され、出現位置34が特定される。
【0062】
次に、制御装置5は、特定した座標(出現位置34)までドローン3を飛行させるための最適飛行ルートを決定する(ST54)。上記のように、本形態では、出現位置34を含む目標エリアRAを決定し、目標エリアRAに対応付けられた最適飛行ルート62を候補ルートデータセットの中から選択する。そのため、クラウドサーバ6にアクセスして、必要なデータを参照する。また、ネズミ検出履歴のデータをクラウドサーバ6に蓄積する(ST61)。続いて、ドローン3に対して、決定した最適飛行ルート62を飛ぶための飛行命令および威嚇命令を送信し、飛行制御を行う(ST55)。
【0063】
ドローン3は、倉庫Rに設置されたドローン発着ステーションで充電され、待機している(ST71)。ドローン3は、制御装置5からの飛行命令に基づき、ドローン発着ステーションからスクランブル発進して(ST72)、最適飛行ルート62に沿って飛行する(ST73)。例えば、制御装置5から、飛行命令として、複数の飛行コマンドを組み合わせたものが送出される。ドローン3は、飛行コマンドに従ってローターなどのアクチュエータを駆動し、必要に応じてドローン3の位置を制御対象とするフィードバック制御を行って最適飛行ルート62からのずれを補正しながら、目標エリアRAまで飛行する。
【0064】
最適飛行ルート62からのドローン3の現在位置のずれを補正する手段としては、ドローン3にマーカーを付けて、現在位置を常に把握し、軌道修正するプログラムを用いることができる。例えば、マーカーとして、ドローン3が備える航行灯(赤外線LED)を利用する。この場合には、カメラ2の画像データに写った航行灯(赤外線LED)を検出して、検出した航行灯の3次元座標を求める処理を行い、求めた3次元座標と最適飛行ルート62とのずれを解消するように飛行コマンドをプログラムにより補正する。
【0065】
ドローン3は、目標エリアRAに到達すると、威嚇命令に従って威嚇動作を行う(ST74)。なお、威嚇命令が出現位置34へ向かう途中で威嚇動作を行わせる命令である場合は、出現位置34へ向かって飛行する途中で威嚇動作を行わせる。威嚇動作としては、例えば、フリップ動作(ドローン3を1回転宙返りさせる動作)を行う。あるいは、威嚇動作は、威嚇用の音を発生させることであってもよいし、発光させることであってもよい。威嚇動作を終えると、帰還ルートに沿ってドローン3を飛行させ、待機位置30に帰還させる(ST75)。帰還ルートは、最適飛行ルート62と同一のルートを用いてもよいし、他の飛行ルートを用いてもよい。例えば、消費エネルギー最小の飛行ルートを用いてもよい。ドローン3は待機位置30への帰還により充電が開始され、次の飛行命令まで待機する。
【0066】
(本形態の主な作用効果)
以上のように、本形態の害獣駆除システム1は、監視対象の空間である倉庫Rを撮影するカメラ2と、倉庫Rを飛行する無人航空機としてのドローン3と、ドローン3およびカメラ2と通信可能な制御装置5を有する。制御装置5は、機械学習により作成した動物検出モデル56を用いてカメラ2により撮影したカメラ画像50からネズミAを検出する動物検出部51と、動物検出モデル56からの出力データおよび倉庫Rの3Dマップ61を用いて倉庫RにおけるネズミAの出現位置34を特定する出現位置特定部52と、3Dマップ61を用いてドローン3を待機させた待機位置30から出現位置34へ向かう最適飛行ルート62を決定する飛行ルート決定部53と、最適飛行ルート62を飛行する飛行命令、および、ドローン3に予め設定した威嚇動作を行わせる威嚇命令をドローン3に送信
するドローン制御部54を備える。
【0067】
また、本形態の害獣駆除プログラムは、機械学習により作成した動物検出モデル56を用いて、倉庫Rに設置されたカメラ2により撮影したカメラ画像50からネズミAを検出する動物検出処理と、動物検出モデル56からの出力データおよび倉庫Rの3Dマップ61を用いて倉庫RにおけるネズミAの出現位置34を特定する出現位置特定処理と、倉庫Rを飛行するドローン3を待機させた待機位置30から出現位置34へ向かう最適飛行ルート62を、3Dマップ61を用いて決定する飛行ルート決定処理と、最適飛行ルート62を飛行する飛行命令、および、ドローン3に予め設定した威嚇動作を行わせる威嚇命令をドローン3に送信するドローン制御処理と、を汎用のコンピュータである制御装置5に行わせる。
【0068】
本形態によれば、倉庫RにネズミAが現れた場合には、カメラ画像50からネズミAを検出し、ドローン3を出現位置34に向かわせて威嚇することができる。従って、ネズミAを自動処理によって追い払うことができる。その際、倉庫Rの3Dマップ61を用いてネズミAの出現位置34を特定し、ドローン3の飛行ルートとして3Dマップ61を用いて決定した最適飛行ルート62を使用するので、飛行経路に制限がある屋内空間でも、速やかに出現位置34にドローン3を到着させることができる。従って、倉庫Rに侵入したネズミAを効果的に追い払うことができる。
【0069】
本形態では、ドローン3は、倉庫R内に設定された互いに異なる複数の待機位置30のそれぞれに待機し、飛行ルート決定部53は、3Dマップ61を複数の目標エリアRAに分割して、複数の目標エリアRAのそれぞれに対して複数の待機位置30のいずれかからの飛行ルートを対応づけた候補ルートデータセット66の中から、出現位置34を含む目標エリアRAに対応づけられた飛行ルートを最適飛行ルート62として決定する。このようにすると、ネズミAが出現した際には、候補ルートデータセット66の中から、出現位置34を含む目標エリアRAに対応づけられた飛行ルートを選択するだけでよい。従って、最適飛行ルート62の決定処理に要する負荷を小さくすることができる。
【0070】
本形態では、候補ルートデータセット66に含まれる飛行ルートは、待機位置30から目標エリアRAまで飛行する際の飛行時間に基づいて決定されており、飛行時間が最小の飛行ルートが目標エリアRA毎に決定されている。従って、短時間でネズミAを威嚇することが可能である。
【0071】
なお、上述したように、候補ルートデータセット66に含まれる飛行ルートは、飛行時間と消費エネルギーの両方に基づいて決定してもよく、飛行時間と消費エネルギーのバランスを考慮して飛行ルートを決定してもよい。あるいは、ドローン3のバッテリー残量確保を最優先するために、消費エネルギーに基づいて飛行ルートを決定してもよい。
【0072】
飛行時間と消費エネルギーのバランスを考慮する場合は、上記のように、候補ルートデータセット66に含まれる飛行ルートを、飛行時間が予め設定した基準飛行時間よりも短いことを条件として選択することができる。このようにすると、求める時間内にネズミAを威嚇することができる。
【0073】
本形態では、候補ルートデータセット66に含まれる飛行ルートは、3Dマップ61上に飛行禁止空間R1を設定し、飛行禁止空間R1を除く領域に格子状に配置した経路点Pを結ぶルートである。このようにすると、飛行禁止空間R1に侵入しない飛行ルートを容易に設定できる。また、例えば、経路点Pを単純な形状(例えば、直線または円弧)で結ぶようにルートを設定することが可能であり、この場合には、飛行プログラムを単純化することができるので、ドローン3の制御が容易である。あるいは、離れた経路点Pを直線
で結ぶように飛行ルートを設定しても良く、この場合には、飛行時間あるいはエネルギー消費が少ない飛行ルートを作成しやすい。また、経路点P毎に自己位置を検出して飛行プログラムを修正することが可能である。
【0074】
本形態では、動物検出部51は、動物検出モデル56を用いて、カメラ画像50から駆除対象のネズミAが写っている画像部位を抽出し、抽出した画像部位を取り囲む大きさのバウンディングボックス58を生成し、出現位置特定部52は、カメラ画像50内のバウンディングボックス58の座標から出現位置34を示す3次元座標を特定する。このような処理を行うことで、ネズミAの出現位置34として適正な座標を求めることができる。
【0075】
本形態では、出現位置特定部52は、出現位置34を示す3次元座標をクラウドサーバ6に送信し、3Dマップ61および候補ルートデータセット66は、クラウドサーバ6に記憶される。このように、クラウド上にデータを置いたシステムとすることで、専用のサーバや通信経路を構築する必要がない。従って、害獣駆除システム1の構築が容易である。
【0076】
本形態では、動物検出モデル56からの出力データをクラウドサーバ6に設けられた動物検出履歴データベース64に記憶させるため、今後の害獣対策に有用な情報をクラウドサーバ6に蓄積することができる。例えば、ネズミAの行動パターンや侵入経路の分析に有用である。
【0077】
本形態では、カメラ2は、倉庫Rの壁面31に沿って複数配置され、床を向いて撮影し、最適飛行ルート62は、倉庫Rの床に沿って飛行するルートである。このような向きで撮影すれば、倉庫Rの床を走り回るネズミAなどの害獣が出現した場合に、カメラ2にその姿が映りやすい。従って、ネズミAの出現を検知できないおそれが少ない。また、このような飛行ルートを選択すれば、ネズミAの近くにドローン3を飛行させることができるので、効果的に追い払うことができる。
【0078】
本形態では、カメラ2として赤外線カメラを用いるため、監視対象の倉庫Rが暗い場合でも、出現したネズミAを検知することができる。従って、ネズミAの出現頻度が高い夜間にネズミAを追い払うことができるので、ネズミAの被害を少なくすることができる。
【0079】
本形態では、ドローン3において一般的に行われる動き(フリップ動作)を用いてネズミAを威嚇する。従って、威嚇動作を行わせるための制御が容易であり、且つ、効果的に害獣を追い払うことができる。
【0080】
(他の実施形態)
(1)上記形態は、害獣駆除プログラムが単独のコンピュータである制御装置5にインストールされている形態であったが、害獣駆除プログラムによる処理を複数のコンピュータにおいて行うように構成してもよい。例えば、動物検出処理、出現位置特定処理、飛行ルート決定処理、ドローン制御処理のうちの一部を制御装置5とは別のコンピュータ(例えば、クラウドサーバ6)において行うように構成してもよい。
【0081】
(2)上記形態は、クラウドサーバ6を利用してシステムを構築するものであったが、クラウドサーバ6を利用せず、3Dマップ61、最適飛行ルート62、および動物検出履歴データベース64を制御装置5に記憶させるように構成してもよい。
【0082】
(3)上記形態は、出現位置特定用データセット57を制御装置5に記憶させるが、出現位置特定用データセット57を3Dマップ61と共にクラウドサーバ6に記憶させておいてもよい。
【0083】
(4)上記形態は、夜間に監視を行ってネズミを追い払うシステムであったが、昼夜両方とも監視を行うシステムとすることができる。昼夜対応のシステムとする場合には、監視用のカメラとして昼夜撮影できるカメラを設置する。例えば、昼間は可視光モードで撮影を行い、夜間になると自動的に赤外線撮影モードで撮影するカメラを設置する。そして、動物検出モデルとして、赤外線撮影モードで撮影したネズミの画像と、可視光モードで撮影したネズミの画像の両方を含むデータセットを教師データとして機械学習を行った昼夜対応の学習済モデルを作成する。その上で、カメラの撮影モードに同期させて、昼夜でネズミを検出する。
【0084】
(5)上記形態は、飛行ルートからのずれを補正するためにドローン3の現在位置を把握する手段として、カメラ2の画像に写った赤外線LEDなどのマーカーを検出する方法を用いるものであったが、マーカーは赤外線LEDに限定されない。例えば、赤外線反射テープを用いることができる。また、昼間の監視を行う場合は、可視光LEDを使用することができる。あるいは、昼用のマーカーとしてARマーカーを使用してもよく、ARマーカー以外の他のツールを用いて現在位置を確認するように構成してもよい。
【0085】
(6)ドローン3の現在位置を把握する手段として、機械学習によりドローン検出モデルを作成し、AIによりカメラ画像50からドローン3が写っている部位を抽出することで、ドローン3の現在位置を把握する方法を用いることもできる。
【0086】
(7)上記形態は、ネズミAを検出した場合に1台のドローンを飛ばす形態であったが、複数のドローン3を飛ばして複数のドローン3でネズミAを威嚇するように構成してもよい。この場合、倉庫Rに設置している複数のドローン3をそれぞれ個別に識別できるように機械学習を行ってドローン検出モデルを作成する。これにより、複数のドローン3を飛ばした場合にあっても、個別に識別を行いドローン3の現在位置を確認できる。
【符号の説明】
【0087】
1…害獣駆除システム、2…カメラ、3…ドローン、4…ルーター、5…制御装置、6…クラウドサーバ、30…待機位置、31…壁面、32…物資、34…出現位置、50…カメラ画像、51…動物検出部、52…出現位置特定部、53…飛行ルート決定部、54…ドローン制御部、55…記憶部、56…動物検出モデル、57…出現位置特定用データセット、58…バウンディングボックス、61…3Dマップ、62…最適飛行ルート、64…動物検出履歴データベース、66…候補ルートデータセット、A…ネズミ、P…経路点、R…倉庫、R0…飛行可能空間、R1…飛行禁止空間、RA…目標エリア
【要約】
【課題】屋内でも害獣を追い払うことができる害獣駆除システムを提供する。
【解決手段】害獣駆除システム1は、倉庫Rを撮影するカメラ2と、倉庫Rを飛行するドローン3と、制御装置5を有する。制御装置5は、機械学習により作成した動物検出モデル56を用いてカメラ2により撮影したカメラ画像50からネズミAを検出する動物検出部51と、動物検出モデル56からの出力データおよび倉庫Rの3Dマップ61を用いて倉庫RにおけるネズミAの出現位置34を特定する出現位置特定部52と、3Dマップ61を用いてドローン3を待機させた待機位置30から出現位置34へ向かう最適飛行ルート62を決定する飛行ルート決定部53と、最適飛行ルート62を飛行する飛行命令、および、ドローン3に予め設定した威嚇動作を行わせる威嚇命令をドローン3に送信するドローン制御部54を備える。
【選択図】
図3