(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-07
(45)【発行日】2022-10-18
(54)【発明の名称】監視システム及び飛行ロボット
(51)【国際特許分類】
A01M 29/30 20110101AFI20221011BHJP
G08B 13/196 20060101ALI20221011BHJP
G08B 25/00 20060101ALI20221011BHJP
G05D 1/10 20060101ALI20221011BHJP
【ＦＩ】
A01M29/30
G08B13/196
G08B25/00 510M
G05D1/10
【請求項の数】
7
(21)【出願番号】P 2019064232
(22)【出願日】2019-03-28
(65)【公開番号】P2020162438
(43)【公開日】2020-10-08
【審査請求日】2022-01-07
(73)【特許権者】
【識別番号】000108085
【氏名又は名称】セコム株式会社
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100180806
【弁理士】
【氏名又は名称】三浦 剛
(74)【代理人】
【識別番号】100196829
【弁理士】
【氏名又は名称】中澤 言一
(72)【発明者】
【氏名】岩永 侑大
(72)【発明者】
【氏名】尾坐 幸一
(72)【発明者】
【氏名】神山 憲
【審査官】中村 圭伸
(56)【参考文献】
【文献】特開２０１８－０５０５０３（ＪＰ，Ａ）
【文献】特開２０１６－１１９６２５（ＪＰ，Ａ）
【文献】特開２００３－１０１９９９（ＪＰ，Ａ）
【文献】特開２０１８－０９９０４４（ＪＰ，Ａ）
【文献】特開２０１４－１１９８２７（ＪＰ，Ａ）
【文献】特開２０１９－０４７７５５（ＪＰ，Ａ）
【文献】特開２０１８－０６８２２１（ＪＰ，Ａ）
【文献】特開２０１７－１０２８２４（ＪＰ，Ａ）
【文献】韓国公開特許第１０－２０１７－０１３７６６４（ＫＲ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ０１Ｍ ２９／００ － ２９／３４
Ｇ０８Ｂ １３／００ － １５／０２
Ｇ０８Ｂ ２５／００ － ２５／１４
Ｇ０５Ｄ １／００ － １／１２
(57)【特許請求の範囲】
【請求項1】
監視区域に侵入した侵入物体を検知する検知センサと、撮像画像を順次取得する画像取得部を有し、前記検知センサが前記侵入物体を検知すると自律的に飛行する飛行ロボットと、を備えた監視システムであって、前記検知センサは、前記侵入物体の検知に応じて、前記侵入物体の侵入位置を示す侵入位置情報を出力し、
前記飛行ロボットは、
前記飛行ロボットの飛行を制御する飛行制御部と、
前記侵入位置情報を取得する位置取得部と、
前記侵入位置情報によって示される前記侵入位置付近を飛行中に取得された前記撮像画像において対象動物を捉えたか否かを判定する画像認識部と、
前記撮像画像に前記対象動物を捉えたと判定した場合、以降において取得された撮像画像に前記対象動物を捉えられる位置に飛行するように前記飛行制御部に指示するメイン制御部、とを有し、
前記画像認識部は、前記撮像画像に前記対象動物を捉えた後に、前記撮像画像に前記対象動物を捉えていないと判定すると、前記対象動物を捉えられなくなる直前の撮像画像における対象動物を示す対象画像に基づいて、前記対象動物の移動方向を推定し、
前記メイン制御部は、前記画像取得部の撮像方向が前記推定された移動方向に変更されるように、前記飛行ロボットの向きを変更することを前記飛行制御部に指示する、
ことを特徴とする監視システム。
【請求項2】
前記画像認識部は、動物を示す動物画像と当該動物の種別及び向きを示す情報とを教師データとして用いた機械学習によって生成された学習モデルによって、前記撮像画像に前記対象動物が捉えられなくなる直前の撮像画像に捉えられている対象動物を示す前記対象画像から推定される前記対象動物の種別及び向きを推定し、推定した前記向きを、前記対象動物の移動方向とする、請求項１に記載の監視システム。
【請求項3】
前記飛行ロボットは、記憶部を更に有し、前記画像認識部は、前記メイン制御部による指示によって前記撮像方向が変更された後の撮像画像に前記対象動物を捉えたか否かを判定した結果を検知確率情報として前記記憶部に記憶し、
前記メイン制御部は、前記撮像方向が変更された後の前記撮像画像に前記対象動物を捉えていないと判定された場合、前記撮像方向が他の方向に変更されるように、前記飛行ロボットの向きを変更することを前記飛行制御部に再指示し、
前記検知確率情報に基づいて、前記対象動物の移動方向を推定し、前記撮像方向を決定する、請求項１又は２に記載の監視システム。
【請求項4】
前記飛行ロボットは、前記監視区域に侵入物体を前記監視区域の外に追い出すための出口位置に向かって自律的に飛行可能であり、前記画像認識部は、前記監視区域に侵入した前記対象動物が複数である場合、前記複数の対象動物のうち、前記出口位置との距離が最長である対象動物を追い出し対象として特定する、請求項１～３のいずれか一項に記載の監視システム。
【請求項5】
前記飛行ロボットは、前記監視区域に侵入物体を前記監視区域の外に追い出すための出口位置に向かって自律的に飛行可能であり、前記画像認識部は、
前記監視区域に侵入した前記対象動物が複数である場合、前記複数の対象動物のそれぞれの前記移動方向を推定し、
推定された各対象動物の前記移動方向のうち、前記出口位置への方向となす角度が最大である対象動物を追い出し対象として特定する、請求項１～３のいずれか一項に記載の監視システム。
【請求項6】
前記画像認識部は、前記推定された移動方向を状態とし、前記撮像方向の特定方向を行動とした場合における、前記行動に対する価値を定めた行動価値関数に基づいて、前記対象動物の移動方向を推定し、前記飛行ロボットは、前記推定された移動方向において、前記飛行ロボットの向きを変更することにより撮像画像に前記対象動物が捉えられるようになった前記撮像方向を変更した方向に基づいて各行動に報酬を設定して、前記行動価値関数を更新する更新部を更に有する、請求項１に記載の監視システム。
【請求項7】
撮像画像を順次取得する画像取得部を有し、自律的に飛行可能な飛行ロボットであって、前記飛行ロボットの飛行を制御する飛行制御部と、
飛行中に取得された前記撮像画像において対象動物を捉えたか否かを判定する画像認識部と、
前記撮像画像に前記対象動物を捉えたと判定された場合、以降において取得された撮像画像に前記対象動物を捉えられる位置に向かう飛行を前記飛行制御部に指示するメイン制御部と、を有し、
前記画像認識部は、前記撮像画像に前記対象動物を捉えた後に、前記撮像画像に前記対象動物を捉えていないと判定すると、前記対象動物を捉えられなくなる直前の撮像画像における対象動物を示す対象画像に基づいて、前記対象動物の移動方向を推定し、
前記メイン制御部は、前記画像取得部の撮像方向が前記推定された移動方向に変更されるように、前記飛行ロボットの向きを変更することを前記飛行制御部に指示する、
ことを特徴とする飛行ロボット。
【発明の詳細な説明】
【技術分野】
【0001】
監視区域に侵入した侵入物体を監視する監視システム及び飛行ロボットに関する。
【背景技術】
【0002】
近年、野生の鹿又は熊等の野生動物が、圃場に侵入し、当該圃場で栽培されている農作物を荒らすといった農作物被害が増加している。このような農作物被害の対策のため、野生動物が圃場に侵入しないような囲いを設置したり、圃場に侵入した野生動物を圃場の外に追い出すような装置を設置したりする対策が行われている。
【0003】
例えば、特許文献１には、ドローン等の無人飛行ロボットが、予め定められた航路を自動飛行しながら忌避剤を散布することによって、野生動物を圃場から特定の場所に追い込み捕獲する技術が記載されている。
【0004】
また、特許文献２には、無人飛行ロボットが光学カメラ等の撮像装置を搭載して、駐車場内の物体を示す画像を含む撮像画像を順次取得することで、駐車場内を監視する技術が記載されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１８－９９０４４号公報
【文献】特開２０１４－１１９８２７号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
飛行ロボットが野生動物を圃場等の監視区域の外へ追い出す従来のシステムでは、野生動物が飛行ロボットに馴れた場合、野生動物の方に飛行ロボットを以前よりも接近させなければ、野生動物は飛行ロボットから逃げずに監視区域に留まってしまう場合があった。
【0007】
野生動物による農作物被害の対策のため、撮像画像を順次取得しながら飛行する飛行ロボットが用いられる場合、飛行ロボットが野生動物に接近すると、野生動物の急な動きによって、野生動物が撮像画像に含まれない位置に逃げてしまうことがあった。人や自動車等の追跡においては、速度変化等により撮影画像に含まれなくなっても直前の移動方向等から予測して継続して追跡が可能な場合がある。しかし、野生動物は一見規則性がないと思われる特有の動きをする場合があり、飛行ロボットは、野生動物の動きを予測できず、野生動物の姿を捉えられなくなってしまうという問題が発生していた。また、上述のように野生動物の動きが不規則であることが多いため、飛行ロボットは、一旦、野生動物を捉えておくことに失敗すると、その後、野生動物の追跡が困難になってしまい、野生動物を見失ってしまうこともあった。
【0008】
本発明は、このような課題を解決すべくなされたものであり、順次取得された撮像画像によって野生動物等の侵入物体を捉えて追跡している場合において、追跡に失敗しても、追跡失敗前の撮像画像に基づいて侵入物体の移動方向を推定することで侵入物体の追跡の継続を可能とする監視システム及び飛行ロボットを提供することを目的とする。
【0009】
また、本発明の監視システム及び飛行ロボットは、上述のように推定した移動方向と実際に侵入物体が移動した方向とに基づいて、侵入物体の移動方向の推定精度を向上させ、侵入物体特有の動きに対応して、侵入物体を追跡することを可能にする。
【課題を解決するための手段】
【0010】
本発明に係る監視システムは、監視区域に侵入した侵入物体を検知する検知センサと、撮像画像を順次取得する画像取得部を有し、検知センサが侵入物体を検知すると自律的に飛行する飛行ロボットと、を備えた監視システムであって、検知センサは、侵入物体の検知に応じて、侵入物体の侵入位置を示す侵入位置情報を出力し、飛行ロボットは、飛行ロボットの飛行を制御する飛行制御部と、侵入位置情報を取得する位置取得部と、侵入位置情報によって示される侵入位置付近を飛行中に取得された撮像画像において対象動物を捉えたか否かを判定する画像認識部と、撮像画像に対象動物を捉えたと判定した場合、以降において取得された撮像画像に対象動物を捉えられる位置に飛行するように飛行制御部に指示するメイン制御部、とを有し、画像認識部は、撮像画像に対象動物を捉えた後に、撮像画像に対象動物を捉えていないと判定すると、対象動物を捉えられなくなる直前の撮像画像における対象動物を示す対象画像に基づいて、対象動物の移動方向を推定し、メイン制御部は、画像取得部の撮像方向が推定された移動方向に変更されるように、飛行ロボットの向きを変更することを飛行制御部に指示する。
【0011】
また、本発明に係る監視システムにおいて、画像認識部は、動物を示す動物画像と当該動物の種別及び向きを示す情報とを教師データとして用いた機械学習によって生成された学習モデルによって、撮像画像に対象動物が捉えられなくなる直前の撮像画像に捉えられている対象動物を示す対象画像から推定される対象動物の種別及び向きを推定し、推定した向きを、対象動物の移動方向とすることが好ましい。
【0012】
また、本発明に係る監視システムにおいて、飛行ロボットは、記憶部を更に有し、画像認識部は、メイン制御部による指示によって撮像方向が変更された後の撮像画像に対象動物を捉えたか否かを判定した結果を検知確率情報として記憶部に記憶し、メイン制御部は、撮像方向が変更された後の撮像画像に対象動物を捉えていないと判定された場合、撮像方向が他の方向に変更されるように、飛行ロボットの向きを変更することを飛行制御部に再指示し、検知確率情報に基づいて、対象動物の移動方向を推定し、撮像方向を決定することが好ましい。
【0013】
また、本発明に係る監視システムにおいて、飛行ロボットは、監視区域に侵入物体を監視区域の外に追い出すための出口位置に向かって自律的に飛行可能であり、画像認識部は、監視区域に侵入した対象動物が複数である場合、複数の対象動物のうち、出口位置との距離が最長である対象動物を追い出し対象として特定することが好ましい。
【0014】
また、本発明に係る監視システムにおいて、飛行ロボットは、監視区域に侵入物体を監視区域の外に追い出すための出口位置に向かって自律的に飛行可能であり、画像認識部は、監視区域に侵入した対象動物が複数である場合、複数の対象動物のそれぞれの移動方向を推定し、推定された各対象動物の移動方向のうち、出口位置への方向となす角度が最大である対象動物を追い出し対象として特定することが好ましい。
【0015】
また、本発明に係る監視システムにおいて、画像認識部は、推定された移動方向を状態とし、撮像方向の特定方向を行動とした場合における、行動に対する価値を定めた行動価値関数に基づいて、対象動物の移動方向を推定し、飛行ロボットは、推定された移動方向において、飛行ロボットの向きを変更することにより撮像画像に対象動物が捉えられるようになった撮像方向を変更した方向に基づいて各行動に報酬を設定して、行動価値関数を更新する更新部を更に有することが好ましい。
【0016】
本発明に係る飛行ロボットは、撮像画像を順次取得する画像取得部を有し、自律的に飛行可能な飛行ロボットであって、飛行ロボットの飛行を制御する飛行制御部と、飛行中に取得された撮像画像において対象動物を捉えたか否かを判定する画像認識部と、撮像画像に対象動物を捉えたと判定された場合、以降において取得された撮像画像に対象動物を捉えられる位置に向かう飛行を飛行制御部に指示するメイン制御部と、を有し、画像認識部は、撮像画像に対象動物を捉えた後に、撮像画像に対象動物を捉えていないと判定すると、対象動物を捉えられなくなる直前の撮像画像における対象動物を示す対象画像に基づいて、対象動物の移動方向を推定し、メイン制御部は、画像取得部の撮像方向が推定された移動方向に変更されるように、飛行ロボットの向きを変更することを飛行制御部に指示する。
【発明の効果】
【0017】
本発明に係る監視システム及び飛行ロボットは、順次取得された撮像画像によって侵入物体を捉えて追跡している場合において、追跡に失敗しても、追跡失敗前の撮像画像に基づいて侵入物体の移動方向を推定することで侵入物体の追跡の継続を可能とする。
【図面の簡単な説明】
【0018】
【図1】監視システムの概略構成の一例を示す図である。
【図2】飛行ロボットの斜視図の一例を示す図である。
【図3】メイン処理のフローチャートの一例を示す図である。
【図4】追い出し飛行の一例を説明するための模式図である。
【図5】分類クラスの一例を説明するための模式図である。
【図6】向きの変更の動作の一例を示す模式図である。
【発明を実施するための形態】
【0019】
以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
【0020】
（監視システム１）
図１は、監視システム１の概略構成の一例を示す図である。監視システム１は、検知センサ２、コントローラ３、及び飛行ロボット４を備える。コントローラ３は、所定の通信ネットワーク５（５ａ，５ｂ）を介して検知センサ２及び飛行ロボット４と接続する。所定の通信ネットワーク５（５ａ，５ｂ）は、ＩＰ（Internet Protocol）網、一般公衆回線網、移動通信電話網等である。
図１は、監視システム１の概略構成の一例を示す図である。監視システム１は、検知センサ２、コントローラ３、及び飛行ロボット４を備える。コントローラ３は、所定の通信ネットワーク５（５ａ，５ｂ）を介して検知センサ２及び飛行ロボット４と接続する。所定の通信ネットワーク５（５ａ，５ｂ）は、ＩＰ（Internet Protocol）網、一般公衆回線網、移動通信電話網等である。
【0021】
（検知センサ２）
検知センサ２は、監視区域内又は監視区域周辺に配置される。検知センサ２は、例えば、レーザセンサである。検知センサ２は、マイクロ波センサ、超音波センサ、又は画像センサ等でもよい。監視システム１は、複数の検知センサ２を備えてもよい。例えば、複数の検知センサ２は、監視区域内及び監視区域周辺のそれぞれに配置されてもよい。また、複数の検知センサ２は、監視区域内及び監視区域周辺の少なくとも一方に配置されてもよい。さらに、検知センサ２は、飛行ロボット４に搭載されていてもよく、飛行ロボット４が監視区域を巡回飛行中に、飛行ロボット４に搭載された画像センサ等の検知センサ２で監視区域内に侵入物体が侵入したか否かを判定するようにしてもよい。
検知センサ２は、監視区域内又は監視区域周辺に配置される。検知センサ２は、例えば、レーザセンサである。検知センサ２は、マイクロ波センサ、超音波センサ、又は画像センサ等でもよい。監視システム１は、複数の検知センサ２を備えてもよい。例えば、複数の検知センサ２は、監視区域内及び監視区域周辺のそれぞれに配置されてもよい。また、複数の検知センサ２は、監視区域内及び監視区域周辺の少なくとも一方に配置されてもよい。さらに、検知センサ２は、飛行ロボット４に搭載されていてもよく、飛行ロボット４が監視区域を巡回飛行中に、飛行ロボット４に搭載された画像センサ等の検知センサ２で監視区域内に侵入物体が侵入したか否かを判定するようにしてもよい。
【0022】
検知センサ２は、監視区域に侵入した侵入物体が対象動物の可能性があると判定した場合、所定の通信ネットワーク５ａを介して、検知信号をコントローラ３に送信する。対象動物は、監視システム１が監視する対象の動物であり、例えば、野生の鹿、猪、及び熊等である。対象動物の判定に、侵入物体の大きさ及び速度の少なくとも一方が用いられる。対象動物の判定に、大きさ及び速度以外の指標（例えば、移動パターン等）が用いられてもよい。検知信号は、侵入物体の侵入位置データを含む。侵入物体の侵入位置データは、侵入物体が対象動物と判定された際の侵入物体が位置する３次元座標又は平面２次元座標を示すデータである。
【0023】
例えば、検知センサ２がレーザセンサである場合、検知センサ２のレーザ照射部分は、監視区域内の予め設定された検知範囲に対して、探査信号（レーザ光）を所定周期で放射状に送信し、検知範囲内の侵入物体等に反射して戻ってきた探査信号を受信する。レーザ照射部分は、接地面と平行面上において検知角度の範囲内で回転するレーザ送受信センサを備える。検知角度は、１８０度でも、３６０度でもよい。レーザ照射部分は、垂直視野角の所定範囲を測定できるように複数個のレーザ送受信センサを備えてもよい。例えば、レーザ照射部分が垂直視野角約１５度の範囲内において１２個のレーザ送受信センサを備える場合、レーザ照射部分が検知角度だけ回転することにより、１２本の探査信号（レーザ光）が同時に照射され、検知範囲且つ垂直視野角約１５度の範囲内の物体から反射された探査信号が受信される。
【0024】
検知センサ２は、探査信号の送信及び受信の時間差に基づいて、物体までの距離を算出する。検知センサ２は、検知センサ２の位置、探査信号を送信した方向及び算出した距離に基づいて、各探査信号に対応する反射位置の３次元座標を算出する。そして、検知センサ２は、算出した３次元座標が地表面等の固定地物の三次元座標と異なる場合、当該三次元座標のうち互いに特定の距離範囲内である座標を同一の侵入物体によるものと推定し、侵入物体の大きさ（例えば、侵入物体の長さ等）を算出する。また、検知センサ２は、算出した各三次元座標及び各三次元座標に対応する探査信号の送信時刻に基づいて、侵入物体が移動していると推定される場合、その移動速度を算出する。
【0025】
検知センサ２は、算出した侵入物体の大きさ及び移動速度の少なくとも一方に基づいて、侵入物体が対象動物の可能性があると判定した場合、所定の通信ネットワーク５ａを介してコントローラ３に検知信号を送信する。検知信号に含まれる侵入物体の侵入位置データは、例えば、侵入物体であると推定された三次元座標を示すデータである。侵入物体の大きさ及び移動速度の算出処理は、後述するコントローラ３によって実行されてもよい。この場合、検知センサ２は、算出した３次元座標を送信時刻に対応付けて、所定のネットワークを介してコントローラ３に送信する。また、検知センサ２は、飛行ロボット４によって備えられてもよい。この場合、飛行ロボット４が監視区域内において予め設定された飛行経路を自動飛行している間、飛行ロボット４に備えられた検知センサ２は、探査信号を照射して侵入物体を検知する。
【0026】
（コントローラ３）
コントローラ３は、監視区域内又は監視区域周辺に設置された監視センタ等に設けられる情報処理装置である。コントローラ３は、飛行ロボット４の格納場所の近辺に設置されてもよく、また、監視区域の遠方に設置されてもよい。コントローラ３は、検知センサ２と、有線又は無線による通信を行う通信回路（図示しない）を備えるとともに、飛行ロボット４と無線による通信を行う通信回路（図示しない）を備える。
コントローラ３は、監視区域内又は監視区域周辺に設置された監視センタ等に設けられる情報処理装置である。コントローラ３は、飛行ロボット４の格納場所の近辺に設置されてもよく、また、監視区域の遠方に設置されてもよい。コントローラ３は、検知センサ２と、有線又は無線による通信を行う通信回路（図示しない）を備えるとともに、飛行ロボット４と無線による通信を行う通信回路（図示しない）を備える。
【0027】
コントローラ３は、図示しない制御記憶部を備える。制御記憶部は、飛行ロボット４の待機位置を示す待機位置データ、侵入物体を監視区域の外に追い出すための出口位置を示す出口位置データ、監視区域の境界を規定する境界ベクトルデータ等を記憶する。出口位置は、例えば、市街地側の出入り口ではなく、山側の出入り口を示す位置等である。境界ベクトルデータは、監視区域の境界上の複数の緯度及び経度を含む地点データ群である。地点データ群に含まれる複数の緯度及び経度によって示される各地点が順に線分で結ばれ、最後の地点と最初の地点とが線分で結ばれることで、監視区域を示す閉領域が規定される。地点データ群として、緯度及び経度と対応する標高値とが記憶されてもよい。飛行記憶部４６は、飛行ロボット４の飛行可能空間データ又は障害物データを記憶してもよい。また、出口位置は、単に、侵入物体を監視区域の外に追い出す方向を示す情報であってもよい。例えば、方向を示す情報は、磁北からの角度情報等である。この場合、緯度及び経度情報により特定の方向の範囲が出口位置として記憶される。
【0028】
コントローラ３は、検知センサ２から検知信号を受信すると、検知信号に含まれる侵入物体の侵入位置データを取得し、取得した位置データ及び飛行記憶部４６から読み出した待機位置データに基づいて、飛行ロボット４の待機位置から侵入物体の侵入位置までの飛行経路を、公知の算出方法（例えば、特開２０１６－１８１１７７号公報を参照。）を用いて算出する。コントローラ３は、飛行指示を、所定の通信ネットワーク５ｂを介して飛行ロボット４に送信するとともに、侵入物体の侵入位置データ、出口位置データ、及び飛行経路を示す経路データを、所定の通信ネットワーク５ｂを介して飛行ロボット４に送信する。
【0029】
コントローラ３による飛行指示の作成処理は、飛行ロボット４によって実行されてもよい。この場合、飛行ロボット４の飛行記憶部４６は、制御記憶部によって記憶された各種情報を記憶し、コントローラ３は、検知信号に含まれる侵入物体の侵入位置データを、飛行指示と共に飛行ロボット４に送信する。そして、飛行ロボット４のメイン制御部４３は、飛行ロボット４の待機位置から侵入物体の侵入位置までの飛行経路を算出し、飛行記憶部４６から読み出した出口位置データ、受信した侵入物体の侵入位置データ、及び算出した飛行経路を示す経路データに基づいて、飛行制御部４４を制御する。
【0030】
コントローラ３よる飛行指示の作成処理は、検知センサ２によって実行されてもよい。この場合、検知センサ２は、飛行記憶部４６によって記憶された各種情報を記憶する。検知センサ２は、飛行ロボット４の待機位置から侵入物体の侵入位置までの飛行経路を算出し、侵入物体の侵入位置データ、出口位置データ、及び飛行経路を示す経路データを含む飛行指示を作成し、作成した飛行指示を、コントローラ３を介して又は直接無線通信によって飛行ロボット４に送信する。
【0031】
（飛行ロボット４）
飛行ロボット４は、自律的に飛行可能な無人の小型飛行体である。飛行ロボット４は、自律的に飛行可能であり且つユーザの無線コントローラ装置等による操作によって制御可能な準自律的飛行可能な小型飛行体でもよい。飛行ロボット４は、飛行手段として、複数の回転翼（ロータ）等を備えており、例えば、ドローン、マルチコプタ、ＵＡＶ（Unmanned Aerial Vehicle）等である。
飛行ロボット４は、自律的に飛行可能な無人の小型飛行体である。飛行ロボット４は、自律的に飛行可能であり且つユーザの無線コントローラ装置等による操作によって制御可能な準自律的飛行可能な小型飛行体でもよい。飛行ロボット４は、飛行手段として、複数の回転翼（ロータ）等を備えており、例えば、ドローン、マルチコプタ、ＵＡＶ（Unmanned Aerial Vehicle）等である。
【0032】
飛行ロボット４は、図２に示すように、４枚のロータ（プロペラ）４０１（４０１ａ～４０１ｄ）を一平面上に有する。各ロータ４０１は、バッテリ（二次電池：図示しない）により駆動されるモータ４０２（４０２ａ～４０２ｄ）の回転に応じて回転する。一般的に、シングルロータ型のヘリコプタでは、メインロータによって発生する反トルクをテールロータが生み出すモーメントで相殺することによって方位角を保っている。一方、飛行ロボット４のようなクアッドロータ型のヘリコプタでは、本体４０３を中心として右前及び左後で異なる方向に回転するロータ４０１を用い且つ左前及び右後で異なる方向に回転するロータ４０１を用いることで反トルクの相殺を行っている。そして、各ロータ４０１の回転数（ｆａ～ｆｄ）を制御することにより、様々な機体の移動や姿勢の調節を行うことができる。
【0033】
飛行ロボット４は、画像取得部４１、画像認識部４２、メイン制御部４３、飛行制御部４４、位置取得部４５、飛行記憶部４６、更新部４７等を備え、これらは、本体４０３内に格納される。
【0034】
画像取得部４１は、熱画像を取得する熱画像カメラを備えた撮像装置である。熱画像カメラは、例えば、物体からの電磁放射の２種類の波長の放射エネルギーを検出し、２種類の放射エネルギー比によって求められた温度値に基づいて作成された撮像画像を出力する。画像取得部４１は、可視光に基づく撮像画像を出力する可視光カメラ又は赤外線サーモグラフィカメラを備えた撮像装置でもよい。画像取得部４１は、所定のフレーム周期で撮影された撮像画像を順次取得し、画像認識部４２に撮像画像を渡す。画像取得部４１の撮像方向は、飛行ロボット４の正面から前方を撮影する方向である。すなわち、画像取得部４１の撮像方向は、飛行ロボット４の前進方向と略同一である。画像取得部４１の撮像方向は、前進方向から鉛直下方に所定角だけ傾いた方向でもよい。
【0035】
画像認識部４２は、画像取得部４１からの撮像画像を取得するたびに、当該撮像画像において対象動物を捉えているか否かを判定する。例えば、画像認識部４２は、撮像画像に侵入物体を示す物体画像が含まれるか否かを判定する。そして、画像認識部４２は、後述する学習モデル４６１を用いて、物体画像が対象動物を示す対象画像であるか否かを判定する。画像認識部４２は、判定結果をメイン制御部４３に渡す。学習モデル４６１は、後述の機械学習を用いて学習された学習モデルである。
【0036】
メイン制御部４３は、飛行ロボット４の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵ（Central Processing Unit）である。メイン制御部４３は、コントローラ３から送信された検知信号を取得し、対象動物を示す画像が撮像画像内に捉えられるよう飛行制御しつつ、対象動物（侵入物体）を監視区域の外に追い出すための出口位置へ飛行ロボット４を進行させるように、後述する飛行制御部４４を制御する。
【0037】
メイン制御部４３は、コントローラ３から飛行指示を受信すると、飛行記憶部４６に記憶された、飛行制御のためのアプリケーションプログラム及び各種データを読み出す。
【0038】
飛行制御部４４は、メイン制御部４３からの指示に従って、飛行ロボット４が、上昇、下降、方向転換（回転）、及び、前進等の飛行を行うように、４枚のロータ４０１（４０１ａ～４０１ｄ）を駆動制御するための回路装置であり、例えば、ＦＰＧＡ（Field-Programmable Gate Array）をベースとして構成されたものである。飛行制御部４４は、メイン制御部４３と同一の回路装置で構成されてもよい。本体４０３は、図示しない方位センサ、加速度センサ、及びジャイロセンサ等の各種センサを格納しており、飛行制御部４４は、方位センサから出力された飛行ロボットの正面の方位、加速度センサから出力された飛行ロボット４に掛かる加速度（例えば、３軸方向の各加速度）、ジャイロセンサから出力された回転角速度（例えば、３軸のそれぞれを中心とした回転角速度）に基づいて、飛行ロボット４の向きを制御する。
【0039】
位置取得部４５は、図示しないＧＰＳ（Global Positioning System）衛星又は準天頂衛星からの信号を受信する。位置取得部４５は、その信号をデコードし、時刻情報等を取得する。次に、位置取得部４５は、その時刻情報等に基づいて各衛星から飛行ロボット４までの擬似距離を計算し、その擬似距離を代入して得られる連立方程式を解くことにより、飛行ロボット４の自己位置（緯度、経度及び高度）を検出する。そして、位置取得部４５は、検出した位置を示す位置情報と取得した位置時刻情報とを関連付けて、周期的にメイン制御部４３に出力する。
【0040】
飛行記憶部４６は、例えば、半導体メモリを有する。飛行記憶部４６は、端末処理部２９での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。飛行記憶部４６は、データとして、学習モデル４６１を示すデータを記憶する。
【0041】
更新部４７は、飛行記憶部４６に記憶された学習モデル４６１を読み出して、学習モデル４６１を更新する更新処理を実行する。なお、更新処理の詳細は後述する。
【0042】
（メイン処理）
図３は、飛行ロボット４の画像認識部４２及びメイン制御部４３によって実行されるメイン処理のフローチャートの一例を示す図である。
図３は、飛行ロボット４の画像認識部４２及びメイン制御部４３によって実行されるメイン処理のフローチャートの一例を示す図である。
【0043】
メイン制御部４３は、コントローラ３から飛行指示を受信すると、飛行動作モードに移行する（ステップＳ１０１）。飛行動作モードは、待機位置において待機している待機モードにある飛行ロボット４を侵入物体の侵入位置まで飛行させ、侵入位置付近を飛行中に撮像画像内に対象動物が捉えられた場合は、飛行ロボット４に、出口位置まで対象動物を追い出す動作を行わせるモードである。飛行指示は、対象動物を検知した検知センサ２からの検知信号を受信したコントローラ３によって送信される。
【0044】
メイン制御部４３は、コントローラ３から飛行指示とともに、侵入物体の侵入位置データ、出口位置データ、及び飛行経路を示す経路データを受信する（ステップＳ１０２）。メイン制御部４３は、飛行モードに移行した飛行ロボット４を離陸させるように飛行制御部４４に指示する。そして、メイン制御部４３は、経路データによって示される飛行経路を飛行ロボット４が飛行するように、位置取得部４５によって出力された位置情報を参照しつつ飛行制御部４４に飛行を指示する。飛行制御部４４は、メイン制御部４３の指示に応じた飛行を飛行ロボット４が行うように、モータ４０２を駆動させてローラ４０１を回転させる。
【0045】
メイン制御部４３は、位置取得部４５によって出力された位置情報に基づいて、ステップＳ１０２で受信した侵入物体の侵入位置データによって示される侵入位置に、飛行ロボット４が到着したか否か判定する（ステップＳ１０３）。メイン制御部４３は、飛行ロボット４が侵入位置に到着していないと判定した場合（ステップＳ１０３－Ｎｏ）、飛行ロボット４が侵入位置に到着するまで、飛行を継続するように飛行制御部４４に指示する。
【0046】
画像認識部４２は、メイン制御部４３によって飛行ロボット４が侵入位置に到着したと判定された場合（ステップＳ１０３－Ｙｅｓ）、侵入位置を含む周辺領域で、画像取得部４１から順次取得した撮像画像において対象動物を捉えているか否かを、後述する学習モデル４６１を用いて判定する（ステップＳ１０４）。学習モデル４６１を用いた判定処理の詳細は後述する。
【0047】
メイン制御部４３は、画像認識部４２によって、順次取得された撮像画像に検知センサ２が検知した侵入物体が対象動物ではない、又は侵入物体が捉えられない場合、対象動物が捉えられていないと判定して（ステップＳ１０４－Ｎｏ）、ステップＳ１１３に処理を進める。また、メイン制御部４３は、画像認識部４２によって順次取得された撮像画像に対象動物が捉えられたと判定した場合（ステップＳ１０４－Ｙｅｓ）、当該対象動物を追い出し対象の動物として決定し、追い出し飛行を開始する（ステップＳ１０５）。以降、追い出し対象の動物を追跡対象動物と称する場合がある。メイン制御部４３は、追跡対象動物を決定すると、図４に示すように、出口位置及び追跡対象動物の位置に基づいて、飛行ロボット４が、追跡対象動物を、出口位置から監視区域の外へ追い出すための追い出し飛行を開始する。
【0048】
例えば、メイン制御部４３は、画像認識部４２によって、撮像画像に複数の対象動物が捉えられていると判定された場合、当該撮像画像内における出口位置の方向を判定し、出口位置との距離が最長である対象動物を追跡対象動物として決定してもよい。また、画像認識部４２は、撮像画像に複数の対象動物が捉えられていると判定された場合、複数の動物のうち、複数の対象動物のそれぞれの移動方向を推定し、推定された各対象動物の移動方向のうち、出口位置への方向となす角度が最大である対象動物を追跡対象動物として特定してもよい。なお、対象動物の移動方向は、後述する移動方向推定処理によって推定される。
【0049】
追い出し飛行が開始されると、画像認識部４２は、ステップＳ１０４において撮像画像内に捉えた追跡対象動物を示す対象画像に対して、ラベリング処理を実行する。ラベリング処理は、撮像画像内において高温度又は高輝度の画素（例えば、画像内の画素値の平均値と比較して所定値以上の画素）について、隣接する画素の集合が一定の大きさ以上となる領域を変化領域として抽出し、各変化領域に対して、撮像画像内でユニークなラベルを割り当てる処理である。ラベリング処理は周知の手法であるため、詳細な説明を省略する。以降、順次取得された撮像画像において画像認識部４２はラベリング処理を実行し、メイン制御部４３は、ラベルが割り当てられた追跡対象動物を含む変化領域を追跡する。
【0050】
図４は、追い出し飛行の一例を説明するための模式図である。飛行ロボット４ａは、撮像画像に追跡対象動物が捉えられたと判定した場合（ステップＳ１０４－Ｙｅｓ）における飛行ロボット４である。追い出し飛行中、メイン制御部４３は、順次取得された撮像画像に、ラベルが割り当てられた追跡対象動物を示す変化領域が含まれる（捉えられる）位置であって、撮像方向が出口位置の方向になる位置に向かう飛行を飛行制御部４４に指示する。取得された撮像画像に、ラベルが割り当てられた追跡対象動物を示す変化領域が含まれる（捉えられる）位置は、例えば、ラベルが割り当てられた追跡対象動物が、略中心に位置するような撮像画像が取得される飛行ロボット４の位置である。
【0051】
図４に示すように、飛行ロボット４ａは、飛行ロボット４ａの位置において取得された撮像画像に、ラベルが割り当てられた追跡対象動物が含まれる位置にいる。しかしながら、飛行ロボット４ａにおける撮像方向は、出口位置の方向を向いていない。このため、メイン制御部４３は、位置取得部４５によって出力された位置情報と出口位置データによって示される出口位置を参照し、飛行ロボット４ａを左側に移動させるように飛行制御部４４に指示する。
【0052】
図４に示すように、飛行ロボット４ｂは、飛行ロボット４ａの位置よりも左側に移動した位置における飛行ロボット４である。飛行ロボット４ｂは、取得された撮像画像に、ラベルが割り当てられた追跡対象動物が含まれる位置にいる。しかしながら、飛行ロボット４ｂにおける撮像方向は、未だ出口位置の方向を向いていない。このため、メイン制御部４３は、位置取得部４５によって出力された位置情報と出口位置データによって示される出口位置を参照し、飛行ロボット４ｂを更に左側に移動させるように飛行制御部４４に指示する。
【0053】
図４に示すように、飛行ロボット４ｃは、飛行ロボット４ｂの位置よりも左側に移動した位置における飛行ロボット４である。飛行ロボット４ｃは、取得された撮像画像に、ラベルが割り当てられた追跡対象動物が含まれる位置にいる。さらに、飛行ロボット４ｂにおける撮像方向は、出口位置の方向を向いている。このように、撮像画像に追跡対象動物が捉えられたと判定した場合（ステップＳ１０４－Ｙｅｓ）における飛行ロボット４は、メイン制御部４３からの指示に応じて、４ａに示す位置から４ｃに示す位置に飛行する。
【0054】
次に、メイン制御部４３は、飛行ロボット４ｃは、追跡対象動物から所定距離範囲内となる位置に更に移動するように飛行制御部４４に指示する。このように、飛行ロボット４ｃを追跡対象動物に接近させることにより、飛行ロボット４ｃを嫌がる追跡対象動物を、出口位置の方向に移動させることが可能になる。
【0055】
野生動物の移動に応じて、ラベルが割り当てられた追跡対象動物の撮像画像内の位置が移動すると、上述のように、メイン制御部４３は、順次取得された撮像画像に、ラベルが割り当てられた追跡対象動物を示す変化領域が含まれる（捉えられる）位置であって、撮像方向が出口位置の方向になる位置に向かう飛行を飛行制御部４４に指示する。
【0056】
このように、追い出し飛行では、ラベルが割り当てられた追跡対象動物を示す変化領域が含まれる（捉えられる）位置であって、撮像方向が出口位置の方向になる位置に向かう飛行と、追跡対象動物から所定距離範囲内となる位置に更に移動する飛行とが繰り返し実施される。
【0057】
画像認識部４２は、追い出し飛行中において、画像取得部４１から順次取得した撮像画像に、追跡対象動物を捉えているか（ラベルが割り当てられた追跡対象動物を示す変化領域を追跡できているか）否かを判定する（ステップＳ１０６）。
【0058】
メイン制御部４３は、画像認識部４２によって、画像取得部４１から順次取得した撮像画像に、追跡対象動物が捉えられていると判定された場合（ステップＳ１０６－Ｙｅｓ）、追い出し飛行を継続する（ステップＳ１０７）。
【0059】
画像認識部４２は、画像取得部４１から順次取得した撮像画像に、一度捉えた追跡対象動物を捉えていないと判定した場合（ステップＳ１０６－Ｎｏ）、追跡対象動物の移動方向を推定する（ステップＳ１０８）。移動方向の推定では、画像認識部４２は、撮像画像に追跡対象動物が捉えられなくなる直前の撮像画像において捉えた追跡対象動物の向きに基づいて、移動方向推定処理を実行する。移動方向推定処理の詳細は後述する。
【0060】
メイン制御部４３は、移動方向推定処理によって推定された移動方向の撮像画像が画像取得部４１によって取得できるように、飛行ロボット４の向き及び／又は位置を変更する指示を飛行制御部４４に行う（ステップＳ１０９）。メイン制御部４３は、移動方向推定処理によって推定された移動方向が「右」である場合、飛行ロボット４の撮像方向を所定角度（例えば、３０度）だけ右方向に回転させるよう飛行制御部４４に指示する。なお、飛行ロボット４の向きの変更は、移動方向推定処理によって推定された移動方向に対応する向きの変更に限らず、推定された移動方向に対応する向きの変更後に、予め定められた複数の向きの変更が行われてもよい（例えば、飛行ロボット４の撮像方向を３０度だけ右方向に回転させた後、左方向に６０度回転させる等）。
【0061】
画像認識部４２は、飛行ロボット４の向きが変更された後に、追跡対象動物の追跡が可能か否かを判定する（ステップＳ１１０）。例えば、画像認識部４２は、飛行ロボット４の向きが変更された後に画像取得部４１によって取得された撮像画像に、追跡対象動物を捉えた場合、追跡対象動物の追跡が可能であると判定する。なお、撮像画像に、追跡対象動物が捉えられたか否かの判定に、移動方向推定処理が用いてもよい。また、画像認識部４２は、飛行ロボット４の向きが変更された後に画像取得部４１によって取得された撮像画像に、追跡対象動物を捉えられなかった場合、追跡対象動物の追跡が可能でないと判定する。
【0062】
メイン制御部４３は、追跡対象動物の追跡が可能であると判定した場合（ステップＳ１１０－Ｙｅｓ）、当該追跡対象動物に対する追い出し飛行を再開し、ステップＳ１０６に処理を戻す。メイン制御部４３は、追跡対象動物の追跡が可能でないと判定した場合（ステップＳ１１０－Ｎｏ）、ステップＳ１１２に処理を進める。
【0063】
追い出し飛行中において（ステップＳ１０７）、メイン制御部４３は、追跡対象動物を監視区域の外に追い出すことが成功したか否かを周期的に判定する（ステップＳ１１１）。例えば、メイン制御部４３は、追い出し飛行の継続中において、位置取得部４５によって出力された位置情報と出口位置データによって示される出口位置とに基づいて、飛行ロボット４が出口位置に到達したと判定した場合、追い出しに成功したと判定する。
【0064】
メイン制御部４３は、追い出しに成功したと判定した場合（ステップＳ１１１－Ｙｅｓ）、領域区域内に他の対象動物がいないか否かを判定する（ステップＳ１１２）。例えば、メイン制御部４３は、画像認識部４２によって、追い出しに成功した後の撮像画像おいて追跡対象動物が捉えられたと判定された場合、他の対象動物がいると判定する。なお、他の対象動物の存否の判定は、上述の判定方法に限らない。例えば、追い出し飛行中又は追い出し成功後に、ステップＳ１０１及びＳ１０２と同様に、コントローラ３から飛行指示とともに、侵入物体の侵入位置データ、出口位置データ、及び飛行経路を示す経路データを受信した場合、メイン制御部４３は、飛行ロボット４を侵入位置に飛行させるよう飛行制御部４４を制御し、画像認識部４２によって、順次取得された撮像画像に対象動物が捉えられたと判定された場合に、領域区域内に他の対象動物がいると判定してもよい。
【0065】
メイン制御部４３は、追出しに成功していないと判定した場合（ステップＳ１１１－Ｎｏ）、ステップＳ１０６に処理を戻す。
【0066】
メイン制御部４３は、領域区域内に他の対象動物がいると判定した場合（ステップＳ１１２－Ｎｏ）、ステップＳ１０５に処理を戻す。
【0067】
メイン制御部４３は、領域区域内に他の対象動物がいないと判定した場合（ステップＳ１１２－Ｙｅｓ）、帰還動作へ移行し（ステップＳ１１３）、飛行ロボット４が待機位置に到着すると、待機モードに変更してメイン処理を終了する。
【0068】
（移動方向推定処理）
画像認識部４２は、画像取得部４１から撮像画像を順次取得し、取得した撮像画像に対して移動方向推定処理を実行する。画像認識部４２は、例えば、ＹＯＬＯ（You Only Look Once）及びＳＳＤ（Single Shot MultiBox Detector）等のＣＮＮ（Convolutional Neural Network）をベースとした機械学習によって生成された学習モデル４６１を用いて移動方向推定処理を実行する。移動方向推定処理は、図３に示すメイン処理のステップＳ１０４及びステップＳ１０８において実行される。なお、ＳＳＤによる物体認識手法は、Ｗ．Ｌｉｕ，Ｄ．Ａｎｇｕｅｌｏｖ，Ｄ．Ｅｒｈａｎ，Ｃ．Ｓｚｅｇｅｄｙ， ａｎｄ Ｓ．Ｅ．Ｒｅｅｄ，“ＳＳＤ：Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ”，Ｄｅｃｅｍｂｅｒ ２９，２０１６，［ｏｎｌｉｎｅ］，＜ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ．／ｐｄｆ／１５１２．０２３２５．ｐｄｆ＞等を参照されたい。
画像認識部４２は、画像取得部４１から撮像画像を順次取得し、取得した撮像画像に対して移動方向推定処理を実行する。画像認識部４２は、例えば、ＹＯＬＯ（You Only Look Once）及びＳＳＤ（Single Shot MultiBox Detector）等のＣＮＮ（Convolutional Neural Network）をベースとした機械学習によって生成された学習モデル４６１を用いて移動方向推定処理を実行する。移動方向推定処理は、図３に示すメイン処理のステップＳ１０４及びステップＳ１０８において実行される。なお、ＳＳＤによる物体認識手法は、Ｗ．Ｌｉｕ，Ｄ．Ａｎｇｕｅｌｏｖ，Ｄ．Ｅｒｈａｎ，Ｃ．Ｓｚｅｇｅｄｙ， ａｎｄ Ｓ．Ｅ．Ｒｅｅｄ，“ＳＳＤ：Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ”，Ｄｅｃｅｍｂｅｒ ２９，２０１６，［ｏｎｌｉｎｅ］，＜ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ．／ｐｄｆ／１５１２．０２３２５．ｐｄｆ＞等を参照されたい。
【0069】
ＹＯＬＯは、リアルタイムで画像認識を行うアルゴリズムを用いた物体認識手法の一つであり、例えば、ＤａｒｋＮＥＴ等の機械学習フレームワーク上に実装される。以下、ステップＳ１０８におけるＹＯＬＯに基づく物体認識手法を実現する画像認識部４２の処理の一例について説明する。画像認識部４２は、まず、画像取得部４１から取得した直前の撮像画像を複数のグリッド（例えば、一つのグリッドは、撮像画像を縦７且つ横７の領域に分割したもの）に分割し、対象動物が存在するグリッドに、対象動物の外形形状に外接するバウンディングボックスを設定する。バウンディングボックスは、対象動物を示す矩形領域である。画像認識部４２は、各バウンディングボックス内の対象動物のクラス確率を算出する。クラス確率は、動物の種別及びその動物の向きの両者の確度を示す指標である。
【0070】
画像認識部４２は、動物を示す動物画像と当該動物画像に対応するクラスを示す情報とを教師データとして用いた機械学習によって生成された学習モデルを用いる。学習モデルは、図示しないモデル学習装置が、動物を示す動物画像と当該動物画像に対応するクラスを示す情報とを教師データとして取得して、公知のディープラーニング学習を実行することにより、多層構造のニューラルネットワークにおける各ニューロンの重みが学習されて生成された学習モデルである。なお、学習モデルの生成処理は、飛行ロボット４の更新部４７によって実行されてもよい。
【0071】
図５（ａ）に示すように、クラスは、例えば、「前方を向く鹿」、「右前方を向く鹿」、「左前方を向く鹿」、「右方を向く鹿」、「左方を向く鹿」、「右後方を向く鹿」、「左後方を向く鹿」及び「後方を向く鹿」である。対象動物に人間が含まれてもよく、この場合、クラスは、「前方を向く人間」等である。複数の対象動物に関するクラスが設けられてもよく、この場合、クラスは、「右方を向く鹿群」等である。クラスは、対象動物の姿勢（立位、伏位等）が含まれてもよく、この場合、クラスは、「前方を向いて伏せている鹿」、「前方を向いて立っている鹿」等である。図５（ｂ）は、図５（ａ）に示す各クラスに対応する動物画像の一例である。
【0072】
画像認識部４２は、学習モデルを用いて、直前の撮像画像において設定されたバウンディングボックス内の対象動物の画像を入力情報として推定されるクラス確率を算出する。例えば、画像認識部４２は、クラス確率として「前方を向く鹿」が８％、「右前方を向く鹿」が２３％、「左前方を向く鹿」が０．３％、「右方を向く鹿」が６７％、「左方を向く鹿」が２％・・・を出力した場合、最大のクラス確率に対応するクラス「右方を向く鹿」を出力し、移動方向が「右」であると判断する。
【0073】
なお、ステップＳ１０４及びＳ１１０においても、移動方向推定処理が用いられる。例えば、画像認識部４２は、学習済みの学習モデル４６１を用いることによって、順次取得した撮像画像において設定されたバウンディングボックス内の対象動物の画像を入力情報として推定されるクラス確率を算出する。そして、画像認識部４２は、最も高い値のクラス確率に対応するクラスを出力する。例えば、画像認識部４２は、クラス「左方を向く鹿」を出力した場合、撮像画像に、「左方を向く鹿」を捉えることになる。そして、種別「鹿」が対象動物である場合、ステップＳ１０４において、画像認識部４２は、取得された撮像画像に対象動物を捉えたと判定する。なお、クラスに含まれる動物の種別が、対象動物でない場合、ステップＳ１０４において、画像認識部４２は、取得された撮像画像に対象動物を捉えていないと判定する。
【0074】
（移動方向推定処理の変形例１）
また、移動方向推定処理は、上述の処理に限らない。例えば、ステップＳ１０９において、移動方向推定処理によって推定された移動方向の撮像画像が画像取得部４１によって取得できるように、飛行ロボット４の向きを変更しても、移動方向の撮像画像に追跡対象動物が捉えられない場合、メイン制御部４３は、対象動物を捉えることができるまで、飛行ロボット４を一定方向（左周り、右周り）に回転させるよう、飛行制御部４４に指示する。
また、移動方向推定処理は、上述の処理に限らない。例えば、ステップＳ１０９において、移動方向推定処理によって推定された移動方向の撮像画像が画像取得部４１によって取得できるように、飛行ロボット４の向きを変更しても、移動方向の撮像画像に追跡対象動物が捉えられない場合、メイン制御部４３は、対象動物を捉えることができるまで、飛行ロボット４を一定方向（左周り、右周り）に回転させるよう、飛行制御部４４に指示する。
【0075】
更新部４７は、実際に対象動物を捉えることができた結果方向を記憶し、推定されたクラスと向きと結果方向を関連づけて飛行記憶部４６に記憶する。そして、更新部４７は、クラスごとに、結果方向の検知確率を算出し、算出した検知確率を示す情報を飛行記憶部４６に記憶する。例えば、追跡対象動物が撮影画像に捉えられなくなる直前のクラスが「左前方を向く鹿」である場合、関連付けられた結果方向として、「左前方」が５回、「右前方」が３回、「後方」が２回である場合、図６に示すように、クラス「左前方を向く鹿」又は移動方向「左前方」に関連付けて、「左前方」の検知確率「０．５」、「右前方」の検知確率「０．３」及び「後方」の検知確率「０．２」が算出される。検知確率を示す情報は、検知確率情報の一例である。
【0076】
このような検知確率を用いることにより、画像認識部４２が、クラス「左前方を向く鹿」を出力し、移動方向が「左前方」であると判断した場合、初期の段階（結果方向が記憶されていない時期）では、メイン制御部４３は、必ず、左前方の撮像画像が取得できるように、飛行制御部４４に指示する。そして、更新部４７による学習が進み、図６に示されるような結果方向が記憶された場合、画像認識部４２が、クラス「左前方を向く鹿」を出力し、移動方向が「左前方」であると判断すると、メイン制御部４３は、まず、検知確率が一番高い「左前方」の撮像画像が取得できるように、飛行制御部４４に指示し、追跡対象動物を捉えることができなければ、検知確率が次に高い「右前方」の撮像画像が取得できるように、飛行制御部４４に再指示し、さらに、追跡対象動物を捉えることができなければ、検知確率がその次に高い「後方」の撮像画像が取得できるように、飛行制御部４４に再指示する。
【0077】
図６の例では、追跡対象動物が捉えられなくなる直前の方向と同じ移動方向の撮影画像を取得することで追跡対象動物を検知できる確率が最も高いが、その次に検知確率が高いのは、むしろ逆方向の例である。野生動物の動きは、一見不規則であり且つ予測しにくいものの、当該動きには、特有の法則性がある場合ある。上述のような検知確率を用いることによって、野生動物に特有の法則性を学習して予測ロジックに反映させることが可能となる。
【0078】
なお、メイン制御部４３による制御指示に、例外ルールが設定されてもよい。例えば、検知確率が一定未満の場合（例えば、「０．２」未満）、或いは検知可能性のある方向が所定数以上（例えば、３方向以上）の場合、メイン制御部４３は、一度、飛行ロボット４が上昇するように飛行制御部４４に指示する。そして、画像取得部４１の視野範囲が広がることにより、画像認識部４２が追跡対象動物を捉えた場合、メイン制御部４３は、飛行ロボット４が下降するように飛行制御部４４に指示する。一般に、野生動物の移動方向がランダムの場合、上述のような例外ルールによって飛行した方が追跡対象動物をより早く捉える可能性が高まる。なお、例外ルールによって飛行ロボット４を上昇させたことにより画像認識部４２が追跡対象動物を捉えた場合、結果方向「上昇」と推定されたクラス（移動方向）とを関連付けて学習し、以降の移動方向推定処理に反映させてもよい。
【0079】
（移動方向推定処理の変形例２）
また、移動方向推定処理において、強化学習によって学習済みの学習モデル４６１が用いられてもよい。例えば、ステップＳ１０９において、移動方向推定処理によって推定された移動方向の撮像画像が画像取得部４１によって取得できるように、飛行ロボット４の向きを変更しても、移動方向の撮像画像に追跡対象動物が捉えられない場合において、以降の移動方向推定処理において、画像認識部４２は、強化学習によって学習済みの学習モデル４６１を用いる。
また、移動方向推定処理において、強化学習によって学習済みの学習モデル４６１が用いられてもよい。例えば、ステップＳ１０９において、移動方向推定処理によって推定された移動方向の撮像画像が画像取得部４１によって取得できるように、飛行ロボット４の向きを変更しても、移動方向の撮像画像に追跡対象動物が捉えられない場合において、以降の移動方向推定処理において、画像認識部４２は、強化学習によって学習済みの学習モデル４６１を用いる。
【0080】
強化学習は、例えば、公知のＱ学習である。学習モデル４６１として行動価値関数Ｑを使用する。Ｑ学習では、環境の状態ｓと、その状態ｓで選択される行動ａとを独立変数として、状態ｓで行動ａを選択した場合の行動の価値を表す行動価値関数Ｑ（ｓ，ａ）が学習される。Ｑ学習では、状態ｓと行動ａとの相関性が未知の状態で学習が開始され、任意の状態ｓで種々の行動ａを選択する試行錯誤を繰り返すことにより、行動価値関数Ｑが反復して更新される。また、Ｑ学習では、ある状態ｓである行動ａが選択された場合に、報酬ｒが得られるように構成され、より高い報酬ｒが得られる行動ａが選択されるように、行動価値関数Ｑが学習される。
【0081】
行動価値関数Ｑの更新式は、以下の式（１）のように表される。
【0082】
【数1】
【0083】
学習モデル４６１は、移動方向の撮像画像に追跡対象動物が捉えられない場合における探索方向としての価値を定める行動価値関数Ｑである。行動価値関数Ｑの初期状態は、飛行ロボット４が事前に飛行しながら取得した映像データ等を用いて事前に学習される。更新部４７は、過去に、移動方向の撮像画像に追跡対象動物が捉えられないことになった時に、その直前の撮像画像における対象動物の向きを状態ｓtとして特定する。更新部４７は、時刻ｔの対象動物の向きに対し、特定方向への移動を行動ａtとする。更新部４７は、特定方向への移動状況に基づいて報酬ｒを設定する。なお、対象動物の向きは、例えば、ユーザが映像データを視認することによって入力される。
【0084】
更新部４７は、時刻ｔの対象動物の向きに対し、飛行ロボット４の撮像方向を特定方向に変更した場合、この変更によって対象動物が捉えられた場合は、行動ａtの報酬ｒとして０より大きい値を設定し、この変更によって対象動物が捉えられなかった場合は、行動ａtの報酬ｒとして０を設定する。なお、更新部４７は、時刻ｔでの対象動物の向きに対し、飛行ロボット４の撮像方向の変更により、対象動物を捉えることができるまでの変更回数、又は、対象動物を捉えることができるまでの時間が少ないほど、報酬ｒを大きい値に設定してもよい。また、更新部４７は、特定方向として、飛行ロボット４の上昇又は下降を、行動ａtとして含めてもよい。この場合、飛行ロボット４の上昇により視野範囲が広がり、対象動物を見つけ易いが、対象動物への威嚇効果は減少するため、上昇を伴わないで検知した場合より報酬ｒを、少ない値に設定してもよい。
【0085】
これにより、ステップＳ１０８において、画像認識部４２は、学習された行動価値関数Ｑを使用した学習モデル４６１を用いて、撮像画像に追跡対象動物が捉えられなくなる直前の撮像画像から、高い報酬が得られる変更方向（飛行ロボット４の回転方向及び／又は位置）を出力することが可能となる。
【0086】
以上、詳述したように、本発明に係る監視システム及び飛行ロボットは、順次取得された撮像画像によって侵入物体を追跡している場合において、追跡を失敗しても、追跡失敗前の撮像画像に基づいて侵入物体の移動方向を推定することで侵入物体の追跡の継続を可能とする。
【0087】
当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【符号の説明】
【0088】
１：監視システム、２：検知センサ、３：コントローラ、４：飛行ロボット、４１：画像取得部、４２：画像認識部、４３：メイン制御部、４４：飛行制御部、４５：位置取得部、４６：飛行記憶部、４６１：学習モデル、４７：更新部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】