知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025152007
(43)【公開日】2025-10-09
(54)【発明の名称】自律飛行ロボットの飛行制御システム及び飛行制御方法
(51)【国際特許分類】
G05D 1/686 20240101AFI20251002BHJP
G05D 1/46 20240101ALI20251002BHJP
G05D 1/223 20240101ALI20251002BHJP
G05D 1/243 20240101ALI20251002BHJP
【ＦＩ】
G05D1/686
G05D1/46
G05D1/223
G05D1/243
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2024053696
(22)【出願日】2024-03-28
(71)【出願人】
【識別番号】000108085
【氏名又は名称】セコム株式会社
(74)【代理人】
【識別番号】100103850
【弁理士】
【氏名又は名称】田中 秀▲てつ▼
(74)【代理人】
【識別番号】100114177
【弁理士】
【氏名又は名称】小林 龍
(74)【代理人】
【識別番号】100066980
【弁理士】
【氏名又は名称】森 哲也
(72)【発明者】
【氏名】澤井 庸平
(72)【発明者】
【氏名】鈴木 大貴
(72)【発明者】
【氏名】光信 拓也
【テーマコード（参考）】
5H301
【Ｆターム（参考）】
5H301AA06
5H301CC04
5H301CC07
5H301DD07
5H301GG07
5H301GG09
5H301GG17
5H301KK02
5H301KK03
5H301KK08
5H301LL06
(57)【要約】
【課題】自律飛行ロボットとは別個の撮像装置による撮影画像に基づいて指定された追跡対象を自律飛行ロボットに追跡させる場合に、追跡対象に対する誤追跡を抑制する。
【解決手段】飛行制御システム１００は、監視領域に設置された第１撮像装置４が撮影した第１撮影画像又は第１撮像装置４の設置情報に基づいて目標位置を設定する目標位置設定部２４ｅと、目標位置まで自律飛行ロボット１を飛行させる出動制御部２４ｆと、自律飛行ロボット１が備える第２撮像装置１１が撮影した第２撮影画像に基づいて追跡候補を認識する画像認識部２４ｇと、目標位置付近において、画像認識部２４ｇが認識した追跡候補の少なくとも一つを追跡対象としてオペレータが選択する選択入力を受け付ける選択受付部２４ｈと、選択された追跡対象を追跡するように自律飛行ロボットに飛行させる第２飛行制御を実行する追跡制御部２４ｉを備える。
【選択図】図５
【解決手段】飛行制御システム１００は、監視領域に設置された第１撮像装置４が撮影した第１撮影画像又は第１撮像装置４の設置情報に基づいて目標位置を設定する目標位置設定部２４ｅと、目標位置まで自律飛行ロボット１を飛行させる出動制御部２４ｆと、自律飛行ロボット１が備える第２撮像装置１１が撮影した第２撮影画像に基づいて追跡候補を認識する画像認識部２４ｇと、目標位置付近において、画像認識部２４ｇが認識した追跡候補の少なくとも一つを追跡対象としてオペレータが選択する選択入力を受け付ける選択受付部２４ｈと、選択された追跡対象を追跡するように自律飛行ロボットに飛行させる第２飛行制御を実行する追跡制御部２４ｉを備える。
【選択図】図５
【特許請求の範囲】
【請求項1】
自律飛行ロボットの飛行制御システムであって、
監視領域に設置された第１撮像装置が撮影した第１撮影画像または前記第１撮像装置の設置情報に基づいて目標位置を設定する目標位置設定部と、
前記目標位置まで前記自律飛行ロボットを飛行させる第１飛行制御を実行する出動制御部と、
前記自律飛行ロボットが備える第２撮像装置が撮影した第２撮影画像に基づいて追跡候補を認識する画像認識部と、
前記目標位置付近において、前記画像認識部が認識した前記追跡候補の少なくとも一つを追跡対象としてオペレータが選択する選択入力を受け付ける選択受付部と、
選択された前記追跡対象を追跡するように前記自律飛行ロボットに飛行させる第２飛行制御を実行する追跡制御部と、
を備えることを特徴とする飛行制御システム。
監視領域に設置された第１撮像装置が撮影した第１撮影画像または前記第１撮像装置の設置情報に基づいて目標位置を設定する目標位置設定部と、
前記目標位置まで前記自律飛行ロボットを飛行させる第１飛行制御を実行する出動制御部と、
前記自律飛行ロボットが備える第２撮像装置が撮影した第２撮影画像に基づいて追跡候補を認識する画像認識部と、
前記目標位置付近において、前記画像認識部が認識した前記追跡候補の少なくとも一つを追跡対象としてオペレータが選択する選択入力を受け付ける選択受付部と、
選択された前記追跡対象を追跡するように前記自律飛行ロボットに飛行させる第２飛行制御を実行する追跡制御部と、
を備えることを特徴とする飛行制御システム。
【請求項2】
前記選択受付部は、前記選択入力を受け付ける前記追跡候補として、前記自律飛行ロボットが前記目標位置へ到着する前に前記画像認識部が認識した前記追跡候補を含むことを特徴とする請求項１に記載の飛行制御システム。
【請求項3】
前記選択受付部は、前記選択入力を受け付ける前記追跡候補として、前記目標位置から所定範囲内の位置において前記自律飛行ロボットが撮影した前記第２撮影画像について前記画像認識部が認識した前記追跡候補を含むことを特徴とする請求項１に記載の飛行制御システム。
【請求項4】
前記目標位置設定部は、前記第１撮影画像にて認識した対象物の位置に基づいて前記目標位置を設定し、
前記画像認識部は、前記対象物の種別である第１種別と、前記追跡候補の種別である第２種別と、を認識し、
前記選択受付部は、前記第１種別と等しい前記第２種別の前記追跡候補を選択する前記選択入力を受け付ける、
ことを特徴とする請求項１に記載の飛行制御システム。
前記画像認識部は、前記対象物の種別である第１種別と、前記追跡候補の種別である第２種別と、を認識し、
前記選択受付部は、前記第１種別と等しい前記第２種別の前記追跡候補を選択する前記選択入力を受け付ける、
ことを特徴とする請求項１に記載の飛行制御システム。
【請求項5】
前記第２撮影画像上の前記追跡候補に対して選択可能であることを表すマークを付した監視画像を出力する第１画像出力部を更に備え、
前記選択受付部は、前記マークに対応する前記第２撮影画像上の画像位置に対する前記オペレータの操作を前記選択入力として受け付ける、
ことを特徴とする請求項１に記載の飛行制御システム。
前記選択受付部は、前記マークに対応する前記第２撮影画像上の画像位置に対する前記オペレータの操作を前記選択入力として受け付ける、
ことを特徴とする請求項１に記載の飛行制御システム。
【請求項6】
前記画像認識部は、前記第１撮影画像にて認識した対象物の画像特徴と、前記第２撮影画像にて認識した前記追跡候補の画像特徴と、を比較し、
前記第１画像出力部は、前記画像認識部による比較結果に応じて前記マークの表示様態を設定する、
ことを特徴とする請求項５に記載の飛行制御システム。
前記第１画像出力部は、前記画像認識部による比較結果に応じて前記マークの表示様態を設定する、
ことを特徴とする請求項５に記載の飛行制御システム。
【請求項7】
前記目標位置設定部が設定した前記目標位置に前記自律飛行ロボットが到着した後に第２の目標位置を設定して、前記自律飛行ロボットを前記第２の目標位置まで飛行させる調整制御部を更に備え、
前記画像認識部は、前記第１撮影画像にて認識した対象物の画像特徴と、前記第２撮影画像にて認識した複数の前記追跡候補の画像特徴と、を各々比較し、
前記調整制御部は、前記画像認識部による画像特徴の比較結果に応じて前記第２の目標位置を設定する、
ことを特徴とする請求項１に記載の飛行制御システム。
前記画像認識部は、前記第１撮影画像にて認識した対象物の画像特徴と、前記第２撮影画像にて認識した複数の前記追跡候補の画像特徴と、を各々比較し、
前記調整制御部は、前記画像認識部による画像特徴の比較結果に応じて前記第２の目標位置を設定する、
ことを特徴とする請求項１に記載の飛行制御システム。
【請求項8】
前記調整制御部は、前記画像特徴が最も類似する前記追跡候補が前記第２撮影画像における画像中央に撮影されるように前記第２の目標位置を設定する、
ことを特徴とする請求項７に記載の飛行制御システム。
ことを特徴とする請求項７に記載の飛行制御システム。
【請求項9】
前記追跡制御部は、前記第２飛行制御として、前記追跡対象が前記第２撮影画像における画像中央に撮影されるように前記自律飛行ロボットの飛行を制御することを特徴とする請求項１に記載の飛行制御システム。
【請求項10】
前記第２撮影画像から前記追跡候補の画像領域を切り出した拡大画像を出力する第２画像出力部を更に備えることを特徴とする請求項１～７の何れか一項に記載の飛行制御システム。
【請求項11】
自律飛行ロボットの飛行制御方法であって、
監視領域に設置された第１撮像装置が撮影した第１撮影画像または前記第１撮像装置の設置情報に基づいて目標位置を設定する処理と、
前記目標位置まで前記自律飛行ロボットを飛行させる第１飛行制御を実行する処理と、
前記自律飛行ロボットが備える第２撮像装置が撮影した第２撮影画像に基づいて追跡候補を認識する処理と、
前記目標位置付近において、認識された前記追跡候補の少なくとも一つを追跡対象としてオペレータが選択する選択入力を受け付ける処理と、
選択された前記追跡対象を追跡するように前記自律飛行ロボットに飛行させる第２飛行制御を実行する処理と、
を少なくとも１つのコンピュータに実行させることを特徴とする飛行制御方法。
監視領域に設置された第１撮像装置が撮影した第１撮影画像または前記第１撮像装置の設置情報に基づいて目標位置を設定する処理と、
前記目標位置まで前記自律飛行ロボットを飛行させる第１飛行制御を実行する処理と、
前記自律飛行ロボットが備える第２撮像装置が撮影した第２撮影画像に基づいて追跡候補を認識する処理と、
前記目標位置付近において、認識された前記追跡候補の少なくとも一つを追跡対象としてオペレータが選択する選択入力を受け付ける処理と、
選択された前記追跡対象を追跡するように前記自律飛行ロボットに飛行させる第２飛行制御を実行する処理と、
を少なくとも１つのコンピュータに実行させることを特徴とする飛行制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自律飛行ロボットの飛行制御システム及び飛行制御方法に関する。
【背景技術】
【0002】
下記特許文献１には、固定カメラが撮像した映像及び当該固定カメラの位置に基づき、操作者により指定された対象物まで自律飛行ロボットを移動させ、自律飛行ロボットが搭載しているカメラにて撮影させる撮像システムが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第７４３７９３０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
自律飛行ロボットとは別個の撮像装置が撮影した画像に基づいて対象物を指定し、この対象物を自律飛行ロボットに撮影させる場合、自律飛行ロボットが撮影した画像上で複数の類似の物体が検出されると、当初指定された対象物とは異なる物体まで誤って移動する虞がある。特に、指定された対象物を自律飛行ロボットが撮影した画像に基づいて追跡する場合、指定された対象物とは異なる物体を誤って追跡する虞がある。
本発明は、上記の問題点を鑑みてなされたものであり、自律飛行ロボットとは別個の撮像装置による撮影画像に基づいて指定された追跡対象を自律飛行ロボットに追跡させる場合に、追跡対象に対する誤追跡を抑制することを目的とする。
本発明は、上記の問題点を鑑みてなされたものであり、自律飛行ロボットとは別個の撮像装置による撮影画像に基づいて指定された追跡対象を自律飛行ロボットに追跡させる場合に、追跡対象に対する誤追跡を抑制することを目的とする。
【課題を解決するための手段】
【0005】
本発明の一形態によれば、自律飛行ロボットの飛行制御システムが与えられる。飛行制御システムは、監視領域に設置された第１撮像装置が撮影した第１撮影画像または前記第１撮像装置の設置情報に基づいて目標位置を設定する目標位置設定部と、目標位置まで自律飛行ロボットを飛行させる第１飛行制御を実行する出動制御部と、自律飛行ロボットが備える第２撮像装置が撮影した第２撮影画像に基づいて追跡候補を認識する画像認識部と、前記目標位置付近において、画像認識部が認識した追跡候補の少なくとも一つを追跡対象としてオペレータが選択する選択入力を受け付ける選択受付部と、選択された追跡対象を追跡するように自律飛行ロボットに飛行させる第２飛行制御を実行する追跡制御部と、を備える。
【発明の効果】
【0006】
本発明によれば、自律飛行ロボットとは別個の撮像装置による撮影画像に基づいて指定され追跡対象を自律飛行ロボットに追跡させる場合に、追跡対象に対する誤追跡を抑制できる。
【図面の簡単な説明】
【0007】
【図1】本発明の実施形態の飛行ロボット制御システムの構成の一例を示す概略図である。
【図2】（ａ）及び（ｂ）は、実施形態の飛行制御方法の一例の説明図である。
【図3】自律飛行ロボットの機能構成の一例のブロック図である。
【図4】管理装置の機能構成の一例のブロック図である。
【図5】操作端末の機能構成の一例のブロック図である。
【図6】操作端末の表示部に表示される監視画像の第１例の模式図である。
【図7】操作端末の表示部に表示される監視画像の第２例の模式図である。
【図8】（ａ）～（ｃ）は、操作端末の表示部に表示される追跡候補の拡大画像の第１例～第３例の模式図である。
【図9】実施形態の飛行制御方法の一例のフローチャートである。
【発明を実施するための形態】
【0008】
以下において、図面を参照して本発明の実施形態を説明する。なお、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
【0009】
以下、本発明を適用した飛行ロボット制御システム１００の概略構成を示した図１を参照して、本発明の実施の形態の構成を説明する。
（飛行ロボット制御システム１００）
飛行ロボット制御システム１００は、１台以上の自律飛行ロボット１と、操作端末２と、管理装置３と、予め設定された監視領域Ｒに設置された固定カメラ４を有する。例えば、飛行ロボット制御システム１００は、予め設定された監視領域における巡回や、監視領域における異常対処や、点検などの幅広い用途に用いられる。固定カメラ４は、特許請求の範囲に記載の「第１撮像装置」の一例である。
（飛行ロボット制御システム１００）
飛行ロボット制御システム１００は、１台以上の自律飛行ロボット１と、操作端末２と、管理装置３と、予め設定された監視領域Ｒに設置された固定カメラ４を有する。例えば、飛行ロボット制御システム１００は、予め設定された監視領域における巡回や、監視領域における異常対処や、点検などの幅広い用途に用いられる。固定カメラ４は、特許請求の範囲に記載の「第１撮像装置」の一例である。
【0010】
自律飛行ロボット１による巡回飛行を行う場合には、自律飛行ロボット１に設けられたセンサ（例えばカメラ）で周囲の状況を検出しながら、例えば管理装置３で設定した飛行経路に沿って自律飛行ロボット１を自律飛行させる。遠隔のオペレータは、自律飛行ロボット１のセンサの検出結果（例えばカメラの撮影画像）に基づいて、監視領域内の状況を確認する。
【0011】
自律飛行ロボット１は、オペレータが操作端末２を手動操作することによって操縦することも可能である。例えば、特定の地点における状況をより詳細に確認する必要が生じた場合には、オペレータが操作端末２を介して手動で自律飛行ロボット１を操縦することにより、特定の地点におけるより詳細な状況を確認できる。
【0012】
（実施形態の飛行制御方法の概要）
次に、実施形態の飛行制御方法の一例の概要を説明する。図２（ａ）を参照する。例えば、自律飛行ロボット１に追跡させるべき追跡対象２００ａが監視領域Ｒ内に存在し、固定カメラ４が追跡対象２００ａを撮影した場合を想定する。例えば追跡対象は人物（例えば不審者）であってもよく人物以外の物体（例えば不審車両）や動物であってもよい。以下の説明において、固定カメラ４が撮影した画像を「第１撮影画像」と表記することがある。第１撮影画像は、オペレータ３００による監視領域Ｒの監視に用いられる操作端末２の表示部２１に表示される。
次に、実施形態の飛行制御方法の一例の概要を説明する。図２（ａ）を参照する。例えば、自律飛行ロボット１に追跡させるべき追跡対象２００ａが監視領域Ｒ内に存在し、固定カメラ４が追跡対象２００ａを撮影した場合を想定する。例えば追跡対象は人物（例えば不審者）であってもよく人物以外の物体（例えば不審車両）や動物であってもよい。以下の説明において、固定カメラ４が撮影した画像を「第１撮影画像」と表記することがある。第１撮影画像は、オペレータ３００による監視領域Ｒの監視に用いられる操作端末２の表示部２１に表示される。
【0013】
このように、追跡対象が監視領域Ｒ内に発見された場合に、飛行ロボット制御システム１００は、自律飛行ロボット１に追跡対象２００ａを追跡させる。
具体的には、図２（ｂ）に示すように追跡対象２００ａを撮影できる位置まで自律飛行ロボット１を飛行させて、自律飛行ロボット１により追跡対象２００ａを撮影させ、自律飛行ロボット１による撮影画像（以下「第２撮影画像」と表記することがある）に基づいて、自律飛行ロボット１に追跡対象２００ａを自動的に追跡させる。
具体的には、図２（ｂ）に示すように追跡対象２００ａを撮影できる位置まで自律飛行ロボット１を飛行させて、自律飛行ロボット１により追跡対象２００ａを撮影させ、自律飛行ロボット１による撮影画像（以下「第２撮影画像」と表記することがある）に基づいて、自律飛行ロボット１に追跡対象２００ａを自動的に追跡させる。
【0014】
このとき、第２撮影画像に複数の追跡候補２００ａ～２００ｄが検出されると、自律飛行ロボット１は、当初認識した追跡対象２００ａとは異なる対象を誤って追跡する虞がある。
実施形態の飛行ロボット制御システム１００では、固定カメラ４が撮影した第１撮影画像に基づいて、追跡対象２００ａを撮影できる位置まで自律飛行ロボット１を飛行させ、自律飛行ロボット１による第２撮影画像に基づいて追跡候補２００ａ～２００ｄを認識する。また、第２撮影画像を操作端末２の表示部２１に表示してオペレータ３００に提示する。
実施形態の飛行ロボット制御システム１００では、固定カメラ４が撮影した第１撮影画像に基づいて、追跡対象２００ａを撮影できる位置まで自律飛行ロボット１を飛行させ、自律飛行ロボット１による第２撮影画像に基づいて追跡候補２００ａ～２００ｄを認識する。また、第２撮影画像を操作端末２の表示部２１に表示してオペレータ３００に提示する。
【0015】
そして、認識された追跡候補２００ａ～２００ｄの少なくとも一つを追跡対象２００ａとしてオペレータ３００が選択する選択入力を受け付ける。図２（ｂ）の例ではオペレータ３００は、第２撮影画像上において追跡対象２００ａの位置をカーソル４００で指示することによって、追跡対象２００ａを選択する。
飛行ロボット制御システム２００は、選択された追跡対象２００ａを追跡するように自律飛行ロボット１に飛行させる。
このように、自律飛行ロボット１が撮影した第２撮影画像で認識された追跡候補２００ａ～２００ｄのうちどれを追跡対象２００ａとすべきかを、人間であるオペレータ３００が選択することにより、自律飛行ロボット１が誤った対象（例えば追跡候補２００ｂ～２００ｄ）を追跡することを抑制できる。
飛行ロボット制御システム２００は、選択された追跡対象２００ａを追跡するように自律飛行ロボット１に飛行させる。
このように、自律飛行ロボット１が撮影した第２撮影画像で認識された追跡候補２００ａ～２００ｄのうちどれを追跡対象２００ａとすべきかを、人間であるオペレータ３００が選択することにより、自律飛行ロボット１が誤った対象（例えば追跡候補２００ｂ～２００ｄ）を追跡することを抑制できる。
【0016】
次に、自律飛行ロボット１、操作端末２、管理装置３の各々について説明する。
（自律飛行ロボット１）
図３は、自律飛行ロボットの機能構成の一例のブロック図である。自律飛行ロボット１は、例えば、ヘキサローダ型やクアッドロータ型の小型無人ヘリコプタであり、いわゆる、マルチコプタ、ドローン、ＵＡＶ（Unmanned Aerial Vehicle）等である。なお、ヘキサローダ型やクアッドロータ型の小型無人ヘリコプタに限定されるものではなく、シングルロータ型の小型無人ヘリコプタについても同様に適用することができる。
自律飛行ロボット１は、自律飛行ロボット１の飛行経路に係る情報（後述する経路情報）を操作端末２や管理装置３から受信する。
（自律飛行ロボット１）
図３は、自律飛行ロボットの機能構成の一例のブロック図である。自律飛行ロボット１は、例えば、ヘキサローダ型やクアッドロータ型の小型無人ヘリコプタであり、いわゆる、マルチコプタ、ドローン、ＵＡＶ（Unmanned Aerial Vehicle）等である。なお、ヘキサローダ型やクアッドロータ型の小型無人ヘリコプタに限定されるものではなく、シングルロータ型の小型無人ヘリコプタについても同様に適用することができる。
自律飛行ロボット１は、自律飛行ロボット１の飛行経路に係る情報（後述する経路情報）を操作端末２や管理装置３から受信する。
【0017】
自律飛行ロボット１を自律飛行させる場合、自律飛行ロボット１は所定の飛行条件に従って自動飛行する。
所定の飛行条件は、例えば操作端末２や管理装置３から受信した経路情報によって指定された飛行経路であってよい。自律飛行モードにおいて自律飛行ロボット１は、受信した経路情報により指定された飛行経路に沿って飛行する。所定の飛行条件として目標位置を設定してもよい。この場合に自律飛行ロボット１は、障害物を回避しながら目標位置へ向かう飛行経路を検索し、検索した飛行経路に沿って飛行する。
所定の飛行条件は、例えば操作端末２や管理装置３から受信した経路情報によって指定された飛行経路であってよい。自律飛行モードにおいて自律飛行ロボット１は、受信した経路情報により指定された飛行経路に沿って飛行する。所定の飛行条件として目標位置を設定してもよい。この場合に自律飛行ロボット１は、障害物を回避しながら目標位置へ向かう飛行経路を検索し、検索した飛行経路に沿って飛行する。
【0018】
自律飛行ロボット１は、位置・姿勢センサ１０と、第２撮像装置１１と、通信部１２と、制御部１３と、記憶部１４と、モータ１５と、ロータ１６と備える。
位置・姿勢センサ１０は、自律飛行ロボット１の現在位置および姿勢を取得する。位置・姿勢センサ１０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）等の航法衛星（人工衛星）から送信される電波（航法信号）を受信する受信機、加速度を計測する加速度センサ、方位を計測する電子コンパス、および角速度を計測するジャイロセンサを備えている。
位置・姿勢センサ１０は、自律飛行ロボット１の現在位置および姿勢を取得する。位置・姿勢センサ１０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）等の航法衛星（人工衛星）から送信される電波（航法信号）を受信する受信機、加速度を計測する加速度センサ、方位を計測する電子コンパス、および角速度を計測するジャイロセンサを備えている。
【0019】
例えば位置・姿勢センサ１０の受信機は、複数の航法衛星から送信される航法信号を受信して制御部１３に出力するとともに、電子コンパスおよびジャイロセンサは、計測信号を制御部１３に出力する。
現在位置を取得するために受信機に代えてレーザスキャナおよび気圧センサを用いるなど、他の既知のセンサを用いて既知の従来技術により現在位置および姿勢を得るための情報を取得するものとしてもよい。
現在位置を取得するために受信機に代えてレーザスキャナおよび気圧センサを用いるなど、他の既知のセンサを用いて既知の従来技術により現在位置および姿勢を得るための情報を取得するものとしてもよい。
【0020】
第２撮像装置１１は、自律飛行ロボット１の位置から見た画像を撮影するための撮像装置（例えばカメラ）である。例えば第２撮像装置１１は、画角や自律飛行ロボット１の前後方向に対する光軸方向が固定されたカメラであってもよく、画角や光軸方向が可変なカメラ（例えばＰＴＺカメラであってもよい）
【0021】
通信部１２は、操作端末２と自律飛行ロボット１との間で、及び管理装置３と自律飛行ロボット１との間で通信するための通信モジュールである。
記憶部１４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等の情報記憶装置である。記憶部１４は、各種プログラムや各種データを記憶し、制御部１３との間でこれらの情報を入出力する。各種データには、位置・姿勢情報１４ａ、経路情報１４ｂ、目標位置情報１４ｃ等の制御部１３の処理に用いられる情報が含まれる。
記憶部１４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等の情報記憶装置である。記憶部１４は、各種プログラムや各種データを記憶し、制御部１３との間でこれらの情報を入出力する。各種データには、位置・姿勢情報１４ａ、経路情報１４ｂ、目標位置情報１４ｃ等の制御部１３の処理に用いられる情報が含まれる。
【0022】
位置・姿勢情報１４ａは、位置・姿勢センサ１０によって取得された自律飛行ロボット１の現在位置と姿勢とを、予め定められた回数だけ循環記憶した位置と姿勢の履歴である。ここで、履歴内の最新の位置及び姿勢を特に現在位置及び現在姿勢と表記し、それ以外の位置及び姿勢を過去位置及び過去姿勢と表記することがある。
経路情報１４ｂは、自律飛行ロボット１が移動する予定である飛行経路に関する情報である。具体的には、飛行経路上における座標列である。経路情報１４ｂは、操作端末２や管理装置３から受信する。
目標位置情報１４ｃは、自律飛行ロボット１の飛行先である目標位置に関する情報である。例えば目標位置情報１４ｃは操作端末２から受信してよい。
経路情報１４ｂは、自律飛行ロボット１が移動する予定である飛行経路に関する情報である。具体的には、飛行経路上における座標列である。経路情報１４ｂは、操作端末２や管理装置３から受信する。
目標位置情報１４ｃは、自律飛行ロボット１の飛行先である目標位置に関する情報である。例えば目標位置情報１４ｃは操作端末２から受信してよい。
【0023】
制御部１３は、ＣＰＵ（Central Processing Unit）等のプロセッサ、ＲＯＭ、ＲＡＭ等の周辺機器を備えたコンピュータである。制御部１３のプロセッサは、記憶部１４に格納されたコンピュータプログラムを実行することにより、以下に説明する制御部１３の機能を実現する。
制御部１３は、位置・姿勢算出部１３ａ、飛行制御部１３ｂ、経路探索部１３ｃ、飛行情報送信部１３ｄ、撮影画像送信部１３ｅ等として機能する。
制御部１３は、位置・姿勢算出部１３ａ、飛行制御部１３ｂ、経路探索部１３ｃ、飛行情報送信部１３ｄ、撮影画像送信部１３ｅ等として機能する。
【0024】
位置・姿勢算出部１３ａは、位置・姿勢センサ１０の出力から３次元的な移動領域（例えば飛行空間）における自律飛行ロボット１の現在位置および姿勢を算出し、位置・姿勢情報１４ａとして記憶部１４に記憶させる。
例えば位置・姿勢算出部１３ａは、位置・姿勢センサ１０によって出力された航法信号から緯度・経度・高度を求め、予め記憶した変換規則を用いて移動領域の座標系における位置に変換する。
例えば位置・姿勢算出部１３ａは、位置・姿勢センサ１０によって出力された航法信号から緯度・経度・高度を求め、予め記憶した変換規則を用いて移動領域の座標系における位置に変換する。
【0025】
また、位置・姿勢算出部１３ａは、位置・姿勢センサ１０によって出力された加速度センサおよびジャイロセンサの計測信号から移動領域の座標系における現在姿勢を求める。
なお、位置・姿勢センサ１０によって出力された電子コンパスの計測信号から、移動領域の座標系における方位を求め、他のセンサからの計測信号を更に用いて現在姿勢を算出してもよい。
以上のように、位置・姿勢センサ１０と位置・姿勢算出部１３ａ（制御部１３）とが共働することにより自律飛行ロボット１の現在位置及び現在姿勢を検出する。
なお、位置・姿勢センサ１０によって出力された電子コンパスの計測信号から、移動領域の座標系における方位を求め、他のセンサからの計測信号を更に用いて現在姿勢を算出してもよい。
以上のように、位置・姿勢センサ１０と位置・姿勢算出部１３ａ（制御部１３）とが共働することにより自律飛行ロボット１の現在位置及び現在姿勢を検出する。
【0026】
飛行制御部１３ｂは、モータ１５の回転速度を制御することによって自律飛行ロボット１の飛行動作を制御する。自律飛行ロボット１には、４つ又は６つのロータ１６と、これらロータ１６にそれぞれ連結された回転軸を有するモータ１５が搭載されている。各モータ１５は、制御部１３に接続されて飛行制御部１３ｂから回転速度を指示される。４つ又は６つのロータ１６が独立して回転することにより自律飛行ロボット１に任意方向の加速度を発生させる。
【0027】
自律飛行ロボット１を自律飛行させる場合に、飛行制御部１３ｂは所定の飛行条件に従って自律飛行ロボット１を自動飛行させる。例えば所定の飛行条件として飛行経路が与えられている場合には、飛行制御部１３ｂは、経路情報１４ｂ、位置・姿勢情報１４ａを参照し、自律飛行ロボット１を経路情報１４ｂに記された飛行経路に追従して移動するようモータ１５の回転速度を制御する。具体的には、飛行制御部１３ｂは、経路情報１４ｂに記された現在時刻の位置（座標）と、位置・姿勢情報１４ａに記された現在位置との誤差が小さくなるようにモータ１５の回転速度を制御する。
【0028】
例えば所定の飛行条件として目標位置が与えられている場合には、障害物を回避しながら目標位置へ向かう飛行経路に沿って移動するように、モータ１５の回転速度を制御する。経路探索部１３ｃは、目標位置情報１４ｃ、位置・姿勢情報１４ａを参照し、障害物を回避しながら現在位置から目標位置へ向かう飛行経路を検索する。
自律飛行ロボット１を手動で操縦する場合には、飛行制御部１３ｂは操作端末２から受信した制御情報に基づいてモータ１５の回転速度を制御する。操作端末２は、例えば自律飛行ロボット１に発生させる３軸方向（前後方向、左右方向及び上下方向）の目標加速度の情報を制御情報として送信してよい。
自律飛行ロボット１を手動で操縦する場合には、飛行制御部１３ｂは操作端末２から受信した制御情報に基づいてモータ１５の回転速度を制御する。操作端末２は、例えば自律飛行ロボット１に発生させる３軸方向（前後方向、左右方向及び上下方向）の目標加速度の情報を制御情報として送信してよい。
【0029】
飛行情報送信部１３ｄは、自律飛行ロボット１の飛行に関する飛行情報を、通信部１２を介して操作端末２と管理装置３に送信する。
例えば飛行情報は、自律飛行ロボット１の現在位置、現在姿勢、高度、速度等の情報を含んでいてよい。
撮影画像送信部１３ｅは、第２撮像装置１１によって撮影された第２撮影画像を、通信部１２を介して操作端末２へ送信する。
例えば飛行情報は、自律飛行ロボット１の現在位置、現在姿勢、高度、速度等の情報を含んでいてよい。
撮影画像送信部１３ｅは、第２撮像装置１１によって撮影された第２撮影画像を、通信部１２を介して操作端末２へ送信する。
【0030】
（管理装置３）
管理装置３は、所定位置（例えば監視領域Ｒや自律飛行ロボット１の移動領域、自律飛行ロボット１を運用する事業者の敷地、遠隔地の監視センターなど）に設置される。管理装置３は、自律飛行ロボット１から受信した現在位置から、自律飛行ロボット１の飛行先である目標位置に至る飛行経路を求め、自律飛行ロボット１に送信する。例えば管理装置３は、予め設定されている巡回経路に基づいて自律飛行ロボット１の目標位置を設定してもよく、後述するように操作端末２が設定した目標位置を取得してもよい。
管理装置３は、所定位置（例えば監視領域Ｒや自律飛行ロボット１の移動領域、自律飛行ロボット１を運用する事業者の敷地、遠隔地の監視センターなど）に設置される。管理装置３は、自律飛行ロボット１から受信した現在位置から、自律飛行ロボット１の飛行先である目標位置に至る飛行経路を求め、自律飛行ロボット１に送信する。例えば管理装置３は、予め設定されている巡回経路に基づいて自律飛行ロボット１の目標位置を設定してもよく、後述するように操作端末２が設定した目標位置を取得してもよい。
【0031】
図４は、管理装置３の機能構成の一例のブロック図である。管理装置３は、通信部３０と、制御部３１と、記憶部３２とを備える。
通信部３０は、自律飛行ロボット１と管理装置３との間で、及び操作端末２と管理装置３との間で通信するための通信モジュールである。
通信部３０は、自律飛行ロボット１と管理装置３との間で、及び操作端末２と管理装置３との間で通信するための通信モジュールである。
【0032】
記憶部３２は、ＲＯＭ、ＲＡＭ、ＨＤＤ等の情報記憶装置である。記憶部３２は、各種プログラムや各種データを記憶し、制御部３１との間でこれらの情報を入出力する。各種データには、例えば監視領域及びその周辺領域の地図情報３２ａや、経路情報３２ｂや、自律飛行ロボット１から受信した飛行情報３２ｃ等の制御部３１の処理に用いられる情報が含まれる。
制御部３１は、ＣＰＵ等のプロセッサ、ＲＯＭ、ＲＡＭ等の周辺機器を備えたコンピュータである。制御部３１のプロセッサは、記憶部３２に格納されたコンピュータプログラムを実行することにより、以下に説明する制御部３１の機能を実現する。
制御部３１は、ＣＰＵ等のプロセッサ、ＲＯＭ、ＲＡＭ等の周辺機器を備えたコンピュータである。制御部３１のプロセッサは、記憶部３２に格納されたコンピュータプログラムを実行することにより、以下に説明する制御部３１の機能を実現する。
【0033】
制御部３１は、飛行経路設定部３１ａ、飛行情報取得部３１ｂとして機能する。
飛行経路設定部３１ａは、自律飛行ロボット１の移動の開始位置（例えば、自律飛行ロボット１の現在位置）から、自律飛行ロボット１の飛行先として設定された目標位置まで、自律飛行ロボット１を移動させる飛行経路を探索して、探索した飛行経路の情報を経路情報３２ｂとして記憶部３２に記憶する。
飛行経路設定部３１ａは、自律飛行ロボット１の移動の開始位置（例えば、自律飛行ロボット１の現在位置）から、自律飛行ロボット１の飛行先として設定された目標位置まで、自律飛行ロボット１を移動させる飛行経路を探索して、探索した飛行経路の情報を経路情報３２ｂとして記憶部３２に記憶する。
【0034】
飛行経路設定部３１ａは、探索した飛行経路の情報を、通信部３０を介して自律飛行ロボット１に送信する。自律飛行ロボット１は、受信した飛行経路の情報を経路情報１４ｂとして記憶する。
飛行情報取得部３１ｂは、自律飛行ロボット１から送信された自律飛行ロボット１の飛行情報３２ｃを取得する。飛行情報取得部３１ｂは、取得した飛行情報３２ｃを記憶部３２に格納する。
飛行情報取得部３１ｂは、自律飛行ロボット１から送信された自律飛行ロボット１の飛行情報３２ｃを取得する。飛行情報取得部３１ｂは、取得した飛行情報３２ｃを記憶部３２に格納する。
【0035】
（操作端末２）
操作端末２は、オペレータ３００による自律飛行ロボット１の操縦や固定カメラ４や自律飛行ロボット１から送られてくる撮影画像の監視に用いられる端末装置である。例えば操作端末２は、オペレータ３００が携行可能な遠隔操作装置（いわゆる「プロポ」）やタブレット端末であってもよく、監視卓等に固定されたパーソナルコンピュータであってよい。
図５は、操作端末２の機能構成の一例のブロック図である。操作端末２は、通信部２０と、表示部２１と、操作部２２と、制御部２４と、記憶部２５を備える。
操作端末２は、オペレータ３００による自律飛行ロボット１の操縦や固定カメラ４や自律飛行ロボット１から送られてくる撮影画像の監視に用いられる端末装置である。例えば操作端末２は、オペレータ３００が携行可能な遠隔操作装置（いわゆる「プロポ」）やタブレット端末であってもよく、監視卓等に固定されたパーソナルコンピュータであってよい。
図５は、操作端末２の機能構成の一例のブロック図である。操作端末２は、通信部２０と、表示部２１と、操作部２２と、制御部２４と、記憶部２５を備える。
【0036】
通信部２０は、自律飛行ロボット１と操作端末２との間で、及び管理装置３と操作端末２との間で通信するための通信モジュールである。また、通信部２０は、監視領域Ｒに設置された固定カメラ４から第１撮影画像を受信するためにも利用される。
表示部２１は、操作端末２からオペレータ３００に提供される視覚的情報を表示するユーザインタフェース装置である。例えば操作端末２は、図２（ａ）や図２（ｂ）に示すように固定カメラ４から送信された第１撮影画像と自律飛行ロボット１から送信された第２撮影画像を表示部２１に表示して、オペレータ３００に提示する。
表示部２１は、操作端末２からオペレータ３００に提供される視覚的情報を表示するユーザインタフェース装置である。例えば操作端末２は、図２（ａ）や図２（ｂ）に示すように固定カメラ４から送信された第１撮影画像と自律飛行ロボット１から送信された第２撮影画像を表示部２１に表示して、オペレータ３００に提示する。
【0037】
操作部２２は、操作端末２に対するオペレータ３００の操作入力を受け付けるユーザインタフェースである。操作部２２は、例えばグラフィカルユーザインタフェース（ＧＵＩ:Graphical User Interface）が表示される表示部２１の表示画面に設けられたタッチパネルであってもよく、ボタン、ダイヤル、スライダなどの物理的な操作部材を有してもよい。
【0038】
記憶部２５は、ＲＯＭ、ＲＡＭ、ＨＤＤ等の情報記憶装置である。記憶部２５は、各種プログラムや各種データを記憶し、制御部２４との間でこれらの情報を入出力する。各種データには、例えば監視領域及びその周辺領域の地図情報２５ａや、自律飛行ロボット１から受信した飛行情報２５ｂ等の制御部２４の処理に用いられる情報が含まれる。
【0039】
制御部２４は、ＣＰＵ等のプロセッサ、ＲＯＭ、ＲＡＭ等の周辺機器を備えたコンピュータである。制御部２４のプロセッサは、記憶部２５に格納されたコンピュータプログラムを実行することにより、以下に説明する制御部２４の機能を実現する。
制御部２４は、制御情報生成部２４ａ、飛行情報取得部２４ｂ、撮影画像受信部２４ｃ、画像出力部２４ｄ、目標位置設定部２４ｅ、出動制御部２４ｆ、画像認識部２４ｇ、選択受付部２４ｈ、追跡制御部２４ｉ、及び調整制御部２４ｊとして機能する。
制御部２４は、制御情報生成部２４ａ、飛行情報取得部２４ｂ、撮影画像受信部２４ｃ、画像出力部２４ｄ、目標位置設定部２４ｅ、出動制御部２４ｆ、画像認識部２４ｇ、選択受付部２４ｈ、追跡制御部２４ｉ、及び調整制御部２４ｊとして機能する。
【0040】
制御情報生成部２４ａは、自律飛行ロボット１を手動で操縦する場合に、操作部２２に対するオペレータ３００の操作入力に基づいて、自律飛行ロボット１の飛行動作を制御するための制御情報を生成する。制御情報生成部２４ａは、通信部２０を介して制御情報を自律飛行ロボット１へ送信する。
飛行情報取得部２４ｂは、自律飛行ロボット１から送信された自律飛行ロボット１の飛行情報２５ｂを取得する。飛行情報取得部２４ｂは、取得した飛行情報２５ｂを記憶部２５に格納する。
飛行情報取得部２４ｂは、自律飛行ロボット１から送信された自律飛行ロボット１の飛行情報２５ｂを取得する。飛行情報取得部２４ｂは、取得した飛行情報２５ｂを記憶部２５に格納する。
【0041】
撮影画像受信部２４ｃは、固定カメラ４から送信された第１撮影画像を受信する。また撮影画像受信部２４ｃは、自律飛行ロボット１から送信された第２撮影画像を受信する。
画像出力部２４ｄは、第１撮影画像と第２撮影画像を監視画像として表示部２１に出力する。
目標位置設定部２４ｅは、自律飛行ロボット１に追跡させるべき追跡対象２００ａが監視領域Ｒ内に存在し、固定カメラ４が追跡対象２００ａを撮影した場合に、追跡対象２００ａに向けて自律飛行ロボット１を飛行させる目標位置を設定する。
画像出力部２４ｄは、第１撮影画像と第２撮影画像を監視画像として表示部２１に出力する。
目標位置設定部２４ｅは、自律飛行ロボット１に追跡させるべき追跡対象２００ａが監視領域Ｒ内に存在し、固定カメラ４が追跡対象２００ａを撮影した場合に、追跡対象２００ａに向けて自律飛行ロボット１を飛行させる目標位置を設定する。
【0042】
例えば、監視領域Ｒ内の追跡対象２００ａを固定カメラ４が撮影した場合に、画像出力部２４ｄは、第１撮影画像を表示部２１に出力してよい。オペレータ３００が第１撮影画像上の追跡対象２００ａの位置を指示する入力操作（例えばマウスクリックやキーボード操作など）を行うと、目標位置設定部２４ｅは、オペレータ３００の入力操作を受け付けて、入力操作によって指示された画像位置を取得してよい。これに代えて目標位置設定部２４ｅは、画像認識処理によって第１撮影画像上の追跡対象２００ａの画像位置を認識して画像位置を自動設定してもよい。
【0043】
目標位置設定部２４ｅは、固定カメラ４の位置情報と撮影条件（光軸方向及び画角など）に基づいて、取得した画像位置に対応する現実の物理空間上の空間座標を、初期位置として設定してよい。
次に目標位置設定部２４ｅは、設定した初期位置を自律飛行ロボット１の第２撮像装置１１で撮影できる自律飛行ロボット１の位置（現実の物理空間上の空間座標）を、目標位置として算出する。
次に目標位置設定部２４ｅは、設定した初期位置を自律飛行ロボット１の第２撮像装置１１で撮影できる自律飛行ロボット１の位置（現実の物理空間上の空間座標）を、目標位置として算出する。
【0044】
例えば目標位置設定部２４ｅは、第２撮像装置１１の撮影条件（光軸方向及び画角など）に基づいて目標位置を算出してよい。例えば、第２撮影画像の画像中央に初期位置が写り（すなわち第２撮像装置１１の光軸上に初期位置が位置し）、且つ追跡対象２００ａの位置から所定距離だけ離れた位置を目標位置として設定してよい。
第２撮像装置１１の撮影条件が可変制御できる場合には、例えば撮影条件を所定の値（例えば好適な光軸方向や画角など）に設定した場合に初期位置を撮影可能な位置を算出してよい
第２撮像装置１１の撮影条件が可変制御できる場合には、例えば撮影条件を所定の値（例えば好適な光軸方向や画角など）に設定した場合に初期位置を撮影可能な位置を算出してよい
【0045】
また例えば、目標位置設定部２４ｅは追跡対象２００ａの移動先の位置や移動範囲を予測してもよい。目標位置設定部２４ｅは、第１撮影画像上で追跡対象２００ａを検知した位置と予測した移動先の位置の両方を撮影可能な位置を目標位置として算出してもよく、予測した移動範囲全体を撮影可能な位置を目標位置として算出してもよい。
また、目標位置設定部２４ｅは、追跡対象２００ａを撮影した固定カメラ４の撮影範囲を撮影できる複数の位置（現実の物理空間上の空間座標）のうち、所定の位置（例えば移動障害物が存在しない位置など）を目標位置として設定してもよい。また、目標位置設定部２４ｅは、追跡対象２００ａを撮影した固定カメラ４の位置から予め設定したプリセット位置（現実の物理空間上の空間座標）を目標位置として設定してもよい。
なお、固定カメラ４の位置、撮影条件、撮影範囲、プリセット位置などの情報は、特許請求の範囲の「設置情報」の一例である。
また、目標位置設定部２４ｅは、追跡対象２００ａを撮影した固定カメラ４の撮影範囲を撮影できる複数の位置（現実の物理空間上の空間座標）のうち、所定の位置（例えば移動障害物が存在しない位置など）を目標位置として設定してもよい。また、目標位置設定部２４ｅは、追跡対象２００ａを撮影した固定カメラ４の位置から予め設定したプリセット位置（現実の物理空間上の空間座標）を目標位置として設定してもよい。
なお、固定カメラ４の位置、撮影条件、撮影範囲、プリセット位置などの情報は、特許請求の範囲の「設置情報」の一例である。
【0046】
出動制御部２４ｆは、目標位置設定部２４ｅが設定した目標位置まで自律飛行ロボット１を飛行させる出動制御を実行する。出動制御は、自律飛行ロボット１の現在位置から目標位置まで飛行経路を算出し、飛行経路に沿って自律飛行ロボット１を飛行させる制御である。出動制御は、特許請求の範囲の「第１飛行制御」の一例である。
例えば出動制御部２４ｆは、目標位置設定部２４ｅが設定した目標位置を管理装置３の飛行経路設定部３１ａに送信してよい。飛行経路設定部３１ａは自律飛行ロボット１の現在位置から目標位置まで飛行経路を算出して自律飛行ロボット１に送信してよい。
例えば出動制御部２４ｆは、目標位置設定部２４ｅが設定した目標位置を管理装置３の飛行経路設定部３１ａに送信してよい。飛行経路設定部３１ａは自律飛行ロボット１の現在位置から目標位置まで飛行経路を算出して自律飛行ロボット１に送信してよい。
【0047】
これに代えて出動制御部２４ｆが自律飛行ロボット１の現在位置から目標位置まで飛行経路を算出して自律飛行ロボット１に送信してもよい。自律飛行ロボット１の飛行制御部１３ｂは、飛行経路設定部３１ａや出動制御部２４ｆが算出した飛行経路に追従して移動するようモータ１５の回転速度を制御する。
なお、自律飛行ロボット１は、通常は格納庫（ドローンポート）の中に格納されていることが多いため、出動制御の開始時点における自律飛行ロボット１の現在位置（出動位置）は、出動位置は格納庫の設置位置となる。しかし、飛行途中に出動制御を開始した場合には、飛行途中の現在位置が出動位置となる。
なお、自律飛行ロボット１は、通常は格納庫（ドローンポート）の中に格納されていることが多いため、出動制御の開始時点における自律飛行ロボット１の現在位置（出動位置）は、出動位置は格納庫の設置位置となる。しかし、飛行途中に出動制御を開始した場合には、飛行途中の現在位置が出動位置となる。
【0048】
また例えば出動制御部２４ｆは、目標位置設定部２４ｅが設定した目標位置を自律飛行ロボット１の経路探索部１３ｃに送信してもよい。自律飛行ロボット１は、受信した目標位置の情報を目標位置情報１４ｃとして記憶する。経路探索部１３ｃは、自律飛行ロボット１の現在位置から目標位置まで障害物を回避しながら飛行する飛行経路を検索し、飛行制御部１３ｂは、経路探索部１３ｃが探索した飛行経路に沿って飛行するようにモータ１５の回転速度を制御する。
【0049】
画像認識部２４ｇは、自律飛行ロボット１の第２撮像装置１１が撮影した第２撮影画像に基づいて、自律飛行ロボット１が追跡すべき追跡対象の候補である追跡候補２００ａ～２００ｄを認識する。
選択受付部２４ｈは、画像認識部２４ｇが認識した追跡候補２００ａ～２００ｄの少なくとも一つを追跡対象としてオペレータ３００が選択する選択入力を受け付ける。
選択受付部２４ｈは、画像認識部２４ｇが認識した追跡候補２００ａ～２００ｄの少なくとも一つを追跡対象としてオペレータ３００が選択する選択入力を受け付ける。
【0050】
例えば自律飛行ロボット１が出動した場合に、画像出力部２４ｄは、自律飛行ロボット１から受信した第２撮影画像を表示部２１に出力してよい。オペレータ３００が第２撮影画像上の追跡候補２００ａ～２００ｄのいずれかの画像位置を指示する入力操作（例えばマウスクリックやキーボード操作など）を行うと、選択受付部２４ｈは、指示された画像位置に対応する追跡候補を選択する選択入力として受け付ける。
例えば選択受付部２４ｈは、画像認識部２４ｇが追跡候補２００ａ～２００ｄを認識した画像領域に、追跡候補２００ａ～２００ｄを追跡対象として選択可能であることを表す選択枠などのマークを表示してもよい。画像出力部２４ｄは、マークに対応する第２撮影画像上の画像位置を指示する入力操作を受け付けてよい。
例えば選択受付部２４ｈは、画像認識部２４ｇが追跡候補２００ａ～２００ｄを認識した画像領域に、追跡候補２００ａ～２００ｄを追跡対象として選択可能であることを表す選択枠などのマークを表示してもよい。画像出力部２４ｄは、マークに対応する第２撮影画像上の画像位置を指示する入力操作を受け付けてよい。
【0051】
なお、選択受付部２４ｈは、自律飛行ロボット１が目標位置に到着したときに撮影された第２撮影画像から認識された追跡候補を、オペレータ３００により選択可能とする（例えば選択枠などのマークを表示する）だけでなく、目標位置への到着する前に撮影された第２撮影画像から画像認識部２４ｇが認識した追跡候補を、オペレータ３００により選択可能としてもよい。また、目標位置への到着前後に関わらず、目標位置から所定範囲内の位置において第２撮影画像から画像認識部２４ｇが認識した追跡候補を、オペレータ３００により選択可能としてもよい。ここで所定範囲は、予め設定された固定値であってもよいし、追跡対象２００ａの移動速度や移動方向などに基づいて移動範囲を予測し、予測結果に基づいて動的に設定してもよい。これにより、自律飛行ロボット１が目標位置へ移動している間に、追跡対象２００ａが目標位置から離れても、目標位置付近において自律飛行ロボット１が撮影した第２撮影画像から追跡対象２００ａを選択することができる。
【0052】
追跡制御部２４ｉは、選択された追跡対象２００ａを追跡するように自律飛行ロボット１に飛行させる追跡制御を実行する。追跡制御は、追跡対象２００ａが第２撮影画像における画像中央に所定の大きさで撮影するように、自律飛行ロボット１を飛行させる制御である。追跡制御は、特許請求の範囲の「第２飛行制御」の一例である。
例えば、追跡制御部２４ｉは、第２撮影画像上で追跡対象２００ａを認識した画像位置と、自律飛行ロボット１の現在位置及び現在姿勢と、第２撮像装置１１の撮影条件とに基づいて、追跡対象２００ａの位置（現実の物理空間上の空間座標）を算出してよい。
例えば、追跡制御部２４ｉは、第２撮影画像上で追跡対象２００ａを認識した画像位置と、自律飛行ロボット１の現在位置及び現在姿勢と、第２撮像装置１１の撮影条件とに基づいて、追跡対象２００ａの位置（現実の物理空間上の空間座標）を算出してよい。
【0053】
追跡制御部２４ｉは、算出した追跡対象２００ａの位置に基づいて、追跡対象２００ａを第２撮影画像の画像中央に所定の大きさで撮影できる自律飛行ロボット１の位置（現実の物理空間上の空間座標）と姿勢を目標位置及び目標姿勢として算出してよい。追跡制御部２４ｉは、自律飛行ロボット１が目標位置まで飛行して目標姿勢となるように自律飛行ロボット１を制御する。
【0054】
例えば、追跡制御部２４ｉは、算出した目標位置を管理装置３の飛行経路設定部３１ａに送信してよい。飛行経路設定部３１ａは自律飛行ロボット１の現在位置から目標位置まで飛行経路を算出して自律飛行ロボット１に送信してよい。自律飛行ロボット１の飛行制御部１３ｂは、飛行経路設定部３１ａが算出した飛行経路に追従して移動するようモータ１５の回転速度を制御する。
【0055】
これに代えて追跡制御部２４ｉは、自律飛行ロボット１の現在位置から目標位置まで飛行経路を算出して自律飛行ロボット１に送信してもよく、算出した目標位置を自律飛行ロボット１の経路探索部１３ｃに送信してもよい。
さらに、追跡制御部２４ｉは、算出した目標姿勢を自律飛行ロボット１に送信してもよい。自律飛行ロボット１の飛行制御部１３ｂは、目標位置における自律飛行ロボット１の姿勢が目標姿勢となるようにモータ１５の回転速度を制御する。
さらに、追跡制御部２４ｉは、算出した目標姿勢を自律飛行ロボット１に送信してもよい。自律飛行ロボット１の飛行制御部１３ｂは、目標位置における自律飛行ロボット１の姿勢が目標姿勢となるようにモータ１５の回転速度を制御する。
【0056】
なお、選択受付部２４ｈは、第２撮影画像上で認識した追跡候補のうち、追跡対象として選択可能な追跡候補と選択できない追跡候補とを区別してよい。選択受付部２４ｈは、追跡対象として選択可能な追跡候補に対する選択入力のみを受け付け、選択できない追跡候補に対する選択入力を禁止してよい。
【0057】
例えば、目標位置設定部２４ｅは、画像認識処理により第１撮影画像にて追跡対象２００ａを認識して、第１撮影画像上の追跡対象２００ａの画像位置に対応する現実の物理空間上の空間座標を、初期位置として設定してよい。画像認識部２４ｇは、第１撮影画像上で認識した追跡対象２００ａの種別（例えば人物、車両、動物など）を画像認識処理により認識してよい。また、画像認識部２４ｇは、第２撮影画像上で認識した追跡候補２００ａ～２００ｄの種別（例えば人物、車両、動物など）を画像認識処理により認識してよい。以下の説明において、第１撮影画像上で認識した追跡対象２００ａの種別を「第１種別」と表記し、第２撮影画像上で認識した追跡候補２００ａ～２００ｄの種別を「第２種別」と表記することがある。
【0058】
選択受付部２４ｈは、追跡対象２００ａの第１種別（例えば人物）と等しい第２種別の追跡候補２００ａ～２００ｃを選択可能な追跡候補であると判定し、第１種別と異なる第２種別（例えば車両）の追跡候補２００ｄを選択できない追跡候補であると判定してよい。選択受付部２４ｈは、追跡対象２００ａの第１種別と等しい第２種別の追跡候補２００ａ～２００ｃのいずれかを選択する選択入力を受け付け、第１種別と異なる第２種別（例えば車両）の追跡候補２００ｄを選択する選択入力を禁止してよい。
【0059】
例えば画像出力部２４ｄは、第２撮影画像上で認識された追跡候補２００ａ～２００ｄのうち、追跡対象として選択可能な追跡候補２００ａ～２００ｃに対して選択可能であることを表す選択枠などのマークを第２撮影画像に付与して、表示部２１に監視画像として出力してもよい。画像出力部２４ｄは、特許請求の範囲に記載の「第１画像出力部」の一例である。
【0060】
図６は、表示部２１に表示される第２監視画像の第１例の模式図である。画像出力部２４ｄは、追跡候補２００ａ～２００ｄのうち、追跡対象として選択可能であることを表すマークＭａ～Ｍｃを、第２監視画像上の追跡候補２００ａ～２００ｃの画像位置に対応する位置に付与してよい。例えば画像出力部２４ｄは、追跡対象２００ａの第１種別（例えば人物）と等しい第２種別の追跡候補２００ａ～２００ｃに対して、選択可能であることを示すマークＭａ～Ｍｃを付与してよい。
【0061】
例えば、マークＭａ～Ｍｃは、追跡候補２００ａ～２００ｃを囲む選択枠でもよく、追跡候補２００ａ～２００ｃの画像位置の付近に付与される絵や図形、文字、記号などであってもよい。
選択受付部２４ｈは、マークＭａ～Ｍｃに対応する第２撮影画像上の画像位置に対するオペレータ３００の操作を前記選択入力として受け付ける。
選択受付部２４ｈは、マークＭａ～Ｍｃに対応する第２撮影画像上の画像位置に対するオペレータ３００の操作を前記選択入力として受け付ける。
【0062】
例えば選択受付部２４ｈは、マークＭａ～Ｍｃの画像位置や、マークＭａ～Ｍｃ付近の画像位置を指示する入力操作（例えばマウスクリックやキーボード操作など）を、マークＭａ～Ｍｃがそれぞれ付された追跡候補２００ａ～２００ｃを選択する選択入力として受け付けてよい。例えばマークＭａ～Ｍｃが追跡候補２００ａ～２００ｃを囲う選択枠である場合には、選択枠や選択枠内の画像位置を指示する入力操作を、追跡候補２００ａ～２００ｃを選択する選択入力として受け付けてよい。なお、第２監視画像上における追跡候補２００ａ～２００ｃのサイズが小さい場合や、追跡候補２００ａ～２００ｃの移動速度が大きいは、選択枠や選択枠内の画像位置を指示入力しにくい場合がある。そのため、選択枠の外の画像位置を指示する入力操作を、追跡候補２００ａ～２００ｃを選択する選択入力として受け付けてもよい。この場合、指示された画像位置から最も近い選択枠に対応する追跡候補２００ａが選択されたものとして判定される。
【0063】
また例えば画像出力部２４ｄは、追跡対象として選択できない追跡候補２００ｄに対して、マークＭａ～Ｍｃと異なる表示様態（例えば色、明度、形状など）のマークを付与した監視画像を表示部２１に出力してもよい。例えば画像出力部２４ｄは、追跡対象２００ａの第１種別と異なる第２種別の追跡候補２００ｄに対して、マークＭａ～Ｍｃと異なる表示様態のマークを付与してもよい。
選択受付部２４ｈは、追跡対象として選択できない追跡候補２００ｄに対して付与したマークに対する画像位置を指示するオペレータ３００の入力操作を禁止してよい。
選択受付部２４ｈは、追跡対象として選択できない追跡候補２００ｄに対して付与したマークに対する画像位置を指示するオペレータ３００の入力操作を禁止してよい。
【0064】
また画像認識部２４ｇは、第１撮影画像上で認識した追跡対象２００ａの画像特徴と、第２撮影画像上で認識した追跡候補２００ａ～２００ｄの画像特徴を抽出してもよい。
画像認識部２４ｇは、追跡対象２００ａの画像特徴と追跡候補２００ａ～２００ｄの画像特徴とを比較してもよい。例えば画像認識部２４ｇは、追跡対象２００ａの画像特徴と追跡候補２００ａ～２００ｄの画像特徴の類似度を求めてもよい。
画像認識部２４ｇは、追跡対象２００ａの画像特徴と追跡候補２００ａ～２００ｄの画像特徴とを比較してもよい。例えば画像認識部２４ｇは、追跡対象２００ａの画像特徴と追跡候補２００ａ～２００ｄの画像特徴の類似度を求めてもよい。
【0065】
例えば画像認識部２４ｇは、画像特徴の類似度として、追跡対象２００ａ及び追跡候補２００ａ～２００ｄの色、テクスチャ、位置、移動特性（速度や方向）や、追跡対象２００ａ及び追跡候補２００ａ～２００ｄの背景の特徴の類似度を求めてもよい。画像認識部２４ｇは、追跡対象として選択可能な追跡候補２００ａ～２００ｃの画像特徴のみを抽出して追跡対象２００ａの画像特徴と比較してもよい。
【0066】
画像出力部２４ｄは、画像認識部２４ｇによる画像特徴の比較に応じて、追跡対象として選択可能な追跡候補２００ａ～２００ｃに付与するマークＭａ～Ｍｃの表示様態を設定してもよい。
図７は、表示部２１に表示される第２監視画像の第２例の模式図である。第２撮影画像上の追跡候補２００ａ～２００ｃには選択可能であることを表すマークＭａ～Ｍｃが付与されている。マークＭａ～Ｍｃの表示様態は、第１撮影画像上の追跡対象２００ａの画像特徴と第２撮影画像上の追跡候補２００ａ～２００ｃの画像特徴との間の類似度に応じて異なる表示態様に設定されている。
図７は、表示部２１に表示される第２監視画像の第２例の模式図である。第２撮影画像上の追跡候補２００ａ～２００ｃには選択可能であることを表すマークＭａ～Ｍｃが付与されている。マークＭａ～Ｍｃの表示様態は、第１撮影画像上の追跡対象２００ａの画像特徴と第２撮影画像上の追跡候補２００ａ～２００ｃの画像特徴との間の類似度に応じて異なる表示態様に設定されている。
【0067】
例えば、類似度が高い追跡候補２００ａ～２００ｃに付与するマークＭａ～Ｍｃほど、より強調して表示してよい。例えば、背景画像に対するマークコントラストを大きくしてもよく、マークの線を太くしてもよく、最も類似度が高い追跡候補に付与するマークや、閾値以上の類似度の追跡候補に付与するマークを点滅させてもよい。
【0068】
さらに、目標位置設定部２４ｅが設定した目標位置に到着した後の自律飛行ロボット１の位置を、画像認識部２４ｇによる画像特徴の比較結果に応じて調整する調整制御を実行してよい。
例えば調整制御は、画像認識部２４ｇによる画像特徴の比較結果に応じて、第１撮影画像上の追跡対象２００ａの画像特徴と最も類似する画像特徴を有する追跡候補を、第２撮影画像の画像中央に所定の大きさで撮影できるように自律飛行ロボット１を飛行させる制御であってよい。
例えば調整制御は、画像認識部２４ｇによる画像特徴の比較結果に応じて、第１撮影画像上の追跡対象２００ａの画像特徴と最も類似する画像特徴を有する追跡候補を、第２撮影画像の画像中央に所定の大きさで撮影できるように自律飛行ロボット１を飛行させる制御であってよい。
【0069】
図５の調整制御部２４ｊは、目標位置設定部２４ｅが設定した目標位置に自律飛行ロボット１が到着した後に、第２の目標位置と第２の目標姿勢を設定してよい。
例えば調整制御部２４ｊは、第１撮影画像上の追跡対象２００ａの画像特徴と最も類似する画像特徴を有する追跡候補を、第２撮影画像の画像中央に所定の大きさで撮影できる自律飛行ロボット１の位置（現実の物理空間上の空間座標）と姿勢を、第２の目標位置及び目標姿勢として算出してよい。
例えば調整制御部２４ｊは、第１撮影画像上の追跡対象２００ａの画像特徴と最も類似する画像特徴を有する追跡候補を、第２撮影画像の画像中央に所定の大きさで撮影できる自律飛行ロボット１の位置（現実の物理空間上の空間座標）と姿勢を、第２の目標位置及び目標姿勢として算出してよい。
【0070】
調整制御部２４ｊは、自律飛行ロボット１が第２の目標位置まで飛行して目標姿勢となるように自律飛行ロボット１を制御する。
例えば、調整制御部２４ｊは、算出した第２の目標位置を管理装置３の飛行経路設定部３１ａに送信してよい。飛行経路設定部３１ａは自律飛行ロボット１の現在位置から第２の目標位置まで飛行経路を算出して自律飛行ロボット１に送信してよい。自律飛行ロボット１の飛行制御部１３ｂは、飛行経路設定部３１ａが算出した飛行経路に追従して移動するようモータ１５の回転速度を制御する。
例えば、調整制御部２４ｊは、算出した第２の目標位置を管理装置３の飛行経路設定部３１ａに送信してよい。飛行経路設定部３１ａは自律飛行ロボット１の現在位置から第２の目標位置まで飛行経路を算出して自律飛行ロボット１に送信してよい。自律飛行ロボット１の飛行制御部１３ｂは、飛行経路設定部３１ａが算出した飛行経路に追従して移動するようモータ１５の回転速度を制御する。
【0071】
これに代えて調整制御部２４ｊは、自律飛行ロボット１の現在位置から第２の目標位置まで飛行経路を算出して自律飛行ロボット１に送信してもよく、算出した第２の目標位置を自律飛行ロボット１の経路探索部１３ｃに送信してもよい。
さらに、調整制御部２４ｊは、算出した第２の目標姿勢を自律飛行ロボット１に送信してもよい。自律飛行ロボット１の飛行制御部１３ｂは、第２の目標位置における自律飛行ロボット１の姿勢が第２の目標姿勢となるようにモータ１５の回転速度を制御する。
さらに、調整制御部２４ｊは、算出した第２の目標姿勢を自律飛行ロボット１に送信してもよい。自律飛行ロボット１の飛行制御部１３ｂは、第２の目標位置における自律飛行ロボット１の姿勢が第２の目標姿勢となるようにモータ１５の回転速度を制御する。
【0072】
画像出力部２４ｄは、画像認識部２４ｇが認識した追跡候補の画像領域を第２撮影画像から切り出して、切り出した追跡候補の拡大画像を表示部２１に出力してもよい。画像出力部２４ｄは、特許請求の範囲に記載の「第２画像出力部」の一例である。
図８（ａ）は、操作端末２の表示部２１に表示される追跡候補２００ａ～２００ｃの拡大画像の第１例の模式図である。表示部２１は複数の表示画面４０及び４１を備えてもよい。
図８（ａ）は、操作端末２の表示部２１に表示される追跡候補２００ａ～２００ｃの拡大画像の第１例の模式図である。表示部２１は複数の表示画面４０及び４１を備えてもよい。
【0073】
画像出力部２４ｄは、一方の表示画面４０に第２撮影画像を表示し、表示画面４０とは異なる表示画面４１に追跡候補２００ａ～２００ｃの拡大画像４２を表示してよい。
図８（ｂ）は、操作端末２の表示部２１に表示される追跡候補２００ａ～２００ｃの拡大画像の第２例の模式図である。画像出力部２４ｄは、単一の表示画面４０に、第２撮影画像と追跡候補２００ａ～２００ｃの拡大画像４２を表示してもよい。
図８（ｂ）は、操作端末２の表示部２１に表示される追跡候補２００ａ～２００ｃの拡大画像の第２例の模式図である。画像出力部２４ｄは、単一の表示画面４０に、第２撮影画像と追跡候補２００ａ～２００ｃの拡大画像４２を表示してもよい。
【0074】
図８（ａ）及び図８（ｂ）の例において、画像出力部２４ｄは、画像認識部２４ｇが算出した類似度が高い順に、追跡候補２００ａ～２００ｃの拡大画像４２の配置順序を決定してもよい。
また、画像出力部２４ｄは、追跡対象として選択可能であることを表すマークを拡大画像４２にも付与してもよい。
また、画像出力部２４ｄは、追跡対象として選択可能であることを表すマークを拡大画像４２にも付与してもよい。
【0075】
画像出力部２４ｄは、画像認識部２４ｇが算出した類似度に応じて第２撮影画像上の追跡候補２００ａ～２００ｃに付与するマークＭａ～Ｍｃの表示様態を決定する場合、第２撮影画像に付与するマークＭａ～Ｍｃと、追跡候補２００ａ～２００ｃの拡大画像４２に付与するそれぞれマークとを一致されてもよい。
また選択受付部２４ｈは、追跡候補２００ａ～２００ｃの拡大画像４２のいずれかの画像位置を指示するオペレータ３００の入力操作（例えばマウスクリックやキーボード操作など）を、追跡候補２００ａ～２００ｃのいずれかを選択する選択入力として受け付けてもよい。
また選択受付部２４ｈは、追跡候補２００ａ～２００ｃの拡大画像４２のいずれかの画像位置を指示するオペレータ３００の入力操作（例えばマウスクリックやキーボード操作など）を、追跡候補２００ａ～２００ｃのいずれかを選択する選択入力として受け付けてもよい。
【0076】
図８（ｃ）は、操作端末２の表示部２１に表示される追跡候補２００ａ～２００ｃの拡大画像の第３例の模式図である。画像出力部２４ｄは、第１撮影画像と第２撮影画像と追跡候補２００ａ～２００ｃの拡大画像４２とを単一の表示画面４０に表示してもよい。または、画像出力部２４ｄは図８（ａ）に示す表示画面４１に、第１撮影画像と追跡候補２００ａ～２００ｃの拡大画像４２とを同時に表示してもよい。または、画像出力部２４ｄは、第１撮影画像の追跡対象２００ａを切り出した拡大画像と第２撮影画像と追跡候補２００ａ～２００ｃの拡大画像４２とを単一の表示画面４０に表示してもよい。
【0077】
なお、上記説明において操作端末２により実行される自律飛行ロボット１の出動制御、追跡制御、及び調整制御のための処理の一部又は全部を、自律飛行ロボット１や管理装置３が実行してもよい。
例えば、操作端末２の画像出力部２４ｄ、目標位置設定部２４ｅ、出動制御部２４ｆ、画像認識部２４ｇ、選択受付部２４ｈ、追跡制御部２４ｉ、調整制御部２４ｊの機能の一部又は全てを、自律飛行ロボット１の制御部１３又は管理装置３の制御部３１が実行してもよい。
例えば、操作端末２の画像出力部２４ｄ、目標位置設定部２４ｅ、出動制御部２４ｆ、画像認識部２４ｇ、選択受付部２４ｈ、追跡制御部２４ｉ、調整制御部２４ｊの機能の一部又は全てを、自律飛行ロボット１の制御部１３又は管理装置３の制御部３１が実行してもよい。
【0078】
すなわち、自律飛行ロボット１の出動制御、追跡制御、及び調整制御のための処理の一部又は全部を、自律飛行ロボット１と、操作端末２と、管理装置３が分散して実行してもよく、自律飛行ロボット１の通信部１２と、操作端末２の通信部２０と、管理装置３の通信部３０は、処理に必要な情報を互いに送受信してもよい。
【0079】
（動作）
図９は、実施形態の飛行制御方法の一例のフローチャートである。
ステップＳ１において操作端末２の撮影画像受信部２４ｃは、監視領域Ｒに設置された固定カメラ４から第１撮影画像を受信する。
ステップＳ２において画像出力部２４ｄは、第１撮影画像を表示部２１に出力する。
図９は、実施形態の飛行制御方法の一例のフローチャートである。
ステップＳ１において操作端末２の撮影画像受信部２４ｃは、監視領域Ｒに設置された固定カメラ４から第１撮影画像を受信する。
ステップＳ２において画像出力部２４ｄは、第１撮影画像を表示部２１に出力する。
【0080】
ステップＳ３では、第１撮影画像に基づいて自律飛行ロボット１を出動させる目標位置を設定する。例えば目標位置設定部２４ｅは、オペレータ３００が第１撮影画像上の追跡対象の位置を指示する入力操作に基づいて目標位置を設定してもよく、画像認識処理によって第１撮影画像上の追跡対象の画像位置を認識して目標位置に設定してもよい。
ステップＳ４において出動制御部２４ｆは、目標位置設定部２４ｅが設定した目標位置まで自律飛行ロボット１を飛行させる出動制御を実行する。
ステップＳ４において出動制御部２４ｆは、目標位置設定部２４ｅが設定した目標位置まで自律飛行ロボット１を飛行させる出動制御を実行する。
【0081】
ステップＳ５において撮影画像受信部２４ｃは、自律飛行ロボット１が撮影した第２撮影画像を受信する。
ステップＳ６において画像認識部２４ｇは、第２撮影画像に基づいて、自律飛行ロボット１が追跡すべき追跡候補を認識する。
ステップＳ６において画像認識部２４ｇは、第２撮影画像に基づいて、自律飛行ロボット１が追跡すべき追跡候補を認識する。
【0082】
ステップＳ７において選択受付部２４ｈは、画像認識部２４ｇが認識した追跡候補の少なくとも一つを追跡対象としてオペレータ３００が選択する選択入力を受け付ける。
ステップＳ８において追跡制御部２４ｉは、選択された追跡対象を追跡するように自律飛行ロボット１に飛行させる追跡制御を実行する。
その後に処理は終了する。
ステップＳ８において追跡制御部２４ｉは、選択された追跡対象を追跡するように自律飛行ロボット１に飛行させる追跡制御を実行する。
その後に処理は終了する。
【0083】
（実施形態の効果）
（１）飛行ロボット制御システム１００は、監視領域に設置された固定カメラ４が撮影した第１撮影画像または固定カメラ４の設置情報に基づいて目標位置を設定する目標位置設定部２４ｅと、目標位置まで自律飛行ロボット１を飛行させる第１飛行制御を実行する出動制御部２４ｆと、自律飛行ロボット１が備える第２撮像装置１１が撮影した第２撮影画像に基づいて追跡候補を認識する画像認識部２４ｇと、目標位置付近において、画像認識部２４ｇが認識した追跡候補の少なくとも一つを追跡対象としてオペレータが選択する選択入力を受け付ける選択受付部２４ｈと、選択された追跡対象を追跡するように自律飛行ロボット１に飛行させる第２飛行制御を実行する追跡制御部２４ｉと、を備える。
（１）飛行ロボット制御システム１００は、監視領域に設置された固定カメラ４が撮影した第１撮影画像または固定カメラ４の設置情報に基づいて目標位置を設定する目標位置設定部２４ｅと、目標位置まで自律飛行ロボット１を飛行させる第１飛行制御を実行する出動制御部２４ｆと、自律飛行ロボット１が備える第２撮像装置１１が撮影した第２撮影画像に基づいて追跡候補を認識する画像認識部２４ｇと、目標位置付近において、画像認識部２４ｇが認識した追跡候補の少なくとも一つを追跡対象としてオペレータが選択する選択入力を受け付ける選択受付部２４ｈと、選択された追跡対象を追跡するように自律飛行ロボット１に飛行させる第２飛行制御を実行する追跡制御部２４ｉと、を備える。
【0084】
このように、自律飛行ロボット１が撮影した第２撮影画像で認識された追跡候補のうちどれを追跡対象２００ａとすべきかを、人間であるオペレータが選択することにより、自律飛行ロボット１が誤った対象を追跡することを抑制できる。
【0085】
（２）選択受付部２４ｈｇが受け付ける選択入力により選択される追跡候補は、自律飛行ロボット１が目標位置へ到着する前に画像認識部２４ｇが認識した追跡候補を含んでもよい。また、選択受付部２４ｈｇが受け付ける選択入力により選択される追跡候補は、目標位置から所定範囲内の位置において自律飛行ロボット１が撮影した第２撮影画像について画像認識部２４ｇが認識した追跡候補を含んでもよい。
これにより、自律飛行ロボット１が目標位置へ移動している間に追跡対象が目標位置の近くから離れても、移動途中の自律飛行ロボット１が撮影した第２撮影画像から追跡対象を選択することができる。
これにより、自律飛行ロボット１が目標位置へ移動している間に追跡対象が目標位置の近くから離れても、移動途中の自律飛行ロボット１が撮影した第２撮影画像から追跡対象を選択することができる。
【0086】
（３）目標位置設定部２４ｅは、第１撮影画像にて認識した対象物の位置に基づいて目標位置を設定し、画像認識部２４ｇは、対象物の種別である第１種別と、追跡候補の種別である第２種別と、を認識し、選択受付部２４ｈは、第１種別と等しい第２種別の追跡候補を選択する選択入力を受け付けてもよい。
これにより、第１撮影画像にて認識した対象物と異なる追跡候補を追跡対象として選択するのを防止できる。また、第２撮影画像上で追跡候補を選択するオペレータの労力を軽減できる。
これにより、第１撮影画像にて認識した対象物と異なる追跡候補を追跡対象として選択するのを防止できる。また、第２撮影画像上で追跡候補を選択するオペレータの労力を軽減できる。
【0087】
（４）画像出力部２４ｄは、第２撮影画像上の追跡候補に対して選択可能であることを表すマークを付した監視画像を表示部２１に出力してもよい。選択受付部２４ｈは、マークに対応する第２撮影画像上の画像位置に対するオペレータの操作を選択入力として受け付けてもよい。
これにより、第２撮影画像上で追跡候補を選択するオペレータの労力を軽減できる。
これにより、第２撮影画像上で追跡候補を選択するオペレータの労力を軽減できる。
【0088】
（５）画像認識部２４ｇは、第１撮影画像にて認識した対象物の画像特徴と、第２撮影画像にて認識した追跡候補の画像特徴と、を比較してもよい。画像出力部２４ｄは、画像認識部２４ｇによる比較結果に応じてマークの表示様態を設定してもよい。
これにより、第１撮影画像にて認識した対象物に類似する追跡候補に対して、より目立つマークを付与できる。
これにより、第１撮影画像にて認識した対象物に類似する追跡候補に対して、より目立つマークを付与できる。
【0089】
（６）調整制御部２４ｊは、目標位置設定部２４ｅが設定した目標位置に自律飛行ロボット１が到着した後に第２の目標位置を設定して、自律飛行ロボット１を第２の目標位置まで飛行させてもよい。画像認識部２４ｇは、第１撮影画像にて認識した対象物の画像特徴と、第２撮影画像にて認識した複数の追跡候補の画像特徴と、を各々比較してもよい。調整制御部２４ｊは、画像認識部２４ｇによる画像特徴の比較結果に応じて第２の目標位置を設定してよい。
これにより、第１撮影画像にて認識した対象物に類似する追跡候補を撮影しやすい位置に自律飛行ロボット１を飛行させることができる。
（７）調整制御部２４ｊは、画像特徴が最も類似する追跡候補が第２撮影画像における画像中央に撮影されるように第２の目標位置を設定してよい。これより、第１撮影画像にて認識した対象物に類似する追跡候補を観察し易い画像を撮影できる位置に自律飛行ロボット１を飛行させることができる。
これにより、第１撮影画像にて認識した対象物に類似する追跡候補を撮影しやすい位置に自律飛行ロボット１を飛行させることができる。
（７）調整制御部２４ｊは、画像特徴が最も類似する追跡候補が第２撮影画像における画像中央に撮影されるように第２の目標位置を設定してよい。これより、第１撮影画像にて認識した対象物に類似する追跡候補を観察し易い画像を撮影できる位置に自律飛行ロボット１を飛行させることができる。
【0090】
（８）追跡制御部２４ｉは、第２飛行制御として、追跡対象が第２撮影画像における画像中央に撮影されるように自律飛行ロボット１の飛行を制御してもよい。
これにより、第２撮影画像に基づく追跡対象の監視が容易になる。
（９）画像出力部２４ｄは、第２撮影画像から追跡候補の画像領域を切り出した拡大画像を表示部２１に出力してもよい。
これによりオペレータは、第２撮影画像から認識した追跡候補を追跡対象として判定し易くなる。
これにより、第２撮影画像に基づく追跡対象の監視が容易になる。
（９）画像出力部２４ｄは、第２撮影画像から追跡候補の画像領域を切り出した拡大画像を表示部２１に出力してもよい。
これによりオペレータは、第２撮影画像から認識した追跡候補を追跡対象として判定し易くなる。
【符号の説明】
【0091】
１…自律飛行ロボット、２…操作端末、３…管理装置、４…固定カメラ、１０…位置・姿勢センサ、１１…第２撮像装置、１２、２０、３０…通信部、１３、２４、３１…制御部、１３ａ…位置・姿勢算出部、１３ｂ…飛行制御部、１３ｃ…経路探索部、１３ｄ…飛行情報送信部、１３ｅ…撮影画像送信部、１４、２５、３２…記憶部、１４ａ…位置・姿勢情報、１４ｂ、３２ｂ…経路情報、１４ｃ…目標位置情報、１５…モータ、１６…ロータ、２１…表示部、２２…操作部、２４ａ…制御情報生成部、２４ｂ、３１ｂ…飛行情報取得部、２４ｃ…撮影画像受信部、２４ｄ…画像出力部、２４ｅ…目標位置設定部、２４ｆ…出動制御部、２４ｇ…画像認識部、２４ｈ…選択受付部、２４ｉ…追跡制御部、２４ｊ…調整制御部、２５ａ、３２ａ…地図情報、２５ｂ、３２ｃ…飛行情報、３１ａ…飛行経路設定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】