IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ セコム株式会社の特許一覧

特開2024-135384飛行ロボット制御システム及び飛行ロボット制御方法
<>
  • 特開-飛行ロボット制御システム及び飛行ロボット制御方法 図1
  • 特開-飛行ロボット制御システム及び飛行ロボット制御方法 図2
  • 特開-飛行ロボット制御システム及び飛行ロボット制御方法 図3
  • 特開-飛行ロボット制御システム及び飛行ロボット制御方法 図4
  • 特開-飛行ロボット制御システム及び飛行ロボット制御方法 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024135384
(43)【公開日】2024-10-04
(54)【発明の名称】飛行ロボット制御システム及び飛行ロボット制御方法
(51)【国際特許分類】
   G05D 1/46 20240101AFI20240927BHJP
   G08G 5/00 20060101ALI20240927BHJP
   B64U 10/13 20230101ALI20240927BHJP
   B64U 10/14 20230101ALI20240927BHJP
   B64U 10/17 20230101ALI20240927BHJP
   B64U 50/19 20230101ALI20240927BHJP
   B64U 20/87 20230101ALI20240927BHJP
   G06Q 50/10 20120101ALI20240927BHJP
   G05D 1/00 20240101ALI20240927BHJP
   B64U 101/30 20230101ALN20240927BHJP
【FI】
G05D1/10
G08G5/00 A
B64U10/13
B64U10/14
B64U10/17
B64U50/19
B64U20/87
G06Q50/10
G05D1/00 B
B64U101:30
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023046037
(22)【出願日】2023-03-22
(71)【出願人】
【識別番号】000108085
【氏名又は名称】セコム株式会社
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100180806
【弁理士】
【氏名又は名称】三浦 剛
(72)【発明者】
【氏名】田中 将弘
(72)【発明者】
【氏名】稲垣 浩
(72)【発明者】
【氏名】光信 拓也
(72)【発明者】
【氏名】阿部 陽介
(72)【発明者】
【氏名】澤井 庸平
(72)【発明者】
【氏名】鈴木 大貴
(72)【発明者】
【氏名】浜 慶吾
【テーマコード(参考)】
5H181
5H301
5L049
5L050
【Fターム(参考)】
5H181AA26
5H181BB04
5H181BB05
5H181BB13
5H181CC02
5H181CC03
5H181CC04
5H181CC14
5H181CC19
5H181CC27
5H181FF04
5H181FF10
5H181FF13
5H181FF22
5H181FF27
5H181FF33
5H181LL06
5H181LL09
5H181MC19
5H181MC24
5H181MC27
5H301AA06
5H301AA10
5H301BB10
5H301CC04
5H301CC07
5H301DD06
5H301DD07
5H301DD17
5H301GG07
5H301GG09
5H301GG17
5H301KK02
5H301KK03
5H301KK08
5H301KK18
5H301KK19
5L049CC11
5L050CC11
(57)【要約】
【課題】自律して飛行する飛行ロボットに対する、操作装置を用いた手動操作の可能時間を適切に通知することができる飛行ロボット制御システム及び飛行ロボット制御方法を提供する。
【解決手段】飛行ロボット制御システムは、飛行ロボット及び操作装置を有し、飛行ロボットの飛行モードとして、飛行ロボットが自律して飛行する自律飛行モード、及び、操作装置を用いた手動操作に従って飛行する手動飛行モードのうちの何れかを設定するモード設定部と、飛行ロボットの実行中のタスクの完了までの残り時間と、実行中のタスクの次のタスクの開始までの猶予時間とを取得する取得部と、を有し、モード設定部は、残り時間及び猶予時間に基づいて、手動飛行モードによる手動操作可能時間を算出し、手動操作可能時間を出力する。
【選択図】図1
【特許請求の範囲】
【請求項1】
飛行ロボット及び操作装置を有する飛行ロボット制御システムであって、
前記飛行ロボットの飛行モードとして、前記飛行ロボットが自律して飛行する自律飛行モード、及び、前記操作装置を用いた手動操作に従って飛行する手動飛行モードのうちの何れかを設定するモード設定部と、
前記飛行ロボットの実行中のタスクの完了までの残り時間と、前記実行中のタスクの次のタスクの開始までの猶予時間とを取得する取得部と、を有し、
前記モード設定部は、前記残り時間及び前記猶予時間に基づいて、前記手動飛行モードによる手動操作可能時間を算出し、前記手動操作可能時間を出力する、
ことを特徴とする飛行ロボット制御システム。
【請求項2】
前記飛行モードの変更を受け付ける操作部をさらに有し、
前記モード設定部は、前記手動操作可能時間を操作者に報知するように出力する、請求項1に記載の飛行ロボット制御システム。
【請求項3】
前記モード設定部は、前記自律飛行モードから前記手動飛行モードへの前記飛行モードの変更の制限、又は、前記手動飛行モードにおける前記手動操作の一部の操作の制限を行う、請求項1に記載の飛行ロボット制御システム。
【請求項4】
前記モード設定部は、前記実行中のタスクが、巡回経路上で巡回飛行を行う巡回タスクである場合に、前記手動飛行モードに対して制限を行い、
前記取得部は、前記残り時間として、前記飛行ロボットの現在位置から前記巡回経路上の所定位置まで移動するのに要する時間を取得する、請求項1に記載の飛行ロボット制御システム。
【請求項5】
前記モード設定部は、前記猶予時間から前記残り時間を減算した時間に基づいて、前記手動飛行モードによる手動操作可能時間を算出する、請求項1~4の何れか一項に記載の飛行ロボット制御システム。
【請求項6】
前記モード設定部は、前記手動飛行モードを設定した場合、前記飛行ロボットの現在位置から、前記手動飛行モードを設定した時の前記飛行ロボットの位置まで移動するために要する時間に基づいて、前記手動操作可能時間を更新する、請求項1~4の何れか一項に記載の飛行ロボット制御システム。
【請求項7】
前記モード設定部は、前記手動操作可能時間が閾値以下になった場合、前記飛行ロボットを、前記手動飛行モードを設定した時の前記飛行ロボットの位置まで移動させ、前記実行中のタスクを再開させる、請求項1~4の何れか一項に記載の飛行ロボット制御システム。
【請求項8】
前記モード設定部は、前記次のタスクの実行タイミングを守る必要性に基づいて、前記猶予時間を補正する、請求項1~4の何れか一項に記載の飛行ロボット制御システム。
【請求項9】
前記モード設定部は、前記次のタスクを実行するために前記飛行ロボットのバッテリの交換が必要であるか否か、又は、前記飛行ロボットのバッテリの交換に要する交換時間に基づいて、前記猶予時間を補正する、請求項1~4の何れか一項に記載の飛行ロボット制御システム。
【請求項10】
コンピュータが、
飛行ロボットの飛行モードとして、前記飛行ロボットが自律して飛行する自律飛行モード、及び、操作装置を用いた手動操作に従って飛行する手動飛行モードのうちの何れかを設定し、
現在時刻から前記飛行ロボットの実行中のタスクの完了までの残り時間と、現在時刻から前記実行中のタスクの次のタスクの開始までの猶予時間とを取得することを含み、
前記設定において、前記残り時間及び前記猶予時間に基づいて、前記手動飛行モードによる手動操作可能時間を算出し、前記手動操作可能時間を出力する、
ことを特徴とする飛行ロボット制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、飛行ロボット及び操作装置を有する飛行ロボット制御システム及び飛行ロボット制御方法に関する。
【背景技術】
【0002】
近年、駅、商業施設、発電所等の施設の警備において、自律して飛行し且つ帰還、追跡、検知、移動、巡回等のタスクを実行する飛行ロボットが開発されている。このような飛行ロボットにおいて、特定の箇所を重点的に確認したい場合、又は、飛行ロボットが追跡対象を見失ってしまった場合等に、操作装置を用いた手動操作によって飛行ロボットを操作できることが望まれている。
【0003】
例えば、特許文献1には、自律的に飛行可能であり且つユーザの無線コントローラ装置等による操作によって制御可能な準自律的飛行可能な飛行ロボットが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2020-162438号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
自律して飛行する飛行ロボットに対して、複数のタスクを実行するようにスケジュールが設定されている場合がある。その場合、飛行ロボットに対して操作者が手動操作を自由に行うと、飛行ロボットが予定されていたタスクを実行できなくなる可能性がある。
【0006】
本発明の目的は、自律して飛行する飛行ロボットに対する、操作装置を用いた手動操作の可能時間を適切に通知することができる飛行ロボット制御システム及び飛行ロボット制御方法を提供することにある。
【課題を解決するための手段】
【0007】
かかる課題を解決するため本発明は、飛行ロボット及び操作装置を有する飛行ロボット制御システムであって、飛行ロボットの飛行モードとして、飛行ロボットが自律して飛行する自律飛行モード、及び、操作装置を用いた手動操作に従って飛行する手動飛行モードのうちの何れかを設定するモード設定部と、飛行ロボットの実行中のタスクの完了までの残り時間と、実行中のタスクの次のタスクの開始までの猶予時間とを取得する取得部と、を有し、モード設定部は、残り時間及び猶予時間に基づいて、手動飛行モードによる手動操作可能時間を算出し、手動操作可能時間を出力する飛行ロボット制御システムを提供する。
【0008】
この飛行ロボット制御システムにおいて、飛行モードの変更を受け付ける操作部をさらに有し、モード設定部は、手動操作可能時間を操作者に報知するように出力することが好適である。
【0009】
この飛行ロボット制御システムにおいて、モード設定部は、自律飛行モードから手動飛行モードへの飛行モードの変更の制限、又は、手動飛行モードにおける手動操作の一部の操作の制限を行うことが好適である。
【0010】
この飛行ロボット制御システムにおいて、モード設定部は、実行中のタスクが、巡回経路上で巡回飛行を行う巡回タスクである場合に、手動飛行モードに対して制限を行い、取得部は、残り時間として、飛行ロボットの現在位置から巡回経路上の所定位置まで移動するのに要する時間を取得することが好適である。
【0011】
この飛行ロボット制御システムにおいて、モード設定部は、猶予時間から残り時間を減算した時間に基づいて、手動飛行モードによる手動操作可能時間を算出することが好適である。
【0012】
この飛行ロボット制御システムにおいて、モード設定部は、手動飛行モードを設定した場合、飛行ロボットの現在位置から、手動飛行モードを設定した時の飛行ロボットの位置まで移動するために要する時間に基づいて、手動操作可能時間を更新することが好適である。
【0013】
この飛行ロボット制御システムにおいて、モード設定部は、手動操作可能時間が閾値以下になった場合、飛行ロボットを、手動飛行モードを設定した時の飛行ロボットの位置まで移動させ、実行中のタスクを再開させることが好適である。
【0014】
この飛行ロボット制御システムにおいて、モード設定部は、次のタスクの実行タイミングを守る必要性に基づいて、猶予時間を補正することが好適である。
【0015】
この飛行ロボット制御システムにおいて、モード設定部は、次のタスクを実行するために飛行ロボットのバッテリの交換が必要であるか否か、又は、飛行ロボットのバッテリの交換に要する交換時間に基づいて、猶予時間を補正することが好適である。
【0016】
かかる課題を解決するため本発明は、コンピュータが、飛行ロボットの飛行モードとして、飛行ロボットが自律して飛行する自律飛行モード、及び、操作装置を用いた手動操作に従って飛行する手動飛行モードのうちの何れかを設定し、現在時刻から飛行ロボットの実行中のタスクの完了までの残り時間と、現在時刻から実行中のタスクの次のタスクの開始までの猶予時間とを取得することを含み、設定において、残り時間及び猶予時間に基づいて、手動飛行モードによる手動操作可能時間を算出し、手動操作可能時間を出力する飛行ロボット制御方法を提供する。
【発明の効果】
【0017】
本発明に係る飛行ロボット制御システム及び飛行ロボット制御方法は、自律して飛行する飛行ロボットに対する、操作装置を用いた手動操作の可能時間を適切に通知することが可能となる。
【図面の簡単な説明】
【0018】
図1】監視エリアA1について説明するための模式図である。
図2】飛行ロボット制御システム1の全体システム構成を示す図である。
図3】管理テーブルのデータ構造の一例を示す図である。
図4】第1設定処理の動作の例を示すフローチャートである。
図5】第2設定処理の動作の例を示すフローチャートである。
【発明を実施するための形態】
【0019】
以下、実施形態に係る飛行ロボット制御システムについて図を参照しつつ説明する。
【0020】
図1は、実施形態に係る飛行ロボット制御システム1の監視エリアA1について説明するための模式図である。図1に示すように、飛行ロボット制御システム1は、飛行ロボット10、操作装置20、管理装置30、サーバS及び一又は複数の警備装置T等を有する。飛行ロボット制御システム1は、駅、商業施設、発電所等の施設に設定された監視エリアA1を監視及び警備する監視システムである。監視エリアA1は、ホーム、店舗、発電設備等の、一又は複数の監視対象物件Bを含む。
【0021】
サーバSは、監視エリアA1内又は監視エリアA1の外部に設置された防災センタC1の監視卓等に配置される。サーバSは、操作装置20及び/又は管理装置30から登録された各種設定を飛行ロボット10及び警備装置Tに設定するとともに、飛行ロボット10及び警備装置Tによる監視結果を収集して管理する。サーバSは、記憶部を有し、飛行ロボット10のスケジュールを管理するための管理テーブルを記憶する。管理テーブルの詳細については後述する。
【0022】
警備装置Tは、監視対象物件Bに設置され、所定のセンサ及び/又は固定カメラを有する。センサは、各物件のドアの開閉を検知するマグネットセンサもしくは人物の有無を検知する赤外線センサ等の人物の侵入を検知するためのセンサ、又は、熱センサもしくは煙センサ等の火災を検知するためのセンサ等を含む。警備装置Tは、センサ又は固定カメラにより人物の侵入又は火災の発生が検知された場合、異常が発生したことを示す異常の通知信号を、サーバSに送信し、サーバSを介して操作装置20及び/又は管理装置30に送信する。
【0023】
飛行ロボット10は、監視エリアA1内に設定された飛行可能エリアA2を飛行する装置である。飛行可能エリアA2は、例えば監視対象物件B及び離着陸地点(格納庫、ロボポート)Dを含むように設定される。飛行可能エリアA2には、飛行ロボット10が巡回する巡回ルートA3が設定される。図1に示す例では、巡回ルートA3は、離着陸地点Dからスタートし、監視対象物件Bの上空を通過して離着陸地点Dに戻るように設定されている。巡回ルートの開始位置と終了位置は、必ずしも同一でなくてもよい。また、巡回ルートA3は、離着陸地点Dから所定地点までの第1巡回ルートと、所定地点から離着陸地点Dまでの第2巡回ルートのように、複数の巡回ルートを含んでもよい。飛行ロボット10は、監視対象物件Bに設置されたセンサ等により不審者の侵入などの異常を検知した場合は、当該異常の原因を探るべく監視対象物件Bに向かうよう自律飛行することができる。
操作装置20は、監視エリアA1内又は監視エリアA1の周辺に設置された防災センタC1の監視卓等に配置される。操作装置20は、サーバSを介して飛行ロボット10に各種設定を登録するとともに、防災センタC1の管制員(操作者)による操作に従って飛行ロボット10を制御する。
管理装置30は、警備会社が運営する警備センタC2の監視卓等に設置される。管理装置30は、サーバSを介して飛行ロボット10に各種設定を登録するとともに、警備センタC2の管制員(操作者)による操作に従って飛行ロボット10を制御する。
【0024】
図2は、飛行ロボット制御システム1の全体システム構成を示す図である。
図2に示すように、飛行ロボット10、操作装置20、管理装置30、サーバS、警備装置Tは、イントラネット又はインターネット等の第1通信ネットワークN1を介して相互に接続される。飛行ロボット10及び操作装置20は、無線LAN、携帯電話ネットワーク等の無線通信ネットワークを介して第1通信ネットワークN1に接続される。また、管理装置30は、イントラネット又はインターネット等の第2通信ネットワークN2を介して第1通信ネットワークN1に接続される。
【0025】
飛行ロボット10は、自律的に飛行可能な無人の小型飛行体であり、例えば、クアッドロータ型又はシングルロータ型の小型無人ヘリコプタである。飛行ロボット10は、飛行モードとして、飛行ロボット10が自律して飛行する自律飛行モード、及び、操作装置20を用いた手動操作に従って飛行する手動飛行モードを有する。飛行ロボット10は、例えば、ドローン、マルチコプタ、UAV(Unmanned Aerial Vehicle)等である。飛行ロボット10は、位置・姿勢センサ11、撮像部12、モータ13、第1通信部14、第1記憶部15及び第1制御部16等を有する。
【0026】
位置・姿勢センサ11は、飛行ロボット10の現在位置および姿勢を取得する。位置・姿勢センサ11は、例えば、GNSS(Global Navigation Satellite System)等の航法衛星(人工衛星)から送信される電波(航法信号)を受信する受信機、加速度を計測する加速度センサ、方位を計測する電子コンパス、及び、角速度を計測するジャイロセンサを含む。受信機は、複数の航法衛星から送信される航法信号を受信して第1制御部16に出力する。加速度センサ、電子コンパス及びジャイロセンサは、計測した加速度、方位及び角速度を示す計測信号を第1制御部16に出力する。なお、位置・姿勢センサ11は、レーザスキャナ及び気圧センサ等の他の既知のセンサを用いて飛行ロボット10の現在位置を取得してもよい。また、位置・姿勢センサ11は、他の既知のセンサを用いて飛行ロボット10の姿勢を取得してもよい。
【0027】
撮像部12は、可視光カメラを備える。可視光カメラは、例えば、CCD素子又はC-MOS素子等、可視光に感度を有する光電変換素子と、その光電変換素子上に像を結像する結像光学系と、A/D変換器とを有する可視光カメラを備え、可視光に基づく撮像画像を生成して出力する。撮像部12は、所定のフレーム周期で撮像画像を順次生成し、第1制御部16に出力する。また、撮像部12は、熱画像を取得する熱画像カメラを備えてもよい。熱画像カメラは、例えば、物体からの電磁放射の2種類の波長の放射エネルギーを検出する2次元に配置されたセンサと、センサから出力された電気信号を増幅し、アナログ/デジタル(A/D)変換するA/D変換器とを有する。熱画像カメラは、2種類の放射エネルギー比によって求められた温度値に基づいて熱画像を生成し、所定のフレーム周期で第1制御部16に出力する。
【0028】
モータ13は、バッテリにより駆動される一又は複数(例えば四つ)のモータを含む。各モータの回転軸には、それぞれロータ(回転翼、プロペラ)が連結される。モータ13は、第1制御部16から駆動信号を受信し、受信した駆動信号に従って回転して駆動力を発生させ、各ロータを回転駆動する。飛行ロボット10は、一又は複数のロータが独立して回転することにより、任意方向の加速度を発生させることができ、機体の移動及び姿勢の調節を行うことができる。
【0029】
第1通信部14は、例えば無線信号を送受信するアンテナと、無線LAN等の無線通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インタフェース回路とを有し、アクセスポイントを介して第1通信ネットワークN1に接続する。または、第1通信部14は、例えばW-CDMA方式又はLTE方式等に準拠した通信インタフェース回路を有し、基地局及び移動体通信網等の通信ネットワークを介して第1通信ネットワークN1に接続する。第1通信部14は、第1通信ネットワークN1から受信したデータを第1制御部16へ出力し、第1制御部16から入力されたデータを第1通信ネットワークN1に送信する。
【0030】
第1記憶部15は、ROM、RAM等の半導体メモリ、磁気ディスク又はCD-ROM、DVD-ROM等の光ディスクドライブ及びその記録媒体を有する。第1記憶部15は、飛行ロボット10を制御するためのコンピュータプログラム及び各種データを記憶し、第1制御部16との間でこれらの情報を入出力する。コンピュータプログラムは、CD-ROM、DVD-ROM等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第1記憶部15にインストールされてもよい。
また、第1記憶部15は、データとして、位置・姿勢情報151及び経路情報152等を記憶する。位置・姿勢情報151は、位置・姿勢センサ11によって取得された各信号に基づいて検出された飛行ロボット100の現在位置及び現在姿勢を示す。経路情報152は、飛行ロボット10が移動する予定の飛行経路を示す情報であり、飛行経路上における座標列で示される。飛行経路上には、異常の有無を判定するための撮影位置を示す確認ポイントが設定されてもよい。経路情報152は、操作装置20及び/又は管理装置30からサーバSを介して設定される。また、位置・姿勢情報151に記憶された現在位置と現在姿勢、並びに、操作装置20及び/又は管理装置30にて設定された移動目標位置とに基づいて、現在位置から目標位置に至る移動経路を第1制御部16にて探索(算出)し、第1記憶部15に経路情報152として記憶してもよい。なお、経路情報152の探索のための計算は、飛行ロボット10の第1制御部16に限らず、操作装置20の第2制御部26、又は管理装置30の第3制御部36にて行ってもよい。
【0031】
第1制御部16は、CPU、MPU等のプロセッサと、ROM、RAM等のメモリと、その周辺回路とを有し、飛行ロボット10の各種信号処理を実行する。第1制御部16は、プロセッサ上で動作するプログラムの機能モジュールとして実装される飛行制御部161等を有する。なお、第1制御部16として、DSP、LSI、ASIC、FPGA等が用いられてもよい。
【0032】
飛行制御部161は、位置・姿勢センサ11の出力から3次元的な移動領域(例えば飛行空間)における飛行ロボット10の現在位置及び現在姿勢を算出し、位置・姿勢情報151として第1記憶部15に記憶する。飛行制御部161は、位置・姿勢センサ11から出力された航法信号から緯度・経度・高度を求め、予め記憶した変換規則を用いて移動領域の座標系における位置に変換して現在位置を求める。また、飛行制御部161は、位置・姿勢センサ11から出力された加速度センサ及びジャイロセンサの計測信号から、移動領域の座標系における現在姿勢を求める。飛行制御部161は、位置・姿勢センサ11から出力された電子コンパスの計測信号から、移動領域の座標系における方位を求め、他のセンサからの計測信号を更に用いて現在姿勢を算出してもよい。飛行制御部161は、現在位置及び/又は現在姿勢を算出するたびに、算出した現在位置及び/又は現在姿勢を、第1通信部14を介してサーバSに送信し、サーバSを介して操作装置20及び/又は管理装置30に送信する。また、飛行制御部161は、撮像部12が撮像画像を生成するたびに、生成した撮像画像を、第1通信部14を介してサーバSに送信し、サーバSを介して操作装置20及び/又は管理装置30に送信する。
また、飛行制御部161は、バッテリの残量を定期的に監視し、バッテリの残量を示す残量情報を、第1通信部14を介してサーバSに送信し、サーバSを介して操作装置20及び/又は管理装置30に送信する。
【0033】
飛行制御部161は、第1通信部14を介して操作装置20又は管理装置30から制御信号を受信し、受信した制御信号に従って、飛行ロボット10が、上昇、下降、方向転換(旋回)、前進及びホバリング(静止)等の飛行を行うようにモータ13を駆動制御する。制御信号において、飛行ロボット10が動作する飛行モードが指定される。飛行モードとして、自律飛行モード及び手動飛行モードの何れかが設定される。自律飛行モードが設定された場合、飛行ロボット10は、自己位置の算出、目標位置の算出、経路の算出、経路に沿った飛行、姿勢制御、通報等の予め定められた動作を、操作者による操作装置20を用いた操作を要することなく、自律的に実行する。即ち、自律飛行モードにおいて、飛行ロボット10は、複数のタスクのうちの何れかのタスクを実行する。飛行モードとして、自律飛行モードが設定される場合、制御信号において、飛行ロボット10に実行させるタスクが指定される。タスクは、飛行ロボット10が実行する処理を目的毎に分類したものである。タスクは、防災センタC1の管制員による操作装置20を用いた指示、警備センタC2の管制員による管理装置30を用いた指示、警備装置Tからの通知信号、又は、サーバSに予め設定されたタスクスケジュール等に従って設定される。タスクとして、帰還タスク、追跡タスク、検知移動タスク、指定地点移動タスク及び巡回タスク等のうちの何れかが設定される。タスクとして、点検タスク、救助タスク、配達タスク、測量タスク、農薬散布タスク等の警備以外を目的とするタスクが設定されてもよい。
【0034】
帰還タスクは、他のタスクの終了時もしくは中断時、又は、機体トラブル等の緊急時等において、管制員による帰還指示に従って離着陸地点Dまでの帰還経路を探索(算出)し、離着陸地点Dに自動的に着陸するタスクである。離着陸地点Dの位置情報は、予め第1記憶部15に記憶される。なお、帰還タスク(及び後述する巡回タスク)が設定される場合、制御信号には、離着陸地点Dの位置情報がさらに含まれてもよい。
追跡タスクは、飛行ロボット10により生成された撮像画像が表示された操作装置20及び/又は管理装置30を用いた管制員によるターゲット(人物、車等)の指定操作に従って、指定されたターゲットを追跡するように飛行するタスクである。追跡タスクが設定される場合、制御信号には、指定されたターゲットを示す識別情報がさらに含まれる。
検知移動タスクは、監視エリアA1に設けられた警備装置Tのセンサ又は固定カメラによって人物の侵入が検知された時、人物の侵入を検知したセンサ又は固定カメラの付近へ飛行(又は飛行を待機)し、異常発生箇所や異常発生原因を確認するタスクである。検知移動タスクが設定される場合、制御信号には、人物の侵入を検知したセンサ又は固定カメラの位置情報がさらに含まれる。
指定地点移動タスクは、防災センタC1の管制員により操作装置20を用いて指定された位置、又は、警備センタC2の管制員により管理装置30を用いて指定された位置まで飛行するタスクである。例えば、操作装置20又は管理装置30は地図を表示し、管制員は、地図上の位置を指定する。
【0035】
巡回タスクは、事前に設定された飛行経路(巡回経路)上で巡回飛行を行い、飛行経路上に設定された確認ポイントで撮影を実行し、確認ポイントにおける異常の有無を判定するタスクである。巡回タスクには、サブタスクとして、経路移動・撮影タスク及び着陸タスクが含まれる。経路移動・撮影タスクは、第1記憶部15に予め記憶された経路情報152に示される飛行経路に沿って自律移動するとともに、飛行経路上に確認ポイントが設定されている場合、確認ポイントでホバリングして撮像画像を生成(撮影)し、異常の有無を判定するタスクである。着陸タスクは、離着陸地点Dに着陸するまで高度を下げ、格納庫に収納されるように移動するタスクである。
飛行制御部161は、巡回タスクが設定された場合、まず経路移動・撮影タスクを実行する。飛行経路上に確認ポイントが設定されている場合、飛行制御部161は、確認ポイントで生成された撮像画像内で変化領域を検出する。飛行制御部161は、検出した変化領域の大きさが人物の大きさに相当する範囲内である場合、人物の侵入が発生したと判定し、人物の大きさに相当する変化領域が検出されない場合、人物の侵入が発生していないと判定する。また、飛行制御部161は、過去に確認ポイントで生成された撮像画像と、当該確認ポイントで現在撮影した撮像画像とを比較し、撮像画像内における変化領域に基づいて異常の有無を判定してもよい。例えば、飛行制御部161は、過去の撮像画像内にて撮影されていた所定の車両が、新たに撮影した撮像画像内に存在していない場合、異常として判定する。飛行制御部161は、離着陸地点Dに到達した時に着陸タスクを実行する。
【0036】
操作装置20は、例えばタブレットPC又はノートPC等である。操作装置20は、第2操作部21、第2表示部22、第2音声出力部23、第2通信部24、第2記憶部25及び第2制御部26等を有する。
【0037】
第2操作部21は、ボタン、タッチパネル、キーボード等の入力装置及び入力装置から信号を取得するインタフェース回路を有し、利用者による操作を受け付け、受け付けた操作に応じた信号を第2制御部26へ出力する。第2表示部22は、液晶ディスプレイ又は有機ELディスプレイ等であり、第2制御部26からの指示に従って画像、テキスト等の各情報を表示する。第2音声出力部23は、例えばスピーカ等であり、第2制御部26からの指示に従って音声を出力する。
【0038】
第2通信部24は、例えば無線信号を送受信するアンテナと、無線LAN等の無線通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インタフェース回路とを有し、アクセスポイントを介して第1通信ネットワークN1に接続する。または、第2通信部24は、例えばW-CDMA方式又はLTE方式等に準拠した通信インタフェース回路を有し、基地局及び移動体通信網等の通信ネットワークを介して第1通信ネットワークN1に接続する。または、第2通信部24は、例えばTCP/IP等に準拠した有線通信インタフェース回路を有し、第1通信ネットワークN1に接続する。第2通信部24は、第1通信ネットワークN1から受信したデータを第2制御部26へ出力し、第2制御部26から入力されたデータを第1通信ネットワークN1に送信する。
【0039】
第2記憶部25は、ROM、RAM等の半導体メモリ、磁気ディスク又はCD-ROM、DVD-ROM等の光ディスクドライブ及びその記録媒体を有する。第2記憶部25は、操作装置20を制御するためのコンピュータプログラム及び各種データを記憶し、第2制御部26との間でこれらの情報を入出力する。コンピュータプログラムは、CD-ROM、DVD-ROM等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第2記憶部25にインストールされてもよい。
また、第2記憶部25は、データとして、タスク情報251等を記憶する。タスク情報251は、飛行ロボット10の実行中のタスク及び次に実行されるタスクに関する情報である。
【0040】
第2制御部26は、CPU、MPU等のプロセッサと、ROM、RAM等のメモリと、その周辺回路とを有し、操作装置20の各種信号処理を実行する。第2制御部26は、プロセッサ上で動作するプログラムの機能モジュールとして実装される表示制御部261、モード設定部262、取得部263及び通知部264等を有する。なお、第2制御部26として、DSP、LSI、ASIC、FPGA等が用いられてもよい。
【0041】
表示制御部261は、第2通信部24を介してサーバSから、飛行ロボット10から送信された撮像画像と、飛行ロボット10の現在位置及び/又は現在姿勢とを定期的に受信する。表示制御部261は、受信した撮像画像、現在位置及び/又は現在姿勢を第2記憶部25に記憶するとともに第2表示部22に表示する。また、表示制御部261は、経路情報152を、第2通信部24を介してサーバSに送信し、サーバSを介して飛行ロボット10に登録する。また、表示制御部261は、飛行ロボット10の飛行モードが手動操作モードに設定されている場合、第2操作部21を用いて操作者から飛行ロボット10の手動操作を受け付ける。表示制御部261は、受け付けた手動操作に対応する操作信号を、第2通信部24を介してサーバSに送信し、サーバSを介して飛行ロボット10に送信することにより、飛行ロボット10の飛行を制御する。
モード設定部262は、飛行ロボット10の飛行モードとして、飛行ロボットが自律して飛行する自律飛行モード、及び、操作装置20を用いた手動操作に従って飛行する手動飛行モードのうちの何れかを設定する。また、モード設定部262は、飛行ロボット10が自律飛行モードで動作中に、手動飛行モードへの変更を操作者から指示された場合、手動飛行モードによる手動操作可能時間を算出する。モード設定部262は、算出した手動操作可能時間を飛行ロボット10の操作者に通知するとともに、手動操作可能時間に基づいて手動飛行モードに対して制限を行う。
取得部263は、後述する残り時間及び猶予時間等を取得する。
通知部264は、飛行ロボット10の操作者に、手動飛行モードに対する制限に関する警告を通知する。処理の詳細については後述する。
【0042】
管理装置30は、例えばパーソナルコンピュータ又はサーバ等である。管理装置30は、第3操作部31、第3表示部32、第3音声出力部33、第3通信部34、第3記憶部35及び第3制御部36等を有する。
【0043】
第3操作部31は、タッチパネル、キーボード等の入力装置及び入力装置から信号を取得するインタフェース回路を有し、利用者による操作を受け付け、受け付けた操作に応じた信号を第3制御部36へ出力する。第3表示部32は、液晶ディスプレイ又は有機ELディスプレイ等であり、第3制御部36からの指示に従って画像、テキスト等の各情報を表示する。第3音声出力部33は、例えばスピーカ等であり、第3制御部36からの指示に従って音声を出力する。
【0044】
第3通信部34は、例えばTCP/IP等に準拠した通信インタフェース回路を有し、第2通信ネットワークN2に接続する。または、第3通信部34は、例えば無線信号を送受信するアンテナと、無線LAN等の無線通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インタフェース回路とを有し、アクセスポイントを介して第2通信ネットワークN2に接続する。第3通信部34は、第2通信ネットワークN2から受信したデータを第3制御部36へ出力し、第3制御部36から入力されたデータを第2通信ネットワークN2に送信する。
【0045】
第3記憶部35は、ROM、RAM等の半導体メモリ、磁気ディスク又はCD-ROM、DVD-ROM等の光ディスクドライブ及びその記録媒体を有する。第3記憶部35は、管理装置30を制御するためのコンピュータプログラム及び各種データを記憶し、第3制御部36との間でこれらの情報を入出力する。コンピュータプログラムは、CD-ROM、DVD-ROM等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第3記憶部35にインストールされてもよい。
【0046】
第3制御部36は、CPU、MPU等のプロセッサと、ROM、RAM等のメモリと、その周辺回路とを有し、管理装置30の各種信号処理を実行する。第3制御部36は、プロセッサ上で動作するプログラムの機能モジュールとして実装される管理部361等を有する。なお、第3制御部36として、DSP、LSI、ASIC、FPGA等が用いられてもよい。
【0047】
管理部361は、第3通信部34を介してサーバSから、飛行ロボット10から送信された撮像画像と、飛行ロボット10の現在位置及び/又は現在姿勢とを定期的に受信する。管理部361は、受信した撮像画像、現在位置及び/又は現在姿勢を第3記憶部35に記憶するとともに第3表示部32に表示する。また、管理部361は、経路情報152を、第3通信部34を介してサーバSに送信し、サーバSを介して飛行ロボット10に登録する。
【0048】
図3は、管理テーブルのデータ構造の一例を示す図である。管理テーブルには、飛行ロボット10のスケジュール(飛行計画)が登録されている。図3に示すように、管理テーブルには、一又は複数のスケジュール毎に、開始時刻、開始位置、終了位置、タスク及び必要性等が設定されている。
開始時刻は、各スケジュールにおいて飛行ロボット10が、対応するタスクを開始する開始時刻である。
開始位置及び終了位置は、各スケジュールにおいて飛行ロボット10がタスクを実行する際の飛行ロボット10のスタート位置及びゴール位置である。
タスクは、各スケジュールにおいて飛行ロボット10が実行するタスク名またはタスク識別子である。各スケジュールで設定されるタスクとして、巡回タスク又は帰還タスクのように、予め定められた時刻に実行されるべきタスクが設定される。各スケジュールで設定されるタスクとして、点検タスク、配達タスク、測量タスク、農薬散布タスク等が設定されてもよい。
必要性は、各タスクの実行タイミングを守るべき度合いを示す。例えば、タスクが巡回タスクのように緊急性を要さない定期的に実行されるタスクである場合、タスク終了予定時刻から次のタスクの開始時刻までに一定時間以上の空き時間がある場合、又は、タスク遂行に必要な時間を短縮可能である場合(タスクの実行内容を省略できる場合やタスク実行速度を高くすることができる場合)等には、必要性は低い値に設定される。一方、タスクが実行された後に離着陸地点Dで飛行ロボット10のメンテナンスを行う必要がある場合、次のタスクの開始時刻までに時間的に余裕がない場合、又は、タスク遂行に必要な時間を短縮できない場合(タスクの内容を省略できない場合やタスク実行速度を高くすることができない場合)等には、必要性は高い値に設定される。
【0049】
上記したように、管理テーブルは、サーバSの記憶部に記憶される。管理テーブルに記憶される各情報は、操作装置20及び/又は管理装置30から登録される。管理テーブルは、サーバSから操作装置20に送信され、操作装置20の第2記憶部25にも記憶されてもよい。
【0050】
図4は、操作装置20による第1設定処理の動作の例を示すフローチャートである。第1設定処理は、操作者から飛行ロボット10の飛行モードの変更指示を受け付けた場合に、飛行ロボット10の飛行モードを設定するための処理である。このフローチャートは、予め第2記憶部25に記憶されているプログラムに基づいて、主に第2制御部26により、操作装置20の各要素と協働して実行される。
【0051】
まず、モード設定部262は、第2操作部21を用いて操作者から飛行ロボット10の飛行モードの変更指示を受け付けるまで待機する(ステップS101)。
飛行モードの変更指示を受け付けた場合、モード設定部262は、指示された、変更後の飛行モードが手動飛行モードであるか自律飛行モードであるかを判定する(ステップS102)。
変更後の飛行モードが自律飛行モードである場合、モード設定部262は、第2操作部21を用いて操作者からタスクの指定をさらに受け付ける。モード設定部262は、第1制御信号を、第2通信部24を介してサーバSに送信し、サーバSを介して飛行ロボット10に送信する。第1制御信号は、飛行モードを自律飛行モードに設定することを要求するための信号であり、第1制御信号には、モード設定部262が受け付けたモードとタスクが含まれる。これにより、モード設定部262は、飛行ロボット10の飛行モードとして、自律飛行モードを設定するとともに、複数のタスクの中から、飛行ロボット10に実行させるタスクを設定し(ステップS103)、ステップS101へ処理を戻す。
【0052】
一方、変更後の飛行モードが手動飛行モードである場合、取得部263は、タスク情報251を取得し、第2記憶部25に記憶する(ステップS104)。例えば、取得部263は、タスク情報251の取得を要求するためのタスク情報取得要求を、第2通信部24を介してサーバSへ送信する。サーバSは、操作装置20からの指示、管理装置30からの指示、警備装置Tからの通知信号又は管理テーブルに設定されたスケジュールに従って飛行ロボット10に設定した最新のタスクを飛行ロボット10の実行中のタスクとして特定する。また、サーバSは、管理テーブルを参照し、次に実行されるタスク、その開始時刻、開始位置及び必要性を特定する。サーバSは、飛行ロボット10の実行中のタスクと、次に実行されるタスク、その開始時刻、開始位置及び必要性とを示すタスク情報251を操作装置20に送信する。取得部263は、タスク情報251を、第2通信部24を介してサーバSから受信することにより取得する。
なお、飛行ロボット10にタスクを設定する装置が操作装置20のみである場合、取得部263は、ステップS103で設定したタスクを飛行ロボット10の実行中のタスクとして特定してもよい。また、第2記憶部25に管理テーブルが記憶されている場合、取得部263は、管理テーブルを参照し、次に実行されるタスク、その開始時刻、開始位置及び必要性を特定してもよい。
【0053】
次に、取得部263は、飛行ロボット10の実行中のタスクが、手動飛行モードに変更できる変更可能タスクであるか、手動飛行モードに変更できない変更不可タスクであるかを判定する(ステップS105)。
帰還タスクが設定されている場合、飛行ロボット10の機体トラブルが発生している可能性があり、飛行ロボット10は極めて緊急性が高い状態である可能性が高い。追跡タスクが設定されている場合、飛行ロボット10は、ターゲットを追跡しており、緊急性が高い状態である可能性が高い。ターゲットの追跡中に手動操作が実行された場合、ターゲットが飛行ロボット10の撮像範囲から外れてしまい、飛行ロボット10がターゲットを見失う可能性がある。検知移動タスクが設定されている場合、飛行ロボット10は、センサもしくは固定カメラによって検知されたターゲットを探索又は追跡しており、緊急性が高い状態である可能性が高い。また、飛行ロボット10が対象のセンサもしくは固定カメラ又は対象のセンサもしくは固定カメラに向かう経路から離れることは好ましくない。
一方、指定地点移動タスク又は巡回タスクが設定されている場合、飛行ロボット10は、緊急性が低い状態である可能性が高い。
そのため、指定地点移動タスク又は巡回タスクのように緊急性が低いタスク(優先して実行する必要性が低いタスク)は変更可能タスクに設定され、帰還タスク、追跡タスク又は検知移動タスクのように緊急性が高いタスク(優先して実行すべきタスク)は変更不可タスクに設定される。
なお、巡回タスク、帰還タスク又は指定地点移動タスクのようにタスクの終了位置が定まっているタスクは変更可能タスクに設定され、追跡タスク又は検知移動タスクのようにタスクの終了位置が変動し得るタスクは変更不可タスクに設定されてもよい。
実行中のタスクが変更不可タスクである場合、取得部263は、特に処理を実行せずに処理をステップS109へ移行する。
【0054】
一方、実行中のタスクが変更可能タスクである場合、取得部263は、現在時刻から飛行ロボット10の実行中のタスクの完了までに要する残り時間と、現在時刻から実行中のタスクの次のタスクの開始までの猶予時間とを取得する(ステップS106)。残り時間は第1時間の一例であり、猶予時間は第2時間の一例である。取得部263は、取得した残り時間及び猶予時間を第2記憶部25に記憶する。
取得部263は、残り時間として、飛行ロボット10の現在位置から実行中のタスクを遂行してタスクの終了位置まで移動するのに要する時間を取得する。実行中のタスクの終了位置は、巡回経路上の所定位置の一例である。取得部263は、サーバSを介して飛行ロボット10から定期的に受信する飛行ロボット10の現在位置から、飛行ロボット10の最新の現在位置を特定する。実行中のタスクが巡回タスク又は帰還タスクのように、スケジュールが管理テーブルに設定されたタスクである場合、取得部263は、サーバS又は第2記憶装置25に記憶された管理テーブルを参照し、実行中のタスクの終了位置を特定する。実行中のタスクが帰還タスクである場合、取得部263は、飛行ロボット10の帰還位置(離着陸地点D)を実行中のタスクの終了位置として特定してもよい。また、実行中のタスクが指定地点移動タスクである場合、取得部263は、管制員により指定された位置を実行中のタスクの終了位置として特定する。取得部263は、飛行ロボット10の現在位置から、飛行経路(巡回経路)を通って、実行中のタスクの終了位置に到達するまでの距離を、飛行ロボット10の飛行速度で除算することにより残り時間を算出する。飛行速度は、例えば飛行ロボット10の平均飛行速度である。飛行速度は、飛行区間毎に予め設定されていてもよい。
なお、実行中のタスクが巡回タスクのように確認ポイントで撮影を実行するタスクであり、残りの飛行経路に確認ポイントが含まれる場合、取得部263は、残り時間に、撮影に要する時間を加算してもよい。また、実行中のタスクが帰還タスクのように帰還位置に着陸するタスクである場合、取得部263は、残り時間に、着陸に要する時間を加算してもよい。
【0055】
また、取得部263は、現在時刻と、飛行ロボット10の次のタスクの開始時刻との間の時間を猶予時間として算出する。なお、実行中のタスクの終了位置と、次のタスクの開始位置とが異なる場合、取得部263は、残り時間に、実行中のタスクの終了位置から、飛行経路を通って、次のタスクの開始位置に到達するまでの距離を飛行ロボット10の飛行速度で除算した移動時間を加算してもよい。または、その場合、取得部263は、猶予時間から移動時間を減算したものを猶予時間としてもよい。また、取得部263は、次のタスクが、飛行ロボット10の離陸を伴うタスクである場合、猶予時間に、離陸に要する時間を加算してもよい。
【0056】
次に、モード設定部262は、取得部263が取得した猶予時間を補正する(ステップS107)。例えば、モード設定部262は、次のタスクの必要性、即ち次のタスクの実行タイミングを守るべき度合いを示す必要性に基づいて、猶予時間を補正する。モード設定部262は、必要性が低いほど猶予時間が長くなるように猶予時間を補正する。モード設定部262は、必要性が高いほど猶予時間が短くなるように猶予時間を補正してもよい。また、モード設定部262は、次のタスクが省略可能(スキップ可能)である場合、猶予時間を、現在時刻と、次のタスクのさらに次のタスクの開始時刻との間の時間に補正してもよい。これにより、飛行ロボット10は、次のタスクの時間的な制約が厳格である場合には、スケジュールを守りつつ、次のタスクの時間的な制約が厳格でない場合には、操作者による手動操作の可能時間を長くし、緊急事態に適切に対応することができる。
【0057】
また、モード設定部262は、次のタスクを実行するために飛行ロボット10のバッテリの交換が必要であるか否かに基づいて、猶予時間を補正してもよい。モード設定部262は、サーバSを介して飛行ロボット10から定期的に受信する残量情報から、飛行ロボット10のバッテリの残量を特定する。モード設定部262は、バッテリの残量が残量閾値以上である場合、飛行ロボット10のバッテリの交換が必要でないと判定し、猶予時間を補正しない。一方、モード設定部262は、バッテリの残量が残量閾値未満である場合、飛行ロボット10のバッテリの交換が必要であると判定し、猶予時間が短くなるように猶予時間を補正する。なお、モード設定部262は、バッテリの残量が残量閾値未満である場合、残り時間が長くなるように残り時間を補正してもよい。これにより、飛行ロボット10は、バッテリの交換に要する時間を考慮しつつ、次のタスクをスケジュール通りに実行することができる。
【0058】
また、モード設定部262は、バッテリの消費量に基づいて、バッテリの交換が必要であるか否かを判定してもよい。その場合、操作装置20は、飛行ロボット10の駆動時間(又は移動距離)と、バッテリの消費量との関係を示すテーブル又は式を予め第2記憶部25に記憶しておく。モード設定部262は、第2記憶部25に記憶されたテーブル又は式を参照し、実行中のタスクの残り時間、又は、現在位置から終了位置までの距離に基づいて、実行中のタスクの終了までのバッテリの消費量を算出する。モード設定部262は、現在のバッテリの残量と、算出した消費量とから、次のタスクの開始時のバッテリの残量を算出する。また、モード設定部262は、第2記憶部25に記憶されたテーブル又は式を参照し、次のタスクに要する時間(又は移動距離)から、次のタスクにおけるバッテリの消費量を算出する。モード設定部262は、次のタスクの開始時のバッテリの残量が、次のタスクにおけるバッテリの消費量未満であるか否かにより、バッテリの交換が必要であるか否かを判定する。これにより、モード設定部262は、バッテリの交換が必要であるか否かをより精度良く判定することができる。
【0059】
また、モード設定部262は、飛行ロボット10のバッテリの交換に要する交換時間に基づいて、猶予時間を補正してもよい。交換時間は、第2記憶部25に事前に設定される。なお、バッテリの交換方法は、装置による自動交換及び人手による手動交換を含み、モード設定部262は、バッテリの交換が自動交換であるか手動交換であるかにより、交換時間を変更してもよい。モード設定部262は、猶予時間から交換時間を減算するように猶予時間を補正する。なお、モード設定部262は、バッテリの残量が残量閾値未満である場合に限り、猶予時間から交換時間を減算するように猶予時間を補正してもよい。モード設定部262は、バッテリの消費速度に基づいてバッテリの劣化の程度を特定し、特定した劣化の程度に基づいて残量閾値を変更してもよい(例えば、バッテリの劣化の程度が大きい場合、モード設定部262は、残量閾値を大きくする)。また、モード設定部262は、残り時間に交換時間を加算するように残り時間を補正してもよい。これにより、飛行ロボット10は、バッテリの交換に要する時間をより精度良く考慮しつつ、次のタスクをより確実にスケジュール通りに実行することができる。
【0060】
次に、モード設定部262は、猶予時間から残り時間を減算した時間に基づいて、手動飛行モードによる手動操作可能時間を算出する(ステップS108)。例えば、モード設定部262は、猶予時間から残り時間を減算した時間自体を手動操作可能時間として算出する。モード設定部262は、猶予時間から残り時間を減算した時間に一定のマージンを加算又は減算した時間を手動操作可能時間として算出してもよい。
また、モード設定部262は、猶予時間のみに基づいて手動操作可能時間を算出してもよい。例えば、モード設定部262は、猶予時間自体、又は、猶予時間に一定のマージンを加算又は減算した時間を手動操作可能時間として算出してもよい。
【0061】
次に、モード設定部262は、飛行ロボット10が実行中のタスクと、手動操作可能時間とが、それぞれ変更制限条件を満たすか否かを判定する(ステップS109)。モード設定部262は、実行中のタスクが変更不可タスクである場合、実行中のタスクが変更制限条件を満たすと判定し、実行中のタスクが変更可能タスクである場合、実行中のタスクが変更制限条件を満たさないと判定する。また、モード設定部262は、手動操作可能時間が第1閾値以下である場合、手動操作可能時間が変更制限条件を満たすと判定し、手動操作可能時間が第1閾値より大きい場合、手動操作可能時間が変更制限条件を満たさないと判定する。第1閾値は、閾値の一例である。第1閾値は、0又は0に所定のマージンを加えた時間等に予め設定される。
【0062】
実行中のタスク又は手動操作可能時間が変更制限条件を満たす場合、モード設定部262は、自律飛行モードから手動飛行モードへの飛行モードの変更を制限することにより、手動飛行モードに対して制限を行うことを決定する(ステップS110)。即ち、モード設定部262は、実行中のタスクが変更不可タスクである場合、残り時間及び猶予時間にかかわらず手動飛行モードに対して制限を行い、実行中のタスクが変更可能タスクである場合、残り時間及び猶予時間に基づいて手動飛行モードに対して制限を行う。
【0063】
次に、通知部264は、飛行ロボット10の操作者に、手動飛行モードに対する制限に関する警告を通知し(ステップS111)、ステップS101へ処理を戻す。通知部264は、自律飛行モードから手動飛行モードへの飛行モードの変更を制限する警告を第2表示部22に表示することにより、又は、第2音声出力部23から出力することにより、操作者に通知する。通知部264は、さらに、手動飛行モードに対する制限が行われた理由(実行中のタスク又は手動操作可能時間)を操作者に通知してもよい。これらにより、操作者は、手動飛行モードへ変更できないこと及びその理由を認識することができる。この場合、モード設定部262は、飛行ロボット10に手動飛行モードを設定せず、自律飛行モードから手動飛行モードへの飛行モードの変更を実行しない。これにより、飛行ロボット制御システム1は、飛行ロボット10が次のタスクを適切に実行できるか否かに応じて、飛行ロボット10の手動操作自体を制限できる。
【0064】
一方、ステップS109において実行中のタスク及び手動操作可能時間が変更制限条件を満たさなかった場合、モード設定部262は、手動操作可能時間が操作制限条件を満たすか否かを判定する(ステップS112)。モード設定部262は、手動操作可能時間が第2閾値以下である場合、手動操作可能時間が操作制限条件を満たすと判定し、手動操作可能時間が第2閾値より大きい場合、手動操作可能時間が操作制限条件を満たさないと判定する。第2閾値は、第1閾値より大きい値に予め設定される。手動操作可能時間が操作制限条件を満たさない場合、モード設定部262は、特に処理を実行せずに、ステップS115へ処理を移行させる。
【0065】
一方、手動操作可能時間が操作制限条件を満たす場合、モード設定部262は、手動飛行モードにおける飛行ロボット10の水平移動、高度変更又は旋回(方向転換)を制限することにより、手動飛行モードに対して制限を行うことを決定する(ステップS113)。
なお、手動操作可能時間が操作制限条件を満たす場合、モード設定部262は、手動操作可能時間が小さいほど、飛行ロボット10の操作制限を厳しくしてもよい。例えば、手動操作可能時間が第3閾値以下である場合、モード設定部262は、水平移動、高度変更及び旋回の全てを制限する。第3閾値は、第1閾値より大きく且つ第2閾値より小さい値に設定される。手動操作可能時間が第3閾値より大きく且つ第4閾値以下である場合、モード設定部262は、水平移動及び高度変更を制限し、旋回を許可する。第4閾値は、第3閾値より大きく且つ第2閾値より小さい値に設定される。手動操作可能時間が第4閾値より大きい場合、モード設定部262は、水平移動を制限し、旋回及び高度変更を許可する。これにより、モード設定部262は、手動操作可能時間が小さいほど、飛行ロボット10が現在位置から離れることを制限し、飛行ロボット10に、より確実にスケジュール通りに次のタスクを実行させることができる。
【0066】
次に、通知部264は、飛行ロボット10の操作者に、手動飛行モードに対する制限に関する警告を通知する(ステップS114)。通知部264は、手動飛行モードにおける飛行ロボット10の水平移動、高度変更又は旋回を制限する警告を第2表示部22に表示することにより、又は、第2音声出力部23から出力することにより、操作者に通知する。通知部264は、さらに、手動飛行モードに対する制限が行われる操作(水平移動、高度変更又は旋回)及び理由を操作者に通知してもよい。これらにより、操作者は、手動飛行モードにおいて所定の操作を実行できないこと及びその理由を認識することができる。
【0067】
次に、モード設定部262は、第2制御信号を、第2通信部24を介してサーバSに送信し、サーバSを介して飛行ロボット10に送信する。第2制御信号は、飛行モードを手動飛行モードに設定することを要求するための信号である。これにより、モード設定部262は、飛行ロボット10の飛行モードとして手動飛行モードを設定し、飛行ロボット10に現在実行中のタスクを一時中断させる(ステップS115)。また、モード設定部262は、飛行ロボット10の現在位置及び現在時刻を、手動飛行モードを設定した時の飛行ロボット10の位置及び時刻として第2記憶部25に記憶する。
なお、手動操作可能時間が操作制限条件を満たす場合、モード設定部262は、手動飛行モードにおいて飛行ロボット10の水平移動、高度変更又は旋回を制限することを第2制御信号で指定する。これにより、飛行ロボット制御システム1は、飛行ロボット10が次のタスクを適切に実行できるか否かに応じて、飛行ロボット10の手動操作の一部を制限できる。一方、手動操作可能時間が操作制限条件を満たさない場合、モード設定部262は、手動飛行モードにおいて飛行ロボット10の水平移動、高度変更又は旋回を制限することを第2制御信号で指定しない。
【0068】
次に、モード設定部262は、飛行モードを手動飛行モードに設定(変更)した旨及び手動操作可能時間を第2表示部22に表示することにより出力して、又は、第2音声出力部23から出力して、飛行ロボット10の操作者に通知し(ステップS116)、ステップS101へ処理を戻す。即ち、モード設定部262は、手動操作可能時間を操作装置20の操作者に報知するように出力する。これにより、操作者は、飛行ロボット10の飛行モードが手動飛行モードに変更されたこと、及び、飛行ロボット10を手動飛行モードで操作可能な時間を認識でき、操作装置20は、操作者の利便性を向上させることができる。
【0069】
このように、モード設定部262は、残り時間及び猶予時間に基づいて、手動飛行モードに対して制限を行う。これにより、飛行ロボット制御システム1は、飛行ロボット10の実行中のタスク及び次のタスクの状況に応じて、飛行ロボット10の手動操作を適切に制限することができる。特に、モード設定部262は、手動操作可能時間に基づいて、手動飛行モードに対して制限を行う。これにより、飛行ロボット制御システム1は、飛行ロボット10が次のタスクを適切に実行できるか否かに応じて、飛行ロボット10の手動操作を適切に制限することができる。
【0070】
また、ステップS111の処理、ステップS114の処理、及び/又は、ステップS116の処理が省略され、操作装置20は、警告又は手動操作可能時間等を出力しなくてもよい。また、ステップS109~S114の処理が省略され、操作装置20は、手動飛行モードに対して制限を行うことなく、手動操作可能時間を出力してもよい。
【0071】
図5は、操作装置20による第2設定処理の動作の例を示すフローチャートである。第2設定処理は、飛行ロボット10の飛行モードが手動飛行モードに設定された後における飛行モード及びタスクの設定変更を行うための処理である。このフローチャートは、予め第2記憶部25に記憶されているプログラムに基づいて、主に第2制御部26により、操作装置20の各要素と協働して実行される。飛行ロボット10の飛行モードとして手動飛行モードが設定されている場合に、定期的に実行される。
【0072】
まず、モード設定部262は、飛行ロボット10の現在位置から、手動飛行モードを設定した時の飛行ロボット10の位置まで移動するために要する復帰時間を取得する(ステップS201)。モード設定部262は、サーバSを介して飛行ロボット10から定期的に受信する飛行ロボット10の現在位置から、飛行ロボット10の最新の現在位置を特定する。また、モード設定部262は、第2記憶部25から、図4のステップS115で記憶した、手動飛行モードを設定した時の飛行ロボット10の位置を読み出す。モード設定部262は、飛行ロボット10の現在位置と手動飛行モードを設定した時の飛行ロボット10の位置との間の飛行経路を求め、求めた飛行経路の距離を算出し、算出した距離を、飛行ロボット10の飛行速度で除算することにより復帰時間を算出する。
【0073】
次に、モード設定部262は、取得した復帰時間に基づいて、手動操作可能時間を更新する(ステップS202)。モード設定部262は、第2記憶部25から、図4のステップS115で記憶した、手動飛行モードを設定した時の時刻を読み出し、読み出した時刻から現在時刻までの経過時間を算出する。モード設定部262は、手動飛行モードを設定した時に、図4のステップS108で算出された手動操作可能時間から、経過時間及び復帰時間を減算することにより、手動操作可能時間を更新する。モード設定部262は、手動操作可能時間から、経過時間及び復帰時間にマージンを加算又は減算した値を減算することにより、手動操作可能時間を更新してもよい。
このように、モード設定部262は、手動飛行モードを設定した場合、飛行ロボット10の現在位置から、手動飛行モードを設定した時の飛行ロボット10の位置(離脱位置)まで移動するために要する時間に基づいて、手動操作可能時間を更新する。これにより、モード設定部262は、操作者による手動操作によって飛行ロボット10が、手動飛行モードが設定された時の位置から離れてしまった場合に、次のタスクの開始時刻に確実に間に合うように手動飛行モードを終了させることができる。
【0074】
次に、モード設定部262は、更新した手動操作可能時間を第2表示部22に表示することにより、又は、第2音声出力部23から出力することにより、出力し、飛行ロボット10の操作者に通知する(ステップS203)。これにより、操作者は、飛行ロボット10を手動飛行モードで操作可能な残り時間を認識することができ、操作装置20は、操作者の利便性を向上させることができる。
【0075】
次に、モード設定部262は、更新した手動操作可能時間が第1閾値以下であるか否かを判定する(ステップS204)。手動操作可能時間が第1閾値より大きい場合、モード設定部262は、特に処理を実行せずに手動飛行モードを継続させて、ステップS201へ処理を戻す。
一方、手動操作可能時間が第1閾値以下になった場合、モード設定部262は、手動飛行モードから自律飛行モードに自動的に切り替え、飛行ロボット10を離脱位置まで移動させる(ステップS205)。モード設定部262は、離脱位置まで移動することを要求する操作信号を、第2通信部24を介してサーバSに送信し、サーバSを介して飛行ロボット10に送信することにより、飛行ロボット10の飛行を制御する。
飛行ロボット10を離脱位置まで移動させた後、モード設定部262は、ステップS115で一時中断させたタスクを設定する(ステップS206)。これにより、モード設定部262は、飛行ロボット10に、手動飛行モードを設定する直前に実行中であったタスクを再開させる。飛行ロボット10は、一時中断していたタスクを再開し、そのタスクが終了した後に、次のタスクを実行する。このように、飛行ロボット制御システム1は、飛行ロボット10に、各タスクを確実に実行させつつ、操作者による手動操作を許容することができる。
【0076】
次に、モード設定部262は、飛行モードを自律飛行モードに設定(変更)した旨を第2表示部22に表示することにより出力して、又は、第2音声出力部23から出力して、飛行ロボット10の操作者に通知し(ステップS207)、一連のステップを終了する。これにより、操作者は、操作者は、飛行ロボット10の飛行モードが自律飛行モードに変更されたことを認識でき、操作装置20は、操作者の利便性を向上させることができる。
【0077】
以上説明したように、飛行ロボット制御システム1は、特定の箇所を重点的に確認したい場合又は飛行ロボット10が追跡対象を見失ってしまった場合等に、飛行ロボット10の飛行モードを手動飛行モードに設定することにより、飛行ロボット10を適切に制御できる。一方、飛行ロボット制御システム1は、猶予時間に基づいて手動飛行モードに対して制限を行うことにより、飛行ロボット10が次のタスクを適切に実行できるか否かに応じて、飛行ロボット10の手動操作を適切に制限できる。したがって、飛行ロボット制御システム1は、自律して飛行する飛行ロボット10に対する、操作装置20を用いた手動操作を適切に制限することが可能となる。
特に、飛行ロボット制御システム1は、飛行ロボット10を、複数の物件、利用者又はタスクで共用する、いわゆるドローンシェアリングで利用する場合に、次のタスク(他の物件)の実行を阻害しないように、手動飛行モードへの変更を適切に制限できる。
【0078】
また、飛行ロボット制御システム1は、残り時間及び猶予時間に基づいて、自律して飛行する飛行ロボット10に対する、操作装置20を用いた手動操作の可能時間を適切に通知することが可能となる。
特に、操作者は、飛行ロボット10がドローンシェアリングで利用される場合に、次のタスク(他の物件)が適切に実行されるための手動操作可能時間を認識でき、適切な時間配分で飛行ロボット10の手動操作を実行することができる。
【0079】
以上、好適な実施形態について説明したが、実施形態は上記した例に限定されない。例えば、モード設定部262は、自律飛行モードから手動飛行モードへ変更した後に自律飛行モードに戻してタスクを再開させた場合、そのタスクが完了するまでは、手動飛行モードへの再変更を制限(禁止)してもよい。その場合、モード設定部262は、手動飛行モードへの再変更を制限する警告を第2表示部22に表示することにより、又は、第2音声出力部23から出力することにより、操作者に通知する。これにより、モード設定部262は、実行中のタスクが複数回にわたって中断され、タスクが適切に実行されなくなることを抑制できる。
【0080】
また、モード設定部262は、残り時間及び猶予時間から、手動操作可能時間の代わりに他のパラメータを算出し、そのパラメータに基づいて手動飛行モードに対して制限を行ってもよい。例えば、モード設定部262は、猶予時間に対する残り時間の割合を算出し、算出した割合が閾値未満である場合、手動飛行モードへの変更を許容し、算出した割合が閾値以上である場合、手動飛行モードへの変更を制限する。閾値は、例えば1又は1未満の任意の値に設定される。この場合も、飛行ロボット制御システム1は、自律して飛行する飛行ロボット10に対する、操作装置20を用いた手動操作を適切に制限することができる。
【0081】
また、モード設定部262は、ステップS110又はS113において手動飛行モードに対して制限を行うことを決定した場合、制限の解除を要求するための信号を、サーバSを介して管理装置30に送信してもよい。モード設定部262は、制限の解除を許可するための信号を、サーバSを介して管理装置30から受信した場合、制限を解除する。これにより、飛行ロボット制御システム1は、次のタスクを開始すべき時刻が迫っている場合でも、緊急事態が発生した場合に、操作者に飛行ロボット10を手動で操作させることができ、緊急事態に対して柔軟に対応させることができる。
【0082】
また、手動飛行モードに対する制限は、自律飛行モードから手動飛行モードへの飛行モードの変更、及び、手動飛行モードにおける飛行ロボット10の一部の操作(水平移動、高度変更もしくは旋回)のうちの何れか一方のみを含んでもよい。また、制限される一部の操作として、水平移動、高度変更又は旋回に限らず、手動操作における機体の傾き、旋回速度、移動速度などを制限してもよい。
【0083】
また、モード設定部262は、操作者により飛行ロボット10の飛行モードの変更が指示された場合に限らず、任意のタイミングで、手動飛行モードに対して制限を行ってもよい。例えば、モード設定部262は、最新のタスクに基づいて、手動飛行モードに対して制限を行ってもよい。
【0084】
また、飛行ロボット制御システム1において、サーバSは省略されてもよい。その場合、飛行ロボット10、操作装置20、管理装置30及び/又は警備装置Tは、サーバSを介さずに相互に各情報を送受信する。
【0085】
また、飛行ロボット制御システム1において、操作装置20の代わりに、管理装置30が、手動飛行モードに対して制限を行ってもよい。その場合、管理装置30の第3記憶部35が、操作装置20の第2記憶部25が記憶する各情報を記憶するとともに、管理装置30の第3制御部36が、操作装置20の第2制御部26が有する各部を有し、第1設定処理及び第2設定処理を実行する。第3制御部36は、第3操作部31を用いて管理装置30の操作者により指定された各種情報を取得し、第3通信部34を介してサーバSから各種情報を受信し、且つ、各種信号を第3通信部34及びサーバSを介して飛行ロボット10に送信する。また、第3制御部36は、手動飛行モードに対して制限を行った場合、警告を、第3通信部34及びサーバSを介して操作装置20に送信し、操作装置20の操作者に通知する。また、第3制御部36は、飛行モードを変更した場合、飛行モードを変更した旨及び/又は手動操作可能時間を、第3通信部34及びサーバSを介して操作装置20に送信することにより出力し、操作装置20の操作者に通知する。この場合も、飛行ロボット制御システム1は、自律して飛行する飛行ロボット10に対する、操作装置20を用いた手動操作を適切に制限するとともに、操作装置20を用いた手動操作の可能時間を適切に通知することが可能となる。
【0086】
また、飛行ロボット制御システム1において、操作装置20の代わりに、飛行ロボット10が、手動飛行モードに対して制限を行ってもよい。その場合、飛行ロボット10の第1記憶部15が、操作装置20の第2記憶部25が記憶する各情報を記憶するとともに、飛行ロボット10の第1制御部16が、操作装置20の第2制御部26が有する各部を有し、第1設定処理及び第2設定処理を実行する。第1制御部16は、各種情報を、第1通信部14及びサーバSを介して操作装置20、管理装置30及び/又は警備装置Tから受信することにより取得し、第1記憶部15に設定する。また、第1制御部16は、手動飛行モードに対して制限を行った場合、警告を、第1通信部14及びサーバSを介して操作装置20に送信し、操作装置20の操作者に通知する。また、第1制御部16は、飛行モードを変更した場合、飛行モードを変更した旨及び/又は手動操作可能時間を、第1通信部14及びサーバSを介して操作装置20に送信することにより出力し、操作装置20の操作者に通知する。この場合も、飛行ロボット制御システム1は、自律して飛行する飛行ロボット10に対する、操作装置20を用いた手動操作を適切に制限するとともに、操作装置20を用いた手動操作の可能時間を適切に通知することが可能となる。
【0087】
本発明の一実施形態にかかる飛行ロボット制御システム及び飛行ロボット制御方法は、労働力人口減少や長時間労働などの社会課題の解決に貢献し得るものである。
また、本発明の一実施形態にかかる飛行ロボット制御システム及び飛行ロボット制御方法は、国連で採択された持続可能な開発目標(SDGs)の目標9「産業と技術革新の基盤をつくろう」の達成に貢献し得るものである。
【符号の説明】
【0088】
1 飛行ロボット制御システム、10 飛行ロボット、20 操作装置、30 管理装置、262 モード設定部、263 取得部、264 通知部
図1
図2
図3
図4
図5