(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024095443
(43)【公開日】2024-07-10
(54)【発明の名称】飛行ロボット制御システム及び飛行ロボット制御方法
(51)【国際特許分類】
G05D 1/00 20240101AFI20240703BHJP
G08B 25/00 20060101ALI20240703BHJP
G08B 25/10 20060101ALI20240703BHJP
H04Q 9/00 20060101ALI20240703BHJP
G05D 1/46 20240101ALI20240703BHJP
B64U 10/13 20230101ALI20240703BHJP
B64U 101/31 20230101ALN20240703BHJP
【FI】
G05D1/00 B
G08B25/00 510M
G08B25/10 A
H04Q9/00 301B
H04Q9/00 351
G05D1/10
B64U10/13
B64U101:31
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022212731
(22)【出願日】2022-12-28
(71)【出願人】
【識別番号】000108085
【氏名又は名称】セコム株式会社
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100180806
【弁理士】
【氏名又は名称】三浦 剛
(72)【発明者】
【氏名】光信 拓也
(72)【発明者】
【氏名】阿部 陽介
(72)【発明者】
【氏名】澤井 庸平
(72)【発明者】
【氏名】鈴木 大貴
【テーマコード(参考)】
5C087
5H301
5K048
【Fターム(参考)】
5C087AA19
5C087AA37
5C087BB20
5C087DD03
5C087DD17
5C087EE08
5C087FF01
5C087FF02
5C087GG59
5H301AA06
5H301AA10
5H301BB10
5H301BB14
5H301CC04
5H301CC07
5H301CC10
5H301DD01
5H301DD06
5H301DD07
5H301DD15
5H301FF11
5H301GG07
5H301GG08
5H301GG09
5H301GG17
5H301KK07
5H301KK10
5K048AA05
5K048AA15
5K048BA45
5K048BA48
5K048EB15
(57)【要約】
【課題】自律して飛行する飛行ロボットに対する、操作装置を用いた手動操作を適切に制限することができる飛行ロボット制御システム及び飛行ロボット制御方法を提供する。
【解決手段】飛行ロボット制御システムは、飛行ロボット及び操作装置を有し、飛行ロボットの飛行モードとして、飛行ロボットが自律して飛行する自律飛行モード、及び、操作装置を用いた手動操作に従って飛行する手動飛行モードのうちの何れかを設定するモード設定部と、手動操作の操作環境に関する操作環境情報を取得する取得部と、を有し、モード設定部は、操作環境情報に基づいて、手動飛行モードに対して制限を行う。
【選択図】
図1
【特許請求の範囲】
【請求項1】
飛行ロボット及び操作装置を有する飛行ロボット制御システムであって、
前記飛行ロボットの飛行モードとして、前記飛行ロボットが自律して飛行する自律飛行モード、及び、前記操作装置を用いた手動操作に従って飛行する手動飛行モードのうちの何れかを設定するモード設定部と、
前記手動操作の操作環境に関する操作環境情報を取得する取得部と、を有し、
前記モード設定部は、前記操作環境情報に基づいて、前記手動飛行モードに対して制限を行う、
ことを特徴とする飛行ロボット制御システム。
【請求項2】
前記モード設定部は、前記操作環境情報が所定の条件を満たす場合、前記自律飛行モードから前記手動飛行モードへの前記飛行モードの変更、又は、前記手動操作の一部の操作を制限する、請求項1に記載の飛行ロボット制御システム。
【請求項3】
前記モード設定部は、前記手動操作の一部の操作の制限として、前記飛行ロボットの水平移動、高度変更又は旋回の制限を行う、請求項2に記載の飛行ロボット制御システム。
【請求項4】
前記取得部は、前記操作環境情報として、前記飛行ロボットの飛行エリアの天候又は明るさを示す飛行環境情報、及び前記飛行ロボットの操作者の資格、操作能力又は所属を示す操作者能力情報のうちの少なくとも一方の情報を取得する、請求項1~3の何れか一項に記載の飛行ロボット制御システム。
【請求項5】
前記操作環境情報は、前記飛行環境情報及び前記操作者能力情報を含み、
前記モード設定部は、前記飛行環境情報と前記操作者能力情報との組合せが前記所定の条件を満たす場合、前記手動飛行モードに対して制限を行う、請求項4に記載の飛行ロボット制御システム。
【請求項6】
前記モード設定部は、前記飛行環境情報及び前記操作者能力情報に基づいて評価値を算出し、前記算出した評価値に基づいて、前記操作環境情報が所定の条件を満たすか否かを判定する、請求項4に記載の飛行ロボット制御システム。
【請求項7】
前記取得部は、前記飛行ロボットの実行中のタスクを示すタスク情報をさらに取得し、
前記モード設定部は、前記操作環境情報と前記タスク情報の組合せが前記所定の条件を満たす場合に、前記手動飛行モードに対して制限を行う、請求項1~3の何れか一項に記載の飛行ロボット制御システム。
【請求項8】
前記飛行ロボットの操作者に、前記制限に関する警告を通知する通知部をさらに有する、請求項1~3の何れか一項に記載の飛行ロボット制御システム。
【請求項9】
コンピュータが、
飛行ロボットの飛行モードとして、前記飛行ロボットが自律して飛行する自律飛行モード、及び、操作装置を用いた手動操作に従って飛行する手動飛行モードのうちの何れかを設定し、
前記手動操作の操作環境に関する操作環境情報を取得することを含み、
前記設定において、前記操作環境情報に基づいて、前記手動飛行モードに対して制限を行う、
ことを特徴とする飛行ロボット制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、飛行ロボット及び操作装置を有する飛行ロボット制御システム及び飛行ロボット制御方法に関する。
【背景技術】
【0002】
近年、駅、商業施設、発電所等の施設の警備において、自律して飛行し且つ帰還、追跡、検知、移動、巡回等のタスクを実行する飛行ロボットが開発されている。このような飛行ロボットにおいて、特定の箇所を重点的に確認したい場合、又は、飛行ロボットが追跡対象を見失ってしまった場合等に、操作装置を用いた手動操作によって飛行ロボットを操作できることが望まれている。
【0003】
例えば、特許文献1には、自律的に飛行可能であり且つユーザの無線コントローラ装置等による操作によって制御可能な準自律的飛行可能な飛行ロボットが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記のように、飛行ロボットを用いてきめ細かい警備サービスを実施するにあたり、自律飛行と手動操作とを効果的に併用することは運用上必要不可欠であるものの、自律して飛行する飛行ロボットに対して手動操作を自由に許可すると、飛行ロボットを取り巻く操作環境(例えば、天候や明るさ、操作者の操作スキルなど)によっては、飛行ロボットの飛行の安定性に影響を与える恐れがあるため、手動操作を適切に制限する必要がある。
【0006】
本発明の目的は、自律して飛行する飛行ロボットに対する、操作装置を用いた手動操作を適切に制限することができる飛行ロボット制御システム及び飛行ロボット制御方法を提供することにある。
【課題を解決するための手段】
【0007】
かかる課題を解決するため本発明は、飛行ロボット及び操作装置を有する飛行ロボット制御システムであって、飛行ロボットの飛行モードとして、飛行ロボットが自律して飛行する自律飛行モード、及び、操作装置を用いた手動操作に従って飛行する手動飛行モードのうちの何れかを設定するモード設定部と、手動操作の操作環境に関する操作環境情報を取得する取得部と、を有し、モード設定部は、操作環境情報に基づいて、手動飛行モードに対して制限を行う飛行ロボット制御システムを提供する。
【0008】
この飛行ロボット制御システムにおいて、モード設定部は、操作環境情報が所定の条件を満たす場合、自律飛行モードから手動飛行モードへの飛行モードの変更、又は、手動操作の一部の操作を制限することが好適である。
【0009】
この飛行ロボット制御システムにおいて、モード設定部は、手動操作の一部の操作の制限として、飛行ロボットの水平移動、高度変更又は旋回の制限を行うことが好適である。
【0010】
この飛行ロボット制御システムにおいて、取得部は、操作環境情報として、飛行ロボットの飛行エリアの天候又は明るさを示す飛行環境情報、及び飛行ロボットの操作者の資格、操作能力又は所属を示す操作者能力情報のうちの少なくとも一方の情報を取得することが好適である。
【0011】
この飛行ロボット制御システムにおいて、操作環境情報は、飛行環境情報及び操作者能力情報を含み、モード設定部は、飛行環境情報と操作者能力情報との組合せが所定の条件を満たす場合、手動飛行モードに対して制限を行うことが好適である。
【0012】
この飛行ロボット制御システムにおいて、モード設定部は、飛行環境情報及び操作者能力情報に基づいて評価値を算出し、算出した評価値に基づいて、操作環境情報が所定の条件を満たすか否かを判定することが好適である。
【0013】
この飛行ロボット制御システムにおいて、取得部は、飛行ロボットの実行中のタスクを示すタスク情報をさらに取得し、モード設定部は、操作環境情報とタスク情報の組合せが所定の条件を満たす場合に、手動飛行モードに対して制限を行うことが好適である。
【0014】
この飛行ロボット制御システムにおいて、飛行ロボットの操作者に、制限に関する警告を通知する通知部をさらに有することが好適である。
【0015】
かかる課題を解決するため本発明は、コンピュータが、飛行ロボットの飛行モードとして、飛行ロボットが自律して飛行する自律飛行モード、及び、操作装置を用いた手動操作に従って飛行する手動飛行モードのうちの何れかを設定し、手動操作の操作環境に関する操作環境情報を取得することを含み、設定において、操作環境情報に基づいて、手動飛行モードに対して制限を行う飛行ロボット制御方法を提供する。
【発明の効果】
【0016】
本発明に係る飛行ロボット制御システム及び飛行ロボット制御方法は、自律して飛行する飛行ロボットに対する、操作装置を用いた手動操作を適切に制限することが可能となる。
【図面の簡単な説明】
【0017】
【
図1】監視エリアA1について説明するための模式図である。
【
図2】飛行ロボット制御システム1の全体システム構成を示す図である。
【
図3】制限テーブル251のデータ構造の一例を示す図である。
【
図4】設定処理の動作の例を示すフローチャートである。
【発明を実施するための形態】
【0018】
以下、実施形態に係る飛行ロボット制御システムについて図を参照しつつ説明する。
【0019】
図1は、実施形態に係る飛行ロボット制御システム1の監視エリアA1について説明するための模式図である。
図1に示すように、飛行ロボット制御システム1は、飛行ロボット10、操作装置20、管理装置30、サーバS及び一又は複数の警備装置T等を有する。飛行ロボット制御システム1は、駅、商業施設、発電所等の施設に設定された監視エリアA1を監視及び警備する監視システムである。監視エリアA1は、ホーム、店舗、発電設備等の、一又は複数の監視対象物件Bを含む。
【0020】
サーバSは、監視エリアA1内又は監視エリアA1の外部に設置された防災センタC1の監視卓等に配置される。サーバSは、操作装置20及び/又は管理装置30から登録された各種設定を飛行ロボット10及び警備装置Tに設定するとともに、飛行ロボット10及び警備装置Tによる監視結果を収集して管理する。
【0021】
警備装置Tは、監視対象物件Bに設置され、所定のセンサ及び/又は固定カメラを有する。センサは、各物件のドアの開閉を検知するマグネットセンサもしくは人物の有無を検知する赤外線センサ等の人物の侵入を検知するためのセンサ、又は、熱センサもしくは煙センサ等の火災を検知するためのセンサ等を含む。警備装置Tは、センサ又は固定カメラにより人物の侵入又は火災の発生が検知された場合、異常が発生したことを示す異常通知信号を、サーバSに送信し、サーバSを介して操作装置20及び/又は管理装置30に送信する。
【0022】
警備装置Tは、複数の警備状態を有する。警備状態には、警戒セット状態、警戒解除状態、異常状態及び対処状態等が含まれる。
警戒セット状態は、異常の有無を検知しつつ、異常が発生した場合に通報を行う警戒モードが設定されており且つ異常が発生していない状態である。警戒セット状態は、無人警戒セット状態及び有人警戒セット状態を含んでもよい。無人警戒セット状態は、警戒モードとして、全てのセンサについて異常の有無を検知する無人警戒モードが設定されている状態である。有人警戒セット状態は、警戒モードとして、警備対象へ侵入可能な窓又は扉等に設置された特定のセンサについて異常の有無を検知する有人警戒モードが設定されている状態である。警戒解除状態は、警戒モードが設定されておらず且つ異常が検出されていない状態である。異常状態は、異常が発生しており且つ発生した異常に対する対処がまだ実行されていない状態である。対処状態は、異常が発生しており且つ発生した異常に対する対処が警備員等により実行されている状態である。
各警戒モードは、警備装置Tに設けられた操作部、又は、サーバSから設定される。警備装置Tは、現在の警備状態をサーバSに送信し、サーバSを介して操作装置20及び/又は管理装置30に送信する。
【0023】
飛行ロボット10は、監視エリアA1内に設定された飛行エリアA2を飛行する装置である。飛行エリアA2は、例えば監視対象物件B及び離着陸地点(格納庫、ロボポート)Dを含むように設定される。飛行エリアA2には、飛行ロボット10が巡回する巡回ルートA3が設定される。
図1に示す例では、巡回ルートA3は、離着陸地点Dからスタートし、監視対象物件Bの上空を通過して離着陸地点Dに戻るように設定されている。また、飛行ロボット10は、監視対象物件Bに設置されたセンサ等により不審者の侵入などの異常を検知した場合は、当該異常の原因を探るべく監視対象物件Bに向かうよう自律飛行することができる。
操作装置20は、監視エリアA1内又は監視エリアA1の周辺に設置された防災センタC1の監視卓等に配置される。操作装置20は、サーバSを介して飛行ロボット10に各種設定を登録するとともに、防災センタC1の管制員(操作者)による操作に従って飛行ロボット10を制御する。
管理装置30は、警備会社が運営する警備センタC2の監視卓等に設置される。管理装置30は、サーバSを介して飛行ロボット10に各種設定を登録するとともに、警備センタC2の管制員(操作者)による操作に従って飛行ロボット10を制御する。
【0024】
図2は、飛行ロボット制御システム1の全体システム構成を示す図である。
図2に示すように、飛行ロボット10、操作装置20、管理装置30、サーバS、警備装置Tは、イントラネット又はインターネット等の第1通信ネットワークN1を介して相互に接続される。飛行ロボット10及び操作装置20は、無線LAN、携帯電話ネットワーク等の無線通信ネットワークを介して第1通信ネットワークN1に接続される。また、管理装置30は、イントラネット又はインターネット等の第2通信ネットワークN2を介して第1通信ネットワークN1に接続される。
【0025】
飛行ロボット10は、自律的に飛行可能な無人の小型飛行体であり、例えば、クアッドロータ型又はシングルロータ型の小型無人ヘリコプタである。飛行ロボット10は、飛行モードとして、飛行ロボット10が自律して飛行する自律飛行モード、及び、操作装置20を用いた手動操作に従って飛行する手動飛行モードを有する。飛行ロボット10は、例えば、ドローン、マルチコプタ、UAV(Unmanned Aerial Vehicle)等である。飛行ロボット10は、位置・姿勢センサ11、撮像部12、モータ13、第1通信部14、第1記憶部15及び第1制御部16等を有する。
【0026】
位置・姿勢センサ11は、飛行ロボット10の現在位置および姿勢を取得する。位置・姿勢センサ11は、例えば、GNSS(Global Navigation Satellite System)等の航法衛星(人工衛星)から送信される電波(航法信号)を受信する受信機、加速度を計測する加速度センサ、方位を計測する電子コンパス、及び、角速度を計測するジャイロセンサを含む。受信機は、複数の航法衛星から送信される航法信号を受信して第1制御部16に出力する。加速度センサ、電子コンパス及びジャイロセンサは、計測した加速度、方位及び各速度を示す計測信号を第1制御部16に出力する。なお、位置・姿勢センサ11は、レーザスキャナ及び気圧センサ等の他の既知のセンサを用いて飛行ロボット10の現在位置を取得してもよい。また、位置・姿勢センサ11は、他の既知のセンサを用いて飛行ロボット10の姿勢を取得してもよい。
【0027】
撮像部12は、可視光カメラを備える。可視光カメラは、例えば、CCD素子又はC-MOS素子等、可視光に感度を有する光電変換素子と、その光電変換素子上に像を結像する結像光学系と、A/D変換器とを有する可視光カメラを備え、可視光に基づく撮像画像を生成して出力する。撮像部12は、所定のフレーム周期で撮像画像を順次生成し、第1制御部16に出力する。また、撮像部12は、熱画像を取得する熱画像カメラを備えてもよい。熱画像カメラは、例えば、物体からの電磁放射の2種類の波長の放射エネルギーを検出する2次元に配置されたセンサと、センサから出力された電気信号を増幅し、アナログ/デジタル(A/D)変換するA/D変換器とを有する。熱画像カメラは、2種類の放射エネルギー比によって求められた温度値に基づいて熱画像を生成し、所定のフレーム周期で第1制御部16に出力する。
【0028】
モータ13は、一又は複数(例えば四つ)のモータを含む。各モータの回転軸には、それぞれロータ(回転翼、プロペラ)が連結される。モータ13は、第1制御部16から駆動信号を受信し、受信した駆動信号に従って回転して駆動力を発生させ、各ロータを回転駆動する。飛行ロボット10は、一又は複数のロータが独立して回転することにより、任意方向の加速度を発生させることができ、機体の移動及び姿勢の調節を行うことができる。
【0029】
第1通信部14は、例えば無線信号を送受信するアンテナと、無線LAN等の無線通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インタフェース回路とを有し、アクセスポイントを介して第1通信ネットワークN1に接続する。または、第1通信部14は、例えばW-CDMA方式又はLTE方式等に準拠した通信インタフェース回路を有し、基地局及び移動体通信網等の通信ネットワークを介して第1通信ネットワークN1に接続する。第1通信部14は、第1通信ネットワークN1から受信したデータを第1制御部16へ出力し、第1制御部16から入力されたデータを第1通信ネットワークN1に送信する。
【0030】
第1記憶部15は、ROM、RAM等の半導体メモリ、磁気ディスク又はCD-ROM、DVD-ROM等の光ディスクドライブ及びその記録媒体を有する。第1記憶部15は、飛行ロボット10を制御するためのコンピュータプログラム及び各種データを記憶し、第1制御部16との間でこれらの情報を入出力する。コンピュータプログラムは、CD-ROM、DVD-ROM等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第1記憶部15にインストールされてもよい。
また、第1記憶部15は、データとして、位置・姿勢情報151及び経路情報152等を記憶する。位置・姿勢情報151は、位置・姿勢センサ11によって取得された各信号に基づいて検出された飛行ロボット100の現在位置及び現在姿勢を示す。経路情報152は、飛行ロボット10が移動する予定の飛行経路を示す情報であり、飛行経路上における座標列で示される。飛行経路上には、確認ポイントが設定されてもよい。経路情報152は、操作装置20及び/又は管理装置30からサーバSを介して設定される。また、位置・姿勢情報151に記憶された現在位置と現在姿勢、及び、操作装置20及び/又は管理装置32にて設定された移動目標位置とに基づいて、現在位置から目標位置に至る移動経路を第1制御部16にて探索(算出)し、第1記憶部15に経路情報152として記憶してもよい。なお、経路情報152の探索のための計算は、飛行ロボット10の第1制御部16に限らず、操作装置20の第2制御部26、又は管理装置30の第3制御部36にて行ってもよい。
【0031】
第1制御部16は、CPU、MPU等のプロセッサと、ROM、RAM等のメモリと、その周辺回路とを有し、飛行ロボット10の各種信号処理を実行する。第1制御部16は、プロセッサ上で動作するプログラムの機能モジュールとして実装される飛行制御部161等を有する。なお、第1制御部16として、DSP、LSI、ASIC、FPGA等が用いられてもよい。
【0032】
飛行制御部161は、位置・姿勢センサ11の出力から3次元的な移動領域(例えば飛行空間)における飛行ロボット10の現在位置及び現在姿勢を算出し、位置・姿勢情報151として第1記憶部15に記憶する。飛行制御部161は、位置・姿勢センサ11から出力された航法信号から緯度・経度・高度を求め、予め記憶した変換規則を用いて移動領域の座標系における位置に変換して現在位置を求める。また、飛行制御部161は、位置・姿勢センサ11から出力された加速度センサ及びジャイロセンサの計測信号から、移動領域の座標系における現在姿勢を求める。飛行制御部161は、位置・姿勢センサ11から出力された電子コンパスの計測信号から、移動領域の座標系における方位を求め、他のセンサからの計測信号を更に用いて現在姿勢を算出してもよい。飛行制御部161は、現在位置及び/又は現在姿勢を算出するたびに、算出した現在位置及び/又は現在姿勢を、第1通信部14を介してサーバSに送信し、サーバSを介して操作装置20及び/又は管理装置30に送信する。また、飛行制御部161は、撮像部12が撮像画像を生成するたびに、生成した撮像画像を、第1通信部14を介してサーバSに送信し、サーバSを介して操作装置20及び/又は管理装置30に送信する。
【0033】
飛行制御部161は、第1通信部14を介して操作装置20又は管理装置30から制御信号を受信し、受信した制御信号に従って、飛行ロボット10が、上昇、下降、方向転換(旋回)、前進及びホバリング(静止)等の飛行を行うようにモータ13を駆動制御する。制御信号において、飛行ロボット10が動作する飛行モードが指定される。飛行モードとして、自律飛行モード及び手動飛行モードの何れかが設定される。自律飛行モードが設定された場合、飛行ロボット10は、自己位置の算出、目標位置の算出、経路の算出、経路に沿った飛行、姿勢制御、通報等の予め定められた動作を、操作者による操作装置20を用いた操作を要することなく、自律的に実行する。即ち、自律飛行モードにおいて、飛行ロボット10は、複数のタスクのうちの何れかのタスクを実行する。飛行モードとして、自律飛行モードが設定される場合、制御信号において、飛行ロボット10に実行させるタスクが指定される。タスクは、飛行ロボット10が実行する処理を目的毎に分類したものである。タスクは、防災センタC1の管制員による操作装置20を用いた指示、警備センタC2の管制員による管理装置30を用いた指示、警備装置Tからの通知信号、又は、サーバSに予め設定されたタスクスケジュール等に従って設定される。タスクとして、帰還タスク、追跡タスク、検知移動タスク、指定地点移動タスク及び巡回タスク等のうちの何れかが設定される。タスクとして、点検タスク、救助タスク、配達タスク、測量タスク、農薬散布タスク等の警備以外を目的とするタスクが設定されてもよい。
【0034】
帰還タスクは、他のタスクの終了時もしくは中断時、又は、機体トラブル等の緊急時等において、管制員による帰還指示に従って離着陸地点Dまでの帰還経路を探索(算出)し、離着陸地点Dに自動的に着陸するタスクである。帰還タスクには、サブタスクとして、帰還飛行タスク及び着陸タスクが含まれる。帰還飛行タスクは、現在位置から離着陸地点Dまでの帰還経路を算出し、算出した帰還経路に沿って自律移動するタスクである。着陸タスクは、離着陸地点Dに着陸するまで高度を下げ、格納庫に収納されるように移動するタスクである。
飛行制御部161は、帰還タスクが設定された場合、まず帰還飛行タスクを実行し、離着陸地点Dに到達した時に着陸タスクを実行する。離着陸地点Dの位置情報は、予め第1記憶部15に記憶される。なお、帰還タスク(及び後述する巡回タスク)が設定される場合、制御信号には、離着陸地点Dの位置情報がさらに含まれてもよい。
【0035】
追跡タスクは、飛行ロボット10により生成された撮像画像が表示された操作装置20及び/又は管理装置30を用いた管制員によるターゲット(人物、車等)の指定操作に従って、指定されたターゲットを追跡するように飛行するタスクである。追跡タスクには、サブタスクとして、追従タスク、探索タスク及び俯瞰タスクが含まれる。追従タスクは、指定されたターゲットに追従するように自律飛行するタスクである。探索タスクは、指定されたターゲットを見失った場合に、ターゲットの予測位置に移動し、ホバリングしながら、指定されたターゲットを検出するタスクである。俯瞰タスクは、探索タスクでターゲットを検出できなかった場合に、高度を上げて1周旋回した後、ホバリング状態を維持するタスクである。
飛行制御部161は、追跡タスクが設定された場合、まず追従タスクを実行する。追跡タスクが設定される場合、制御信号には、指定されたターゲットを示す識別情報がさらに含まれる。飛行制御部161は、各撮像画像内で、相互に隣接する高温度又は高輝度の画素(例えば閾値以上の画素)の集合が一定の大きさ以上である領域を変化領域として抽出する。飛行制御部161は、連続する撮像画像内で所定距離内に抽出された変化領域を、同一のターゲットが含まれる変化領域として追跡する。飛行制御部161は、指定されたターゲットが含まれる変化領域が、撮像画像内に所定の位置及び大きさで含まれるように、モータ13を制御する。また、飛行制御部161は、ターゲットとして指定された撮像画像内の画像領域における画像特徴を一時記憶し、当該画像特徴と略同一の画像領域を、以降に取得されたフレームにおいて画像追跡し、当該追跡した画像領域の実空間における位置と飛行ロボット10の位置とが一定距離を保つように、モータ13を制御してもよい。
飛行制御部161は、追跡タスクで、指定されたターゲットを見失った場合、探索タスクを実行する。飛行制御部161は、変化領域の移動方向及び移動速度に基づいて、ターゲットの現在位置を予測し、予測した位置に移動するようにモータ13を制御する。飛行制御部161は、予測した位置で順次生成された撮像画像内で変化領域を抽出し、制御信号受信時に指定されたターゲットを含んでいた変化領域との類似の度合いが閾値以上である変化領域をターゲットとして検出する。類似の度合いは、正規化相互相関等である。飛行制御部161は、ターゲットを検出した場合、再度追従タスクを実行し、ターゲットを検出できなかった場合、俯瞰タスクを実行する。
【0036】
検知移動タスクは、監視エリアA1に設けられた警備装置Tのセンサ又は固定カメラによって人物の侵入が検知された時、人物の侵入を検知したセンサ又は固定カメラの付近へ飛行(又は飛行を待機)し、異常発生箇所や異常発生原因を確認するタスクである。検知移動タスクには、サブタスクとして、センサ地点移動タスク、探索タスク、俯瞰タスク及び追従タスクが含まれる。センサ地点移動タスクは、現在位置から、人物の侵入を検知したセンサ又は固定カメラの付近までの経路を探索し、探索した経路に沿って自律移動するタスクである。探索タスクは、ターゲットの予測位置に移動し、ホバリングしながらターゲットを検出するタスクである。俯瞰タスクは、探索タスクでターゲットを検出できなかった場合に、高度を上げて1周旋回した後、ホバリング状態を維持するタスクである。追従タスクは、各撮像画像に写るターゲットに追従するように自律飛行するタスクである。
飛行制御部161は、検知移動タスクが設定された場合、まずセンサ地点移動タスクを実行する。検知移動タスクが設定される場合、制御信号には、人物の侵入を検知したセンサ又は固定カメラの位置情報がさらに含まれる。
飛行制御部161は、人物の侵入を検知したセンサ又は固定カメラの位置の周辺に到達した時、探索タスクを実行する。飛行制御部161は、順次取得された撮像画像内で変化領域を抽出し、人物の大きさに相当する範囲内の大きさを有する変化領域をターゲットとして検出する。飛行制御部161は、ターゲットを検出できなかった場合、俯瞰タスクを実行する。飛行制御部161は、ターゲットを検出した場合、追従タスクを実行する。飛行制御部161は、追跡タスクの追従タスクと同様に、探索タスクにおいて検出したターゲットが含まれる変化領域を追跡する。
【0037】
指定地点移動タスクは、防災センタC1の管制員により操作装置20を用いて指定された位置、又は、警備センタC2の管制員により管理装置30を用いて指定された位置まで飛行するタスクである。例えば、操作装置20又は管理装置30は地図を表示し、管制員は、地図上の位置を指定する。指定地点移動タスクは、現在位置から、指定された位置までの経路を探索(算出)し、探索した経路に沿って自律移動するタスクである。
飛行制御部161は、指定地点移動タスクが設定され、移動先の位置が指定された場合、指定地点移動タスクを実行する。
【0038】
巡回タスクは、事前に設定された飛行経路(巡回経路)に従って飛行し、飛行経路上に設定された確認ポイントで撮影を実行し、確認ポイントにおける異常の有無を判定するタスクである。巡回タスクには、サブタスクとして、経路移動・撮影タスク及び着陸タスクが含まれる。経路移動・撮影タスクは、第1記憶部15に予め記憶された経路情報152に示される飛行経路に沿って自律移動するとともに、飛行経路上に確認ポイントが設定されている場合、確認ポイントでホバリングして撮像画像を生成(撮影)し、異常の有無を判定するタスクである。着陸タスクは、離着陸地点Dに着陸するまで高度を下げ、格納庫に収納されるように移動するタスクである。
飛行制御部161は、巡回タスクが設定された場合、まず経路移動・撮影タスクを実行する。飛行経路上に確認ポイントが設定されている場合、飛行制御部161は、確認ポイントで生成された撮像画像内で変化領域を検出する。飛行制御部161は、検出した変化領域の大きさが人物の大きさに相当する範囲内である場合、人物の侵入が発生したと判定し、人物の大きさに相当する変化領域が検出されない場合、人物の侵入が発生していないと判定する。また、飛行制御部161は、過去に確認ポイントで生成された撮像画像と、当該確認ポイントで現在撮影した撮像画像とを比較し、撮像画像内における変化領域に基づいて異常の有無を判定してもよい。例えば、飛行制御部161は、過去の撮像画像内にて撮影されていた所定の車両が、新たに撮影した撮像画像内に存在していない場合、異常として判定する。飛行制御部161は、離着陸地点Dに到達した時に着陸タスクを実行する。
【0039】
操作装置20は、例えばタブレットPC又はノートPC等である。操作装置20は、第2操作部21、第2表示部22、第2音声出力部23、第2通信部24、第2記憶部25及び第2制御部26等を有する。
【0040】
第2操作部21は、ボタン、タッチパネル、キーボード等の入力装置及び入力装置から信号を取得するインタフェース回路を有し、利用者による操作を受け付け、受け付けた操作に応じた信号を第2制御部26へ出力する。第2表示部22は、液晶ディスプレイ又は有機ELディスプレイ等であり、第2制御部26からの指示に従って画像、テキスト等の各情報を表示する。第2音声出力部23は、例えばスピーカ等であり、第2制御部26からの指示に従って音声を出力する。
【0041】
第2通信部24は、例えば無線信号を送受信するアンテナと、無線LAN等の無線通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インタフェース回路とを有し、アクセスポイントを介して第1通信ネットワークN1に接続する。または、第2通信部24は、例えばW-CDMA方式又はLTE方式等に準拠した通信インタフェース回路を有し、基地局及び移動体通信網等の通信ネットワークを介して第1通信ネットワークN1に接続する。または、第2通信部24は、例えばTCP/IP等に準拠した有線通信インタフェース回路を有し、第1通信ネットワークN1に接続する。第2通信部24は、第1通信ネットワークN1から受信したデータを第2制御部26へ出力し、第2制御部26から入力されたデータを第1通信ネットワークN1に送信する。
【0042】
第2記憶部25は、ROM、RAM等の半導体メモリ、磁気ディスク又はCD-ROM、DVD-ROM等の光ディスクドライブ及びその記録媒体を有する。第2記憶部25は、操作装置20を制御するためのコンピュータプログラム及び各種データを記憶し、第2制御部26との間でこれらの情報を入出力する。コンピュータプログラムは、CD-ROM、DVD-ROM等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第2記憶部25にインストールされてもよい。
また、第2記憶部25は、データとして、制限テーブル251及び操作環境情報252等を記憶する。制限テーブル251の詳細については後述する。操作環境情報252は、飛行ロボット10に対する操作装置20を用いた手動操作に関係する操作環境についての情報である。操作環境情報252は、飛行ロボット10の飛行エリアの天候又は明るさを示す飛行環境情報253、及び/又は、飛行ロボット10の操作者の資格、操作能力又は所属を示す操作者能力情報254を含む。
【0043】
第2制御部26は、CPU、MPU等のプロセッサと、ROM、RAM等のメモリと、その周辺回路とを有し、操作装置20の各種信号処理を実行する。第2制御部26は、プロセッサ上で動作するプログラムの機能モジュールとして実装される表示制御部261、モード設定部262、取得部263及び通知部264等を有する。なお、第2制御部26として、DSP、LSI、ASIC、FPGA等が用いられてもよい。
【0044】
表示制御部261は、第2通信部24を介してサーバSから、飛行ロボット10から送信された撮像画像と、飛行ロボット10の現在位置及び/又は現在姿勢とを定期的に受信する。表示制御部261は、受信した撮像画像、現在位置及び/又は現在姿勢を第2記憶部25に記憶するとともに第2表示部22に表示する。また、表示制御部261は、経路情報152を、第2通信部24を介してサーバSに送信し、サーバSを介して飛行ロボット10に登録する。また、表示制御部261は、飛行ロボット10の飛行モードが手動操作モードに設定されている場合、第2操作部21を用いて操作者から飛行ロボット10の手動操作を受け付ける。表示制御部261は、受け付けた手動操作に対応する操作信号を、第2通信部24を介してサーバSに送信し、サーバSを介して飛行ロボット10に送信することにより、飛行ロボット10の飛行を制御する。モード設定部262は、飛行ロボット10の飛行モードとして、飛行ロボットが自律して飛行する自律飛行モード、及び、操作装置20を用いた手動操作に従って飛行する手動飛行モードのうちの何れかを設定する。また、モード設定部262は、操作環境情報252に基づいて、操作環境情報252が所定の条件を満たす場合、手動飛行モードに対して制限を行う。取得部263は、現在の操作環境情報252を取得し、第2記憶部25に記憶する。通知部264は、飛行ロボット10の操作者に、手動飛行モードに対する制限に関する警告を通知する。処理の詳細については後述する。
【0045】
管理装置30は、例えばパーソナルコンピュータ又はサーバ等である。管理装置30は、第3操作部31、第3表示部32、第3音声出力部33、第3通信部34、第3記憶部35及び第3制御部36等を有する。
【0046】
第3操作部31は、タッチパネル、キーボード等の入力装置及び入力装置から信号を取得するインタフェース回路を有し、利用者による操作を受け付け、受け付けた操作に応じた信号を第3制御部36へ出力する。第3表示部32は、液晶ディスプレイ又は有機ELディスプレイ等であり、第3制御部36からの指示に従って画像、テキスト等の各情報を表示する。第3音声出力部33は、例えばスピーカ等であり、第3制御部36からの指示に従って音声を出力する。
【0047】
第3通信部34は、例えばTCP/IP等に準拠した通信インタフェース回路を有し、第2通信ネットワークN2に接続する。または、第3通信部34は、例えば無線信号を送受信するアンテナと、無線LAN等の無線通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インタフェース回路とを有し、アクセスポイントを介して第2通信ネットワークN2に接続する。第3通信部34は、第2通信ネットワークN2から受信したデータを第3制御部36へ出力し、第3制御部36から入力されたデータを第2通信ネットワークN2に送信する。
【0048】
第3記憶部35は、ROM、RAM等の半導体メモリ、磁気ディスク又はCD-ROM、DVD-ROM等の光ディスクドライブ及びその記録媒体を有する。第3記憶部35は、管理装置30を制御するためのコンピュータプログラム及び各種データを記憶し、第3制御部36との間でこれらの情報を入出力する。コンピュータプログラムは、CD-ROM、DVD-ROM等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第3記憶部35にインストールされてもよい。
【0049】
第3制御部36は、CPU、MPU等のプロセッサと、ROM、RAM等のメモリと、その周辺回路とを有し、管理装置30の各種信号処理を実行する。第3制御部36は、プロセッサ上で動作するプログラムの機能モジュールとして実装される許可部361等を有する。なお、第3制御部36として、DSP、LSI、ASIC、FPGA等が用いられてもよい。
【0050】
許可部361は、第3通信部34を介してサーバSから、飛行ロボット10から送信された撮像画像と、飛行ロボット10の現在位置及び/又は現在姿勢とを定期的に受信する。許可部361は、受信した撮像画像、現在位置及び/又は現在姿勢を第3記憶部35に記憶するとともに第3表示部32に表示する。また、許可部361は、経路情報152を、第3通信部34を介してサーバSに送信し、サーバSを介して飛行ロボット10に登録する。
【0051】
図3は、制限テーブル251のデータ構造の一例を示す図である。
図3に示すように、制限テーブル251には、飛行環境情報253毎に且つ/又は操作者能力情報254毎に、手動飛行モードに対する制限事項が設定されている。飛行環境情報253に示される天候が「降雨/降雪」であるか「強風」であるか「その他」であるか、及び、明るさが「暗い」であるか「明るい」であるかに応じて、手動飛行モードに対する制限事項が設定される。さらに、操作者能力情報254に示される操作者の資格が「なし」であるか「あり」であるか、操作能力が「低」であるか「高」であるか、及び、所属が警備会社以外である「所属B」であるか警備会社である「所属A」であるかに応じて、手動飛行モードに対する制限事項が設定される。手動飛行モードに対する制限事項として、自律飛行モードから手動飛行モードへの飛行モードの「変更制限」、手動飛行モードにおける飛行ロボットの水平移動、高度変更もしくは旋回などの手動操作の一部の操作を制限する「操作制限」、又は、「制限なし」の何れかが設定される。制限事項が「操作制限」である場合、制限事項として、さらに制限される一部の操作(水平移動、高度変更又は旋回)が設定されてもよい。
【0052】
図3に示すように、天候が悪い場合は天候が良い場合より制限が厳しくなり、暗い場合は明るい場合より制限が厳しくなる。即ち、飛行環境情報253に示される飛行環境が悪い場合は良い場合より制限が厳しくなる。これにより、飛行ロボット制御システム1は、飛行環境が悪い場合に、操作装置20を用いた飛行ロボット10の手動操作を制限できる。
また、操作者の資格がない場合はある場合より制限が厳しくなり、操作者の操作能力が低い場合は高い場合より制限が厳しくなり、操作者の所属が厳格に管理されたグループでない場合は厳格に管理されたグループである場合より制限が厳しくなる。即ち、操作者能力情報254に示される操作者能力が低い場合は高い場合より制限が厳しくなる。これにより、飛行ロボット制御システム1は、操作者のスキルが低い場合に、操作装置20を用いた飛行ロボット10の手動操作を制限できる。
【0053】
図4は、操作装置20による設定処理の動作の例を示すフローチャートである。このフローチャートは、予め第2記憶部25に記憶されているプログラムに基づいて、主に第2制御部26により、操作装置20の各要素と協働して実行される。
【0054】
まず、モード設定部262は、第2操作部21を用いて操作者から飛行ロボット10の飛行モードの変更指示を受け付けるまで待機する(ステップS101)。
飛行モードの変更指示を受け付けた場合、モード設定部262は、指示された、変更後の飛行モードが手動飛行モードであるか自律飛行モードであるかを判定する(ステップS102)。
変更後の飛行モードが自律飛行モードである場合、モード設定部262は、第2操作部21を用いて操作者からタスクの指定をさらに受け付ける。モード設定部262は、第1制御信号を、第2通信部24を介してサーバSに送信し、サーバSを介して飛行ロボット10に送信する。第1制御信号は、飛行モードを自律飛行モードに設定することを要求するための信号であり、第1制御信号には、モード設定部262が受け付けたモードが含まれる。これにより、モード設定部262は、飛行ロボット10の飛行モードとして、自律飛行モードを設定するとともに、複数のタスクの中から、飛行ロボット10に実行させるタスクを設定し(ステップS103)、ステップS101へ処理を戻す。
【0055】
一方、変更後の飛行モードが手動飛行モードである場合、取得部263は、現在の操作環境情報を取得し、第2記憶部25に記憶する(ステップS104)。取得部263は、例えば、第2操作部21を用いて操作者から現在の操作環境情報を受け付けることにより取得する。取得部263は、操作環境情報のうち、飛行環境情報を気象庁のサーバ等から受信することにより取得してもよい。また、取得部263は、飛行環境情報の明るさを現在の季節又は現在時刻に基づいて推定することにより取得してもよい。また、操作装置20は、管制員毎に操作者能力情報を予め第2記憶部25に記憶しておいてもよい。その場合、取得部263は、操作装置20に対するアクセスを受け付けた時に管制員の識別情報を用いたログインを要求し、受け付けた識別情報に対応する操作者能力情報を第2記憶部25から読み出すことにより取得する。このように、取得部263は、操作環境情報として、飛行環境情報と操作者能力情報との組合せを取得する。これにより、飛行環境と操作者能力の組合せに応じて、操作装置20を用いた飛行ロボット10の手動操作をより適切に制限できる。
【0056】
次に、取得部263は、飛行ロボット10の実行中のタスクを示すタスク情報を取得し、第2記憶部25に記憶する(ステップS105)。例えば、取得部263は、タスク情報の取得を要求するためのタスク情報取得要求を、第2通信部24を介してサーバSへ送信する。サーバSは、操作装置20からの指示、管理装置30からの指示、警備装置Tの通知信号又は予め定められたスケジュールに従って飛行ロボット10に設定した最新のタスクを飛行ロボット10の実行中のタスクとして特定する。サーバSは、特定したタスクを示すタスク情報を操作装置20に送信する。取得部263は、タスク情報を、第2通信部24を介してサーバSから受信することにより取得する。なお、飛行ロボット10にタスクを設定する装置が操作装置20のみである場合、取得部263は、ステップS103で設定したタスクを飛行ロボット10の実行中のタスクとして特定してもよい。
【0057】
次に、取得部263は、飛行ロボット10の飛行エリアにおける現在の警備状態を取得し、第2記憶部25に記憶する(ステップS106)。取得部263は、例えば、警備装置Tの現在の警備状態の取得を要求するための警備状態取得要求を、第2通信部24を介してサーバSへ送信し、第2通信部24を介してサーバSから現在の警備状態を受信することにより取得する。
【0058】
次に、モード設定部262は、操作環境情報が変更制限条件を満たすか否かを判定する(ステップS107)。モード設定部262は、制限テーブル251を参照し、取得部262により取得された操作環境情報、即ち飛行環境情報と操作者能力情報との組合せに対応する制限事項を特定する。モード設定部262は、特定した制限事項が「変更制限」である場合、操作環境情報が変更制限条件を満たすと判定し、特定した制限事項が「変更制限」でない場合、操作環境情報が変更制限条件を満たさないと判定する。変更制限条件は、所定の条件の一例である。
【0059】
タスク情報及び警備状態が変更制限条件を満たす場合、モード設定部262は、自律飛行モードから手動飛行モードへの飛行モードの変更を制限することにより、手動飛行モードに対して制限を行うことを決定する(ステップS108)。
【0060】
手動飛行モードに対して制限を行うことを決定した場合、モード設定部262は、第1解除要求信号を、第2通信部24を介してサーバSに送信し、サーバSを介して管理装置30に送信する(ステップS109)。第1解除要求信号は、自律飛行モードから手動飛行モードへの飛行モードの変更の制限の解除を要求するための信号である。管理装置30の許可部361は、第3通信部34を介してサーバSから第1解除要求信号を受信した場合、自律飛行モードから手動飛行モードへの飛行モードの変更の制限の解除が要求された旨を第3表示部32に表示して管制員に通知する。許可部361は、管制員から第3操作部31を用いて制限の解除を許可する指示を受け付けた場合、第1解除許可信号を、第3通信部34を介してサーバSに送信し、サーバSを介して操作装置20に送信する。第1解除許可信号は、自律飛行モードから手動飛行モードへの飛行モードの変更の制限の解除を許可するための信号である。一方、許可部361は、管制員から第3操作部31を用いて制限の解除を拒否する指示を受け付けた場合、第1解除拒否信号を、第3通信部34を介してサーバSに送信し、サーバSを介して操作装置20に送信する。第1解除拒否信号は、自律飛行モードから手動飛行モードへの飛行モードの変更の制限の解除を拒否するための信号である。これにより、モード設定部262は、第2通信部24を介してサーバSから、管理装置30から送信された第1解除許可信号又は第1解除拒否信号を受信する。
【0061】
次に、モード設定部262は、第2通信部24を介してサーバSから第1解除許可信号を受信したか否かを判定する(ステップS110)。
【0062】
第1解除拒否信号を受信した場合、通知部264は、飛行ロボット10の操作者に、手動飛行モードに対する制限に関する警告を通知し(ステップS111)、ステップS101へ処理を戻す。通知部264は、自律飛行モードから手動飛行モードへの飛行モードの変更を制限する警告を第2表示部22に表示することにより、又は、第2音声出力部23から出力することにより、操作者に通知する。通知部264は、さらに、手動飛行モードに対する制限が行われた理由(飛行エリアの天候もしくは明るさ、又は、操作者の資格、操作能力もしくは所属)を操作者に通知してもよい。これらにより、操作者は、手動飛行モードへ変更できないこと及びその理由を認識することができる。この場合、モード設定部262は、飛行ロボット10に手動飛行モードを設定せず、自律飛行モードから手動飛行モードへの飛行モードの変更を実行しない。これにより、飛行ロボット制御システム1は、飛行環境が悪い場合、又は、操作者のスキルが低い場合に、飛行ロボット10の手動操作自体を制限できる。
【0063】
一方、第1解除許可信号を受信した場合、モード設定部262は、自律飛行モードから手動飛行モードへの飛行モードの変更の制限を解除することにより、手動飛行モードに対する制限を解除する(ステップS112)。これにより、飛行ロボット制御システム1は、飛行環境が悪い場合、又は、操作者のスキルが低い場合でも、緊急事態が発生した場合に、操作者に飛行ロボット10を手動で操作させることができ、緊急事態に対して柔軟に対応させることができる。
次に、モード設定部262は、第2制御信号を、第2通信部24を介してサーバSに送信し、サーバSを介して飛行ロボット10に送信する。第2制御信号は、飛行モードを手動飛行モードに設定することを要求するための信号である。これにより、モード設定部262は、飛行ロボット10の飛行モードとして、手動飛行モードを設定し(ステップS113)、ステップS101へ処理を戻す。
【0064】
一方、ステップS107において操作環境情報が変更制限条件を満たさなかった場合、モード設定部262は、操作環境情報が操作制限条件を満たすか否かを判定する(ステップS114)。モード設定部262は、制限テーブル251を参照し、取得部262により取得された操作環境情報、即ち飛行環境情報と操作者能力情報との組合せに対応する制限事項を特定する。モード設定部262は、特定した制限事項が「操作制限」である場合、操作環境情報が操作制限条件を満たすと判定し、特定した制限事項が「操作制限」でない場合、操作環境情報が変更制限条件を満たさないと判定する。操作制限条件は、所定の条件の一例である。
【0065】
操作環境情報が操作制限条件を満たす場合、モード設定部262は、手動飛行モードにおける飛行ロボット10の水平移動、高度変更又は旋回を制限することにより、手動飛行モードに対して制限を行うことを決定する(ステップS115)。
【0066】
手動飛行モードに対して制限を行うことを決定した場合、モード設定部262は、第2解除要求信号を、第2通信部24を介してサーバSに送信し、サーバSを介して管理装置30に送信する(ステップS116)。第2解除要求信号は、手動飛行モードにおける飛行ロボット10の水平移動、高度変更又は旋回の制限の解除を要求するための信号である。管理装置30の許可部361は、第3通信部34を介してサーバSから第2解除要求信号を受信した場合、手動飛行モードにおける飛行ロボット10の水平移動、高度変更又は旋回の制限の解除が要求された旨を第3表示部32に表示して管制員に通知する。許可部361は、管制員から第3操作部31を用いて制限の解除を許可する指示を受け付けた場合、第2解除許可信号を、第3通信部34を介してサーバSに送信し、サーバSを介して操作装置20に送信する。第2解除許可信号は、手動飛行モードにおける飛行ロボット10の水平移動、高度変更又は旋回の制限の解除を許可するための信号である。一方、許可部361は、管制員から第3操作部31を用いて制限の解除を拒否する指示を受け付けた場合、第2解除拒否信号を、第3通信部34を介してサーバSに送信し、サーバSを介して操作装置20に送信する。第2解除拒否信号は、手動飛行モードにおける飛行ロボット10の水平移動、高度変更又は旋回の制限の解除を拒否するための信号である。これにより、モード設定部262は、第2通信部24を介してサーバSから、管理装置30から送信された第2解除許可信号又は第2解除拒否信号を受信する。
【0067】
次に、モード設定部262は、第2通信部24を介してサーバSから第2解除許可信号を受信したか否かを判定する(ステップS117)。
【0068】
第2解除拒否信号を受信した場合、通知部264は、飛行ロボット10の操作者に、手動飛行モードに対する制限に関する警告を通知する(ステップS118)。通知部264は、手動飛行モードにおける飛行ロボット10の水平移動、高度変更又は旋回を制限する警告を第2表示部22に表示することにより、又は、第2音声出力部23から出力することにより、操作者に通知する。通知部264は、さらに、手動飛行モードに対する制限が行われる操作(水平移動、高度変更又は旋回)及び理由を操作者に通知してもよい。これらにより、操作者は、手動飛行モードにおいて所定の操作を実行できないこと及びその理由を認識することができる。
【0069】
次に、モード設定部262は、第2制御信号を、第2通信部24を介してサーバSに送信し、サーバSを介して飛行ロボット10に送信する。これにより、モード設定部262は、飛行ロボット10の飛行モードとして、手動飛行モードを設定し(ステップS113)、ステップS101へ処理を戻す。この場合、モード設定部262は、手動飛行モードにおいて飛行ロボット10の水平移動、高度変更又は旋回を制限することを第2制御信号で指定する。これにより、飛行ロボット制御システム1は、飛行環境が悪い場合、又は、操作者のスキルが低い場合に、飛行ロボット10の手動操作の一部を制限できる。
【0070】
一方、第2解除許可信号を受信した場合、モード設定部262は、手動飛行モードにおいて飛行ロボット10の水平移動、高度変更又は旋回の制限を解除することにより、手動飛行モードに対する制限を解除する(ステップS119)。これにより、飛行ロボット制御システム1は、飛行環境が悪い場合、又は、操作者のスキルが低い場合でも、緊急事態が発生した場合に、操作者に飛行ロボット10を手動で操作させることができ、緊急事態に対して柔軟に対応させることができる。
次に、モード設定部262は、第2制御信号を、第2通信部24を介して飛行ロボット10に送信し、サーバSを介して飛行ロボット10に送信する。これにより、モード設定部262は、飛行ロボット10の飛行モードとして、手動飛行モードを設定し(ステップS113)、ステップS101へ処理を戻す。この場合、モード設定部262は、手動飛行モードにおいて飛行ロボット10の水平移動、高度変更又は旋回を制限することを第2制御信号で指定しない。
【0071】
また、ステップS114において操作環境情報が変更制限条件を満たさなかった場合、モード設定部262は、第2制御信号を、第2通信部24を介して飛行ロボット10に送信し、サーバSを介して飛行ロボット10に送信する。これにより、モード設定部262は、飛行ロボット10の飛行モードとして、手動飛行モードを設定し(ステップS113)、ステップS101へ処理を戻す。
以上により、設定処理の説明を終了する。
【0072】
なお、ステップS107、S114において、モード設定部262は、飛行環境情報及び操作者能力情報に基づいて評価値を算出し、算出した評価値に基づいて操作環境情報が変更制限条件又は操作制限条件を満たすか否かを判定してもよい。
例えば、操作装置20において、飛行エリアの天候及び明るさ、並びに、飛行ロボット10の操作者の資格、操作能力及び所属のそれぞれについて、手動操作の危険度が予め設定される。天候の危険度は、天候が悪いほど高くなるように設定される。明るさの危険度は、暗いほど高くなるように設定される。資格の危険度は、資格がない場合に、資格がある場合より高くなるように設定される。能力の危険度は、能力が低いほど高くなるように設定される。所属の危険度は、所属が厳格に管理されたグループでない場合に、所属が厳格に管理されたグループである場合より高くなるように設定される。
モード設定部262は、飛行環境情報に示される各値の危険度の合計又は平均値を評価値として算出する。モード設定部262は、算出した評価値が第1閾値以上である場合、操作環境情報が変更制限条件を満たすと判定する。また、モード設定部262は、算出した評価値が第1閾値より低い第2閾値以上である場合、操作環境情報が操作制限条件を満たすと判定する。第1閾値及び第2閾値は、予め設定される。この場合も、飛行ロボット制御システム1は、飛行ロボット10の手動操作を適切に制限できる。
【0073】
また、ステップS107、S114において、モード設定部262は、操作環境情報と、取得部263により取得されたタスク情報との組合せが、変更制限条件又は操作制限条件を満たすか否かを判定してもよい。
例えば、上記した例と同様に、操作装置20において、飛行エリアの天候及び明るさ、並びに、飛行ロボット10の操作者の資格、操作能力及び所属のそれぞれについて、手動操作の危険度が設定される。さらに、タスク毎に、各タスクを優先して実行すべき度合いを示す優先度が設定される。例えば、優先度は、帰還タスク、追跡タスク、検知移動タスク、指定地点移動タスク、巡回タスクの順に高くなるように(帰還タスクの優先度が最も高くなり、巡回タスクの優先度が最も低くなるように)設定される。
モード設定部262は、飛行環境情報に示される各値の危険度の合計又は平均値と、飛行ロボット10の実行中のタスクの優先度との合計を評価値として算出する。モード設定部262は、算出した評価値が第1閾値以上である場合、操作環境情報及びタスク情報の組合せが変更制限条件を満たすと判定する。また、モード設定部262は、算出した評価値が第1閾値より低い第2閾値以上である場合、操作環境情報及びタスク情報の組合せが操作制限条件を満たすと判定する。第1閾値及び第2閾値は、予め設定される。これにより、飛行ロボット制御システム1は、帰還タスク、追跡タスク、検知移動タスク等の緊急性が高いタスクの実行中は手動操作を制限しつつ、指定地点移動タスク、巡回タスク等の緊急性が低いタスクの実行中は手動操作を柔軟に許可することができる。
【0074】
また、ステップS107、S114において、モード設定部262は、操作環境情報と、取得部263により取得された警備状態との組合せが、変更制限条件又は操作制限条件を満たすか否かを判定してもよい。
例えば、上記した例と同様に、操作装置20において、飛行エリアの天候及び明るさ、並びに、飛行ロボット10の操作者の資格、操作能力及び所属のそれぞれについて、手動操作の危険度が設定される。さらに、警備状態毎に、各警備状態において手動操作が実行されることによる危険度が設定される。例えば、各警備状態における危険度は、異常状態、警戒解除状態、有人警戒セット状態、無人警戒セット状態、対処状態の順に高くなるように(異常状態における危険度が最も高くなり、対処状態における危険度が最も低くなるように)設定される。
モード設定部262は、飛行環境情報に示される各値の危険度の合計又は平均値と、飛行ロボット10の飛行エリアの現在の警備状態における危険度との合計又は平均値を評価値として算出する。モード設定部262は、算出した評価値が第1閾値以上である場合、操作環境情報及び警備状態の組合せが変更制限条件を満たすと判定する。また、モード設定部262は、算出した評価値が第1閾値より低い第2閾値以上である場合、操作環境情報及び警備状態の組合せが操作制限条件を満たすと判定する。第1閾値及び第2閾値は、予め設定される。これにより、飛行ロボット制御システム1は、異常状態等の非常事態では手動操作を制限しつつ、警戒解除状態、有人警戒セット状態、無人警戒セット状態等の異常が発生していない状態では、手動操作を柔軟に許可することができる。また、飛行ロボット制御システム1は、対処状態のように、警備員により既に対処が行われている場合、又は、飛行ロボット10によるサポートが必要な場合に、操作者による手動操作を許可することができる。また、飛行ロボット制御システム1は、警戒解除状態、有人警戒セット状態のように飛行エリアに人物が存在する場合には手動操作を制限して人物のプライバシーを保護しつつ、無人警戒セット状態のように人物が存在しない場合には手動操作を柔軟に許可することができる。
なお本実施形態では、監視エリアA1内に一つの監視対象物件Bのみ存在している例を用いて説明しているため、当該監視対象物件Bの監視状態に基づいて飛行エリアA2内における手動操作を制限している。しかし、これに限らず、監視エリアA1内に複数の監視対象物件が存在している場合については、警備状態が異常状態等となっている監視対象物件の上空エリアにおいてのみ手動操作を制限してもよい。
【0075】
また、ステップS105の処理、ステップS106の処理、ステップS109、S110、S112の処理、ステップS116、S117、S119の処理、ステップS111の処理、及び/又は、ステップS118の処理は省略されてもよい。
【0076】
以上説明したように、飛行ロボット制御システム1は、特定の箇所を重点的に確認したい場合又は飛行ロボット10が追跡対象を見失ってしまった場合等に、飛行ロボット10の飛行モードを手動飛行モードに設定することにより、飛行ロボット10を適切に制御できる。一方、飛行ロボット制御システム1は、操作環境情報に基づいて手動飛行モードに対して制限を行うことにより、飛行環境又は操作者のスキルに応じて、飛行ロボット10の手動操作を適切に制限できる。したがって、飛行ロボット制御システム1は、自律して飛行する飛行ロボット10に対する、操作装置20を用いた手動操作を適切に制限することが可能となる。ひいては、飛行ロボット制御システム1は、自律飛行と手動飛行を併用する場合においても、飛行ロボットの安全運用を実現することができる。
【0077】
以上、好適な実施形態について説明したが、実施形態は上記した例に限定されない。例えば、操作環境情報は、飛行環境情報及び操作者能力情報のうちの何れか一方のみを含んでもよい。また、飛行環境情報は、飛行ロボット10の飛行エリアの天候及び明るさのうちの何れか一方のみを含んでもよい。また、操作者能力情報は、飛行ロボット10の操作者の資格、操作能力及び所属のうちの何れか一つ又は二つのみを含んでもよい。また、手動飛行モードに対する制限は、自律飛行モードから手動飛行モードへの飛行モードの変更、及び、手動飛行モードにおける飛行ロボット10の一部の操作(水平移動、高度変更もしくは旋回)のうちの何れか一方のみを含んでもよい。また、制限される一部の操作として、水平移動、高度変更又は旋回に限らず、手動操作における機体の傾き、旋回速度、移動速度などを制限してもよい。
【0078】
また、モード設定部262は、操作者により飛行ロボット10の飛行モードの変更が指示された場合に限らず、任意のタイミングで、手動飛行モードに対して制限を行ってもよい。例えば、モード設定部262は、飛行ロボット10が手動飛行モードで動作中に、最新の操作環境情報に基づいて、手動飛行モードに対して制限を行ってもよい。
【0079】
また、飛行ロボット制御システム1において、サーバSは省略されてもよい。その場合、飛行ロボット10、操作装置20、管理装置30及び/又は警備装置Tは、サーバSを介さずに相互に各情報を送受信する。
【0080】
また、飛行ロボット制御システム1において、操作装置20の代わりに、管理装置30が、手動飛行モードに対して制限を行ってもよい。その場合、管理装置30の第3記憶部35が、操作装置20の第2記憶部25が記憶する各情報を記憶するとともに、管理装置30の第3制御部36が、操作装置20の第2制御部26が有する各部を有し、
図4に示した設定処理を実行する。第3制御部36は、第3操作部31を用いて管理装置30の操作者により指定された各種情報を取得し、各種信号を第3通信部34及びサーバSを介して飛行ロボット10に送信する。また、モード設定部が、手動飛行モードに対して制限を行うことを決定した場合、許可部361は、制限の解除が要求された旨を第3表示部32に表示して管制員に通知する。許可部361が、管制員から第3操作部31を用いて制限の解除を許可又は拒否する指示を受け付けた場合、モード設定部は、手動飛行モードに対する制限を解除する。また、第3制御部36は、飛行ロボット10に手動飛行モードを設定した場合、その旨を、第3通信部34及びサーバSを介して操作装置20に送信し、操作装置20の操作者に通知する。また、第3制御部36は、手動飛行モードに対して制限を行った場合、警告を、第3通信部34及びサーバSを介して操作装置20に送信し、操作装置20の操作者に通知する。この場合も、飛行ロボット制御システム1は、自律して飛行する飛行ロボット10に対する、操作装置20を用いた手動操作を適切に制限することが可能となる。
【0081】
また、飛行ロボット制御システム1において、操作装置20の代わりに、飛行ロボット10が、手動飛行モードに対して制限を行ってもよい。その場合、飛行ロボット10の第1記憶部15が、操作装置20の第2記憶部25が記憶する各情報を記憶するとともに、飛行ロボット10の第1制御部16が、操作装置20の第2制御部26が有する各部を有し、
図4に示した設定処理を実行する。第1制御部16は、各種情報を、第1通信部14及びサーバSを介して操作装置20、管理装置30及び/又は警備装置Tから受信することにより取得し、第1記憶部15に設定する。また、第1制御部16は、各解除要求信号を、第1通信部14及びサーバSを介して管理装置30に送信し、各解除許可信号を、第1通信部14及びサーバSを介して管理装置30から受信する。また、第1制御部16は、飛行ロボット10に手動飛行モードを設定した場合、その旨を、第1通信部14及びサーバSを介して操作装置20に送信し、操作装置20の操作者に通知する。また、第1制御部16は、手動飛行モードに対して制限を行った場合、警告を、第1通信部14及びサーバSを介して操作装置20に送信し、操作装置20の操作者に通知する。この場合も、飛行ロボット制御システム1は、自律して飛行する飛行ロボット10に対する、操作装置20を用いた手動操作を適切に制限することが可能となる。
【0082】
本発明の一実施形態にかかる飛行ロボット制御システム及び飛行ロボット制御方法は、労働力人口減少や長時間労働などの社会課題の解決に貢献し得るものである。
また、本発明の一実施形態にかかる飛行ロボット制御システム及び飛行ロボット制御方法は、国連で採択された持続可能な開発目標(SDGs)の目標9「産業と技術革新の基盤をつくろう」に貢献することも可能となる。
【符号の説明】
【0083】
1 飛行ロボット制御システム、10 飛行ロボット、20 操作装置、30 管理装置、262 モード設定部、263 取得部、264 通知部