特開 2024-139777 ドローン監視制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024139777

(43)【公開日】2024-10-09

(54)【発明の名称】ドローン監視制御システム

(51)【国際特許分類】

   G08G 1/00 20060101AFI20241002BHJP

   G08G 5/00 20060101ALI20241002BHJP

   H04N 7/18 20060101ALI20241002BHJP

【ＦＩ】

G08G1/00 D

G08G5/00 A

H04N7/18 D

【審査請求】有

【請求項の数】14

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024051644

(22)【出願日】2024-03-27

(31)【優先権主張番号】63/454,857

(32)【優先日】2023-03-27

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】390023582

【氏名又は名称】財團法人工業技術研究院

【氏名又は名称原語表記】ＩＮＤＵＳＴＲＩＡＬ ＴＥＣＨＮＯＬＯＧＹ ＲＥＳＥＡＲＣＨ ＩＮＳＴＩＴＵＴＥ

【住所又は居所原語表記】Ｎｏ．１９５，Ｓｅｃ．４，ＣｈｕｎｇＨｓｉｎｇＲｄ．，Ｃｈｕｔｕｎｇ，Ｈｓｉｎｃｈｕ，Ｔａｉｗａｎ ３１０４０

(74)【代理人】

【識別番号】110000408

【氏名又は名称】弁理士法人高橋・林アンドパートナーズ

(72)【発明者】

【氏名】チェン イユアン

(72)【発明者】

【氏名】リン チェンシュアン

(72)【発明者】

【氏名】イェア シンティエン

【テーマコード（参考）】

5C054

5H181

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054CE00

5C054CF08

5C054FC01

5C054FC12

5C054FC14

5C054FC15

5C054HA19

5H181AA20

5H181AA26

5H181BB04

5H181BB19

5H181CC04

5H181FF11

5H181FF21

5H181FF32

(57)【要約】      （修正有）

【課題】作業効率を向上させ、人的資源を削減することができるドローン監視制御システムを提供する。
【解決手段】ドローン監視制御システムは、ドローン、ドローンを運ぶように構成された移動車両、演算装置、および表示装置を含む。ドローンは作業ペイロードとカメラを搭載する。ドローンは、作業ペイロードの出力作業を実行する。演算装置は、カメラによって撮像された第１画像に従って第１環境画像を出力し、目標物の目標位置及び３Ｄ地形データを含む作業データセットに従ってドローンの飛行軌跡及び移動車両の移動軌跡を生成し、飛行軌跡に従ってドローンが設定位置に移動するように制御し、目標位置と設定位置との間の距離が予め設定された距離未満である場合に、ドローンが設定位置に留まるように制御する。表示装置は、第１環境画像と３Ｄ地形データを表示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業ペイロードおよび少なくとも１つのカメラが配置された少なくとも１つのドローンであって、前記少なくとも１つのカメラは、第１画像を撮像するように構成され、前記少なくとも１つのドローンは前記作業ペイロードの出力作業を実行するように構成された、少なくとも１つのドローンと、
前記少なくとも１つのドローンを運ぶように構成された少なくとも１つの移動車両と、
前記少なくとも１つのドローンに接続された演算装置であって、前記少なくとも１つのカメラによって撮像された第１画像に従って第１環境画像を出力し、前記出力作業に対応する作業データセットに従って前記少なくとも１つのドローンの飛行軌跡及び前記少なくとも１つの移動車両の移動軌跡を生成するように構成され、前記作業データセットは、目標物の目標位置と、目標位置の三次元地形データとを含み、前記演算装置は、前記飛行軌跡に従って設定された設定位置に移動するように前記少なくとも１つのドローンを制御し、前記目標位置と前記設定位置との間の距離が予め設定された距離未満である場合に、設定位置に留まるように前記少なくとも１つのドローンを制御するように構成される、演算装置と、
前記演算装置に接続された表示装置であって、前記第１環境画像と前記３次元地形データを表示するように構成された表示装置と、を含む、
ドローン監視制御システム。

【請求項2】

前記少なくとも１つのカメラは、前記少なくとも１つのドローンの異なる位置にそれぞれ配置された複数のカメラであり、前記複数のカメラは、それぞれ、複数の初期画像を取得するように構成され、
前記演算装置は、前記複数の初期画像に基づいて、異なる視野に対応する複数のサブ画像を生成し、前記複数のサブ画像を前記第１環境画像に結合するようにさらに構成される、
請求項１に記載のドローン監視制御システム。

【請求項3】

前記演算装置は、前記少なくとも１つのカメラによって撮像された前記第１画像に対して画像認識を実行して目標物の画像を取得し、前記目標物の画像および前記目標物の基準サイズに従って、前記目標位置と前記設定位置との間の距離を決定するようにさらに構成される、
請求項１に記載のドローン監視制御システム。

【請求項4】

前記予め設定された距離は、前記目標物の高さよりも小さい、
請求項１に記載のドローン監視制御システム。

【請求項5】

前記目標物の高さは予め設定された高さより小さく、前記予め設定された距離は前記目標物の高さより小さくない、
請求項１に記載のドローン監視制御システム。

【請求項6】

前記作業データセットは、前記目標物の種類、前記少なくとも１つの移動車両の複数の駐車位置候補、前記少なくとも１つのドローンの利用可能な飛行時間、前記目標位置における現在の風向および現在の風速、並びに前記目標物の既定の作業時間のうちの少なくとも１つをさらに含む、
請求項１に記載のドローン監視制御システム。

【請求項7】

前記演算装置は、前記少なくとも１つのドローンの出力作業に対応する作業プロセス、前記少なくとも１つのドローンの最短飛行時間、前記少なくとも１つのドローンの離陸位置および着陸位置、前記作業ペイロードの補充タイミング、前記少なくとも１つのドローンの充電時間、および前記少なくとも１つのドローンの充電サイクル数のうちの少なくとも１つを、前記作業データセットに従って生成するようにさらに構成される、
請求項６に記載のドローン監視制御システム。

【請求項8】

前記演算装置は、前記飛行軌跡及び前記移動軌跡を生成するために、前記作業データセットに対して、粒子群最適化アルゴリズム、遺伝的アルゴリズム及びアントコロニー最適化アルゴリズムのうちの少なくとも１つを実行する、
請求項１に記載のドローン監視制御システム。

【請求項9】

前記演算装置は、前記少なくとも１つのドローンの出力作業、前記少なくとも１つのドローンの最短飛行時間、前記少なくとも１つのドローンの離陸位置および着陸位置、前記作業ペイロードの補充タイミング、前記少なくとも１つのドローンの充電時間、および前記少なくとも１つのドローンの充電サイクル数に対応する作業プロセスの少なくとも１つを生成するために、前記作業データセットに対して粒子群最適化アルゴリズム、遺伝的アルゴリズム、およびアントコロニー最適化アルゴリズムの少なくとも１つを実行する、
請求項７に記載のドローン監視制御システム。

【請求項10】

前記演算装置は、前記少なくとも１つのドローンを制御して前記設定位置に留まるようにした後に、前記少なくとも１つのドローンを制御して前記出力作業を実行するようにさらに構成される、
請求項１に記載のドローン監視制御システム。

【請求項11】

前記演算装置は、前記少なくとも１つのドローンを制御して前記出力作業を実行する前に、前記少なくとも１つのカメラを制御して第２画像を撮像し、前記少なくとも１つのドローンを制御して前記出力作業を実行した後に、前記少なくとも１つのカメラを制御して第３の画像を撮像し、前記第２画像と前記第３の画像とを比較して前記目標物の清浄度レベルを決定するようにさらに構成される、
請求項１０に記載のドローン監視制御システム。

【請求項12】

前記少なくとも１つのドローンは、複数のドローンであり、前記少なくとも１つの移動車両は、複数の移動車両であり、前記複数の移動車両は、前記複数のドローンをそれぞれ運ぶように構成され、前記演算装置は、前記複数のドローンのうちの第１ドローンの前記作業ペイロードが予め設定されたペイロードよりも低いと判定した場合、前記演算装置は、前記複数のドローンのうちの第２ドローンを制御して、前記第１ドローンの出力作業を実行するようにさらに構成される、
請求項１０に記載のドローン監視制御システム。

【請求項13】

前記少なくとも１つのドローンは、複数のドローンであり、前記少なくとも１つの移動車両は、複数の移動車両であり、前記複数の移動車両は、前記複数のドローンをそれぞれ運ぶように構成され、前記演算装置が、前記複数のドローンのうちの第１ドローンの電力が予め設定された電力よりも低いと判定した場合、前記演算装置は、前記複数のドローンのうちの第２ドローンを制御して、前記第１ドローンの出力作業を実行するようにさらに構成される、
請求項１０に記載のドローン監視制御システム。

【請求項14】

前記表示装置は、前記目標位置と前記設定位置との間の距離、現在の風速、現在の風向、現在の気温および現在の光方向のうちの少なくとも１つを表示するようにさらに構成される、
請求項１に記載のドローン監視制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ドローン監視制御システムに関する。

【背景技術】

【0002】

空気中の水分、塩分、ホコリの存在により、高圧送電塔、風力タービンのブレード、高層ビルのガラスなど、さまざまな設備の表面には汚れが付着しやすい。

【発明の概要】

【0003】

従って、本開示は、ドローン監視制御システムを提供する。

【0004】

本開示の一実施形態によるドローン監視制御システムは、少なくとも１つのドローンと、少なくとも１つの移動車両と、演算装置と、表示装置とを含む。少なくとも１つのドローンには、作業ペイロード及び少なくとも１つのカメラが配置され、少なくとも１つのカメラは、第１画像を撮像するように構成され、少なくとも１つのドローンは、作業ペイロードの出力作業を実行するように構成される。少なくとも１つの移動車両は、少なくとも１つのドローンを運ぶように構成される。演算装置は、少なくとも１つのドローンに接続され、演算装置は、少なくとも１つのカメラによって撮像された第１画像に従って第１環境画像を出力し、出力操作に対応する作業データセットに従って少なくとも１つのドローンの飛行軌跡及び少なくとも１つの移動車両の移動軌跡を生成するように構成される、ここで、作業データセットは、目標物の目標位置と、目標位置の三次元地形データとを含み、演算装置は、飛行軌跡に従って設定位置に移動するように少なくとも１つのドローンを制御し、目標位置と設定位置との間の距離が予め設定された距離未満である場合に、設定位置に留まるように少なくとも１つのドローンを制御するようにさらに構成される。表示装置は、演算装置に接続され、表示装置は、第１環境画像及び３次元地形データを表示するように構成される。

【0005】

以上の説明から、本開示の１つ以上の実施形態に係るドローン監視制御システムによれば、作業効率を向上させ、人的資源を削減することができる。

【図面の簡単な説明】

【0006】

本開示は、以下に示す詳細な説明および添付の図面からより完全に理解されるであろう。詳細な説明および添付の図面は、例示のためにのみ与えられており、したがって、本開示を限定するものではない。

【図1】本開示の一実施形態によるドローン監視制御システムを示すブロック図である。

【図2】本開示の一実施形態によるドローン監視制御システムを示す概略図である。

【図3】本開示の別の実施形態によるドローン監視制御システムを示すブロック図である。

【図4】図４（ａ）～（ｃ）は、異なる視野に対応するサブ画像を示す模式図であり、図４（ｄ）は、第１環境画像を示す模式図である。

【図5】本開示のさらに別の実施形態によるドローン監視制御システムを示すブロック図である。

【図6】本開示の一実施形態による、ドローンの協力を制御するかどうかを決定するための概略曲線図である。

【発明を実施するための形態】

【0007】

以下の詳細な説明では、説明のために、開示された実施形態の十分な理解を提供するために、多数の具体的な詳細を記載する。明細書に開示された説明、特許請求の範囲および図面によれば、当業者は本発明の概念および特徴を容易に理解することができる。以下の実施形態は、本発明の様々な態様をさらに説明するものであるが、本発明の範囲を限定するものではない。

【0008】

図１を参照されたい、ここで、図１は、本開示の実施形態によるドローン監視及び制御システムを示すブロック図である。図１に示すように、ドローン監視制御システム１は、少なくとも１つのドローン１０と、少なくとも１つの移動車両１１と、演算装置１２と、表示装置１３とを含む。演算装置１２は、ドローン１０及び表示装置１３に接続されている。

【0009】

ドローン１０は、作業ペイロードと、少なくとも１つのカメラ１０１とを備える。カメラ１０１は、第１画像を撮像するように構成される。カメラ１０１は、全方向性カメラであってもよく、カメラ１０１によって撮像された全方向性の画像（第１画像）が第１環境画像として用いられてもよく、複数のカメラ１０１が存在してもよく、異なる方向のカメラによって撮像された画像（第１画像）が第１環境画像につなぎ合わされてもよい。ドローン１０は、作業ペイロードの出力操作を行うように構成されている。ドローン監視制御システム１が高所清掃作業に使用される場合、作業ペイロードは、水または洗浄液などの液体、または圧縮空気または電気エネルギー蓄積装置を含んでもよく、ドローン監視制御システム１が高層塔の脱錆に使用される場合、作業ペイロードは、錆除去塗料またはレーザー錆除去用の電気エネルギー蓄積装置を含んでもよい。本開示は、作業ペイロードの内容を限定するものではない。出力作業は、目標物への水、洗浄液、錆取り塗料またはエアジェットの噴霧、目標物への指向性電磁波エネルギー（レーザーなど）、音波エネルギーの照射などを含み得る。目標物としては、送電塔（緊張支持型送電塔、懸垂型送電塔等）、風車、高塔、高層ビル、太陽電池パネル等が挙げられる。さらに、目標物としては、電気塔の碍子、風車のブレード、タワーや高層ビルのガラスなどが挙げられる。

【0010】

移動車両１１は、ドローン１０を支持するように構成された着陸台を有してもよい。換言すれば、移動車両１１は、ドローン１０を搭載してドローン１０を設定された場所に届け、その後、ドローン１０が作業ペイロードの出力作業を実行してもよい。設定された場所は、ドローン１０が出力作業を行う場所であってもよく、設定された場所は、ドローン１０の既定の離陸場所と後述する目標場所との間に位置してもよい。移動車両１１は、自動車、船舶、飛行船、自転車及びオートバイのうちの１つ以上を含み得る。

【0011】

演算装置１２は、カメラ１０１によって撮像された第１画像に従って第１環境画像を出力するように構成されており、演算装置１２は、カメラ１０１によって撮像された複数の第１画像を第１環境画像に継ぎ合わせてもよい。演算装置１２は、出力操作に対応する作業データセットに従って、ドローン１０の飛行軌跡及び移動車両１１の移動軌跡を生成し、作業データセットは、目標物の目標位置及び目標位置の３次元地形データを含む。目標物の数は、１つ以上であってもよく、本開示はこれに限定されない。演算装置１２は、粒子群最適化（ＰＳＯ）アルゴリズム、遺伝的アルゴリズム、およびアントコロニー最適化（ＡＣＯ）アルゴリズムのうちの少なくとも１つを作業データセットに対して実行し、飛行軌跡および移動軌跡を生成してもよい。

【0012】

例えば、目標物は送電塔であり、出力作業は送電塔の清掃であり、目標位置は送電塔の座標（例えば、緯度及び経度等）を含み、三次元地形データは目標位置の高度、目標物の高さ及び周囲の障害物の高さ等を含み、飛行軌跡は、上述した既定の離陸位置から目標位置まで飛行するドローン１０の軌跡を含み、移動軌跡は、現在位置から既定の離陸位置まで移動する移動車両１１の軌跡を含み、既定の離陸位置と目標位置との間の距離は、第１プリセット距離より大きくない。

【0013】

演算装置１２は、飛行軌跡に従って設定された場所に移動するようにドローン１０を制御し、目標位置と設定された場所との間の距離が第２プリセット距離よりも小さい場合に、設定された場所に留まるようにドローン１０を制御するようにさらに構成される。演算装置１２は、ドローン１０が設定位置に留まるように制御した後に、ドローン１０が出力作業を行うように制御するようにさらに構成されてもよい。換言すれば、ドローン１０が設定された位置に留まるとき、ドローン１０は、出力作業の実行を開始してもよい。カメラ１０１がデプスカメラである場合、演算装置１２は、カメラ１０１を用いてドローン１０と目標物との間の距離を算出してもよく、カメラ１０１がデプスカメラでない場合、演算装置１２は、カメラ１０１によって撮像された第１画像に対して画像認識を実行して目標物の画像を取得し、目標物の画像と目標物の基準サイズ（実寸）とに応じて目標位置と設定位置との間の距離を決定してもよい。例えば、演算装置１２は、画像における目標物のサイズと目標物の基準サイズとに応じて縮小率を算出し、縮小率に応じて目標位置と設定位置との間の距離を決定してもよい。設定位置は、飛行軌跡の目的地であってもよく、飛行軌跡の始点は、移動車両１１の移動軌跡の目的地（すなわち、デフォルトの離陸位置）であってもよい。

【0014】

目標物の高さがプリセット高さより小さくない場合、第１プリセット距離は第２プリセット距離と等しいか、または第２プリセット距離より大きくてもよく、第２プリセット距離は目標物の高さより小さくてもよい。目標物の高さがプリセット高さより小さい場合、第１プリセット距離は第２プリセット距離と等しいかそれより小さくてもよく、第２プリセット距離は目標物の高さより小さくなくてもよい。例えば、目標物が送電塔である場合、目標物の高さはプリセット高さより小さくなく、目標物がソーラーパネルである場合、目標物の高さはプリセット高さより小さい。プリセット高さは５０メートル、第１プリセット距離は４０メートル、第２プリセット距離は２メートルから３メートルである。本明細書に記載の高さおよびプリセット距離の値は単なる例示であり、本開示はこれに限定されない。

【0015】

演算装置１２は、移動車両１１に配置されてもよく、演算装置１２はまた、クラウド演算装置であってもよい。演算装置１２は、１つまたは複数のプロセッサを含むことができ、プロセッサは、例えば、中央処理装置、グラフィック処理装置、マイクロコントローラ、プログラマブルロジックコントローラ、または信号処理機能を有する任意の他のプロセッサである。

【0016】

表示装置１３は、演算装置１２が出力した第１環境画像及び三次元地形データを受信し、第１環境画像及び三次元地形データを表示する。表示装置１３によって表示される三次元地形データは、文字、数字、地形パターンのうちの１つ以上を含むことができる。また、演算装置１２は、気象庁または環境観測所等のサーバに接続し、目標地点における現在の風速、現在の風向、現在の気温、現在の光方向を取得してもよい。さらに、表示装置１３は、目標位置と設定位置との間の距離、目標位置における現在の風速、目標位置における現在の風向、目標位置における現在の気温、目標位置における現在の光方向、ドローンの残りの作業ペイロード、およびドローンの残りの電力を表示するようにさらに構成されてもよい。一実施形態において、表示装置１３は、少なくとも１つ又は複数のフラットパネルモニタ、湾曲モニタ、プロジェクタ、ヘッドマウント表示装置又はこれらの組み合わせであってもよい。

【0017】

本開示の１つまたは複数の実施形態によるドローン監視制御システムによって、作業効率が向上し、人的資源が削減される可能性がある。

【0018】

一実施形態において、作業データセットは、目標物の種類、移動車両１１の複数の駐車位置候補、ドローン１０の利用可能な飛行時間、目標位置における現在の風向及び現在の風速、及び目標物のデフォルトの操作時間のうちの少なくとも１つをさらに含み得る。演算装置１２は、目標位置に最も近い駐車位置候補のうちの１つをデフォルトの離陸位置として使用してもよい。さらに、作業データセットは、操作範囲（例えば、目標位置を中心とし、第２プリセット距離を半径とする範囲）における目標物と同じ種類の物体の位置、当該物体の種類（例えば、電圧の種類、碍子の数、碍子の紐の数および碍子の掛け方等）、および出力操作等の推定操作継続時間をさらに含んでもよい。演算装置１２は、さらに、作業データセットに従って、出力操作に対応するドローン１０の操作プロセス、ドローン１０の最短飛行時間、ドローン１０の既定の離陸位置及び既定の着陸位置、作業ペイロードの補充タイミング、ドローン１０の充電時間、及びドローン１０の充電サイクル数の少なくとも１つを生成してもよく、演算装置１２は、作業データセットに対して、粒子群最適化アルゴリズム、遺伝的アルゴリズム、及びアントコロニー最適化アルゴリズムのうちの少なくとも１つを実行して、上述の操作プロセスなどのデータを生成し得る。

【0019】

従って、ドローン監視制御システムは、出力操作の空間情報、目標位置及びドローンの耐久性に基づいて、ドローンの飛行軌跡、飛行回数、作業ペイロードの補充タイミング、バッテリーの交換回数等を計画することを含む出力操作を計画することができる。

【0020】

一実施形態において、演算装置１２は、ドローン１０を制御して出力作業を実行する前に、カメラ１０１を制御して第２画像を撮像し、ドローン１０を制御して出力作業を実行した後に、カメラ１０１を制御して第３の画像を撮像し、第２画像と第３の画像とを比較して目標物の清浄度レベルを決定してもよい。具体的には、演算装置１２は、第２画像における複数のブロックと、第３の画像における複数の対応するブロックとを比較して、清浄度レベルを決定してもよい。或いは、演算装置１２は、色特徴値及びスケール不変特徴変換（ＳＩＦＴ）特徴値アルゴリズムを通じて、清浄な目標物画像及び清浄でない目標物画像の分類を学習し、その後、第３の画像の対応する清浄度レベルを決定してもよい。

【0021】

図１及び図２を参照されたい、図２は、本開示の一実施形態によるドローン監視及び制御システムを例示する概略図である。図２は、図１に対応する例示的な概略図を示す。図２に示されるように、移動車両１１は、ドローン１０を運ぶように構成された着陸プラットフォーム１１１を含んでもよく、表示装置１３は、移動車両１１の内部に配置される。図２の例では、演算装置１２はクラウド演算装置であるが、演算装置１２は移動車両１１の内部に配置されてもよく、本開示はこれに限定されない。

【0022】

さらに、ドローン監視制御システムは、移動車両１１の内部に配置された供給チャンバをさらに含んでもよい。供給チャンバは、作業ペイロードを備えてもよい。したがって、ドローン１０が着陸プラットフォーム１１１に着陸すると、ドローン１０の作業ペイロードが補給されてもよい。

【0023】

図３を参照されたい、ここで、図３は、本開示の別の実施形態によるドローン監視及び制御システムを示すブロック図である。図３に示すように、ドローン監視制御システム２は、少なくとも１つのドローン２０と、少なくとも１つの移動車両２１と、演算装置２２と、表示装置２３とを含む。演算装置２２は、ドローン２０及び表示装置２３に接続されている。移動車両２１、演算装置２２及び表示装置２３は、それぞれ、図１及び図２に示す移動車両１１、演算装置１２及び表示装置１３と同じであってもよく、それらの詳細は本明細書では繰り返さない。

【0024】

ドローン２０は、第１カメラ２０１及び第２カメラ２０２を含む。第１カメラ２０１及び第２カメラ２０２は、演算装置２２に接続されている。第１カメラ２０１及び第２カメラ２０２は、それぞれ、ドローン２０の異なる位置に配置される。第１カメラ２０１及び第２カメラ２０２は、複数の初期画像を取得するように構成される。演算装置２２はさらに、異なる視野を有する初期画像を使用して第１環境画像を生成するように構成される。言い換えれば、第１カメラ２０１は、第１初期画像を取得するように構成されてもよく、第２カメラ２０２は、第２初期画像を取得するように構成されてもよい。演算装置２２は、第１初期画像及び第２初期画像に対して画像追跡アルゴリズムを実行して、第１初期画像及び第２初期画像内の目標物及びドローン２０の少なくとも一方を決定し、第１初期画像及び第２初期画像を第１環境画像に繋ぎ合わせてもよい。

【0025】

図３に示したカメラの数は単なる一例であり、ドローンのカメラの数は２つ以上であってもよく、本開示はこれに限定されないことに留意すべきである。

【0026】

図４（ａ）～図４（ｄ）を参照されたい、図４（ａ）～図４（ｃ）は、異なる視野に対応するサブ画像を示す概略図であり、図４（ｄ）は、第１環境画像を示す概略図である。図４（ａ）は、カメラがドローン２０内に配置される、第１視野に対応する第１サブ画像を示し、図４（ｂ）は、カメラが別のドローンの外側に配置される、第２視野に対応する第２サブ画像を示し、図４（ｃ）は、カメラが移動車両の外側に配置される、第３の視野に対応する第３のサブ画像を示す。第１視野は、ドローン２０の正面図であってもよく、第２視野は、別のドローンの上面図であってもよく、第３の視野は、移動車両の正面図であってもよい。図４（ｄ）に示される第１環境画像は、演算装置が複数の初期画像を変形及びスプライシングすることによって生成された画像であってもよい。演算装置は、第１サブ画像から第３のサブ画像の各々が目標物Ａ１及びドローン２０の少なくとも一方を提示するように、カメラによって撮像された画像に対して画像追跡アルゴリズムを実行してもよい。さらに、上述したように、ドローン２０のカメラはデプスカメラであってもよく、演算装置は、カメラを通じて第１サブ画像に対応する深度情報を決定してもよく、さらに、演算装置は、第２サブ画像及び第３のサブ画像に対して画像認識を実行して、ドローン２０と目標物Ａ１との間の距離を決定してもよい。

【0027】

図４（ｄ）に示すように、表示装置によって表示される第１環境画像は、第１サブ画像ＩＭＧ１～第５のサブ画像ＩＭＧ５を含んでもよい。例えば、第１サブ画像ＩＭＧ１は、図４（ａ）に示すような第１サブ画像であってもよく、第２サブ画像ＩＭＧ２は、図４（ｂ）に示すような第２サブ画像であってもよく、第３サブ画像ＩＭＧ３は、図４（ｃ）に示すような第３サブ画像であってもよく、第４サブ画像ＩＭＧ４は、正面図に対応する画像であってもよく、第５サブ画像ＩＭＧ５は、背面図に対応する画像であってもよい。なお、第１サブ画像ＩＭＧ１～第５サブ画像ＩＭＧ５の例は単なる例示であり、本開示は、各サブ画像の視野や、第１環境画像における各サブ画像の配置位置を限定するものではない。

【0028】

また、第１サブ画像ＩＭＧ１～第５サブ画像ＩＭＧ５のうちの複数が、複数方向の複数のカメラによって撮像された画像であってもよい。例えば、前記複数の方向は、カメラの正面視、背面視、右側面視、左側面視、平面視、及び底面視を含むことができる。

【0029】

図５を参照されたい、ここで、図５は、本開示のさらに別の実施形態によるドローン監視制御システムを示すブロック図である。図５に示すように、ドローン監視制御システム３は、第１ドローン３０と、第１移動車両３１と、第２ドローン３２と、第２移動車両３３と、演算装置３４と、表示装置３５とを含む。演算装置３４は、第１ドローン３０、第２ドローン３２及び表示装置３５に接続されている。演算装置３４及び表示装置３５は、それぞれ図１及び図２に示す演算装置１２及び表示装置１３と同じであってもよく、それらの詳細は本明細書では繰り返さない。

【0030】

第１移動車両３１は第１ドローン３０を運ぶように構成され、第２移動車両３３は第２ドローン３２を運ぶように構成される。第１ドローン３０にはカメラ３０１が配置され、第２ドローン３２にはカメラ３２１が配置される。第１ドローン３０及び第２ドローン３２は、図１及び図２に示すドローン１０と同じであってもよく、カメラ３０１及び３２１は、図１及び図２に示すカメラ１０１と同じであってもよい。

【0031】

演算装置３４は、第１ドローン３０及び第２ドローン３２のうち、第１ドローン３０の作業ペイロードが予め設定されたペイロードよりも低いと判定した場合に、第１ドローン３０の出力作業を行うように第２ドローン３２を制御するように構成され得る。

【0032】

具体的には、演算装置３４は、作業ペイロードの残量、電力残量及び飛行軌跡等を含む全ての操作しているドローンの状態情報を収集し、収集された情報に従って、各操作の出力作業を再度計画することができる。例えば、演算装置３４が、第１ドローン３０の作業ペイロードが予め設定されたペイロードより低いと判定した場合、第２ドローン３２の作業ペイロードは予め設定されたペイロードより低くなく、第２ドローン３２の作業ペイロードは、第１ドローン３０の残りの出力作業の少なくとも一部を継続するのに十分であり、演算装置３４は、第１ドローン３０を制御して第１移動車両３１に戻り、第１ドローン３０の作業ペイロードを補充し、第２ドローン３２を制御して第１ドローン３０の残りの出力作業を引き継ぐことができる。

【0033】

さらに、第１ドローン３０及び第２ドローン３２のうち第１ドローン３０の電力がプリセット電力よりも低いと判定した場合、演算装置３４は、第２ドローン３２が第１ドローン３０の出力作業を行うように制御するように構成されてもよい。同様に、演算装置３４は、第１ドローン３０の電力がプリセット電力より低いと判定した場合、第２ドローン３２の電力がプリセット電力より低くなく、第１ドローン３０の残りの出力作業の少なくとも一部を引き継ぐのに十分であると判定した場合、演算装置３４は、第１ドローン３０を充電するために第１移動車両３１に戻るように第１ドローン３０を制御し、第１ドローン３０の残りの出力作業を引き継ぐように第２ドローン３２を制御してもよい。

【0034】

図５及び図６を参照されたい、ここで、図６は、本開示の一実施形態によるドローン連携を制御するか否かを決定するための概略曲線図である。図６は、第１ドローン３０の動作状態を示す。図６によれば、演算装置３４は、作業ペイロード及び電力の計画量と実際の搭載量との差、並びに出力作業の完了度合いを用いて、第１ドローン３０の残りの出力作業を引き継ぐように第２ドローン３２を制御するか否かを判定することができる。

【0035】

図６において、曲線Ｓ０は出力作業の完了度合いを表し、曲線Ｓ１は計画電力使用量を表し、曲線Ｓ１’は実際の電力使用量を表し、曲線Ｓ２は計画作業ペイロード使用量を表し、曲線Ｓ２’は実際の作業ペイロード使用量を表す。

【0036】

時点ｔ１を例にとると、曲線Ｓ１と曲線Ｓ１’との差が既定値よりも大きく、第１ドローン３０の電力が残りの出力作業を終了するのに十分でないと演算装置３４が判断した場合、演算装置３４は、第２ドローン３２の残りの電力に応じて、第１ドローン３０の残りの出力作業を引き継ぐように第２ドローン３２を制御するか否かを判断することができる。

【0037】

また、時点ｔ１を例にとると、曲線Ｓ２と曲線Ｓ２’との差が既定値よりも大きく、第１ドローン３０の作業ペイロードが残りの出力作業を終了するのに十分でないと演算装置３４が判断した場合、演算装置３４は、第２ドローン３２の残りの作業ペイロードに応じて、第１ドローン３０の残りの出力作業を引き継ぐように第２ドローン３２を制御するか否かを決定してもよい。

【0038】

図５に示した移動車両及び無人機の数は単なる一例であり、移動車両及びドローンの数は２つ以上であってもよく、ドローンの数は移動車両の数と異なっていてもよく、本開示はこれに限定されない。

【0039】

例えば、目標物の数が３つであってもよく、３つの目標位置はいずれも道路から遠く離れているため、ドローンの飛行距離が長くなる。したがって、演算装置は、出力作業を実行するために、１つの移動車両が２つのドローンを搭載する必要があると計算することができる。別の実施形態では、目標物の数は４つであり、４つの目標位置は全て道路に近く、これによりドローンの飛行距離が短くなる。したがって、演算装置は、１つの移動車両が出力作業を実行するために３つのドローンを運ぶ必要があると計算することができる。さらに、１台の移動車両に複数のドローンを配置した例では、ドローンの既定の離陸位置は互いに同じであってもよいし、互いに異なっていてもよく、ドローンの既定の着陸位置は互いに同じであってもよいし、互いに異なっていてもよい。

【0040】

以上のことから、本開示の一又は複数の実施形態に係るドローン監視制御システムによれば、作業効率の向上及び人的資源の削減を図ることができる。さらに、ドローン監視制御システムは、出力作業の空間情報及びドローンの耐久性等のデータに基づいて、ドローンの飛行軌跡、飛行回数、作業ペイロードの補充タイミング、バッテリーの交換回数等を計画することを含む、出力作業を計画してもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【外国語明細書】