特表 2024-510993 ネットワーク非依存の異種ロボット群を管理するための人工知能ベースのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-12

(54)【発明の名称】ネットワーク非依存の異種ロボット群を管理するための人工知能ベースのシステムおよび方法

(51)【国際特許分類】

   G05D 1/692 20240101AFI20240305BHJP

   G05D 1/24 20240101ALI20240305BHJP

   G05D 1/656 20240101ALI20240305BHJP

【ＦＩ】

G05D1/692

G05D1/24

G05D1/656

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023555704

(86)(22)【出願日】2022-03-11

(85)【翻訳文提出日】2023-10-17

(86)【国際出願番号】 IB2022052193

(87)【国際公開番号】W WO2022190048

(87)【国際公開日】2022-09-15

(31)【優先権主張番号】202141010296

(32)【優先日】2021-03-11

(33)【優先権主張国・地域又は機関】IN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．アンドロイド

２．ｉＯＳ

(71)【出願人】

【識別番号】523345600

【氏名又は名称】ニュースペース リサーチ アンド テクノロジーズ プライベート リミテッド

(74)【代理人】

【識別番号】100145241

【弁理士】

【氏名又は名称】鈴木 康裕

(72)【発明者】

【氏名】ラナ、アヌラグ

【テーマコード（参考）】

5H301

【Ｆターム（参考）】

5H301AA03

5H301AA10

5H301BB14

5H301CC03

5H301CC06

5H301CC10

5H301DD01

5H301DD07

5H301DD15

5H301GG07

5H301GG08

5H301GG09

5H301KK02

5H301KK03

5H301KK08

5H301KK17

5H301LL06

5H301LL11

5H301LL12

5H301LL14

(57)【要約】

ネットワーク非依存の異種ロボット群を管理するためのＡＩベースのシステムおよび方法が開示される。本方法は、１つ以上の電子機器（１０４）に関連するヒューマンマシンインターフェース（１０２）からコマンドセットを受信すること、自律型ロボットに関連する１つ以上のロボット能力を決定すること、および１つ以上のセンサ（１１２）を使用して１つ以上の位置パラメータを取得することを含む。本方法は、１つまたは複数のロボット能力および１つまたは複数の位置パラメータを１つまたは複数の自律型ロボット（１１０）の各々にブロードキャストすることと、１つまたは複数の自律型ロボット（１１０）に関連する１つまたは複数の状況パラメータを決定することとを含む。さらに、本方法は、１つ以上のターゲットを検出することと、１つ以上のタスク及び検出された１つ以上のターゲットを１つ以上の自律型ロボット（１１０）の間で割り当てることとを含む。
【選択図】 図６

【特許請求の範囲】

【請求項1】

ネットワーク非依存の異種ロボット群を管理するための人工知能（ＡＩ）ベースのコンピューティングシステム（１０６）であって、該コンピューティングシステムは、
１つまたは複数のハードウェアプロセッサと、
前記１つまたは複数のハードウェアプロセッサ（２０２）に結合されたメモリ（２０４）と、を備え、前記メモリ（２０４）は、前記１つまたは複数のハードウェアプロセッサ（２０２）によって実行可能なプログラマブル命令の形態の複数のモジュール（１１４）を備え、
前記複数のモジュール（１１４）は、
１つまたは複数の電子機器（１０４）に関連するヒューマンマシンインターフェース（１０２）から、１つまたは複数のターゲットにおいて１つまたは複数の自律型ロボット（１１０）を介して１つまたは複数のタスクを実行するためのコマンドセットを受信するように構成され、ここで、コマンドセットは、１つまたは複数の自律型ロボット（１１０）を介して１つまたは複数のタスクを実行するためにオペレータによって提供される１つまたは複数の高レベルコマンドから導出される、データ受信モジュール（２１０）と、
受信されたコマンドセットおよび予め定義されたロボット情報に基づいて、自律型ロボットに関連する１つまたは複数のロボット能力を決定するように構成され、ここで、１つまたは複数のロボット能力は、ペイロードのタイプ、センサのタイプ、速度、重量保持能力、コンフィグレーション、バッテリーレベル、クラス、および自律型ロボットの重量を含む、能力決定モジュール（２１２）と、
１つまたは複数のセンサ（１１２）を使用して１つまたは複数の位置パラメータを捕捉するように構成され、ここで、１つまたは複数の位置パラメータは、自律型ロボットの位置、自律型ロボットの予想位置、１つまたは複数のターゲットの１つまたは複数の画像、１つまたは複数のターゲットの１つまたは複数のビデオ、近接する他の自律型ロボットの画像のセット、他の自律型ロボットのビデオのセット、および周辺環境の１つまたは複数の音声を含む、パラメータ捕捉モジュール（２１４）と、
１つまたは複数の自律型ロボット（１１０）のそれぞれに、決定された１つまたは複数のロボット能力および捕捉された１つまたは複数の位置パラメータをブロードキャストするように構成されたブロードキャストモジュール（２１６）と、
ロボット管理ベースの人工知能（ＡＩ）モデルを使用することにより、ブロードキャストされた１つまたは複数のロボット能力およびブロードキャストされた１つまたは複数の位置パラメータ、受信されたコマンドセット、決定された１つまたは複数のロボット能力、および捕捉された１つまたは複数の位置パラメータの１つまたは複数の応答に基づいて、１つまたは複数の自律型ロボット（１１０）に関連する１つまたは複数の状況パラメータを決定するように構成され、ここで、１つまたは複数の状況パラメータは、ペイロードのタイプ、センサのタイプ、速度、可搬重量、クラス、１つまたは複数の自律型ロボット（１１０）の各々のバッテリーレベル、１つまたは複数の自律型ロボット（１１０）の各々の位置、１つまたは複数の自律型ロボット（１１０）の各々の予想位置、１つまたは複数のターゲットの１つまたは複数の画像、１つまたは複数のターゲットの１つまたは複数のビデオ、１つまたは複数の自律型ロボット（１１０）の画像のセット、１つまたは複数の自律型ロボット（１１０）のビデオのセット、１つまたは複数の自律型ロボット（１１０）のそれぞれに対する自律型ロボットの相対位置、周辺環境の１つまたは複数の音声を有する、パラメータ決定モジュール（２１８）と、
ロボット管理ベースのＡＩモデルを使用することにより、受信されたコマンドセット、決定された１つまたは複数のロボット能力、捕捉された１つまたは複数の位置パラメータ、および決定された１つまたは複数の状況パラメータに基づいて、１つまたは複数のターゲットを検出するように構成されたターゲット検出モジュール（２２０）と、
ロボット管理ベースのＡＩモデルを使用することにより、受信されたコマンドセット、決定された１つまたは複数のロボット能力、捕捉された１つまたは複数の位置パラメータ、決定された１つまたは複数の状況パラメータ、１つまたは複数のターゲットパラメータ、および予め定義された割当情報に基づいて、１つまたは複数のタスクおよび検出された１つまたは複数のターゲットを１つまたは複数の自律型ロボット（１１０）の間で割り当てるように構成され、ここで、１つまたは複数のターゲットパラメータは、１つまたは複数のターゲットの数、１つまたは複数のターゲットのそれぞれのサイズ、および１つまたは複数の自律型ロボット（１１０）のそれぞれに対応するセンサフットプリントを有する、タスク割当モジュール（２２２）と、
ロボット管理ベースのＡＩモデルを使用することにより、１つまたは複数の自律型ロボット（１１０）間の１つまたは複数のタスクおよび検出された１つまたは複数のタスクの割り当てに基づいて、検出された１つまたは複数のターゲットにおいて１つまたは複数のタスクを実行するように構成されたタスク実行モジュール（２２４）と、
を備えるコンピューティングシステム。

【請求項2】

１つまたは複数の高レベルコマンドは、１つまたは複数の自律型ロボット（１１０）によって実行される１つまたは複数のタスク、出発地、目的地、１つまたは複数のタスクを実行する時間、１つまたは複数の自律型機のそれぞれの役割および速度、地上からの高度、１つまたは複数の予め定義された条件、出発地から目的地までのナビゲーション経路、境界フェンス、１つまたは複数の中間位置、１つまたは複数のターゲット、安全領域および危険領域を表す予め定義されたコマンドセットを有し、ここで、１つまたは複数の高レベルコマンドは地理参照地図上に提供されることを特徴とする請求項１に記載のＡＩベースのコンピューティングシステム（１０６）。

【請求項3】

ロボット管理ベースのＡＩモデルを使用することにより、決定された１つまたは複数の状況パラメータに基づいて１つまたは複数の衝突パラメータを決定し、ここで、１つまたは複数の衝突パラメータは、１つまたは複数の自律型ロボット（１１０）の各々の互いに対する相対位置、１つまたは複数の自律型ロボット（１１０）の各々の間の自由空間、１つまたは複数の自律型ロボット（１１０）の各々の位置、予想位置および速度、ならびに、１つまたは複数の自律型ロボット（１１０）の各々の近傍にある１つまたは複数の障害物を含み、
決定された１つまたは複数の衝突パラメータ、閾値距離、受信されたコマンドセット、および決定された１つまたは複数の状況パラメータに基づいて、ロボット管理ベースのＡＩモデルを使用することにより、ナビゲーション経路上を移動中の１つまたは複数の自律型ロボット（１１０）の衝突を防止するための１つまたは複数のアクションを実行し、ここで、１つまたは複数のアクションは、左方向に移動、上方向に移動、右方向に移動、下方向に移動、および静止を含む、
ように構成されたアクション実行モジュール（２２６）をさらに備えることを特徴とする請求項１に記載のＡＩベースのコンピューティングシステム（１０６）。

【請求項4】

検出された１つまたは複数のターゲットにおいて１つまたは複数のタスクを実行する際に、１つまたは複数のセンサ（１１２）およびロボット管理ベースのＡＩモデルを使用することにより、１つまたは複数のタスクパラメータを決定し、ここで、１つまたは複数のタスクパラメータは、検出された１つまたは複数のターゲットにおいて自律型ロボットによって実行されたタスクの数、自律型ロボットによって捕捉された画像、ビデオおよび音声、検出された１つまたは複数のターゲットの近傍にある１つまたは複数の物体、および使用されたペイロードを含み、
決定された１つまたは複数のタスクパラメータを、１つまたは複数の自律型ロボット（１１０）のそれぞれにブロードキャストし、
ロボット管理ベースのＡＩを使用することにより、ブロードキャストされた１つまたは複数のタスクパラメータの１つまたは複数の応答に基づいて、１つまたは複数の自律型ロボット（１１０）に関連する１つまたは複数の最適化パラメータを決定し、ここで、１つまたは複数の最適化パラメータは、検出された１つまたは複数のターゲットにおいて１つまたは複数の自律型ロボット（１１０）の各々によって実行されたタスクの数、１つまたは複数の自律型ロボット（１１０）の各々によって捕捉された画像、ビデオおよび音声、検出された１つまたは複数のターゲットの近傍にある物体の集合、および１つまたは複数の自律型ロボット（１１０）の各々によって使用されるペイロードを含み、
決定された１つまたは複数のロボット能力、捕捉された１つまたは複数の位置パラメータ、決定された１つまたは複数の状況パラメータ、１つまたは複数のターゲットパラメータ、予め定義された割り当て情報、１つまたは複数の緊急コマンド、および決定された１つまたは複数の最適化パラメータに基づいて、ロボット管理ベースのＡＩモデルを使用することにより、１つまたは複数のタスクを効率的に実行するために受信したコマンドセットを最適化する、
ように構成されたタスク最適化モジュール（２２８）をさらに備える請求項１に記載のＡＩベースのコンピューティングシステム（１０６）。

【請求項5】

１つまたは複数の自律型ロボットの動的挙動をテストおよび再生することのうちの少なくとも１つに対して、三次元（３Ｄ）空間における１つまたは複数の自律型ロボット（１１０）の高忠実度表現を作成し、ここで、三次元（３Ｄ）空間における１つまたは複数の自律型ロボット（１１０）の作成された高忠実度表現は、仮想シミュレーション環境に対応し、
１つまたは複数の仮想タスクを作成し、仮想シミュレーション環境で仮説をテストし、
１つまたは複数のシミュレーションルールに基づいて、仮想シミュレーション環境でロボット管理ベースのＡＩモデルを訓練し、
オペレータを訓練するためのヒューマンマシンインターフェース（１０２）のテストと開発の少なくとも１つを行う、
ように構成された合成シミュレーションモジュール（２３０）をさらに備える請求項１に記載のＡＩベースのコンピューティングシステム（１０６）。

【請求項6】

ＡＩベースのコンピューティングシステム（１０６）は、１つまたは複数の自律型ロボット（１１０）からの１つの自律型ロボットに対応し、１つまたは複数の自律型ロボット（１１０）は、集合的に、１つまたは複数のタスクを協働して実行する異種群を形成し、異種群は、有人－無人チーム（ＭＵＭＴ）特性を達成するための有人および無人の自律型機の群に対応することを特徴とする請求項１に記載のＡＩベースのコンピューティングシステム（１０６）。

【請求項7】

１つまたは複数のセンサ（１１２）およびロボット管理ベースのＡＩモデルを使用することにより、自律型ロボットに関連する１つまたは複数のライブパラメータをリアルタイムで検出し、ここで、１つまたは複数のライブパラメータは、健康、飛行モード、現在のルーチン、ルーチンデータ、速度、自律型ロボットのバッテリー、自律型ロボットによって実行されるタスク、自律型ロボットの近傍の自律型ロボットの数、および周辺環境のマルチメディアデータを含み、
検出された１つまたは複数のライブパラメータを、１つまたは複数の電子機器（１０４）に関連付けられたヒューマンマシンインターフェース（１０２）に出力する、
ように構成されたライブデータ検出モジュール（２３２）をさらに備えることを特徴とする請求項１に記載のＡＩベースのコンピューティングシステム（１０６）。

【請求項8】

１つまたは複数の電子機器（１０４）は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、スマートフォン、ウェアラブルデバイス、スマートウォッチ、およびデジタルカメラを含み、ウェアラブルデバイスは、拡張現実ヘッドセットおよび仮想現実ヘッドセットを含み、拡張現実ヘッドセットおよび仮想現実ヘッドセットは、異種群とのインターフェースを可能にし、オペレータは、１つまたは複数の電子機器（１０４）を使用して、空間および時間にわたって展開した群れのセッションを再生することを特徴とする請求項１に記載のＡＩベースのコンピューティングシステム（１０６）。

【請求項9】

ネットワーク非依存の異種ロボット群を管理するための人工知能（ＡＩ）ベースの方法であって、
１つまたは複数のハードウェアプロセッサ（２０２）によって、１つまたは複数の電子機器（１０４）に関連付けられたヒューマンマシンインターフェース（１０２）から、１つまたは複数のターゲットにおいて１つまたは複数の自律型ロボット（１１０）を介して１つまたは複数のタスクを実行するためのコマンドセットを受信するステップであって、コマンドセットは、１つまたは複数の自律型ロボット（１１０）を介して１つまたは複数のタスクを実行するためにオペレータによって提供される１つまたは複数の高レベルコマンドから導出されるステップと、
１つまたは複数のハードウェアプロセッサ（２０２）によって、受信されたコマンドセットおよび事前に定義されたロボット情報に基づいて、自律型ロボットに関連付けられた１つまたは複数のロボット能力を決定するステップであって、１つまたは複数のロボット能力は、ペイロードのタイプ、センサのタイプ、速度、重量保持能力、コンフィグレーション、バッテリーレベル、クラス、および自律型ロボットの重量を含むステップと、
１つまたは複数のハードウェアプロセッサ（２０２）によって、１つまたは複数のセンサ（１１２）を使用して１つまたは複数の位置パラメータを捕捉するステップであった、１つまたは複数の位置パラメータは、自律型ロボットの位置、自律型ロボットの予想位置、１つまたは複数のターゲットの１つまたは複数の画像、１つまたは複数のターゲットの１つまたは複数のビデオ、近接する他の自律型ロボットの画像のセット、他の自律型ロボットのビデオのセット、および周辺環境の１つまたは複数の音声を含むステップと、
１つまたは複数のハードウェアプロセッサ（２０２）によって、１つまたは複数の自律型ロボット（１１０）のそれぞれに、決定された１つまたは複数のロボット能力および捕捉された１つまたは複数の位置パラメータをブロードキャストするステップと、
１つまたは複数のハードウェアプロセッサ（２０２）によって、ロボット管理ベースの人工知能（ＡＩ）モデルを使用することにより、ブロードキャストされた１つまたは複数のロボット能力およびブロードキャストされた１つまたは複数の位置パラメータ、受信されたコマンドセット、決定された１つまたは複数のロボット能力、および捕捉された１つまたは複数の位置パラメータの１つまたは複数の応答に基づいて、１つまたは複数の自律型ロボット（１１０）に関連する１つまたは複数の状況パラメータを決定するステップであって、１つまたは複数の状況パラメータは、ペイロードのタイプ、センサのタイプ、速度、可搬重量、クラス、１つまたは複数の自律型ロボット（１１０）の各々のバッテリーレベル、１つまたは複数の自律型ロボット（１１０）の各々の位置、１つまたは複数の自律型ロボット（１１０）の各々の予想位置、１つまたは複数のターゲットの１つまたは複数の画像、１つまたは複数のターゲットの１つまたは複数のビデオ、１つまたは複数の自律型ロボット（１１０）の画像のセット、１つまたは複数の自律型ロボット（１１０）のビデオのセット、１つまたは複数の自律型ロボット（１１０）のそれぞれに対する自律型ロボットの相対位置、周辺環境の１つまたは複数の音声を有するステップと、
１つまたは複数のハードウェアプロセッサ（２０２）によって、ロボット管理ベースのＡＩモデルを使用することにより、受信されたコマンドセット、決定された１つまたは複数のロボット能力、捕捉された１つまたは複数の位置パラメータ、および決定された１つまたは複数の状況パラメータに基づいて、１つまたは複数のターゲットを検出するステップと、
１つ以上のハードウェアプロセッサ（２０２）によって、ロボット管理ベースのＡＩモデルを使用することにより、受信されたコマンドセット、決定された１つまたは複数のロボット能力、捕捉された１つまたは複数の位置パラメータ、決定された１つまたは複数の状況パラメータ、１つまたは複数のターゲットパラメータ、および予め定義された割り当て情報に基づいて、１つまたは複数のタスクおよび検出された１つまたは複数のターゲットを、１つ以上の自律型ロボット（１１０）間で割り当てるステップであって、１つまたは複数のターゲットパラメータは、１つまたは複数のターゲットの数、１つまたは複数のターゲットのそれぞれのサイズ、および１つまたは複数の自律型ロボット（１１０）のそれぞれに対応するセンサフットプリントを有するステップと、
１つまたは複数のハードウェアプロセッサ（２０２）によって、ロボット管理ベースのＡＩモデルを使用して、１つまたは複数の自律型ロボット（１１０）間の１つまたは複数のタスクおよび検出された１つまたは複数のタスクの割り当てに基づいて、検出された１つまたは複数のターゲットにおける１つまたは複数のタスクを実行するステップと、
を備える人工知能（ＡＩ）ベースの方法。

【請求項10】

１つまたは複数の高レベルコマンドは、１つまたは複数の自律型ロボット（１１０）によって実行される１つまたは複数のタスク、出発地、目的地、１つまたは複数のタスクを実行する時間、１つまたは複数の自律型機のそれぞれの役割および速度、地上からの高度、１つまたは複数の予め定義された条件、出発地から目的地までのナビゲーション経路、境界フェンス、１つまたは複数の中間位置、１つまたは複数のターゲット、安全領域および危険領域を表す予め定義されたコマンドセットを有し、１つまたは複数の高レベルコマンドが地理参照地図上に提供されることを特徴とする請求項９に記載のＡＩベースの方法。

【請求項11】

ロボット管理ベースのＡＩモデルを使用することにより、決定された１つまたは複数の状況パラメータに基づいて１つまたは複数の衝突パラメータを決定するステップであって、１つまたは複数の衝突パラメータは、１つまたは複数の自律型ロボット（１１０）の各々の互いに対する相対位置、１つまたは複数の自律型ロボット（１１０）の各々の間の自由空間、１つまたは複数の自律型ロボット（１１０）の各々の位置、予想位置および速度、ならびに１つまたは複数の自律型ロボット（１１０）の各々の近傍にある１つまたは複数の障害物を含むステップと、
決定された１つまたは複数の衝突パラメータ、閾値距離、受信されたコマンドセット、および決定された１つまたは複数の状況パラメータに基づいて、ロボット管理ベースのＡＩモデルを使用することにより、ナビゲーション経路上を移動中の１つまたは複数の自律型ロボット（１１０）の衝突を防止するための１つまたは複数のアクションを実行するステップであって、１つまたは複数のアクションは、左方向に移動、上方向に移動、右方向に移動、下方向に移動、および静止を含むステップと、
をさらに備えることを特徴とする請求項９に記載のＡＩベースの方法。

【請求項12】

検出された１つまたは複数のターゲットにおいて１つまたは複数のタスクを実行する際に、１つまたは複数のセンサ（１１２）およびロボット管理ベースのＡＩモデルを使用することにより、１つまたは複数のタスクパラメータを決定するステップであって、１つまたは複数のタスクパラメータは、検出された１つまたは複数のターゲットにおいて自律型ロボットによって実行されたタスクの数、自律型ロボットによって捕捉された画像、ビデオ、および音声、検出された１つまたは複数のターゲットの近傍にある１つまたは複数の物体、および使用されたペイロードを含むステップと、
決定された１つまたは複数のタスクパラメータを、１つまたは複数の自律型ロボット（１１０）のそれぞれにブロードキャストするステップと、
ロボット管理ベースのＡＩを使用することにより、ブロードキャストされた１つまたは複数のタスクパラメータの１つまたは複数の応答に基づいて、１つまたは複数の自律型ロボット（１１０）に関連する１つまたは複数の最適化パラメータを決定するステップであり、１つまたは複数の最適化パラメータは、検出された１つまたは複数のターゲットにおいて１つまたは複数の自律型ロボット（１１０）の各々によって実行されたタスクの数、１つまたは複数の自律型ロボット１１０の各々によって捕捉された画像、ビデオおよび音声、検出された１つまたは複数のターゲットの近傍にある物体の集合、および１つまたは複数の自律型ロボット（１１０）の各々によって使用されるペイロードを含むステップと、
決定された１つまたは複数のロボット能力、捕捉された１つまたは複数の位置パラメータ、決定された１つまたは複数の状況パラメータ、１つまたは複数のターゲットパラメータ、予め定義された割り当て情報、１つまたは複数の緊急コマンド、および決定された１つまたは複数の最適化パラメータに基づいて、ロボット管理ベースのＡＩモデルを使用することにより、１つまたは複数のタスクを効率的に実行するために受信されたコマンドセットを最適化するステップと、
をさらに備えることを特徴とする請求項９に記載のＡＩに基づく方法。

【請求項13】

１つまたは複数の自律型ロボットの動的挙動をテストおよび再生することのうちの少なくとも１つに対して、三次元（３Ｄ）空間における１つまたは複数の自律型ロボット（１１０）の高忠実度表現を作成するステップであって、三次元（３Ｄ）空間における１つまたは複数の自律型ロボット（１１０）の作成された高忠実度表現は、仮想シミュレーション環境に対応するステップと、
１つまたは複数の仮想タスクを作成し、仮想シミュレーション環境で仮説をテストするステップと、
１つまたは複数のシミュレーションルールに基づいて、仮想シミュレーション環境でロボット管理ベースのＡＩモデルを訓練するステップと、
オペレータを訓練するためのヒューマン・マシン・インタフェース（１０２）のテストと開発の少なくとも１つを行うステップと、
をさらに備えることを特徴とする請求項９に記載のＡＩベースの方法。

【請求項14】

ＡＩベースの方法は、１つまたは複数の自律型ロボット（１１０）からの１つの自律型ロボットによって実行され、１つまたは複数の自律型ロボット（１１０）は、集合的に、１つまたは複数のタスクを協働して実行する異種群を形成し、異種群は、有人－無人チーム化（ＭＵＭＴ）特性を達成するための有人および無人の自律型機の群に対応することを特徴とする請求項９に記載のＡＩベースの方法。

【請求項15】

決定された通信経路を介して出発地ノードから最善可能性ノードに要求を送信することは、１つまたは複数のセンサ（１１２）およびロボット管理ベースのＡＩモデルを使用することにより、自律型ロボットに関連する１つまたは複数のライブパラメータをリアルタイムで検出するステップであって、１つまたは複数のライブパラメータは、健康状態、飛行モード、現在のルーチン、ルーチンデータ、速度、自律型ロボットのバッテリー、自律型ロボットによって実行されるタスク、自律型ロボットの周辺にいる自律型ロボットの数、および周辺環境のマルチメディアデータを含むステップと、
検出された１つまたは複数のライブパラメータを、１つまたは複数の電子機器（１０４）に関連付けられたヒューマンマシンインターフェース（１０２）に出力するステップと、
を有することを特徴とする請求項９に記載のＡＩベースの方法。

【請求項16】

１つまたは複数の電子機器（１０４）は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、スマートフォン、ウェアラブルデバイス、スマートウォッチ、およびデジタルカメラを含み、ウェアラブルデバイスは、拡張現実ヘッドセットおよび仮想現実ヘッドセットを含み、拡張現実ヘッドセットおよび仮想現実ヘッドセットは、異種群とのインターフェースを可能にし、オペレータは、１つまたは複数の電子機器（１０４）を使用して、空間および時間にわたって展開した群れのセッションを再生することを特徴とする請求項９に記載のＡＩベースの方法。

【発明の詳細な説明】

【技術分野】

【0001】

最も早い優先日：
本出願は、２０２１年３月１１日にインドで出願された特許出願番号２０２１４１０１０２９６の仮特許出願からの優先権を主張するものであり、表題は「ネットワーク非依存の異種無人機群を管理するための人工知能ベースのシステムおよび方法」である。

【0002】

発明の分野
本開示の実施形態は、人工知能（ＡＩ）ベースのシステムに関し、より詳細には、ネットワーク非依存の異種ロボット群を管理するためのＡＩベースのシステムおよび方法に関する。

【背景技術】

【0003】

一般に、無人機のような自律型ロボットは、多くのアプリケーションシナリオ、特に、地域のパトロール、災害救助ミッション、イベントの監視モニタリングなどのような、人間には到達不可能または危険なシナリオで有用である。さらに、「群れ」とは、任意のタスクを実行するために協調して働く自律型ロボットの集合を指す。

【0004】

従来のアプローチでは、群れは「マスター・スレーブ」という役割ベースの方法を用いて協調する。この手法では、リーダー（マスター）自律型ロボットの周囲で群全体の動きを整然と制御する。群内の各自律型ロボットは、マスター自律型ロボットと関連する決定に従う。しかし、このアプローチには、マスター自律型ロボットが何らかの理由で機能不全に陥ったり、危険にさらされたりした場合に、群全体が機能不全に陥るという大きな欠点がある。

【0005】

群れを制御するための別のアプローチは、コマンドセンターを経由するもので、群れを形成する自律型ロボットの各セットはコマンドセンターから指示を受ける。このアプローチにも、通信ネットワークの可用性に関する制限がある。通信ネットワークがない場合や脆弱なネットワークでは、群れが機能しないため、地理的な到達範囲が大きく制限される。さらに、現在のスウォーミング・ソリューション（群れによる解決策）は、前述の制限のある同種の自律型ロボットからなる群れを管理することはできるが、異種の自律型ロボットからなる群れを制御することには効果がない。

【0006】

したがって、前述の問題に対処するために、ネットワーク非依存の異種ロボット群を管理するための、ＡＩに基づく改良されたシステムと方法が必要とされている。

【発明の概要】

【0007】

本概要は、本開示の詳細な説明においてさらに説明される概念の一部を簡単な方法で紹介するために提供される。本概要は、主題の重要または必須の発明概念を特定することを意図するものではなく、本開示の範囲を決定することを意図するものでもない。
本開示の一実施形態に従って、ネットワーク非依存の異種ロボット群を管理するための人工知能（ＡＩ）ベースのコンピューティングシステムが開示される。ＡＩベースのコンピューティングシステムは、１つ以上のハードウェアプロセッサと、１つ以上のハードウェアプロセッサに結合されたメモリとを含む。メモリは、１つ以上のハードウェアプロセッサによって実行可能なプログラマブル命令の形態の複数のモジュールを含む。複数のモジュールは、１つまたは複数の電子機器に関連するヒューマンマシンインターフェースから、１つまたは複数の自律型ロボットを介して１つまたは複数のタスクを１つまたは複数のターゲットで実行するためのコマンドセットを受信するように構成されたデータ受信モジュールを含む。コマンドセットは、１つまたは複数の自律型ロボットを介して１つまたは複数のタスクを実行するためにオペレータによって提供される１つまたは複数の高レベルコマンドから導出される。複数のモジュールはまた、受信されたコマンドセットおよび事前に定義されたロボット情報に基づいて、自律型ロボットに関連付けられた１つまたは複数のロボット能力を決定するように構成された能力決定モジュールを含む。１つ以上のロボット能力は、ペイロードのタイプ、センサのタイプ、速度、重量保持能力、コンフィグレーション、バッテリーレベル、クラス、自律型ロボットの重量から構成される。複数のモジュールは、１つ以上のセンサを使用して１つ以上の位置パラメータを捕捉するように構成されたパラメータ捕捉モジュールを含む。１つ以上の位置パラメータは、自律型ロボットの位置、自律型ロボットの予想位置、１つ以上のターゲットの１つ以上の画像、１つ以上のターゲットの１つ以上のビデオ、近接する他の自律型ロボットの１組の画像、他の自律型ロボットの１組のビデオ、周辺環境の１つ以上の音声を含む。さらに、複数のモジュールは、決定された１つまたは複数のロボット能力および捕捉された１つまたは複数の位置パラメータを、１つまたは複数の自律型ロボットのそれぞれにブロードキャストするように構成されたブロードキャストモジュールを含む。複数のモジュールはまた、ブロードキャストされた１つまたは複数のロボット能力およびブロードキャストされた１つまたは複数の位置パラメータ、受信されたコマンドセット、決定された１つまたは複数のロボット能力および捕捉された１つまたは複数の位置パラメータの１つまたは複数の応答に基づいて、ロボット管理に基づく人工知能（ＡＩ）モデルを使用することにより、１つまたは複数の自律型ロボットに関連付けられた１つまたは複数の状況パラメータを決定するように構成されたパラメータ決定モジュールを含む。１つまたは複数の状況パラメータは、１つまたは複数の自律型ロボットのそれぞれのペイロードのタイプ、センサのタイプ、速度、可搬重量、クラス、バッテリーレベル、１つまたは複数の自律型ロボットのそれぞれの位置、１つまたは複数の自律型ロボットのそれぞれの予想位置、１つまたは複数のターゲットの１つまたは複数の画像、１つまたは複数のターゲットの１つまたは複数の映像（ビデオ）、１つまたは複数の自律型ロボットの１組の映像、１つまたは複数の自律型ロボットの１組の映像、１つまたは複数の自律型ロボットの各々に対する自律型ロボットの相対位置、および周辺環境の１つまたは複数の音声を含む。さらに、複数のモジュールは、ロボット管理ベースのＡＩモデルを使用することにより、受信されたコマンドセット、決定された１つ以上のロボット能力、捕捉された１つ以上の位置パラメータ、および決定された１つ以上の状況パラメータに基づいて、１つ以上のターゲットを検出するように構成されたターゲット検出モジュールを含む。複数のモジュールは、ロボット管理ベースのＡＩモデルを使用することにより、受信したコマンドセット、決定された１つ以上のロボット能力、捕捉された１つ以上の位置パラメータ、決定された１つ以上の状況パラメータ、１つ以上のターゲットパラメータ、および予め定義された割り当て情報に基づいて、１つ以上のタスクおよび検出された１つ以上のターゲットを１つ以上の自律型ロボット間で割り当てるように構成されたタスク割当モジュールを含む。１つまたは複数のターゲットパラメータは、１つまたは複数のターゲットの数、１つまたは複数のターゲットのそれぞれのサイズ、および１つまたは複数の自律型ロボットのそれぞれに対応するセンサフットプリントを含む。複数のモジュールは、ロボット管理ベースのＡＩモデルを使用することにより、１つ以上のタスク及び１つ以上のタスクの１つ以上の自律型ロボット間の割り当てに基づいて、検出された１つ以上のターゲットにおいて１つ以上のタスクを実行するように構成されたタスク実行モジュールを含む。

【0008】

本開示の別の実施形態に従って、ネットワーク非依存の異種ロボット群を管理するための人工知能（ＡＩ）に基づく方法が開示される。ＡＩベースの方法は、１つまたは複数の電子機器に関連付けられたヒューマンマシンインターフェースから、１つまたは複数のターゲットで１つまたは複数の自律型ロボットを介して１つまたは複数のタスクを実行するためのコマンドセットを受信することを含む。コマンドセットは、１つまたは複数の自律型ロボットを介して１つまたは複数のタスクを実行するためにオペレータによって提供される１つまたは複数の高レベルコマンドから導出される。ＡＩベースの方法は、さらに、受信されたコマンドセットおよび予め定義されたロボット情報に基づいて、自律型ロボットに関連する１つまたは複数のロボット能力を決定することを含む。１つまたは複数のロボット能力は、ペイロードのタイプ、センサのタイプ、速度、重量保持能力、コンフィグレーション、バッテリーレベル、クラス、および自律型ロボットの重量を含む。さらに、ＡＩベースの方法は、１つまたは複数のセンサを用いて１つまたは複数の位置パラメータを捕捉することを含む。１つ以上の位置パラメータは、自律型ロボットの位置、自律型ロボットの予想位置、１つ以上のターゲットの１つ以上の画像、１つ以上のターゲットの１つ以上のビデオ、近接する他の自律型ロボットの１組の画像（画像のセット）、他の自律型ロボットの１組のビデオ（ビデオのセット）、周辺環境の１つ以上の音声を含む。また、ＡＩベースの方法は、決定された１つまたは複数のロボット能力および捕捉された１つまたは複数の位置パラメータを１つまたは複数の自律型ロボットの各々にブロードキャストすることを含む。さらに、ＡＩに基づく方法は、ロボット管理に基づく人工知能（ＡＩ）モデルを用いて、ブロードキャストされた１つまたは複数のロボット能力およびブロードキャストされた１つまたは複数の位置パラメータ、受信されたコマンドセット、決定された１つまたは複数のロボット能力および捕捉された１つまたは複数の位置パラメータの１つまたは複数の応答に基づいて、１つまたは複数の自律型ロボットに関連する１つまたは複数の状況パラメータを決定することを含む。１つ以上の状況パラメータは、ペイロードの種類、センサの種類、速度、可搬重量、クラス、１つまたは複数の自律型ロボットのそれぞれのバッテリーレベル、１つまたは複数の自律型ロボットのそれぞれの位置、１つまたは複数の自律型ロボットのそれぞれの予想位置、１つまたは複数のターゲットの１つまたは複数の画像、１つまたは複数のターゲットの１つまたは複数のビデオ、１つまたは複数の自律型ロボットの１組の画像、１つまたは複数の自律型ロボットの１組のビデオ、１つまたは複数の自律型ロボットの各々に対する自律型ロボットの相対位置、および周辺環境の１つまたは複数の音声を含む。また、ＡＩベースの方法は、ロボット管理ベースのＡＩモデルを使用することにより、受信されたコマンドセット、決定された１つ以上のロボット能力、捕捉された１つ以上の位置パラメータ、および決定された１つ以上の状況パラメータに基づいて、１つ以上のターゲットを検出することを含む。さらに、ＡＩベースの方法は、ロボット管理ベースのＡＩモデルを使用することにより、受信されたコマンドセット、決定された１つまたは複数のロボット能力、捕捉された１つまたは複数の位置パラメータ、決定された１つまたは複数の状況パラメータ、１つまたは複数のターゲットパラメータおよび予め定義された割り当て情報に基づいて、１つまたは複数のタスクおよび検出された１つまたは複数のターゲットを１つまたは複数の自律型ロボット間で割り当てることを含む。１つまたは複数のターゲットパラメータは、１つまたは複数のターゲットの数、１つまたは複数のターゲットの各々のサイズ、および１つまたは複数の自律型ロボットの各々に対応するセンサフットプリントを含む。本方法は、ロボット管理ベースのＡＩモデルを使用することにより、１つまたは複数の自律型ロボット間の１つまたは複数のタスクおよび検出された１つまたは複数のタスクの割り当てに基づいて、検出された１つまたは複数のターゲットにおいて１つまたは複数のタスクを実行することを含む。
本開示の利点および特徴をさらに明確にするために、本開示のより具体的な説明は、添付の図に示されるその具体的な実施形態を参照することによって後に続く。これらの図は、本開示の典型的な実施形態のみを示すものであり、したがって、範囲を限定するものではないと考えられることを理解されたい。本開示は、添付図を用いてさらに具体的かつ詳細に説明される。

【図面の簡単な説明】

【0009】

本開示は、添付の図を用いてさらに具体的かつ詳細に説明される。

【図1】図１は、本開示の一実施形態による、ネットワーク非依存の異種ロボット群を管理するための例示的なコンピューティング環境を示すブロック図である。

【図2】図２は、本開示の一実施形態による、ネットワーク非依存の異種ロボット群を管理するための例示的な人工知能（ＡＩ）ベースのコンピューティングシステムを示すブロック図である。

【図3】図３は、本開示の一実施形態に従った、１つ以上の自律型ロボット間のターゲットエリアの分割を示す例示的な絵画表現である。

【図4A】図４Ａは、本開示の実施形態による、例示的なアクション実行モジュールを示すブロック図である。

【図4B】図４Ｂは、本開示の一実施形態による、ネットワーク非依存の異種ロボット群を管理するためのＡＩベースのコンピューティングシステムの例示的な動作（オペレーション）を示すブロック図である。

【図5】図５は、本開示の別の実施形態による、ネットワーク非依存の異種ロボット群を管理するためのＡＩベースのコンピューティングシステムの例示的な動作を示す絵画的描写である。

【図6】図６は、本開示の一実施形態による、ネットワーク非依存の異種ロボット群を管理するための例示的なＡＩベースの方法を示すプロセスフロー図である。

【図7A】図７Ａ～７Ｃは、本開示の一実施形態による、ネットワーク非依存の異種ロボット群を管理するためのＡＩベースのコンピューティングシステムのグラフィカルユーザインターフェース画面である。

【図7B】図７Ａ～７Ｃは、本開示の一実施形態による、ネットワーク非依存の異種ロボット群を管理するためのＡＩベースのコンピューティングシステムのグラフィカルユーザインターフェース画面である。

【図7C】図７Ａ～７Ｃは、本開示の一実施形態による、ネットワーク非依存の異種ロボット群を管理するためのＡＩベースのコンピューティングシステムのグラフィカルユーザインターフェース画面である。さらに、当業者は、図中の要素は単純化のために図示されており、必ずしも縮尺通りに描かれていない場合があることを理解するであろう。さらに、装置の構造に関して、装置の１つまたは複数の構成要素は、従来の記号によって図に表されている場合があり、図は、本明細書の説明の利益を有する当業者には容易に明らかであろう詳細で図を不明瞭にしないように、本開示の実施形態を理解するのに適切な特定の詳細のみを示す場合がある。

【発明を実施するための形態】

【0010】

本開示の原理の理解を促進する目的で、次に、図に示された実施形態を参照し、特定の言葉を用いてそれらを説明する。それにもかかわらず、本開示の範囲の限定は、それによって意図されるものではないことが理解されるであろう。図示されたシステムにおけるそのような変更およびさらなる修正、ならびに当業者に通常生じるであろう本開示の原理のそのようなさらなる適用は、本開示の範囲内であると解釈される。前述の一般的な説明および以下の詳細な説明は、本開示の例示および説明であり、その制限を意図するものではないことが、当業者には理解されるであろう。

【0011】

本明細書において、"例示的"という語は、"例、実例、または説明として役立つ"という意味で使用される。本明細書において「例示的」として記載される本主題の任意の実施形態または実装は、必ずしも、他の実施形態よりも好ましいまたは有利であると解釈されるものではない。

【0012】

「comprise」、「comprising」、またはそれらの他の変形は、非排他的な包含を意図しており、「comprises...a」で先行する1つまたは複数のデバイスまたはサブシステムまたは要素または構造または構成要素が、より多くの制約なしに、他のデバイス、サブシステム、追加のサブモジュールの存在を排除することはない。本明細書を通じて「一実施形態では」、「別の実施形態では」、および同様の表現が出現する場合、すべてが同じ実施形態を指す可能性があるが、必ずしもそうではない。

【0013】

別段の定義がない限り、本明細書で使用されるすべての技術用語および科学用語は、本開示が属する技術分野の当業者によって一般的に理解されるのと同じ意味を有する。本明細書で提供されるシステム、方法、および実施例は、例示に過ぎず、限定を意図するものではない。

【0014】

アプリケーションによって構成されるコンピュータシステム（スタンドアロン、クライアントまたはサーバコンピュータシステム）は、特定の動作を実行するように構成および動作される「モジュール」（または「サブシステム」）を構成することができる。一実施形態では、「モジュール」または「サブシステム」は、機械的または電子的に実装することができるため、モジュールには、特定の動作を実行するように（専用プロセッサ内に）恒久的に構成される専用回路またはロジックが含まれる。別の実施形態では、「モジュール」または「サブシステム」は、特定の動作を実行するようにソフトウェアによって一時的に構成される（汎用プロセッサまたは他のプログラマブルプロセッサ内に包含されるような）プログラマブルロジックまたは回路から構成されることもある。

【0015】

したがって、「モジュール」または「サブシステム」という用語は、物理的に恒久的に構成（ハードワイヤード）された実体、または一時的に構成（プログラム）された実体であって、本明細書で説明する特定の方法で動作するように、および／または特定の動作を実行するように構成された、有形の実体を包含すると理解されるべきである。

【0016】

ここで図面を参照し、より詳細には図１～図７Ｃを参照する。同様の参照文字が図全体を通して一貫して対応する特徴を示す図には、好ましい実施形態が示されており、これらの実施形態は、以下の例示的なシステムおよび／または方法の文脈で説明される。

【0017】

図１は、本開示の一実施形態による、ネットワーク非依存の異種ロボット群を管理するための例示的なコンピューティング環境１００を示すブロック図である。図１によれば、コンピューティング環境１００は、通信ネットワーク１０８を介して人工知能（ＡＩ）ベースのコンピューティングシステムに通信可能に結合された１つ以上の電子機器１０４に関連付けられたヒューマンマシンインターフェース１０２を含む。本開示の一実施形態では、オペレータは、ヒューマンマシンインターフェース１０２を使用して、１つまたは複数の自律型ロボット１１０が１つまたは複数のタスクを実行できるようにするための１つまたは複数の高レベルコマンドを提供する。１つ以上の自律型ロボット１１０は、集合的に異種群を形成し、１つ以上のタスクを協働的に実行する。例えば、１つ以上のタスクには、生存者の救出、医療キットの投下、食料箱の投下、標的の破壊、画像の撮影などが含まれる。本開示の一実施形態において、ヒューマンマシンインターフェース１０２はまた、１つ以上の自律型ロボット１１０を介して１つ以上のタスクを実行するために、オペレータによって提供された１つ以上の高レベルコマンドからコマンドセットを導出する。さらに、オペレータはまた、ヒューマンマシンインターフェース１０２を使用して、１つ以上のライブパラメータを受信する。１つ以上のライブパラメータに関する詳細は、図２を参照しながら本明細書の以降の段落で詳述する。本開示の例示的な実施形態において、１つ以上の高レベルコマンドは、１つ以上の自律型ロボット１１０によって実行される１つ以上のタスク、出発地、目的地、１つ以上のタスクを実行する時間、１つ以上の自律型機のそれぞれの役割および速度、地上からの高度、１つ以上の予め定義された条件、出発地から目的地までのナビゲーション経路、境界フェンス、１つ以上の中間位置、１つ以上のターゲット、安全領域および危険領域を表す予め定義されたコマンドセットを含む。本開示の一実施形態では、１つ以上の高レベルコマンドは、地理参照地図上に提供される。例えば、予め定義されたコマンドセットは、武装、荷物の配達、群れ、採餌（forage）、着陸、位置への移動、教育、離陸、全地球測位システム（ＧＰＳ）の待機、待機、生存者の発見、ペイロードの投下等である。通信ネットワーク１０８は、インターネット、無線信号、４Ｇネットワーク、５Ｇネットワーク、または任意の他の無線ネットワークであってもよい。本開示の実施形態において、ＡＩベースのコンピューティングシステム１０６は、１つ以上の自律型ロボット１１０の各々にホストされてもよい。本説明のために、コンピューティングシステムは単一の自律型ロボットに関して説明される。しかしながら、ＡＩベースのコンピューティングシステム１０６が１つ以上の自律型ロボット１１０の各々に配備されてもよいことは、当業者には明らかであるに違いない。本開示の別の実施形態では、ＡＩベースのコンピューティングシステム１０６は、クラウドサーバまたはリモートサーバなどの中央サーバ上でホストされてもよい。本開示の例示的な実施形態において、１つ以上の電子機器１０４は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、スマートフォン、ウェアラブルデバイス、スマートウォッチ、デジタルカメラなどを含み得る。例えば、ウェアラブルデバイスは、拡張現実ヘッドセット、仮想現実ヘッドセットなどであってもよい。拡張現実ヘッドセットおよび仮想現実ヘッドセットは、異種群とのインタフェースを可能にする。本開示の一実施形態において、人間のオペレーターは、１つ以上の電子機器１０４を使用することによって、空間および時間にわたって展開した群れのセッション（スウォーミングセッション）を再生することができる。

【0018】

さらに、コンピューティング環境１００は、通信ネットワーク１０８を介してＡＩベースのコンピューティングシステム１０６に通信可能に結合された１つ以上の自律型ロボット１１０を含む。本開示の実施形態において、ＡＩベースのコンピューティングシステム１０６は、１つ以上の自律型ロボット１１０の各々に配備される。本開示の例示的な実施形態において、１つ以上の自律型ロボット１１０は無人機である。例えば、１つ以上の自律型ロボット１１０は、無人航空機、無人地上車両、無人水上車両等を含み得る。本開示の一実施形態において、１つ以上の自律型ロボット１１０の各々は、ペイロードのタイプ、センサのタイプ、速度、重量保持能力、コンフィグレーション、バッテリーレベル、クラス及び重量などの異なるロボット能力を有する。したがって、１つ以上の自律型ロボット１１０は集合的に異種群を形成する。例えば、異種群は、異なる無人航空機と無人地上車両との混合である。さらに、１つ以上の自律型ロボット１１０の各々は、初期セットのコマンドを受信した後、ネットワーク接続に依存せずに動作することができる。したがって、１つ以上の自律型ロボット１１０はネットワークに依存しない。

【0019】

さらに、コンピューティング環境１００は、通信ネットワーク１０８を介してＡＩベースのコンピューティングシステム１０６に通信可能に結合された１つ以上のセンサ１１２を含む。本開示の一実施形態において、１つ以上のセンサ１１２は、１つ以上の位置パラメータを捕捉するために、１つ以上の自律型ロボット１１０と固定される。例えば、１つ以上のセンサ１１２は、１つ以上の画像捕捉ユニット、１つ以上の音声捕捉ユニット、光学センサ及び赤外線センサ、全地球測位システム（ＧＰＳ）等を含む。１つ以上の位置パラメータに関する詳細は、図２を参照して本明細書の以降の段落で詳述する。

【0020】

さらに、１つ以上の電子機器１０４は、ローカルブラウザ、モバイルアプリケーション、またはそれらの組み合わせを含む。さらに、オペレータは、ローカルブラウザ、モバイルアプリケーション、またはそれらの組み合わせを介したウェブアプリケーションを使用して、ＡＩベースのコンピューティングシステム１０６と通信し、１つまたは複数の自律型ロボット１１０の異種群を制御することができる。本開示の例示的な実施形態において、モバイルアプリケーションは、アンドロイド、ｉＯＳなどの任意のモバイルオペレーティングシステムと互換性があり得る。本開示の一実施形態において、ＡＩベースのコンピューティングシステム１０６は、複数のモジュール１１４を含む。複数のモジュール１１４の詳細については、図２を参照して本明細書の以降の段落で詳述する。

【0021】

本開示の一実施形態では、ＡＩベースのコンピューティングシステム１０６は、１つ以上の自律型ロボット１１０の各々に配備される。しかしながら、説明の都合上、コンピューティングシステムは、単一の自律型ロボットの観点から説明される。ＡＩベースのコンピューティングシステム１０６すなわち自律型ロボット上に配備されたシステムは、１つまたは複数のターゲットにおいて１つまたは複数の自律型ロボット１１０を介して１つまたは複数のタスクを実行するために、１つまたは複数の電子機器１０４に関連付けられたヒューマンマシンインターフェース１０２からコマンドセットを受信するように構成される。ＡＩベースのコンピューティングシステム１０６は、受信したコマンドセットおよび予め定義されたロボット情報に基づいて、自律型ロボットに関連する１つまたは複数のロボット能力を決定する。ＡＩベースのコンピューティングシステム１０６は、１つ以上のセンサ１１２を使用することにより、１つ以上の位置パラメータを捕捉する。さらに、ＡＩベースのコンピューティングシステム１０６は、決定された１つ以上のロボット能力および捕捉された１つ以上の位置パラメータを、１つ以上の自律型ロボット１１０の各々にブロードキャストする。ＡＩベースのコンピューティングシステム１０６は、ロボット管理に基づく人工知能（ＡＩ）モデルを用いて、ブロードキャストされた１つ以上のロボット能力およびブロードキャストされた１つ以上の位置パラメータ、受信されたコマンドセット、決定された１つ以上のロボット能力および捕捉された１つ以上の位置パラメータの１つ以上の応答に基づいて、１つ以上の自律型ロボット１１０に関連する１つ以上の状況パラメータを決定する。ＡＩベースのコンピューティングシステム１０６は、ロボット管理ベースのＡＩモデルを使用することによって、受信されたコマンドセット、決定された１つまたは複数のロボット能力、捕捉された１つまたは複数の位置パラメータ、および決定された１つまたは複数の状況パラメータに基づいて、１つまたは複数のターゲットを検出する。ＡＩベースのコンピューティングシステム１０６は、ロボット管理ベースのＡＩモデルを使用することにより、受信されたコマンドセット、決定された１つ以上のロボット能力、捕捉された１つ以上の位置パラメータ、決定された１つ以上の状況パラメータ、１つ以上のターゲットパラメータおよび予め定義された割り当て情報に基づいて、１つ以上のタスクおよび検出された１つ以上のターゲットを１つ以上の自律型ロボット１１０の間で割り当てる。さらに、ＡＩベースのコンピューティングシステム１０６は、ロボット管理ベースのＡＩモデルを使用することにより、１つまたは複数の自律型ロボット１１０間の１つまたは複数のタスクおよび検出された１つまたは複数のタスクの割り当てに基づいて、検出された１つまたは複数のターゲットにおいて１つまたは複数のタスクを実行する。

【0022】

図２は、本開示の一実施形態による、ネットワーク非依存の異種ロボット群を管理するための例示的な人工知能（ＡＩ）ベースのコンピューティングシステム１０６を示すブロック図である。さらに、ＡＩベースのコンピューティングシステム１０６ １０４は、１つ以上のハードウェアプロセッサ２０２、メモリ２０４、および記憶装置２０６を含む。１つまたは複数のハードウェアプロセッサ２０２、メモリ２０４、および記憶装置２０６は、システムバス２０８または任意の同様の機構を介して通信可能に結合される。メモリ２０４は、１つまたは複数のハードウェアプロセッサ２０２によって実行可能なプログラマブル命令の形態の複数のモジュール１１４から構成される。複数のモジュール１１４は、異なるレベルで特定の機能のセットを実行するように構成される。さらに、複数のモジュール１１４は、データ受信モジュール２１０、能力決定モジュール２１２、パラメータ捕捉モジュール２１４、ブロードキャストモジュール２１６、パラメータ決定モジュール２１８、ターゲット検出モジュール２２０、タスク割当モジュール２２２、タスク実行モジュール２２４、アクション実行モジュール２２６、タスク最適化モジュール２２８、合成シミュレーションモジュール２３０、およびライブデータ検出モジュール２３２を含む。

【0023】

本開示の一実施形態において、ＡＩベースのコンピューティングシステム１０６は、１つ以上の自律型ロボット１１０のうちの１つの自律型ロボットに対応する。ＡＩベースのコンピューティングシステム１０６は、１つ以上の自律型ロボット１１０の各々に配備される。本開示の一実施形態では、ＡＩベースのコンピューティングシステム１０６は、単一のスウォーミングシステム（群れシステム）とのインターフェースのために、１つ以上の自律型ロボット１１０の特定の個々のクラスのレベルで配備される。本開示の例示的な実施形態では、１つ以上の自律型ロボット１１０は、無人航空機（ＵＡＶ）、無人地上車両、無人水上車両などの無人機である。本開示の一実施形態において、１つ以上の自律型ロボット１１０の各々は、ペイロードのタイプ、センサのタイプ、速度、重量保持能力、コンフィグレーション、組成、バッテリーレベル、クラス及び重量などの異なるロボット能力を有する。したがって、１つ以上の自律型ロボット１１０は集合的に異種群を形成する。例えば、異種群とは、異なる無人航空機と無人地上車両との混合である。さらに、１つ以上の自律型ロボット１１０の各々は、初期セットのコマンドを受信した後、ネットワーク接続に依存せずに動作することができる。したがって、１つ以上の自律型ロボット１１０はネットワークに依存しない。例えば、一組のコマンドに基づいて群れミッションが構成され、１つ以上の自律型ロボット１１０の異種群に展開されると、ミッションが進行される。さらに、地上管制ステーション（ＧＣＳ）またはマンオンザループ（人間参加型）は、監視システムのようなものであり、コマンドシステムのようなものではない。異種群自体は、構成された１つ以上のタスクを実行するための指示を待ったり、必要としたりしない。本開示の一実施形態では、１つ以上のタスクは、通信が届かない距離で実行されることがある。従って、１つ以上の自律型ロボット１１０は、ＧＣＳとの通信ではなく、協調的な群れのためのロボット同士の通信を行う。

【0024】

本明細書で使用される１つまたは複数のハードウェアプロセッサ２０２は、マイクロプロセッサユニット、マイクロコントローラ、複雑命令セットコンピューティングマイクロプロセッサユニット、縮小命令セットコンピューティングマイクロプロセッサユニット、超長命令ワードマイクロプロセッサユニット、明示的並列命令コンピューティングマイクロプロセッサユニット、グラフィック処理ユニット、デジタル信号処理ユニット、または任意の他のタイプの処理回路などの任意のタイプの計算回路を意味するが、これらに限定されない。１つまたは複数のハードウェアプロセッサ２０２は、汎用またはプログラマブル論理デバイスまたはアレイ、特定用途向け集積回路、シングルチップ・コンピュータなどの組み込みコントローラも含み得る。

【0025】

メモリ２０４は、非一過性の揮発性メモリおよび不揮発性メモリであってもよい。メモリ２０４は、コンピュータ読み取り可能な記憶媒体であるなど、１つ以上のハードウェアプロセッサ２０２との通信のために結合されてもよい。１つまたは複数のハードウェアプロセッサ２０２は、メモリ２０４に格納された機械可読命令および／またはソースコードを実行することができる。様々な機械可読命令が、メモリ２０４に記憶され、メモリ２０４からアクセスされてもよい。メモリ２０４は、読み取り専用メモリ、ランダムアクセスメモリ、消去可能プログラマブル読み取り専用メモリ、電気的消去可能プログラマブル読み取り専用メモリ、ハードドライブ、コンパクトディスク、デジタルビデオディスク、ディスケット、磁気テープカートリッジ、メモリカードなどを扱うためのリムーバブルメディアドライブなど、データおよび機械可読命令を格納するための任意の適切な要素を含んでよい。本実施形態において、メモリ２０４は、上述の記憶媒体のいずれかに機械可読命令の形態で記憶された複数のモジュール１１４を含み、１つ以上のハードウェアプロセッサ２０２と通信し、それによって実行され得る。
記憶装置２０６は、クラウドストレージであってもよいし、１つ以上の自律型ロボット１１０のそれぞれの内部のローカルストレージであってもよい。記憶装置２０６は、１つ以上の高レベルコマンド、コマンドセット、１つ以上のロボット能力、１つ以上の位置パラメータおよび１つ以上の状況パラメータを記憶してもよい。また、記憶装置２０６は、１つ以上のターゲットパラメータ、予め定義された割り当て情報、１つ以上の衝突パラメータ、１つ以上のタスクパラメータ、１つ以上の最適化パラメータ、及び１つ以上のライブパラメータを記憶してもよい。

【0026】

データ受信モジュール２１０は、１つまたは複数の電子機器１０４に関連するヒューマンマシンインターフェース１０２からコマンドセットを受信し、１つまたは複数のターゲットにおいて１つまたは複数の自律型ロボット１１０を介して１つまたは複数のタスクを実行するように構成される。ヒューマンマシンインターフェース１０２は、１つ以上の電子機器１０４に構成される。本開示の一実施形態において、オペレータは、ヒューマンマシンインターフェース１０２を使用して、１つ以上の自律型ロボット１１０が１つ以上のタスクを実行することを可能にするための１つ以上の高レベルコマンドを提供する。本開示の一実施形態では、１つ以上の高レベルコマンドは、地理参照地図に基づいて地上管制ステーション（ＧＣＳ）で準備される。１つ以上の高レベルコマンドは、１つ以上の自律型ロボット１１０が１つ以上のタスクを群として実行することを可能にする。本開示の一実施形態において、１つ以上の自律型ロボット１１０は、集合的に異種群を形成し、１つ以上のタスクを協働的に実行する。１つ以上の高レベルのコマンドは、１つ以上の自律型ロボット１１０の各々が、１つ以上の高レベルのコマンドを協働的に達成するために、より低レベルのタスクを行うように協働的に行動するように、人間によって異種群に発行される。１つ以上のタスクは、同時または段階的に実行される。例えば、１つ以上のタスクには、生存者の救出、医療キットの投下、食料箱の投下、標的の破壊、画像の捕捉などが含まれる。本開示の一実施形態において、ヒューマンマシンインターフェース１０２はまた、１つ以上の自律型ロボット１１０を介して１つ以上のタスクを実行するためにオペレータによって提供される１つ以上の高レベルコマンドからコマンドセットを導出する。ヒューマンマシンインターフェース１０２は、完全な群レベルで展開される。コマンドセットは、１つ以上の自律型ロボット１１０が１つ以上のタスクを協働的に実行することを可能にする機械可読コマンドである。本開示の実施形態において、コマンドセットはミッションに対応する。本開示の例示的な実施形態において、１つ以上の高レベルコマンドは、１つ以上の自律型ロボット１１０によって実行される１つ以上のタスク、出発地、目的地、１つ以上のタスクを実行する時間、１つ以上の自律型機の各々の役割及び速度、地上からの高度、１つ以上の予め定義された 条件、出発地から目的地までのナビゲーションパス、境界フェンス、１つ以上の中間位置、１つ以上のターゲット、安全領域及び危険領域を表す予め定義されたコマンドセットを含む。本開示の一実施形態では、１つ以上の高レベルコマンドは、地理参照地図上に提供される。例えば、事前定義されたコマンドセットは、武装、パッケージの配達、群れ、採餌、着陸、位置への移動、教育、離陸、全地球測位システム（ＧＰＳ）の待機、待機、生存者の発見、ペイロードの投下などである。本開示の一実施形態では、ＡＩベースのコンピューティングシステム１０６は、１つ以上の自律型ロボット１１０の各々にホストされてもよい。本説明のために、コンピューティングシステムは単一の自律型ロボットに関して説明される。しかしながら、ＡＩベースのコンピューティングシステム１０６が１つ以上の自律型ロボット１１０の各々に配備されてもよいことは、当業者には明らかであるに違いない。本開示の別の実施形態では、ＡＩベースのコンピューティングシステム１０６は、クラウドサーバまたはリモートサーバなどの中央サーバ上でホストされてもよい。本開示の一実施形態において、ナビゲーション経路は、オペレータによって提供される。本開示の別の実施形態では、ナビゲーション経路は、出発地、目的地、およびＧＰＳに基づいてヒューマンマシンインターフェース１０２によって生成される。本開示の例示的な実施形態では、１つ以上の電子機器１０４は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、スマートフォン、ウェアラブルデバイス、スマートウォッチ、デジタルカメラなどを含み得る。例えば、ウェアラブルデバイスは、拡張現実ヘッドセット、仮想現実ヘッドセット等であってもよい。本開示の一実施形態では、ヒューマンマシンインターフェース１０２は、通信ネットワーク１０８を介してＡＩベースのコンピューティングシステム１０６と通信する。

【0027】

本開示の一実施形態において、異種群の１つ以上の自律型ロボット１１０の各々は、出発地から目的地へ移動する間、現在の群れの状態を知る。異種群は新しい状態に遷移し、それは、十分な前提数が目的地に到達したなどの１つ以上の予め定義された条件が満たされたときに、他の役割に移動するスウォーミングエンティティ（群体）にカスケードする。本開示の実施形態では、１つ以上の予め定義された条件は、ミッションの前にパラメータ化され、構成される。本開示の実施形態において、１つ以上の自律型ロボット１１０の各々は、リアルタイムで互いの位置を定期的に同期させるので、異種群として振る舞うことができる。

【0028】

能力決定モジュール２１２は、受信したコマンドセットおよび予め定義されたロボット情報に基づいて、自律型ロボットに関連する１つまたは複数のロボット能力を決定するように構成される。本開示の例示的な実施形態において、１つ以上のロボット能力は、ペイロードのタイプ、センサのタイプ、速度、重量保持能力、コンフィグレーション、バッテリーレベル、クラス、自律型ロボットの重量などを含む。例えば、自律型ロボットのクラスは、１０ｋｇのクアッドコプターを有する２０ｋｇのヘキサコプター、ベルーガ（ＢＬＬ）、ニンバス（ＮＭＢ）、マッケラル（ＭＣＬ）、カメラフィッティングを有する無人機、クアッドコプター、ヘキサコプター、及び異なる作業速度を有する地上無人機等であってもよい。本開示の例示的な実施形態では、ペイロードの種類は、カメラペイロード、ロボット、医療キット、通信可能なアンテナペイロード、武器などである。本開示の実施形態において、１つ以上の自律型ロボット１１０の各々は、時間及び速度に応じて他の自律型ロボットを収容することができる。

【0029】

パラメータ捕捉モジュール２１４は、１つ以上のセンサ１１２を使用して１つ以上の位置パラメータを捕捉するように構成される。本開示の例示的な実施形態において、１つ以上の位置パラメータは、自律型ロボットの位置、自律型ロボットの予想位置、１つ以上のターゲットの１つ以上の画像、１つ以上のターゲットの１つ以上のビデオ、近接する他の自律型ロボットの１組の画像、他の自律型ロボットの１組のビデオ、周辺環境の１つ以上の音声などを含む。本開示の一実施形態において、１つ以上のセンサ１１２は、１つ以上の位置パラメータを捕捉するために、１つ以上の自律型ロボット１１０の各々と固定される。例えば、１つ以上のセンサ１１２は、１つ以上の画像捕捉ユニット、１つ以上の音声捕捉ユニット、全地球測位システム（ＧＰＳ）、ライダー、レーダー等を含む。

【0030】

ブロードキャストモジュール２１６は、決定された１つ以上のロボット能力および捕捉された１つ以上の位置パラメータを、１つ以上の自律型ロボット１１０の各々にブロードキャストするように構成される。本開示の一実施形態において、決定された１つ以上のロボット能力及び捕捉された１つ以上の位置パラメータは、通信ネットワーク１０８を介してブロードキャストされる。本開示の一実施形態では、決定された１つ以上のロボット能力および捕捉された１つ以上の位置パラメータは、データプライバシーを維持するために、ブロードキャスト前に圧縮および暗号化される。

【0031】

パラメータ決定モジュール２１８は、ロボット管理に基づく人工知能（ＡＩ）モデルを用いて、ブロードキャストされた１つ以上のロボット能力およびブロードキャストされた１つ以上の位置パラメータ、受信されたコマンドセット、決定された１つ以上のロボット能力および捕捉された１つ以上の位置パラメータの１つ以上の応答に基づいて、１つ以上の自律型ロボット１１０に関連する１つ以上の状況パラメータを決定するように構成される。本開示の例示的な実施形態において、１つ以上の状況パラメータは、１つ以上の自律型ロボット１１０の各々のペイロードのタイプ、センサのタイプ、速度、可搬重量、クラス、バッテリーレベル、１つ以上の自律型ロボット１１０の各々の位置、１つ以上の自律型ロボット１１０の各々の予想位置、１つまたは複数のターゲットの１つまたは複数の画像、１つまたは複数のターゲットの１つまたは複数のビデオ、１つまたは複数の自律型ロボット１１０の画像のセット、１つまたは複数の自律型ロボット１１０のビデオ（映像）のセット、１つまたは複数の自律型ロボット１１０の各々に対する自律型ロボットの相対位置、周辺環境の１つまたは複数の音声などを含む。一つ以上の自律型ロボット１１０はそれぞれ異なるペイロードの種類、センサの種類、速度、重量保持能力、コンフィグレーション、クラス、重量などを有するため、一つ以上の自律型ロボット１１０は異質な群れを形成する。例えば、一つ以上の自律型ロボット１１０のクラスが同じで、一つ以上の自律型ロボット１１０に関連するペイロードのタイプが異なる場合、一つ以上の自律型ロボット１１０は依然として異種群を形成することができる。

【0032】

本開示の実施形態において、異なるタイプのペイロードの形態における異質性は、１つ以上の自律型ロボット１１０が通信ペイロード設備通信のような特定の役割を果たし、カメラシステムを必要とする探索を行わない可能性がある。さらに、カメラを搭載した自律型ロボットはターゲットを探し、１つ以上の自律型ロボット１１０の群れと共有することができる。例えば、ミッションペイロードを搭載した自律型ロボットは、１つ以上のターゲットをサービスすることができる。本開示の一実施形態では、自律型ロボットのコンフィグレーションに基づいて異なる自律型ロボットに役割が割り当てられ、それに応じて役割を果たす。例えば、ミツバチの群れでは、働きバチ、戦士のミツバチなどが存在し、それぞれ異なる役割を果たす。さらに、クワッドコプターとヘキサコプターのように、自律型ロボットのクラスが似ている場合もあり、少なくとも速度などが一致していることを意味する。したがって、速度のエンベロープ（包絡線）は似ているが、飛行時間は異なる可能性がある。別の例では、大型の集積回路（ＩＣ）エンジンを搭載したヘキサコプターが、小型のバッテリーを搭載したマルチコプターをペイロードとして運ぶマザーシップとして機能し、その後、小型のクアッドコプターが展開されることで異種群がカスケードする。さらに、クラスのミックス＆マッチ（例えば、固定翼＋マルチコプター）のようなクラスを超えた群れも進化しており、そこでは衝突回避のような特定の側面が依然として起こり、より高速なユニットがより小型のユニットに対応しようとすることがある。本開示の例示的な実施形態では、これは、地上車両をスウォームエンティティ（群体）として行うこともでき、そこでは、トップのホバリングスウォームエンティティは、有人－無人チーム（ＭＵＭＴ）の一部として群れの一部である地上の有人機のような、より遅い動きの地上ユニットとの関係にいる。あるいは、空中アセット間のＭＵＭＴのための空中の高速移動する有人機である。本開示の一実施形態では、異種群は、ＭＵＭＴ特性を達成するための有人および無人自律型機（自律型機器）のスウォーム（群れ）に対応する。

【0033】

ターゲット検出モジュール２２０は、ロボット管理ベースのＡＩモデルを使用することによって、受信されたコマンドセット、決定された１つ以上のロボット能力、捕捉された１つ以上の位置パラメータ、および決定された１つ以上の状況パラメータに基づいて、１つ以上のターゲットを検出するように構成される。本開示の一実施形態において、１つまたは複数のターゲットは、１つまたは複数のタスクを実行するための物体（対象物）、注目点、または関心領域を指す。例えば、対象物は、航空機、船舶、任意の地上車両、人間、土地の一部などであってもよい。本開示の一実施形態において、ロボット管理ベースのＡＩモデルは、コンピュータビジョンおよび機械学習技術に対応し得る。

【0034】

タスク割当モジュール２２２は、ロボット管理ベースのＡＩモデルを使用することにより、受信されたコマンドセット、決定された１つ以上のロボット能力、捕捉された１つ以上の位置パラメータ、決定された１つ以上の状況パラメータ、１つ以上のターゲットパラメータ、及び予め定義された割り当て情報に基づいて、１つ以上のタスク及び検出された１つ以上のターゲットを１つ以上の自律型ロボット１１０の間で割り当てるように構成される。本開示の例示的な実施形態において、１つ以上のターゲットパラメータは、１つ以上のターゲットの数、１つ以上のターゲットの各々のサイズ、１つ以上の自律型ロボット１１０の各々に対応するセンサフットプリント等を含む。例えば、１つ以上の自律型ロボット１１０が検出された１つ以上のターゲットに到達すると、１つ以上の自律型ロボット１１０は協調的に１つ以上のターゲットエリアを自分たちの間で分割し、採餌行動を開始するため、１つ以上のターゲットを探してエリアをカバーする。一例として、ターゲットエリアが３００平方フィートで一台以上の自律型ロボット１１０の数が５台の場合、ターゲットエリアは６０平方フィートに分割され、一台以上の自律型ロボット１１０はそれぞれ６０平方フィートのエリアを獲得する。

【0035】

タスク実行モジュール（２２４）は、ロボット管理ベースのＡＩモデルを使用することにより、１つ以上の自律型ロボット１１０間の１つ以上のタスク及び検出された１つ以上のタスクの割り当てに基づいて、検出された１つ以上のターゲットにおいて１つ以上のタスクを実行するように構成される。本開示の一実施形態において、１つ以上の自律型ロボット１１０は自律離陸を行い、鳥の群れのようにまとまった群れ行動を示す。例えば、１つ以上の自律型ロボット１１０の群れは、１つ以上のターゲットを検出し、地震のような緊急シナリオ中の人道支援などのペイロード投下で検出に対処するために、カメラのようなペイロードを利用することができる。本開示の一実施形態では、ペイロードは、１つ以上の自律型ロボット１１０の速度および位置、１つ以上のターゲットの位置、風速などに基づいて投下される。例えば、異種群の１つ以上の自律型ロボット１１０は、同期しながら、あるエリアに自律型ロボットが何台存在するかを知る。さらに、「エリア」は探索に使用されるセンサフットプリントすなわちセンサの帯形状（ｓｗａｔｈ）によって分割される。さらに、エリアは全体的に横断する必要がある長さに分割される。次に、「長さ」は、存在する１つ以上の自律型ロボット１１０の数で割られ、これにより、長さ－セグメントに沿ったこの長さ線に沿った開始点が与えられる。さらに、異種群の１つ以上の自律型ロボット１１０の各々は、それぞれに割り当てられた長さセグメントに進み、これを横断する。本開示の一実施形態において、予め定義された割り当て情報は、割り当てのための規則のセットを含む。例えば、割り当ては「年功序列」の概念に基づく。より小さいインターネットプロトコル（ＩＰ）アドレスを有するドローンが、最初に割り当てられることがある。

【0036】

本開示の一実施形態において、アクション実行モジュール２２６は、ロボット管理ベースのＡＩモデルを用いて、決定された１つ以上の状況パラメータに基づいて、１つ以上の衝突パラメータを決定するように構成される。本開示の例示的な実施形態において、１つ以上の衝突パラメータは、１つ以上の自律型ロボット１１０の各々の互いに対する相対位置、１つ以上の自律型ロボット１１０の各々の間の自由空間、１つ以上の自律型ロボット１１０の各々の位置、予想位置及び速度、１つ以上の自律型ロボット１１０の各々の近傍にある１つ以上の障害物等を含む。更に、アクション実行モジュール２２６は、ロボット管理ベースのＡＩモデルを用いて、決定された１つ以上の衝突パラメータ、閾値距離、受信されたコマンドセット及び決定された１つ以上の状況パラメータに基づいて１つ以上のアクションを実行し、ナビゲーション経路上を移動中の１つ以上の自律型ロボット１１０の衝突を防止する。本開示の一実施形態において、１つ以上の自律型ロボット１１０は、障害物や互いの衝突などを回避する。さらに、障害物情報は、異種群の移動に先立って与えられてもよいし、異種群の移動中に出現してもよい。本開示の一実施形態において、１つ以上の自律型ロボット１１０は、１つ以上のアクションを実行することにより、協働的かつ自律的に、衝突のない軌道を通って出発地から目的地へ向かう。無衝突軌道は、群泳行動をシミュレートする。本開示の例示的な実施形態において、１つ以上のアクションは、左へ移動、上へ移動、右へ移動、下へ移動、静止などを含む。本開示の一実施形態では、アクション実行モジュール２２６はさらに、１つ以上の自律型ロボット１１０のそれぞれに対して衝突のない航行経路を提供しながら、結束を可能にする。１つ以上の自律型ロボット１１０の各々が独立して操作されるように、自律型ロボットの衝突は、閾値距離に基づく凝集力メカニズムを通じて防止され得る。本開示の一実施形態において、群れの１つ以上の自律型ロボット１１０の各々は、自律型ロボットが閾値距離を超えると互いに引力を感じるが、自律型ロボットが閾値距離の内側にいる間は反発し始め、それにより、常に互いに衝突することなく群れの形成を維持する。さらに、アクション実行モジュール２２６は、１つ以上の自律型ロボット１１０が、定義された領域内でＡ地点からＢ地点へ飛行する間、相対位置と速度の一致を維持しながら協調的に移動することを可能にする。異種群はグループとして移動するが、一点の周囲をホバリングするため衝突しない。

【0037】

タスク最適化モジュール２２８は、検出された１つまたは複数のターゲットにおける１つまたは複数のタスクの実行時に、１つまたは複数のセンサ１１２およびロボット管理ベースのＡＩモデルを用いて、１つまたは複数のタスクパラメータを決定するように構成される。本開示の例示的な実施形態において、１つ以上のタスクパラメータは、検出された１つ以上のターゲットにおいて自律型ロボットによって実行されたタスクの数、自律型ロボットによって捕捉された画像、ビデオおよび音声、検出された１つ以上のターゲットの近傍にある１つ以上の物体（対象物）、使用されたペイロードなどを含む。さらに、タスク最適化モジュール２２８は、決定された１つ以上のタスクパラメータを１つ以上の自律型ロボット１１０の各々にブロードキャストする。本開示の実施形態において、決定された１つ以上のタスクパラメータは、通信ネットワーク１０８を介してブロードキャストされる。本開示の実施形態において、１つ以上のタスクパラメータは、データプライバシーを維持するために、ブロードキャスト前に圧縮され、暗号化される。タスク最適化モジュール２２８は、ロボット管理に基づくＡＩを用いて、ブロードキャストされた１つ以上のタスクパラメータの１つ以上の応答に基づいて、１つ以上の自律型ロボット１１０に関連する１つ以上の最適化パラメータを決定する。本開示の例示的な実施形態において、１つ以上の最適化パラメータは、検出された１つ以上のターゲットにおいて１つ以上の自律型ロボット１１０の各々によって実行されたタスクの数、１つ以上の自律型ロボット１１０の各々によって捕捉された画像、ビデオ及び音声、検出された１つ以上のターゲットの近傍にある物体の集合（集まり）、１つ以上の自律型ロボット１１０の各々によって使用されたペイロード等を含む。さらに、タスク最適化モジュール２２８は、決定された１つ以上のロボット能力、捕捉された１つ以上の位置パラメータ、決定された１つ以上の状況パラメータ、１つ以上のターゲットパラメータ、予め定義された割り当て情報、１つ以上の緊急コマンド、及び決定された１つ以上の最適化パラメータに基づいて、１つ以上のタスクを効率的に実行するためにロボット管理ベースのＡＩモデルを使用することにより、受信されたコマンドセットを最適化する。本開示の一実施形態では、ミッション中の特定の時間に、異種群内の１つ以上の自律型ロボット１１０が同期し、通信範囲内の自律型ロボットが互いの、ひいては異種群全体の状況更新を受信することができる。

【0038】

本開示の一実施形態において、合成シミュレーションモジュール２３０は、１つ以上の自律型ロボットまたはその組み合わせの動的挙動をテスト、再生するために、３次元（３Ｄ）空間において１つ以上の自律型ロボット１１０の忠実度の高い表現を作成するように構成される。本開示の一実施形態において、合成シミュレーションモジュール２３０は、１つ以上の電子機器１０４に構成され、通信ネットワーク１０８を介してヒューマンマシンインターフェースに動作可能に結合される。本開示の例示的な実施形態において、三次元（３Ｄ）空間における１つ以上の自律型ロボット１１０の作成された高忠実度表現は、仮想シミュレーション環境に対応する。さらに、合成シミュレーションモジュール２３０は、仮想シミュレーション環境において１つ以上の仮想タスクとテスト仮説を作成する。１つ以上の仮想タスクはミッションに対応する。本開示の一実施形態では、オペレータは、ヒューマンマシンインターフェース１０２を使用して、１つまたは複数の仮想タスクを作成し、上等なシミュレーション環境で仮説をテストすることができる。合成シミュレーションモジュール２３０は、１つ以上のシミュレーションルールに基づいて、仮想シミュレーション環境においてロボット管理ベースのＡＩモデルを訓練する。本開示の一実施形態では、オペレータは、ミッションの前に合成環境を通じて群ミッションのシミュレーションを行い、セッションがどのように現れるかの感触を得ることができる。オペレータは、ポイント・アンド・クリック・インターフェースを備えた二次元スクリーン上で、または強化された状況認識のための仮想現実および拡張現実インターフェースを介して、異種群とインターフェースすることができる。本開示の実施形態では、このようなミッションは、ＧＣＳ内のオペレータによって準備される。さらに、合成シミュレーションモジュール２３０は、オペレータを訓練するために、ヒューマンマシンインターフェース（１０２）をテスト、開発、またはそれらの組み合わせを行う。本開示の実施形態では、開発されテストされたヒューマンマシンインタフェース１０２は、オペレータの訓練ツールとなる。

【0039】

さらに、ライブデータ検出モジュール２３２は、１つまたは複数のセンサ１１２およびロボット管理ベースのＡＩモデルを使用して、自律型ロボットに関連する１つまたは複数のライブパラメータをリアルタイムで検出するように構成される。本開示の例示的な実施形態において、１つ以上のライブパラメータは、健康、飛行モード、現在のルーチン、ルーチンデータ、速度、自律型ロボットのバッテリー、自律型ロボットによって実行されるタスク、自律型ロボットの周辺にいる自律型ロボットの数、周辺環境のマルチメディアデータなどを含む。ライブデータ検出モジュール２３２は、検出された１つ以上のライブパラメータを、１つ以上の電子機器１０４に関連するヒューマンマシンインターフェース１０２に出力する。本開示の一実施形態では、ヒューマンマシンインターフェース１０２により、オペレータは、高レベルのコマンドを使用して、異種群を形成する１つ以上の自律型ロボット１１０に命令し、監視することができる。オペレータは、異種群内の個々の自律型ロボットを制御する必要はない。本開示の実施形態において、トップダウンセンサカバレッジ、ムービングマップトップビュー及び地上制御ステーション経由のビューは、ヒューマンインループ（人間参加型）すなわちオペレータが１つ以上のタスクを計画し監視するために利用可能である。本開示の実施形態において、１つ以上の自律型ロボット１１０の群は、通信ネットワーク１０８を介してＧＣＳと連絡してもよいが、１つ以上の自律型ロボット１１０の群は、ＧＣＳとの通信ネットワーク１０８を持たずに動作してもよいため、通信ネットワーク１０８は必須ではない。オペレータは、状況認識のために、１つ以上の自律型ロボット１１０の相互作用を明確に確認することができる。本開示の実施形態において、１つ以上の自律型ロボット１１０間の距離は容易に追跡され得る。

【0040】

本開示の一実施形態において、オペレータは、１つ以上の自律型ロボット１１０に緊急コマンドを提供することができる。例えば、緊急コマンドは、「ミッション中止」、「帰還」等であってもよい。さらに、１つ以上の自律型ロボット１１０は、受信した緊急コマンドに対応するタスクを実行してもよい。本開示の一実施形態において、人間のオペレータは、１つ以上の自律型ロボット１１０の群れと、ポイント・アンド・クリック・インターフェースを備えた２Ｄ画面上で、または強化された状況認識のための仮想現実および拡張現実インターフェースを介してインターフェースし得る。

【0041】

図３は、本開示の実施形態に従った、１つ以上の自律型ロボット１１０間のターゲットエリアの分割を描写する例示的な絵画表現である。本開示の実施形態において、図３は、群ミッションの採餌フェーズのトップダウントラックを描いている。ループ上のオペレータは、１つまたは複数の自律型ロボット１１０の異種群によって探索されるターゲットエリア３０２などの１つまたは複数の高レベルコマンドを発行する。１つ以上の自律型ロボット１１０の各々は、ターゲットエリア３０２を互いに協調的に分割するために低レベルの意思決定を行う。例えば、図３では、３台の自律型ロボットが互いにターゲットエリア３０２を分割し、３台の自律型ロボット間で均等な努力分割を行う。さらに、図３に示すように、実線は第一自律型ロボットの軌跡を表し、丸い点線（ドットライン）は第二自律型ロボットの軌跡を表し、破線（ダッシュライン）は第三自律型ロボットの軌跡を表す。

【0042】

図４Ａは、本開示の実施形態による、例示的なアクション実行モジュール２２６を示すブロック図である。さらに、図４Ｂは、本開示の実施形態による、ネットワーク非依存の異種ロボット群を管理するためのＡＩベースのコンピューティングシステム１０６の例示的な動作を示すブロック図である。簡潔にするために、図４Ａ～図４Ｂをまとめて説明する。

【0043】

アクション実行モジュール２２６は、図４Ａに示すように、検出ユニット４０２、定位ユニット４０４および計画ユニット４０６を含む。本開示の一実施形態において、図４Ｂは、ネットワーク非依存の異種ロボット群れの管理を示すワークフローを描いている。さらに、１つまたは複数の画像捕捉ユニット４０８、レーダー４１０、ライダー４１２、ＧＰＳ４１４、１つまたは複数の音声捕捉ユニット４１６などの１つまたは複数のセンサ１１２、自律型ロボットの位置、自律型ロボットの予想位置を捕捉する、１つまたは複数のターゲットの１つまたは複数の画像、１つまたは複数のターゲットの１つまたは複数のビデオ、近接する他の自律型ロボットの１組の画像、他の自律型ロボットの１組のビデオ、周辺環境の１つまたは複数の音声など。さらに、１つ以上の状況パラメータを決定するために、１つ以上の位置パラメータと共に、ペイロードのタイプ、センサのタイプ、速度、重量保持能力、コンフィグレーション、バッテリーレベル、クラス、自律型ロボットの重量等の１つ以上のロボット能力が１つ以上の自律型ロボット１１０の各々にブロードキャストされる。本開示の例示的な実施形態において、１つ以上の位置パラメータは、１つ以上の自律型ロボット１１０の各々のペイロードのタイプ、センサのタイプ、速度、可搬重量、クラス、バッテリーレベル、１つ以上の自律型ロボット１１０の各々の位置、１つ以上の自律型ロボット１１０の各々の予想位置、１つまたは複数のターゲットの１つまたは複数の画像、１つまたは複数のターゲットの１つまたは複数のビデオ、１つまたは複数の自律型ロボット１１０の１組の画像、１つまたは複数の自律型ロボット１１０の１組のビデオ、１つまたは複数の自律型ロボット１１０の各々に対する自律型ロボットの相対位置、周辺環境の１つまたは複数の音声などを含む。さらに、検出ユニット４０２は、ロボット管理ベースのＡＩモデルを用いて、決定された１つ以上の状況パラメータに基づいて１つ以上の衝突パラメータを決定するために、衝突検出４１８、障害物検出４２０及び自由空間検出４２２を実行する。本開示の例示的な実施形態において、１つ以上の衝突パラメータは、１つ以上の自律型ロボット１１０の各々の互いに対する相対位置、１つ以上の自律型ロボット１１０の各々の間の自由空間、１つ以上の自律型ロボット１１０の各々の位置、予想位置及び速度、１つ以上の自律型ロボット１１０の各々の近傍にある１つ以上の障害物等を含む。本開示の一実施形態において、定位ユニット４０４は、マップ４２４上の互いに対する一つ以上の自律型ロボット１１０の各々の相対位置を決定する。マップ４２４は、地理参照地図であってもよい。さらに、ターゲット検出モジュール２２０は、ロボット管理ベースのＡＩモデルを用いて、受信したコマンドセット、決定された１つ以上のロボット能力、捕捉された１つ以上の位置パラメータ、および決定された１つ以上の状況パラメータに基づいて、１つ以上のターゲットを検出するターゲット検出４２６動作を実行する。本開示の一実施形態において、検出ユニット４０２、ターゲット検出４２６の動作、および定位ユニット４０４は、知覚ユニット４２８に対応する。さらに、計画ユニット４０６は、受信したコマンドセットおよびＧＰＳに基づいて、ルーチン計画４３０を生成する。本開示の一実施形態において、計画ユニット４０６は、予測４３２及び行動４３４動作を実行し、ここで、１つ以上の自律型ロボット１１０は、互いの速度ベクトルを共有する、すなわち、互いが指し示している位置及び移動している速度と共に現在位置を共有する。さらに、「非競合」解決及び衝突回避において、計画ユニット４０６は、衝突回避のための予測４３２及び行動４３４動作の結果に基づいて、次の数回のステップにおける自律型ロボットの現在位置及び予想位置を決定する。本開示の一実施形態において、１つ以上の自律型ロボット１１０は、１つ以上のアクションを実行することにより、１つ以上の衝突のない軌道４３６を介して出発地から目的地まで協働的かつ自律的に進む。１つ以上の衝突のない軌道４３６は、群泳行動をシミュレートする。本開示の実施形態において、タスク実行モジュール２２４に対応する制御ユニット４３８は、比例積分微分（ＰＩＤ）４４０およびモデル予測制御（ＭＰＣ）４４２を使用することによって、検出された１つまたは複数のターゲットにおいて１つまたは複数のタスクを実行する。本開示の実施形態において、ＰＩＤおよびＭＰＣは、使用される制御アルゴリズムのタイプの例である。制御アルゴリズムは、主に低レベルのドローン制御装置の特徴である。

【0044】

図５は、本開示の別の実施形態による、ネットワーク非依存の異種ロボット群を管理するためのＡＩベースのコンピューティングシステム１０６の例示的な動作を示す絵画的描写である。本開示の一実施形態において、図５は、自律スイート（ｓｕｉｔｅ）利用の操作の概念を描いている。図５は、群ミッションの利用を示すフロー図である。ステップ５０２で、オペレータは、セットアップとターゲットエリアの調査を行う。さらに、ステップ５０４で、オペレータは、地理参照地図に基づいて、地上管制ステーション（ＧＣＳ）でミッションを準備する。本開示の実施形態では、ミッションは、１つ以上のハイレベルコマンドを与えることによって準備される。ステップ５０４では、地図のローディングとウェイポイント（ｗａｙｐｏｉｎｔ）の追加によってミッションが準備される。さらに、機器へのミッションブリーミング、離陸コマンド、自動群れモードへの移行などの複数のコマンドが提供される。本開示の実施形態では、１つ以上の自律型ロボット１１０の異種群は、必要に応じて、リアルタイム制御またはコマンドのための監視モデルに移行する。ステップ５０６では、群れ、教育、採餌などの段階の出現が、凝集、衝突回避などの行動を示しながら行われる。本開示の実施形態において、自律的な群れは、操舵行動を介して達成され、相対速度および相対位置は、目標（１つまたは複数のターゲット）を探索し、障害物を回避しながら、１つまたは複数の自律型ロボット１１０の異種群によって維持される。本開示の実施形態において、ドローンなどの自律型ロボットは、図５に示すように、カスタムファームウェア、オンボードコンピュータ（ＯＢＣ）などを備えたＣＯＴＳ（Consumer Off the Shelf：商用オフザシェルフ）フライトコントローラに相当する。本開示の一実施形態では、ＣＯＴＳは、ドローンに命令する低レベルのドローンコントローラである。ステップ５０８において、異種群は、通信ネットワーク１０８を介してＧＣＳと連絡を取ってもよいが、異種群は、ＧＣＳとのネットワーク接続を有することなく動作してもよいため、通信ネットワーク１０８は必須ではない。本開示の一実施形態において、１つ以上の自律型ロボット１１０の群は、１つ以上のターゲットを探索及び検出するために、画像取得、コンピュータビジョン及び機械学習に基づく分類を使用してもよい。ステップ５１０において、異種群は、コンピュータビジョンおよび機械学習技術を採用することによってターゲットを検出するためにカメラのようなペイロードを利用してもよく、ペイロード投下によって検出に対処する。例えば、地震などの緊急時に人道支援物資が投下される。ペイロードが投下されると、異種群はホームロケーションに戻る。

【0045】

図６は、本開示の実施形態による、ネットワーク非依存の異種ロボット群を管理するための例示的なＡＩベースの方法を示すプロセスフロー図である。本開示の実施形態において、ＡＩに基づく方法６００は、１つ以上の自律型ロボット１１０の自律型ロボットによって実行される。１つ以上の自律型ロボット１１０は、集合的に異種群を形成し、１つ以上のタスクを協働的に実行する。ステップ６０２で、１つまたは複数の電子機器１０４に関連するヒューマンマシンインターフェース１０２から、１つまたは複数の自律型ロボット１１０を介して１つまたは複数のタスクを１つまたは複数のターゲットで実行するためのコマンドセットを受信する。ヒューマンマシンインターフェース１０２は、１つ以上の電子機器１０４に構成される。本開示の一実施形態では、オペレータは、ヒューマンマシンインターフェース１０２を使用して、１つ以上の自律型ロボット１１０が１つ以上のタスクを実行できるようにするための１つ以上の高レベルコマンドを提供する。本開示の一実施形態では、１つ以上の高レベルコマンドは、地理参照地図に基づいて地上管制ステーション（ＧＣＳ）で準備される。１つ以上の高レベルコマンドは、１つ以上の自律型ロボット１１０が１つ以上のタスクを群として実行することを可能にする。本開示の一実施形態において、１つ以上の自律型ロボット１１０は、集合的に異種群を形成し、１つ以上のタスクを協働的に実行する。１つ以上の高レベルのコマンドは、１つ以上の自律型ロボット１１０の各々が、１つ以上の高レベルのコマンドを協働的に達成するために、より低レベルのタスクを行うように協働的に行動するように、人間によって異種群に発行される。１つ以上のタスクは、同時または段階的に実行される。例えば、１つ以上のタスクには、生存者の救出、医療キットの投下、食料箱の投下、標的の破壊、画像の捕捉などが含まれる。本開示の一実施形態において、ヒューマンマシンインターフェース１０２はまた、１つ以上の自律型ロボット１１０を介して１つ以上のタスクを実行するためにオペレータによって提供される１つ以上の高レベルコマンドからコマンドセットを導出する。ヒューマンマシンインターフェース１０２は、完全な群レベルで展開される。コマンドセットは、１つ以上の自律型ロボット１１０が１つ以上のタスクを協働的に実行することを可能にする機械可読コマンドである。本開示の実施形態において、コマンドセットはミッションに対応する。本開示の例示的な実施形態において、１つ以上の高レベルコマンドは、１つ以上の自律型ロボット１１０によって実行されるべき１つ以上のタスク、出発地、目的地、１つ以上のタスクを実行する時間、１つ以上の自律型機（自律型機器）の各々の役割及び速度、地上からの高度、１つ以上の予め定義された条件、出発地から目的地までのナビゲーション経路、境界フェンス、１つ以上の中間位置、１つ以上のターゲット、安全領域及び危険領域を表す予め定義されたコマンドセット（一組のコマンド）を含む。本開示の一実施形態では、１つ以上の高レベルコマンドは、地理参照地図上に提供される。例えば、予め定義されたコマンドセットは、武装、パッケージの配達、群れ、採餌、着陸、位置への移動、教育、離陸、全地球測位システム（ＧＰＳ）の待機、待機、生存者の発見、ペイロードの投下などである。本開示の一実施形態では、航行経路はオペレータによって提供される。本開示の別の実施形態では、ナビゲーション経路は、出発地、目的地、ＧＰＳに基づいてヒューマンマシンインターフェース１０２によって生成される。本開示の例示的な実施形態では、１つ以上の電子機器１０４は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、スマートフォン、ウェアラブルデバイス、スマートウォッチ、デジタルカメラなどを含み得る。例えば、ウェアラブルデバイスは、拡張現実ヘッドセット、仮想現実ヘッドセット等であってもよい。本開示の一実施形態では、ヒューマンマシンインターフェース１０２は、通信ネットワーク１０８を介してＡＩベースのコンピューティングシステム１０６と通信する。

【0046】

本開示の一実施形態において、異種群の１つ以上の自律型ロボット１１０の各々は、出発地から目的地へ移動する間、現在の群れの状態を知る。異種群は新しい状態に遷移し、それは、十分な前提数が目的地に到達したなどの１つ以上の予め定義された条件が満たされたときに、他の役割に移動するスウォーミングエンティティ（群体）にカスケードする。本開示の実施形態では、１つ以上の予め定義された条件は、ミッションの前にパラメータ化され、構成される。本開示の実施形態において、１つ以上の自律型ロボット１１０の各々は、リアルタイムで互いの位置を定期的に同期させるので、異種群として振る舞うことができる。

【0047】

ステップ６０４において、自律型ロボットに関連する１つ以上のロボット能力が、受信されたコマンドセットおよび予め定義されたロボット情報に基づいて決定される。本開示の例示的な実施形態において、１つ以上のロボット能力は、ペイロードのタイプ、センサのタイプ、速度、重量保持能力、コンフィグレーション、バッテリーレベル、クラス、自律型ロボットの重量などを含む。例えば、自律型ロボットのクラスは、１０ｋｇのクアッドコプターを有する２０ｋｇのヘキサコプター、ベルーガ（ＢＬＬ）、ニンバス（ＮＭＢ）、マッケラル（ＭＣＬ）、カメラフィッティングを有する無人機、クアッドコプター、ヘキサコプター、及び異なる作業速度を有する地上無人機等であってもよい。本開示の例示的な実施形態では、ペイロードの種類は、カメラペイロード、ロボット、医療キット、通信可能なアンテナペイロード、武器などである。本開示の実施形態において、１つ以上の自律型ロボット１１０の各々は、時間及び速度に応じて他の自律型ロボットを収容することができる。

【0048】

ステップ６０６において、１つ以上の位置パラメータが、１つ以上のセンサ１１２を使用して捕捉される。本開示の例示的な実施形態において、１つ以上の位置パラメータは、自律型ロボットの位置、自律型ロボットの予想位置、１つ以上のターゲットの１つ以上の画像、１つ以上のターゲットの１つ以上のビデオ、近接する他の自律型ロボットの１組の画像、他の自律型ロボットの１組のビデオ、周辺環境の１つ以上の音声などを含む。本開示の一実施形態において、１つ以上のセンサ１１２は、１つ以上の位置パラメータを捕捉するために、１つ以上の自律型ロボット１１０の各々と固定される。例えば、１つ以上のセンサ１１２は、１つ以上の画像捕捉ユニット、１つ以上の音声捕捉ユニット、全地球測位システム（ＧＰＳ）、ライダー、レーダー等を含む。

【0049】

ステップ６０８において、決定された１つ以上のロボット能力および捕捉された１つ以上の位置パラメータは、１つ以上の自律型ロボット１１０の各々にブロードキャストされる。本開示の実施形態において、決定された１つ以上のロボット能力及び捕捉された１つ以上の位置パラメータは、通信ネットワーク１０８を介してブロードキャストされる。本開示の一実施形態では、決定された１つ以上のロボット能力および捕捉された１つ以上の位置パラメータは、データプライバシーを維持するために、ブロードキャスト前に圧縮および暗号化される。

【0050】

ステップ６１０において、１つまたは複数の自律型ロボット１１０に関連する１つまたは複数の状況パラメータは、ロボット管理に基づく人工知能（ＡＩ）モデルを使用することによって、ブロードキャストされた１つまたは複数のロボット能力およびブロードキャストされた１つまたは複数の位置パラメータ、受信されたコマンドセット、決定された１つまたは複数のロボット能力および捕捉された１つまたは複数の位置パラメータの１つまたは複数の応答に基づいて決定される。本開示の例示的な実施形態において、１つ以上の状況パラメータは、１つ以上の自律型ロボット１１０の各々のペイロードのタイプ、センサのタイプ、速度、可搬重量、クラス、バッテリーレベル、１つ以上の自律型ロボット１１０の各々の位置、１つ以上の自律型ロボット１１０の各々の予想位置、１つまたは複数のターゲットの１つまたは複数の画像、１つまたは複数のターゲットの１つまたは複数のビデオ、１つまたは複数の自律型ロボット１１０の１組の画像、１つまたは複数の自律型ロボット１１０の１組のビデオ、１つまたは複数の自律型ロボット１１０の各々に対する自律型ロボットの相対位置、周辺環境の１つまたは複数の音声などを含む。一つ以上の自律型ロボット１１０はそれぞれ異なるペイロードの種類、センサの種類、速度、重量保持能力、コンフィグレーション、クラス、重量などを有するため、一つ以上の自律型ロボット１１０は異質な群れを形成する。例えば、一つ以上の自律型ロボット１１０のクラスが同じで、一つ以上の自律型ロボット１１０に関連するペイロードのタイプが異なる場合、一つ以上の自律型ロボット１１０は依然として異種群を形成することができる。

【0051】

本開示の実施形態において、異なるタイプのペイロードの形態における異質性は、１つ以上の自律型ロボット１１０が通信ペイロード設備通信のような特定の役割を果たし、カメラシステムを必要とする探索を行わない可能性がある。さらに、カメラを搭載した自律型ロボットはターゲットを探し、１つ以上の自律型ロボット１１０の群れと共有することができる。例えば、ミッションペイロードを搭載した自律型ロボットは、１つ以上のターゲットをサービスすることができる。本開示の一実施形態では、自律型ロボットのコンフィグレーションに基づいて異なる自律型ロボットに役割が割り当てられ、それに応じて役割を果たす。例えば、ミツバチの群れでは、働きバチ、戦士のミツバチなどが存在し、それぞれ異なる役割を果たす。さらに、クワッドコプターとヘキサコプターのように、自律型ロボットのクラスが似ている場合もあり、少なくとも速度などが一致していることを意味する。したがって、速度の包絡線は似ているが、飛行時間は異なる可能性がある。別の例では、大型の集積回路（ＩＣ）エンジンを搭載したヘキサコプターが、小型のバッテリーを搭載したマルチコプターをペイロードとして運ぶマザーシップとして機能し、その後、小型のクアッドコプターが展開されることで異種群がカスケードする。さらに、クラスのミックス＆マッチ（例えば、固定翼＋マルチコプター）のようなクラスを超えた群れも進化しており、そこでは衝突回避のような特定の側面が依然として起こり、より高速なユニットがより小型のユニットに対応しようとすることがある。本開示の例示的な実施形態では、これは、地上車両（ground vehicle）をスウォームエンティティ（群体）として行うこともでき、そこでは、トップのホバリングスウォームエンティティは、有人－無人チーム（ＭＵＭＴ）の一部として群れの一部である地上の有人機（manned vehicle）のような、より遅い動きの地上ユニットとの関係にとどまる。あるいは、空中アセット間のＭＵＭＴのための空中の高速移動する有人機である。本開示の一実施形態では、異種群は、ＭＵＭＴ特性を達成するための有人および無人自律型機の群れに対応する。

【0052】

ステップ６１２において、ロボット管理ベースのＡＩモデルを使用することによって、受信されたコマンドセット、決定された１つまたは複数のロボット能力、捕捉された１つまたは複数の位置パラメータ、および決定された１つまたは複数の状況パラメータに基づいて、１つまたは複数のターゲットが検出される。本開示の一実施形態において、１つまたは複数のターゲットは、１つまたは複数のタスクを実行するための物体（対象物）、注目点、または関心領域を指す。例えば、対象物は、航空機、船舶、任意の地上車両、人間、土地の一部などであってもよい。本開示の一実施形態において、ロボット管理ベースのＡＩモデルは、コンピュータビジョンおよび機械学習技術に対応し得る。

【0053】

ステップ６１４において、１つまたは複数のタスクおよび検出された１つまたは複数のターゲットは、ロボット管理ベースのＡＩモデルを使用することにより、受信されたコマンドセット、決定された１つまたは複数のロボット能力、捕捉された１つまたは複数の位置パラメータ、決定された１つまたは複数の状況パラメータ、１つまたは複数のターゲットパラメータおよび予め定義された割り当て情報に基づいて、１つまたは複数の自律型ロボット１１０の間で割り当てられる。本開示の例示的な実施形態において、１つ以上のターゲットパラメータは、１つ以上のターゲットの数、１つ以上のターゲットの各々のサイズ、１つ以上の自律型ロボット１１０の各々に対応するセンサフットプリント等を含む。例えば、１つ以上の自律型ロボット１１０が検出された１つ以上のターゲットに到達すると、１つ以上の自律型ロボット１１０は協調的に１つ以上のターゲットエリアを自分たちの間で分割し、採餌行動を開始するため、１つ以上のターゲットを探してエリアをカバーする。一例として、ターゲットエリアが３００平方フィートで一台以上の自律型ロボット１１０の数が５台の場合、ターゲットエリアは６０平方フィートに分割され、一台以上の自律型ロボット１１０はそれぞれ６０平方フィートのエリアを獲得する。

【0054】

ステップ６１６において、検出された１つまたは複数のターゲットにおいて１つまたは複数のタスクは、ロボット管理ベースのＡＩモデルを使用することにより、１つまたは複数の自律型ロボット１１０の間の１つまたは複数のタスクおよび検出された１つまたは複数のタスクの割り当てに基づいて実行される。本開示の一実施形態において、１つ以上の自律型ロボット１１０は自律離陸を行い、鳥の群れのようにまとまった群れ行動を示す。例えば、１つ以上の自律型ロボット１１０の群れは、１つ以上のターゲットを検出し、地震のような緊急シナリオ中の人道支援などのペイロード投下で検出に対処するために、カメラのようなペイロードを利用することができる。本開示の一実施形態では、そのペイロードは、１つ以上の自律型ロボット１１０の速度および位置、１つ以上のターゲットの位置、風速などに基づいて投下される。例えば、異種群の１つ以上の自律型ロボット１１０は、同期しながら、あるエリアに自律型ロボットが何台存在するかを知る。さらに、その「エリア」は探索に使用されるセンサフットプリントすなわちセンサの帯形状（swath）によって分割される。さらに、エリアは全体的に横断する必要がある長さに分割される。次に、その「長さ」は、存在する１つ以上の自律型ロボット１１０の数で割られ、これにより、長さ－セグメントに沿ったこの長さ線に沿った開始点が与えられる。さらに、異種群の１つ以上の自律型ロボット１１０の各々は、それぞれに割り当てられた長さセグメントに進み、これを横断する。本開示の一実施形態において、予め定義された割り当て情報は、割り当てのための規則のセット（集合）を含む。例えば、割り当ては「年功序列」の概念に基づく。より小さいインターネットプロトコル（ＩＰ）アドレスを有するドローンが、最初に割り当てられることがある。

【0055】

さらに、方法６００は、ロボット管理ベースのＡＩモデルを用いて、決定された１つ以上の状況パラメータに基づいて１つ以上の衝突パラメータを決定することを含む。本開示の例示的な実施形態において、１つ以上の衝突パラメータは、１つ以上の自律型ロボット１１０の各々の互いに対する相対位置、１つ以上の自律型ロボット１１０の各々の間の自由空間、１つ以上の自律型ロボット１１０の各々の位置、予想位置及び速度、１つ以上の自律型ロボット１１０の各々の近傍にある１つ以上の障害物等を含む。さらに、方法６００は、ナビゲーション経路上を移動中の１つ以上の自律型ロボット１１０の衝突を防止するために、ロボット管理ベースのＡＩモデルを用いて、決定された１つ以上の衝突パラメータ、閾値距離、受信されたコマンドセット及び決定された１つ以上の状況パラメータに基づいて１つ以上のアクションを実行することを含む。本開示の一実施形態において、１つ以上の自律型ロボット１１０は、障害物や互いの衝突などを回避する。さらに、障害物情報は、異種群の移動に先立って与えられてもよいし、異種群の移動中に出現してもよい。本開示の一実施形態において、１つ以上の自律型ロボット１１０は、１つ以上のアクションを実行することにより、協働的かつ自律的に、衝突のない軌道を通って出発地から目的地へ向かう。無衝突軌道は、群泳行動をシミュレートする。本開示の例示的な実施形態において、１つ以上のアクションは、左へ移動、上へ移動、右へ移動、下へ移動、静止等を含む。本開示の一実施形態において、方法６００は、１つ以上の自律型ロボット１１０の各々に対して衝突のないナビゲーション経路を提供しつつ、結束を可能にする。１つ以上の自律型ロボット１１０の各々が独立して操作されるので、自律型ロボットの衝突は、閾値距離に基づく凝集力メカニズムを通じて防止され得る。本開示の一実施形態において、群れの１つ以上の自律型ロボット１１０の各々は、自律型ロボットが閾値距離を超えると互いに引力を感じるが、自律型ロボットが閾値距離の内側にいる間は反発し始め、それにより、常に互いに衝突することなく群れの形成を維持する。さらに、方法６００は、定義された領域内で点Ａから点Ｂへ飛行する間、相対位置と速度のマッチングを維持しながら、１つ以上の自律型ロボット１１０が協調的に移動することを可能にすることを含む。異種群はグループとして移動するが、点の周囲をホバリングするため衝突しない。

【0056】

さらに、方法６００は、検出された１つまたは複数のターゲットにおいて１つまたは複数のタスクを実行する際に、１つまたは複数のセンサ１１２およびロボット管理ベースのＡＩモデルを使用して、１つまたは複数のタスクパラメータを決定することを含む。本開示の例示的な実施形態において、１つまたは複数のタスクパラメータは、検出された１つまたは複数のターゲットにおいて自律型ロボットによって実行されたタスクの数、自律型ロボットによって捕捉された画像、ビデオおよび音声、検出された１つまたは複数のターゲットの近傍にある１つまたは複数の物体（対象物）、使用されたペイロードなどを含む。さらに、方法６００は、決定された１つ以上のタスクパラメータを１つ以上の自律型ロボット１１０の各々にブロードキャストすることを含む。本開示の一実施形態において、決定された１つ以上のタスクパラメータは、通信ネットワーク１０８を介してブロードキャストされる。本開示の実施形態において、１つ以上のタスクパラメータは、データプライバシーを維持するために、ブロードキャストされる前に圧縮され、暗号化される。方法６００は、ロボット管理に基づくＡＩを用いて、ブロードキャストされた１つ以上のタスクパラメータの１つ以上の応答に基づいて、１つ以上の自律型ロボット１１０に関連する１つ以上の最適化パラメータを決定することを含む。本開示の例示的な実施形態において、１つ以上の最適化パラメータは、検出された１つ以上のターゲットにおいて１つ以上の自律型ロボット１１０の各々によって実行されたタスクの数、１つ以上の自律型ロボット１１０の各々によって捕捉された画像、ビデオおよび音声、検出された１つ以上のターゲットの近傍にある物体の集合、１つ以上の自律型ロボット１１０の各々によって使用されるペイロードなどを含む。さらに、方法６００は、決定された１つ以上のロボット能力、捕捉された１つ以上の位置パラメータ、決定された１つ以上の状況パラメータ、１つ以上のターゲットパラメータ、予め定義された割り当て情報、１つ以上の緊急コマンド、および決定された１つ以上の最適化パラメータに基づいて、１つ以上のタスクを効率的に実行するために、ロボット管理ベースのＡＩモデルを用いて受信されたコマンドセットを最適化することを含む。本開示の一実施形態では、ミッション中の特定の時間に、異種群内の１つ以上の自律型ロボット１１０が同期し、通信範囲内の自律型ロボットが互いの、ひいては異種群全体の状況更新を受信することができる。

【0057】

本開示の一実施形態では、方法６００は、１つ以上の自律型ロボットまたはその組み合わせの動的挙動をテスト、再生するために、３次元（３Ｄ）空間内に１つ以上の自律型ロボット１１０の高忠実度表現を作成することを含む。本開示の例示的な実施形態において、３次元（３Ｄ）空間における１つ以上の自律型ロボット１１０の作成された高忠実度表現は、仮想シミュレーション環境に対応する。さらに、方法６００は、仮想シミュレーション環境において１つ以上の仮想タスクおよびテスト仮説を作成することを含む。１つ以上の仮想タスクはミッションに対応する。本開示の一実施形態において、オペレータは、ヒューマンマシンインターフェース１０２を使用して、１つ以上の仮想タスクを作成し、上等なシミュレーション環境において仮説をテストしてもよい。方法６００は、１つ以上のシミュレーションルールに基づいて、仮想シミュレーション環境においてロボット管理ベースのＡＩモデルを訓練することを含む。本開示の一実施形態において、オペレータは、ミッションの前に合成環境を通じて群ミッションのシミュレーションを行い、セッションがどのように出現し得るかの感触を得てもよい。オペレータは、ポイント・アンド・クリック・インターフェースを備えた二次元スクリーン上で、または強化された状況認識のための仮想現実および拡張現実インターフェースを介して、異種群とインターフェースすることができる。本開示の実施形態では、このようなミッションは、ＧＣＳ内のオペレータによって準備される。さらに、ヒューマンマシンインターフェース１０２は、オペレータを訓練するために、試験、開発、またはそれらの組み合わせが行われる。本開示の実施形態では、開発されテストされたヒューマンマシンインターフェース１０２は、オペレータの訓練ツールとなる。

【0058】

さらに、方法６００は、１つ以上のセンサ１１２およびロボット管理ベースのＡＩモデルを用いて、自律型ロボットに関連する１つ以上のライブパラメータをリアルタイムで検出することを含む。本開示の例示的な実施形態において、１つ以上のライブパラメータは、健康状態、飛行モード、現在のルーチン、ルーチンデータ、速度、自律型ロボットのバッテリー、自律型ロボットによって実行されるタスク、自律型ロボットの周辺にいる自律型ロボットの数、周辺環境のマルチメディアデータなどを含む。方法６００は、検出された１つ以上のライブパラメータを、１つ以上の電子機器１０４に関連するヒューマンマシンインターフェース１０２に出力することを含む。本開示の一実施形態では、ヒューマンマシンインターフェース１０２により、オペレータは、高レベルのコマンドを使用して、異種群を形成する１つ以上の自律型ロボット１１０に命令し、監視することができる。オペレータは、異種群内の個々の自律型ロボットを制御する必要はない。本開示の実施形態において、トップダウンセンサカバレッジ、ムービングマップトップビュー及び地上制御ステーション経由のビューは、ヒューマンインループ（人間参加型）すなわちオペレータが１つ以上のタスクを計画し監視するために利用可能である。本開示の実施形態において、１つ以上の自律型ロボット１１０の群は、通信ネットワーク１０８を介してＧＣＳと連絡してもよいが、１つ以上の自律型ロボット１１０の群は、ＧＣＳとの通信ネットワーク１０８を持たずに動作してもよいため、通信ネットワーク１０８は必須ではない。オペレータは、状況認識のために、１つ以上の自律型ロボット１１０の相互作用を明確に確認することができる。本開示の実施形態において、１つ以上の自律型ロボット１１０間の距離は容易に追跡され得る。

【0059】

本開示の一実施形態において、オペレータは、１つ以上の自律型ロボット１１０に緊急コマンドを提供することができる。例えば、緊急コマンドは、「ミッション中止」、「帰還」等であってもよい。さらに、１つ以上の自律型ロボット１１０は、受信した緊急コマンドに対応するタスクを実行してもよい。本開示の一実施形態において、人間のオペレータは、１つ以上の自律型ロボット１１０の群れと、ポイント・アンド・クリック・インターフェースを備えた２Ｄ画面上で、または強化された状況認識のための仮想現実および拡張現実インターフェースを介してインターフェースし得る。

【0060】

ＡＩベースの方法６００は、任意の適切なハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせで実装することができる。

【0061】

図７Ａ～図７Ｃは、本開示の一実施形態による、ネットワーク非依存の異種ロボット群を管理するためのＡＩベースのコンピューティングシステム１０６のグラフィカルユーザインターフェース画面である。図７Ａ～図７Ｂは、オペレータによって１つ以上の高レベルコマンドが提供される地理参照地図、左側に１つ以上のサンプルルーチン、右側に１つ以上のライブパラメータ、１つ以上の緊急制御、下部に個々のドローンパターンを示すテーブルビューなどを表示する。図７Ｃは、時間とともに進化する複数の自律型ロボットによる完全な状況認識を示す画像を表示する。本開示の実施形態では、図７Ｃは、１つ以上の自律型ロボット１１０が異なる時間インスタンスで異なる場所を移動するため、動的な進化を示す。本開示の実施形態では、移動中の群れは異種である。例えば、Ｂｅｌｌｕｇａ（ＢＬＬ）、Ｎｉｍｂｕｓ（ＮＭＢ）、Ｍａｃｋｅｒａｌ（ＭＣＬ）のような異なるドローンである。別の例では、同じプラットフォームが異なるペイロードを取り付けることによって異なる役割のために構成される場合、群れは異種である。

【0062】

このように、本ＡＩベースコンピューティングシステム１０６の様々な実施形態は、ネットワーク非依存の異種ロボット群を管理するソリューションを提供する。ＡＩベースのコンピューティングシステム１０６は、人道支援や災害救助、諜報、監視、偵察、農業、物流、セキュリティなどの複数の応用分野で使用することができる。ＡＩベースのコンピューティングシステム１０６は、異なるクラスの無人航空機（ＵＡＶ）の異種無人システム群が、単一または複数のタスクのために単一の群として自律的かつ協調的に同時または段階的に働くことを可能にする。本開示の一実施形態では、ＡＩベースのコンピューティングシステム１０６は、単一のスウォームシステム（群れシステム）とのインターフェースのために、特定の個々のクラスのＵＡＶのレベルに配備され、ヒューマンマシンインターフェース１０２は、完全な群れ無人システムに配備される。ＡＩベースのコンピューティングシステム１０６は、人間が全体として異種群に高レベルのコマンドを発行することを可能にし、一方、１つ以上の自律型ロボット１１０は、協調的に高レベルのコマンドを達成するために、より低レベルのタスクを行うように行動する。さらに、合成シミュレーションモジュール２３０は、ＡＩベースのコンピューティングシステム１０６とヒューマンマシンインターフェース１０２を互いに抽象化し、合成環境におけるシミュレーションを介して仮説とミッションを検証する。ＡＩベースのコンピューティングシステム１０６は、意思決定を行う支配的なマスター、すなわち人間または無人エージェントを持つことなく、１つまたは複数の自律型ロボット１１０を通じて群行動を実現する。ＡＩベースのコンピューティングシステム１０６は、ループ内の人間（参加した人間）が、これらの挙動を示す異種群の意味を理解し、高レベルのコマンドを発行すること、すなわち個々の自律型ロボットを制御しないことを可能にする。さらに、ＡＩベースのソリューションにより、オペレータは、１つまたは複数の自律型ロボット１１０の異種群、すなわち、異なるコンフィグレーションおよび組成の自律型ロボットを協調群に混在させることができる。例えば、異種群は、無人航空機システムと無人地上車両（ＵＡＶ＋ＵＧＶ）との混合であってもよいが、異なるクラスのＵＡＶ（想定例としては、２０ｋｇのヘキサコプターと１０ｋｇのクアッドコプターとが考えられる）であってもよく、また、異なるコンフィグレーション、例えば、異なるペイロードを有するＵＡＶ（例えば、カメラペイロードを有する１つのＵＡＶ対通信可能なアンテナペイロードを有する１つのＵＡＶ）であってもよい。本開示の一実施形態では、ＧＣＳを介したネットワークが有効な場合、スウォーミング（群れ化）は比較的容易である。しかし、マスターノードへの依存度が高く、通信もロバストである。ＡＩベースのコンピューティングシステム１０６は、地上管制ステーションへのリンクが完全に切断された状態（および、人間／ＧＣＳをループから完全に取り出した状態）で動作する可能性があり、通信拒否モードまたは劣化モードで動作する可能性がある。さらに、ＡＩベースのコンピューティングシステム１０６は、１つ以上の自律型ロボット１１０の各々に配備され、群内の他のエージェントを考慮した生物学的に触発された複製可能な群行動へとそれらを駆動する。異種群では、すべての自律型ロボットが同じコンフィグレーションである可能性がある。さらに、ヒューマンマシンインターフェース１０２により、オペレータは、高レベルのコマンドを使用して、群ミッションの命令および監視を行うことができ、オペレータは、群内の個々の自律型ロボットを制御する必要がない。本開示の一実施形態では、１つ以上の自律型ロボット１１０の異種群は、自律離陸を行い、鳥の群れのようにまとまった群れ行動を示す。１つ以上の自律型ロボット１１０の異種群が指定された領域に到達すると、１つ以上の自律型ロボット１１０は協働してターゲットエリアを自分たちの間で分割し、採餌行動を開始するため、ターゲットを探して領域をカバーする。

【0063】

さらに、ＡＩベースのコンピューティングシステム１０６は、オペレータが異種群に関与し、空間と時間のコンテキストで異種群に高レベルのコマンドを発行することを可能にする。異種群は、生物学的およびロボット工学的に触発された群れの行動を模倣しており、例えば、数には力があるため、群れの要素は互いにくっつく傾向がある。しかし、これは群れの実体が衝突するという問題につながるため、ＡＩベースのコンピューティングシステム１０６は、群れ内の衝突回避を行いながら、一緒に凝集するという特性を可能にする。さらに、群れ化ソリューションは、相対的な位置と速度の一致を維持しながら、無人エージェントが協調的に移動することを可能にする。本開示の一実施形態では、異種群は障害物回避も可能であり、障害物情報は、異種群が移動する前に与えられるか、または移動中に現れる可能性がある。異種群は、生物学的およびロボット工学的に触発された探索最適化手法を採用して所与の領域を探索することができ、互いに情報を共有する多数の自律型ロボットによる探索を活用することで、最適な探索をもたらす。本開示の一実施形態では、人間のオペレータは、最初のミッション記述以外に関与する異種群を操作する必要はないが、人間のオペレータは、ループ内にいることを選択し、群れのセッション中に群れの挙動を修正する動的指示を行うことができる。従って、１つ以上の自律型ロボット１１０の群れは、常時監視のための地上制御ステーションを必要としない。さらに、人間のオペレータは、ミッションの前に、合成環境を通じて群れのミッションをシミュレートし、セッションがどのように出現し得るかの感触を得ることができる。本開示の一実施形態において、人間のオペレータは、１つ以上の電子機器１０４を使用することによって、空間および時間にわたって展開された群れのセッションを再生することができる。さらに、人間のオペレータは、ポイント・アンド・クリック・インターフェースを有する２Ｄスクリーン上で、または強化された文脈的な状況認識のための仮想現実および拡張現実インターフェースを介して、群れとインターフェースすることができる。

【0064】

本開示の一実施形態では、１つ以上の自律型ロボット１１０の各々は、最初のコマンド入力後、ネットワーク接続に依存せずに動作することができる。ＡＩベースのコンピューティングシステム１０６は、１つ以上の自律型ロボット１１０の各々に構成され、それにより、異種の群れが単一の実体として一体となって行動することを可能にする。ＡＩベースのコンピューティングシステム１０６は、予め定義されたターゲット環境における１つ以上の自律型ロボット１１０の制御された群行動を可能にする。このような実施形態では、群行動を達成するために、ＡＩベースのコンピューティングシステム１０６は、通信ネットワーク１０８を介してコマンドセンターから受信した高レベルコマンドに基づいて、１つ以上の自律型ロボット１１０の各々にコマンドセットを発行する。高レベルコマンドは、個々の自律型ロボットを制御するためのものではなく、異種群のためのものであることに留意されたい。また、ＡＩベースのコンピューティングシステム１０６は、高レベルコマンドに関連する一連の活動を分解し、その機能能力に基づいて１つ以上の自律型ロボット１１０のそれぞれに特定の活動を割り当てることができる。従って、高レベルコマンドを受信すると、異種群ロボットは、コマンドセンターからの通信ネットワーク１０８がない場合でも機能し、割り当てられたタスクを完了することができる。したがって、本発明の文脈では、ネットワークにとらわれないという用語が使用される。この特徴により、異種群が実行可能な操作の範囲と広がりが非常に広がる。本開示の実施形態において、ＡＩベースのコンピューティングシステム１０６は、１つまたは複数の自律型ロボット１１０の異なるクラスが、単一または複数のタスクを同時または段階的に単一の群として、自律的かつ協調的に作業することを可能にする。このような実施形態では、自律的かつ協調的な作業により、オペレータが群れの挙動を理解することが可能となる。本開示の一実施形態において、ＡＩベースのコンピューティングシステム１０６は、１つ以上の無人機（２０）の各々の自律離陸、１つ以上の自律型ロボット１１０の各々の群れ行動等を可能にする。例えば、コマンドセットは、１つ以上の自律型ロボット１１０が自律的に離陸し、マスター機またはコマンドセンターから指示されることなく、１つ以上の自律型ロボット１１０自身の間でターゲット環境を分割することを可能にする。コマンドセットは、経路障害物情報を含むこともある。ヒューマンマシンインターフェースは、１つまたは複数の電子機器１０４に構成され、通信ネットワーク１０８を介してＡＩベースのコンピューティングシステム１０６に動作可能に結合される。ヒューマン－マシンインターフェースは、オペレータが１つ以上の電子機器１０４を介して、１つ以上の自律型ロボット１１０の群行動を作動させ、監視することを可能にする。本開示の一実施形態において、オペレータは、高レベルコマンドを通じて１つ以上の自律型ロボット１１０の完全な集合を制御することができる。

【0065】

本明細書では、当業者であれば誰でも実施形態を製造および使用できるように、主題を説明する。主題の実施形態の範囲は、特許請求の範囲によって定義され、当業者に生じる他の改変を含み得る。そのような他の改変は、特許請求の範囲の文言と異ならない類似の要素を有する場合、または特許請求の範囲の文言と実質的に異ならない同等の要素を含む場合、特許請求の範囲に含まれることが意図される。
本明細書の実施形態は、ハードウェア要素およびソフトウェア要素から構成することができる。ソフトウェアで実装される実施形態には、ファームウェア、常駐ソフトウェア、マイクロコードなどが含まれるが、これらに限定されない。本明細書で説明する様々なモジュールによって実行される機能は、他のモジュールまたは他のモジュールの組み合わせで実装することができる。本明細書において、コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって、または命令実行システム、装置、またはデバイスに関連して使用するためのプログラムを構成、記憶、通信、伝播、または輸送することができる任意の装置であり得る。

【0066】

媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、または半導体システム（または装置またはデバイス）、または伝搬媒体とすることができる。コンピュータ読み取り可能な媒体の例としては、半導体またはソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、硬質磁気ディスク、光ディスクなどがある。光ディスクの現在の例としては、コンパクトディスク・リード・オンリー・メモリ（ＣＤ－ＲＯＭ）、コンパクトディスク・リード／ライト（ＣＤ－Ｒ／Ｗ）、ＤＶＤなどがある。
入出力（Ｉ／Ｏ）装置（キーボード、ディスプレイ、ポインティングデバイスなどを含むが、これらに限定されない）は、直接または介在するＩ／Ｏコントローラを介してシステムに結合することができる。また、データ処理システムが、介在するプライベートネットワークまたはパブリックネットワークを通じて、他のデータ処理システムまたはリモートプリンタまたは記憶装置と結合できるように、ネットワークアダプタをシステムに結合することもできる。モデム、ケーブルモデム、イーサネットカードは、現在利用可能なネットワークアダプタの種類のほんの一部である。

【0067】

本実施形態を実施するための代表的なハードウェア環境は、本明細書の実施形態に従った情報ハンドリング／コンピュータシステムのハードウェア構成を含み得る。本明細書のシステムは、少なくとも１つのプロセッサまたは中央処理装置（ＣＰＵ）を備える。ＣＰＵは、システムバス２０８を介して、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、および入出力（Ｉ／Ｏ）アダプタなどの様々なデバイスに相互接続されている。Ｉ／Ｏアダプタは、ディスク・ユニットやテープ・ドライブなどの周辺装置や、システムによって読み取り可能な他のプログラム記憶装置に接続することができる。システムは、プログラム記憶装置上の本発明の命令を読み取り、これらの命令に従って本明細書の実施形態の方法論を実行することができる。

【0068】

システムはさらに、キーボード、マウス、スピーカ、マイク、および／またはタッチスクリーンデバイス（図示せず）などの他のユーザインタフェースデバイスをバスに接続してユーザ入力を収集するユーザインタフェースアダプタを含む。さらに、通信アダプタは、バスをデータ処理ネットワークに接続し、表示アダプタは、バスを、例えばモニタ、プリンタ、送信機などの出力デバイスとして具現化され得る表示デバイスに接続する。

【0069】

互いに通信する複数の構成要素を有する実施形態の説明は、そのような構成要素がすべて必要であることを意味するものではない。それどころか、本発明の多種多様な可能な実施形態を説明するために、様々な任意の構成要素が記載されている。本明細書において、単一の装置又は物品が記載されている場合、複数の装置／物品（それらが協働するか否かにかかわらず）が、単一の装置／物品の代わりに使用され得ることは明らかであろう。同様に、本明細書において、二つ以上の装置又は物品（それらが協働するか否かを問わない）が記載されている場合、二つ以上の装置又は物品の代わりに単一の装置／物品が使用されてもよいこと、又は、示された数の装置又はプログラムの代わりに異なる数の装置／物品が使用されてもよいことは明らかであろう。装置の機能性及び／又は特徴は、そのような機能性／特徴を有するものとして明示的に記載されていない１つ以上の他の装置によって代替的に具現化されてもよい。したがって、本発明の他の実施形態は、装置自体を含む必要はない。

【0070】

図示されたステップは、図示された例示的な実施形態を説明するために設定されたものであり、継続的な技術開発により、特定の機能が実行される方法が変更されることが予測されるべきである。これらの例は、説明の目的で本明細書に提示されたものであり、限定するものではない。さらに、機能ビルディングブロックの境界は、本明細書では、説明の便宜のために任意に定義されている。指定された機能およびその関係が適切に実行される限り、代替の境界を定義することができる。代替案（本明細書に記載されたものの等価物、拡張、変形、逸脱などを含む）は、本明細書に含まれる教示に基づき、関連技術分野の当業者には明らかであろう。このような代替案は、開示された実施形態の範囲および精神に含まれる。また、「含む（comprising）」、「有する（having）」、「含む（containing）」、および「含む（including）」という語、ならびに他の類似の形態は、これらの語のいずれか１つに続く項目または項目が、そのような項目または項目の網羅的なリストであることを意味するものでも、列挙された項目または項目のみに限定されることを意味するものでもないという点で、意味において同等であり、かつオープンエンドであることが意図される。また、本明細書および添付の特許請求の範囲で使用される場合、単数形「a」、「an」、および「the」は、文脈上明らかにそうでないことが指示されない限り、複数形の参照を含むことに留意しなければならない。

【0071】

最後に、本明細書で使用される文言は、主として読みやすさと説明のために選択されたものであり、発明的主題を画定または包囲するために選択されたものではないかもしれない。したがって、本発明の範囲は、この詳細な説明によってではなく、むしろ、ここに基づく出願に基づいて発行される特許請求の範囲によって限定されることが意図される。従って、本発明の実施形態は、以下の特許請求の範囲に規定される本発明の範囲を例示するものであって、限定するものではないことが意図される。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【国際調査報告】