特許 6650467 無人機の遠隔信号伝達制御のためのマルチセンサ制御装置、システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6650467

(24)【登録日】2020年1月22日

(45)【発行日】2020年2月19日

(54)【発明の名称】無人機の遠隔信号伝達制御のためのマルチセンサ制御装置、システムおよび方法

(51)【国際特許分類】

   G05D 1/00 20060101AFI20200210BHJP

   B64C 39/02 20060101ALI20200210BHJP

   B64C 13/20 20060101ALI20200210BHJP

【ＦＩ】

   G05D1/00 B

   B64C39/02

   B64C13/20 Z

【請求項の数】20

【全頁数】15

(21)【出願番号】特願2017-553990(P2017-553990)

(86)(22)【出願日】2016年3月28日

(65)【公表番号】特表2018-515838(P2018-515838A)

(43)【公表日】2018年6月14日

(86)【国際出願番号】US2016024521

(87)【国際公開番号】WO2016167946

(87)【国際公開日】20161020

【審査請求日】2017年10月31日

(31)【優先権主張番号】14/686,370

(32)【優先日】2015年4月14日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】503178185

【氏名又は名称】ノースロップ グラマン システムズ コーポレイション

【氏名又は名称原語表記】ＮＯＲＴＨＲＯＰ ＧＲＵＭＭＡＮ ＳＹＳＴＥＭＳ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田 淳

(72)【発明者】

【氏名】クラーク、ライアン ティ．

【審査官】 影山 直洋

(56)【参考文献】

【文献】 特表２０１２−５０９８１２（ＪＰ，Ａ）

【文献】 国際公開第２０１５／０１４１１６（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１４／０３１６６１４（ＵＳ，Ａ１）

【文献】 国際公開第２０１４／１３０８７１（ＷＯ，Ａ１）

【文献】 特開平０５−１４９７０６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０５Ｄ １／００

Ｂ６４Ｃ １３／２０

Ｂ６４Ｃ ３９／０２

(57)【特許請求の範囲】

【請求項1】

装置であって、
複数のウェアラブルデバイスであって、各ウェアラブルデバイスは、無人機（ＵＶ）に命令する操作者のジェスチャを検出するマルチセンサ検出器を有し、各マルチセンサ検出器は、操作者の手の指の動きを検出する抵抗ストリップと、操作者の１つ以上の手の動き、地球に対する操作者の手の動き、および操作者の手の回転動作に関する操作者のジェスチャの動き及び方向のうちの１つを検出する少なくとも２つのセンサと、を含む、前記ウェアラブルデバイスと、
対応するマルチセンサ検出器を監視して、当該マルチセンサ検出器の少なくとも２つのセンサによって供給される入力データに基づいて前記操作者の対応するジェスチャを判定する複数のコントローラと、を備え、
各コントローラは、対応するジェスチャに基づいて前記無人機のための対応するコマンドを生成して前記無人機を制御する、装置。

【請求項2】

前記少なくとも２つのセンサは、
操作者の手の動きに関する操作者のジェスチャの動きおよび方向を検出する加速度計、地球に対する操作者の手の動きを検出する磁力計、および操作者の手の回転動作を検出するジャイロスコープのうちの少なくとも２つを含む、請求項１に記載の装置。

【請求項3】

前記コントローラは、前記無人機を制御するために前記コマンドをミッションプランナ・アプリケーションに中継する通信モジュールに各コマンドを送信し、
前記ミッションプランナ・アプリケーションは、各コマンドを受信して制御コマンドを生成し、該制御コマンドに基づいて前記無人機を制御する、請求項１に記載の装置。

【請求項4】

前記通信モジュールは、モバイルデバイスであり、該モバイルデバイスは、各コマンドを前記ミッションプランナ・アプリケーションに中継する、請求項３に記載の装置。

【請求項5】

前記コントローラは、各コマンドをブルートゥースまたはユニバーサルシリアルバス接続（ＵＳＢ）を介して、通信モジュールに送信し、該通信モジュールは、各コマンドを前記ミッションプランナ・アプリケーションに中継する、請求項３に記載の装置。

【請求項6】

前記ミッションプランナ・アプリケーションは、コンピュータ上で動作し、無線リンクを介して通信モジュールと通信する、請求項３に記載の装置。

【請求項7】

前記ミッションプランナ・アプリケーションからウェアラブルグラスの操作者にミッションステータスを伝えるウェアラブルグラスをさらに備える請求項６に記載の装置。

【請求項8】

前記ミッションプランナ・アプリケーションは、ソフトウェアパケットをスクリプトインタフェースを介して汎用プロトコルインタフェースに通信し、該汎用プロトコルインタフェースは、汎用プロトコルのコマンドを前記通信モジュールと通信するアプリケーションに変換する、請求項６に記載の装置。

【請求項9】

前記汎用プロトコルは、トランスポート・コントロール・プロトコル（ＴＣＰ）であり、
前記ソフトウェアパケットは、Ｐｙｔｈｏｎスクリプトで通信される、請求項８に記載の装置。

【請求項10】

システムであって、
無人機（ＵＶ）に命令する操作者のジェスチャを検出するマルチセンサ検出器を有する１組のウェアラブルデバイスであって、各マルチセンサ検出器は、操作者の手の指の動きを検出する抵抗ストリップと、操作者の手の動きに関する操作者のジェスチャの動きおよび方向を検出する加速度計、地球に対する操作者の手の動きを検出する磁力計、および操作者の手の回転動作を検出するジャイロスコープを含む少なくとも２つのセンサと、を含む、前記ウェアラブルデバイスと、
対応するマルチセンサ検出器を監視して、当該マルチセンサ検出器の少なくとも２つのセンサから供給された入力データに基づいて前記操作者の対応するジェスチャを判定する１組のコントローラであって、各コントローラは、前記操作者の対応するジェスチャに基づいて前記無人機のための対応するコマンドを生成する、前記１組のコントローラと、
前記無人機を制御するために前記コントローラからの対応するコマンドを通信する通信モジュールと、
前記通信モジュールと通信するミッションプランナ・アプリケーションと、を備え、
前記ミッションプランナ・アプリケーションは、前記通信モジュールから各コマンドを受信して制御コマンドを生成し、当該制御コマンドに基づいて前記無人機を制御する、システム。

【請求項11】

前記通信モジュールは、モバイルデバイスである、請求項１０に記載のシステム。

【請求項12】

前記コントローラは、各コマンドをブルートゥースまたはユニバーサルシリアルバス接続（ＵＳＢ）を介して、通信モジュールに送信する、請求項１１に記載のシステム。

【請求項13】

前記ミッションプランナ・アプリケーションは、コンピュータ上で動作し、無線リンクを介して前記通信モジュールと通信する、請求項１０に記載のシステム。

【請求項14】

前記ミッションプランナ・アプリケーションから前記ウェアラブルデバイスの操作者にミッションステータスを伝えるウェアラブルグラスをさらに備える請求項１３に記載のシステム。

【請求項15】

前記ミッションプランナ・アプリケーションは、ソフトウェアパケットをスクリプトインタフェースを介して汎用プロトコルインタフェースに通信し、該汎用プロトコルインタフェースは、汎用プロトコルのコマンドを前記通信モジュールと通信するアプリケーションに変換する、請求項１４に記載のシステム。

【請求項16】

前記汎用プロトコルは、トランスポート・コントロール・プロトコル（ＴＣＰ）であり、
前記ソフトウェアパケットは、Ｐｙｔｈｏｎスクリプトで通信される、請求項１５に記載のシステム。

【請求項17】

方法であって、
複数のコントローラの各々が、少なくとも２つのセンサを有する関連するウェアラブルデバイスから、無人機（ＵＶ）に命令する操作者の対応するジェスチャを検出することであって、前記少なくとも２つのセンサのうちの１つは、操作者の手の指の動きを検出する抵抗ストリップである、前記複数のジェスチャを検出すること、
前記複数のコントローラの各々が、対応するウェアラブルデバイスの少なくとも２つのセンサにより供給される検出データを分析して、操作者の手の動き、地球に対する操作者の手の動き、操作者の手の回転動作、および操作者の手の指の動きに関する操作者の複数のジェスチャの動き及び方向を検出すること、
前記複数のコントローラの各々が、対応するウェアラブルデバイスの少なくとも２つのセンサにより供給される検出データの前記分析に基づいて、前記操作者の対応するジェスチャを判定すること、
前記複数のコントローラの各々が、判定された前記操作者の対応するジェスチャに基づいて対応するコマンドをミッションプランナ・アプリケーションに通信すること、
前記ミッションプランナ・アプリケーションが、各コントローラからの対応するコマンドに基づいて前記無人機の動作を制御するための制御コマンドを生成すること、を備える方法。

【請求項18】

前記無人機の飛行経路を制御するために各コマンドを前記無人機に供給するように構成された通信モジュールと、
前記操作者の頭にまたは頭の周りに装着するウェアラブルディスプレイデバイスと、をさらに備え、
前記ウェアラブルディスプレイデバイスは、該ウェアラブルディスプレイデバイス上の表示のために前記通信モジュールから前記無人機の飛行経路情報を受信する、請求項１に記載された装置。

【請求項19】

前記ウェアラブルディスプレイデバイスは、ヘッドマウントディスプレイ（ＨＭＤ）およびウェアラブルグラスのうちの１つである、請求項１８に記載の装置。

【請求項20】

前記無人機の飛行経路を制御するために各コマンドを前記無人機に供給するように構成された通信モジュールと、
前記操作者の頭にまたは頭の周りに装着するウェアラブルディスプレイデバイスと、をさらに備え、
前記ウェアラブルディスプレイデバイスは、該ウェアラブルディスプレイデバイス上の表示のために前記通信モジュールから前記無人機の飛行経路情報を受信し、
前記ウェアラブルディスプレイデバイスは、ヘッドマウントディスプレイ（ＨＭＤ）およびウェアラブルグラスのうちの１つである、請求項１０に記載されたシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、制御システムに関し、より詳細には、マルチセンサ装置を利用する無人機の遠隔信号伝達制御のためのシステムおよび方法に関する。

【背景技術】

【0002】

ほとんどの無人システムは、システムを製造した製造業者を問わず、組織単位の専門職のための予算および計画を複数の上司に要求する複数の操作者に対する特殊な訓練を必要とする。これは、無人システムの適切な雇用に先立って特殊な訓練が数ヶ月または数年の訓練を必要とする多くの状況において実際的ではない。例えば、歩兵部隊が、任意の戦闘空間内で複雑な複数の航空資産（air asset）を指揮するために、計器飛行資格パイロットを持つことは期待できない。米軍は、複雑な複数のシステムと最小限の訓練を受けた要員との間の相互作用の長い歴史を持ち、地上戦闘員は、複数の人間によって操作される陸上車両および航空機を連係させ、指揮することが期待されている。通常、複数の無人システムは、操作者をデータに没頭させるように設計されたユーザインターフェースを有する無人機とセンサに焦点を当てるように開発されている。しかし、最終的には、長時間（且つ高価な）の訓練の必要性を持つ特殊な操作者を育成することになる。さらに、特殊な訓練が実施された後に操作者の動きを検出するための粗い単一センサセンシングシステムは、それらが展開される前に複数の較正手順を必要とし、操作者の所望のコマンドの変化を検出するのが遅くなることがある。較正の遅延および／または操作者の複数のコマンドの検出は、戦場では致命的となる可能性がある。

【発明の概要】

【課題を解決するための手段】

【0003】

本開示は、マルチセンサ装置を利用する無人機の遠隔信号伝達制御のためのシステムおよび方法に関する。一側面では、装置は、無人機（ＵＶ）に命令する操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスを含む。マルチセンサ検出器は、操作者の手の動き、地球に対する操作者の手の動き、操作者の手の回転動作、および操作者の手の指の動きに関する操作者の複数のジェスチャの動き及び方向を検出する少なくとも２つのセンサを含む。コントローラは、マルチセンサ検出器を監視して、少なくとも２つのセンサから受信された入力データに基づいて操作者の複数のジェスチャを判定する。コントローラは、判定された操作者の複数のジェスチャに基づいて無人機へのコマンドを生成する。

【0004】

他の側面では、システムは、無人機（ＵＶ）に命令する操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスを含む。マルチセンサ検出器は、操作者の手の動きに関する操作者の複数のジェスチャの動きおよび方向を検出する加速度計、地球に対する操作者の手の動きを検出する磁力計、操作者の手の回転動作を検出するジャイロスコープ、および操作者の手の指の動きを検出する抵抗ストリップのうちの少なくとも２つを含む。コントローラは、マルチセンサ検出器を監視して、少なくとも２つのセンサから受信された入力データに基づいて操作者の複数のジェスチャを判定する。コントローラは、判定された操作者の複数のジェスチャに基づいてコマンドを生成する。通信モジュールは、無人機を制御するために、コントローラからのコマンドを中継する。

【0005】

さらなる他の側面では、方法は、少なくとも２つのセンサを有するウェアラブルデバイスから、無人機に命令する操作者の複数のジェスチャを検出することを含む。方法は、少なくとも２つのセンサを分析して、操作者の手の動き、地球に対する操作者の手の動き、操作者の手の回転動作、および操作者の手の指の動きに関する操作者の複数のジェスチャの動き及び方向を検出することを含む。方法は、少なくとも２つのセンサの分析に基づいて、前記操作者の複数のジェスチャを判定することを含む。方法は、無人機の複数の動作を制御するためのコマンドを通信することを含む。

【図面の簡単な説明】

【0006】

【図1】操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスを介した無人機の遠隔信号伝達及び制御のためのシステムの一例を示す。

【図2】操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスを介した無人機の遠隔信号伝達及び制御のためのミッションプランナを有するシステムの一例を示す。

【図3】操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスを介した無人車両の遠隔信号伝達及び制御のための複数のシステム構成要素の一例を示す。

【図4】無人機の遠隔信号伝達および制御のためのインタフェースプロトコルの例を示す。

【図5】操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスを介した無人機の遠隔信号伝達及び制御のための例示的な装置を示す。

【図6】操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスを介して検出することができる例示的なジェスチャを示す。

【図7】操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスを介した無人機の遠隔信号伝達及び制御のための方法の一例を示す。

【発明を実施するための形態】

【0007】

本開示は、マルチセンサ装置を利用する無人機（unmanned vehicle : UV）の遠隔信号伝達制御（remote signaling control）のためのシステムおよび方法に関する。このシステムおよび方法は、標準化された人間の複数のジェスチャ（standardized human gestures）（例えば、承認された手および腕の信号）を介してＵＶを制御することを含む。このシステムは、任意の人間のジェスチャ（例えば、手による上または下への動作）を再現してＵＶを制御する間にユーザが装着する１組のウェアラブルデバイス（例えば、複数のグローブ）を含む。各ウェアラブルデバイスは、例えば、任意の人間のジェスチャの検出を提供するように構成された加速度計、ジャイロスコープ、磁力計、または抵抗ストリップ（resistance strip）を含み得るマルチセンサ検出器（multi-sensor detector）を含む。別例では、システムは、ＵＶの動きを制御する１組のグローブ（glove）ではなく、単一のグローブを含む。マルチセンサ検出器を利用することにより、単一センサシステムに要求される複雑な複数の較正手順（calibration procedure）を軽減することができる。さらに、マルチセンサ検出器は、従来の単一センサシステム（例えば、加速度計の検出のみ）よりも迅速に手のジェスチャを判定することができる。

【0008】

ウェアラブルデバイスは、マルチセンサ検出器を監視し、複数の測定値が伝送される伝送媒体（有線または無線）を介して通信するコントローラを含むことができる。システムは、ウェアラブルデバイスから複数の測定値／複数のコマンドを受信するための電子デバイス（例えば、モバイルハンドヘルドデバイスなどの単一ボードコンピュータ）などの複数の通信モジュールをさらに含むことができる。コントローラは、ジェスチャデータを解釈して、任意の手のジェスチャ（例えば、左／右、上／下、手の回転、指の動きなど）に対応する複数の特性を抽出する。抽出された複数の特性は、ＵＶを制御するための既知の手の複数のジェスチャ特性に基づいてＵＶへのコマンド信号（または複数の信号）を生成するようにコントローラによって用いられる。別の態様では、システムは、ユーザの頭上または頭の周りに装着可能なヘッドマウントディスプレイ（head mounted display : HMD）をさらに含む。ＨＭＤは、通信モジュールと通信し、ＵＶ（例えば、全体的なシステム状態、ＵＶの緯度および経度情報など）に対応する関連情報を受信するように構成される。

【0009】

図１は、操作者の複数のジェスチャ１４０を検出するマルチセンサ検出器を有するウェアラブルデバイス１２０を介した無人機１１０の遠隔信号伝達および制御のためのシステム１００の一例を示す。ウェアラブルデバイス１２０のマルチセンサ検出器１３０（例えば、ウェアラブルグローブ）は、ＵＶ１１０に命令する操作者の複数のジェスチャを検出する。マルチセンサ検出器１３０は、操作者の手の動き、地球に対する操作者の手の動き、操作者の手の回転の動き、および操作者の手の指の動きに関する操作者のジェスチャの動きおよび方向を検出する少なくとも２つのセンサを含む。例えば、複数のセンサは、操作者の手の動き（例えば、身体を横切る左または右の水平な手の動き）に関する操作者の複数のジェスチャの動きおよび方向を検出する加速度計を含み得る。また複数のセンサは、地球の磁場に対する操作者の手の動き（例えば、横方向の手の動き）を検出する磁力計を含み得る。別例では、複数のセンサは、操作者の手の回転運動を検出するジャイロスコープを含み得る。また複数のセンサは、操作者の手の指の動きを検出する（例えば、指が屈曲すると、抵抗ストリップが屈曲してその抵抗が変化する）指装着式抵抗ストリップ（finger mounted resistance strip）を含み得る。複数のジェスチャ１４０は、任意の標準的な軍用または産業用マニュアルから解釈され得る。複数のマニュアルの例は、空軍の取扱説明書（Air Force instruction manual）１１−２１８、陸軍のビジュアル信号マニュアル（Department of Army Visual Signals manual）ＦＭ−２１６０、海軍航空マニュアル（Naval Air manual）ＮＡＶＡＩＲ ００−８０Ｔ−１１３などを含む。

【0010】

コントローラ１５０は、マルチセンサ検出器１３０を監視して複数のセンサから（例えば、少なくとも２つのセンサから）受け取った入力データに基づいて操作者のジェスチャを判定する。コントローラ１５０は、判定された操作者のジェスチャに基づいて、ＵＶ１１０に／から（例えば、直接的または間接的に）コマンドを生成する。例えば、コントローラ１５０が、検出器１３０を介して操作者が両手を地面に向かって下方に動かしたことを検出した場合、コントローラは、無人機が下方向に飛行経路を制御するためにその後に無人機により用いられるダウンコマンドを生成することができる。この例に示すように、コントローラ１５０は、ＵＶを制御するコマンドを中継する通信モジュール１６０にコマンドを送信し得る。いくつかの実施例では、コントローラ１５０および／または通信モジュール１６０は、ウェアラブルデバイス１２０の一部分として提供され得る。他の例では、コントローラ１５０および／または通信モジュール１６０は、グローブの外側にあってもよく、マルチセンサ検出器１３０へのそれぞれの通信のためにグローブに配線されてもよい。特定の例では、通信モジュール１６０は、コントローラ１５０からのコマンドを中継してＵＶ１１０を制御するシングルボードコンピュータ（例えば、モバイルハンドヘルドデバイス）であってもよい。図示されていないが、ＵＶは、コントローラ１５０によって生成された複数のコマンドに応答する別個の飛行コントローラ（separate flight controller）を含む。

【0011】

図３に関してより詳細に示され記載されるように、コントローラ１５０は、ブルートゥース（Bluetooth）またはユニバーサルシリアルバス接続（universal serial bus connection : USB）を介してコマンドを中継する通信モジュール１６０にコマンドを送信してＵＶ１１０を制御する。さらに通信モジュール１６０と通信するミッションプランナ・アプリケーション（mission planner application）が、設けられ得る（例えば、図２を参照）。ミッションプランナ・アプリケーションは、通信モジュール１６０からコマンドを受け取り、コマンドに基づいてＵＶ１１０を制御するための制御コマンドを生成する。ミッションプランナ・アプリケーションは、コンピュータ（例えば、ラップトップ）上で動作し、無線リンクを介して通信モジュール１６０と通信することができる。ウェアラブルグラス（Wearable glasses）（例えば、図３参照）は、ミッションプランナ・アプリケーションからウェアラブルデバイスの操作者にミッションステータス（mission status）を通信するように設けられ得る。

【0012】

図２は、操作者の複数のジェスチャ２４０を検出するマルチセンサ検出器２３０を有するウェアラブルデバイス２２０を介した無人機２１０の遠隔信号伝達及び制御のためのミッションプランナ２０４を有するシステム２００の一例を示す。マルチセンサ検出器２３０は、無人機２１０（unmanned vehicle : UV）に命令する操作者の複数のジェスチャ２４０を検出する。マルチセンサ検出器２３０は、操作者の手の動きに関する操作者の複数のジェスチャの動きおよび方向を検出する加速度計、地球に対する操作者の手の動きを検出する磁力計、操作者の手の回転動作を検出するジャイロスコープ、および／または操作者の手の指の動きを検出する抵抗ストリップを含む少なくとも２つのセンサを含み得る。コントローラ２５０は、複数のセンサから受信した入力データに基づいて操作者のジェスチャ２４０を判定するマルチセンサ検出器２３０を監視し、コントローラは、判定された操作者のジェスチャに基づいてＵＶ２１０のコマンドを生成する。通信モジュール２６０は、ＵＶを制御するためにコントローラからのコマンドを中継する。この例では、図１の例に示すようにコマンドを直接的に中継するのではなく、通信モジュールは、コマンドを、ＵＶ２１０と通信するミッションプランナ２０４に中継する。

【0013】

上述した例と同様に、通信モジュール２６０は、ＵＶ２１０を制御するためにコマンドを中継するモバイルハンドヘルドデバイス（またはトランシーバ（walkie/talkie）などの他の電子通信デバイス）などの単一のボードコンピュータ（board computer）であってもよい。コントローラ２５０は、コマンドを例えば、ブルートゥースまたはユニバーサルシリアルバス接続（ＵＳＢ）を介して、ＵＶ２１０を制御するためにコマンドを中継する通信モジュール２６０に送信する。ミッションプランナ２０４は、通信モジュール２６０と通信するアプリケーションである。ミッションプランナ・アプリケーションが、通信モジュール２６０からコマンドを受信し、受信されたコマンドに基づいてＵＶ２１０を制御するための制御コマンドを生成する。ミッションプランナ・アプリケーションは、コンピュータ上で動作し、無線リンクを介して通信モジュールと通信することができる。ウェアラブルグラス（例えば、図３参照）は、ミッションプランナ２０４からウェアラブルデバイス２２０の操作者にミッションステータスを伝えるために設けられ得る。ミッションプランナ２０４は、スクリプトインタフェース（scripting interface）を介してソフトウェアパケットを、汎用プロトコルのコマンドを通信モジュール２６０と通信するアプリケーションに変換する汎用プロトコルインタフェース（generic protocol interface）に通信することができる。例えば、汎用プロトコルは、トランスポート・コントロール・プロトコル（transport control protocol : TCP）であり、ソフトウェアパケットがＰｙｔｈｏｎスクリプトで通信されるが、他のトランスポートおよびスクリプトスタイルも可能である。

【0014】

図３は、操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスを介した無人機（unmanned vehicle : UV）の遠隔信号伝達及び制御のための複数のシステム構成要素３００の一例を示す。この例では、ＵＶ３１０は、ミッションプランナ・アプリケーションを動作させるコンピュータ３２０と無線通信する。ミッションプランナは、ウェアラブルデバイス３４０からジェスチャ・コマンドを（ＵＳＢまたはブルートゥースを介して）受信する通信モジュール３３０（例えば、モバイルハンドヘルドデバイス）と通信する。ウェアラブルステータス・ディスプレイ３５０（例えば、グーグルグラス）が設けられ、ミッションプランナ３２０および／または通信モジュール３３０を介してウェアラブルデバイス３４０の操作者にステータスを送信することができる。このことは、例えば、ブルートゥース接続を介した通信を含み得る。

【0015】

図４は、無人機の遠隔信号伝達および制御のためのインタフェースプロトコルの例を示す。この例では、図３に関して上述したミッションプランナは、飛行時間、目的地、ナビゲーション、ターゲットアイデンティティ（target identity）、他の戦場資産との連係などの複数のＵＶミッションの様々な態様を制御するように、ミッションプランナ・ソフトウェア４１０を動作させることができる。ミッションプランナ・ソフトウェア４１０は、汎用プロトコル（例えば、ＴＣＰプロトコル）を介して動作する通信モジュールインターフェース４３０を介してソフトウェアパケット４２０（例えば、Ｐｙｔｈｏｎスクリプト）を送信または受信するスクリプトインタフェースを動作させることができる。通信モジュールインターフェース４３０は、例えばウェアラブルデバイスを使用して操作者にステータスを提供するために、コンピュータ、単一のボードコンピュータのようなデバイス、またはウェアラブルグラスに関連付けられる。インタフェース４３０は、例えば、ウェアラブルデバイスのステータス（例えば、オン／オフ）、各モジュールの通信ステータス（例えば、通信に利用可能または利用可能ではない、無線ステータス）、ミッションプランナと通信する複数のデバイスのシステムステータス、及びＵＡＶに関連するステータスの複数のステータスを提供することができる。

【0016】

図５は、操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスを介した無人機の遠隔信号伝達及び制御のための例示的な装置５００を示す。図１に関して上述したウェアラブルデバイスは、５１０および５２０に示す１つまたは２つのウェアラブルグローブとして具体化され得る。グローブ５１０，５２０は、本明細書で説明されるように解釈された操作者の複数のジェスチャに基づいて複数のコマンドを供給する。グローブ５１０，５２０の各々は、本明細書で説明されるような類似の検出センサおよび／またはコントローラで構成され得る。例えば、グローブ５１０は、操作者の指の動きを検出する抵抗ストリップ５３０（または複数のストリップ）を含む。手のセンサ５４０は、本明細書で説明されるマルチセンサ検出器に関して説明された（複数の）加速度計、（複数の）ジャイロスコープ、および／または（複数の）磁力計を含み得る。単一の例示的なセンサは、慣性測定ユニット（inertial measurement unit :IMU）のような９軸センサである。複数のセンサおよび／または複数のストリップ５３０からの出力は、本明細書で説明されるように通信モジュール（図示せず）と通信することができるＵＳＢケーブル５６０を介して解釈されたコマンドを送信することができるコントローラ５５０に通信され得る。

【0017】

図６は、操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスを介して検出される例示的なジェスチャ６００を示す。例示的なジェスチャ６００は、ダウンジェスチャ（down gesture）であるが、前述したように、複数のジェスチャは、本明細書で説明されるように同様に解釈され得る（例えば、図１に関して記載された複数のジェスチャの例示的な複数のマニュアルを参照）。以下は、ダウンジェスチャ６００を解釈するための例示的な擬似コード（pseudo-code）を提示する。これは一例にすぎず、このジェスチャおよび他のそれぞれのジェスチャを解釈する多くの他のコーディングの可能性があり得ることに留意されたい。
// Down
// Arms out, dropped down to sides.
// palm high pos z acc -> palm high neg x acc. High pos y gyro
if( C2_Global_Active && C2_Down && (System.nanoTime() - C2_Down_Time > 500000000) ){
// Active Timer expires after 500ms
C2_Global_Active = false;
C2_Down = false;
C2_Down_Time = 0;
C2_Down_Start_Time = 0;
C2_Down_Motion_Time = 0;
C2_Down_Counter = 0;
} else if ( C2_Global_Active || ( C2_Down && (System.nanoTime() - C2_Down_Time < 500000000) ) ){
C2_Down_Start_Time = 0;
C2_Down_Motion_Time = 0;
C2_Down_Counter = 0;
} else {
// Check for command actions (acc is accelerometer)
if( left_palm_mpu9250_zacc > 12000 // Palms Down
&& right_palm_mpu9250_zacc > 12000
&& Math.abs(left_palm_mpu9250_ygyro) < 4000 // No motion down/up
&& Math.abs(right_palm_mpu9250_ygyro) < 4000
){
// Initial Conditions Met
C2_Down_Start_Time = System.nanoTime();
C2_Down_Counter = C2_Down_Counter | 1;
}
if( left_palm_mpu9250_ygyro > 12000 // Palms moving Down (pos y gyro)
&& right_palm_mpu9250_ygyro > 12000
&& (System.nanoTime() - C2_Down_Start_Time < 250000000)
){
// Proper Motion Conditions Met
C2_Down_Motion_Time = System.nanoTime();
C2_Down_Counter = C2_Down_Counter | 2;
}
if( left_palm_mpu9250_xacc < -12000 // Fingers Down
&& right_palm_mpu9250_xacc < -12000
&& left_forearm_mpu9250_xacc < -12000 // Forearms Vertical
&& right_forearm_mpu9250_xacc < -12000
&& (System.nanoTime() - C2_Down_Start_Time < 1000000000)
&& (System.nanoTime() - C2_Down_Motion_Time < 500000000)
){
// Declared as Proper C2 Command
C2_Global_Active = true;
C2_Down = true;
C2_Down_Time = System.nanoTime();
System.out.println("DOWN");
C2_Down_Counter = C2_Down_Counter | 4;
}
if( ( (C2_Down_Start_Time > 0) && (System.nanoTime() - C2_Down_Start_Time > 1000000000) ) || ( (C2_Down_Motion_Time > 0) && ( (System.nanoTime() - C2_Down_Motion_Time) > 1000000000) )
){
// Start or Motion Timed Out
C2_Down_Start_Time = 0;
C2_Down_Motion_Time = 0;
C2_Down_Counter = 0;
}
}
jCheckBox_C2_Down.setSelected(C2_Down);
上述した構造的及び機能的特徴を考慮して、例示的な方法は、図７を参照することにより、より良く理解されるであろう。説明を簡単にするために、この方法は逐次的に実行されるように示され説明されているが、方法のうちの一部分が、本明細書において示され説明されたものと異なる順序でおよび／または同時に実施され得るので、方法が例示された順序によって限定されないことが理解され認識されたい。このような方法は、例えば、ＩＣまたはコントローラを構成する各種の部品によって実施され得る。

【0018】

図７は、操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスを介した無人機の遠隔信号伝達及び制御のための方法の一例を示す。７１０において、方法７００は、（例えば、図１のマルチセンサ検出器１３０を介して）少なくとも２つのセンサを有するウェアラブルデバイスから無人機に命令する操作者の複数のジェスチャを検出することを含む。７２０において、方法７００は、複数のセンサを分析して（例えば、図１のコントローラ１５０を介して）操作者の複数のジェスチャの動きおよび方向を検出することを含む。このことは、例えば、操作者の手の動き、地球に対する操作者の手の動き、操作者の手の回転動作、および操作者の手の指の動きに関する動きおよび方向を検出することを含む。７３０において、方法７００は、複数のセンサの分析に基づいて（例えば、図１のコントローラ１５０を介して）操作者の複数のジェスチャを判定することを含む。７４０において、方法７００は、（例えば、図１の通信モジュール１６０を介して）ＵＶの複数の動作を制御するためのコマンドを通信することを含む。図示されていないが、方法７００は、コマンドをミッションプランナ・アプリケーションに通信することを含み、ミッションプランナ・アプリケーションは、コマンドに基づいてＵＶを制御するための制御コマンドを生成することができる。

【0019】

上述した事項は複数の例である。当然のことながら、複数の要素または複数の手法の考えられるあらゆる組み合わせを説明することは不可能であるが、当業者は、多くのさらなる組み合わせおよび変更が可能であることを認識するであろう。したがって、本開示は、添付の特許請求の範囲を含む本出願の範囲内に入るそのような変更、修正、および変形をすべて包含することが意図されている。本明細書で使用される場合、「含む」という用語は、「含む」ことを意味するが、限定するものではなく、「含むこと」という用語は「含むことを」意味するが、限定するものではない。「に基づく」という用語は、少なくとも部分的に基づいていることを意味する。さらに、明細書または特許請求の範囲が「a」、「an」、「a first（第１の）」、または「another（他の）」の要素またはその等価物を記載する場合、それは、そのような要素の２つ以上を要求または排除するものではなく、そのような要素の１つまたは複数を含むと解釈されるべきである。
以下に、上記各実施形態から把握できる技術思想を記載する。
（付記１）
装置であって、
無人機（ＵＶ）に命令する操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスであって、前記マルチセンサ検出器は、操作者の手の動き、地球に対する操作者の手の動き、操作者の手の回転動作、および操作者の手の指の動きに関する操作者の複数のジェスチャの動き及び方向を検出する少なくとも２つのセンサを含む、前記ウェアラブルデバイスと、
前記マルチセンサ検出器を監視して、前記少なくとも２つのセンサから受信された入力データに基づいて前記操作者の複数のジェスチャを判定するコントローラと、を備え、
前記コントローラは、判定された操作者の複数のジェスチャに基づいて前記無人機へのコマンドを生成する、装置。
（付記２）
前記マルチセンサ検出器は、
操作者の手の動きに関する操作者の複数のジェスチャの動きおよび方向を検出する加速度計、地球に対する操作者の手の動きを検出する磁力計、操作者の手の回転動作を検出するジャイロスコープ、および操作者の手の指の動きを検出する抵抗ストリップのうちの少なくとも２つを含む、付記１に記載の装置。
（付記３）
前記コントローラは、前記無人機を制御するために前記コマンドを中継する通信モジュールに前記コマンドを送信する、付記１に記載の装置。
（付記４）
前記通信モジュールは、前記無人機を制御するために前記コマンドを中継するモバイルデバイスである、付記３に記載の装置。
（付記５）
前記コントローラは、前記コマンドをブルートゥースまたはユニバーサルシリアルバス接続（ＵＳＢ）を介して、前記無人機を制御するために前記コマンドを中継する通信モジュールに送信する、付記３に記載の装置。
（付記６）
前記通信モジュールと通信するミッションプランナ・アプリケーションをさらに備え、
前記ミッションプランナ・アプリケーションは、前記通信モジュールからコマンドを受信し、前記コマンドに基づいて前記無人機を制御するための制御コマンドを生成する、付記５に記載の装置。
（付記７）
前記ミッションプランナ・アプリケーションは、コンピュータ上で動作し、無線リンクを介して前記通信モジュールと通信する、付記６に記載の装置。
（付記８）
前記ミッションプランナ・アプリケーションから前記ウェアラブルデバイスの操作者にミッションステータスを伝えるウェアラブルグラスをさらに備える付記７に記載の装置。
（付記９）
前記ミッションプランナ・アプリケーションは、ソフトウェアパケットをスクリプトインタフェースを介して汎用プロトコルインタフェースに通信し、該汎用プロトコルインタフェースは、汎用プロトコルのコマンドを前記通信モジュールと通信するアプリケーションに変換する、付記７に記載の装置。
（付記１０）
前記汎用プロトコルは、トランスポート・コントロール・プロトコル（ＴＣＰ）であり、
前記ソフトウェアパケットは、Ｐｙｔｈｏｎスクリプトで通信される、付記９に記載の装置。
（付記１１）
システムであって、
無人機（ＵＶ）に命令する操作者の複数のジェスチャを検出するマルチセンサ検出器を有するウェアラブルデバイスであって、前記マルチセンサ検出器は、操作者の手の動きに関する操作者の複数のジェスチャの動きおよび方向を検出する加速度計、地球に対する操作者の手の動きを検出する磁力計、操作者の手の回転動作を検出するジャイロスコープ、および操作者の手の指の動きを検出する抵抗ストリップのうちの少なくとも２つを含む、前記ウェアラブルデバイスと、
前記マルチセンサ検出器を監視して、前記少なくとも２つのセンサから受信された入力データに基づいて前記操作者の複数のジェスチャを判定するコントローラであって、判定された操作者の複数のジェスチャに基づいてコマンドを生成する前記コントローラと、
前記無人機を制御するために前記コントローラからのコマンドを中継する通信モジュールと、を備えるシステム。
（付記１２）
前記通信モジュールは、前記無人機を制御するためのコマンドを中継するモバイルデバイスである、付記１１に記載のシステム。
（付記１３）
前記コントローラは、前記コマンドをブルートゥースまたはユニバーサルシリアルバス接続（ＵＳＢ）を介して、前記無人機を制御するために前記コマンドを中継する通信モジュールに送信する、付記１２に記載のシステム。
（付記１４）
前記通信モジュールと通信するミッションプランナ・アプリケーションをさらに備え、
前記ミッションプランナ・アプリケーションは、前記通信モジュールから前記コマンドを受信し、前記コマンドに基づいて前記無人機を制御するための制御コマンドを生成する、付記１３に記載のシステム。
（付記１５）
前記ミッションプランナ・アプリケーションは、コンピュータ上で動作し、無線リンクを介して前記通信モジュールと通信する、付記１４に記載のシステム。
（付記１６）
前記ミッションプランナ・アプリケーションから前記ウェアラブルデバイスの操作者にミッションステータスを伝えるウェアラブルグラスをさらに備える付記１５に記載のシステム。
（付記１７）
前記ミッションプランナ・アプリケーションは、ソフトウェアパケットをスクリプトインタフェースを介して汎用プロトコルインタフェースに通信し、該汎用プロトコルインタフェースは、汎用プロトコルのコマンドを前記通信モジュールと通信するアプリケーションに変換する、付記１６に記載のシステム。
（付記１８）
前記汎用プロトコルは、トランスポート・コントロール・プロトコル（ＴＣＰ）であり、
前記ソフトウェアパケットは、Ｐｙｔｈｏｎスクリプトで通信される、付記１７に記載のシステム。
（付記１９）
方法であって、
コントローラが、少なくとも２つのセンサを有するウェアラブルデバイスから、無人機（ＵＶ）に命令する操作者の複数のジェスチャを検出すること、
前記少なくとも２つのセンサを分析して、操作者の手の動き、地球に対する操作者の手の動き、操作者の手の回転動作、および操作者の手の指の動きに関する操作者の複数のジェスチャの動き及び方向を検出すること、
前記コントローラが、前記少なくとも２つのセンサの分析に基づいて、前記操作者の複数のジェスチャを判定すること、
前記コントローラが、前記無人機の複数の動作を制御するためのコマンドを通信すること、を備える方法。
（付記２０）
前記コマンドをミッションプランナ・アプリケーションに通信することをさらに備え、
前記ミッションプランナ・アプリケーションは、前記コマンドに基づいて前記無人機を制御するための制御コマンドを生成する、付記１９に記載の方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】