特許 6851470 無人機の制御方法、頭部装着式表示メガネおよびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6851470

(24)【登録日】2021年3月11日

(45)【発行日】2021年3月31日

(54)【発明の名称】無人機の制御方法、頭部装着式表示メガネおよびシステム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20210322BHJP

   G05D 1/00 20060101ALI20210322BHJP

   B64C 13/20 20060101ALI20210322BHJP

   B64C 39/02 20060101ALI20210322BHJP

   B64F 1/36 20170101ALI20210322BHJP

   G05D 1/10 20060101ALI20210322BHJP

   G02B 27/02 20060101ALI20210322BHJP

   H04Q 9/00 20060101ALI20210322BHJP

   G06F 3/0346 20130101ALI20210322BHJP

   G06F 3/0481 20130101ALI20210322BHJP

【ＦＩ】

   G06F3/01 570

   G05D1/00 B

   B64C13/20 Z

   B64C39/02

   B64F1/36

   G05D1/10

   G02B27/02 Z

   H04Q9/00 331A

   G06F3/0346 425

   G06F3/0481 150

【請求項の数】17

【全頁数】23

(21)【出願番号】特願2019-516208(P2019-516208)

(86)(22)【出願日】2016年9月26日

(65)【公表番号】特表2020-506443(P2020-506443A)

(43)【公表日】2020年2月27日

(86)【国際出願番号】CN2016100072

(87)【国際公開番号】WO2018053824

(87)【国際公開日】20180329

【審査請求日】2019年3月25日

(73)【特許権者】

【識別番号】513068816

【氏名又は名称】エスゼット ディージェイアイ テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＳＺ ＤＪＩ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】110002000

【氏名又は名称】特許業務法人栄光特許事務所

(72)【発明者】

【氏名】ウ イファン

(72)【発明者】

【氏名】リュウ ファイユ

(72)【発明者】

【氏名】ウ ジュン

(72)【発明者】

【氏名】ゴン ミン

(72)【発明者】

【氏名】ガオ シュウフォン

【審査官】 田川 泰宏

(56)【参考文献】

【文献】 特開２００１−３０６１４４（ＪＰ，Ａ）

【文献】 特開２０１４−０６３４１１（ＪＰ，Ａ）

【文献】 特開２０１１−１８９９２９（ＪＰ，Ａ）

【文献】 特開２０１４−２１２４７９（ＪＰ，Ａ）

【文献】 特開２０１３−１４４５３９（ＪＰ，Ａ）

【文献】 特開２０１６−１１９６５５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｂ６４Ｃ １３／２０

Ｂ６４Ｃ ３９／０２

Ｂ６４Ｆ １／３６

Ｇ０２Ｂ ２７／０２

Ｇ０５Ｄ １／００

Ｇ０５Ｄ １／１０

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０４８１

Ｈ０４Ｑ ９／００

(57)【特許請求の範囲】

【請求項1】

移動可能なマークを表示するステップと、
ユーザの入力情報を取得するステップと、
前記入力情報に基づき、前記移動可能なマークを移動させて無人機を制御するステップと、
を含み、
前記入力情報は前記ユーザの姿勢情報であることを特徴とする、無人機の制御方法。

【請求項2】

前記入力情報は、前記ユーザが入力装置を介して入力した、前記移動可能なマークを移動させるための方向情報であることを特徴とする請求項１に記載の方法。

【請求項3】

前記姿勢情報は、ヨー角とピッチ角のうち少なくとも１種を含むことを特徴とする請求項１に記載の方法。

【請求項4】

前記ユーザの入力情報を取得するステップは、
前記ユーザ頭部のヨー角とピッチ角を取得するステップを含むことを特徴とする請求項３に記載の方法。

【請求項5】

前記入力情報に基づき、前記移動可能なマークを移動させて前記無人機を制御するステップは、
前記ヨー角と前記ピッチ角に基づき、スクリーン上での前記移動可能なマークの位置を判定するステップと、
前記スクリーン上での前記移動可能なマークの位置に基づき、前記スクリーン上に表示される目標物体を選択するステップと、
を含むことを特徴とする請求項４に記載の方法。

【請求項6】

前記ヨー角と前記ピッチ角に基づき、前記スクリーン上での前記移動可能なマークの位置を判定するステップは、
前記ヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標を判定するステップと、
前記ピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標を判定するステップと、
を含むことを特徴とする請求項５に記載の方法。

【請求項7】

前記ヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標を判定するステップは、
前記ユーザ頭部の１回のヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標位置を判定するステップ、
を含み、
前記ピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標を判定するステップは、
前記ユーザ頭部の１回のピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標位置を判定するステップ、
を含むことを特徴とする請求項６に記載の方法。

【請求項8】

前記ヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標を判定するステップは、
前記ユーザ頭部の２回のヨー角の角度差に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標ずれを判定するステップ、
を含み、
前記ピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標を判定するステップは、
前記ユーザ頭部の２回のピッチ角の角度差に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標ずれを判定するステップ、
を含むことを特徴とする請求項６に記載の方法。

【請求項9】

前記スクリーン上での前記移動可能なマークの位置に基づき、スクリーン上に表示される目標物体を選択するステップは、
前記スクリーン上での前記移動可能なマークの位置を調整することで、前記移動可能なマークが前記目標物体の方を指すようにするステップと、
前記ユーザが入力した、前記目標物体を選択するための選択命令を受信するステップと、
を含むことを特徴とする請求項５に記載の方法。

【請求項10】

前記目標物体を選択するための選択命令を受信するステップは、
前記ユーザが、５次元キーの確認ボタンをクリックすることによって入力した選択命令を受信するステップ、または、
前記ユーザがタッチパネルをクリックすることによって入力した選択命令を受信するステップ、または、
前記ユーザが目の動きによって入力した選択命令を受信するステップ、または、
前記ユーザがタッチスクリーンをクリックすることによって入力した選択命令を受信するステップ、または、
前記移動可能なマークが前記目標物体上で所定の時間だけとどまった後、前記目標物体を選択するステップ、または、
前記ユーザがバーチャルボタンをクリックすることによって入力した選択命令を受信するステップ、または、
前記ユーザがジョイスティックを操縦することによって入力した選択命令を受信するステップ、のうち少なくとも１つステップを含むことを特徴とする請求項９に記載の方法。

【請求項11】

前記選択命令はポイント選択またはフレーム選択を含むことを特徴とする請求項１０に記載の方法。

【請求項12】

前記無人機の状態情報を取得するステップと、
前記無人機の状態情報に基づき、ローカルに記憶された前記無人機の状態情報を同期するステップと、
をさらに含むことを特徴とする請求項１〜１１のいずれか一項に記載の方法。

【請求項13】

前記無人機の状態情報を取得するステップは、
前記無人機に状態情報取得要求を送信するステップと、
前記無人機が送信する状態情報を受信するステップと、
を含むことを特徴とする請求項１〜１２のいずれか一項に記載の方法。

【請求項14】

前記無人機の状態情報を取得するステップは、
前記無人機が放送する状態情報を受信するステップ、を含むことを特徴とする請求項１２に記載の方法。

【請求項15】

プロセッサと、
スクリーンと、を備え、
前記プロセッサは、請求項１〜１４のいずれか一項に記載の方法を用いて前記無人機を制御することを特徴とする、頭部装着式表示メガネ。

【請求項16】

無人機および頭部装着式表示メガネを含む無人機制御システムにおいて、
前記頭部装着式表示メガネは、
スクリーンと、
請求項１〜１４のいずれか一項に記載の方法を用いて前記無人機を制御するプロセッサと、
を含むことを特徴とする、無人機制御システム。

【請求項17】

コンピュータに、請求項１〜１４のいずれか一項に記載の方法を実行させるためのプログラムが格納されたコンピュータが読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施例は無人機の分野に関し、特に、無人機の制御方法、頭部装着式表示メガネおよびシステムに関する。

【背景技術】

【0002】

従来技術における携帯電話、タッチスクリーン付きのリモートコントローラ、バーチャルリアリティ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、略称ＶＲ）メガネなどの制御機器はいずれも無人機を制御するために用いることができ、携帯電話に、無人機を制御するアプリケーションプログラムがインストールされており、ユーザはアプリケーションプログラムを操作して携帯電話のスクリーンをタッチすることによって無人機を制御し、また、ユーザは、リモートコントローラのスクリーンをタッチすることによって無人機を制御することもできる。

【0003】

ただし、ＶＲメガネにはタッチスクリーンがないため、指さし飛行モード、スマートトラッキングモード、カメラ合焦などの、タッチスクリーンを介して無人機を制御する制御方式を実現することができない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の実施例は、無人機の制御方法、頭部装着式表示メガネおよびシステムを提供することで、無人機を動作制御する目的を果たす。

【課題を解決するための手段】

【0005】

本発明の実施例の一態様は：
移動可能なマークを表示すること；
ユーザの入力情報を取得すること；および、
前記入力情報に基づき、前記移動可能なマークを移動させることで前記無人機を制御すること、
を含む、無人機の制御方法を提供することである。

【0006】

本発明の実施例のもう１つの態様は、１つまたは複数のプロセッサおよびスクリーンを備え、前記スクリーンは：
移動可能なマークを表示するために用いられ；
前記１つまたは複数のプロセッサは：
ユーザの入力情報を取得するために用いられ；
前記入力情報に基づき、前記移動可能なマークを移動させることで無人機を制御する頭部装着式表示メガネを提供することである。

【0007】

本発明の実施例のもう１つの態様は：
無人機と、前記無人機を制御するための前記頭部装着式表示メガネと、を備えた無人機制御システムを提供することである。

【0008】

本発明の実施例が提供する無人機の制御方法、頭部装着式表示メガネおよびシステムは、頭部装着式表示メガネを介してユーザの入力情報を取得し、入力情報はユーザの姿勢情報であってよく、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報であってもよく、すなわち、頭部装着式表示メガネはユーザの姿勢情報に基づいてカーソルを制御してスクリーン上で移動させることができ、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報に基づいてカーソルを制御してスクリーン上で移動させることもでき、カーソルがスクリーンの目標点まで移動した後、ユーザが入力した選択命令に基づいて目標点を選択するとともに、無人機を制御して相応の飛行モードまたは制御モードに入らせることにより、指さし飛行、スマートトラッキング、カメラ合焦などの、無人機を制御する制御方式を実現している。

【0009】

本発明の実施例または従来技術における技術案をより明確に説明するために、以下、実施例または従来技術の記述において使用する必要のある図面について簡単に説明するが、当然ながら、以下の記述における図面は本発明のいくつかの実施例であり、当業者にとっては、創造的な労働を行っていない前提の下、これらの図面に基づいて他の図面を得てもよい。

【図面の簡単な説明】

【0010】

【図1】本発明の実施例が提供する無人機の制御方法のフローチャートである。

【図1A】本発明の実施例が提供する無人機の「指さし飛行」制御インタフェースの概略図である。

【図1B】本発明の実施例が提供する無人機の「スマートトラッキング」制御インタフェースの概略図である。

【図2】本発明のもう１つの実施例が提供する無人機の制御方法のフローチャートである。

【図2A】本発明のもう１つの実施例が提供するＶＲメガネとユーザ頭部の平面図である。

【図2B】本発明のもう１つの実施例が提供する、カーソルがスクリーンで左向きに移動する概略図である。

【図2C】本発明のもう１つの実施例が提供するＶＲメガネとユーザ頭部の平面図である。

【図2D】本発明のもう１つの実施例が提供する、カーソルがスクリーンで右向きに移動する概略図である。

【図2E】本発明のもう１つの実施例が提供するＶＲメガネとユーザ頭部の側面図である。

【図2F】本発明のもう１つの実施例が提供する、カーソルがスクリーンで下向きに移動する概略図である。

【図2G】本発明のもう１つの実施例が提供するＶＲメガネとユーザ頭部の側面図である。

【図2H】本発明のもう１つの実施例が提供する、カーソルがスクリーンで上向きに移動する概略図である。

【図2I】本発明のもう１つの実施例が提供する、スクリーン上でのカーソルの座標の概略図である。

【図3】本発明のもう１つの実施例が提供する無人機の制御方法のフローチャートである。

【図4】本発明のもう１つの実施例が提供する無人機の制御方法のフローチャートである。

【図5】本発明の実施例が提供する頭部装着式表示メガネの構造図である。

【図6】本発明のもう１つの実施例が提供する頭部装着式表示メガネの構造図である。

【図7】本発明のもう１つの実施例が提供する頭部装着式表示メガネの構造である。

【図8】本発明のもう１つの実施例が提供する頭部装着式表示メガネの構造図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施例中の図面を参照しながら、本発明の実施例における技術案について明確に記述するが、当然ながら、記述された実施例は本発明の一部の実施例であるに過ぎず、すべての実施例ではない。本発明における実施例に基づき、当業者が、創造的な労働を行っていない前提の下で得たその他すべての実施例は、いずれも本発明が保護する範囲に属する。

【0012】

説明しなければならないのは、アセンブリが、もう１つのアセンブリ「に固定される」と記載される場合、もう１つのアセンブリ上に直接あってもよく、もしくは、中に存在するアセンブリであってもよい、という点である。１つのアセンブリが、もう１つのアセンブリ「を接続する」と見なされる場合、もう１つのアセンブリに直接接続されてもよく、もしくは、同時に中に存在し得るアセンブリであってよい。

【0013】

別途定義されている場合を除き、本文書で使用されるすべての技術および科学の用語と、本発明の技術分野に属する当業者が通常理解する意味は同じである。本文書中で、本発明の明細書において使用される用語は、具体的な実施例を説明する目的のためのものであるに過ぎず、本発明を限定しようとするものではない。本文書で使用される用語「少なくともひとつ」は、１つまたは複数の、関連する列記された項目の、あらゆる組み合わせを含む。

【0014】

以下、図面を参照しながら、本発明のいくつかの実施形態について詳しく説明する。矛盾しない場合であれば、下記の実施例および実施例中の特徴を互いに組み合わせることができる。

【0015】

本発明の実施例は、無人機の制御方法を提供する。図１は、本発明の実施例が提供する無人機の制御方法のフローチャートである。本実施例の実行主体は、無人機を制御するための無人機制御端末であってよく、前記無人機制御端末は、頭部装着式表示メガネ（ＶＲメガネ、ＶＲゴーグルなど）、携帯電話、リモートコントローラ（表示スクリーン付きのリモートコントローラなど）、スマートブレスレット、タブレット端末などを含むことができるが、それらのみに限定されない。前記無人機は異なるモードで動作可能であり、前記モードは、指さし飛行、スマートトラッキング、カメラ合焦などを含むが、それらのみに限定されない。

【0016】

指さし飛行モードでは、ユーザは、前記無人機制御端末の表示装置（スクリーンなど）上の一点または１つの領域をクリックすることによって飛行目標を選択することができ、前記無人機は前記飛行目標に向かって飛行することができる。

【0017】

スマートトラッキングモードでは、ユーザは、前記無人機制御端末の表示装置（スクリーンなど）上の１つの可動物体（人、動物など）を選択することによって、前記無人機を制御して前記可動物体をトラッキングして飛行させることができる。

【0018】

カメラ合焦モードでは、ユーザは、前記無人機制御端末の表示装置（スクリーンなど）上の一点または１つの領域をクリックすることによって、前記無人機の画像形成装置（カメラなど）を制御し、合焦させることができる。

【0019】

図１に示すように、本実施例における方法は以下を含むことができる。

【0020】

ステップＳ１０１において、移動可能なマークを表示する。

【0021】

本実施例では、無人機制御端末は、バーチャルリアリティ頭部装着式表示装置であってよく、本実施例の方法は、ユーザがバーチャルリアリティ頭部装着式表示装置を介して無人機を制御するのに適しており、バーチャルリアリティ頭部装着式表示装置は、具体的には、バーチャルリアリティ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、略称ＶＲ）メガネ、バーチャルリアリティゴーグル（ＶＲ ｈｅａｄｅｒ）であってよい。ユーザがＶＲメガネを装着しており、ＶＲメガネのスクリーンに移動可能なマークが表示されており、移動可能なマークは具体的にはカーソルであり、カーソルはＶＲメガネのスクリーン上で移動することができる。

【0022】

ステップＳ１０２において、ユーザの入力情報を取得する。

【0023】

本実施例では、ＶＲメガネはユーザの入力情報を取得することができ、入力情報はユーザの姿勢情報であってよく、ユーザが入力装置を介して入力した、前記移動可能なマークを移動させるための方向情報であってもよい。

【0024】

ＶＲメガネには慣性測定ユニット（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ、略称ＩＭＵ）が実装されており、ＩＭＵはＶＲメガネの位置と姿勢を検知することができ、ユーザがＶＲメガネを装着した後、ＶＲメガネはＩＭＵを介してユーザの姿勢情報を取得することができ、具体的には、ＩＭＵは、ユーザ頭部の姿勢情報を検知するために用いることができ、この姿勢情報は、ヨー角（ｙａｗ ａｎｇｌｅ）とピッチ角（ｐｉｔｃｈ ａｎｇｌｅ）の少なくとも一種を含む。ＶＲメガネは、ＩＭＵが検知したユーザ頭部の姿勢情報に基づき、スクリーン上でのカーソルの位置を制御する。ユーザの観点からすると、ユーザは頭部を回動する方式によって、カーソルを制御してスクリーン上で移動させることができる。

【0025】

また、ＶＲメガネには、アイトラッカ（ｅｙｅ ｔｒａｃｋｅｒ）など、ユーザの両目の動きと目（眼球など）の変化を検知するセンサも実装されていてよく、ＶＲメガネがユーザの姿勢情報を取得する方式は、このセンサによって実現してもよく、ＶＲメガネは、このセンサが検知したユーザの両目の動きと目の変化に基づき、スクリーン上でのカーソルの移動を制御する。ユーザの観点からすると、ユーザは、両目の動きと目の変化によって、カーソルを制御してスクリーン上で移動させることができる。

【0026】

なお、ＶＲメガネにはさらに、５次元キー、ジョイスティック、タッチスクリーンの少なくとも一種を含む入力装置が接続されていてもよい。ＶＲメガネと入力装置の接続方式は有線（ケーブルなど）であってよく、無線（Ｗｉｆｉ、ブルートゥース（登録商標）など）であってもよい。いくつかの実施例では、ＶＲメガネは、５次元キーが設けられたリモートコントローラを備えることができ、ＶＲメガネは、ユーザが５次元キーの上下左右ボタンをクリックして発生させる、方向を表す入力情報に基づき、スクリーン上でのカーソルの移動を制御する。ＶＲメガネは、ユーザがジョイスティックを回動して発生させる、方向を表す入力情報に基づき、スクリーン上でのカーソルの移動を制御することもできる。ＶＲメガネはさらに、ユーザのタッチスクリーン上でのスライドまたはタッチ操作で発生する入力情報に基づき、スクリーン上でのカーソルの移動を制御することもできる。

【0027】

なお、ＶＲメガネのフレームにタッチパネルがさらに設けられており、ユーザはタッチパネルを操作することによってスクリーン上でのカーソルの移動を制御することもできる。

【0028】

また、ＶＲメガネのスクリーン上にさらにバーチャルボタンが表示されていてよく、このバーチャルボタンは、上下左右４つの方向のバーチャルボタンと、確認を表す１つのバーチャルボタンとを備えた５次元キーに類似していてよく、ユーザはさらに、バーチャルボタンに対する操作によってカーソルを制御してスクリーン上で移動させることができる。

【0029】

ステップＳ１０３において、前記入力情報に基づき、前記移動可能なマークを移動させることで前記無人機を制御する。

【0030】

上記ステップから、ＶＲメガネは、ユーザの姿勢情報に基づき、カーソルを制御してスクリーン上で移動させることができ、ユーザが入力装置を介して入力した、前記移動可能なマークを移動させるための方向情報に基づき、スクリーン上でのカーソルの移動を制御することもできることが分かる。

【0031】

ＶＲメガネは、スクリーン上でのカーソルの移動情報を、ユーザがＶＲメガネを介して無人機を制御する命令に変換し、例えば、カーソルがスクリーン上で右向きに移動し、無人機を制御して右向きに飛行させることができる。いくつかの実施例では、ＶＲメガネが、スクリーン上でのカーソルの移動情報を、ユーザがＶＲメガネを介して無人機の機上装置を制御する命令に変換し、例えば、カーソルがスクリーン上で右向きに移動し、前記無人機の画像形成装置（カメラなど）を制御して右向きに移動させることができる。

【0032】

また、ＶＲメガネのスクリーン上にユーザインタフェースが表示されており、ＶＲメガネはこのユーザインタフェース上でのユーザの操作に基づき、無人機を制御してスマートトラッキングモード、指さし飛行モードまたはカメラ合焦モードに入らせることができ、具体的な実現方式は次の方式であってよい。このユーザインタフェースが、例えば「指さし飛行」アイコン、「スマートトラッキング」アイコン、「カメラ合焦」アイコンなどの、無人機を制御するためのアイコンを備え、ＶＲメガネは、ユーザ頭部が回動する、眼部が動く、５次元キーの上下左右ボタンをクリックする、ジョイスティックを回動する、タッチスクリーンにタッチしスライドするかまたはタッチパネルにタッチしスライドするなどの方式により、スクリーン上でのカーソルの移動を制御し、カーソルが相応のアイコンまで移動したとき、ユーザがこのアイコンを決定選択し、ＶＲメガネは、ユーザが入力した確認情報に基づき、無人機を制御して、このアイコンが対応するモードに入らせる。ユーザがアイコンを決定選択する方式は、以下のいずれか一種の方式によって実現することができる。５次元キーの確認ボタンをクリックする、タッチスクリーンをクリックする、タッチパネルをクリックする、目が所定の時間だけ回動を停止する、目が連続してまばたきする、カーソルがアイコン上に所定の時間だけとどまる、バーチャルボタンをクリックする、ジョイスティックを操作する。

【0033】

例えば、ＶＲメガネは、ユーザ頭部の回動方向に基づき、スクリーン上でのカーソルの移動を制御し、カーソルが「指さし飛行」アイコンまで移動したとき、ユーザは、５次元キーの確認ボタンをクリックするか、または、本発明が開示する、目標を確認する他の方法を用いて、「指さし飛行」アイコンを確認選択し、ＶＲメガネはユーザの選択命令に基づき、無人機を制御して指さし飛行モードに入らせ、このとき、ユーザインタフェースが「指さし飛行」制御インタフェースを呈し、図１Ａに示すように、ＶＲメガネのスクリーンに画像画面（無人機が撮影した画像画面など）を表示し、ユーザは再び、頭部が回動する、眼部が動く、５次元キーの上下左右ボタンをクリックする、ジョイスティックを回動する、タッチスクリーンにタッチしスライドするかまたはタッチパネルにタッチしスライドするなどの方式により、スクリーンでのカーソル１１の移動を制御し、ユーザが所望する目標点までカーソルが移動したときにこの目標点を決定選択し、ユーザが目標点を決定選択する方式と、ユーザがアイコンを決定選択する方式とが一致するが、ここでは無用な説明は繰り返さない。ＶＲメガネは、ユーザが選択した目標点の位置情報を無人機に送信することで、この目標点が指定する位置へ無人機を飛行させ、すなわち、ユーザが指さしたところへ無人機が飛行していくスマート飛行モードを実現する。

【0034】

さらに、ＶＲメガネは、ユーザが目を回動させる方式に基づき、スクリーン上でのカーソルの移動を制御し、カーソルが「スマートトラッキング」アイコンまで移動したとき、ユーザは、タッチパネルをクリックするか、または、本発明が開示する、目標を確認する他の方法を用いて、「スマートトラッキング」アイコンを確認選択し、ＶＲメガネはユーザの選択命令に基づき、無人機を制御してスマートトラッキングモードに入らせ、このとき、ユーザインタフェースが「スマートトラッキング」制御インタフェースを呈し、図１Ｂに示すように、ＶＲメガネのスクリーンに、選定されるべきトラッキング目標１２が表示されており、ユーザはフレーム選択の方式によってこのトラッキング目標を選択することができ、フレーム選択プロセスは次のように実現することができる。頭部を回動することによりカーソルを制御して所要の矩形枠まで移動させるための起点位置は、図１Ｂに示すカーソル位置１３であり、５次元キーの確認ボタンを押下するか、もしくはタッチパネルをシングルクリックして起点を選定するか、または、本発明が開示する、目標を確認する他の方法を用い、さらに、同様の方式で、図１Ｂに示すカーソル位置１４のような終点を選定し、点線枠１５はフレーム選択プロセスにおける矩形枠を表す。

【0035】

また、無人機のカメラ合焦モードの実現方式と指さし飛行モードの実現方式とは一致しており、ここでは無用な説明は繰り返さない。

【0036】

本実施例は、無人機制御端末を介してユーザの入力情報を取得し、入力情報はユーザの姿勢情報であってよく、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報であってもよく、すなわち、無人機制御端末は、ユーザの姿勢情報に基づき、カーソルを制御してスクリーン上で移動させることができ、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報に基づいてカーソルを制御してスクリーン上で移動させることもでき、カーソルがスクリーンの目標点まで移動した後、ユーザが入力した選択命令に基づいて目標点を選択するとともに、無人機を制御して相応の飛行モードまたは制御モードに入らせることにより、指さし飛行、スマートトラッキング、カメラ合焦などの、無人機を制御する制御方式を実現している。

【0037】

本発明の実施例は、無人機の制御方法を提供する。図２は、本発明のもう１つの実施例が提供する無人機の制御方法のフローチャートである。図２に示すように、図１に示す実施例をベースに、本実施例における方法は以下を含むことができる。

【0038】

ステップＳ２０１において、移動可能なマークを表示する。

【0039】

ステップＳ２０１はステップＳ１０１と一致しており、ここでは無用な説明は繰り返さない。

【0040】

ステップＳ２０２において、慣性測定ユニットが検知した前記ユーザ頭部のヨー角とピッチ角を取得する。

【0041】

ＶＲメガネには慣性測定ユニット（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ、略称ＩＭＵ）が実装されており、ＩＭＵはＶＲメガネの位置と姿勢を検知することができ、ユーザがＶＲメガネを装着した後、ＶＲメガネはＩＭＵを介してユーザの姿勢情報を取得することができ、具体的には、ＩＭＵは、ユーザ頭部の姿勢情報を検知するために用いることができ、この姿勢情報は、ヨー角とピッチ角の少なくとも一種を含む。

【0042】

ステップＳ２０３において、前記ヨー角と前記ピッチ角に基づき、スクリーン上での前記移動可能なマークの位置を判定する。

【0043】

ユーザがＶＲメガネを装着した後、ＶＲメガネのスクリーンが地面に対して垂直である場合を例にすると、ユーザ頭部が左右に回動するとき、ＩＭＵはユーザ頭部のヨー角を検知することができ、ユーザ頭部が上下にピッチングするとき、ＩＭＵはユーザ頭部のピッチ角を検知することができる。ＶＲメガネは、ＩＭＵが検知したユーザ頭部のヨー角とピッチ角に基づき、スクリーン上での移動可能なマーク（カーソルなど）の位置を制御する。

【0044】

ＶＲメガネが、ＩＭＵが検知したユーザ頭部のヨー角とピッチ角に基づき、スクリーン上での移動可能なマークの位置を制御することは、具体的には次のように実現することができる。前記ヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標を判定し、そして、前記ピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標を判定する。任意には、ＶＲメガネは、ユーザ頭部の左右の回動に基づいて、カーソルを制御してスクリーンの水平方向において回動させ、ユーザ頭部のピッチング運動に基づき、カーソルを制御してスクリーンの垂直方向において回動させることができる。

【0045】

図２Ａに示すように、点線枠１はＶＲメガネの平面図を表し、点線枠２はユーザ頭部の平面図を表し、点線枠３はユーザ頭部の回転方向を表し、点線枠４はＶＲメガネのスクリーンを表し、点線枠５はスクリーン上の移動可能なマークを表す。図２Ａに示すように、ユーザ頭部が左向きに回動すると、ＶＲメガネはカーソルを制御してスクリーンの水平方向において左向きに移動させ、カーソルがスクリーンの水平方向において左向きに移動した結果は、図２Ｂに示す通りである。

【0046】

また、図２Ｃに示すように、ユーザ頭部が右向きに回動すると、ＶＲメガネがカーソルを制御してスクリーンの水平方向において右向きに移動させ、カーソルがスクリーンの水平方向において右向きに移動した結果は、図２Ｄに示す通りである。

【0047】

図２Ｅに示すように、点線枠６はＶＲメガネの側面図を表し、点線枠７はユーザ頭部の側面図を表し、点線枠８はユーザ頭部の運動方向を表し、点線枠９はＶＲメガネのスクリーンを表し、点線枠１０はスクリーン上の移動可能なマークを表す。図２Ｅに示すように、ユーザ頭部が下向きに回動すると、ユーザ頭部がうつむいた状態になり、ＶＲメガネがカーソルを制御してスクリーンの垂直方向において下向きに移動させ、カーソルがスクリーンの垂直方向において下向きに移動した結果は、図２Ｆに示す通りである。

【0048】

また、図２Ｇに示すように、ユーザ頭部が上向きに回動すると、ユーザ頭部が上方を向いた状態になり、ＶＲメガネがカーソルを制御してスクリーンの垂直方向において上向きに移動させ、カーソルがスクリーンの垂直方向において上向きに移動した結果は、図２Ｈに示す通りである。

【0049】

具体的には、ＶＲメガネはヨー角に基づき、スクリーン上の水平方向におけるカーソルの座標を判定し、ピッチ角に基づき、スクリーン上の垂直方向におけるカーソルの座標を判定する。ＶＲメガネが前記ヨー角に基づき、前記スクリーン上の水平方向におけるカーソルの座標を判定することは、２種の方式によって実現することができ、ピッチ角に基づき、スクリーン上の垂直方向におけるカーソルの座標を判定することも２種の方式によって実現することができ、以下、２種の実現方式について具体的に詳述する。

【0050】

方式１
前記慣性測定ユニットが検知した前記ユーザ頭部の１回のヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標位置を判定する。前記慣性測定ユニットが検知した前記ユーザ頭部の１回のピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標位置を判定する。

【0051】

図２Ｉに示すように、ＶＲメガネのスクリーンの左下角を座標原点とし、原点を通る横向き矢印はＸ軸方向を表し、原点を通る縦向き矢印はＹ軸方向を表し、１１はカーソルを表し、ｘはスクリーン上のＸ軸におけるカーソル１１の座標を表し、ｙはスクリーン上のＹ軸におけるカーソル１１の座標を表し、具体的には下記の式（１）および（２）によって、スクリーン上でのカーソルの座標位置を判定する。
ｘ＝ｓｃｒｅｅｎＷ／２＋ｙａｗ×ｆａｃｔｏｒＸ （１）
式中、ｘは、スクリーン上のＸ軸におけるカーソルの座標を表し、ｓｃｒｅｅｎＷは、スクリーンがＸ軸方向において含む画素の個数（スクリーンの幅）を表し、ｙａｗ角（ヨー角）は、ＩＭＵの１回のサンプリングで得られるユーザ頭部のヨー角を表し、定数ｆａｃｔｏｒＸは、スクリーンＸ軸方向の変換係数を表す。
ｙ＝ｓｃｒｅｅｎＨ／２＋ｐｉｔｃｈ×ｆａｃｔｏｒＹ （２）
式中、ｙは、スクリーン上のＹ軸におけるカーソルの座標を表し、ｓｃｒｅｅｎＨは、スクリーンがＹ軸方向において含む画素の個数（スクリーンの長さ）を表し、ｐｉｔｃｈ角（ピッチ角）は、ＩＭＵの１回のサンプリングで得られるユーザ頭部のピッチ角を表し、定数ｆａｃｔｏｒＹは、スクリーンＹ軸方向の変換係数を表す。

【0052】

式（１）と（２）に基づき、ＩＭＵが今回サンプリングして得られた｛ｙａｗ、ｐｉｔｃｈ｝方向の角度値が｛−３３、２１｝度であるとすれば、ｆａｃｔｏｒＸとｆａｃｔｏｒＹはいずれも−２０であり、スクリーンの解像度は１９２０×１０８０であり、すなわち、スクリーン上でのカーソルの座標は｛１６２０、１２０｝である。

【0053】

方式２
前記慣性測定ユニットが検知した前記ユーザ頭部の２回のヨー角の角度差に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標ずれを判定する。前記慣性測定ユニットが検知した前記ユーザ頭部の２回のピッチ角の角度差に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標ずれを判定する。具体的には下記の式（３）および（４）によって、スクリーン上でのカーソルの座標位置を判定する。
ｄｅｌｔａＸ＝ｄｅｌｔａＹａｗ×ｆａｃｔｏｒＸ （３）
式中、ｄｅｌｔａＸは、スクリーンの水平方向におけるカーソルの座標ずれを表し、ｄｅｌｔａＹａｗは、ＩＭＵが今回集めたｙａｗ角（ヨー角）と、前回に集めたｙａｗ角との角度差を表し、定数ｆａｃｔｏｒＸは、スクリーンＸ軸方向の変換係数を表す。
ｄｅｌｔａＹ＝ｄｅｌｔａＰｉｔｃｈ×ｆａｃｔｏｒＹ （４）
式中、ｄｅｌｔａＹは、スクリーンの垂直方向におけるカーソルの座標ずれを表し、ｄｅｌｔａＰｉｔｃｈは、ＩＭＵが今回集めたｐｉｔｃｈ角（ピッチ角）と前回に集めたｐｉｔｃｈ角との角度差を表し、定数ｆａｃｔｏｒＹは、スクリーンＹ軸方向の変換係数を表す。

【0054】

また、他の実施例では、ｄｅｌｔａＹａｗは、ＩＭＵが任意の２回に集めたｙａｗ角の角度差であってもよく、ｄｅｌｔａＰｉｔｃｈは、ＩＭＵが任意の２回に集めたｐｉｔｃｈ角の角度差であってもよい。

【0055】

ステップＳ２０４において、前記スクリーン上での前記移動可能なマークの位置に基づき、前記スクリーン上に表示される目標物体を選択する。

【0056】

ＶＲメガネは前記ステップに基づいてスクリーン上でのカーソルの座標位置を判定することができ、ユーザ頭部が左右に回動され、上下にピッチングされたとき、カーソルがスクリーン上で移動することができ、カーソルがスクリーン上で移動することによって、スクリーン上に表示される目標物体を選択することができる。

【0057】

本実施例はＩＭＵによってユーザ頭部のヨー角とピッチ角を検知し、ＶＲメガネは、ヨー角に基づいてスクリーン上の水平方向でのカーソルの座標を判定し、ピッチ角に基づいてスクリーン上の垂直方向でのカーソルの座標を判定し、ユーザ頭部の運動情報を、スクリーン上でのカーソルの位置情報に正確に変換し、カーソル位置検出の精度を高めるとともに、ユーザが無人機を動作制御する精度も高めている。

【0058】

本発明の実施例は、無人機の制御方法を提供する。図３は、本発明のもう１つの実施例が提供する無人機の制御方法のフローチャートである。図３に示すように、図２に示す実施例をベースに、前記スクリーン上での前記移動可能なマークの位置に基づき、前記スクリーン上に表示される目標物体を選択する方法は、以下のステップによって実現することができる。

【0059】

ステップＳ３０１において、前記スクリーン上での前記移動可能なマークの位置を調整することで、前記移動可能なマークが前記目標物体の方を指すようにする。

【0060】

上記実施例をベースに、ユーザ頭部が左右に回動したとき、カーソルを制御してスクリーンの水平方向において移動させることができ、ユーザ頭部が上下にピッチングするとき、カーソルを制御してスクリーンの垂直方向において移動させることができ、ＶＲメガネはユーザ頭部の左右の回動と上下のピッチングに基づき、スクリーン上でのカーソルの位置を調整することができる。

【0061】

ＶＲメガネのスクリーン上にユーザインタフェースが表示されており、ユーザインタフェースが、例えば「指さし飛行」アイコン、「スマートトラッキング」アイコン、「カメラ合焦」アイコンなどの、無人機を制御するためのアイコンを備え、ＶＲメガネは、ユーザが選択したアイコンに基づいて無人機を制御し、このアイコンが対応するモードに入らせることができる。例えば、指さし飛行モードに入った後、ＶＲメガネのスクリーン上にマップレイヤまたは画像画面を表示し、ユーザは頭部の運動によって、カーソルがマップレイヤ上の目標点または画像画面上の目標物体の方を指すように、マップレイヤまたは画像画面上でのカーソルの位置を調整する。

【0062】

ステップＳ３０２において、前記ユーザが入力した、前記目標物体を選択するための選択命令を受信する。

【0063】

カーソルが、マップレイヤ上の目標点または画像画面上の目標物体の方を指した後、ＶＲメガネは、ユーザが入力した選択命令を受信し、ユーザがマップレイヤ上の目標点または画像画面上の目標物体を確認選択したことを表す。

【0064】

具体的には、ユーザが入力した、前記目標物体を選択するための選択命令をＶＲメガネが受信することは、以下のいくつかの方式によって実現することができる。

【0065】

１）前記ユーザが、５次元キーの確認ボタンをクリックすることによって入力した選択命令を受信する。カーソルが目標点または目標物体の方を指しているとき、ユーザは５次元キーの確認ボタンをクリックし、ＶＲメガネはユーザのクリック操作に基づき、ユーザが入力した、ユーザがスクリーン上の目標点または目標物体を確認選択したことを表す選択命令を受信する。

【0066】

２）前記ユーザがタッチパネルをクリックすることによって入力した選択命令を受信する。タッチパネルはＶＲメガネのフレーム上に設けることができ、カーソルが目標点または目標物体の方を指しているとき、ユーザはタッチパネルをクリック（例えばシングルクリックまたはダブルクリック）し、ＶＲメガネは、ユーザがタッチパネルをクリックする操作に基づき、ユーザが入力した選択命令を受信する。

【0067】

３）前記ユーザが目の動きによって入力した選択命令を受信する。本実施例では、ＶＲメガネに、ユーザの両目の動きと目の変化を検知するセンサ（アイトラッカなど）も取り付けられていてよく、カーソルが目標点または目標物体の方を指しているとき、ユーザは、目が所定の時間だけ回動を停止するかまたは目が連続してまばたきするなどの眼部情報によって、スクリーン上の目標点または目標物体を確認選択することを示すことができる。

【0068】

４）前記ユーザがタッチスクリーンをクリックすることによって入力した選択命令を受信する。また、ＶＲメガネは、有線または無線の方式によってタッチスクリーンが外付けされていてもよく、ユーザは、タッチスクリーンを所定の時間だけ押圧するなどしてタッチスクリーンを操作することによって、スクリーン上の目標点または目標物体を確認選択することを示すことができる。タッチスクリーンがユーザのタッチ操作を検知した後、関連するタッチ操作を電気信号に変換し、電気信号をＶＲメガネに送信することで、ユーザが入力した選択命令を、ＶＲメガネに電気信号に基づいて判定させることができる。ユーザはタッチスクリーンをクリック（例えばシングルクリックまたはダブルクリック）することによって、スクリーン上の目標点または目標物体を確認選択することを示すこともできる。

【0069】

５）前記移動可能なマークが前記目標物体上で所定の時間だけとどまった後、前記目標物体を選択する。カーソルが目標点または目標物体の方を指しているとき、ユーザが頭部を動かさずに保持し、カーソルを目標点または目標物体上にとどめさせ、カーソルが目標点または目標物体上にとどまる時間が所定の時間（３秒、５秒など）に達したとき、ＶＲメガネは、ユーザがこの目標点または目標物体を選択したと判定する。

【0070】

６）前記ユーザが前記バーチャルボタンをクリックすることによって入力した選択命令を受信する。また、ＶＲメガネのスクリーン上またはスクリーンの外にバーチャルボタンが表示されていてもよく、このバーチャルボタンは確認ボタンとしてもよい。

【0071】

７）前記ユーザがジョイスティックを操縦することによって入力した選択命令を受信する。例えば、前記ユーザが、前記ジョイスティック上の確認ボタンを押圧することで、スクリーン上の目標点または目標物体を確認選択することを示してもよい。

【0072】

また、この選択命令はポイント選択であってよく、フレーム選択であってもよい。

【0073】

本実施例はＶＲメガネを介し、ユーザ頭部の動きに基づいて、スクリーン上でのカーソルの位置を調整し、ユーザが所望する目標点または目標物体の方をカーソルが指すようにし、目標点または目標物体に対するポイント選択またはフレーム選択を実現することができ、ユーザがＶＲメガネを介してポイント選択またはフレーム選択の操作を行うことを実現しており、ＶＲメガネにタッチスクリーンが欠けているため、指さし飛行モード、スマートトラッキングモード、カメラ合焦など、タッチスクリーンを介して無人機を制御する制御方式を実現することができなくなる欠陥を補っている。

【0074】

本発明の実施例は、無人機の制御方法を提供する。図４は、本発明のもう１つの実施例が提供する無人機の制御方法のフローチャートである。図４に示すように、上記いずれかの実施例をベースに、本実施例が提供する無人機の制御方法は、以下を含むことができる。

【0075】

ステップＳ４０１において、前記無人機の状態情報を取得する。

【0076】

本実施例は、無人機に複数の制御機器が対応しているとき、複数の制御機器が無人機を同時に制御する場面に用いるのに適している。ＶＲメガネ、スマート端末、スクリーン付きのリモートコントローラ、スマートブレスレットなどの装置はいずれも、無人機を制御する制御機器とすることができ、複数の制御機器が個別に無人機を制御することができるため、複数の制御機器が１つの無人機を同時に制御するとき、制御の混乱や相互干渉につながるおそれがある。例えば、ユーザＡがスマート端末を持っており、スマート端末を介して無人機を制御してスマートトラッキングモードに入らせ、ユーザＡがスマート端末のスクリーン上でトラッキング目標をフレーム選択した後、無人機がスマートトラッキングモードに入り、スマートトラッキング画面をスマート端末にリアルタイムで送信し、ユーザＡがスマート端末のスクリーンを介して、スマートトラッキング画面をリアルタイムで見る。ユーザＢはＶＲメガネを装着しており、このとき無人機がすでにスマートトラッキングモードにあることをユーザＢが知らず、やはりＶＲメガネを介して無人機を制御してスマートトラッキングモードに入らせれば、ユーザＡのスマート端末とユーザＢとスマート端末との間で制御矛盾が生じるおそれがあり、例えば、ユーザＡが見ているスマートトラッキング画面が終了され、このような問題が出現するのを避けるため、本実施例が提供する各々の制御機器は、飛行モード、カメラの設定情報、ビデオ再生情報などを含む無人機の状態情報をリアルタイムで、または周期的に取得する必要がある。

【0077】

各々の制御機器は無人機の状態情報を能動的に取得することができ、無人機の状態情報を受動的に取得することもできる。無人機の状態情報を能動的に取得することは、次のように実現することができる。制御機器が無人機に状態情報取得要求を送信し、無人機は状態情報取得要求に基づき、その状態情報を制御機器に戻す。無人機の状態情報を受動的に取得することは、次のように実現することができる。無人機が放送方式でその状態情報を各々の制御機器に送信する。任意には、無人機が状態情報を周期的に放送する。無人機の状態情報を受動的に取得することは、次のように実現することもできる。１つの制御機器が無人機の状態情報を取得した後、この状態情報を他の制御機器に送信し、他の制御機器はこの無人機の状態情報を受動的に受信する。

【0078】

ステップＳ４０２において、前記無人機の状態情報に基づき、ローカルに記憶された前記無人機の状態情報を同期する。

【0079】

各々の制御機器が無人機の状態情報を取得した後、ローカルに記憶された前記無人機の状態情報を同期する。例えば、スマート端末のローカルに記憶された前記無人機のスマート飛行モードが「指さし飛行」であり、無人機の現在のスマート飛行モードが「スマートトラッキング」であれば、スマート端末は、ローカルに記憶された無人機のスマート飛行モードを「スマートトラッキング」に更新しなければならず、同時に、スマート端末が「スマートトラッキング」制御インタフェースに受動的に切り替えられることで、スマート端末を持つユーザに、すでに他の制御機器が、スマートトラッキングモードになるように無人機を配置していることを知らせる。

【0080】

また、「指さし飛行」と「無人機端のビデオをリモート再生する」という状況も「スマートトラッキング」と類似しており、ここでは無用な説明は繰り返さない。

【0081】

本実施例は、複数の制御機器によって無人機の状態情報をそれぞれ取得するとともに、無人機の状態情報に基づき、ローカルに記憶された無人機の状態情報を同期し、各々の制御機器が記憶している無人機の状態情報を無人機の現在の状態情報と一致させ、複数の制御機器が１つの無人機を同時に制御する際に制御の混乱や相互干渉が生じる現象を回避している。

【0082】

本発明の実施例は頭部装着式表示メガネを提供する。本実施例が提供する頭部装着式表示メガネは、具体的に、上記方法の実施例における無人機制御端末であってよい。図５は、本発明の実施例が提供する頭部装着式表示メガネの構造図であり、図５に示すように、頭部装着式表示メガネ５０は１つまたは複数のプロセッサ５１およびスクリーン５２を備え、スクリーン５２は、移動可能なマークを表示するために用いられ、１つまたは複数のプロセッサ５１は、ユーザの入力情報を取得するために用いられ、前記入力情報に基づき、前記移動可能なマークを移動させることで無人機を制御する。

【0083】

具体的には、前記１つまたは複数のプロセッサは、マイクロプロセッサ（英語：ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ）、縮小命令セットコンピュータ（英語：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ、略称：ＲＩＳＣ）、特定用途向け集積回路（英語：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ、略称：ＡＳＩＣ）、特定用途向け命令セットプロセッサ（英語：ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｓｔｒｕｃｔｉｏｎ−ｓｅｔ ｐｒｏｃｅｓｓｏｒ、略称：ＡＳＩＰ）、中央処理装置（英語：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、略称：ＣＰＵ）、物理プロセッサ（英語：ｐｈｙｓｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、略称：ＰＰＵ）、デジタル信号プロセッサ（英語：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、略称：ＤＳＰ）、フィールドプログラマブルゲートアレイ（英語：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、略称：ＦＰＧＡ）などを含むことができるが、これらのみに限定されない。

【0084】

いくつかの実施例では、前記頭部装着式表示メガネは、ＶＲメガネ、またはＶＲゴーグルなどを含むことができる。

【0085】

本実施例では、前記入力情報は前記ユーザの姿勢情報である。もしくは、前記入力情報は、前記ユーザが入力装置を介して入力した、前記移動可能なマークを移動させるための方向情報である。

【0086】

前記入力装置は、５次元キー、ジョイスティック、タッチパネル、タッチスクリーンまたはバーチャルボタンの少なくとも１種を含む。

【0087】

前記姿勢情報は、ヨー角とピッチ角の少なくとも１種を含む。

【0088】

本発明の実施例が提供する頭部装着式表示メガネの具体的な原理と実現方式はいずれも図１に示す実施例と類似しており、ここでは無用な説明は繰り返さない。

【0089】

本実施例は、頭部装着式表示メガネを介してユーザの入力情報を取得し、入力情報はユーザの姿勢情報であってよく、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報であってもよく、すなわち、頭部装着式表示メガネはユーザの姿勢情報に基づいてカーソルを制御してスクリーン上で移動させることができ、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報に基づいてカーソルを制御してスクリーン上で移動させることもでき、カーソルがスクリーンの目標点まで移動した後、ユーザが入力した選択命令に基づいて目標点を選択するとともに、無人機を制御して相応の飛行モードまたは制御モードに入らせることにより、指さし飛行、スマートトラッキング、カメラ合焦などの、無人機を制御する制御方式を実現している。

【0090】

本発明の実施例は頭部装着式表示メガネを提供する。図６は、本発明のもう１つの実施例が提供する頭部装着式表示メガネの構造図であり、図６に示すように、図５をベースに、頭部装着式表示メガネ５０は、前記ユーザ頭部のヨー角とピッチ角を検知するとともに、前記ユーザ頭部のヨー角とピッチ角を前記１つまたは複数のプロセッサ５１に送信するための、前記１つまたは複数のプロセッサ５１に接続される慣性測定ユニット５３をさらに備える。

【0091】

１つまたは複数のプロセッサ５１は、前記ヨー角と前記ピッチ角に基づき、前記スクリーン上での前記移動可能なマークの位置を判定し、そして、前記スクリーン上での前記移動可能なマークの位置に基づき、前記スクリーン上に表示される目標物体を選択するために用いられる。

【0092】

具体的には、１つまたは複数のプロセッサ５１は、前記ヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標を判定し、そして、前記ピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標を判定するために用いられる。

【0093】

任意には、１つまたは複数のプロセッサ５１は、前記慣性測定ユニットが検知した前記ユーザ頭部の１回のヨー角に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標位置を判定し、前記慣性測定ユニットが検知した前記ユーザ頭部の１回のピッチ角に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標位置を判定するために用いられる。

【0094】

もしくは、１つまたは複数のプロセッサ５１は、前記慣性測定ユニットが検知した前記ユーザ頭部の２回のヨー角の角度差に基づき、前記スクリーン上の水平方向における前記移動可能なマークの座標ずれを判定し、そして、前記慣性測定ユニットが検知した前記ユーザ頭部の２回のピッチ角の角度差に基づき、前記スクリーン上の垂直方向における前記移動可能なマークの座標ずれを判定する。

【0095】

本発明の実施例が提供する頭部装着式表示メガネの具体的な原理と実現方式はいずれも図２に示す実施例と類似しており、ここでは無用な説明は繰り返さない。

【0096】

本実施例はＩＭＵによってユーザ頭部のヨー角とピッチ角を検知し、前記１つまたは複数のプロセッサは、ヨー角に基づいてスクリーン上の水平方向でのカーソルの座標を判定し、ピッチ角に基づいてスクリーン上の垂直方向でのカーソルの座標を判定し、ユーザ頭部の運動情報を、スクリーン上でのカーソルの位置情報に正確に変換し、カーソル位置検出の精度を高めるとともに、ユーザが無人機を動作制御する精度も高めている。

【0097】

本発明の実施例は頭部装着式表示メガネを提供する。図７は、本発明のもう１つの実施例が提供する頭部装着式表示メガネの構造図であり、図７に示すように、図６をベースに、１つまたは複数のプロセッサ５１は、前記スクリーン上での前記移動可能なマークの位置を調整することで、前記移動可能なマークが前記目標物体の方を指すようにするために用いられ、頭部装着式表示メガネ５０は、前記ユーザが入力した、前記目標物体を選択するための選択命令を受信するための、前記１つまたは複数のプロセッサ５１に接続される受信ユニット５４をさらに備える。

【0098】

任意には、受信ユニット５４は、前記ユーザが入力した前記目標物体を選択するための選択命令を受信するために用いられ、前記ユーザが、５次元キーの確認ボタンをクリックすることによって入力した選択命令を受信すること、もしくは、前記ユーザがタッチパネルをクリックすることによって入力した選択命令を受信すること、もしくは、前記ユーザが目の動きによって入力した選択命令を受信すること、もしくは、前記ユーザがタッチスクリーンをクリックすることによって入力した選択命令を受信すること、もしくは、前記移動可能なマークが前記目標物体上で所定の時間だけとどまった後、前記目標物体を選択すること、もしくは、前記ユーザが前記バーチャルボタンをクリックすることによって入力した選択命令を受信すること、もしくは、前記ユーザがジョイスティックを制御することによって入力した選択命令を受信すること、を含む。

【0099】

また、頭部装着式表示メガネ５０は、前記１つまたは複数のプロセッサ５１に接続される眼部センサ５５をさらに含み、眼部センサ５５は、前記ユーザの目の運動情報を検知するとともに、前記運動情報を前記１つまたは複数のプロセッサ５１を送信するために用いられ、１つまたは複数のプロセッサ５１は、前記運動情報に基づき、前記選択命令を判定するために用いられる。

【0100】

前記選択命令はポイント選択またはフレーム選択を含む。

【0101】

本発明の実施例が提供する頭部装着式表示メガネの具体的な原理と実現方式はいずれも図３に示す実施例と類似しており、ここでは無用な説明は繰り返さない。

【0102】

本実施例はＶＲメガネを介し、ユーザ頭部の動きに基づいて、スクリーン上でのカーソルの位置を調整し、ユーザが所望する目標点または目標物体の方をカーソルが指すようにし、目標点または目標物体に対するポイント選択またはフレーム選択を実現することができ、ユーザがＶＲメガネを介してポイント選択またはフレーム選択の操作を行うことを実現しており、ＶＲメガネにタッチスクリーンが欠けているため、指さし飛行モード、スマートトラッキングモード、カメラ合焦など、タッチスクリーンを介して無人機を制御する制御方式を実現することができなくなる欠陥を補っている。

【0103】

本発明の実施例は頭部装着式表示メガネを提供する。図８は、本発明のもう１つの実施例が提供する頭部装着式表示メガネの構造図であり、図８に示すように、上記いずれかの頭部装着式表示メガネの実施例をベースに、図７に示す実施例を例にすると、１つまたは複数のプロセッサ５１がさらに、前記無人機の状態情報を取得し、そして、前記無人機の状態情報に基づき、ローカルに記憶された前記無人機の状態情報を同期するために用いられる。

【0104】

また、頭部装着式表示メガネ５１は、前記１つまたは複数のプロセッサ５１に接続される送信ユニット５６をさらに含み、送信ユニット５６は前記無人機に状態情報取得要求を送信するために用いられ、受信ユニット５４はさらに、前記無人機が送信する状態情報を受信するために用いられる。

【0105】

もしくは、受信ユニット５４はさらに、前記無人機が放送する状態情報を受信するために用いられる。

【0106】

もしくは、受信ユニット５４はさらに、他の無人機制御端末が送信する前記無人機の状態情報を受信するために用いられ、前記他の無人機制御端末は、前記無人機を制御するとともに、前記無人機が放送する状態情報を受信するために用いられる。

【0107】

本発明の実施例が提供する頭部装着式表示メガネの具体的な原理と実現方式はいずれも図４に示す実施例と類似しており、ここでは無用な説明は繰り返さない。

【0108】

本実施例は、複数の制御機器によって無人機の状態情報をそれぞれ取得するとともに、無人機の状態情報に基づき、ローカルに記憶された無人機の状態情報を同期し、各々の制御機器が記憶している無人機の状態情報を無人機の現在の状態情報と一致させ、複数の制御機器が１つの無人機を同時に制御する際に制御の混乱や相互干渉が生じる現象を回避している。

【0109】

本発明の実施例は無人機制御システムを提供する。本実施例が提供する無人機制御システムは、無人機と、上記実施例に記載の頭部装着式表示メガネとを含み、前記頭部装着式表示メガネは、前記無人機を制御するために用いられる。

【0110】

本発明の実施例が提供する頭部装着式表示メガネの具体的な原理と実現方式はいずれも上記実施例と類似しており、ここでは無用な説明は繰り返さない。

【0111】

本実施例は、頭部装着式表示メガネを介してユーザの入力情報を取得し、入力情報はユーザの姿勢情報であってよく、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報であってもよく、すなわち、頭部装着式表示メガネはユーザの姿勢情報に基づいてカーソルを制御してスクリーン上で移動させることができ、ユーザが入力装置を介して入力した、カーソルを移動させるための方向情報に基づいてカーソルを制御してスクリーン上で移動させることもでき、カーソルがスクリーンの目標点まで移動した後、ユーザが入力した選択命令に基づいて目標点を選択するとともに、無人機を制御して相応の飛行モードまたは制御モードに入らせることにより、指さし飛行、スマートトラッキング、カメラ合焦などの、無人機を制御する制御方式を実現している。

【0112】

本発明が提供するいくつかの実施例では、開示された装置および方法は、他の方式によって実現可能であることを理解しなければならない。例えば、以上に記述された装置の実施例は概略的なものであるに過ぎず、例えば、前記ユニットの区分は、論理的機能区分であるに過ぎず、実際に実現する際には他の区分方式があってよく、例えば、複数のユニットまたはアセンブリは結合してもよいか、もしくは、他のシステムに一体化してもよく、または、いくつかの特徴は無視してもよく、または実行しなくてもよい。なお、表示または検討される相互の間の結合または直接的な結合または通信接続は、いくつかのインタフェース、装置またはユニットを介した間接的な結合または通信接続であってよく、電気的、機械的または他の形式であってよい。

【0113】

上記の、分離部材として説明されるユニットは、物理的に分離されたものであってもなくてもよく、ユニットとして表示される部材は物理ユニットであってもなくてもよく、すなわち、１つの場所に位置していてもよいか、もしくは、複数のネットワークユニット上に分布していてもよい。実際のニーズに基づいて、そのうちの一部もしくはすべてのユニットを選択することにより本実施例の案の目的を達成することができる。

【0114】

また、本発明の各々の実施例における各機能ユニットが１つの処理装置に一体化されてもよく、各々のユニットが個別に物理的に存在していてもよく、２つまたは２つ以上のユニットが１つのユニットに一体化されてもよい。上記一体化されたユニットは、ハードウェアの形で実現することができ、ハードウェアにソフトウェア機能ユニットを加える形で実現することもできる。

【0115】

上記の、ソフトウェア機能ユニットの形で実現される一体化されたユニットは、１つのコンピュータ可読記憶媒体に記憶することができる。上記ソフトウェア機能ユニットは１つの記憶媒体に記憶され、１台のコンピュータ装置（パーソナルコンピュータ、サーバ、もしくはネットワーク装置などであってよい）またはプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本発明の各々の実施例に記載の方法の一部のステップを実行させるためのいくつかの命令を含む。そして、前記記憶媒体は、ＵＳＢメモリ、外付けハードディスクドライブ、読み出し専用メモリ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスクもしくは光ディスクなどの、プラグラムコードを記憶可能な各種媒体を含む。

【0116】

記述を容易にし、簡潔にするため、上記の各機能モジュールの区分で例を挙げて説明したが、実際の応用では、必要に応じて、上記機能の割り当てを、異なる機能モジュールにより遂行してもよく、すなわち、装置の内部構造を異なる機能モジュールに区分することで、上述のすべてのもしくは一部の機能を遂行してもよいことを、当業者は明確に理解することができる。上述の装置の動作プロセスについては、前記方法の実施例における対応するプロセスを参照することができ、ここでは無用な説明は繰り返さない。

【0117】

最後に説明しなければならないのは、以上の各実施例は、本発明の技術案を説明するために用いられるに過ぎず、それを限定するものではなく、前記各実施例を参照して本発明について詳しく説明したが、依然として、前記各実施例に記載の技術案を修正するか、もしくは、そのうち一部もしくはすべての技術的特徴について均等物による置き換えを行うことができ、そして、これらの修正もしくは置き換えは、相応の技術案の本質を本発明の各実施例の技術案の範囲から逸脱させないことを当業者は理解しなければならないという点である。

【符号の説明】

【0118】

１ ＶＲメガネの平面図
２ ユーザ頭部の平面図
３ ユーザ頭部の回転方向
４ ＶＲメガネのスクリーン
５ 移動可能なマーク
６ ＶＲメガネの側面図
７ ユーザ頭部の側面図
８ ユーザ頭部の運動方向
９ ＶＲメガネのスクリーン
１０ 移動可能なマーク
１１ カーソル
１２ トラッキング目標
１３ カーソル位置
１４ カーソル位置
１５ 矩形枠
５０ 頭部装着式表示メガネ
５１ プロセッサ
５２ スクリーン
５３ 慣性測定ユニット
５４ 受信ユニット
５５ 眼部センサ
５６ 送信ユニット

【図1】

【図1A】

【図1B】

【図2】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図2F】

【図2G】

【図2H】

【図2I】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】