特許 6943988 移動可能物体の制御方法、機器およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6943988

(24)【登録日】2021年9月13日

(45)【発行日】2021年10月6日

(54)【発明の名称】移動可能物体の制御方法、機器およびシステム

(51)【国際特許分類】

   B64C 13/18 20060101AFI20210927BHJP

   B64C 39/02 20060101ALI20210927BHJP

   B64D 47/08 20060101ALI20210927BHJP

   G05D 1/00 20060101ALI20210927BHJP

【ＦＩ】

   B64C13/18 Z

   B64C39/02

   B64D47/08

   G05D1/00 Z

   G05D1/00 B

【請求項の数】43

【全頁数】29

(21)【出願番号】特願2019-571295(P2019-571295)

(86)(22)【出願日】2017年9月18日

(65)【公表番号】特表2020-534198(P2020-534198A)

(43)【公表日】2020年11月26日

(86)【国際出願番号】CN2017102081

(87)【国際公開番号】WO2019051832

(87)【国際公開日】20190321

【審査請求日】2020年3月18日

(73)【特許権者】

【識別番号】513068816

【氏名又は名称】エスゼット ディージェイアイ テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＳＺ ＤＪＩ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】110002000

【氏名又は名称】特許業務法人栄光特許事務所

(72)【発明者】

【氏名】ウ ディ

(72)【発明者】

【氏名】タン ケタン

【審査官】 立花 啓

(56)【参考文献】

【文献】 特開２０１７−０９６７８９（ＪＰ，Ａ）

【文献】 特開２０１７−０５８９３７（ＪＰ，Ａ）

【文献】 特開２０１６−０４９８６４（ＪＰ，Ａ）

【文献】 国際公開第２０１７／１５０４３３（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６４Ｃ １３／１８

Ｂ６４Ｃ ３９／０２

Ｂ６４Ｄ ４７／０８

Ｇ０５Ｄ １／００

(57)【特許請求の範囲】

【請求項1】

移動可能物体を制御する方法であって、
撮影機器が採取した画像中のマーカーを取得することと、
前記マーカーに対する前記撮影機器の位置姿勢情報を確定することと、
前記マーカーに対する前記撮影機器の位置姿勢情報に基づき前記移動可能物体を制御することと、
を含み、
前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定することと、
前記マーカーに対する前記撮影機器の位置姿勢運動情報に基づき前記移動可能物体を制御することと、
をさらに含み、
前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定することは、
前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報を確定することと、
前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報に基づき、前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定することと、
を含むことを特徴とする方法。

【請求項2】

移動可能物体を制御する方法であって、
撮影機器が採取した画像中のマーカーを取得することと、
前記マーカーに対する前記撮影機器の位置姿勢情報を確定することと、
前記マーカーに対する前記撮影機器の位置姿勢情報に基づき前記移動可能物体を制御することと、
を含み、
前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定することと、
前記マーカーに対する前記撮影機器の位置姿勢運動情報に基づき前記移動可能物体を制御することと、
をさらに含み、
前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定することは、
前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報、および慣性計測装置ＩＭＵが検出した前記撮影機器の位置姿勢運動情報に基づき、前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定することを含むことを特徴とする方法。

【請求項3】

前記位置姿勢情報が、
位置情報、姿勢情報の少なくとも１つを含むことを特徴とする請求項１または２に記載の方法。

【請求項4】

前記マーカーに対する前記撮影機器の位置姿勢情報を確定することは、
前記撮影機器が採取した画像中の前記マーカーの位置姿勢情報を確定することと、
前記撮影機器が採取した画像中の前記マーカーの位置姿勢情報に基づき、前記マーカーに対する前記撮影機器の位置姿勢情報を確定することと、
を含むことを特徴とする請求項１〜３のいずれか一項に記載の方法。

【請求項5】

前記撮影機器が採取した画像中の前記マーカーの位置姿勢情報を確定することは、
前記撮影機器が採取した画像中の前記マーカーの１つまたは複数のキーポイントの座標に基づき、前記撮影機器が採取した画像中の前記マーカーの位置姿勢情報を確定することを含むことを特徴とする請求項４に記載の方法。

【請求項6】

前記マーカーに対する前記撮影機器の位置姿勢情報に基づき前記移動可能物体を制御することは、
前記マーカーに対する前記撮影機器の位置情報に基づき所定原点に対する前記移動可能物体の位置情報を制御することと、
前記マーカーに対する前記撮影機器の姿勢情報に基づき前記移動可能物体の姿勢情報を制御することと、
前記マーカーに対する前記撮影機器の姿勢情報に基づき前記移動可能物体の運動速度を制御することと、
の少なくとも１つを含むことを特徴とする請求項１〜５のいずれか一項に記載の方法。

【請求項7】

前記姿勢情報が、
ピッチ角、ロール角、ヨー角の少なくとも１つを含むことを特徴とする請求項６に記載
の方法。

【請求項8】

前記マーカーに対する前記撮影機器の姿勢情報に基づき前記移動可能物体の運動速度を制御することは、
前記マーカーに対する前記撮影機器のピッチ角に基づき前記移動可能物体が地面座標系でＹ軸に沿って移動する速度を制御することと、
前記マーカーに対する前記撮影機器のロール角に基づき前記移動可能物体が地面座標系でＸ軸に沿って移動する速度を制御することと、
前記マーカーに対する前記撮影機器のヨー角に基づき前記移動可能物体が地面座標系でＺ軸に沿って移動する速度を制御することと、
を含むことを特徴とする請求項７に記載の方法。

【請求項9】

前記マーカーに対する前記撮影機器の姿勢情報に基づき前記移動可能物体の姿勢情報を制御することは、
前記マーカーに対する前記撮影機器のピッチ角に基づき前記移動可能物体のピッチ角を制御することと、
前記マーカーに対する前記撮影機器のロール角に基づき前記移動可能物体のロール角を制御することと、
前記マーカーに対する前記撮影機器のヨー角に基づき前記移動可能物体のヨー角を制御することと、
を含むことを特徴とする請求項７に記載の方法。

【請求項10】

前記マーカーに対する前記撮影機器の位置情報に基づき所定原点に対する前記移動可能物体の位置情報を制御することは、
前記マーカーに対する前記撮影機器の距離に基づき前記所定原点に対する前記移動可能物体の距離を制御することを含むことを特徴とする請求項６または７に記載の方法。

【請求項11】

前記位置姿勢運動情報が、
位置変化情報、姿勢変化情報の少なくとも１つを含むことを特徴とする請求項１または２に記載の方法。

【請求項12】

前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報を確定することは、
前記撮影機器が採取した第１の画像中の前記マーカーの１つまたは複数のキーポイントの第１の座標、および前記撮影機器が採取した第２の画像中の前記マーカーの１つまたは複数のキーポイントの第２の座標に基づき、前記第１の画像と前記第２の画像との間の接続行列を確定することと、
前記第１の画像と前記第２の画像との間の接続行列に基づき、前記第１の画像および前記第２の画像中の前記マーカーの位置姿勢運動情報を確定することと、
を含むことを特徴とする請求項１に記載の方法。

【請求項13】

前記接続行列は、回転行列と並進ベクトルとを含み、前記回転行列は、前記第１の画像および前記第２の画像中の前記１つまたは複数のキーポイントの姿勢変化情報を表し、前記並進ベクトルは、前記第１の画像および前記第２の画像中の前記１つまたは複数のキーポイントの位置変化情報を表すことを特徴とする請求項１２に記載の方法。

【請求項14】

前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報とＩＭＵが検出した前記撮影機器の位置姿勢運動情報との差の絶対値が閾値よりも大きい場合、確定済の前記マーカーに対する前記撮影機器の位置姿勢運動情報を削除することを特徴とする請求項２に記載の方法。

【請求項15】

前記マーカーに対する前記撮影機器の位置姿勢運動情報に基づき前記移動可能物体を制御することは、
前記マーカーに対する前記撮影機器の位置変化情報に基づき所定原点に対する前記移動可能物体の位置変化情報を制御することと、
前記マーカーに対する前記撮影機器の姿勢変化情報に基づき所定原点に対する前記移動可能物体の姿勢変化情報を制御することと、
の少なくとも１つを含むことを特徴とする請求項１〜１４のいずれか一項に記載の方法。

【請求項16】

前記撮影機器が採取した画像中のマーカーを取得することは、
前記撮影機器が採取した画像の中からユーザが選定したマーカーを取得することと、
前記撮影機器が採取した画像中で所定参考画像に合致するマーカーを取得することと、
前記撮影機器が採取した画像中で所定数の特徴点からなるマーカーを取得することと、
の少なくとも１つを含むことを特徴とする請求項１〜１５のいずれか一項に記載の方法。

【請求項17】

前記撮影機器が採取した画像の中からユーザが選定したマーカーを取得することは、
前記撮影機器が採取した画像の中からユーザが範囲を指定して選んだマーカーを取得することと、
前記撮影機器が採取した画像の中からユーザがクリックしたマーカーを取得することと、
の少なくとも１つを含むことを特徴とする請求項１６に記載の方法。

【請求項18】

前記移動可能物体を制御する前に、前記移動可能物体の移動をトリガするためのトリガコマンドを取得することをさらに含むことを特徴とする請求項１〜１７のいずれか一項に記載の方法。

【請求項19】

前記トリガコマンドは、第１のアクティベーションボタンを操作して生成されるものであることを特徴とする請求項１８に記載の方法。

【請求項20】

前記マーカーに対する前記撮影機器の位置姿勢情報を確定する前に、
確定済の前記マーカーに対する前記撮影機器の位置姿勢情報に対して初期化処理を行うための初期化コマンドを取得することをさらに含むことを特徴とする請求項１〜１７のいずれか一項に記載の方法。

【請求項21】

前記初期化コマンドは、第２のアクティベーションボタンを操作して生成されるものであることを特徴とする請求項２０に記載の方法。

【請求項22】

撮影機器が採取した画像中のマーカーを取得することと、
前記マーカーに対する前記撮影機器の位置姿勢情報を確定することと、
前記マーカーに対する前記撮影機器の位置姿勢情報に基づき移動可能物体を制御することと、
に用いられる１つまたは複数のプロセッサを含み、
前記プロセッサは、
前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定することと、
前記マーカーに対する前記撮影機器の位置姿勢運動情報に基づき前記移動可能物体を制御することと、
にさらに用いられ、
前記プロセッサが、前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定するときに、具体的には、
前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報を確定することと、
前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報に基づき、前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定することと、
に用いられることを特徴とする端末機器。

【請求項23】

撮影機器が採取した画像中のマーカーを取得することと、
前記マーカーに対する前記撮影機器の位置姿勢情報を確定することと、
前記マーカーに対する前記撮影機器の位置姿勢情報に基づき移動可能物体を制御することと、
に用いられる１つまたは複数のプロセッサを含み、
前記プロセッサは、
前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定することと、
前記マーカーに対する前記撮影機器の位置姿勢運動情報に基づき前記移動可能物体を制御することと、
にさらに用いられ、
前記プロセッサが、前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定するときに、具体的には、
前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報、および慣性計測装置ＩＭＵが検出した前記撮影機器の位置姿勢運動情報に基づき、前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定すること
に用いられることを特徴とする端末機器。

【請求項24】

前記位置姿勢情報が、
位置情報、姿勢情報の少なくとも１つを含むことを特徴とする請求項２２または２３に記載の端末機器。

【請求項25】

前記プロセッサが、前記マーカーに対する前記撮影機器の位置姿勢情報を確定するときに、具体的には、
前記撮影機器が採取した画像中の前記マーカーの位置姿勢情報を確定することと、
前記撮影機器が採取した画像中の前記マーカーの位置姿勢情報に基づき、前記マーカーに対する前記撮影機器の位置姿勢情報を確定することと、
に用いられることを特徴とする請求項２２〜２４のいずれか一項に記載の端末機器。

【請求項26】

前記プロセッサが、前記撮影機器が採取した画像中の前記マーカーの位置姿勢情報を確定するときに、具体的には、
前記撮影機器が採取した画像中の前記マーカーの１つまたは複数のキーポイントの座標に基づき、前記撮影機器が採取した画像中の前記マーカーの位置姿勢情報を確定することに用いられることを特徴とする請求項２５に記載の端末機器。

【請求項27】

前記プロセッサが、前記マーカーに対する前記撮影機器の位置姿勢情報に基づき前記移動可能物体を制御するときに、具体的には、
前記マーカーに対する前記撮影機器の位置情報に基づき所定原点に対する前記移動可能物体の位置情報を制御することと、
前記マーカーに対する前記撮影機器の姿勢情報に基づき前記移動可能物体の姿勢情報を制御することと、
前記マーカーに対する前記撮影機器の姿勢情報に基づき前記移動可能物体の運動速度を制御することと、
の少なくとも１つに用いられることを特徴とする請求項２２〜２６のいずれか一項に記載の端末機器。

【請求項28】

前記姿勢情報が、
ピッチ角、ロール角、ヨー角の少なくとも１つを含むことを特徴とする請求項２７に記載の端末機器。

【請求項29】

前記プロセッサが、前記マーカーに対する前記撮影機器の姿勢情報に基づき前記移動可能物体の運動速度を制御するときに、具体的には、
前記マーカーに対する前記撮影機器のピッチ角に基づき前記移動可能物体が地面座標系でＹ軸に沿って移動する速度を制御することと、
前記マーカーに対する前記撮影機器のロール角に基づき前記移動可能物体が地面座標系でＸ軸に沿って移動する速度を制御することと、
前記マーカーに対する前記撮影機器のヨー角に基づき前記移動可能物体が地面座標系でＺ軸に沿って移動する速度を制御することと、
に用いられることを特徴とする請求項２８に記載の端末機器。

【請求項30】

前記プロセッサが、前記マーカーに対する前記撮影機器の姿勢情報に基づき前記移動可能物体の姿勢情報を制御するときに、具体的には、
前記マーカーに対する前記撮影機器のピッチ角に基づき前記移動可能物体のピッチ角を制御することと、
前記マーカーに対する前記撮影機器のロール角に基づき前記移動可能物体のロール角を制御することと、
前記マーカーに対する前記撮影機器のヨー角に基づき前記移動可能物体のヨー角を制御することと、
に用いられることを特徴とする請求項２８に記載の端末機器。

【請求項31】

前記プロセッサが、前記マーカーに対する前記撮影機器の位置情報に基づき所定原点に対する位置情報を制御するときに、具体的には、
前記マーカーに対する前記撮影機器の距離に基づき前記所定原点に対する前記移動可能物体の距離を制御することに用いられることを特徴とする請求項２７または２８に記載の端末機器。

【請求項32】

前記位置姿勢運動情報が、
位置変化情報、姿勢変化情報の少なくとも１つを含むことを特徴とする請求項２２または２３に記載の端末機器。

【請求項33】

前記プロセッサが、前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報を確定するときに、具体的には、
前記撮影機器が採取した第１の画像中の前記マーカーの１つまたは複数のキーポイントの第１の座標、および前記撮影機器が採取した第２の画像中の前記マーカーの１つまたは複数のキーポイントの第２の座標に基づき、前記第１の画像と前記第２の画像との間の接続行列を確定することと、
前記第１の画像と前記第２の画像との間の接続行列に基づき、前記第１の画像および前記第２の画像中の前記マーカーの位置姿勢運動情報を確定することと、
に用いられることを特徴とする請求項２２に記載の端末機器。

【請求項34】

前記接続行列は、回転行列と並進ベクトルとを含み、前記回転行列は、前記第１の画像および前記第２の画像中の前記１つまたは複数のキーポイントの姿勢変化情報を表し、前記並進ベクトルは、前記第１の画像および前記第２の画像中の前記１つまたは複数のキーポイントの位置変化情報を表すことを特徴とする請求項３３に記載の端末機器。

【請求項35】

前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報とＩＭＵが検出した前記撮影機器の位置姿勢運動情報との差の絶対値が閾値よりも大きい場合、前記プロセッサは、確定済の前記マーカーに対する前記撮影機器の位置姿勢運動情報を削除することにさらに用いられることを特徴とする請求項２３に記載の端末機器。

【請求項36】

前記プロセッサが、前記マーカーに対する前記撮影機器の位置姿勢運動情報に基づき前記移動可能物体を制御する場合、具体的には、
前記マーカーに対する前記撮影機器の位置変化情報に基づき所定原点に対する前記移動可能物体の位置変化情報を制御することと、
前記マーカーに対する前記撮影機器の姿勢変化情報に基づき所定原点に対する前記移動可能物体の姿勢変化情報を制御することと、
の少なくとも１つに用いられることを特徴とする請求項２２〜３５のいずれか一項に記載の端末機器。

【請求項37】

前記プロセッサが、撮影機器が採取した画像中のマーカーを取得するときに、具体的には、
前記撮影機器が採取した画像の中からユーザが選定したマーカーを取得することと、
前記撮影機器が採取した画像中で所定参考画像に合致するマーカーを取得することと、
前記撮影機器が採取した画像中で所定数の特徴点からなるマーカーを取得することと、
の少なくとも１つに用いられることを特徴とする請求項２２〜３６のいずれか一項に記載の端末機器。

【請求項38】

前記プロセッサが、前記撮影機器が採取した画像の中からユーザが選定したマーカーを取得するときに、具体的には、
前記撮影機器が採取した画像の中からユーザが範囲を指定して選んだマーカーを取得することと、
前記撮影機器が採取した画像の中からユーザがクリックしたマーカーを取得することと、
の少なくとも１つに用いられることを特徴とする請求項３７に記載の端末機器。

【請求項39】

前記プロセッサが、前記移動可能物体を制御する前に、
前記移動可能物体の移動をトリガするためのトリガコマンドを取得することにさらに用いられることを特徴とする請求項２２〜３８のいずれか一項に記載の端末機器。

【請求項40】

前記トリガコマンドは、第１のアクティベーションボタンを操作して生成されるものであることを特徴とする請求項３９に記載の端末機器。

【請求項41】

前記プロセッサが、前記マーカーに対する前記撮影機器の位置姿勢情報を確定する前に、
確定済の前記マーカーに対する前記撮影機器の位置姿勢情報に対して初期化処理を行うための初期化コマンドを取得することにさらに用いられることを特徴とする請求項２２〜３８のいずれか一項に記載の端末機器。

【請求項42】

前記初期化コマンドは、第２のアクティベーションボタンを操作して生成されるものであることを特徴とする請求項４１に記載の端末機器。

【請求項43】

請求項２２〜４２のいずれか一項に記載の端末機器と、
無人航空機と、を含み、
無人航空機は、
機体と、
飛行動力を提供するための、前記機体に取り付けられた動力システムと、
前記無人航空機の飛行を制御するための、前記動力システムに通信接続された飛行制御装置と、
を含むことを特徴とする移動可能物体制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施例は、無人機分野に関し、特に移動可能物体の制御方法、機器およびシステムに関する。

【背景技術】

【0002】

先行技術における無人航空機の制御方法には、リモートコントローラ制御、携帯電話アプリ制御、ジェスチャーコントロールなどがあるが、そのうちジェスチャーコントロールとは、ユーザの手の動きを感知できるジャイロセンサ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ，略称ＩＭＵ）が内蔵された携帯機器をユーザが持ち、ユーザの手の動きの情報が無人航空機を制御する制御コマンドに変換され、制御コマンドを無人航空機に送信し、無人航空機に対する制御を実現する。

【0003】

しかしながら、ジェスチャーコントロール方式は、無人航空機が、大きな範囲内で大ざっぱな動作を行うことしか制御することができず、無人航空機を正確に制御することはできない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の実施例は、無人航空機を正確に制御するための、移動可能物体の制御方法、機器およびシステムを提供する。

【課題を解決するための手段】

【0005】

本発明の実施例の第１の態様は、
撮影機器が採取した画像中のマーカーを取得することと、
前記マーカーに対する前記撮影機器の位置姿勢情報を確定することと、
前記マーカーに対する前記撮影機器の位置姿勢情報に基づき前記移動可能物体を制御することと、
を含む移動可能物体の制御方法を提供することである。

【0006】

本発明の実施例の第２の態様は、
撮影機器が採取した画像中のマーカーを取得することと、
前記マーカーに対する前記撮影機器の位置姿勢情報を確定することと、
前記マーカーに対する前記撮影機器の位置姿勢情報に基づき前記移動可能物体を制御することと、
に用いられる１つまたは複数のプロセッサを含む端末機器を提供することである。

【0007】

本発明の実施例の第３の態様は、
機体と、
飛行動力を提供するための、前記機体に取り付けられた動力システムと、
前記無人航空機の飛行を制御するための、前記動力システムに通信接続された飛行制御装置と、
を含む無人航空機を提供することである。

【0008】

本発明の実施例の第４の態様は、第２の態様に記載の端末機器と、第３の態様に記載の無人航空機と、を含む移動可能物体制御システムを提供することである。

【0009】

本発明の実施例で提供する移動可能物体制御方法、機器およびシステムは、撮影機器が採取した画像中のマーカーを取得し、マーカーに対する撮影機器の位置姿勢情報を確定し、マーカーに対する撮影機器の位置姿勢情報に基づき移動可能物体を制御することにより、マーカーに対する撮影機器の位置姿勢情報を正確に確定することができ、マーカーに対する撮影機器の位置姿勢情報に基づき移動可能物体を制御する際に移動可能物体に対する正確な制御を実現することができる。

【0010】

本発明の実施例または先行技術における技術手法をより明確に説明するために、次に実施例または先行技術の記述における用いることが必要な図面について簡単に紹介する。次の記述における図面は、本発明の実施例の一部であり、当業者にとって、創造的な作業を行わない前提の下で、これらの図面に基づきその他の図面をさらに得ることができることは自明のことである。

【図面の簡単な説明】

【0011】

【図1】本発明の実施例で提供する移動可能物体の制御方法の流れ図である。

【図2】本発明の実施例で提供する移動可能物体の制御システムの模式図である。

【図3】本発明の実施例で提供する端末機器のユーザインターフェースの模式図である。

【図4】本発明の実施例で提供するもう１つの端末機器のユーザインターフェースの模式図である。

【図5】本発明のもう１つの実施例で提供する移動可能物体の制御方法の流れ図である。

【図6】本発明のもう１つの実施例で提供する移動可能物体の制御方法の流れ図である。

【図7】ユーザの顔の動きに対する本発明の実施例で提供する端末機器の模式図である。

【図8】ユーザの顔の動きに対する本発明の実施例で提供するもう１つの端末機器の模式図である。

【図9】ユーザの顔の動きに対する本発明の実施例で提供するさらにもう１つの端末機器の模式図である。

【図10】本発明の実施例で提供するさらにもう１つの端末機器のユーザインターフェースの模式図である。

【図11】本発明の実施例で提供する端末機器の構造図である。

【図12】本発明の実施例で提供する無人航空機の構造図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施例における図面と合わせ、本発明の実施例における技術手法について、明確に記述するが、記述する実施例は、本発明の一部の実施例に過ぎず、すべての実施例ではないことは明らかである。本発明における実施例に基づき、当業者が創造的な作業を行わない前提の下で得たその他すべての実施例は、いずれも本発明の保護する範囲に属す。

【0013】

説明が必要なことは、アセンブリが別のアセンブリに「固定」されているという場合、別のアセンブリ上に直接あっても、そのうちのアセンブリに存在していてもよいことである。アセンブリが別のアセンブリに「接続」されているという場合、別のアセンブリに直接接続されていても、そのうちのアセンブリに同時に存在していてもよい。

【0014】

別段の定義がある場合を除き、本文で使用されるすべての技術用語および科学用語は、本発明の技術分野の当業者が通常理解する意味と同じである。本文中の本発明の明細書において使用される用語は、具体的な実施例を記述する目的のためのものに過ぎず、本発明を限定することを意図したものではない。本文で使用する用語「少なくともひとつ」は、一つまたは複数個の列記された関連する項目のあらゆる組み合わせを含む。

【0015】

以下、図面と合わせ、本発明の実施形態について詳細に説明する。抵触しない場合、下記の実施例および実施例における特徴は、互いに組み合わせてもよい。

【0016】

本発明の実施例は、移動可能物体の制御方法を提供する。図１は、本発明の実施例で提供する移動可能物体の制御方法の流れ図である。図１に示すように、本実施例における方法は、次のものを含むことができる。

【0017】

ステップＳ１０１、撮影機器が採取した画像中のマーカーを取得する。

【0018】

本実施例で提供する移動可能物体の制御方法は、図２に示す移動可能物体の制御システムに適用することができ、ここで、移動可能物体は、具体的には無人航空機である。図２に示すように、この移動可能物体の制御システムは、端末機器２０と、移動可能物体と、を含み、ここで、移動可能物体は、具体的には無人航空機２１であり、無人航空機２１には撮影機器２２が搭載され、具体的には、無人航空機２１は、雲台２３を介して撮影機器２２を搭載する。端末機器２０は、具体的には、携帯端末、タブレットＰＣなどの携帯機器とすることができ、端末機器２０は、撮影機能を有する。具体的には、端末機器２０には、インカメラ、アウトカメラの少なくともひとつが設けられており、インカメラ、アウトカメラの少なくともひとつは、画像を採取するために用いることができる。ユーザは、端末機器２０を手に持ち、端末機器２０のインカメラにより自撮りを行うか、端末機器２０のアウトカメラにより他の場面を撮影することができる。ユーザは、端末機器２０の画面を介して端末機器２０で採取した画像を見ることができる。

【0019】

端末機器２０のインカメラまたはアウトカメラは、目の前の場面の画像をリアルタイムに採取することができ、さらに、端末機器２０は、インカメラまたはアウトカメラが採取した画像中のマーカーを検出する。このマーカーは、所定マーカーと一般マーカーにわけることができ、所定マーカーは、顔、二次元コード、ＡｐｒｉｌＴａｇなどの特定のモデルを有するマーカーの少なくとも１つを含むことができ、顔が最も一般的である。一般マーカーは、樹木、自動車、建築物などの、画像中の静止物体とすることができる。所定マーカーと一般マーカーの相違点は、所定マーカーは具体的に特定のモデルを有し、一般マーカーには特定のモデルがないことである。

【0020】

例えば、ユーザが端末機器２０を手に持ち、端末機器２０のインカメラにより自撮りを行うときに、端末機器２０のインカメラがユーザの顔の画像をリアルタイムに採取し、端末機器２０が顔認識技術により画像中の顔を認識する。さらに、例えば、無人航空機２１に搭載されている撮影機器２２が撮影した画像情報または動画データは、無人航空機２１の通信システムを介して端末機器２０に無線伝送することができ、ユーザは、端末機器２０を介して撮影機器２２が撮影した画像情報または動画データを見ることができる。撮影機器２２が撮影した画像情報または動画データをユーザが見るときに、端末機器２０のインカメラはユーザの顔と対峙することができ、このとき、端末機器２０のインカメラは、ユーザの顔の画像をリアルタイムに採取でき、さらに、端末機器２０が顔認識技術により画像中の顔を認識する。具体的には、顔は強い特徴を有するため、端末機器２０は、例えば目、鼻、眉毛、口などの画像中の顔固有のキーポイントを検出することができ、画像中の固有のキーポイントにより画像中の顔を認識する。

【0021】

具体的には、前記撮影機器が採取した画像中のマーカーを取得することは、次のいくつかの方式を含む。

【0022】

１つの方式は、前記撮影機器が採取した画像の中からユーザが選定したマーカーを取得することである。前記撮影機器が採取した画像の中からユーザが選定したマーカーを取得することは、前記撮影機器が採取した画像の中からユーザが範囲を指定して選んだマーカーを取得すること、前記撮影機器が採取した画像の中からユーザがクリックしたマーカーを取得することの少なくとも１つを含む。

【0023】

一般マーカーには特定のモデルがないため、端末機器２０は、端末機器２０が採取した画像の中からユーザが選定したマーカーを取得することができる。図３に示すように、３０は端末機器２０が採取した画像であり、この画像には一般マーカー３１が含まれ、端末機器２０に画像３０が表示されているときに、ユーザは、図３の破線で示すように、画像３０の中で範囲を指定して一般マーカー３１を選ぶことができる。または、ユーザは、図４に示すように、画像３０の中で一般マーカー３１をクリックすることもできる。

【0024】

もう１つの方式は、前記撮影機器が採取した画像中で所定参考画像に合致するマーカーを取得することである。例えば、二次元コード参考画像、ＡｐｒｉｌＴａｇ参考画像などの参考画像が端末機器２０に予め保存されており、端末機器２０のカメラが目の前の場面の画像を採取した後、予め保存された二次元コード参考画像に合致する二次元コード、または予め保存されたＡｐｒｉｌＴａｇ参考画像に合致するＡｐｒｉｌＴａｇがこの画像の中に存在するかどうかを端末機器２０が検出し、合致するマークをマーカーとする。

【0025】

または、例えば樹木、自動車、建築物などの参考画像の一般マーカーが端末機器２０に予め保存されており、端末機器２０のカメラが目の前の場面の画像を採取した後、予め保存された樹木、自動車、建築物などの参考画像に合致するマーカーがこの画像の中に存在するかどうかを端末機器２０が検出する。

【0026】

もう１つの方式は、前記撮影機器が採取した画像中で所定数の特徴点からなるマーカーを取得することである。一般マーカーに対して、端末機器２０は、さらに画像中の特徴点を検出することができ、特徴点の数が所定数に達し、かつ特徴点の間の位置関係が所定の位置関係を満たす場合、端末機器２０は、所定数の特徴点からなる一般マーカーを検出することができる。

【0027】

ステップＳ１０２、前記マーカーに対する前記撮影機器の位置姿勢情報を確定する。

【0028】

端末機器２０は、上記ステップによりマーカーを検出した後、さらにこのマーカーに対する端末機器２０の位置姿勢情報を確定する。前記位置姿勢情報は、位置情報、姿勢情報の少なくとも１つを含む。前記姿勢情報は、ピッチ角、ロール角、ヨー角の少なくとも１つを含む。

【0029】

具体的には、前記マーカーに対する前記撮影機器の位置姿勢情報を確定することは、前記撮影機器が採取した画像中の前記マーカーの位置姿勢情報を確定すること、前記撮影機器が採取した画像中の前記マーカーの位置姿勢情報に基づき前記マーカーに対する前記撮影機器の位置姿勢情報を確定することが含まれる。

【0030】

前記撮影機器が採取した画像中の前記マーカーの位置姿勢情報を確定することは、前記撮影機器が採取した画像中の前記マーカーの１つまたは複数のキーポイントの座標に基づき、前記撮影機器が採取した画像中の前記マーカーの位置姿勢情報を確定することが含まれる。

【0031】

例えば、マーカーがユーザの顔であり、インカメラがリアルタイムに採取した画像中の顔特有のキーポイントを端末機器２０が検出した後、画像中の顔固有のキーポイントの座標に基づき、具体的には画像中の顔の位置情報、姿勢情報を含む、画像中の顔の位置姿勢情報を確定することができる。端末機器２０は、さらに画像中の顔の位置姿勢情報に基づき顔に対する端末機器２０の位置姿勢情報を確定し、例えば、顔が画像の右側にある場合は、端末機器２０が顔の左側にあると確定することができる。

【0032】

さらに、例えば、マーカーが一般マーカーであり、アウトカメラがリアルタイムに採取した画像中の一般マーカーの特徴点を端末機器２０が検出した後、ＳＬＡＭ法を用いて特徴点の位置姿勢情報を概算し、特徴点の位置姿勢情報を画像中の一般マーカーの位置姿勢情報とする。端末機器２０は、さらに画像中の一般マーカーの位置姿勢情報に基づき一般マーカーに対する端末機器２０の位置姿勢情報を確定し、例えば、一般マーカーが画像の左側にある場合は、端末機器２０が一般マーカーの右側にあると確定することができ、一般マーカーが画像の右側にある場合は、端末機器２０が一般マーカーの左側にあると確定することができる。

【0033】

ステップＳ１０３、前記マーカーに対する前記撮影機器の位置姿勢情報に基づき前記移動可能物体を制御する。

【0034】

具体的には、端末機器２０は、マーカーに対する端末機器２０の位置姿勢情報に基づき無人航空機２１を制御する。例えば、端末機器２０は、マーカーに対する端末機器２０の位置情報に基づき無人航空機２１の位置を制御するか、またはマーカーに対する端末機器２０の姿勢情報に基づき無人航空機２１の姿勢を制御する。

【0035】

一般性を失わずに、前記マーカーに対する前記撮影機器の位置姿勢情報に基づき前記移動可能物体を制御することは、次のいくつかの実行可能な実現方法を含む。

【0036】

１つの実行可能な実現方法は、前記マーカーに対する前記撮影機器の位置情報に基づき所定原点に対する前記移動可能物体の位置情報を制御することである。前記マーカーに対する前記撮影機器の位置情報に基づき所定原点に対する前記移動可能物体の位置情報を制御することは、前記マーカーに対する前記撮影機器の距離に基づき前記所定原点に対する前記移動可能物体の距離を制御することを含む。

【0037】

例えば、端末機器２０は、マーカーに対する端末機器２０の位置情報に基づき所定原点に対する無人航空機２１の位置情報を制御し、所定原点は無人航空機２１の現在の帰航点であっても、無人航空機２１の初期の帰航点であっても、予め設定された地理座標系中の１点であってもよく、本実施例では具体的な所定原点を限定しない。

【0038】

例えば、端末機器２０は、マーカーに対する端末機器２０の距離に基づき、無人航空機２１を制御する制御コマンドを生成する。この制御コマンドは、前記所定原点に対する無人航空機２１の距離を制御するために用いられ、選択可能に、マーカーに対する端末機器２０の距離をＬ１とし、端末機器２０が制御する前記所定原点に対する無人航空機２１の距離をＬ２とするが、本実施例ではＬ１とＬ２との間の関係を限定しない。例えば、端末機器２０がマーカーに対して１メートルであり、端末機器２０が制御する所定原点に対する無人航空機２１の距離が１００メートルであり、端末機器２０は、無人航空機２１に制御コマンドを送信し、この制御コマンドは、距離情報１００メートルを含み、無人航空機２１は、この制御コマンドを受信した後、この制御コマンドに基づき所定原点との間の距離を調整する。

【0039】

もう１つの実行可能な実現方法は、前記マーカーに対する前記撮影機器の姿勢情報に基づき前記移動可能物体の姿勢情報を制御することである。前記マーカーに対する前記撮影機器の姿勢情報に基づき前記移動可能物体の姿勢情報を制御することは、前記マーカーに対する前記撮影機器のピッチ角に基づき前記移動可能物体のピッチ角を制御すること、前記マーカーに対する前記撮影機器のロール角に基づき前記移動可能物体のロール角を制御すること、前記マーカーに対する前記撮影機器のヨー角に基づき前記移動可能物体のヨー角を制御することを含む。

【0040】

例えば、端末機器２０は、マーカーに対する端末機器２０の姿勢情報に基づき無人航空機２１の姿勢情報を制御し、選択可能に、端末機器２０は、マーカーに対する端末機器２０のピッチ角に基づき無人航空機２１のピッチ角を制御し、マーカーに対する端末機器２０のロール角に基づき無人航空機２１のロール角を制御し、マーカーに対する端末機器２０のヨー角に基づき無人航空機２１のヨー角を制御する。例えば、マーカーに対する端末機器２０のピッチ角をα１とし、端末機器２０が制御する無人航空機２１のピッチ角をα２とするが、本実施例ではα１とα２との間の関係を限定せず、選択可能に、α１とα２が所定の比例関係をなす。

【0041】

さらにもう１つの実行可能な実現方法は、前記マーカーに対する前記撮影機器の姿勢情報に基づき前記移動可能物体の運動速度を制御することである。前記マーカーに対する前記撮影機器の姿勢情報に基づき前記移動可能物体の運動速度を制御することは、前記マーカーに対する前記撮影機器のピッチ角に基づき前記移動可能物体が地面座標系中でＹ軸に沿って移動する速度を制御すること、前記マーカーに対する前記撮影機器のロール角に基づき前記移動可能物体が地面座標系中でＸ軸に沿って移動する速度を制御すること、前記マーカーに対する前記撮影機器のヨー角に基づき前記移動可能物体が地面座標系中でＺ軸に沿って移動する速度を制御することを含む。

【0042】

例えば、端末機器２０は、マーカーに対する端末機器２０の姿勢情報に基づき無人航空機２１の運動速度を制御し、選択可能に、端末機器２０は、マーカーに対する端末機器２０のピッチ角に基づき無人航空機２１が地面座標系中でＹ軸に沿って移動する速度を制御し、マーカーに対する端末機器２０のロール角に基づき無人航空機２１が地面座標系中でＸ軸に沿って移動する速度を制御し、マーカーに対する端末機器２０のヨー角に基づき無人航空機２１が地面座標系中でＺ軸に沿って移動する速度を制御する。ここでは模式的に説明しているにすぎず、姿勢角と移動方向との間の対応関係を限定しているものではない。

【0043】

本実施例は、撮影機器が採取した画像中のマーカーを取得し、マーカーに対する撮影機器の位置姿勢情報を確定し、マーカーに対する撮影機器の位置姿勢情報に基づき移動可能物体を制御することにより、マーカーに対する撮影機器の位置姿勢情報を正確に確定することができ、マーカーに対する撮影機器の位置姿勢情報に基づき移動可能物体を制御する際に移動可能物体に対する正確な制御を実現することができる。

【0044】

本発明の実施例は、移動可能物体の制御方法を提供する。図５は、本発明のもう１つの実施例で提供する移動可能物体の制御方法の流れ図である。図５に示すように、図１で示した実施例の基礎の上で、本実施例における方法は、次のものを含むことができる。

【0045】

ステップＳ５０１、撮影機器が採取した画像中のマーカーを取得する。

【0046】

ステップＳ５０１とステップＳ１０１の原理および実現方法は一致しており、ここでは再度詳述しない。

【0047】

ステップＳ５０２、前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定する。

【0048】

本実施例において、端末機器２０がマーカーを検出した後、さらにこのマーカーに対する端末機器２０の位置姿勢運動情報を確定することができる。前記位置姿勢運動情報は、位置変化情報、姿勢変化情報の少なくとも１つを含む。例えば、マーカーがユーザの顔であり、端末機器２０のインカメラがユーザの顔に対峙し、インカメラは、ユーザの顔を含む画像をリアルタイムに採取することができ、ユーザが顔を動かさず、ユーザが端末機器２０を移動させると仮定し、ユーザの顔が画像中で右に移動すると、端末機器２０はユーザの顔に対して左に移動したことを示す。さらに、例えば、マーカーが一般マーカーであり、端末機器２０のアウトカメラが一般マーカーに対峙し、アウトカメラは、一般マーカーを含む画像をリアルタイムに採取することができ、一般マーカーが動かず、ユーザが端末機器２０を移動させると仮定し、一般マーカーが画像中で右に移動すると、端末機器２０が一般マーカーに対して左に移動したことを表す。同様に、さらにマーカーに対する端末機器２０の姿勢の変化を確定することができる。端末機器２０は、インカメラまたはアウトカメラがリアルタイムに採取した画像中のマーカーを検出することにより、画像中のマーカーの位置の変化または姿勢の変化を判断し、さらに、端末機器２０は、画像中のマーカーの位置の変化に基づきマーカーに対する端末機器２０の位置の変化を推測するか、または画像中のマーカーの姿勢の変化に基づきマーカーに対する端末機器２０の姿勢の変化を推測することができると理解することができる。

【0049】

ステップＳ５０３、前記マーカーに対する前記撮影機器の位置姿勢運動情報に基づき前記移動可能物体を制御する。

【0050】

さらに、端末機器２０は、マーカーに対する端末機器２０の位置の変化を、無人航空機２１を制御するための制御コマンドにマッピングし、または、マーカーに対する端末機器２０の姿勢の変化を、無人航空機２１を制御するための制御コマンドにマッピングし、制御コマンドを無人航空機２１に送信することができる。

【0051】

具体的には、前記マーカーに対する前記撮影機器の位置姿勢運動情報に基づき前記移動可能物体を制御することは、次のいくつかの状況が考えられる。

【0052】

１つの考えられる状況は、前記マーカーに対する前記撮影機器の位置変化情報に基づき所定原点に対する前記移動可能物体の位置変化情報を制御することである。

【0053】

例えば、端末機器２０がユーザの顔に対して左に移動すると、端末機器２０は、所定原点に対して左に移動するよう無人航空機２１を制御することも、所定原点に対して右に移動するよう無人航空機２１を制御することもできる。さらに、例えば、端末機器２０が一般マーカーに対して右に移動すると、端末機器２０は、所定原点に対して右に移動するよう無人航空機２１を制御することも、所定原点に対して左に移動するよう無人航空機２１を制御することもできる。所定原点は無人航空機２１の現在の帰航点であっても、無人航空機２１の初期の帰航点であっても、予め設定された地理座標系中の１点であってもよく、本実施例では具体的な所定原点を限定しない。

【0054】

もう１つの考えられる状況は、前記マーカーに対する前記撮影機器の姿勢変化情報に基づき所定原点に対する前記移動可能物体の姿勢変化情報を制御することである。

【0055】

マーカーが動かないと仮定し、マーカーに対する端末機器２０の姿勢の変化は、例えばピッチ角速度などのマーカーに対する端末機器２０のピッチ角の変化であっても、例えばロール角速度などのマーカーに対する端末機器２０のロール角の変化であっても、例えばヨー角速度などのマーカーに対する端末機器２０のヨー角の変化であってもよい。選択可能に、端末機器２０は、マーカーに対する端末機器２０のピッチ角速度に基づき所定原点に対する無人航空機２１のピッチ角速度を制御し、マーカーに対する端末機器２０のロール角速度に基づき所定原点に対する無人航空機２１のロール角速度を制御し、マーカーに対する端末機器２０のヨー角速度に基づき所定原点に対する無人航空機２１のヨー角速度を制御する。

【0056】

本実施例は、撮影機器が採取した画像中のマーカーを取得し、マーカーに対する撮影機器の位置変化情報または姿勢変化情報を確定し、マーカーに対する撮影機器の位置変化情報に基づき移動可能物体の位置の変化を制御するか、またはマーカーに対する撮影機器の姿勢変化情報に基づき移動可能物体の姿勢の変化を制御することにより、マーカーに対する撮影機器の位置変化情報または姿勢変化情報を正確に確定することができ、マーカーに対する撮影機器の位置変化情報または姿勢変化情報に基づき移動可能物体を正確に制御することができる。

【0057】

本発明の実施例は、移動可能物体の制御方法を提供する。図６は、本発明のもう１つの実施例で提供する移動可能物体の制御方法の流れ図である。図６に示すように、図５で示した実施例の基礎の上で、ステップＳ５０２の前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定する方法は、具体的に次のいくつかの実行可能な実現方法を含むことができる。

【0058】

１つ目の実行可能な実現方法は、図６に示した次のステップのとおりである。

【0059】

ステップＳ６０１、前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報を確定する。

【0060】

具体的には、前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報を確定することは、前記撮影機器が採取した第１の画像中の前記マーカーの１つまたは複数のキーポイントの第１の座標、および前記撮影機器が採取した第２の画像中の前記マーカーの１つまたは複数のキーポイントの第２の座標に基づき、前記第１の画像と前記第２の画像との間の接続行列を確定すること、前記第１の画像と前記第２の画像との間の接続行列に基づき、前記第１の画像および前記第２の画像中の前記マーカーの位置姿勢運動情報を確定することを含む。

【0061】

例えば、マーカーがユーザの顔であり、顔を含む画像を端末機器２０のインカメラがリアルタイムに採取し、顔検出方法により画像中の顔の複数の二次元キーポイントを端末機器２０が得て、

【数1】

とする。さらに顔の先験的知識に基づき二次元キーポイントを三次元点に変換し、Ｘ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ），ｉ＝１，２，３．．．．．．ｎとする。

【0062】

さらに、例えば、マーカーが一般マーカーであり、一般マーカーを含む画像を端末機器２０のアウトカメラがリアルタイムに採取し、端末機器２０が所定の初期化方法を用いて画像中の一般マーカーの一連の二次元キーポイントを得る。具体的には、この二次元キーポイントは、例えば、ＨａｒｒｉｓまたはＦＡＳＴコーナーなどの表現力が比較的強い特徴点とすることができる。端末機器２０は、さらにアウトカメラが採取した２コマの画像の間で二次元キーポイントを追跡し、例えば、隣接する２コマの画像の間で二次元キーポイントを追跡し、１つ前のコマの二次元キーポイント（ｕ_ｉ，ｖ_ｉ）が１つ後のコマの二次元キーポイント

【数2】

に対応すると仮定した場合、端末機器２０のアウトカメラの内部行列はＫである。端末機器２０は、三角形分割を用いて、画像中の一般マーカーの一連の二次元キーポイントを三次元点Ｘ_ｉに変換する。ここで、三角形分割は、具体的には、直接線形変換（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ，略称ＤＬＴ）とすることができ、１つ前のコマの射影行列が

【数3】

であり、１つ後のコマの射影行列が

【数4】

であると仮定し、式中、ｐ^１ＴはＰの１行目を、ｐ^２ＴはＰの２行目を、ｐ^３ＴはＰの３行目を、ｐ^‘１ＴはＰ’の１行目を、ｐ^‘２ＴはＰ’の２行目を、ｐ^‘３ＴはＰ’の３行目を表す。１つ前のコマの射影行列Ｐと、三次元点Ｘ_ｉと、１つ前のコマの二次元キーポイント（ｕ_ｉ，ｖ_ｉ）との間の関係は、次の公式（１）により確定することができる。

【数5】

【0063】

１つ後のコマの射影行列Ｐ’と、三次元点Ｘ_ｉと、１つ後のコマの二次元キーポイント

【数6】

との間の関係は、次の公式（２）により確定することができる。

【数7】

【0064】

１つ前のコマの射影行列Ｐと、１つ後のコマの射影行列Ｐ’と、三次元点Ｘ_ｉと、１つ前のコマの二次元キーポイント（ｕ_ｉ，ｖ_ｉ）と、１つ後のコマの二次元キーポイント

【数8】

との間の関係は、次の公式（３）により確定することができる。

【数9】

式中、Ａは行列を表し、かつ行列Ａの最小特徴値に対応する右特徴ベクトルは、三次元点Ｘ_ｉの解である。１つ前のコマの射影行列Ｐと、１つ後のコマの射影行列Ｐ’は、基礎行列（ｆｕｎｄａｍｅｎｔａｌ ｍａｔｒｉｘ）Ｆに基づき得ることができる。

【0065】

マーカーの三次元点を各コマの画像中で検出することができる場合、隣接する２コマの間の接続行列を確定することができ、具体的なプロセスは次のとおりである。

【0066】

隣接する２コマに対応する三次元点を、斉次座標形式で表し、例えば、Ｘ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）は１つ前のコマの三次元点を表し、Ｘ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）の斉次座標形式は

【数10】

である。

【数11】

は１つ後のコマの三次元点を表し、

【数12】

の斉次座標形式は

【数13】

である。

【0067】

Ｘ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）の斉次座標形式Ｐ_ｉと、

【数14】

の斉次座標形式

【数15】

と、１つ前のコマと１つ後のコマとの間の接続行列Ｍとの間の関係は、次の公式（４）により確定することができる。

【数16】

式中、Ｍは、公式（５）の形式で次のとおり表すことができる。

【数17】

式中、前記接続行列は、回転行列と並進ベクトルとを含み、前記回転行列は、前記第１の画像および前記第２の画像中の前記１つまたは複数のキーポイントの姿勢変化情報を表し、前記並進ベクトルは、前記第１の画像および前記第２の画像中の前記１つまたは複数のキーポイントの位置変化情報を表す。具体的には、Ｒ_３×３は回転行列を表し、１つ前のコマおよび１つ後のコマにおけるマーカーのキーポイントの姿勢変化情報を表し、Ｔ_３×１は並進ベクトルを表し、１つ前のコマおよび１つ後のコマにおけるマーカーのキーポイントの位置変化情報を表す。

【0068】

選択可能に、次の公式（６）で示されるコスト関数を最適化することにより、Ｍを算出することができる。
Ｍ^＊＝ａｒｇｍｉｎ│（ＭＰ−Ｐ’）Ｖ│^２ （６）
式中、Ｖは可視行列を表し、特徴点ｉが同時に２コマ、例えば隣接する２コマにおいて観察される場合Ｖ（ｉ，：）＝１であり、そうでない場合はＶ（ｉ，：）＝０である。

【0069】

また、計算Ｍの正確さを高めるため、さらに上記公式（６）を最適化することができ、最適化の方法は次のいくつかを含むことができる。

【0070】

ＲＡＮＳＡＣ法を用いて部分特徴点を選び、アウトライア（ｏｕｔｌｉｅｒ）の影響を減らし、さらにＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ（ＬＭ）などの非線形最適化法を用いて最適化する。

【0071】

または、マーカーの現在のコマに二次元点しかない場合、例えば、このマーカーが一般マーカーである場合、ｐｅｒｓｐｅｃｔｉｖｅ−ｎ−ｐｏｉｎｔ（ＰｎＰ）法を用いてＲ、Ｔを計算し、さらにＬＭなどの非線形最適化法を用いて次の公式（７）に示すような目的関数を最小化する。

【数18】

式中、Ｒは、具体的には公式（５）におけるＲ_３×３であり、Ｔは、具体的には公式（５）におけるＴ_３×１である。選択可能に、ＲＡＮＳＡＣ法を用いて部分特徴点を選び、アウトライア（ｏｕｔｌｉｅｒ）の影響を減らす。

【0072】

端末機器２０が１つ前のコマと１つ後のコマとの間の接続行列Ｍを算出した後、接続行列Ｍに基づき１つ前のコマと１つ後のコマにおけるマーカーの位置姿勢運動情報を確定し、具体的には、位置姿勢運動情報は、位置変化情報、姿勢変化情報を含む。公式（５）からわかるように、Ｒ_３×３は回転行列を表し、１つ前のコマおよび１つ後のコマにおけるマーカーのキーポイントの姿勢変化情報を表すため、端末機器２０は、１つ前のコマおよび１つ後のコマにおけるマーカーのキーポイントの姿勢変化情報に基づき、１つ前のコマおよび１つ後のコマにおけるマーカーの姿勢変化情報を確定することができる。また、公式（５）からわかるように、Ｔ_３×１は並進ベクトルを表し、１つ前のコマおよび１つ後のコマにおけるマーカーのキーポイントの位置変化情報を表すため、端末機器２０は、１つ前のコマおよび１つ後のコマにおけるマーカーのキーポイントの位置変化情報に基づき、１つ前のコマおよび１つ後のコマにおけるマーカーの位置変化情報を確定することができる。

【0073】

ステップＳ６０２、前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報に基づき、前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定する。

【0074】

具体的には、端末機器２０は、端末機器２０が採取した１つ前のコマの画像および１つ後のコマの画像中のマーカーの姿勢変化情報に基づき、マーカーに対する端末機器２０の姿勢変化情報を確定するか、または、端末機器２０は、端末機器２０が採取した１つ前のコマの画像および１つ後のコマの画像中のマーカーの位置変化情報に基づき、マーカーに対する端末機器２０の位置変化情報を確定する。

【0075】

その他の本実施例において、端末機器２０は、さらにＲ_３×３およびＴ_３×１を制御装置（ｐｒｏｐｏｒｔｉｏｎａｌ ｉｎｔｅｇｒａｌ ｄｅｒｉｖａｔｉｖｅ，略称ＰＩＤ）の入力信号とし、制御装置に無人航空機２１を制御する制御コマンドを出力させてもよく、Ｒ_３×３は、無人航空機２１の姿勢を制御するために用いることができ、例えば、端末機器２０は、Ｒ_３×３をオイラー角に変換し、このオイラー角に基づき、無人航空機２１の回転を制御する制御コマンドを生成し、Ｔ_３×１は、無人航空機２１の並進の制御に用いることができる。選択可能に、Ｒ_３×３およびＴ_３×１は、１つの制御装置を共有し、またはＲ_３×３およびＴ_３×１は２つの異なる制御装置を用いる。

【0076】

２つ目の実行可能な前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定する実現方法は、慣性計測装置ＩＭＵが検出した前記撮影機器の位置姿勢運動情報に基づき、前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定することである。

【0077】

具体的には、端末機器２０には慣性計測装置（inertial measurement unit，略称ＩＭＵ）が設けられ、慣性計測装置は、一般にジャイロスコープと加速度計とを含む。前記慣性計測装置は、端末機器２０のピッチ角、ロール角、ヨー角および加速度などを検出するために用いられる。マーカーが異なると仮定し、端末機器２０は、慣性計測装置ＩＭＵが検出した端末機器２０の姿勢変化情報に基づき、マーカーに対する端末機器２０の姿勢変化情報を確定するか、または慣性計測装置ＩＭＵが検出した端末機器２０の加速度に基づき端末機器２０の位置変化情報を算出し、さらにマーカーに対する端末機器２０の位置変化情報を確定する。

【0078】

３つ目の実行可能な前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定する実現方法は、前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報、および慣性計測装置ＩＭＵが検出した前記撮影機器の位置姿勢運動情報に基づき、前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定することである。

【0079】

具体的には、上記２種類の前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定する実現方法を結合し、マーカーに対する端末機器２０の姿勢変化情報または位置変化情報を確定する。すなわち、端末機器２０は、端末機器２０が採取した少なくとも２コマの画像中のマーカーの位置姿勢運動情報に基づきマーカーに対する端末機器２０の位置姿勢運動情報を確定するときに、端末機器２０内で慣性計測装置ＩＭＵが検出した端末機器２０の位置姿勢運動情報を補助的に参照することができる。

【0080】

選択可能に、前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報とＩＭＵが検出した前記撮影機器の位置姿勢運動情報との差の絶対値が閾値よりも大きい場合、確定済の前記マーカーに対する前記撮影機器の位置姿勢運動情報を削除する。

【0081】

例えば、端末機器２０は、端末機器２０が採取した少なくとも２コマの画像中のマーカーの位置姿勢運動情報に基づき、確定されたマーカーに対する端末機器２０の位置姿勢運動情報とＩＭＵが検出した端末機器２０の位置姿勢運動情報とが一致せず、かつ差が比較的大きい場合、端末機器２０が確定したマーカーに対する端末機器２０の位置姿勢運動情報が不正確であると説明し、さらに現在時刻より前にすでに確定されたマーカーに対する端末機器２０の位置姿勢運動情報を、例えば削除して、初期化する。

【0082】

本実施例は、端末機器が、端末機器が採取した少なくとも２コマの画像中のマーカーの１つまたは複数のキーポイントの座標に基づき、２コマの画像の間の接続行列を確定し、この接続行列に基づき、この２コマの画像中のマーカーの位置姿勢運動情報を確定し、さらにこの２コマの画像中のマーカーの位置姿勢運動情報に基づき、このマーカーに対する端末機器の位置姿勢運動情報を確定することにより、このマーカーに対する端末機器の位置姿勢運動情報の計算精度を高める。

【0083】

本発明の実施例は、移動可能物体の制御方法を提供する。上記実施例の基礎の上で、前記移動可能物体を制御する前に、前記移動可能物体の移動をトリガするためのトリガコマンドを取得することをさらに含む。前記トリガコマンドは、第１のアクティベーションボタンを操作して生成されるものである。

【0084】

上記実施例からわかるように、ユーザは、端末機器２０により無人航空機２１を制御することができ、例えば、端末機器２０のインカメラがユーザの顔を採取したときに、端末機器２０がユーザの顔に対して左に移動すると、端末機器２０は、さらにユーザの顔に対する端末機器２０の運動方向を、無人航空機２１を制御する制御コマンドにマッピングする。ここで、端末機器２０がユーザの顔に対して左に移動する状況は、次のいくつかの考えられる状況を含む。

【0085】

１つの考えられる状況は、図７に示すように、ユーザが顔を動かさず、矢印７０で示す方向に端末機器２０を移動させるなど、ユーザが左に端末機器２０を移動させることである。

【0086】

もう１つの考えられる状況は、図８に示すように、端末機器２０が動かず、ユーザの顔が、矢印８０で示す方向など、端末機器２０の右側に移動することである。

【0087】

もう１つの考えられる状況は、図９に示すように、ユーザの顔と端末機器２０が同時に移動し、矢印７０で示す方向に端末機器２０を移動させるなど、ユーザが左に端末機器２０を移動させると同時に、ユーザの顔が、矢印８０で示す方向など、端末機器２０の右側に移動することである。

【0088】

ユーザの顔の位置姿勢の変化または端末機器２０自体の位置姿勢の変化は、いずれもユーザの顔に対して端末機器２０に位置姿勢の変化が生じさせることができ、端末機器２０は、ユーザの顔に対する端末機器２０の位置姿勢の変化に基づき無人航空機２１を制御することができる。

【0089】

ユーザが無意識のうちに頭を動かしたり、ユーザが無意識のうちに端末機器２０を移動させたりしても、無人航空機２１の位置姿勢の変化がもたらされることがあるが、このとき、ユーザは、無人航空機２１に位置姿勢の変化をもたらそうとしているのではない。ユーザの誤操作により無人航空機２１に位置姿勢の変化が生じることを避けるため、図１０に示すアクティベーションボタンＡのように、端末機器２０上にアクティベーションボタンを設けてもよく、ユーザがアクティベーションボタンＡをクリックすると、端末機器２０は、アクティベーションボタンＡに対するユーザのクリック操作に基づきトリガコマンドを生成する。このトリガコマンドは、端末機器２０が無人航空機２１に制御コマンドを送信することをトリガすることができ、ユーザがアクティベーションボタンＡをクリックしなければ、端末機器２０が制御コマンドを生成しても、無人航空機２１に送信することができず、これにより無人航空機２１の移動が生じないことが保証される。または、このトリガコマンドは、さらに無人航空機２１の移動をトリガすることができ、例えば、端末機器２０が送信した制御コマンドとトリガコマンドを無人航空機２１が同時に受信した場合、この制御コマンドを実行し、端末機器２０が送信した制御コマンドのみを無人航空機２１が受信し、端末機器２０が送信したトリガコマンドを受信しなかった場合、この制御コマンドを実行しない。

【0090】

一部の実施例において、前記マーカーに対する前記撮影機器の位置姿勢情報を確定する前に、確定済の前記マーカーに対する前記撮影機器の位置姿勢情報に対して初期化処理を行うための初期化コマンドを取得することをさらに含む。前記初期化コマンドは、第２のアクティベーションボタンを操作して生成されるものである。

【0091】

図１０に示すように、端末機器２０には、さらにアクティベーションボタンＢを設けてもよく、ユーザがアクティベーションボタンＢをクリックすると、端末機器２０は、アクティベーションボタンＢに対するユーザのクリック操作に基づき初期化コマンドを生成し、この初期化コマンドは、現在時刻の前にすでに確定したマーカーに対する端末機器２０の位置姿勢運動情報を、例えば削除して、初期化するために用いられる。すなわち、ユーザが端末機器２０によって無人航空機２１を制御する前に、端末機器２０には、例えばユーザの顔などの履歴時刻に確定されたマーカーに対する端末機器２０の位置姿勢運動情報が格納されている可能性があり、履歴時刻に確定された位置姿勢運動情報が現在時刻に確定された位置姿勢運動情報に影響を及ぼすことを避けるために、ユーザは、アクティベーションボタンＢをクリックすることにより、例えばユーザ顔などの端末機器２０が履歴時刻に確定したマーカーに対する端末機器２０の位置姿勢運動情報を初期化することができる。

【0092】

本実施例は、端末機器上の第１のアクティベーションボタンに対するユーザの操作により、無人航空機の移動をトリガするトリガコマンドを端末機器に生じさせ、ユーザの誤操作により無人航空機に位置姿勢の変化が生じることを避け、無人航空機に対する正確な制御を実現する。また、端末機器上の第２のアクティベーションボタンに対するユーザの操作により、初期化コマンドを端末機器に生じさせ、確定済のマーカーに対する端末機器の位置姿勢情報に対して初期化処理を行い、履歴時刻に確定された位置姿勢運動情報が現在時刻に確定された位置姿勢運動情報に影響を及ぼすことを避け、無人航空機に対する正確な制御をさらに実現する。

【0093】

本発明の実施例は、端末機器を提供する。図１１は、本発明の実施例で提供する端末機器の構造図であり、図１１に示すように、端末機器１１０は、１つまたは複数のプロセッサ１１１を含み、プロセッサ１１１は、撮影機器が採取した画像中のマーカーを取得し、前記マーカーに対する前記撮影機器の位置姿勢情報を確定し、前記マーカーに対する前記撮影機器の位置姿勢情報に基づき前記移動可能物体を制御するために用いられる。

【0094】

具体的には、前記位置姿勢情報は、位置情報、姿勢情報の少なくとも１つを含む。前記姿勢情報は、ピッチ角、ロール角、ヨー角の少なくとも１つを含む。

【0095】

選択可能に、プロセッサ１１１が、撮影機器が採取した画像中のマーカーを取得するときに、具体的には、前記撮影機器が採取した画像の中からユーザが選定したマーカーを取得すること、前記撮影機器が採取した画像中の所定参考画像に合致するマーカーを取得すること、前記撮影機器が採取した画像中の所定数の特徴点からなるマーカーを取得することの少なくとも１つに用いられる。

【0096】

さらに、プロセッサ１１１が、前記撮影機器が採取した画像の中からユーザが選定したマーカーを取得するときに、具体的には、前記撮影機器が採取した画像の中からユーザが範囲を指定して選んだマーカーを取得すること、前記撮影機器が採取した画像の中からユーザがクリックしたマーカーを取得することの少なくとも１つに用いられる。

【0097】

具体的には、プロセッサ１１１が、前記マーカーに対する前記撮影機器の位置姿勢情報を確定するときに、具体的には、前記撮影機器が採取した画像中の前記マーカーの位置姿勢情報を確定すること、前記撮影機器が採取した画像中の前記マーカーの位置姿勢情報に基づき前記マーカーに対する前記撮影機器の位置姿勢情報を確定することに用いられる。プロセッサ１１１が、前記撮影機器が採取した画像中の前記マーカーの位置姿勢情報を確定するときに、具体的には、前記撮影機器が採取した画像中の前記マーカーの１つまたは複数のキーポイントの座標に基づき、前記撮影機器が採取した画像中の前記マーカーの位置姿勢情報を確定することに用いられる。

【0098】

選択可能に、プロセッサ１１１が、前記マーカーに対する前記撮影機器の位置姿勢情報に基づき前記移動可能物体を制御するときに、具体的には、前記マーカーに対する前記撮影機器の位置情報に基づき所定原点に対する前記移動可能物体の位置情報を制御すること、前記マーカーに対する前記撮影機器の姿勢情報に基づき前記移動可能物体に対する姿勢情報を制御すること、前記マーカーに対する前記撮影機器の姿勢情報に基づき前記移動可能物体の運動速度を制御することの少なくとも１つに用いられる。そのうち、プロセッサ１１１が、前記マーカーに対する前記撮影機器の姿勢情報に基づき前記移動可能物体の運動速度を制御するときに、具体的には、前記マーカーに対する前記撮影機器のピッチ角に基づき前記移動可能物体が地面座標系中でＹ軸に沿って移動する速度を制御すること、前記マーカーに対する前記撮影機器のロール角に基づき前記移動可能物体が地面座標系中でＸ軸に沿って移動する速度を制御すること、前記マーカーに対する前記撮影機器のヨー角に基づき前記移動可能物体が地面座標系中でＺ軸に沿って移動する速度を制御することに用いられる。プロセッサ１１１が、前記マーカーに対する前記撮影機器の姿勢情報に基づき前記移動可能物体の姿勢情報を制御するときに、具体的には、前記マーカーに対する前記撮影機器のピッチ角に基づき前記移動可能物体のピッチ角を制御すること、前記マーカーに対する前記撮影機器のロール角に基づき前記移動可能物体のロール角を制御すること、前記マーカーに対する前記撮影機器のヨー角に基づき前記移動可能物体のヨー角を制御することに用いられる。プロセッサ１１１が、前記マーカーに対する前記撮影機器の位置情報に基づき所定原点に対する前記移動可能物体の位置情報を制御するときに、具体的には、前記マーカーに対する前記撮影機器の距離に基づき前記所定原点に対する前記移動可能物体の距離を制御することに用いられる。

【0099】

本発明の実施例で提供する端末機器の具体的な原理および実現方法は、いずれも図１に示す実施例と類似しており、ここでは再度詳述しない。

【0100】

本実施例は、撮影機器が採取した画像中のマーカーを取得し、マーカーに対する撮影機器の位置姿勢情報を確定し、マーカーに対する撮影機器の位置姿勢情報に基づき移動可能物体を制御することにより、マーカーに対する撮影機器の位置姿勢情報を正確に確定することができ、マーカーに対する撮影機器の位置姿勢情報に基づき移動可能物体を制御する際に移動可能物体に対する正確な制御を実現することができる。

【0101】

本発明の実施例は、端末機器を提供する。図１１に示す実施例で提供する技術手法の基礎の上で、さらに、プロセッサ１１１は、前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定すること、前記マーカーに対する前記撮影機器の位置姿勢運動情報に基づき、前記移動可能物体を制御することにさらに用いられる。ここで、前記位置姿勢運動情報は、位置変化情報、姿勢変化情報の少なくとも１つを含む。

【0102】

選択可能に、プロセッサ１１１が、前記マーカーに対する前記撮影機器の位置姿勢運動情報に基づき前記移動可能物体を制御するときに、具体的には、前記マーカーに対する前記撮影機器の位置変化情報に基づき所定原点に対する前記移動可能物体の位置変化情報を制御すること、前記マーカーに対する前記撮影機器の姿勢変化情報に基づき所定原点に対する前記移動可能物体の姿勢変化情報を制御することの少なくとも１つに用いられる。

【0103】

本発明の実施例で提供する端末機器の具体的な原理および実現方法は、いずれも図５に示す実施例と類似しており、ここでは再度詳述しない。

【0104】

本実施例は、撮影機器が採取した画像中のマーカーを取得し、マーカーに対する撮影機器の位置変化情報または姿勢変化情報を確定し、マーカーに対する撮影機器の位置変化情報に基づき移動可能物体の位置の変化を制御するか、またはマーカーに対する撮影機器の姿勢変化情報に基づき移動可能物体の姿勢の変化を制御することにより、マーカーに対する撮影機器の位置変化情報または姿勢変化情報を正確に確定することができ、マーカーに対する撮影機器の位置変化情報または姿勢変化情報に基づき移動可能物体を正確に制御することができる。

【0105】

本発明の実施例は、端末機器を提供する。上記実施例で提供する技術手法の基礎の上で、プロセッサ１１１が、前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定する方式は、次のいくつかの実行可能な実現方法を含む。

【0106】

実行可能な実現方法は、プロセッサ１１１が、前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定するときに、具体的には、前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報を確定すること、前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報に基づき、前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定することに用いられることである。プロセッサ１１１が、前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報を確定するときに、具体的には、前記撮影機器が採取した第１の画像中の前記マーカーの１つまたは複数のキーポイントの第１の座標、および前記撮影機器が採取した第２の画像中の前記マーカーの１つまたは複数のキーポイントの第２の座標に基づき、前記第１の画像と前記第２の画像との間の接続行列を確定すること、前記第１の画像と前記第２の画像との間の接続行列に基づき、前記第１の画像および前記第２の画像中の前記マーカーの位置姿勢運動情報を確定することに用いられる。式中、前記接続行列は、回転行列と並進ベクトルとを含み、前記回転行列は、前記第１の画像および前記第２の画像中の前記１つまたは複数のキーポイントの姿勢変化情報を表し、前記並進ベクトルは、前記第１の画像および前記第２の画像中の前記１つまたは複数のキーポイントの位置変化情報を表す。

【0107】

もう１つの実行可能な実現方法は、プロセッサ１１１が、前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定するときに、具体的には、慣性計測装置ＩＭＵが検出した前記撮影機器の位置姿勢運動情報に基づき、前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定することに用いられることである。

【0108】

もう１つの実行可能な実現方法は、プロセッサ１１１が、前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定するときに、具体的には、前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報、および慣性計測装置ＩＭＵが検出した前記撮影機器の位置姿勢運動情報に基づき、前記マーカーに対する前記撮影機器の位置姿勢運動情報を確定することに用いられることである。前記撮影機器が採取した少なくとも２コマの画像中の前記マーカーの位置姿勢運動情報とＩＭＵが検出した前記撮影機器の位置姿勢運動情報との差の絶対値が閾値よりも大きい場合、前記プロセッサは、確定済の前記マーカーに対する前記撮影機器の位置姿勢運動情報を削除することにさらに用いられる。

【0109】

本発明の実施例で提供する端末機器の具体的な原理および実現方法は、いずれも図６に示す実施例と類似しており、ここでは再度詳述しない。

【0110】

本実施例は、端末機器が、端末機器が採取した少なくとも２コマの画像中のマーカーの１つまたは複数のキーポイントの座標に基づき、２コマの画像の間の接続行列を確定し、この接続行列に基づき、この２コマの画像中のマーカーの位置姿勢運動情報を確定し、さらに２コマの画像中のマーカーの位置姿勢運動情報に基づき、このマーカーに対する端末機器の位置姿勢運動情報を確定することにより、このマーカーに対する端末機器の位置姿勢運動情報の計算精度を高める。

【0111】

本発明の実施例は、端末機器を提供する。上記実施例で提供する技術手法の基礎の上で、プロセッサ１１１が前記移動可能物体を制御する前に、前記移動可能物体の移動をトリガするためのトリガコマンドを取得することにさらに用いられる。前記トリガコマンドは、第１のアクティベーションボタンを操作して生成されるものである。

【0112】

さらに、プロセッサ１１１は、前記マーカーに対する前記撮影機器の位置姿勢情報を確定する前に、確定済の前記マーカーに対する前記撮影機器の位置姿勢情報に対して初期化処理を行うための初期化コマンドを取得することにさらに用いられる。前記初期化コマンドは、第２のアクティベーションボタンを操作して生成されるものである。

【0113】

本発明の実施例で提供する端末機器の具体的な原理および実現方法は、いずれも図１０に示す実施例と類似しており、ここでは再度詳述しない。

【0114】

本実施例は、端末機器上の第１のアクティベーションボタンに対するユーザの操作により、無人航空機の移動をトリガするトリガコマンドを端末機器に生じさせ、ユーザの誤操作により無人航空機に位置姿勢の変化が生じることを避け、無人航空機に対する正確な制御を実現する。また、端末機器上の第２のアクティベーションボタンに対するユーザの操作により、初期化コマンドを端末機器に生じさせ、確定済のマーカーに対する端末機器の位置姿勢情報に対して初期化処理を行い、履歴時刻に確定された位置姿勢運動情報が現在時刻に確定された位置姿勢運動情報に影響を及ぼすことを避け、無人航空機に対する正確な制御をさらに実現する。

【0115】

本発明の実施例は、無人航空機を提供する。図１２は、本発明の実施例で提供する無人航空機の構造図であり、図１２に示すように、無人航空機１００は、機体と、動力システムと、飛行制御装置１１８とを含み、前記動力システムは、モータ１０７、スクリュープロペラ１０６および電子速度調節器１１７の少なくとも１つを含み、動力システムは、前記機体に取り付けられ、飛行動力を提供するために用いられ、飛行制御装置１１８は、前記動力システムに通信接続され、前記無人航空機の飛行を制御するために用いられる。

【0116】

また、図１２に示すように、無人航空機１００は、感知システム１０８と、通信システム１１０と、支持機器１０２と、撮影機器１０４とをさらに含み、支持機器１０２は、具体的には雲台としてもよく、通信システム１１０は、具体的には、地上局１１２のアンテナ１１４から送信される無線信号を受信するための受信機を含むことができ、１１６は、受信機とアンテナ１１４で通信中に生じる電磁波を示す。

【0117】

地上局１１２は、具体的には、上記実施例における端末機器とすることができ、端末機器が制御コマンドを生成し、制御コマンドを無人航空機１００の通信システム１１０により飛行制御装置１１８に送信し、飛行制御装置１１８は、さらに、端末機器が送信した制御コマンドに基づき無人航空機１００を制御する。ここで、端末機器により無人航空機１００を制御する具体的な原理および実現方法は、いずれも上記実施例と類似しており、ここでは再度詳述しない。

【0118】

本発明の実施例は、移動可能物体の制御システムを提供する。ここで、この移動可能物体は、具体的には無人航空機であり、図２に示すように、この移動可能物体制御システムは、端末機器２０と、無人航空機２１とを含む。端末機器２０が無人航空機２１を制御する具体的な原理および実現方法は、いずれも上記実施例と類似しており、ここでは再度詳述しない。

【0119】

本発明で提供するいくつかの実施例において、開示されている装置および方法は、その他の方式によって実現してもよいことを理解すべきである。例えば、上述した装置の実施例は、概略的なものに過ぎず、例えば、前記ユニットの区分は、論理的な機能の区分に過ぎず、実際の実現の際には、別の区分方式を有してもよく、例えば、複数のユニットまたはアセンブリを結合するか、または別のシステムに集積してもよく、または一部の特徴を省略しても、実行しなくてもよい。もう一点、示された、または考察された互いの間の結合または直接結合または通信接続は、いくつかのインターフェース、装置またはユニットの間接結合または通信接続としてもよく、電気的、機械またはその他の形式とすることができる。

【0120】

前記分離部材として説明したユニットは、物理的に分けられたものであっても、または分けられていないものであってもよく、ユニットとして示された部材は、物理的なユニットであっても、またはそうでなくてもよく、すなわち、一つの場所に位置していても、または複数のネットワークユニットに分布していてもよい。実際の必要に応じて、一部または全部のユニットを選択し、本実施例の手法の目的を実現してもよい。

【0121】

また、本発明の各実施例における各機能ユニットは、一つの処理ユニットの中に集積しても、各ユニットが単独で物理的に存在しても、複数のユニットを一つのユニットの中に集積してもよい。前記集積されたユニットは、ハードウェアの形式で実現しても、ハードウェアにソフトウェアの機能ユニットを加えた形式で実現してもよい。

【0122】

上記ソフトウェア機能ユニットの形式で実現する集積されたユニットは、コンピュータで読み取り可能な記憶媒体に記憶してもよい。上記ソフトウェア機能ユニットを記憶媒体に記録することは、複数のコマンドを、１台のコンピュータ機器（パーソナルコンピュータであっても、サーバであっても、ネットワーク機器などであってもよい）またはプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本発明の各実施例に記載の方法の一部のステップを実行させることに用いることを含む。前記記憶媒体は、ＵＳＢフラッシュドライブ、ポータブルハードディスクドライブ、リードオンリーメモリ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）、フロッピーディスクまたは光ディスクなどのプログラムコードを記憶可能な各種媒体を含む。

【0123】

記述の便宜および簡潔さのため、上記各機能モジュールの区分のみで例を挙げて説明したが、実際の応用において、必要に応じて上記機能を異なる機能モジュールに配分して完成させることができ、すなわち、装置の内部構造を異なる機能モジュールに分けて、上述したすべてまたは一部の機能を完成させることができることを当業者は明確に理解することができる。上述した装置の具体的な動作プロセスは、前記方法の実施例における対応するプロセスを参照することができ、ここでは再度詳述しない。

【0124】

最後に説明すべきことは、以上の各実施例は、本発明の技術手法を説明するためのものに過ぎず、それを限定するためのものではないことである。前記各実施例を参照して本発明について詳細に説明しているにもかかわらず、当業者は、依然として前記各実施例に記載の技術手法を変更するか、またはその一部または全部の技術的特徴について同等の差し替えを行うことができ、これらの変更または差し替えは、対応する技術手法の本質を本発明の各実施例の技術手法の範囲から逸脱させるものではないことを理解できるはずである。

【符号の説明】

【0125】

２０ 端末機器
２１ 無人航空機
２２ 撮影機器
２３ 雲台
３０ 画像
３１ 一般マーカー
７０ 方向
８０ 方向
１１０ 端末機器
１１１ プロセッサ
１００ 無人航空機
１０７ モータ
１０６ スクリュープロペラ
１１７ 電子速度調節器
１１８ 飛行制御装置
１０８ 感知システム
１１０ 通信システム
１０２ 支持機器
１０４ 撮影機器
１１２ 地上局
１１４ アンテナ
１１６ 電磁波

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】