(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-03
(45)【発行日】2023-08-14
(54)【発明の名称】無人航空機を着地させる装置および方法
(51)【国際特許分類】
G05D 1/04 20060101AFI20230804BHJP
B64D 47/08 20060101ALI20230804BHJP
B64C 39/02 20060101ALI20230804BHJP
B64C 27/04 20060101ALI20230804BHJP
G05D 1/00 20060101ALI20230804BHJP
G06T 7/20 20170101ALI20230804BHJP
G01B 11/00 20060101ALI20230804BHJP
【ＦＩ】
G05D1/04
B64D47/08
B64C39/02
B64C27/04
G05D1/00 B
G06T7/20 300A
G01B11/00 H
【請求項の数】
21
(21)【出願番号】P 2019153831
(22)【出願日】2019-08-26
(65)【公開番号】P2020187716
(43)【公開日】2020-11-19
【審査請求日】2022-08-25
(31)【優先権主張番号】16/407,627
(32)【優先日】2019-05-09
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】517416237
【氏名又は名称】經緯航太科技股▲ふん▼有限公司
【氏名又は名称原語表記】ＧＥＯＳＡＴ Ａｅｒｏｓｐａｃｅ ＆ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｃ．
【住所又は居所原語表記】１２Ｆ．， Ｎｏ．２５３， Ｓｅｃ． ３， Ｄｏｎｇｍｅｎ Ｒｄ．， Ｅａｓｔ Ｄｉｓｔ．， Ｔａｉｎａｎ Ｃｉｔｙ， Ｔａｉｗａｎ
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100132883
【弁理士】
【氏名又は名称】森川 泰司
(74)【代理人】
【識別番号】100148633
【弁理士】
【氏名又は名称】桜田 圭
(74)【代理人】
【識別番号】100147924
【弁理士】
【氏名又は名称】美恵 英樹
(72)【発明者】
【氏名】羅 正方
(72)【発明者】
【氏名】黄 勇介
(72)【発明者】
【氏名】紹 建銘
【審査官】田中 友章
(56)【参考文献】
【文献】特表２０１７－５０２８７９（ＪＰ，Ａ）
【文献】国際公開第２０１８／０２３７２７（ＷＯ，Ａ１）
【文献】国際公開第２０１８／１２８７８８（ＷＯ，Ａ１）
【文献】特開２０１７－１８５９２８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０５Ｄ １／００
Ｂ６４Ｄ ４７／０８
Ｂ６４Ｃ ３９／０２
Ｂ６４Ｃ ２７／０４
Ｇ０６Ｔ ７／２０
Ｇ０１Ｂ １１／００
(57)【特許請求の範囲】
【請求項1】
無人航空機に、前記無人航空機のプロセッサにより実行可能な、前記無人航空機を着地させる方法を実行させる一組の命令を記憶する非一時的コンピュータ可読媒体であって、前記方法は、
手の第１のジェスチャを認識することと、
前記第１のジェスチャの認識に応じて、前記手の上方でホバリングするように前記無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第２のジェスチャを認識することと、
前記第２のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える、非一時的コンピュータ可読媒体。
【請求項2】
前記手の上に前記無人航空機を着地させることは、前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える請求項１に記載の非一時的コンピュータ可読媒体。
【請求項3】
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の１つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
をさらに備える請求項２に記載の非一時的コンピュータ可読媒体。
【請求項4】
前記手の前記中心を識別することは、前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包（ｃｏｎｖｅｘ ｈｕｌｌ）および少なくとも１つの三角形を含む凸包欠陥（ｃｏｎｖｅｘｉｔｙ ｄｅｆｅｃｔ）を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える請求項３に記載の非一時的コンピュータ可読媒体。
【請求項5】
前記手の上に前記無人航空機を着地させることは、前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の１つ以上のモータをオフにすることと、
をさらに備える請求項２に記載の非一時的コンピュータ可読媒体。
【請求項6】
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、前記手の前記第２のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する１つ以上の凸包欠陥を得ることと、
前記１つ以上の凸包欠陥の数が変化したとの検出に応じて、前記手の前記第２のジェスチャを認識することと、
をさらに備える請求項１に記載の非一時的コンピュータ可読媒体。
【請求項7】
前記距離を検出することは、前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える請求項１に記載の非一時的コンピュータ可読媒体。
【請求項8】
手の第１のジェスチャを認識することと、前記第１のジェスチャの認識に応じて、前記手の上方でホバリングするように無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第２のジェスチャを認識することと、
前記第２のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える無人航空機を着地させる方法。
【請求項9】
前記手の上に前記無人航空機を着地させることは、前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える請求項８に記載の無人航空機を着地させる方法。
【請求項10】
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の１つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
を備える請求項９に記載の無人航空機を着地させる方法。
【請求項11】
前記手の前記中心を識別することは、前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包（ｃｏｎｖｅｘ ｈｕｌｌ）および少なくとも１つの三角形を含む凸包欠陥（ｃｏｎｖｅｘｉｔｙ ｄｅｆｅｃｔ）を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える請求項１０に記載の無人航空機を着地させる方法。
【請求項12】
前記手の上に前記無人航空機を着地させることは、前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の１つ以上のモータをオフにすることと、
をさらに備える請求項９に記載の無人航空機を着地させる方法。
【請求項13】
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、前記手の前記第２のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する１つ以上の凸包欠陥を得ることと、
前記１つ以上の凸包欠陥の数が変化したとの検出に応じて、前記第２のジェスチャが認識されたと判断することと、
を備える請求項８に記載の無人航空機を着地させる方法。
【請求項14】
前記距離を検出することは、前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える請求項８に記載の無人航空機を着地させる方法。
【請求項15】
１つ以上のプロセッサと、前記１つ以上のプロセッサにより実行されると、
手の第１のジェスチャを認識することと、
前記第１のジェスチャの認識に応じて、前記手の上方でホバリングするように無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第２のジェスチャを認識することと、
前記第２のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える動作を前記無人航空機に実行させる命令を記憶するメモリと、
を備える無人航空機。
【請求項16】
前記手の上に前記無人航空機を着地させることは、前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える請求項１５に記載の無人航空機。
【請求項17】
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の１つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
をさらに備える請求項１６に記載の無人航空機。
【請求項18】
前記手の前記中心を識別することは、前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包（ｃｏｎｖｅｘ ｈｕｌｌ）および少なくとも１つの三角形を含む凸包欠陥（ｃｏｎｖｅｘｉｔｙ ｄｅｆｅｃｔ）を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える請求項１７に記載の無人航空機。
【請求項19】
前記手の上に前記無人航空機を着地させることは、前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の１つ以上のモータをオフにすることと、
をさらに備える請求項１６に記載の無人航空機。
【請求項20】
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、前記手の前記第２のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する１つ以上の凸包欠陥を得ることと、
前記１つ以上の凸包欠陥の数が変化したとの検出に応じて、前記手の前記第２のジェスチャを認識することと、
をさらに備える請求項１５に記載の無人航空機。
【請求項21】
前記距離を検出することは、前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える請求項１５に記載の無人航空機。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、無人航空機（ｕｎｍａｎｎｅｄ ａｅｒｉａｌ ｖｅｈｉｃｌｅ；ＵＡＶ）に関し、より特定的には、無人航空機を着地させる装置および方法に関する。
【背景技術】
【0002】
ユーザは、一般に、リモートコントローラで無人航空機（ＵＡＶ）を制御することにより、ＵＡＶの離陸および着地を達成する。従来の着地操作（ｌａｎｄｉｎｇ ｏｐｅｒａｔｉｏｎ）は手動のプロセスであり、ユーザは、着地プロセス全体に参加し、リモートコントローラでＵＡＶを制御する必要がある。着地操作は、ユーザの操作能力に重大に依存し、ＵＡＶの安全で成功する着地を達成するためには、著しい学習と訓練を必要とする。
【0003】
さらに、地面（ｇｒｏｕｎｄ）の状態は、常に着地に適しているとは限らない。例えば、地面の上には、ＵＡＶに害を及ぼすかもしれない土壌、泥、岩石または水があるかもしれず、地面は不均一であるかもしれず、または、着地を実行するためには安全でないかもしれない。これらの状況は、ＵＡＶ着地プロセスにおける困難をもたらす。そのため、上記の欠点を克服し、より良いユーザエクスペリエンス（ｕｓｅｒ ｅｘｐｅｒｉｅｎｃｅ）を提供するために、ＵＡＶの着地操作を単純化し、改善する必要がある。
【発明の概要】
【課題を解決するための手段】
【0004】
本開示は、無人航空機に無人航空機を着地させる方法を実行させるために、無人航空機のプロセッサにより実行可能な一組の命令を記憶（ｓｔｏｒｉｎｇ）する非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）コンピュータ可読媒体を提供する。無人航空機を着地させる方法は、手の第１のジェスチャ（ｇｅｓｔｕｒｅ）を認識することと、第１のジェスチャの認識に応じて、手の上方でホバリングする（ｈｏｖｅｒ）ように無人航空機を移動させることと、無人航空機と手との間の距離を検出することと、距離がある範囲のなかにあるとの判断に応じて、手を監視して手の第２のジェスチャを認識することと、第２のジェスチャの認識に応じて、無人航空機を手の上に着地させることと、を含む。
【0005】
本開示はまた、無人航空機を着地させる方法も提供する。無人航空機を着地させる方法は、手の第１のジェスチャを認識することと、第１のジェスチャの認識に応じて、無人航空機を手の上方でホバリングするように移動させることと、無人航空機と手との間の距離を検出することと、距離がある範囲のなかにあるとの判断に応じて、手を監視して手の第２のジェスチャを認識することと、第２のジェスチャの認識に応じて、無人航空機を手の上に着地させることと、を含む。
【0006】
本開示はさらに、１つ以上のプロセッサと、命令を記憶するメモリとを含む無人航空機（ＵＡＶ）を提供する。１つ以上のプロセッサにより実行されると、命令は、無人航空機に、手の第１のジェスチャを認識することと、第１のジェスチャの認識に応じて、手の上方でホバリングするように無人航空機を移動させることと、無人航空機と手との間の距離を検出することと、距離がある範囲のなかにあるとの判断に応じて、手を監視して手の第２のジェスチャを認識することと、第２のジェスチャの認識に応じて、無人航空機を手の上に着地させることと、を含む動作を実行させる。
【0007】
前述の一般的な説明および以下の詳細な説明は、例示的で説明的なものにすぎず、特許請求の範囲に記載されているように本開示を限定するものではないことを理解されたい。
【図面の簡単な説明】
【0008】
本明細書に組み込まれてその一部を構成する添付の図面は、いくつかの実施形態を示し、明細書とともに、開示された原理を説明するために役立つ。
【0009】
【発明を実施するための形態】
【0010】
以下の説明は、添付の図面を参照し、異なる図面中の同じ番号は、特記なき限り、同じか類似の要素を表す。以下の例示的な実施形態の説明に記載される実施態様は、本開示と整合する全ての実施態様を表さない。むしろ、それらは、添付の特許請求の範囲に記載されているような開示に関連する態様と整合する装置および方法の単なる例である。
【0011】
図１Ａは、本開示のいくつかの実施形態と整合する例示的な無人航空機（ＵＡＶ）１００を示す図である。ＵＡＶ１００は、１つ以上のモータ１１０ａ～１１０ｄ、１つ以上のプロペラ１２０ａ～１２０ｄ、統合ユニット１３０、画像センサ１４０および距離センサ１５０を含む。いくつかの実施形態では、ＵＡＶ１００はまた、ＵＡＶ１００がピッチング（ｐｉｔｃｈ）、ロール（ｒｏｌｌ）またはヨーイング（ｙａｗ）できるようにするロール運動を生成するエルロン（ａｉｌｅｒｏｎｓ）を含んでよい。モータ１１０ａ～１１０ｄは、それぞれプロペラ１２０ａ～１２０ｄに連結され、ＵＡＶ１００に推進力を提供するように構成される。様々な実施形態において、モータ１１０ａ～１１０ｄとプロペラ１２０ａ～１２０ｄとの数は異なっていてよく、図１に示されるＵＡＶ１００は、単に１つの例であり、本開示を限定することを意味しない。例えば、ＵＡＶ１００は、それぞれプロペラと連結された１，２，３，４，５，６，７，８または任意の数のモータを有してよい。
【0012】
統合ユニット１３０は、モータ１１０ａ～１１０ｄに通信可能に連結され、モータ１１０ａ～１１０ｄを制御して、上昇、下降、ほぼホバリングまたは横断といった様々な飛行動作において揚力（ｌｉｆｔ）および推進力（ｐｒｏｐｕｌｕｓｉｏｎ）を提供するように構成される。例えば、統合ユニット１３０は、駆動モータ１１０ａ～１１０ｄそれぞれに駆動信号を送信して、モータ１１０ａ～１１０ｄの回転速度を制御するように構成されてよい。
【0013】
画像センサ１４０は、統合ユニット１３０と通信可能に連結され、１つ以上の画像を取り込むように構成される。より特定的には、画像センサ１４０は、光信号を、取り込まれた画像の情報を含む電気信号に変換し、画像処理および認識のために、変換された電気信号を統合ユニット１３０に送信するように構成される。いくつかの実施形態において、画像センサ１４０は、可視光ＣＭＯＳ画像センサなどのＣＭＯＳ画像センサを含み得るが、本開示はそれに限定されない。
【0014】
距離センサ１５０は、統合ユニット１３０に通信可能に連結され、ＵＡＶ１００と、ＵＡＶ１００の近くの障害物または対象物との間の距離を検出するように構成される。距離センサ１５０は、レーザビームを放射し、障害物または対象物から反射された対応するレーザビームを検出することにより対象物または障害物を検出できるレーザ近接センサにより実施されてよい。距離センサ１５０により放射されるレーザビームの波長は、実際の設計に基づいて選択されてよい。例えば、距離センサ１５０は、可視光レーザビームを放射してよいが、本開示はそれに限定されない。
【0015】
図１Ｂは、本開示のいくつかの実施形態と整合するＵＡＶ１００および例示的な制御システム２００を示す図である。ユーザは、飛行操作を実行し、制御システム２００を介してＵＡＶ１００の１つ以上の動作パラメータを設定するようにＵＡＶ１００を制御してよい。例えば、制御システム２００は、地上制御ステーション（ｇｒｏｕｎｄ ｃｏｎｔｒｏｌ ｓｔａｔｉｏｎ；ＧＣＳ）またはリモートコントローラを含んでよい。いくつかの実施形態において、ＧＣＳは、デスクトップコンピュータ、ラップトップ、タブレット、スマートフォンまたは他の任意の電子機器上で実行されうる。ユーザは、１つ以上の指示を制御システム２００に入力できる。命令を受信した後、制御システム２００は、通信回路を介して通信信号２１０をＵＡＶ１００に送信してよい。
【0016】
図１Ｂに示されるように、いくつかの実施形態において、画像センサ１４０は、ＵＡＶ１００の底部側（例えば、ＵＡＶ１００がホバリングしたときに地面に面する側）に配置される。その結果、画像センサ１４０は、画像を取り込み、ＵＡＶ１００の下の１つ以上の対象物に関する情報、例えば対象物のサイズ、形状または色などを得ることができる。画像センサ１４０と同様に、いくつかの実施形態において、距離センサ１５０もまたＵＡＶ１００の底部側に配置される。結果として、距離センサ１５０は、ＵＡＶ１００と、ＵＡＶ１００の下の対象物との間の距離、または、ＵＡＶ１００と地面との間の距離を検出することができる。
【0017】
ＵＡＶ１００が、制御システム２００からハンドランディング命令（ｈａｎｄ ｌａｎｄｉｎｇ ｉｎｓｔｒｕｃｔｉｏｎ）を受信すると、ＵＡＶ１００のためのハンドランディングモード（ｈａｎｄ ｌａｎｄｉｎｇ ｍｏｄｅ）がトリガされる（ｔｒｉｇｇｅｒｄ）。ハンドランディングモードの間、ＵＡＶ１００は、ユーザの手ＵＨ１が認識された場合に、ユーザの手ＵＨ１に着地でき、動作は、画像センサ１４０により取り込まれた画像および距離センサ１５０により検出された距離により促進される。ハンドランディングモードにおける動作の詳細は後述されるであろう。
【0018】
図２は、本開示のいくつかの実施形態と整合する例示的な統合ユニット１３０を示す図である。図２に示されるように、いくつかの実施形態において、統合ユニット１３０は、飛行制御コンピュータ（ｆｌｉｇｈｔ ｃｏｎｔｒｏｌ ｃｏｍｐｕｔｅｒ；ＦＣＣ）１３２、姿勢および方位参照システム（ａｔｔｉｔｕｄｅ ａｎｄ ｈｅａｄｉｎｇ ｒｅｆｅｒｎｃｅ ｓｙｓｔｅｍ；ＡＨＲＳ）１３４、通信回路１３６およびアンテナ１３８を含み、これらは全てＵＡＶ１００を制御するためのものである。
【0019】
ＦＣＣ１３２は、命令を記憶し、ＵＡＶ１００を制御するように構成されたプロセッサ１３２１およびメモリ１３２２を含む。例えば、ＦＣＣ１３２は、ＵＡＶ１００を加速または減速するようにモータ１１０ａ～１１０ｄを制御するように構成されてよい。いくつかの実施形態において、ＦＣＣ１３２は、モータ１１０ａ～１１０ｄのうちの１つ以上の回転速度を増やし、または、減らしてよい。例えば、統合ユニット１３０は、飛行の間に、モータ１１０ａ～１１０ｄそれぞれの毎分回転数（ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｉｔｅ；ＲＰＭ）を独立して制御できる。
【0020】
より特定的には、メモリ１３２２は、開示された実施形態と整合する動作を実行するために、データおよび／またはプロセッサ１３２１により実行されるソフトウェア命令を記憶できる。例えば、プロセッサ１３２１は、メモリ１３２２に記憶された一組の命令を実行し、ユーザから着地命令を受信したときに、ＵＡＶ１００を、自動的にユーザの手といった人間の手の上に着地させる方法を、ＵＡＶ１００に実行させるように構成され得る。この方法は、詳細に後述される。
【0021】
プロセッサ１３２１は、例えば、１つ以上のセントラルプロセッサ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｏｒｓ）またはマイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）であり得る。メモリ１３２２は、コンピュータ可読命令、データ構造、プログラムモジュールまたはその他のデータといった情報の記憶のための任意の方法または技術により実施される様々なコンピュータ可読媒体であり得る。メモリ１３２２は、バスを介してプロセッサ１３２１と通信可能に連結され得る。いくつかの実施形態において、メモリ１３２２は、プロセッサ１３２１による命令の実行の間に一時的な変数または他の中間情報を記憶するために使用され得るメインメモリを含んでよい。このような命令は、統合ユニット１３０にアクセス可能な非一時的記憶媒体に記憶された後、ＵＡＶ１００が命令において指定された動作を実行できるようにする。
【0022】
本明細書で使用される「非一時的媒体」との用語は、マシン（ｍａｃｈｉｎｅ）を特定の方法で動作させるデータまたは命令を記憶する任意の非一時的媒体を指す。このような非一時的媒体は、不揮発性媒体および／または揮発性媒体を含み得る。非一時的媒体は、例えば、光または磁気ディスク、ダイナミックメモリ、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気カセット、磁気テープまたは他の任意の磁気データ記憶媒体、ＣＤ－ＲＯＭ、ディジタル多用途ディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋｓ；ＤＶＤ）または他の任意の光学データ記憶媒体、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ；ＲＡＭ）、読出専用メモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ；ＲＯＭ）、プログラム可能読出専用メモリ（Ｐｒｏｇｒａｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ；ＰＲＯＭ）、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、ＮＶＲＡＭ、フラッシュメモリまたは他のメモリ技術、および／または、本開示が関連する分野の当業者により企図され得る同じ機能を有する任意の他の記憶媒体を含む。開示された実施形態と整合する情報を処理、送信、提供、および受信するために、当業者に知られている他の構成要素がＵＡＶ１００に含まれてよい。
【0023】
ＡＨＲＳ１３４は、ＵＡＶ１００のロール角、ピッチ角、および／またはヨー角などの姿勢情報を提供する３つの軸上の１つ以上のセンサを含む。ＡＨＲＳ１３４のセンサは、磁気、角速度および重力（ＭＡＲＧ）センサとも呼ばれ得て、固体または微小電気機械システム（ＭＥＭＳ）ジャイロスコープ、加速度計および磁力計のいずれかを含む。ＡＨＲＳ１３４は、姿勢および機首方位情報を提供する機内（ｏｎ－ｂｏａｒｄ）処理システムを含んでよい。いくつかの実施形態において、ＡＨＲＳ１３４は、ＵＡＶ１００の姿勢決定を提供してよく、ＵＡＶ１００の慣性航法システム（ｉｎｔｅｒｔｉａｌ ｎａｖｉｇａｔｉｏｎ ｓｙｓｔｅｍ）の一部を形成してよい。
【0024】
ＵＡＶ１００は、他の電子装置にデータを送信し、通信回路１３６およびアンテナ１３８を介して他の電子装置と通信できる。例えば、ＵＡＶ１００は、制御システム、通信回路１３６およびアンテナ１３８により、例えば図１Ｂの制御システム２００から通信信号を受信できる。さらに、ＵＡＶ１００はまた、無線周波数（ＲＦ）信号または任意の種類の無線ネットワークを介して、通信回路１３６およびアンテナ１３８により、ディスプレイ装置、サーバ、コンピュータシステム、データセンターまたは他のＵＡＶと通信できる。
【0025】
図３は、本開示のいくつかの実施形態と整合するＵＡＶ１００を着地させるための例示的な方法３００のフロー図である。方法３００は、ＵＡＶ（例えば、図１Ａ，図１ＢのＵＡＶ１００）により実行されうるが、本開示はそれに限定されない。いくつかの実施形態において、プロセッサ１３２１は、メモリ１３２２に記憶される命令を実行し、ＵＡＶ１００を着地させるための方法３００のステップを、ＵＡＶ１００に実行させるように構成され得る。
【0026】
ステップＳ３１０において、ＵＡＶ１００は、ＵＡＶ１００に対してハンドランディングモードがトリガされたかを判断する。ユーザは、制御システム２００から対応する信号をハンドランディング命令としてＵＡＶ１００に送信できる。プロセッサ１３２１が通信回路１３６を介してハンドランディング命令を受信すると、プロセッサ１３２１は、ハンドランディングモードを選択し、トリガする。選択されたハンドランディングモードに応じて、ＵＡＶ１００は、ユーザの近くの位置の予め決められた高度でホバリングする。例えば、ＵＡＶ１００は、約１メートルおよび約２メートルの間の範囲のなかの任意の値のホバリング高度を維持してよい。
【0027】
ステップＳ３２０において、ＵＡＶ１００は、手の第１のジェスチャを認識する。ステップＳ３３０において、第１のジェスチャの認識に応じて、ＵＡＶ１００は手の上方でホバリングするように移動する。例えば、ＵＡＶ１００がホバリングするとき、ユーザは、ＵＡＶ１００の下方で、掌を上に向けて開いて手を伸ばしてよい。画像センサ１４０は、画像情報をプロセッサ１３２１に送信し、手および手のジェスチャを認識するための画像処理および認識を実行し得る（ステップＳ３２０）。いくつかの実施形態において、ＵＡＶ１００により認識される第１のジェスチャは、指（親指以外の指）を閉じた手を含み得る。これに関連して、「指を閉じた」手（ｈａｎｄ ｗｉｔｈ "ｃｌｏｓｅｄ ｆｉｎｇｅｒｓ"）とは、指が隙間なく互いに隣接している手のジェスチャをいい、これについては、図５Ａに関連してさらに詳細に後述されるであろう。このように、ＵＡＶ１００が指を閉じた手を認識すると、ＦＣＣ１３２は、モータ１１０ａ～１１０ｄを制御して、ＵＡＶ１００の位置を手の上方でホバリングするように調整してよい（ステップＳ３３０）。
【0028】
図４Ａ，図４Ｂは、それぞれ本開示のいくつかの実施形態と整合する画像センサ１４０により取り込まれた例示的な画像４００ａ，４００ｂを示す図である。図４Ａに示されるように、手検出および追跡アルゴリズムを実行することにより、ＵＡＶ１００は、画像４００ａのなかの中心点４１２によって手領域（ｈａｎｄ ｒｅｇｉｏｎ）４１０を識別できる。例えば、手領域４１０は、画像４００ａのなかの色情報に基づいて識別されてよい。１つ以上の肌色（ｓｋｉｎ ｔｏｎｅ）を有する候補領域が選択されてよい。そして、人間の手に対応する手領域４１０が存在するかを判断するために、１つ以上の候補領域の形状およびサイズがさらに分析される。いくつかの実施形態において、手領域４１０は、図４Ａ，図４Ｂに示されるように矩形領域である。ＵＡＶ１００は、中心点４１２と画像４００ａの中心点４２０との間の距離Ｄ１を計算して、画像４００ａの中心領域４３０のなかに手があるかを判断する。
【0029】
いくつかの実施形態において、中心領域４３０は、ピクセルと中心点４２０との間の距離が閾値距離ＴＤ１のなかにある一組のピクセルとして定義することができるが、本開示はそれに限定されない。中心点４１２と中心点４２０との間の距離Ｄ１が閾値距離ＴＤ１より大きい場合、ＵＡＶ１００は、距離Ｄ１がＴＤ１以下になるまでＵＡＶ１００を中心４２０に向かって移動させると判断された方向に、ＵＡＶ１００の位置を調整するように、モータ１１０ａ～１１０ｄを制御する。例えば、図４Ａに示されるように、画像４００ａのなかの距離Ｄ１は、閾値距離ＴＤ１より大きい。結果として、ＵＡＶ１００は、図４Ｂにおける画像センサ１４０により取り込まれた画像４００ｂに示されるように、距離Ｄ１が閾値距離ＴＤ１以下になるまでＵＡＶ１００の位置を調整するようにモータ１１０ａ～１１０ｄを制御する。中心領域４３０はまた、物理的世界（ｐｈｙｓｉｃａｌ ｗｏｒｌｄ）におけるＵＡＶ１００の下の空間に対応する画像４００ａ，４００ｂのなかの領域として定義され得る。ＵＡＶ１００のサイズおよび画像センサ１４０の異なる配置に基づいて、中心領域は、異なる実施形態における実際の必要性に従って設定されてよい。
【0030】
あるいは、ＵＡＶ１００はまた、画像４００ａおよび４００ｂの中心領域４３０の範囲を事前に定義し、手領域４１０の中心点４１２がその範囲のなかにあるかを判断してよい。同様に、ＵＡＶ１００は、その位置を、中心領域４３０のなかの中心点４１２を追跡するように調整できる。言い換えれば、ＵＡＶ１００は、画像センサ１４０により得られた画像４００ａのなかの手を監視し、手の１つ以上の特徴に従って手の中心を識別し、手領域４１０の中心点４１２が、画像４００ｂの中心領域４３０において追跡されるまでＵＡＶ１００を移動させることができる。このように、ＵＡＶ１００は手の上方でホバリングするために移動できる。
【0031】
図３に戻ると、手が画像の中心領域のなかで追跡され、ＵＡＶ１００が手の上方でホバリングするために移動した後、ステップＳ３４０において、ＵＡＶ１００は、ＵＡＶ１００と手との間の距離を検出する。いくつかの実施形態において、飛行時間原理（ｔｉｍｅ－ｏｆ－ｆｒｉｇｈｔ ｐｒｉｎｃｉｐｌｅ）を用いて距離を測定するために、距離センサ１５０が適用され得る。つまり、距離センサ１５０は、光パルスが目標対象物までの間を行き来するために要した時間を記録できる。既知の光速および得られた時間測定値を用いて、距離センサ１５０と目標対象物との間の距離が計算され得る。距離センサ１５０は、平均距離値を得るために、順次、複数の光パルスを出射できる。より特定的には、距離センサ１５０は、手に向かう方向に沿って１つ以上のレーザビームを送信し、１つ以上のレーザビームの１つ以上の反射を受信するように構成され得る。このように、ＵＡＶ１００は、１つ以上のレーザビームを送信することと、１つ以上の反射を受信することとの間の時間差に基づいて、距離を計算できる。
【0032】
ステップＳ３５０において、ＵＡＶ１００は、検出された距離が予め決められた範囲（例えば、約１０ｃｍ～２０ｃｍ）のなかにあるかを判断する。検出された距離が範囲のなかにあるという判断に応じて（ステップＳ３５０－Ｙｅｓ）、ＵＡＶ１００はステップＳ３７０を実行する。一方、検出された距離が範囲より上または下にあるという判断に応じて（ステップＳ３５０－ｎｏ）、ＵＡＶ１００はステップＳ３６０を実行し、飛行高度を調整するようにモータ１１０ａ～１１０ｄを制御し、ステップＳ３４０およびＳ３５０を繰り返す。このように、ＵＡＶ１００は、範囲のなかにある距離（例えば、約１５ｃｍ）で手の上方でホバリングでき、ステップＳ３７０の実行を続ける。
【0033】
ステップＳ３７０において、ＵＡＶ１００は、ユーザからのコマンドをＵＡＶ１００が待っていることを示すための通知信号を提供する。通知信号は、視覚信号、音声信号またはこれらの任意の組み合わせを含んでよい。例えば、ＵＡＶ１００は、１つ以上の発光ダイオード（ＬＥＤ）または他の発光デバイス（ｉｌｌｕｍｉｎａｔｉｎｇ ｄｅｖｉｃｅｓ）を通知信号として用い、特定の色の光、明滅する光または光パターンのシーケンス（ｓｅｑｕｅｎｃｅ）を放射できる。ＵＡＶ１００はまた、予め決められた音色（例えば、ビープ音（ｂｅｅｐ ｓｏｕｎｄ）またはバズ音（ｂｕｚｚ ｓｏｕｎｄ））、音色もしくは音楽のシーケンス、または録音された音声メッセージを通知信号として提供するために、ビーパー（ｂｅｅｐｅｒ）、ブザーまたは他の任意の音声出力装置を使用し得るが、本開示はこれに限定されない。
【0034】
ＵＡＶ１００により提供された通知信号を見たまたは聞いた後、ユーザは、手のジェスチャを、第１のジェスチャから第１のジェスチャとは異なる第２のジェスチャに変更してよい。例えば、着地動作をトリガするために、ユーザは、少なくとも２本の指が離れるように手の形を変えられる。つまり、第２のジェスチャは、指（親指以外の指）を開いた手（ｈａｎｄ ｗｉｔｈ ｏｐｅｎ ｆｉｎｇｅｒｓ）を含んでよい。これに関連して、「指を開いた」手は、少なくとも２本の指が隙間を空けて分離されている手のジェスチャを呼び、これは、図５Ｂに関連して以下でさらに説明されるであろう。
【0035】
ステップＳ３８０において、ＵＡＶ１００は手を監視し、手の第２のジェスチャを認識する。第２のジェスチャの認識に応じて、ＵＡＶ１００はステップＳ３９０を実行して手の上に着地する。より特定的には、ステップＳ３２０における動作と同様に、ＵＡＶ１００は、画像センサ１４０を用いて画像情報をプロセッサ１３２１に送信し、画像の処理および認識を実行し、手を監視して手のジェスチャを認識する。このように、第１のジェスチャから第２のジェスチャへの遷移を識別すると、ＵＡＶ１００は、着地を実行するための以下の動作を続ける。
【0036】
ステップＳ３２０およびＳ３８０におけるジェスチャ認識をさらに理解するために、本開示のいくつかの実施形態と整合する画像センサ１４０により取り込まれた例示的な画像５００ａ，５００ｂをそれぞれ示す図である図５Ａ，図５Ｂが参照される。画像センサ１４０が、画像５００ａおよび５００ｂを取り込んだ後、プロセッサ１３２１は、様々な画像処理技術を画像５００ａ，５００ｂに適用できる。例えば、プロセッサ１３２１は、手の皮膚領域を取り込むために、皮膚検出プロセスを実行できる。プロセッサ１３２１はまた、画像５００ａ，５００ｂのなかのノイズ信号を低減または除去するためにノイズ除去プロセスを実行できる。このように、プロセッサ１３２１は手輪郭（ｈａｎｄ ｃｏｎｔｏｕｒ）５１０を検出できる。いくつかの実施形態において、プロセッサ１３２１はさらに、手輪郭５１０を画像５００ａ，５００ｂのなかの１つ以上の多角形で近似する近似処理を実行でき、この場合、望ましくない凸点は、近似処理で除去またはフィルタリングされる。
【0037】
手輪郭５１０が得られた後、プロセッサ１３２１は、手および手のジェスチャを認識するために、凸包アルゴリズム（ｃｏｎｖｅｘ ｈｕｌｌ ａｌｇｏｒｉｔｈｍ）および凸包欠陥アルゴリズム（ｃｏｎｖｅｘｉｔｙ ｈｕｌｌ ｄｅｆｅｃｔｓ ａｌｇｏｒｉｔｈｍ）を適用できる。より特定的には、プロセッサ１３２１は、様々な凸包アルゴリズムのうちの１つを適用することにより、近似多角形の凸包５２０を見つけることができる。ここで用いられる用語「凸包（ｃｏｎｖｅｘｉｔｙ ｈｕｌｌ）」は、凹多角形の頂点５２５を含む凹多角形の凸包絡線多角形（ｃｏｎｖｅｘ ｅｍｖｅｌｏｐｅ ｐｏｌｙｇｏｎ；例えば、手輪郭５１０に関連する近似多角形）を指す。凸包５２０が定義された後、プロセッサ１３２１は、１つ以上の凸包欠陥が存在するかを判断できる。
【0038】
図５Ａに示されるように、ユーザの４本の指（すなわち、親指を除くすべての指）が隙間なく互いに隣接していると、凸包５２０のなかに１つの凸包欠陥５３２（例えば、パリキュー（ｐｕｒｌｉｃｕｅ）、または、親指と人差し指との間の隙間）がある。一方、図５Ｂに示されるように、着地動作をトリガするために、ユーザが指を開いて手を離したとき、凸包５２０のなかに２以上の凸包欠陥５３２，５３４，５３６，５３８がある。図５Ａ，図５Ｂにおいて、明確さおよび説明のために、凸包欠陥５３２，５３４，５３６，５３８は、手輪郭５１０から離れて間隔を空けられる。凸包欠陥５３２，５３４，５３６，５３８は、手輪郭５１０の近似多角形の頂点により画定される三角形の領域であってよい。例えば、始点（例えば始点ＳＰ１）、深度点（ｄｅｐｔｈ ｐｏｉｎｔ；例えば深度点ＤＰ１）および終点（例えば終点ＥＰ１）は、凸包欠陥（例えば凸包欠陥５３２）を画定する。始点ＳＰ１は、欠陥が始まる近似多角形の点を示し、終点ＥＰ１は、欠陥が終わる近似多角形の点を示し、深度点ＤＰ１は、凸包５２０から離れた近似多角形の点である。指が開いた手には、凸包欠陥の始点および終点が指先であり得、凸包欠陥の深度点は、指の谷（ｆｉｎｇｅｒ－ｖａｌｌｅｙｓ）に配置され得る。
【0039】
そのため、ＵＡＶ１００は、手輪郭５１０を抽出し、画像５００ａ，５００ｂのなかの手輪郭５１０に関連する凸包欠陥５３２，５３４，５３６，５３８を得ることができる。指の間の間隔を示すために、凸包欠陥５３２，５３４，５３６，５３８が用いられ得る。相対的な指の位置に変化が生じるか、または指の動きが生じると、それに応じて、欠陥５３２，５３４，５３６，５３８の変化が検出され得る。凸包欠陥の数が変化したとの検出に応じて、ＵＡＶ１００は、第２のジェスチャが認識されたと判断し、着地のためにステップＳ３９０の実行を続ける。つまり、ユーザは、閉じられた指を開くことにより、着地を実行するようにコマンドを直感的に提供し、ＵＡＶ１００をトリガできる。
【0040】
本開示のいくつかの実施形態と整合する例示的な方法３００のステップＳ３９０をより詳細に示すフロー図である図６が参照される。ステップＳ３９１において、第２のジェスチャが認識されると、ＵＡＶ１００は、ＵＡＶ１００の飛行高度を下げる。より特定的には、ＦＣＣ１３２は、対応する制御信号を提供して、モータ１１０ａ～１１０ｄの回転速度を徐々に低下させてよい。ステップＳ３９２において、飛行高度を下げながら、ＵＡＶ１００は、手に位置合わせされる。より特定的には、画像センサ１４０は、画像のなかの手を追跡し、手の１つ以上の特徴に従って、手の中心または掌の中心を識別する。そのため、ＦＣＣ１３２は、対応する制御信号を制御モータ１１０ａ～１１０ｄに提供して、画像の中心領域のなかの手の中心または掌の中心を追跡するようにＵＡＶ１００を動かしてよい。いくつかの実施形態において、手の中心を識別するための特徴は、２つの隣接する指先により画定される少なくとも１つの三角形の領域、および、隣接する２本の指の間の間隙を含む。
【0041】
ステップＳ３９２のさらなる理解のために、本開示のいくつかの実施形態と整合する画像センサ１４０により取り込まれた画像５００ｂを示す図である図７への参照がなされる。図７に示されるように、プロセッサ１３２１は、凸包５２０をカバーできる最小円７１０を見つけ、最小円７１０の中心により手の中心（ｈａｎｄ ｃｅｎｔｅｒ）ＨＣを推定できる。いくつかの実施形態において、プロセッサ１３２１は、代わりに、凸包５２０をカバーできる矩形の枠（ｂｏｘ）を見つけ、それに応じて、手の中心ＨＣを推定してよい。同様に、プロセッサ１３２１は、深度点をカバーできる最小円７２０を見つけ、最小円７２０の中心により掌の中心（ｐａｌｍ ｃｅｎｔｅｒ）ＰＣを推定できる。いくつかの実施形態において、プロセッサ１３２１はまた、後の使用のために最小円７１０，７２０の半径Ｒ１，Ｒ２を記録できる。
【0042】
上述の画像処理技術を適用することにより、プロセッサ１３２１は、画像５００ｂのなかの手輪郭５１０を検出し、手輪郭５１０を抽出し、凸包５２０および少なくとも１つの三角形領域を含む１つ以上の凸包欠陥５３２，５３４，５３６，５３８を得、画像５００ｂにおいて手の中心ＨＣまたは掌の中心ＰＣを推定することができる。上述した実施形態は単なる例であり、本開示を限定することは意図されない。様々な実施形態において、画像５００ｂのなかの手輪郭５１０の１つ以上の手の特徴（ｈａｎｄ ｆｅａｔｕｒｅｓ）を抽出し、それに応じて、手の中心ＨＣまたは掌の中心ＰＣを推定するために、他の画像処理技術が適用されてよい。手の特徴は、手輪郭５１０の凸包５２０および／または凸包欠陥５３２，５３４，５３６，５３８を含んでよい。
【0043】
このように、飛行高度の下降の間、ＦＣＣ１３２はモータ１１０ａ～１１０ｄを制御してＵＡＶ１００の位置を調整でき、ＵＡＶ１００を移動させて、図７における画像５００ｂの中心領域で、手の中心ＨＣまたは掌の中心ＰＣを追跡する。そのため、ＦＣＣ１３２の制御の下で、飛行高度の下降の間に、ＵＡＶ１００が手と位置合わせされ得る。
【0044】
図６に戻り、ステップＳ３９３において、ＵＡＶ１００は、飛行高度の下降の間にＵＡＶ１００と手との間の距離を検出する。ステップＳ３９３における距離検出のさらなる理解のために、本開示のいくつかの実施形態と整合する距離センサ１５０の例示的な動作を示す図である図８への参照がなされる。いくつかの実施形態において、スペキュラーアレイラジオメトリックキャリブレーション（ｓｐｅｃｕｌａｒ ａｒｒａｙ ｒａｄｉｏｍｅｔｒｉｃ ｃａｌｉｂｒａｔｉｏｎ；ＳＰＡＲＣ）方法が、キャリブレーションのために距離センサ１５０において適用されうる。図８に示されるように、距離センサ１５０は、マトリクス８１０のなかの複数の検出点Ｐ（１，１）～Ｐ（ｍ，ｎ）を検出するために、順次または同時にレーザビームのマトリクスを生成できる。検出点のうちの１つ（例えば検出点Ｐ（３、４））が手領域８２０のなかにある場合、距離センサ１５０から放射された対応するレーザビームは、ユーザの手に向かう方向に沿って進み、距離センサ１５０のなかの検出器に反射される。
【0045】
そのため、ＵＡＶ１００と手との間の距離は、上述されたように、飛行時間原理を用いて測定されうる。あるいは、検出点のうちのもう１つ（例えば検出点Ｐ（１，１））が手領域８２０のなかにない場合、距離センサ１５０から放射された対応するレーザビームは、他の障害物に到達するまで反射されない。そのため、距離センサ１５０は、レーザビームの飛行時間に従って、検出領域をスキャンし、いずれの検出点が手領域８２０のなかにあるかを判断できる。
【0046】
いくつかの実施形態において、ＵＡＶ１００がユーザの手の上方に位置するかを判断するために、マトリクス８１０における手領域８２０のなかの検出点対検出点の総数の比を計算することにより、許容値が判断されうる。許容値が閾値（例えば、約５０％）より大きい場合、ＵＡＶ１００がユーザの手の上方に位置していると判断される。
【0047】
図６に戻り、ステップＳ３９４において、ＵＡＶ１００は、検出された距離が閾値（例えば、約３ｃｍ）未満であるかを判断する。検出された距離が閾値より小さいとの判断に応じて（ステップＳ３９４－Ｙｅｓ）、ＵＡＶ１００は、ステップＳ３９５を実行し、モータ１１０ａ～１１０ｄをオフにする。そうでなければ（ステップＳ３９４－Ｎｏ）、ステップＳ３９１～Ｓ３９４が繰り返される。そのため、ＵＡＶ１００と手との間の距離が閾値よりも小さいことに応じて、モータ１１０ａ～１１０ｄがオフにされるまで、ＵＡＶ１００は制御の元に下降する。モータ１１０ａ～１１０ｄがオフにされると、モータ１１０ａ～１１０ｄに連結されたプロペラ１２０ａ～１２０ｄは回転を停止し、ＵＡＶ１００は重力により落下してユーザの手の上に着地する。このように、ＵＡＶ１００は、ハンドランディングを達成する。いくつかの実施形態において、プロペラ１２０ａ～１２０ｄの回転を止めるために、モータ１１０ａ～１１０ｄの全てがオフにされる。いくつかの実施形態において、モータ１１０ａ～１１０ｄのうちの１つ以上がオフにされ、ＵＡＶ１００に提供される推進力はホバリング高度を維持するのに十分ではなく、ＵＡＶ１００もまた、重力のために下降してユーザの手の上に着地する。
【0048】
上の観点から、本開示の様々な実施形態において、ＵＡＶ１００は、上記の画像認識および距離検出プロセスによりユーザの手のジェスチャを検出し、ハンドランディングを達成できる。そのため、直感的な動作で改良されたヒューマン－マシンインタラクションデザイン（ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒａｃｔｉｏｎ ｄｅｓｉｇｎ）が達成される。
【0049】
ここでの様々な例示的な実施形態は、方法ステップまたはプロセスの一般的な文脈（ｃｏｎｔｅｘｔ）で説明され、一態様において、ネットワーク環境におけるコンピュータにより実行されるプログラムコードといったコンピュータ実行可能命令を含む一時的または非一時的なコンピュータ可読媒体において実施されるコンピュータプログラム製品により実施されてよい。コンピュータ可読媒体は、読出専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、コンパクトディスク（ＣＤ）、ディジタル多用途ディスク（ＤＶＤ）などを含む取り外し可能および取り外し不可能な記憶装置を含んでよいが、これらに限定されない。一般に、プログラムモジュールは、特定のタスクまたは特定の抽象データ型を実行するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含んでよい。コンピュータ実行可能命令、関連データ構造およびプログラムモジュールは、ここに開示された方法のステップを実行するプログラムコードの例を表す。このような実行可能命令または関連するデータ構造の特定的なシーケンスは、このようなステップまたはプロセスにおいて記載された機能を実施するための対応する動作の例を表す。
【0050】
前述の明細書において、実施形態は、実施態様ごとに異なり得る多数の特定の詳細を参照して記載されてきた。記載された実施形態の特定の適応および修正がなされ得る。また、図に示されている一連のステップは、例示を目的とするのみであり、いかなる特定のステップのシーケンスに限定されることを意図されない。このように、当業者は、これらのステップが同じ方法を実施しつつ異なる順序で実行され得ることを理解できる。
【0051】
ここで用いられる場合、特記しない限り、、用語「または」は、実行不可能な場合を除いて、すべての可能な組み合わせを包含する。例えば、データベースがＡまたはＢを含んでよいと述べられている場合、特記しない限り、または実行不可能な場合を除いて、データベースは、ＡまたはＢ、または、ＡおよびＢを含んでよい。第２の例として、データベースがＡ，ＢまたはＣを含んでよいと述べられている場合、特記しない限り、または実行不可能な場合を除いて、データベースは、Ａ、ＢもしくはＣ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、または、Ａ、ＢおよびＣを含んでよい。
【0052】
図面および明細書において、例示的な実施形態が開示されてきた。当業者には、開示されたシステムおよび関連する方法に様々な修正および変更を加えられ得ることは明らかであろう。当業者には、他の実施形態は、明細書の考察、開示されたシステムおよび関連方法の実施から明らかであろう。明細書および実施例は例示のみとして考えられ、真の範囲（ｔｒｕｅ ｓｃｏｐｅ）は特許請求の範囲およびそれらの均等物により示されることが意図される。
【0053】
（付記）
（付記１）
無人航空機に、前記無人航空機のプロセッサにより実行可能な、前記無人航空機を着地させる方法を実行させる一組の命令を記憶する非一時的コンピュータ可読媒体であって、
前記方法は、
手の第１のジェスチャを認識することと、
前記第１のジェスチャの認識に応じて、前記手の上方でホバリングするように前記無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第２のジェスチャを認識することと、
前記第２のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える、非一時的コンピュータ可読媒体。
（付記１）
無人航空機に、前記無人航空機のプロセッサにより実行可能な、前記無人航空機を着地させる方法を実行させる一組の命令を記憶する非一時的コンピュータ可読媒体であって、
前記方法は、
手の第１のジェスチャを認識することと、
前記第１のジェスチャの認識に応じて、前記手の上方でホバリングするように前記無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第２のジェスチャを認識することと、
前記第２のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える、非一時的コンピュータ可読媒体。
【0054】
（付記２）
前記手の上に前記無人航空機を着地させることは、
前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える付記１に記載の非一時的コンピュータ可読媒体。
前記手の上に前記無人航空機を着地させることは、
前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える付記１に記載の非一時的コンピュータ可読媒体。
【0055】
（付記３）
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の１つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
をさらに備える付記２に記載の非一時的コンピュータ可読媒体。
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の１つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
をさらに備える付記２に記載の非一時的コンピュータ可読媒体。
【0056】
（付記４）
前記手の前記中心を識別することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包（ｃｏｎｖｅｘ ｈｕｌｌ）および少なくとも１つの三角形を含む凸包欠陥（ｃｏｎｖｅｘｉｔｙ ｄｅｆｅｃｔ）を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える付記３に記載の非一時的コンピュータ可読媒体。
前記手の前記中心を識別することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包（ｃｏｎｖｅｘ ｈｕｌｌ）および少なくとも１つの三角形を含む凸包欠陥（ｃｏｎｖｅｘｉｔｙ ｄｅｆｅｃｔ）を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える付記３に記載の非一時的コンピュータ可読媒体。
【0057】
（付記５）
前記手の上に前記無人航空機を着地させることは、
前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の１つ以上のモータをオフにすることと、
をさらに備える付記２に記載の非一時的コンピュータ可読媒体。
前記手の上に前記無人航空機を着地させることは、
前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の１つ以上のモータをオフにすることと、
をさらに備える付記２に記載の非一時的コンピュータ可読媒体。
【0058】
（付記６）
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手の前記第２のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する１つ以上の凸包欠陥を得ることと、
前記１つ以上の凸包欠陥の数が変化したとの検出に応じて、前記手の前記第２のジェスチャを認識することと、
をさらに備える付記１に記載の非一時的コンピュータ可読媒体。
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手の前記第２のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する１つ以上の凸包欠陥を得ることと、
前記１つ以上の凸包欠陥の数が変化したとの検出に応じて、前記手の前記第２のジェスチャを認識することと、
をさらに備える付記１に記載の非一時的コンピュータ可読媒体。
【0059】
（付記７）
前記距離を検出することは、
前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える付記１に記載の非一時的コンピュータ可読媒体。
前記距離を検出することは、
前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える付記１に記載の非一時的コンピュータ可読媒体。
【0060】
（付記８）
手の第１のジェスチャを認識することと、
前記第１のジェスチャの認識に応じて、前記手の上方でホバリングするように無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第２のジェスチャを認識することと、
前記第２のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える無人航空機を着地させる方法。
手の第１のジェスチャを認識することと、
前記第１のジェスチャの認識に応じて、前記手の上方でホバリングするように無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第２のジェスチャを認識することと、
前記第２のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える無人航空機を着地させる方法。
【0061】
（付記９）
前記手の上に前記無人航空機を着地させることは、
前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える付記８に記載の無人航空機を着地させる方法。
前記手の上に前記無人航空機を着地させることは、
前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える付記８に記載の無人航空機を着地させる方法。
【0062】
（付記１０）
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の１つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
を備える付記９に記載の無人航空機を着地させる方法。
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の１つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
を備える付記９に記載の無人航空機を着地させる方法。
【0063】
（付記１１）
前記手の前記中心を識別することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包（ｃｏｎｖｅｘ ｈｕｌｌ）および少なくとも１つの三角形を含む凸包欠陥（ｃｏｎｖｅｘｉｔｙ ｄｅｆｅｃｔ）を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える付記１０に記載の無人航空機を着地させる方法。
前記手の前記中心を識別することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包（ｃｏｎｖｅｘ ｈｕｌｌ）および少なくとも１つの三角形を含む凸包欠陥（ｃｏｎｖｅｘｉｔｙ ｄｅｆｅｃｔ）を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える付記１０に記載の無人航空機を着地させる方法。
【0064】
（付記１２）
前記手の上に前記無人航空機を着地させることは、
前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の１つ以上のモータをオフにすることと、
をさらに備える付記９に記載の無人航空機を着地させる方法。
前記手の上に前記無人航空機を着地させることは、
前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の１つ以上のモータをオフにすることと、
をさらに備える付記９に記載の無人航空機を着地させる方法。
【0065】
（付記１３）
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手の前記第２のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する１つ以上の凸包欠陥を得ることと、
前記１つ以上の凸包欠陥の数が変化したとの検出に応じて、前記第２のジェスチャが認識されたと判断することと、
を備える付記８に記載の無人航空機を着地させる方法。
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手の前記第２のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する１つ以上の凸包欠陥を得ることと、
前記１つ以上の凸包欠陥の数が変化したとの検出に応じて、前記第２のジェスチャが認識されたと判断することと、
を備える付記８に記載の無人航空機を着地させる方法。
【0066】
（付記１４）
前記距離を検出することは、
前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える付記８に記載の無人航空機を着地させる方法。
前記距離を検出することは、
前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える付記８に記載の無人航空機を着地させる方法。
【0067】
（付記１５）
１つ以上のプロセッサと、
前記１つ以上のプロセッサにより実行されると、
手の第１のジェスチャを認識することと、
前記第１のジェスチャの認識に応じて、前記手の上方でホバリングするように無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第２のジェスチャを認識することと、
前記第２のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える動作を前記無人航空機に実行させる命令を記憶するメモリと、
を備える無人航空機。
１つ以上のプロセッサと、
前記１つ以上のプロセッサにより実行されると、
手の第１のジェスチャを認識することと、
前記第１のジェスチャの認識に応じて、前記手の上方でホバリングするように無人航空機を移動させることと、
前記無人航空機と前記手との間の距離を検出することと、
前記距離がある範囲のなかにあるとの判断に応じて、前記手を監視して、前記手の第２のジェスチャを認識することと、
前記第２のジェスチャの認識に応じて、前記手の上に前記無人航空機を着地させることと、
を備える動作を前記無人航空機に実行させる命令を記憶するメモリと、
を備える無人航空機。
【0068】
（付記１６）
前記手の上に前記無人航空機を着地させることは、
前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える付記１５に記載の無人航空機。
前記手の上に前記無人航空機を着地させることは、
前記無人航空機の飛行高度を下降させることと、
前記飛行高度の下降の間に、前記手に前記無人航空機を位置合わせすることと、
をさらに備える付記１５に記載の無人航空機。
【0069】
（付記１７）
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の１つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
をさらに備える付記１６に記載の無人航空機。
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手に前記無人航空機を位置合わせすることは、
前記画像のなかの前記手の１つ以上の特徴に従って、前記手の中心を識別することと、
前記画像の中心領域のなかの前記手の前記中心を追跡するように前記無人航空機を移動させることと、
をさらに備える付記１６に記載の無人航空機。
【0070】
（付記１８）
前記手の前記中心を識別することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包（ｃｏｎｖｅｘ ｈｕｌｌ）および少なくとも１つの三角形を含む凸包欠陥（ｃｏｎｖｅｘｉｔｙ ｄｅｆｅｃｔ）を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える付記１７に記載の無人航空機。
前記手の前記中心を識別することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、凸包（ｃｏｎｖｅｘ ｈｕｌｌ）および少なくとも１つの三角形を含む凸包欠陥（ｃｏｎｖｅｘｉｔｙ ｄｅｆｅｃｔ）を得ることと、
前記凸包および前記凸包欠陥に基づいて、前記手の前記中心を識別することと、
をさらに備える付記１７に記載の無人航空機。
【0071】
（付記１９）
前記手の上に前記無人航空機を着地させることは、
前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の１つ以上のモータをオフにすることと、
をさらに備える付記１６に記載の無人航空機。
前記手の上に前記無人航空機を着地させることは、
前記飛行高度の下降の間に、前記無人航空機と前記手との間の前記距離を検出することと、
前記距離が閾値よりも小さいとの検出に応じて、前記無人航空機の１つ以上のモータをオフにすることと、
をさらに備える付記１６に記載の無人航空機。
【0072】
（付記２０）
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手の前記第２のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する１つ以上の凸包欠陥を得ることと、
前記１つ以上の凸包欠陥の数が変化したとの検出に応じて、前記手の前記第２のジェスチャを認識することと、
をさらに備える付記１５に記載の無人航空機。
前記監視することは、前記無人航空機のカメラにより得られた画像のなかの前記手を監視することを含み、
前記手の前記第２のジェスチャを認識することは、
前記画像のなかの前記手の輪郭を検出することと、
前記輪郭を抽出して、前記画像のなかの前記輪郭に関連する１つ以上の凸包欠陥を得ることと、
前記１つ以上の凸包欠陥の数が変化したとの検出に応じて、前記手の前記第２のジェスチャを認識することと、
をさらに備える付記１５に記載の無人航空機。
【0073】
（付記２１）
前記距離を検出することは、
前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える付記１５に記載の無人航空機。
前記距離を検出することは、
前記手に向かう方向に沿ってレーザビームを送信することと、
前記レーザビームの反射を受信することと、
前記レーザビームの送信と前記反射の受信との間の時間差に基づいて、前記距離を計算することと、
をさらに備える付記１５に記載の無人航空機。
【図1A】
【図1B】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7】
【図8】
