特許第6800217号(P6800217)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アマゾン テクノロジーズ インコーポレイテッドの特許一覧

特許6800217無人航空機を降下するための平坦表面を判断する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6800217
(24)【登録日】2020年11月26日
(45)【発行日】2020年12月16日
(54)【発明の名称】無人航空機を降下するための平坦表面を判断する方法
(51)【国際特許分類】
   G06T 7/593 20170101AFI20201207BHJP
   B64D 45/08 20060101ALI20201207BHJP
   B64D 47/08 20060101ALI20201207BHJP
【FI】
   G06T7/593
   B64D45/08
   B64D47/08
【請求項の数】13
【全頁数】26
(21)【出願番号】特願2018-512909(P2018-512909)
(86)(22)【出願日】2016年9月22日
(65)【公表番号】特表2018-528542(P2018-528542A)
(43)【公表日】2018年9月27日
(86)【国際出願番号】US2016053198
(87)【国際公開番号】WO2017053627
(87)【国際公開日】20170330
【審査請求日】2018年3月9日
【審判番号】不服2019-14448(P2019-14448/J1)
【審判請求日】2019年10月30日
(31)【優先権主張番号】14/863,873
(32)【優先日】2015年9月24日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】506329306
【氏名又は名称】アマゾン テクノロジーズ インコーポレイテッド
(74)【代理人】
【識別番号】100106541
【弁理士】
【氏名又は名称】伊藤 信和
(72)【発明者】
【氏名】ハリス スコット レイモンド
(72)【発明者】
【氏名】サファリック スティーブン トーマス
(72)【発明者】
【氏名】ビオラ ポール
【合議体】
【審判長】 清水 正一
【審判官】 小池 正彦
【審判官】 樫本 剛
(56)【参考文献】
【文献】 Sebastien Bosch, Simon Lacroix and Fernando Caballero,Autonomous Detection of Safe Landing Areas for an UAV from Monocular Images,Proceedings of the 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems,IEEE,2006年10月9日,第5522−5527頁
【文献】 Miguel A. Olivares−Mendes et al, Autonomous Landing of an Unmanned Aerial Vehicle using Image−Based Fuzzy Control, Proceedings of the 17th World Congress the International Federation of Automatic Control, Soul, Korea, July 6−11, 2008, vol. 46, no. 30, 2013年1月1日,第79−86頁
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00- 7/90
B64D45/08
B64D47/08
(57)【特許請求の範囲】
【請求項1】
実行可能な命令で構成される1つまたは複数のコンピューティングシステムの制御下で、
目的地内の配達位置に置かれる配達位置識別子をユーザに提供し、
無人航空機(UAV)によって前記目的地上で前記配達位置識別子を検出し、
前記UAVを前記目的地に向けて降下させ、
前記UAVが第1高度にあるときに、前記UAVの画像取込み装置に前記配達位置識別子の第1表示を含む前記目的地の第1画像を取得させ、
前記UAVが前記第1高度と異なる第2高度にあるときに、前記UAVの前記画像取込み装置に前記配達位置識別子の第2表示を含む前記目的地の第2画像を取得させ、
前記配達位置識別子の第1表示の少なくとも一部に対応する第1特徴点を含む前記第1画像の第1複数の特徴点を判断させ、
前記第1画像の前記第1複数の特徴点のそれぞれについて、前記第1複数の特徴点の特徴点に、前記配達位置識別子の第2表示に対応する第2特徴点を含む前記第2画像の第2複数の特徴点を関連させ、前記第1画像の前記特徴点と前記第2画像の前記対応する特徴点を含む特徴点対を形成させ、
前記特徴点対の同形異義性に基づいて、前記特徴点対が同一平面内にある前記第1画像及び前記第2画像に基づく登録画像セットを生成させ
前記登録画像セットに基づいて前記目的地の深度視差マップを生成させ、
前記深度視差マップに基づいて、前記目的地の実質的な平坦表面を決定させ、
前記UAVに前記実質的な平坦表面に向けた降下を継続させる、コンピュータ実行方法。
【請求項2】
前記登録画像セットの生成は、
前記第1画像の前記特徴点と前記第2画像の前記対応する特徴点との間の前記同形異義性を判断して、前記第1画像の前記特徴点と前記第2画像の前記対応する特徴点とが前記同じ平面内にある複数の第1特徴点対を決定することを包含する、請求項1に記載のコンピュータ実行方法。
【請求項3】
前記登録画像セットを生成することは、前記第1画像の前記第1複数特徴点を前記第2画像の前記第2複数特徴点に空間的に整列することを包含する、請求項1または請求項2のいずれかに記載のコンピュータ実行方法。
【請求項4】
前記深度視差マップ、前記登録画像セットにステレオマッチングアルゴリズムを適用して生成される請求項1から請求項3のいずれかに記載のコンピュータ実行方法。
【請求項5】
更に、前記目的地に配置される配達位置識別子の回りに平面を画定すること、及び
前記配達位置識別子の回りの前記平面内に実質的な平坦表面があることを判断することを備える、請求項4に記載のコンピュータ実行方法。
【請求項6】
前記登録画像セットの生成することは、
前記第1複数の特徴点と前記第2複数の特徴点との間の前記同形異義性を判断して、前記同じ平面内にない特徴点対を外すことを含む、請求項1から請求項5のいずれかに記載のコンピュータ実行方法。
【請求項7】
更に、前記UAVが前記目的地に向けた前記降下が完了したことを判断すること、及び、
前記目的地において前記UAVにペイロードを解放させることを備え、前記ペイロードは、電子商取引ウェブからオーダされたアイテムを包含する、請求項1から請求項6のいずれかに記載のコンピュータ実行方法。
【請求項8】
プロセッサと、
前記プロセッサに連結されかつプログラム命令を記憶するメモリと、を備え、このプログラム命令は、前記プロセッサが実行したときに、少なくとも、
目的地内の配達位置に置かれる配達位置識別子をユーザに提供し、
前記配達位置識別子を検出するために無人航空機(UAV)を前記目的地上に位置させ、
前記UAVを前記目的地に向けて降下させ、
前記UAVが第1高度にあるときに前記UAVのカメラに、前記配達位置に配置される前記配達位置識別子の第1表示を包含する前記目的地の第1画像を取得させ、
前記UAVが前記第1高度と異なる第2高度にあるときに前記UAVのカメラに前記配達位置識別子の第2表示を包含する前記目的地の第2画像を取得させ、
前記配達位置識別子の第1表示に対応する第1特徴点を含む前記第1画像の複数の特徴点を判断させ、
前記第1画像の前記複数の特徴点のそれぞれを、前記配達位置識別子の第2表示に対応する第2特徴点を含む前記第2画像の対応する特徴点と対にし、複数の特徴点対を生成させ
前記特徴点対の同形異義性に基づいて、前記第1画像の特徴点と前記第2画像の対応する特徴点とが同じ平面内にある複数の第1特徴点対を決定させ
前記特徴点対の同形異義性に基づいて、前記第1画像の特徴点と前記第2画像の対応する特徴点とが同じ平面内にない複数の第2特徴点対を決定させ
前記複数の第1特徴点対に基づいて、前記第1画像と前記第2画像とを登録して登録画像セットを形成させ
前記登録画像セットに基づいて前記目的地の深度視差マップを生成させ、
前記深度視差マップに基づいて、前記目的地の実質的な平坦表面を決定させる
コンピューティングシステム。
【請求項9】
前記プロセッサにより実行されたときに、前記プログラム命令は更に、前記プロセッサに少なくとも、
前記UAVを前記実質的な平坦表面に向けて降下させる、請求項8に記載のコンピューティングシステム。
【請求項10】
前記カメラのポーズは、前記第1画像と前記第2画像との間で変化する、請求項8または請求項9のいずれかに記載のコンピューティングシステム。
【請求項11】
前記プロセッサにより実行されたときに、前記プログラム命令は更に、前記プロセッサに少なくとも、
前記UAVが第3高度にあるときに前記UAVの前記カメラに、前記配達位置識別子の第3表示を包含する前記目的地の第3画像を取得させ、
前記配達位置識別子の前記第2表示に対応する前記第2画像の複数の特徴点を判断させ、
前記第2画像の前記複数の特徴点のそれぞれを前記第3画像の対応する特徴点と対にし、複数の特徴点対を生成させ
前記第2画像の前記第3画像との前記特徴点対の同形異義性に基づいて、同じ平面内にある複数の第3特徴点対を決定させ
前記複数の第3特徴点対に基づいて、前記第2画像と前記第3画像とを登録して第2登録画像セットを形成させ
前記第2登録画像セットに基づいて、前記実質的な平坦表面内にオブジェクトがあることを判断させ
前記UAVに前記目的地に向けた降下を停止させる、請求項8から請求項10のいずれかに記載のコンピューティングシステム。
【請求項12】
前記深度視差マップは、
前記登録画像セットにステレオマッチングアルゴリズムを適用させて生成される、請求項8から請求項11のいずれかに記載のコンピューティングシステム。
【請求項13】
前記配達位置識別子の前記第1表示に対応する少なくとも1つの特徴点を有する特徴点対は、前記複数の第1特徴点対に包含される、請求項8から請求項12のいずれかに記載のコンピューティングシステム。

【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、「UNMANNED AERIAL VEHICLE DESCENT」と題する2015年9月24日に出願された米国出願第14/863,873号に対する優先権を主張し、その内容は、参照することによりその全体が本明細書に包含される。
【背景技術】
【0002】
ユーザ指定の配達先へのアイテムの物理的配達は、長年にわたって劇的に改善されてきており、小売業者には注文アイテムの翌日配達を提示するものがある。ユーザ指定の目的地に対する物理的アイテムの最終またはラストマイル配達は、伝統的に人的に制御されるトラック、バイクまたはカート等を使用して達成される。例えば、ユーザはその自宅(配達先)にアイテムを配達することをオーダすることがある。アイテムは、物資取扱施設から選別され、包装され、そして、配送業者による最終配達のために顧客に発送される。配送業者は、配達先まで人の運転するトラックにアイテムを積み込み、運転手または他の同僚が運転手と共にトラックからアイテムを取り出し、目的地への配達を完了する。例えば、人は、そのアイテムを受取人に手渡し、そのアイテムをユーザのポーチに置き、そのアイテムを私書箱に格納する等してもよい。
【0003】
詳細を、添付図面を参照して説明する。図面中、参照番号の左端の数字(複数を含む)は、参照番号が最初に現れる図を特定する。異なる図面における同じ参照番号の使用は、類似または同一の部材または特徴を指示する。
【図面の簡単な説明】
【0004】
図1】実施態様による目的地の画像の表示を表す。
図2】実施態様による例示的目的地降下プロセスを示す流れ図である。
図3図3A及び図3Bは実施態様による例示的降下分析サブプロセスを示す流れ図である。
図4】実施態様による、目的地の第1画像に目的地の第2画像を重ねた表示を示す。
図5】実施態様による、目的地の第1画像に目的地の第2画像を重ね、特徴点対を設けた表示を示す。
図6】実施態様による、目的地の第1画像に目的地の第2画像を重ね、誤った特徴点対を除去した表示を示す。
図7】実施態様による、特徴点対に基づいて登録された第1画像と第2画像とを含む登録画像セットの表示を示す。
図8】実施態様による、登録した画像セットから生成される深度視差マップの表示を示す。
図9】実施態様による、位置識別子を囲む三次元平面の内側及び外側に入るオブジェクトの表示を示す。
図10A】実施態様による目的地の第1画像の表示を表す。
図10B】実施態様による目的地の第2画像の表示を表す。
図11】実施態様による、目的地の第1画像に目的地の第2画像を重ね、特徴点対を設けた表示を示す。
図12】実施態様による、第1画像と第2画像との間の特徴点対に基づいて登録された第1画像と第2画像とを含む登録画像セットの表示を示す。
図13】実施態様による、登録した画像セットから生成される深度視差マップの表示を示す。
図14】実施態様による、位置識別子を囲む三次元平面の表示を示す。
図15】実施態様による、無人航空機の上から見下ろした図のブロック線図を示す。
図16】実施態様による無人航空機の種々の構成要素を示すブロック図である。
【発明を実施するための形態】
【0005】
ここには例として実施態様が記載されているが、当業者であれば、これらの実施態様は記載された実施例または図に制限するものでないことが認識される。図面及びその詳細な説明は、実施態様が記載された特定の形態に制限することを意図するのではなく、逆に、添付の特許請求の範囲によって定義される趣旨及び範囲に含まれる全ての変形、均等物及び代替物を包含する意図であることを理解するべきである。本明細書で使用される見出しは、構成的な目的のためだけであり、明細書及び特許請求の範囲の範囲を制限するために使用することを意味するのではない。本出願を通じて使用されるように、単語「may」は、必須の意味(すなわち、「するべきである」を意味する)ではなく、許容的な意味(すなわち、「する可能性がある」を意味する)で使用される。同様に、単語「include」、「including」、及び「includes」は、「含むが、その対象を限定しない」ことを意味する。
【0006】
詳細な説明
本開示は、無人航空機(「UAV」)が目的地に向けて降下するときに、目的地を調査するための方法及びシステムを説明する。目的地は、着陸先、配達すべきペイロードの配達先等としてもよい。配送先にオブジェクトがなく、実質的な平坦表面等、安全な着陸または配達位置を有することを確認するため、UAVは降下中に異なる高度で画像を取込み、処理し得る。
【0007】
例えば、第1高度で取り込んだ第1画像の特徴点を、異なる第2高度で取り込んだ第2画像の特徴点と対にしてもよい。同形意義性は、それぞれ特徴点対を計算し、特徴点が適正に対をなすことを確認してもよい。同形意義性は、2つの特徴点が同じ平面上にあるとき(例えば、双方の特徴点が地面上にある)場合に存在する。同形意義性は、特徴点が同じ平面上にない場合(例えば、第1特徴点が地面上にあり、第2特徴点がイスの上にある)は、特徴点対間に存在しない。
【0008】
同形意義性を有しない特徴点対は、破棄される。同形意義性を有する特徴点対は、第1画像と第2画像とを登録し、登録画像セットを形成するために使用される。登録画像セットは、この後、UAVから異なる距離におけるオブジェクト(すなわち、異なる平面内のオブジェクト)の指示を提供する目的地の深度視差マップを生成するために使用される。深度視差マップは、この後、オブジェクトが目的地内にあるかどうか、及び/または、目的地に実質的な平坦表面が利用可能でかつUAVが着陸してペイロード(例えば、荷物)等を配達するために十分なサイズであるかどうか確認するために利用してもよい。
【0009】
いくつかの実施態様では、位置識別子(ここでは、配達位置識別子とも称する)を発送先に配置し、降下するUAVを支援するために使用し、降下中にUAVが取得した画像の処理に使用してもよい。例えば、ユーザは、目的地内の配達位置に置くべき配達位置識別子(「DLI」)を、目的地に対する配達の一部としてUAVがアイテムをどこに置くか識別するために設けてもよい。例えば、配達先は、ユーザの自宅としてもよい。ユーザの自宅の配達先内で、ユーザは、配達の一部として、オーダされたアイテム(ペイロード)をUAVが配達すべき裏庭内のスポット等の配達位置を選択してもよい。
【0010】
配達位置を識別するため、ユーザは配達位置にDLIを物理的に置いてもよい。UAVがアイテムと共に配達先に到着したときに、UAVはDLIを識別し、DLIにまたはその近くにアイテムを置いてアイテムの配達を完了する。DLIは、特徴点を選択し、降下中に異なる高度で取得した画像を登録するのに使用することのできる独特の識別子を有してもよい。同様に、深度視差マップは、ほぼ同じ平面内のオブジェクトが一緒に表示され、その平面内にないオブジェクトが識別されるように、三次元平面に適合し得る。UAVは、その後、オーダされたアイテムの安全な配達を可能とするために十分なサイズである領域がDLIの平面内にあるかどうか判断する。十分なサイズの領域が検出されると、UAVはその領域に向けて降下を継続し、アイテムを検出した領域内に置く。しかし、アイテムを安全に配達するために十分なサイズの領域が存在しないと判断する場合は、UAVは目的地に向けた降下を停止し、更に、配達可能な領域(例えば、アイテムの配達のための実質的な平坦表面を含む)のを探し出し、アイテムの配達を中止し、または、他のアクションを取る。
【0011】
ここで使用する「目的地」は、ペイロードを配達すべき場所または領域、及び/または、UAVが着陸または所定高度(例えば、20フィート)より下に降下する場所または領域をいう。いくつかの実施態様では、目的地は位置識別子(例えば、DLI)の位置、または、位置識別子の位置を囲みまたはこれに近接する目的地の部分に対応する。
【0012】
位置識別子は、目的地に置かれ得る任意の物理的オブジェクトであってもよい。例えば、位置識別子は、視覚的識別子、音響的識別子、及び/または、高周波識別子(「RFID」)タグを有してもよい。いくつかの実施態様では、ユーザは一時的な位置識別子を生成してもよい。例えば、ユーザは、視覚識別子の表示を含む電子ファイルを送信してもよい。ユーザは、標準のプリンタ、三次元プリンタ(3Dプリンタ)等を使用して紙片に視覚識別子の物理的表示を印刷してもよい。他の実施態様では、位置識別子は、ユーザに送信されるオブジェクトでもよい。このような実施態様では、位置識別子は、視覚識別子、音響識別子、及び/または、RFIDタグを包含してもよい。いくつかの実施態様では、位置識別子は、識別及びUAVの着陸領域の双方を提供してもよい。例えば、位置識別子は、位置識別子が着陸及び/または配達用荷物を置くことのできる大きな平坦表面(例えば、幅が3フィート、長さが3フィート及び厚さが1インチ)とすることができる。
【0013】
視覚識別子は、任意の視覚的に識別可能なインジケータとしてもよい。例えば、視覚識別子は、クイックレスポンス(「QR」)コード(登録商標)、バーコード、ボーコード、文字、記号、色、形状、サイズ、光パターン等としてもよい。視覚識別子は、可視光スペクトル、赤外光スペクトル等のUAVが検出可能な任意の光スペクトルで提示してもよい。いくつかの実施態様では、視覚識別子は、オーダに対して特有で、ユーザに対して特有で、配達先に対して特有で、位置識別子に対して特有で、または、これらの任意の組合わせとしてもよい。同様に、視覚識別子は、いくつかの実施態様では、配向性を判断するために使用してもよい。例えば、視覚識別子は、視覚識別子の形状に対してUAVを配向または整列するために使用することのできる検出可能な形状を有してもよい。
【0014】
ここに記載の実施例は物理的オブジェクトの配達を記載するが、デジタルアイテムも同様に、ここに記載の1つまたは複数の実施態様を使用して配達してもよい。例えば、ユーザは、デジタルアイテム(例えば、ビデオ、オーディオ、電子ブック、地図等)をオーダし、そのデジタルアイテムを、UAVを介して配達することを要求することがある。ここに記載の実施態様を使用し、デジタルアイテムはUAVのメモリに記憶してもよく、UAVを目的地まで航行し、画定された高度に降下し、デジタルアイテムをユーザまたはユーザの装置(例えば、携帯電話、タブレットまたはラップトップコンピュータ)に伝達してもよい。例えば、UAVは、それを通してデジタルアイテムを伝達し得る無線ネットワークに接続及び/または作成してもよい。1つの実施例では、UAVは、ユーザが一時的に接続し、デジタルアイテムの送信を受信するローカル無線ネットワークを確立してもよい。他の実施例では、UAVは、既存の無線ネットワーク(例えば、ユーザのWi−Fiネットワーク)に接続し、デジタルアイテムをユーザの装置に送信してもよい。
【0015】
図1は、実施態様による目的地の画像100の表示を表す。画像は、目的地に向けて降下しているUAV(図示しない)の画像取込み装置(例えば、カメラ)を使用して取得される。図示のように、目的地は、パティオ104、ランプ108、テーブル及び椅子106、並びに、植木110等の多くのオブジェクトを有してもよい。目的地におけるオブジェクトの異なる深さを判断するために、ステレオカメラまたは深度センサを使用する試みではなく、ここに検討する実施態様は、異なる高度及び/または異なる位置で取得した多数の画像を用いて、安全に着陸し、ペイロードを配達し、または、ペイロードを配達するために降下するために十分なサイズの実質的な平坦表面が目的地に存在するかどうか、決定する。この簡略化した決定は、UAVの継続する降下が安全かどうか判断するスピード及び精度を改善する。
【0016】
図1に例示するように、いくつかの実施態様では、位置識別子102を目的地に置き、目的地を判断するためにUAVで使用し、以下に詳細に検討するように、画像の処理に用いてもよい。ここで検討する実施例は、テーブル、椅子、及び、ランプを有し、造園(例えば、木、低木等)で囲まれたパティオを示しているが、目的地は、どのような領域または位置であって、オブジェクトの数、タイプ、バラエティ、及び/または、オブジェクトの位置がどのようなものでもよいことが認められる。同様に、目的地の画像は、目的地に向けて降下する際に周期的に取得し、処理し、目的地に進入しまたは現存する任意のオブジェクトを検出してもよい。例えば、動物(例えば、ペット、人)が目的地に進入する場合、ここで検討する実施態様は、動物の存在を検出し、UAVの降下を停止する。
【0017】
図2は、実施態様による目的地に降下するプロセス200の実施例を示す流れ図である。このプロセス、及び、ここに記載のそれぞれのプロセスは、ここに記載のアーキテクチャまたは他のアーキテクチャにより実行してもよい。プロセスは、論理の流れにおけるブロックの集合として示してある。ブロックのいくつかは、ハードウェア、ソフトウェアまたはその組合わせで実行することが可能な作用を表す。ソフトウェアの文脈において、ブロックは、1つまたは複数のプロセッサで実行したときに、列挙した作用を実行する1つまたは複数のコンピュータ可読媒体に記憶されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令には、特定の機能を実施するまたは特定の抽象データ型を実行する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などが含まれる。
【0018】
コンピュータ可読媒体は、非一次的コンピュータ可読記憶媒体を包含してもよく、これは、ハードディスク装置、フロッピーディスク、光ディスク、CD−ROM、DVD、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、フラッシュメモリ、磁気若しくは光カード、固体状態記憶装置、または、電子命令を記憶するのに適切な他のタイプの記憶媒体を包含してもよい。更に、いくつかの実施態様では、コンピュータ可読媒体は、一時的コンピュータ可読信号(圧縮または非圧縮形態で)を包含してもよい。コンピュータ可読信号の例は、キャリアを使用して変調したか否かに関わらず、制限するものではないが、インターネットまたは他のネットワークを通してダウンロードした信号を含む、コンピュータプログラムをホスティングまたは走らせるコンピュータシステムがアクセスするように構成される信号を包含する。最後に、動作が記載される順序は、制限するものと解釈されることを意図するものではなく、記載された動作の任意の数を、任意の順序で及び/または並行して組み合わせることでプロセスを実現することができる。
【0019】
例示のプロセス200は、202におけるように、UAVが目的地の上方の所定高度に位置したときに開始する。例えば、UAVには、目的地の座標を設けてもよく、UAVはこれらの座標に向けて空中を航行してもよい。UAVが目的地に到着したときに、それは、目的地に降下し、着陸してペイロード等の配達を完了する必要のある、目的地の上方の所定高度である。いくつかの実施態様では、この降下は、目的地にUAVが着陸することを包含してもよい。他の実施態様では、降下は、目的地の上方の所定高度(例えば、10フィート)としてもよい。
【0020】
UAVは、目的地の上方の所定高度に位置したときに、204におけるように、位置識別子を検出してもよい。上記のように、DLI等の位置識別子は、目的地に位置し、目的地において、位置決め、降下、配達等を支援する。位置識別子は、画像分析を使用して検出され、位置識別子の位置を視覚的に検出してもよく、つまり、UAVは、位置識別子等により送信された信号を受信してもよい。いくつかの実施態様では、位置識別子は、目的地に存在してないことがある。
【0021】
位置識別子を検出したときに、または、位置識別子が存在しない場合、UAVは、205におけるように、目的地に向けて降下を開始する。UAVが降下するときに、この降下分析サブプロセス300が、UAVの降下を継続するか、または、降下を中断すべきか判断するために実行される。降下分析サブプロセス300を、図3A〜3Bを参照して以下に更に詳細に説明する。降下分析サブプロセスは、中止通知またはオールクリアの通知のいずれかで戻る。
【0022】
降下分析サブプロセス300により戻された結果に基づいて、206におけるように、UAVの降下を中止すべきかどうかについて判断が行われる。例えば、降下分析サブプロセス300が停止通知に戻ると、ブロック206において、UAVの降下を中止することが決定される。UAVの降下を中止すべきと決定されると、UAVの降下は、208におけるように、終了する。いくつかの実施態様では、損傷または衝突する可能性のあるオブジェクトの上方となるように、UAVは所定の高度(例えば、50フィート)に降下することがある。他の実施態様では、UAVは、そのときの高度でホバリングしてもよい。いくつかの実施態様では、UAVは、目的地の内側で異なる位置を探し、降下を再開してもよい。他の実施態様では、人間オペレータが通知を受けてもよく、人間オペレータは、目的地にUAVが降下するのを支援してもよい。例えば、UAVは、目的地に向けて降下するときに、UAVを制御する人間オペレータに目的地の画像を送信してもよい。
【0023】
決定ブロック206で、UAVの降下が停止しないことを決定した場合は、210におけるように、UAVが目標高度に達したかどうか判断される。目標高度は、目的地にUAVを着陸させるものでもよい。代替的に、UAVが目的地にペイロードを配達できるように、目標高度は、目的地の上方の所定高度(例えば、5フィート)としてもよい。
【0024】
目標高度に達していないと判断した場合、実施例のプロセス200は、ブロック205に戻り、そして、継続する。UAVが目標高度に達していると判断した場合、実施例のプロセス200は、212におけるように、完了する。
【0025】
図3A〜3Bは実施態様による降下分析サブプロセス300を示す流れ図である。実施例のサブプロセス300は、302におけるように、目的地に向けてUAVが降下している際に、第1高度及び/または第1ポーズ(位置及び配向)において第1画像を取得することにより開始する。画像は、任意のタイプの画像取込み装置を使用して取得してもよい。例えば、画像取込み装置は、標準の赤、緑、青(RGB)カメラ、デジタルカメラ、ビデオカメラからのフレーム、赤外線カメラ等でもよい。
【0026】
第1高度及び/または第1ポーズで第1画像を取得した後、UAVは、304におけるように、目的地に向けて降下を継続する。所定時間(例えば、3秒)、UAVが所定量(例えば、10フィート)降下した後、及び/または、UAVのカメラのポーズが代わった後、306におけるように、目的地の第2画像が取得される。第2画像は、任意の所定時間の後、任意の所定降下量の後、及び/または、任意の所定ポーズ量の変化後に取得してもよい。カメラのポーズは、例えば、第1画像と第2画像との間のUAVのヨーの変化で調整してもよい。高度及び/またはポーズの変化に関わらず、目的地の画像は、同様な領域を含み、したがって、画像間の特徴点を対にして、後述するように2つの画像を登録するために使用することができる。
【0027】
この後、308におけるように、第1画像と第2画像とが重ねられる。例えば、図4を参照すると、実施態様による、目的地の第1画像に目的地の第2画像を重ねた表示400を示してある。図示のように、2つの画像は、異なる時間で、異なる高度から更に異なるカメラポーズで撮ったものであるため、整合しない。例えば、テーブル及び椅子406は、互いにオフセットした2つの画像で表示されている。同様に、2つの画像に表示された位置識別子402、ランプ408及びパティオタイル404はオフセットしている。いくつかの実施態様では、画像取込み装置が第2画像を取込んだときに、UAVが降下を継続していることの結果として、画像取込み装置がオブジェクトにより近づいているため、2つの画像に表示されたオブジェクトのサイズも同様に僅かに相違している。2つの画像が異なる位置及び異なる高度から取得されているため、2つの画像は、更に処理することなく整合することはできない。
【0028】
図3Aに戻ると、第1画像の特徴点が決定され、第2画像の対応する特徴点と対にされ、310におけるように、特徴点対を形成する。それぞれの画像の特徴点は、エッジ検出アルゴリズム、中心点検出アルゴリズム、オブジェクト検出アルゴリズム等の任意の特徴点検出アルゴリズムを使用して決定してもよい。それぞれの画像間の決定したポイントは、それぞれの特徴点の特徴記述子及び/または生成された特徴ベクトルに基づいて対としてもよい。例えば、特徴点は、特徴記述子間の類似性または共通性に基づいて対としてもよい。多くの特徴点対は、2つの画像から形成してもよい。いくつかの実施態様では、第1画像及び第2画像に包含される位置識別子の表示を決定してもよく、位置識別子の対応する特徴点を2つの画像間で対としてもよい。
【0029】
例えば、図5は、実施態様による、目的地の第1画像に目的地の第2画像を重ね、対特徴ポイント510,512を設けた表示500を示す。対をなす特徴点を接続するラインで図示するように、目的地の2つの画像間に任意数の特徴点対を決定してもよい。同様に、特徴点のいくつかは、特徴点対510A,510B,510Cのように正しい対をなす。しかし、特徴点対のいくつかは、特徴点対512A,512B,512C等の正しい対をなさないものがある。
【0030】
第1画像と第2画像との間の対となる特徴点は、実世界の目的地における同じ点に対応すべきである。例えば、特徴点対510A,510Bのそれぞれは、目的地のパティオ504の実世界位置に対応する特徴点を有する。同様に、特徴点510Cは、それぞれの画像に表示される位置識別子502の特徴点に対応する。比較すると、特徴点対512A,512Cは、配達先の同じポイントに対応しない。この実施例では、特徴点対512A,512Cのそれぞれの第1画像の特徴点は、目的地のパティオ504のポイントに関連するが、しかし、第2画像の対をなす特徴点は、テーブル及び椅子506に対応する。
【0031】
図3Aに戻ると、特徴点対が目的地の同じ実世界の位置に対応するかどうか判断するため、312におけるように、2つの対をなす特徴点間で同形異義性が計算される。投影幾何学において、2つの点が同じ三次元平面内に存在する場合、二次元画内に像同形異義性が存在する。同形異義性が2つの特徴点対間で計算できる場合、この特徴点は、同じ平面内にあり、したがって正しい対をなす。比較すると、2つの特徴点が同じ平面内にない場合(例えば、パティオ上の位置に対応する1つの特徴点、並びに、テーブル及び椅子上の位置に対応する1つの特徴点)、同形異義性は、特徴点対に対して計算することができない。
【0032】
同形異義性が、2つの対特徴ポイントが同じ三次元平面内にある場合、実質的な平面領域が目的地に存在するかどうか決定するプロセスが簡略化されるからである。平面領域が存在するかどうか判断しようとする(例えば、ステレオイメージングを使用して)のではなく、ここで検討する実施態様は、目的地の領域が画像間の平面的な特徴点対であると仮定し、この後、特徴点対間の同形異義性を計算し、特徴点対が同じ三次元平面内に実際にあるかどうか確認する。
【0033】
特徴点対について、同形異義性が存在しないことが決定されると、314におけるように、特徴点対は考慮から外される。比較すると、特徴点対について同形異義性が存在すると判断される場合、316におけるように、特徴点対が維持される。特徴点対を維持または廃棄した後、318におけるように、ポイントが同じ三次元平面内に存在するかどうかについて、追加の特徴点対を確認すべきか判断が行われる。追加の特徴点対を確認すべきことを決定した場合、実施例のサブプロセス300はブロック312に戻り、それぞれの追加の特徴点対について継続する。追加の特徴点対を確認しないことが決定した場合、サブプロセス300は、図3Bについて検討するブロック320に続く。
【0034】
対をなす特徴点のそれぞれを処理し、特徴点対のそれぞれが同じ三次元平面内にあることを確認した後、同じ平面内にあること(同形異義性を有する)が確認された特徴点対だけが残る。例えば、図6は、実施態様による、目的地の第1画像に、誤った対(同形異義性を有しない)を除去した特徴点対を有する目的地の第2画像を重ねた表示600を示す。図示のように、2つの画像間に正しい特徴点対610だけが、2つの画像の追加処理のために保持される。この実施例では、特徴点対610A,610B,610Cは、それぞれの対のそれぞれの特徴点間に同形異義性が存在するために保持される。比較すると、特徴点対512A,512B,512C(図5)は、それぞれの対のそれぞれの特徴点に対して同形異義性が存在しないために、除去される。
【0035】
図5〜6に示すように、位置識別子は既知の形状/サイズであり、固有であり得るため、位置識別子602に対してより多くの特徴点対が存在し得る。いくつかの実施態様では、保持される特徴点対(例えば、同形異義性を有する)の少なくともいくつかが位置識別子に対応することが必要とされることがある。これは、実質的な平坦表面が目的地内に存在するかどうか決定するとき、正しい三次元平面が考慮されることを確実にするために行ってもよい。
【0036】
図3Bに戻ると、第1画像と第2画像との間の特徴点対が、同形異義性を有することを確認されると、第1画像と第2画像とが保持された特徴点対に基づいて登録され、320に置けるように、登録された画像セットを生成する。第2画像と共に第1画像が登録されることで、2つの画像が共通の座標系に整列される。これは、回転、拡大縮小、平行移動、及び/または、第1画像または第2画像の1つまたは複数のアフィン変換を包含してもよい。2つの画像の登録は、1つまたは複数の画像登録アルゴリズムを使用して実行してもよい。
【0037】
図7に移ると、実施態様による、確認された同形異義性を有する特徴点対に基づいて登録された目的地の第2画像を重ねた目的地の第1画像の表示700を示す。図示のように、2つの画像が登録されると、上記のように、登録された画像セットの結果である表示700は、位置識別子702、ランプ708、パティオ704並びにテーブル及び椅子706が、2つの画像の登録に対して選択された共通の座標系にしたがって整列することを示す。
【0038】
図3Bに戻ると、ステレオマッチングアルゴリズムがこの後、登録された画像セットに適用され、322におけるように、深度視差マップが生成される。例えば、図8は、UAVが目的地にむけて降下するときにUAVにより取得された第1画像と第2画像との登録された画像セットから生成される深度視差マップ800の表示を示す。深度視差マップ800は、登録された画像セットに表示されるオブジェクトの異なる深度の図を提供する。例えば、深度視差マップ800の一部802は、UAVの画像取込み装置から同様な距離である位置識別子の回りの領域を図示する。比較すると、深度視差マップ800の部分806は、テーブル及び椅子が同じ画像取込み装置から異なる距離であることを識別する。同様に、部分808は、ランプが画像取込み装置から更に他の距離であることを識別する。
【0039】
第1画像と第2画像との登録された画像セットから生成される深度視差マップは、画像に表示されたそれぞれの異なるオブジェクトに対する深度情報を提供するのではないが、しかし、目的地内に実質的な平坦表面が存在するかどうかの決定に使用するために十分なレベルの精度を提供する。追加の深度情報が望まれる場合、特徴点対の数を増大し、第1画像と第2画像との間の画像登録の精度を増大して登録された画像セットを生成してもよい。
【0040】
再度、図3Bに戻ると、三次元平面を、324におけるように、深度視差マップに適用してもよい。例えば、UAVは、位置識別子が存在する平面を決定し、その平面に深度視差マップを適用してもよい。1つの実施例では、UAVと、位置識別子に対応するそれぞれ特徴点対との間の距離は、深度視差マップ800(図8)に適用される三次元平面を画定するために決定し、適用してもよい。三次元平面の外側に入るあらゆるオブジェクトは、平面の外側として示してもよく、三次元平面内に入るあらゆるオブジェクトは、平面内として示してもよい。いくつかの実施態様では、三次元平面の所要の距離または閾値内のオブジェクトは、平面内と考えてもよく、三次元平面の所定距離または閾値を越えるあらゆるオブジェクトは、三次元平面の外側と考えてもよい。例えば、三次元平面の6インチ以内となるように決定された登録画像セット内に表示されるどのようなポイントも、平面内と考えてもよい。三次元平面の6インチを越えるように決定された登録画像セット内に表示されるどのようなポイントも、平面の外側と考えてもよい。
【0041】
図9は、位置識別子の回りに画定される三次元平面内であると判断された登録画像セットの部分902、及び、三次元平面の外側であると判断された部分906の表示900を示す。
【0042】
再度、図3Bに戻ると、位置識別子の回りに画定される三次元平面内であると判断されたポイントに基づいて、326におけるように、UAVの降下を中止すべきかどうかについて判断される。例えば、安全に着陸及び/またはペイロードを配置するために十分なサイズである三次元平面内の領域がない場合は、降下を中止することを決定してもよい。1つの実施態様では、図9に示すように、位置識別子の回りの所定領域903は、三次元平面内に十分なサイズの領域があるかどうか判断するために考慮してもよい。他の実施態様では、UAVを安全に着陸及び/またはペイロードを配置するために三次元平面内に十分なサイズの任意の領域が存在するかどうか判断してもよい。
【0043】
他の実施例では、三次元平面内のポイントは、画像取込み装置の視野内のオブジェクトが移動しているかどうか判断するために、UAV降下の一部として生成される一連の登録画像セットに対して比較してもよい。例えば、実質的な平坦表面(位置識別子の回りの三次元平面内の領域)が第1登録画像セットに存在するが、第2登録画像セットでは変化している(例えば、平面の外側に見える部分)場合、オブジェクト(例えば、動物)が目的地に立ち入ったと判断してもよい。
【0044】
三次元平面内に十分なサイズの領域が存在しない場合、及び/または、画像取込み装置の視野内に移動するオブジェクトが存在する場合、UAVの降下は中止される。三次元平面内に、UAVが安全に着陸及び/またはペイロードを配置できる十分なサイズの領域が存在する場合、降下は中止されない。UAVの降下を中止すべきと判断された場合、実施例のサブプロセス300は、330におけるように、中止通知に戻る。UAVの降下を中止すべきでないと判断された場合、実施例のサブプロセス300は、328におけるように、クリアー通知に戻る。
【0045】
実施例のプロセス200及び対応する実施例のサブプロセス300は、UAVが目的地に向けて降下する毎に、目的地を調査して実行し、目的地に位置する何らかのオブジェクトを損傷する可能性なしで目的地で着陸及び/または所定高度に降下することが安全であるかどうか判断してよい。上記のように、実施例のプロセス200及び対応する実施例のサブプロセスは、UAVの降下中に周期的に及び/または連続的に実行してもよい。いくつかの実施態様では、画像が1つまたは複数の登録画像セット内で使用してもよい。例えば、第1高度で取得した第1画像は、より低い第2高度で取得した第2画像と共に登録してもよい。第2画像は、その後、第2高度よりも低い第3高度で取得される第3画像と共に登録してもよい。それぞれの画像登録は、他の画像登録から独立してもよい。他の実施態様では、第1画像はソース画像と見なしてもよく、全ての画像登録は、第1画像に対応するように変換してもよい。
【0046】
図10A〜14は、実施態様により、目的地に実質的な平坦表面が存在するかどうか判断するために、UAVの降下中に異なる高度から取得した2つの画像の登録の別の表示を示す。図10Aは、目的地の第1画像1000Aを示し、図10Bは、目的地の第2画像1000Bを示す。2つの画像1000A,1000Bは、UAVが目的地に向けて降下するときに、異なる高度においてUAVの画像取込み装置により取込まれる。第1画像1000Aは、明らかなように、第1画像1000Aに表示されるオブジェクトが、第2画像1000B内に表示されるオブジェクトよりも小さく見えるため、第2画像1000Bよりもより高い高度から取得される。同様に、UAVの画像取込み装置のポーズは、2つの画像1000A,1000B間で変更されている。しかし、それぞれの画像1000A,1000B内には、位置識別子の表示が包含されている。
【0047】
図11は、特徴点対1110A,1110B,1110Cと共に、第2画像1000Bを重ねた第1画像1000Aの表示1100を示す。2つの画像間の特徴点は、上記の技術を使用して判断し、対とされる。2つの画像間の特徴点は、2つの画像間の画像取込み装置のポーズが相違しても、検出することができる。例えば、位置識別子1102に対応する特徴点対は、2つの画像間のポイントの相互関係を示す。
【0048】
特徴点対1110を利用して、2つの画像が登録され、図12に示すように、登録画像セットを生成する。図12は、実施態様により、目的地の第2画像を重ね、目的地の第1画像と目的地の第2画像との間で判断された特徴点対に基づいて登録された目的地の第1画像の表示1200を示す。図示のように、2つの画像の配向及び拡大縮小は、単一の座標スペースに変換され、したがって、登録画像は、位置識別子1202、ランプ1208並びにテーブル及び椅子1206の整列により示すように、整列される。2つの画像の登録は、図2〜3Bに関して上記のように実行される。
【0049】
上記のように、ステレオアルゴリズムが登録画像セットに適用され、登録画像セットで表されるポイントの深度情報を表す深度視差マップを生成する。例えば、図13は、実施態様による、登録した画像セットから生成される深度視差マップ1300の表示を示す。深度視差マップ1300は、画像取込み装置の視野内の異なるオブジェクトの異なる深度を示す。例えば、位置識別子の回りの領域1302は、第1深度であり、テーブル及び椅子の回りの領域1306は異なる深度を有し、ランプの位置に対応する深度1308は異なる深度を有する。
【0050】
最後に、図14に示すように、位置識別子に対応する三次元平面は、深度視差マップに適用し、実施態様による、三次元平面の視野内のUAVの画像取込み装置の視野内のポイントと、三次元平面の外側となるポイントとを決定する。例えば、領域1402は、位置識別子の回りの三次元平面内にあるため、実質的に平行面と考えられる領域に対応する。同様に、領域1406は、三次元平面の外側である。
【0051】
上記のように、三次元平面からの情報を用いることで、UAVの降下を中止または継続すべきかどうか決定してもよい。
【0052】
上記検討及び実施例で示すように、目的地の画像は、UAVが配達位置に向けて降下するときに、UAVの画像取込み装置を使用して取得してもよい。取得した画像は、その位置に向けた降下を継続可能かまたは中止すべきかを判断するために処理される。画像は、異なる高度で、降下中の異なる時に、異なるポーズで等、取得してもよい。2つの画像間の特徴点対が平面内にあることを仮定することにより、この仮定は、2つの特徴点間の同形異義性を計算しまたは判断することにより、確認することができる。同形異義性が計算できる場合、2つの特徴点は同じ平面内にあり、2つの画像の登録に使用するために保持される。同形異義性が2つの特徴点から計算できない場合、2つの特徴点は同じ平面内になく、廃棄されることが決定される。保持される特徴点対を利用し、画像が登録されかつ処理され、実質的な平坦表面が目的地に存在するかどうか判断する。
【0053】
図15は、実施態様による、UAV1500の上から見下ろした図のブロック図を示す。図示のように、UAV1500は、UAVのフレーム1504の回りに離隔した8つのプロペラ1502−1、1502−2、1502−3、1502−4、1502−5、1502−6、1502−7、1502−8を有する。プロペラ1502は、任意の形態のプロペラの形態(例えば、グラファイト、炭素繊維)で、UAV1500及びUAV1500に係合する任意のインベントリを上昇するのに十分なサイズとしてもよく、したがって、UAV1500は、配達先等の目的地に空中を航行することができる。この実施例は、8つのプロペラを有するが、他の実施態様では、より多くまたはより少ないプロペラを用いてもよい。同様に、いくつかの実施態様では、プロペラは、UAV1500上の異なる位置に位置してもよい。更に、ここに記載の実施態様では、他の推進方法を、「モータ」として利用してもよい。例えば、ファン、ジェット、ターボジェット、ターボファン、ジェットエンジン、内燃エンジン等を、UAVを推進するために使用してもよい(プロペラまたは他の装置と共に)。
【0054】
UAV1500のフレーム1504も同様に、グラファイト、炭素繊維及び/またはアルミニウム等の任意の適切な材料で形成してもよい。この実施例では、UAV1500のフレーム1504は、4つの剛性部材1505−1、1505−2、1505−3、1505−4、または、ほぼ垂直な角度で交差及び結合した剛性部材でハッシュパターンに配置したビームを有する。この実施例では、剛性部材1505−1及び1505−3は、互いに実質的に平行に配置され、ほぼ同じ長さである。剛性部材1505−2及び1505−4は、実質的に互いに平行であるが、剛性部材1505−1及び1505−3に垂直に配置される。剛性部材1505−2及び1505−4は、ほぼ同じ長さである。いくつかの実施形態では、剛性部材1505の全ては、ほぼ同じ長さでもよいが、一方、他の実施態様では、剛性部材のいずれかまたは全てが異なる長さでもよい。同様に、剛性部材の2つのセット間の間隔及び/または配向は、ほぼ同じかまたは相違してもよい。
【0055】
図15に示す実施態様は、フレーム1504を形成するために結合される4つの剛性部材1505を有するが、他の実施態様では、フレーム1504に対してより少ないまたは多い部材であってもよい。例えば、4つの剛性部材ではなく、他の実施態様では、UAV1500のフレーム1504は6つの剛性フレームを包含するように構成してもよい。このような実施例では、2つの剛性部材1505−2,1505−4は互いに平行に配置してもよい。剛性部材1505−1,1505−3及び剛性部材1505−1,1505−3の両側の2つの追加の剛性部材は、全て互いに平行にかつ剛性部材1505−2,1505−4に垂直に位置してもよい。追加の剛性部材と共に、フレーム1504により、全ての4つの側に剛性部材で追加凹部を形成してもよい。更に後述するように、フレーム1504内の凹部は、アイテム(複数を含む)及び/またはアイテム(複数を含む)を内包するコンテナの係合、輸送及び配達のためのインベントリ係合機構を有するように構成してもよい。
【0056】
いくつかの実施態様では、UAVは空力抵抗を減少するように構成してもよい。例えば、空力学的ハウジングがUAVに設けられてもよく、これは、UAV制御システム1510、1つまたは複数の剛性部材1505、フレーム1504及び/またはUAV1500の他の構成要素を囲む。ハウジングは、グラファイト、炭素繊維、アルミニウム、チタン、マグネシウム、ガラス繊維等の任意の適切な材料(複数を含む)で形成してもよい。同様に、いくつかの実施態様では、位置及び/またはインベントリ(例えば、アイテムまたはコンテナ)の形状は空力学的に設計してもよい。例えば、いくつかの実施態様では、インベントリ係合機構は、インベントリが係合したときにUAV1500のフレーム及び/またはハウジング内に囲まれるように構成してもよく、したがって、UAV1500によるインベントリの輸送中に生成される追加の抗力はない。他の実施態様では、インベントリは、抗力を低減するように成形し、UAV及びインベントリにより空力学的デザインを設けてもよい。例えば、インベントリがコンテナであり、コンテナの一部が、係合したときにUAVの下側に延びる場合、コンテナの露出部は、湾曲形状を有してもよい。
【0057】
プロペラ1502及び対応するプロペラモータは、それぞれの剛性部材1505の両端に位置してもよい。プロペラモータは、UAV1500及びあらゆる係合したインベントリを上昇するために十分な速度をプロペラに生成することができ、これにより、インベントリを航空輸送することを可能とする任意の形態のモータとしてもよい。
【0058】
それぞれの剛性部材から外方に、安全枠1508に接続される支持アーム1506が延びる。この実施例では、安全枠は、モータ及びプロペラ1502が安全枠1508の外周の内側となる態様で、UAV1500の回りに配置されかつ取付けられる。安全枠は、プラスチック、ゴム等としてもよい。同様に、支持アーム1506の長さ、及び/または、剛性部材1505の長さ、数、若しくは、位置にしたがって、安全枠は、丸、楕円または他の形状としてもよい。
【0059】
フレーム1504には、UAV制御システム1510が搭載される。この実施例では、UAV制御システム1510は、フレーム1504の中央部及び頂部に搭載される。UAV制御システム1510は、図16に関して更に後述するように、UAV1500の作動、ルーティング、ナビゲーション、通信、降下、及び、インベントリ係合機構を制御する。
【0060】
同様に、UAV1500は、1つまたは複数のパワーモジュール1512を有する。この実施例では、UAV1500は、フレーム1504に取外し可能に搭載される2つのパワーモジュール1512を有する。UAV用のパワーモジュール(複数を含む)は、バッテリパワー、ソーラパワー、ガスパワー、超コンデンサ、燃料電池、代替発電源またはこれらの組合わせの形態であってもよい。パワーモジュール1512は、UAV制御システム1510及びプロペラモータに連結され、電力を供給する。
【0061】
いくつかの実施態様では、1つまたは複数のパワーモジュールは、UAVが着陸している間に、自動的に取外し及び/または他のパワーモジュールと交換できるように構成してもよい。例えば、UAVが中継位置及び/または材料取扱設備に着陸したときに、UAVは、パワーモジュールを再充電する場所で充電部材に係合してもよい。いくつかの実施態様では、コンテナはパワーモジュールを有し、UAVの係合機構がコンテナと係合したときに、コンテナのパワーモジュールがUAVに電力を供給してもよい。例えば、アイテムが配達位置に配達されたときに、コンテナに包含されたパワーモジュールは、UAV1500のパワーモジュール1512に対して及び/またはこれに追加してではなく、UAVに電力を供給してもよい。コンテナが係合を解除されたときに、コンテナにより供給される電力は取外され、UAV1500は、UAVのパワーモジュール1512からの電力を使用して作用する。
【0062】
上述のように、UAV1500は更に、インベントリ係合機構1514を有する。インベントリ係合機構は、アイテム及び/またはアイテムを保持するコンテナ(全体をペイロードと称する)を係合及び係合解除するように構成してもよい。この実施例では、インベントリ係合機構1514は、剛性部材1505の交差により形成されるフレーム1504の凹部内に位置している。この実施例では、インベントリ係合機構は、UAV制御システム1510の下側に位置している。追加の剛性部材を有する実施態様では、UAVは、追加のインベントリ係合機構を有し、及び/または、インベントリ係合機構1514がフレーム1504内の異なる凹部内に位置してもよい。インベントリ係合機構は、インベントリを内包するコンテナに強固に係合及び係合解除するために十分である任意のサイズとしてもよい。他の実施態様では、係合機構は、配達すべきインベントリアイテム(複数を含む)を包含するコンテナとして作用してもよい。
【0063】
いくつかの実施態様では、インベントリ係合機構1514は、UAVから伸張または下ろして、インベントリ位置におけるアイテムまたはアイテムを内包するコンテナを配置する引込み可能なケーブル、プーリまたは他の部材を有してもよい。インベントリ係合機構は、UAV制御システム1510と通信し(有線または無線通信を介して)、これにより制御されてもよい。
【0064】
UAV1500は更に、1つまたは複数の入出力部材を有してもよい。例えば、UAVは、目的地、配達位置、位置識別子等の画像を観察及び/または取得するように位置し得るカメラ1516等の1つまたは複数の画像取込み装置を有してもよい。例えば、カメラ1516は、UAVに対してカメラに2軸回転を提供するために使用することができるジンバルに搭載してもよい。カメラは、赤、緑、青色カメラ、スティルカメラ、ビデオカメラ等の任意タイプのカメラとしてもよい。
【0065】
同様に、UAVは、位置識別子に包含されるRFIDタグを検出するために、パワーモジュール1518で電力を供給してもよい1つまたは複数のRFIDリーダ618を有してもよい。UAV1500に包含されてもよい他の入出力部材は、オーディオトランスデューサ(スピーカ)、マイクロフォン、光センサ等を含む。
【0066】
ここに説明するUAVの実施態様は飛行を行い、維持するためにプロペラを利用するが、他の実施態様では、UAVは他の方法で構成してもよい。例えば、UAVは固定翼及び/またはプロペラと固定翼との双方の組合わせを有してもよい。例えば、UAVは離陸及び着陸を可能とするために1つまたは複数のプロペラを、UAVが飛行している際は、飛行を持続させるために固定翼構造または翼とプロペラとの組合わせ構造を利用してもよい。
【0067】
図16は、UAV1500のUAV制御システム1610の実施例を示すブロック図である。種々の実施例では、ブロック図は、上記の種々のシステム及び方法を実施するために使用してもよいUAV制御システム1610の1つまたは複数の態様を示す。図示の実施態様では、UAV制御システム1610は、入出力(I/O)インタフェース1611を介して非一時的コンピュータ可読記憶媒体1620に連結される1つまたは複数のプロセッサ1602を有する。UAV制御システム1610は更に、電子速度制御(ESC)、パワーモジュール1606、及び/または、航法システム1608等のプロペラモータコントローラ1604を有してもよい。UAV制御システム1610は更に、インベントリ係合機構コントローラ1612と、ネットワークインターフェース1616と、1つまたは複数の入出力装置1618とを有する。
【0068】
種々の実施態様では、UAV制御システム1610は、1つのプロセッサ1602を有する単一プロセッサシステム、または、複数のプロセッサ1602(例えば、2、4、8または他の適切な数)を有するマルチプロセッサシステムであってもよい。プロセッサ(複数を含む)1602は、命令を実行することが可能な任意の適切なプロセッサとしてもよい。例えば、種々の実施態様では、プロセッサ(複数を含む)1602は、例えば、x86、PowerPC、SPARC、もしくはMIPS ISA、またはいずれかの他の適切なISA等、様々な命令セットアーキテクチャ(ISA)のいずれかを実施する汎用または組み込みプロセッサであってもよい。マルチプロセッサシステムでは、それぞれのプロセッサ(複数を含む)1602は、必ずではないが、一般には同じISAを実装してもよい。
【0069】
非一時的コンピュータ可読記憶媒体1620は、プロセッサ(複数を含む)1602によりアクセス可能な実行可能な命令、データ、航行経路及び/またはデータアイテムを記憶するように構成される。種々の実施態様では、非一次的コンピュータ可読記憶媒体1620は、スタティックランダムアクセスメモリ(SRAM)、同時性ダイナミックRAM(SDRAM)、不揮発性/フラッシュメモリまたは任意の他のメモリ等の任意の適切なメモリを使用して実現してもよい。図示の実施態様では、上述のような所要の機能を実行するプログラム命令及びデータは、それぞれプログラム命令1622、データ記憶装置1624及び航行経路データ1626として、非一時的コンピュータ可読記憶媒体1620内に格納して示してある。他の実施態様では、プログラム命令、データ及び/または航行経路は、非一時的コンピュータ可読記憶媒体1620またはUAV制御システム1610とは別の非一時的または同様な媒体等の異なるタイプのコンピュータアクセス可能媒体に受信し、送信し、格納してもよい。一般的に、非一時的なコンピュータ可読記憶媒体は、例えば、UAV制御システム1610にI/Oインタフェース1611を介して連結されるディスクまたはCD/DVD−ROMである磁気または光媒体等の格納媒体または記憶媒体を包含してもよい。非一時的コンピュータ可読媒体を介して格納されたプログラム命令及びデータは、電気、電磁またはデジタル信号等の送信媒体または信号により送信してもよく、これは、ネットワークインターフェース1616を介して実現し得るようなネットワーク及び/または無線リンク等の通信媒体を介して伝えてもよい。
【0070】
1つの実施態様では、I/Oインタフェース1611は、プロセッサ(複数を含む)1602、非一時的コンピュータ可読媒体1620、及び、ネットワークインターフェース1611または入出力装置1618等の他の周辺インタフェースである任意の周辺装置間のI/Oトラフィックを調整するように構成してもよい。いくつかの実施態様では、I/Oインタフェース1611は、任意の必要なプロトコル、タイミング、または、他のデータ変換を実行し、データ信号を1つの構成要素(例えば、非一時的コンピュータ可読記憶媒体1620)から他の構成要素(例えば、プロセッサ(複数を含む)1602)により使用するために適切なフォーマットに変換してもよい。いくつかの実施態様では、I/Oインタフェース1611は、例えば、周辺構成要素相互接続(PCI)バス規格または汎用シリアルバス(USB)規格の別形等の種々のタイプの周辺バスを通じて取り付けられたデバイスに対するサポートを含んでよい。いくつかの実施態様では、I/Oインタフェース1611の機能は、例えば、ノースブリッジ及びサウスブリッジなどの2つ以上の別々の構成要素に分けられてもよい。更に、いくつかの実施態様では、非一時的コンピュータ可読記憶媒体1620に対するインタフェース等、I/Oインタフェース1611の一部または全ては、プロセッサ(複数を含む)1602内に直接組込まれてもよい。
【0071】
プロペラモータ(複数を含む)コントローラ1604は、航法システム1608と通信し、それぞれのプロペラモータの出力を調整し、UAVを決定した航行経路に沿って目的地に案内する。航法システム1608は、GPSまたはUAVを目的地に及び/またはこれから航行するために使用可能な同様のシステムを有してもよい。インベントリ係合機構コントローラ1612は、インベントリに係合及び/または係合解除するために使用されるモータ(複数を含む)(例えば、サーボモータ)と通信する。例えば、UAVが所定の高度(または、着陸した)で目的地の上方に位置したときに、インベントリ係合機構コントローラ1612は、インベントリ係合機構を制御してインベントリを解放する命令をモータに供給してもよい。
【0072】
ネットワークインターフェース1616は、UAV制御システム1610、他のコンピュータシステム等のネットワークに接続される他の装置、及び/または、他のUAVのUAV制御システム間でデータを交換できるように構成してもよい。例えば、ネットワークインターフェース1616は、種々の目的地にインベントリを移送する多くのUAV間で無線通信してもよい。種々の実施形態では、ネットワークインターフェース1616は、Wi−Fi(登録商標)ネットワーク等、無線一般データネットワークを介して通信をサポートしてもよい。例えば、ネットワークインターフェース1616は、移動体通信ネットワーク、衛星ネットワーク等の電気通信ネットワークを介する通信をサポートしてもよい。
【0073】
入出力装置1618は、いくつかの実施態様では、1つまたは複数のディスプレイ、画像取込み装置(例えば、カメラ)、熱センサ、赤外線センサ、飛行時間センサ、加速度計、圧力センサ、気象センサ、RFIDリーダ、マイクロフォン等を包含する。複数の入出力装置1618が存在し、UAV制御システム1610により制御してもよい。
【0074】
図16に示すように、メモリ1620は、上述の実施例のプロセス及び/またはサブプロセスを実行するように構成し得るプログラム命令1622を有してもよい。データ記憶装置1624は、航行経路、インベントリの回収、着陸、目的地の確認、位置識別子の確認等を判断するために設け得るデータアイテムを維持するため種々のデータストアを有してもよい。
【0075】
種々の実施態様では、パラメータ値及び1つまたは複数のデータストアに包含されるものとしてここに示した他のデータは、記載してない他の情報と組合わせてもよく、または、より多く、より少なく若しくは異なるデータ構造に別個に分割してもよい。いくつかの実施態様では、データストアは、1つのメモリ内に物理的に配置してもよく、または、2以上のメモリに分散してもよい。
【0076】
当業者であれば、UAV制御システム1610は、単に説明するものであり、本開示の範囲を制限することを意図するものではないことが理解される。UAV制御システム1610は更に、説明してない他の装置に接続し、または、独立型システムとして作用してもよい。更に、例示の構成要素で提供される機能は、いくつかの実施態様では、より少ない構成要素に組み合わされ、または、追加の構成要素に分散してもよい。同様に、いくつかの実施態様では、例示される構成要素の一部の機能は、提供されない場合もあり、及び/または、他の追加の機能が使用可能である場合もある。
【0077】
種々のアイテムは、使用されている間に、メモリまたは記憶装置に格納されるように示してあるが、これらのアイテムまたはその一部は、メモリ管理及びデータの完全性の目的で、メモリと他の記憶装置との間で移動される場合もあることが、当業者にも理解される。代替的に、他の実施態様では、ソフトウェア構成要素の一部または全ては、他の装置のメモリ内で実行し、例示したUAV制御システムと通信してもよい。システムコンポーネントまたはデータ構造の一部または全ては、非一時的コンピュータアクセス可能媒体または適正装置で読み取られる携帯物品に格納(例えば、命令または構造化データとして)してもよく、その種々の実施例が上述してある。いくつかの実施態様では、UAV制御システム1610とは別のコンピュータアクセス可能媒体に格納された命令は、無線ネットワーク等の通信媒体を介して搬送される、電気、電磁、または、デジタル信号等伝送媒体または信号を介して、UAV制御システム1610に伝えられる。種々の実施態様は更に、上述の説明に従って実行される命令及び/またはデータをコンピュータアクセス可能媒体上で受信すること、送信すること、または、格納することを包含してもよい。したがって、ここに記載の技術は、他のUAV制御システム構成で実行してもよい。
【0078】
ここに記載の実施形態は、目的地における実質的な平坦表面領域を判断することを包含してもよく、この方法は、無人航空機(「UAV」)のカメラにより、目的地上の第1高度において目的地の第1画像を取得すること、UAVのカメラにより、目的地上の第2高度において目的地の第2画像を取得すること、第1画像の複数の第1特徴点を決定すること、第1画像の複数の第1特徴点のそれぞれに対して、複数の第1特徴点の特徴点を、第2画像の対応する特徴点に関連させて第1画像の第1特徴点と第2画像の第2特徴点とを有する特徴点対を形成すること、第1画像の第1特徴点と第2画像の第2特徴点とが同じ面内に存在する複数の第1特徴点対を決定すること、複数の第1特徴点対に少なくとも部分的に基づいて第1画像と第2画像とを登録し、登録画像セットを生成すること、登録画像セットに基づいて目的地の深度視差マップを生成すること、及び/または、深度視差マップに少なくとも部分的に基づいて、UAVから荷物またはUAVの少なくとも一方を受取るために十分なサイズの実質的な平坦表面が目的地において使用可能であることを決定すること、の1つまたは複数を包含する。
【0079】
選択的に、方法は、目的地に配置された位置識別子を判断することを包含してもよく、第1画像の複数の第1特徴点の少なくともいくつかが、位置識別子に対応する特徴点を包含してもよい。選択的に、方法は更に、第1画像の第1特徴点と第2画像の第2特徴点とが同じ平面内にない複数の第2特徴点対を決定すること、及び/または、複数の第2特徴点対を廃棄することの1つまたは複数を包含してもよい。選択的に、第1画像と第2画像とは、UAVが目的地に向けて降下するときに取得してもよく、方法は更に、実質的な平坦表面が目的地で使用可能であることの判断に応じて、UAVの降下を継続することを備えてもよい。
【0080】
本開示の実施形態は、実行可能命令で構成される1つまたは複数のコンピューティングシステムの下で、無人航空機(UAV)を目的地に向けて降下させること、UAVが第1位置にあるときにUAVの画像取込み装置に目的地の第1画像を取得させること、UAVが第2位置にあるときにUAVの画像取込み装置に目的地の第2画像を取得させること、第1画像と第2画像とを処理して登録画像セットを生成すること、登録画像セットの少なくとも一部に基づいて目的地で実質的な平坦表面が使用可能であることを判断すること、及び/または、目的地に向けてUAVを継続して降下させること、の1つまたは複数を包含する、コンピュータ実行方法を有してもよい。
【0081】
選択的に、目的地は位置識別子を有してもよい。選択的に、目的地における使用可能と判断される実質的な平坦表面は、UAVからの荷物またはUAVの少なくとも1つを受入れるために十分なサイズとしてもよい。選択的に、第1画像と第2画像とを処理することは更に、第1画像の複数の第1特徴点のそれぞれについて第1画像の複数の第1特徴点を判断すること、複数の第1特徴点の特徴点に、第2画像の対応する特徴点を関連させ、第1画像の特徴点と第2画像の対応する特徴点とを含む特徴点対を形成すること、第1画像の特徴点と第2画像の対応する特徴点とが同じ平面にある複数の第1特徴点対を判断すること、及び/または、複数の第1特徴点対に少なくとも部分的に基づいて第1画像と第2画像とを登録すること、を包含してもよい。選択的に、第1画像の特徴点と第2画像の対応する特徴点とが同じ平面内にある複数の第1特徴点対を判断することは更に、特徴点対のそれぞれについて、第1画像の特徴点と第2画像の対応する特徴点との間の同形異義性を決定することを包含する。選択的に、第1画像と第2画像とを処理して登録特徴セットを生成することは、第1画像の複数の第1特徴点に第2画像の複数の第2特徴点を空間的に整合させることを包含してもよい。
【0082】
選択的に、コンピュータ実行方法は更に、登録画像セットに基づいて、目的地の深度視差マップを生成することを包含してもよい。選択的に、深度視差マップを生成することは、登録画像セットにステレオマッチングアルゴリズムを適用して、深度視差マップを生成することを包含してもよい。選択的に、請求項11のコンピュータ実行方法は更に、目的地に位置する位置識別子の回りの平面を画定すること、及び/または、位置識別子の回りの面内に実質的な平坦表面があることを判断することを包含してもよい。選択的に、第1画像と第2画像とを処理することは、第1画像に表示される位置識別子の第1特徴点を決定すること、第2画像に表示される位置識別子の対応する特徴点を決定すること、及び/または、第1特徴点及び対応する特徴点に少なくとも部分的に基づいて第1画像と第2画像とを登録すること、の1つまたは複数を包含してもよい。選択的に、コンピュータ実行方法は更に、UAVが目的地に向けた降下が完了したことを判断すること、及び/または、UAVに目的地でペイロードを解放させることの1つまたは複数を包含してもよく、ペイロードは、電子商取引ウェブサイトからオーダされたアイテムを包含する。
【0083】
ここに記載の実施形態は、1つまたは複数のプロセッサと、プロセッサに連結されかつプログラム命令を記憶するメモリとを有するコンピューティングシステムを包含してもよく、このプログラム命令は、プロセッサにより実行されたときに、プロセッサに、少なくとも、無人航空機(UAV)を目的地に向けて降下させ、UAVが第1位置にあるときに目的地の第1画像をUAVのカメラに取得させ、第1画像は目的地に位置する位置識別子の表示を包含してもよく、UAVが第2位置にあるときに目的地の第2画像をUAVのカメラに取得させ、第2画像は位置識別子の表示を包含してもよく、第1画像の複数の特徴点を決定し、複数の特徴点の少なくとも1つは位置識別子の表示に対応してもよく、第1画像の複数の特徴点のそれぞれを第2画像の対応する特徴点と対にして複数の特徴点対を生成し、第1画像の特徴点と第2画像の対応する特徴点とが同じ平面内にある複数の特徴点対を決定し、第1画像の特徴点と第2画像の対応する特徴点とが同じ平面内にない複数の第2特徴点対を決定し、複数の第1特徴点対に少なくとも部分的に基づいて第1画像と第2画像とを登録して登録画像セットを形成し、及び/または、登録画像セットに少なくとも部分的に基づいて目的地に実質的に平坦表面を使用可能であることを決定させる。
【0084】
選択的に、プロセッサにより実行されたときに、プログラム命令は更に、プロセッサにより、実質的な平坦表面に向けてUAVを降下させてもよい。選択的に、カメラのポーズは、第1画像と第2画像との間で変更してもよい。選択的に、プロセッサにより実行されたときに、プログラム命令はプロセッサに、UAVが第3高度にあるときにUAVのカメラに目的地の第3画像を取得させ、この第3画像は位置識別子の表示を包含してもよく、第2画像の複数の特徴点を決定し、この第2画像の複数の特徴点の少なくとも1つは位置識別子の表示に対応してもよく、第2画像の複数の特徴点のそれぞれを第3画像の対応する特徴点と対にして複数の第2特徴点対を生成し、複数の第2特徴点対に対して、第2画像の特徴点と第3画像の対応する特徴点とが同じ平面内あることを決定し、複数の第2特徴点対に少なくとも部分的に基づいて第2画像と第3画像とを登録し、第2登録画像セットを形成し、及び/または、オブジェクトが実質的に平坦表面内にある第2登録画像セットに少なくとも部分的に基づいて決定し、及び/または、UAVが目的地に向けて降下するのを停止すること、の1つまたは複数を行わせる。選択的に、第1画像の特徴点と第2画像の対応する特徴点とが同じ平面にある複数の第1特徴点対をプロセッサに決定させるプログラム命令は、更に、プロセッサに、少なくとも、複数の第1特徴点対のそれぞれについて、第1画像の特徴点と第2画像の対応する特徴点との間の同形異義性を判断させる。選択的に、位置識別子の表示に対応する少なくとも1つの特徴点を有してもよい特徴点対は、複数の第1特徴点対に包含されてもよい。選択的に、目的地における使用可能と判断される実質的な平坦表面は、UAVからの荷物またはUAVの少なくとも1つを受入れるために十分なサイズとしてもよい。
【0085】
当業者は、いくつかの実施態様において、プロセスにより提供される機能及び上記システムは、より多くのソフトウェアモジュール若しくはルーチンに分割され、または、より少ないモジュール若しくはルーチンに統合されるように、他の方法で提供してもよいことが理解される。同様に、いくつかの実施態様では、図示したプロセス及びシステムは、他の図示のプロセスが代りにそのような機能をそれぞれ欠き若しくは含む場合、または、提供される機能の量が変更される場合等、記載したよりも多い若しくは少ない機能を提供してもよい。更に、種々の作用が、特定の方法(例えば、直列または並列で)で及び/または特定の順序で実行されるように説明されることがあるが、当業者には、他の実施態様では、作用が他の順序及び他の態様で実行してもよいことが認められる。当業者には更に、単一のデータ構造を多数のデータ構造に分割し、または、複数のデータ構造を単一のデータ構造に統合することによる等、上記のデータ構造は異なる方法で構成してもよいことが理解される。同様に、いくつかの実施態様では、説明したデータ構造は、他の説明したデータ構造が代りにそのような情報をそれぞれ欠きまたは有する場合、または、記憶された情報の量またはタイプが変更された場合等、記載よりもより多くまたは少ない情報を記憶してもよい。図に示し、ここに記載のように種々の方法及びシステムは、例示的な実施態様を表す。方法及びシステムは、他の実施態様では、ソフトウェア、ハードウェアまたはそれらの組合わせで実行してもよい。同様に、他の実施態様では、方法の順序は変更されてもよく、種々の要素が追加、再順序付け、結合、省略、変更等がされてもよい。
【0086】
上述から、説明の目的のために、特別な実施態様をここに記載してきたが、添付の請求の範囲及びここに記載の特徴の趣旨及び範囲から逸脱することなく、種々の変更を行ってもよいことが理解される。更に、特定の態様が特定の請求項の形態で以下に提供されているが、発明者はいずれの有効な請求項の形態における種々の態様を意図する。例えば、いくつかの態様のみがコンピュータ可読記憶媒体で具体化されるようにこれまで説明してきたが、他の態様も同様に具体化し得る。本開示の利点を有する当業者に明白であるように、種々の変形及び変更を行ってもよい。全てのそのような変形及び変更を含むことを意図しており、したがって、上記説明が限定的な意味ではなく、例示的であると考えるべきである。
図1
図2
図3A
図3B
図4
図5
図6
図7
図8
図9
図10A
図10B
図11
図12
図13
図14
図15
図16