知財求人 - 知財ポータルサイト「IP Force」
▶ アマゾン テクノロジーズ インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023085384
(43)【公開日】2023-06-20
(54)【発明の名称】航空機のための対象物検出及び回避
(51)【国際特許分類】
G08G 5/02 20060101AFI20230613BHJP
B64U 10/13 20230101ALI20230613BHJP
B64U 20/87 20230101ALI20230613BHJP
B64C 13/18 20060101ALI20230613BHJP
B64U 70/97 20230101ALI20230613BHJP
【ＦＩ】
G08G5/02 A
B64U10/13
B64U20/87
B64C13/18 G
B64U70/97
【審査請求】有
【請求項の数】23
【出願形態】ＯＬ
(21)【出願番号】P 2023048759
(22)【出願日】2023-03-24
(62)【分割の表示】P 2020515915の分割
【原出願日】2018-09-19
(31)【優先権主張番号】62/561,635
(32)【優先日】2017-09-21
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/838,250
(32)【優先日】2017-12-11
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＷＩＮＤＯＷＳ
(71)【出願人】
【識別番号】506329306
【氏名又は名称】アマゾン テクノロジーズ インコーポレイテッド
(74)【代理人】
【識別番号】100106541
【弁理士】
【氏名又は名称】伊藤 信和
(72)【発明者】
【氏名】クラウス アンドレアス
(57)【要約】 （修正有）
【課題】着陸エリアの中またはその周辺に位置する障害物（または障害）を自動的に検出及び回避する。
【解決手段】１つ以上の撮像デバイスを備えた航空機は、撮像デバイスによって取り込まれた対の画像を用いて、サイズが小さい障害物、または着陸エリアの色もしくはテクスチャと一致した色もしくはテクスチャを特徴とする障害物を検出してもよい。着陸エリアの復元物及び差分画像を生成するために、対の画像のそれぞれ内に現れる着陸エリアの点に対応する画素間の視差が決定され、用いられてもよい。復元物または差分画像のいずれかが１つ以上の障害物の存在を示している場合、着陸エリアにおける着陸動作が中止されてもよく、それに応じて航空機のための代替の着陸エリアが識別されてもよい。
【選択図】図１Ｄ
【解決手段】１つ以上の撮像デバイスを備えた航空機は、撮像デバイスによって取り込まれた対の画像を用いて、サイズが小さい障害物、または着陸エリアの色もしくはテクスチャと一致した色もしくはテクスチャを特徴とする障害物を検出してもよい。着陸エリアの復元物及び差分画像を生成するために、対の画像のそれぞれ内に現れる着陸エリアの点に対応する画素間の視差が決定され、用いられてもよい。復元物または差分画像のいずれかが１つ以上の障害物の存在を示している場合、着陸エリアにおける着陸動作が中止されてもよく、それに応じて航空機のための代替の着陸エリアが識別されてもよい。
【選択図】図１Ｄ
【特許請求の範囲】
【請求項1】
無人飛行機を操作する方法であって、
前記無人航空機上に提供された少なくとも１つの撮像デバイスにより、前記無人航空機の下方の表面上の対象標識を探索することと、
前記対象標識の一部に基づいて着陸エリアを定めることと、
前記無人航空機を、前記無人航空機の下方の地表に向かって降下させることと、
前記少なくとも１つの撮像デバイスにより、前記無人航空機の下方の前記表面の少なくとも一部を含む第１の画像を取り込むことであって、前記第１の画像は、前記無人航空機が前記無人航空機の下方の表面上に向かって降下している間に撮像される、前記取り込むことと、
前記少なくとも１つの撮像デバイスにより、前記無人航空機の下方の前記表面の少なくとも一部を含む第２の画像を取り込むことであって、前記第２の画像は、前記無人航空機が前記無人航空機の下方の表面上に向かって降下している間に撮像される、前記取り込むことと
前記第１の画像内に描写された少なくとも複数の点に対応する画素と前記第２の画像内に描写された少なくとも前記複数の点に対応する画素との間の視差を決定することと、
前記視差に基づいて、少なくとも前記着陸領域の復元物を生成することと、
前記復元物に基づいて、前記着陸エリアの空中高さにある少なくとも１つの空中障害物を検出することと、
前記少なくとも１つの空中障害物を検出することに応じて、前記無人航空機の下方の表面上に向かって降下することを停止させることと、
を備える、無人飛行機を操作する方法。
前記無人航空機上に提供された少なくとも１つの撮像デバイスにより、前記無人航空機の下方の表面上の対象標識を探索することと、
前記対象標識の一部に基づいて着陸エリアを定めることと、
前記無人航空機を、前記無人航空機の下方の地表に向かって降下させることと、
前記少なくとも１つの撮像デバイスにより、前記無人航空機の下方の前記表面の少なくとも一部を含む第１の画像を取り込むことであって、前記第１の画像は、前記無人航空機が前記無人航空機の下方の表面上に向かって降下している間に撮像される、前記取り込むことと、
前記少なくとも１つの撮像デバイスにより、前記無人航空機の下方の前記表面の少なくとも一部を含む第２の画像を取り込むことであって、前記第２の画像は、前記無人航空機が前記無人航空機の下方の表面上に向かって降下している間に撮像される、前記取り込むことと
前記第１の画像内に描写された少なくとも複数の点に対応する画素と前記第２の画像内に描写された少なくとも前記複数の点に対応する画素との間の視差を決定することと、
前記視差に基づいて、少なくとも前記着陸領域の復元物を生成することと、
前記復元物に基づいて、前記着陸エリアの空中高さにある少なくとも１つの空中障害物を検出することと、
前記少なくとも１つの空中障害物を検出することに応じて、前記無人航空機の下方の表面上に向かって降下することを停止させることと、
を備える、無人飛行機を操作する方法。
【請求項2】
前記少なくとも１つの空中障害物が電線を含む、請求項１に記載の方法。
【請求項3】
前記少なくとも１つの撮像デバイスが、第１の撮像デバイス及び第２の撮像デバイスを含み、
前記第１の撮像デバイスと前記第２の撮像デバイスとが基線間隔だけ隔離され、
前記第１の画像が前記第１の撮像デバイスによって取り込まれ、
前記第２の画像が前記第２の撮像デバイスによって取り込まれ、
前記着陸エリアの前記復元物を生成することは、
前記複数の点のそれぞれについて、前記第１の画像に描かれた前記複数の点に対応する画素の１つと前記第２の画像に描かれた前記複数の点に対応する画素の１つとの間の距離を算出し、
前記視差は、前記複数の点のそれぞれについて算出された距離に基づいて決定される、請求項１または請求項２に記載の方法。
前記第１の撮像デバイスと前記第２の撮像デバイスとが基線間隔だけ隔離され、
前記第１の画像が前記第１の撮像デバイスによって取り込まれ、
前記第２の画像が前記第２の撮像デバイスによって取り込まれ、
前記着陸エリアの前記復元物を生成することは、
前記複数の点のそれぞれについて、前記第１の画像に描かれた前記複数の点に対応する画素の１つと前記第２の画像に描かれた前記複数の点に対応する画素の１つとの間の距離を算出し、
前記視差は、前記複数の点のそれぞれについて算出された距離に基づいて決定される、請求項１または請求項２に記載の方法。
【請求項4】
前記視差を決定することが、
前記第１の画像及び前記第２の画像のそれぞれをオプティカルフローアルゴリズムに入力として提供することと、
前記オプティカルフローアルゴリズムから、複数のベクトルを含むベクトル場を含む出力を受け取ることとを含み、
前記ベクトルのそれぞれが、前記第１の画像内に描写された前記複数の点に対応する前記画素のうちの１つと前記第２の画像内に描写された前記複数の点に対応する前記画素のうちの１つとの間の視差を表す、
請求項１から請求項３のいずれか一項に記載の方法。
前記第１の画像及び前記第２の画像のそれぞれをオプティカルフローアルゴリズムに入力として提供することと、
前記オプティカルフローアルゴリズムから、複数のベクトルを含むベクトル場を含む出力を受け取ることとを含み、
前記ベクトルのそれぞれが、前記第１の画像内に描写された前記複数の点に対応する前記画素のうちの１つと前記第２の画像内に描写された前記複数の点に対応する前記画素のうちの１つとの間の視差を表す、
請求項１から請求項３のいずれか一項に記載の方法。
【請求項5】
前記視差を決定することが、
前記第１の画像内に描写された前記複数の点に対応する前記画素のそれぞれを前記第２の画像内に描写された前記複数の点に対応する前記画素のうちの１つにマッチングさせることと、
前記第１の画像内に描写された前記複数の点に対応する前記画素のそれぞれについて、前記第２の画像内に描写された前記複数の点に対応する前記画素の前記マッチングされた画素までの間隔を決定することとを含み、
前記複数の点のそれぞれについて算出された前記間隔のそれぞれが前記視差のうちの１つである、
請求項１から請求項３のいずれか一項に記載の方法。
前記第１の画像内に描写された前記複数の点に対応する前記画素のそれぞれを前記第２の画像内に描写された前記複数の点に対応する前記画素のうちの１つにマッチングさせることと、
前記第１の画像内に描写された前記複数の点に対応する前記画素のそれぞれについて、前記第２の画像内に描写された前記複数の点に対応する前記画素の前記マッチングされた画素までの間隔を決定することとを含み、
前記複数の点のそれぞれについて算出された前記間隔のそれぞれが前記視差のうちの１つである、
請求項１から請求項３のいずれか一項に記載の方法。
【請求項6】
前記航空機上に提供された少なくとも１つの撮像デバイスによって、第１の画像を取り込むことであって、前記撮像デバイスの視野が第１の場所において少なくとも１つの表面を含む、前記第１の画像を取り込むことと、
前記少なくとも１つの撮像デバイスによって、第２の画像を取り込むことと、
前記第１の画像又は前記第２の画像の少なくとも一方に基づいて、前記表面に対する前記航空機による機動の実行のための第１の動作エリアを定めることと、
前記第１の画像の第１の複数の画素と前記第２の画像の第２の複数の画素との間の第１の複数の画素視差を決定することであって、前記第１の画像の前記第１の複数の画素のうちの少なくとも一部が、前記第１の画像内に描写された前記第１の動作エリアの点に対応し、前記第２の複数の画素のうちの少なくとも一部が、前記第２の画像内に描写された前記動作エリアの前記点に対応する、前記画素視差を決定することと、
前記第１の複数の画素視差に基づいて、前記第１の動作エリアが少なくとも１つの障害物を含むか否かを前記判定することと、
前記第１の動作エリアが前記少なくとも１つの障害を含むと判定することに応じて、前記航空機の前記機動を中断することと、
を含む方法。
前記少なくとも１つの撮像デバイスによって、第２の画像を取り込むことと、
前記第１の画像又は前記第２の画像の少なくとも一方に基づいて、前記表面に対する前記航空機による機動の実行のための第１の動作エリアを定めることと、
前記第１の画像の第１の複数の画素と前記第２の画像の第２の複数の画素との間の第１の複数の画素視差を決定することであって、前記第１の画像の前記第１の複数の画素のうちの少なくとも一部が、前記第１の画像内に描写された前記第１の動作エリアの点に対応し、前記第２の複数の画素のうちの少なくとも一部が、前記第２の画像内に描写された前記動作エリアの前記点に対応する、前記画素視差を決定することと、
前記第１の複数の画素視差に基づいて、前記第１の動作エリアが少なくとも１つの障害物を含むか否かを前記判定することと、
前記第１の動作エリアが前記少なくとも１つの障害を含むと判定することに応じて、前記航空機の前記機動を中断することと、
を含む方法。
【請求項7】
前記第１の動作エリアが前記少なくとも１つの障害を含まないと判定することに応じて、前記第１の動作エリアにおいて、前記航空機の機動を実行すること、を含む請求項６に記載の方法。
【請求項8】
前記第１の複数の画素視差を決定することが、
前記第１の画像及び前記第２の画像のそれぞれをオプティカルフローアルゴリズムに入力として提供することと、
前記オプティカルフローアルゴリズムから、複数のベクトルを含むベクトル場を含む出力を受け取ることとを含み、
前記複数のベクトルのそれぞれが前記画素視差のうちの１つを表す、請求項６または請求項７に記載の方法。
前記第１の画像及び前記第２の画像のそれぞれをオプティカルフローアルゴリズムに入力として提供することと、
前記オプティカルフローアルゴリズムから、複数のベクトルを含むベクトル場を含む出力を受け取ることとを含み、
前記複数のベクトルのそれぞれが前記画素視差のうちの１つを表す、請求項６または請求項７に記載の方法。
【請求項9】
前記第１の複数の画素視差を決定することが、
前記第１の画像の前記第１の複数の画素のそれぞれを前記第２の画像の前記第２の複数の画素のうちの１つにマッチングさせることと、
前記第１の複数の画素のそれぞれについて、前記第２の画像の前記第２の複数の画素のうちの前記マッチングされた画素までの間隔を決定することとを含み、
前記間隔のそれぞれが前記画素視差のうちの１つに対応する、請求項６または請求項７に記載の方法。
前記第１の画像の前記第１の複数の画素のそれぞれを前記第２の画像の前記第２の複数の画素のうちの１つにマッチングさせることと、
前記第１の複数の画素のそれぞれについて、前記第２の画像の前記第２の複数の画素のうちの前記マッチングされた画素までの間隔を決定することとを含み、
前記間隔のそれぞれが前記画素視差のうちの１つに対応する、請求項６または請求項７に記載の方法。
【請求項10】
前記少なくとも１つの撮像デバイスが、第１の撮像デバイス及び第２の撮像デバイスを含み、
前記第１の撮像デバイスと前記第２の撮像デバイスとが基線間隔だけ隔離され、
前記第１の画像が前記第１の撮像デバイスによって取り込まれ、
前記第２の画像が前記第２の撮像デバイスによって取り込まれ、
前記第１の複数の画素視差に基づいて、前記第１の動作エリアが少なくとも１つの障害物を含むか否かを前記判定することと、
前記第１の複数の画素視差に基づいて、前記第１の動作エリアの各点への距離を計算すること
前記距離に基づき、前記第１の動作エリアの第１の３次元復元物を生成することと、
前記第１の動作エリアの前記第１の３次元復元物に基づいて、前記第１の動作エリアが少なくとも１つの障害物を含むかどうかを判定されることとを含む請求項６から請求項９のいずれか一項に記載の方法。
前記第１の撮像デバイスと前記第２の撮像デバイスとが基線間隔だけ隔離され、
前記第１の画像が前記第１の撮像デバイスによって取り込まれ、
前記第２の画像が前記第２の撮像デバイスによって取り込まれ、
前記第１の複数の画素視差に基づいて、前記第１の動作エリアが少なくとも１つの障害物を含むか否かを前記判定することと、
前記第１の複数の画素視差に基づいて、前記第１の動作エリアの各点への距離を計算すること
前記距離に基づき、前記第１の動作エリアの第１の３次元復元物を生成することと、
前記第１の動作エリアの前記第１の３次元復元物に基づいて、前記第１の動作エリアが少なくとも１つの障害物を含むかどうかを判定されることとを含む請求項６から請求項９のいずれか一項に記載の方法。
【請求項11】
前記第１の３次元復元物に対してガウシアンフィルタの差分を実行することと、
前記第１の動作エリアが前記少なくとも１つの障害物を含むかどうかを判定することと、
前記フィルタリングされた第１の３次元復元物に基づいて、前記第１の動作エリアが少なくとも１つの障害物を含むかどうかを判定することとを含む請求項１０に記載の方法。
前記第１の動作エリアが前記少なくとも１つの障害物を含むかどうかを判定することと、
前記フィルタリングされた第１の３次元復元物に基づいて、前記第１の動作エリアが少なくとも１つの障害物を含むかどうかを判定することとを含む請求項１０に記載の方法。
【請求項12】
前記少なくとも１つの撮像デバイスが、第１の撮像デバイスを含み、
第１の時刻に、前記第１の画像が前記第１の撮像デバイスによって取り込まれ、
第２の時刻に、前記第２の画像が前記第１の撮像デバイスによって取り込まれることを含む請求項６から請求項９のいずれか一項に記載の方法。
第１の時刻に、前記第１の画像が前記第１の撮像デバイスによって取り込まれ、
第２の時刻に、前記第２の画像が前記第１の撮像デバイスによって取り込まれることを含む請求項６から請求項９のいずれか一項に記載の方法。
【請求項13】
前記第１の画像が第１の時刻に取り込まれ、前記第２の画像が前記第１の時刻に取り込まれ、
前記第１の動作エリアが前記少なくとも１つの障害物を含むと判定することに応じて、
前記航空機による前記機動の実行中に前記少なくとも１つの撮像デバイスにより、第２の時刻に第３の画像を取り込むことと、
前記航空機による前記機動の実行中に前記少なくとも１つの撮像デバイスにより、前記第２の時刻に第４の画像を取り込むことと、
前記第３の画像または前記第４の画像の少なくとも一方に基づいて、前記表面に関する機動の実行のための第２の動作エリアを定義することと、
前記第３の画像の第３の複数の画素と前記第４の画像の第４の複数の画素との間の第２の複数の画素視差を決定することであって、前記第３の画像の前記第３の複数の画素のうちの少なくとも一部が、前記第３の画像内に描写された前記第２の動作エリアの点に対応し、前記第４の複数の画素のうちの少なくとも一部が、前記第４の画像内に描写された前記第２の動作エリアの前記点に対応する、前記決定することと、
少なくとも前記第２の複数の画素視差に基づいて、前記第２の動作エリアが少なくとも１つの障害物を含むかどうかを判定することと、
前記第１の動作エリアが前記少なくとも１つの障害物を含まないと判定することに応じて、前記第２の動作エリアにおいて、前記航空機の機動を実行することと、を備える請求項６から請求項１２のいずれか一項に記載の方法。
前記第１の動作エリアが前記少なくとも１つの障害物を含むと判定することに応じて、
前記航空機による前記機動の実行中に前記少なくとも１つの撮像デバイスにより、第２の時刻に第３の画像を取り込むことと、
前記航空機による前記機動の実行中に前記少なくとも１つの撮像デバイスにより、前記第２の時刻に第４の画像を取り込むことと、
前記第３の画像または前記第４の画像の少なくとも一方に基づいて、前記表面に関する機動の実行のための第２の動作エリアを定義することと、
前記第３の画像の第３の複数の画素と前記第４の画像の第４の複数の画素との間の第２の複数の画素視差を決定することであって、前記第３の画像の前記第３の複数の画素のうちの少なくとも一部が、前記第３の画像内に描写された前記第２の動作エリアの点に対応し、前記第４の複数の画素のうちの少なくとも一部が、前記第４の画像内に描写された前記第２の動作エリアの前記点に対応する、前記決定することと、
少なくとも前記第２の複数の画素視差に基づいて、前記第２の動作エリアが少なくとも１つの障害物を含むかどうかを判定することと、
前記第１の動作エリアが前記少なくとも１つの障害物を含まないと判定することに応じて、前記第２の動作エリアにおいて、前記航空機の機動を実行することと、を備える請求項６から請求項１２のいずれか一項に記載の方法。
【請求項14】
前記表面に対する前記航空機による機動の実行のための前記第１の動作エリアを定めることが、
前記第１の画像または前記第２の画像のうちの前記少なくとも一方内で前記少なくとも１つの表面上の少なくとも１つの対象標識を検出することと、
前記少なくとも１つの対象標識の少なくとも１つの属性を認識することと、
前記少なくとも１つの属性に基づいて前記少なくとも１つの対象標識と関連付けられた前記少なくとも１つの点を選択することと、を含み、
前記第１の動作エリアが、前記少なくとも１つの点からの所定の半径を有する円である、請求項６から請求項１３のいずれか一項に記載の方法。
前記第１の画像または前記第２の画像のうちの前記少なくとも一方内で前記少なくとも１つの表面上の少なくとも１つの対象標識を検出することと、
前記少なくとも１つの対象標識の少なくとも１つの属性を認識することと、
前記少なくとも１つの属性に基づいて前記少なくとも１つの対象標識と関連付けられた前記少なくとも１つの点を選択することと、を含み、
前記第１の動作エリアが、前記少なくとも１つの点からの所定の半径を有する円である、請求項６から請求項１３のいずれか一項に記載の方法。
【請求項15】
前記第１の動作エリアが少なくとも１つの障害物を含むか否かを前記判定することは、
前記第１の画像の前記第１の複数の画素のそれぞれについて、前記第１の画像の前記第１の複数の画素のうちの１つの強度値と前記第２の画像の前記第２の複数の画素のうちの対応する１つの強度値との差を決定することと、
前記強度値との差に基づいて差分画像を生成することと、
前記差分画像のためのスコアを算出することであって、前記第１の画像の前記第１の複数の画素のうちの前記１つと前記第２の画像の前記第２の複数の画素の前記対応する１つとの間の前記強度値のピーク差、平均差またはメディアン差のうちの少なくとも１つを含む、前記スコアを算出することと、
前記スコアが所定の閾値を超えていると判定することと、
前記スコアが前記所定の閾値を超えていると判定したことに応じて、前記航空機の機動を停止することと、を含む請求項６から請求項１４のいずれか一項に記載の方法。
前記第１の画像の前記第１の複数の画素のそれぞれについて、前記第１の画像の前記第１の複数の画素のうちの１つの強度値と前記第２の画像の前記第２の複数の画素のうちの対応する１つの強度値との差を決定することと、
前記強度値との差に基づいて差分画像を生成することと、
前記差分画像のためのスコアを算出することであって、前記第１の画像の前記第１の複数の画素のうちの前記１つと前記第２の画像の前記第２の複数の画素の前記対応する１つとの間の前記強度値のピーク差、平均差またはメディアン差のうちの少なくとも１つを含む、前記スコアを算出することと、
前記スコアが所定の閾値を超えていると判定することと、
前記スコアが前記所定の閾値を超えていると判定したことに応じて、前記航空機の機動を停止することと、を含む請求項６から請求項１４のいずれか一項に記載の方法。
【請求項16】
前記障害物は、少なくとも１本の電線からなり
前記電線は、前記第１の動作エリアの少なくとも一部の上またはその近傍に吊り下げられていることとを含む、請求項６から請求項１５のいずれか一項に記載の方法。
前記電線は、前記第１の動作エリアの少なくとも一部の上またはその近傍に吊り下げられていることとを含む、請求項６から請求項１５のいずれか一項に記載の方法。
【請求項17】
前記航空機と関連付けられた少なくとも１つのトランシーバにより、前記航空機による機動の実行のための目的地に関する情報を受信することであって、前記情報は少なくとも１つの目的地地点の識別名を含み、前記機動は少なくとも１つの着陸、少なくとも１つの第１のアイテムの配送もしくは少なくとも１つの第２のアイテムの回収を含む、前記情報を受信することと、
前記航空機と関連付けられた少なくとも１つのセンサにより、前記少なくとも１つの点の付近内に前記航空機があると判定することと、をさらに備え、
前記少なくとも１つの点の前記付近内に前記航空機があると判定することに応じて、前記第１の画像及び前記第２の画像が取り込まれる、請求項６から請求項１６のいずれか一項に記載の方法。
前記航空機と関連付けられた少なくとも１つのセンサにより、前記少なくとも１つの点の付近内に前記航空機があると判定することと、をさらに備え、
前記少なくとも１つの点の前記付近内に前記航空機があると判定することに応じて、前記第１の画像及び前記第２の画像が取り込まれる、請求項６から請求項１６のいずれか一項に記載の方法。
【請求項18】
無人航空機に搭載された前記第１の撮像デバイスにより、前記第１の画像が第１の時刻に取り込むことと、
前記無人航空機に搭載された前記第２の撮像デバイスにより、前記第２の画像がほぼ前記第１の時刻に取り込むことと、
オプティカルフローアルゴリズム、またはステレオマッチングアルゴリズムの少なくとも１つに関連する前記第１の画像と前記第２の画像との間の第１の複数の画素視差を決定することと、
前記第１の複数の画素視差に基づき、少なくとも１つの地上の障害を含まない少なくとも１つの第１の地上の位置を識別することと、
前記無人航空機を前記第１の地上の位置に向けて降下させることと、
前記第１の時刻に続き、第２の時刻に、前記第１の撮影デバイスによって、前記第３の画像を取り込むことと、
前記第２の時刻に前記第２の撮影デバイスによって前記第４の画像を取り込むことと、
前記オプティカルフローアルゴリズム、または前記ステレオマッチングアルゴリズムのうち少なくとも一方に従って、前記第３の画像と前記第４の画像との間の前記第２の複数の画素視差を決定することと、
前記第２の複数の画素視差に基づいて、少なくとも１つの空中障害物を特定することと、
前記少なくとも１つの空中障害物を特定することに応答して、前記無人航空機の降下を停止させることと、を備える方法。
前記無人航空機に搭載された前記第２の撮像デバイスにより、前記第２の画像がほぼ前記第１の時刻に取り込むことと、
オプティカルフローアルゴリズム、またはステレオマッチングアルゴリズムの少なくとも１つに関連する前記第１の画像と前記第２の画像との間の第１の複数の画素視差を決定することと、
前記第１の複数の画素視差に基づき、少なくとも１つの地上の障害を含まない少なくとも１つの第１の地上の位置を識別することと、
前記無人航空機を前記第１の地上の位置に向けて降下させることと、
前記第１の時刻に続き、第２の時刻に、前記第１の撮影デバイスによって、前記第３の画像を取り込むことと、
前記第２の時刻に前記第２の撮影デバイスによって前記第４の画像を取り込むことと、
前記オプティカルフローアルゴリズム、または前記ステレオマッチングアルゴリズムのうち少なくとも一方に従って、前記第３の画像と前記第４の画像との間の前記第２の複数の画素視差を決定することと、
前記第２の複数の画素視差に基づいて、少なくとも１つの空中障害物を特定することと、
前記少なくとも１つの空中障害物を特定することに応答して、前記無人航空機の降下を停止させることと、を備える方法。
【請求項19】
前記第１の地上の位置を識別することは、
前記第１の複数の画素視差に基づいて、前記第１の３次元復元物を生成し、前記第１の地上の位置が、前記第１の３次元復元物に基づいて識別され、
前記少なくとも１つの空中障害物を特定することは、
前記第２の複数の画素視差に基づく第２の３次元復元物を生成し、前記少なくとも１つの空中障害物が、前記第２の３次元復元物に基づいて特定される、請求項１８に記載の方法。
前記第１の複数の画素視差に基づいて、前記第１の３次元復元物を生成し、前記第１の地上の位置が、前記第１の３次元復元物に基づいて識別され、
前記少なくとも１つの空中障害物を特定することは、
前記第２の複数の画素視差に基づく第２の３次元復元物を生成し、前記少なくとも１つの空中障害物が、前記第２の３次元復元物に基づいて特定される、請求項１８に記載の方法。
【請求項20】
前記第１の地上の位置を識別することは、
前記第１の複数の画素視差に基づく第１の差分画像を生成し、前記第１の差分画像に基づき、前記第１の地上の位置を識別させ、
前記少なくとも１つの空中障害物を特定することは、
前記第２の複数の画素視差に基づいて第２の差分画像を生成し、前記少なくとも１つの空中障害物が前記第２の差分画像内で特定される、請求項１８または請求項１９に記載の方法。
前記第１の複数の画素視差に基づく第１の差分画像を生成し、前記第１の差分画像に基づき、前記第１の地上の位置を識別させ、
前記少なくとも１つの空中障害物を特定することは、
前記第２の複数の画素視差に基づいて第２の差分画像を生成し、前記少なくとも１つの空中障害物が前記第２の差分画像内で特定される、請求項１８または請求項１９に記載の方法。
【請求項21】
さらに、前記無人航空機の位置の横方向変位を生じさせることを備え、
前記第１の画像と前記第２の画像のそれぞれは、横方向変位を生じさせる前に撮影され、
前記第３の画像と前記第４の画像のそれぞれは、横方向変位に追従して撮影される、請求項１８から請求項２０のいずれか一項に記載の方法。
前記第１の画像と前記第２の画像のそれぞれは、横方向変位を生じさせる前に撮影され、
前記第３の画像と前記第４の画像のそれぞれは、横方向変位に追従して撮影される、請求項１８から請求項２０のいずれか一項に記載の方法。
【請求項22】
さらに、
前記第２の時刻に続く第３の時刻に、前記第１の撮像デバイスによって第５の画像を撮像することと、
前記第３の時刻に、前記第２の撮像デバイスによって、第６の画像を撮像することと、
オプティカルフローアルゴリズムまたはステレオマッチングアルゴリズムの少なくとも１つに従って、前記第５の画像と前記第６の画像との間の第３の複数の画素視差を決定することと、
前記第３の複数の画素視差に基づき、少なくとも第２の地上の位置を特定することであって、前記無人航空機と前記第２の地上の位置との間の領域に、空中障害物を含まない、前記第２の地上の位置を特定することと、
前記第２の地上の位置に向けて前記無人航空機を降下させることと、を備える請求項１８から請求項２１のいずれか一項に記載の方法。
前記第２の時刻に続く第３の時刻に、前記第１の撮像デバイスによって第５の画像を撮像することと、
前記第３の時刻に、前記第２の撮像デバイスによって、第６の画像を撮像することと、
オプティカルフローアルゴリズムまたはステレオマッチングアルゴリズムの少なくとも１つに従って、前記第５の画像と前記第６の画像との間の第３の複数の画素視差を決定することと、
前記第３の複数の画素視差に基づき、少なくとも第２の地上の位置を特定することであって、前記無人航空機と前記第２の地上の位置との間の領域に、空中障害物を含まない、前記第２の地上の位置を特定することと、
前記第２の地上の位置に向けて前記無人航空機を降下させることと、を備える請求項１８から請求項２１のいずれか一項に記載の方法。
【請求項23】
前記空中障害物は、電線を含む、請求項１８から請求項２２のいずれか一項に記載の方法。
【発明の詳細な説明】
【背景技術】
【0001】
無人航空機（すなわち「ＵＡＶ」）は、現在、ますます増えているモニタリング作業、監視作業及び配送作業において用いられている、最新の、用途の広い機械である。無人航空機は、空間内のある点（例えば、地上の点、または代替として、水上もしくは空上の点）から空間内の別の点に、地表の少なくとも一部の上方を移動することによって航空機が移動する前方飛行モード（または実質的に水平な飛行モード）を含む２つ以上の飛行モードで動作するように構成されてもよい。無人航空機はまた、航空機が、地表に実質的に垂直に、ある高度から別の高度に、垂直方向にもしくは実質的に垂直方向に（例えば、地上、水上もしくは空中の第１の点から空中の第２の点に、上方もしくは下方に、もしくはその逆に）移動する、または地表の上方の水平位置もしくは横方向位置の変化をごくわずかなものとしてホバリングする（例えば、実質的に一定の高度を保つ）垂直飛行モードに従うように構成されてもよい。無人航空機は、更に、例えば、無人航空機の位置が水平方向と垂直方向との両方で変化するハイブリッドモードにおいて、前方飛行モードと垂直飛行モードとの両方で動作するように構成されてもよい。揚力及び推進力は、一般に、１つ以上のプロペラ、または飛行動作中、数千の毎分回転数の角速度で回転し得る、ハブの周りに取り付けられ、原動機のシャフトまたは他の構成要素に結合された羽根を有するデバイスを用いて無人航空機に加えられる。
【0002】
無人航空機は、多くの場合、航空機の誘導もしくは自律動作を支援するために、航空機が所与の場所に到着した、もしくはその場所を通過したときを、もしくは１つ以上の構造物、地物、物体もしくは人間（もしくは他の動物）の範囲内にあるときを判定するために、監視もしくはモニタリング動作を実施するために、または、任意の他の目的のために用いられ得るデジタルカメラなどの１つ以上の撮像デバイスを備える。
【0003】
水平飛行モードから垂直飛行モードに移行し、着陸するために、例えば、ペイロードを配送もしくは回収するために、または他の任意の理由のために準備をするとき、無人航空機は、無人航空機のための指定された着陸エリアに障害物がないかどうかを判定しなければならない。人間、動物、構造物または破片などの、１つ以上の障害物を着陸エリアが含む場合、着陸エリアに着陸することを試みる無人航空機は、無人航空機自体のみならず、１つ以上の人間または他の動物への損傷または１つ以上の構造物への損害を引き起こす危険がある。着陸エリアが、十分に大きい１つ以上の障害物を含む、または着陸エリアの表面の色もしくはテクスチャとは別である１つ以上の色もしくはテクスチャを有する表面を含む場合、このような障害物は、無人航空機によって取り込まれた視覚的撮像データにおいて容易に識別され得る。しかしながら、着陸エリアが、小さい空間的範囲を有する、または着陸エリアの表面の色もしくはテクスチャと類似している、もしくは一致している色もしくはテクスチャを有する表面を特徴とする１つ以上の障害物を含む場合、このような障害物は、航空機によって取り込まれた１つ以上の視覚的撮像データにおいて容易に識別され得ず、しかも無人航空機の安全動作及び保全性に相当な危険を及ぼし得る。
【図面の簡単な説明】
【0004】
【図1A】本開示の実施形態にしたがった対象物検出及び回避のための１つのシステムの態様の図である。
【図1B】本開示の実施形態にしたがった対象物検出及び回避のための１つのシステムの態様の図である。
【図1C】本開示の実施形態にしたがった対象物検出及び回避のための１つのシステムの態様の図である。
【図1D】本開示の実施形態にしたがった対象物検出及び回避のための１つのシステムの態様の図である。
【図1E】本開示の実施形態にしたがった対象物検出及び回避のための１つのシステムの態様の図である。
【図1F】本開示の実施形態にしたがった対象物検出及び回避のための１つのシステムの態様の図である。
【図1G】本開示の実施形態にしたがった対象物検出及び回避のための１つのシステムの態様の図である。
【図1H】本開示の実施形態にしたがった対象物検出及び回避のための１つのシステムの態様の図である。
【図1I】本開示の実施形態にしたがった対象物検出及び回避のための１つのシステムの態様の図である。
【図2】本開示の実施形態にしたがった対象物検出及び回避のための１つのシステムのブロック図である。
【図3】本開示の実施形態にしたがった対象物検出及び回避のための１つのプロセスのフローチャートである。
【図4】本開示の実施形態にしたがった対象物検出及び回避のための１つのシステムの態様の図である。
【図5】本開示の実施形態にしたがった対象物検出及び回避のための１つのシステムの態様の図である。
【図6】本開示の実施形態にしたがった対象物検出及び回避のための１つのシステムの態様の図である。
【図7A】本開示の実施形態にしたがった対象物検出及び回避のための１つのシステムの図である。
【図7B】本開示の実施形態にしたがった対象物検出及び回避のための１つのシステムの図である。
【発明を実施するための形態】
【0005】
後で更に詳細に記載するように、本開示は、無人航空機を対象とし、このような機のための着陸エリアの中またはその周辺に位置する障害物（または障害）を自動的に検出及び回避するように無人航空機は構成される。より詳しくは、本明細書で開示されるシステム及び方法の１つ以上は、航空機上に提供された１つ以上の画像を用いて着陸エリアの２つ以上の画像を取り込むこと、及び着陸エリアに障害物がないかどうか、または着陸エリアにおいて試みられた着陸動作が変更または中止されるべきかどうかを判定するためにこのような画像を分析することを対象とする。画像は、画像内の画素の対応する領域間の視差を決定するために処理され得る。いくつかの実施形態では、画素視差は、オプティカルフローアルゴリズム、マッチングアルゴリズムにしたがって、または他の任意の技術によって決定されてもよい。いくつかの実施形態では、画素視差は、粗密の細密化技術によって決定されてもよい。その場合、画像は、対応する組の画素間の視差を決定するために、ダウンサンプリングされ、低い解像度で最初に処理される。画像は、次いで、層においてアップサンプリングされ、徐々により高いレベルの解像度で処理され、画素視差は、画像がその元の最大レベルの解像度になるまで修正される。
【0006】
航空機によって取り込まれた画像から決定された画素視差は、着陸エリアの３次元復元物を生成すること及び個々の画像に基づいて差分画像を算出することを含む、複数の目的のために用いられてもよい。本開示のいくつかの実施形態によれば、着陸エリアが平坦かつ滑らかであることを３次元復元物が示している場合、及び差分画像が着陸エリア全体で目立たないと判定された場合、着陸エリアには障害物（または障害）が入っていないと判定され得る。着陸エリアが平坦でもなく滑らかでもないことを３次元復元物が示している場合、または１つ以上の障害物（または障害）が着陸エリアにおいて存在することを差分画像が示している場合、航空機は、着陸動作を中止してもよく、代替の着陸エリアにおいて着陸動作を実行することを試みてもよく、航空機によって取り込まれた画像に基づいて代替の着陸エリアを検索してもよく、またはそれに応じて任意の他の関連する措置を取ってもよい。
【0007】
図１Ａ～１Ｉを参照して、本開示の実施形態にしたがった対象物検出及び回避のためのシステム１００を示す。図１Ａ及び１Ｂに示すように、システム１００は、着陸表面上に対象標識１６０がある目的地１７０（例えば、品物の配送を受け得る住宅もしくは他の住居、オフィスビルまたは任意の他の施設）に接近している航空機１１０を含む。フェンス（または壁）１７５－１、木（または他の自然の植物）１７５－２、１本以上の電線１７５－３、自転車１７５－４（または他の対象物）、自動車１７５－５及び複数の電柱１７５－６を含む、複数の障害物（または障害）１７５－１、１７５－２、１７５－３、１７５－４、１７５－５、１７５－６が対象標識１６０の付近内に存在する。障害物１７５－１、１７５－２、１７５－３、１７５－４、１７５－５、１７５－６は、本質的には静的または動的であってもよく、例えば、それらの個々の位置に固定されている、または可動である。
【0008】
航空機１１０は、前方飛行モード及び／もしくは垂直飛行モード、またはホバリングモードで動作するように構成された任意の有人もしくは無人航空機であってもよい。図１Ａ及び１Ｂの航空機１１０は、対の撮像デバイス（例えば、デジタルカメラ）１４０－１、１４０－２及び距離計１５０を含む。撮像デバイス１４０－１、１４０－２は、航空機の１つ以上の主軸に関して、垂直下方の方位に、または実質的に垂直下方の方位に整列され、航空機１１０の下方に位置する１つ以上の表面または他の対象物に関する撮像データを取り込むように構成される。距離計１５０は、航空機１１０の高度、または航空機１１０の下方に位置する１つ以上の表面もしくは他の対象物までの間隔を決定するための、例えば、高度計、レーザー距離計、別の撮像デバイス、レーダシステム、音響システム、全地球測位システム（すなわち「ＧＰＳ」）トランシーバ、または任意の他の構成要素といった、任意のデバイスであってもよい。
【0009】
図１Ｂに示すように、航空機１１０が所定の高度閾値に到達したとき、航空機１１０は着陸エリアにおいて障害物の検索を開始してもよい。例えば、図１Ｂに示すように、航空機１１０は、距離センサ１５０または任意のデバイスを用いて高度ｚに到達したと判定してもよく、目的地１７０の１つ以上の属性もしくは航空機１１０の任務、航空機１１０の任意の動作上の考慮事項、または任意の他の根拠（例えば、目的地１７０の近くの一般的な気象条件）を含む、任意の根拠によって定められ得る閾値と高度ｚとを比較してもよい。航空機１１０の高度ｚが所定の高度閾値内にあることを確認した直後に、航空機１１０は、対象標識１６０の検索を開始してもよく、目的地１７０における着陸エリアを評価してもよい。
【0010】
図１Ａ及び１Ｂに示すように、航空機１１０は、任意のシステム、方法または技術を用いて対象標識１６０の探索及び認識を行ってもよい。例えば、航空機１１０は、目的地１７０の付近内の表面の１つ以上の画像を取り込んでもよく、このような１つ以上の画像内の対象標識１６０の１つ以上の辺、輪郭、外形、色、テクスチャ、シルエット、形態または他の特性を認識してもよい。いくつかの実施形態では、対象標識１６０は、例えば、航空機１１０の着陸が所望される目的地１７０における１人以上の人員または１つ以上の機械によって表面上に敷設され得るマット、タープ、シートまたは任意の他のカバーの形態を取ってもよい。対象標識１６０は、対象標識１６０と対象標識１６０が施される目的地１７０の表面との間の境界を提供するために、可撓性であり、かつ十分に耐久性がある任意の材料から形成されてもよい。このような材料には、限定されるものではないが、天然もしくは合成の繊維（例えば、織布もしくは不織布の繊維）または他の基材が含まれる。いくつかの他の実施形態では、対象標識１６０は、塗料、インク、チョークまたは任意の他の材料から形成されてもよい。対象標識１６０は、限定されるものではないが、撮像デバイス１４０－１、１４０－２のいずれかまたは両方を含む航空機１１０上の１つ以上のセンサによって認識され得る１つ以上の英数字、シンボル、バーコード（例えば、「ＱＲ」コードなどの、１次元もしくは２次元のバーコード）または他のマーキングもしくは印を更に含んでもよい。なお他の実施形態では、対象標識１６０は、例えば、駐車場またはその識別名、マンホールカバー、水道主弁カバーなどの公共構造物など、目的地１７０における天然または既存の対象物または人工物であってもよい。
【0011】
いくつかの実施形態では、対象標識１６０は、撮像デバイス１４０－１、１４０－２単体のいずれかまたは両方によって取り込まれた画像の分析に基づいて認識されてもよい。いくつかの実施形態では、対象標識１６０は、１つ以上の信号を航空機１１０に送信する、または１つ以上の信号を航空機１１０から受信するように構成された１つ以上のシステムまたは構成要素を装備してもよく、この航空機は、次いで、このような信号の１つ以上に基づいて対象標識１６０を検出及び／または認識し得る。例えば、対象標識１６０は、１つ以上の赤外線エミッタまたは赤外線レシーバ、音響エミッタまたは音響レシーバ、Ｗｉ－Ｆｉ対応デバイス、ブルートゥース（登録商標）対応デバイス、ＲＦＩＤ対応デバイスなどを備えてもよい。対象標識１６０によって送信及び／または受信された信号は、対象標識１６０の位置、または代替として、航空機１１０の高度ｚを決定するために航空機１１０によって用いられてもよい。いくつかの実施形態では、対象標識１６０は、対象標識１６０によって航空機１１０に送信された、または航空機１１０から対象標識１６０によって受信された１つ以上の信号と共に、撮像デバイス１４０－１、１４０－２のいずれかまたは両方によって取り込まれた画像の分析に基づいて認識されてもよい。
【0012】
航空機１１０は、目的地１７０における対象標識１６０を検出した直後に着陸エリア１６５を定めてもよい。例えば、図１Ｃに示すように、対象標識１６０の中心Ｏは、例えば、撮像デバイス１４０－１、１４０－２の１つ以上の属性（例えば、焦点距離）、高度ｚもしくは対象標識１６０の１つ以上の寸法、または任意の他の要因に基づき、撮像デバイス１４０－１、１４０－２によって取り込まれた１つ以上の画像から決定されてもよい。中心のＯが一旦決定されると、着陸エリア１６５は、中心Ｏからの所定の半径ｒを有する円として定められてもよい。所定の半径ｒは、例えば、安全性及び／もしくは精度のための１つ以上のマージンを加味した、航空機１１０の最大幅もしくは他の寸法といった、航空機１１０の１つ以上の属性、または航空機１１０もしくはこの航空機によって実行されている任務の１つ以上の属性に基づいて決定されてもよい。所定の半径ｒは任意の値を有してもよい。いくつかの実施形態では、所定の半径ｒはほぼ３メートル（３ｍ）であり得る。いくつかの他の実施形態では、着陸エリア１６５は、正方形、長方形、三角形または任意の多角形もしくは他の形状など、円の形状以外の任意の形状を有してもよい。着陸エリア１６５は、完全に平坦であり、許容可能な勾配があるとみなされてもよい。
【0013】
代替として、いくつかの実施形態では、着陸エリア１６５は、任意の手法で定められてもよく、任意の識別された位置に基づいてもよい。例えば、航空機１１０は、特定の点に移動するように構成されてもよく、１つ以上のＧＰＳ信号に基づいて、または任意の他の手法で特定の点に到着したと判定した直後に、その特定の点に基づいて着陸エリア１６５を定めてもよい。例えば、航空機１１０は、着陸エリア１６５を、その特定の点からの所定の半径を有する円として、またはその特定の点に関する任意の他の形状（例えば、正方形、長方形、三角形もしくは任意の多角形もしくは他の形状）として定めてもよい。
【0014】
図１Ｄに示すように、対象標識１６０が検出され、着陸エリア１６５が定められた後、または着陸エリア１６５が任意の他の根拠によって定められた後、航空機１１０は、航空機１１０が着陸エリア１６５に下降するにつれて複数の画像を取り込んでもよい。撮像デバイス１４０－１、１４０－２は、対象標識１６０及び着陸エリア１６５を含み、少なくとも部分的に重複する視野と整列されてもよく、例えば、毎秒１０フレームといった任意のフレームレートで画像を取り込むように構成されてもよい。代替として、航空機１１０は、着陸エリア１６５を含む視野と整列された単一の撮像デバイスを特徴としてもよく、航空機１１０が着陸エリア１６５に下降するにつれて、例えば、毎秒１０フレームといった任意のフレームレート画像を取り込むように構成される。航空機１１０が単一の撮像デバイスを含むいくつかの実施形態では、航空機１１０は、航空機１１０が着陸エリア１６５に下降するにつれて、１つ以上の位置の横方向変位をなし得る。
【0015】
撮像デバイス１４０－１、１４０－２によって取り込まれた対の画像は、画像のそれぞれ内に現れる対応する画素間の任意の視差を決定するために処理されてもよい。図１Ｅに示すように、撮像デバイス１４０－１によって取り込まれた画像１４５－１及び撮像デバイス１４０－２によって取り込まれた画像１４５－２は、それぞれ、対象標識１６０、着陸エリア１６５、及び障害物１７５－３、１７５－４の一部を含む。例えば、画像１４５－１、１４５－２内に示されているように、電線１７５－３のうちの１本以上が着陸エリア１６５の一部の上を通過し、自転車１７５－４が着陸エリア１６５の周辺に存在する。
【0016】
画像１４５－１、１４５－２は、画像１４５－１、１４５－２のそれぞれ内に現れる対応する画素間の視差を決定するために処理されてもよい。いくつかの実施形態では、画像１４５－１、１４５－２を入力として受信し、オプティカルフローアルゴリズムの出力として画像のそれぞれ内に現れている画素間の水平及び／または垂直の視差を判定するオプティカルフローアルゴリズム。このような出力は、画像１４５－１、１４５－２のそれぞれ内に現れている点の間の視差を示す視差画像、または代替として、画像１４５－１、１４５－２のそれぞれ内に現れている点の間の水平変位（例えば、水平視差）を示す変位画像、及び／もしくは画像１４５－１、１４５－２のそれぞれ内に現れている点の間の垂直パララックス（例えば、垂直視差）を示すパララックス画像を含んでもよい。
【0017】
他の実施形態では、画像１４５－１、１４５－２は、ステレオマッチングアルゴリズムにしたがって処理されてもよい。このような実施形態では、画像１４５－１、１４５－２のそれぞれ内に現れている対応する画素間の任意の垂直パララックスを除去するために、撮像デバイス１４０－１、１４０－２は、好ましくはキャリブレーションされ、画像１４５－１、１４５－２は、好ましくは、例えば、画像１４５－１、１４５－２を共通の平面内に配置するための１つ以上の補正プロセスにしたがって前処理される。その結果、ステレオマッチングアルゴリズムの出力は、画像１４５－１、１４５－２のそれぞれ内に現れている対応する画素間の変位（例えば、水平視差）のみを描写する。
【0018】
いくつかの実施形態では、個々の画像１４５－１、１４５－２のそれぞれ内に現れている点の間の対応関係を決定するための画像１４５－１、１４５－２の処理は、最初に粗いレベルで、例えば、画像１４５－１、１４５－２のダウンサンプリングされたバージョンに対して低レベルの解像度で実行されてもよく、次に、画像１４５－１、１４５－２のそれぞれに基づいて画素の対応関係がそれらの元の最も高いレベルの解像度で決定されるまで、画像１４５－１、１４５－２の徐々にアップサンプリングされたバージョンに対し、次第により高いレベルの複数の解像度のそれぞれに対して最急降下法の更新ステップで実行されてもよい。いくつかの実施形態では、粗いレベルの解像度における第１の処理の後、画像１４５－１、１４５－２のそれぞれは、画像１４５－１、１４５－２がそれらの元の最も高いレベルの解像度で処理されるまで、例えば、２倍または別の倍数で、徐々にアップサンプリングされてもよい。
【0019】
例えば、オプティカルフローアルゴリズムまたはマッチングアルゴリズムにより、画像１４５－１、１４５－２のそれぞれ内に現れている点に対応する画素間の視差が一旦決定されたら、その視差は、着陸エリア１６５を３次元で構築する（または復元する）ために用いられてもよい。例えば、図１Ｆに示すように、画像１４５－１、１４５－２の両方内に現れている点Ｐｉのそれぞれは、画像１４５－１、１４５－２が取り込まれたとき、それらの個々の視差ｄｉだけではなく、撮像デバイス１４０－１、１４０－２間の基線間隔ｂにも基づいて構築され得る。それに応じて、航空機１１０とこのような点Ｐｉのそれぞれとの間の間隔ｚｉが決定されてもよい。画像１４５－１、１４５－２の両方内に現れている複数の点について決定された、このような間隔ｚｉを用いて、着陸エリア１６５及びその周囲の３次元表面マップが構築されてもよい。図１Ｇに示すように、着陸エリア１６５の表面マップ１１５の上面図及び側面図が示される。表面マップ１１５は、画像１４５－１、１４５－２の面内の視差の誤差を示す。表面マップ１１５は、次いで、着陸エリア１６５と比較されてもよい。この着陸エリアは、平坦であり、かつ障害がないと推定される。視差の誤差を全く含まない表面マップ１１５の一部は、平坦であり、かつ障害を含まない着陸エリア１６５の一部に対応する。しかしながら、表面マップ１１５内で識別されたいかなる不連続性無人航空機を対象とするも、着陸エリア１６５における１つ以上の障害を示し得る。例えば、図１Ｇに示すように、表面マップ１１５は、オプティカルフローアルゴリズム、ステレオマッチングアルゴリズムにしたがって画像１４５－１、１４５－２の間で識別された視差に基づき、または任意の他の根拠により、着陸エリア１６５における障害物、すなわち高さｈ１７５－４の自転車１７５－４の存在を示す。
【0020】
加えて、画像１４５－１、１４５－２内に現れている画素間の視差はまた、差分画像１２５を算出するために用いられてもよい。差分画像１２５は、画像１４５－１、１４５－２の絶対強度を減算することによって、または画像１４５－１、１４５－２の強度勾配を導出し、それらの強度勾配を互いに比較することによって算出されてもよい。例えば、図１Ｈに示すように、画素視差が決定された後、入力画像（例えば、画像１４５－１または画像１４５－２のうちの一方）を出力画像（例えば、画像１４５－１または画像１４５－２のうちの他方）の上にワープすることにより、差分画像１２５が得られ得る。この差分画像は、左視からと右視からとの電線１７５－３の外観の差を示す。代替として、画像１４５－１、１４５－２のそれぞれは、新しい（例えば、第３の）座標フレームに、個別にワープされてもよい。差分画像１２５は、図１Ｇの表面マップ１１５など、着陸エリア１６５の復元物内に現れていない場合がある、小さい空間的範囲を有する障害物を検出するために用いられてもよい。任意選択で、差分画像１２５を算出する前に、画像１４５－１、１４５－２のいずれかまたは両方は、個々の画像１４５－１、１４５－２内の輝度または他の視覚的効果の変動を補償するために処理されてもよい。いくつかの実施形態では、差分画像１２５の１つ以上の態様に基づいて、例えば、差分画像１２５の１つ以上の画素、すなわち画像１４５－１、１４５－２のうちの一方の画素と画像１４５－１、１４５－２のうち他方の画素との間の強度値の差に基づいてスコアが算出されてもよい。例えば、このような画素間の差と関連付けられたピーク差、平均差、メディアン差または任意の他の尺度もしくはメトリックを示すスコアが算出されてもよく、着陸エリア１６５は、そのスコアが所定の閾値を超えている１つ以上の障害物または障害を有するように判定され得る。差分画像１２５の特性を表す任意の種類または形式のスコアが算出されてもよく、本開示にしたがって１つ以上の閾値と比較されてもよい。
【0021】
図１Ｉに示すように、表面マップ１１５及び差分画像１２５が画像１４５－１、１４５－２から導出された後、航空機１１０上で動作している１つ以上のプロセッサ１１２は、着陸エリア１６５に障害があるかどうかを判定してもよく、着陸を中止し、または代替の着陸場を検索してもよい。例えば、表面マップ１１５が着陸エリア１６５における自転車１７５－４の存在を示している、または差分画像１２５が着陸エリア１６５の上方の電線１７５－３の存在を示している場合、航空機１１０は、着陸エリア１６５に障害があると判定してもよい。その結果、航空機１１０は、その元の場所もしくは代替の場所に戻ってもよく、または目的地１７０の付近内で、予備の着陸エリア（例えば、目的地１７０と関連付けられた顧客もしくは他の人間によって指定され得る１つ以上の着陸エリア）を探索するように試みてもよく、もしくは代替の着陸エリアを検索してもよい。
【0022】
したがって、本開示のシステム及び方法は、無人航空機によって取り込まれた２つ以上の画像に基づき、無人航空機の着陸動作または無人航空機の任意の他の動作中に対象物を検出し、回避することを対象とする。画像は、図１Ａ～１Ｉの航空機１１０の撮像デバイス１４０－１、１４０－２などの異なる撮像デバイスによって同時に取り込まれてもよく、または単一の撮像デバイスによって異なる時刻に取り込まれてもよい。画像は、例えば、オプティカルフローアルゴリズム、マッチングアルゴリズムまたは別の技術を用いて個々の画像の画素間の視差を決定するために処理されてもよい。このような視差は、航空機のための動作エリア（例えば、着陸エリア）の３次元復元物を生成するために、または動作エリアの差分画像を算出するために用いられてもよい。復元物または差分画像のいずれかが障害物の存在を示している場合、航空機は、永続的に、もしくは一時的に動作を停止してもよく、動作を完了するために別の動作エリアを検索してもよく、または動作エリアの状態を一定期間継続して評価してもよい。
【0023】
したがって、本開示のシステム及び方法は、航空機によって取り込まれた対の画像に基づき、着陸エリアの周辺において、またはその上方に１つ以上の対象物が位置しているかどうかを判定することを対象とする。このような対の画像は、２つの撮像デバイスによって、同時に、もしくはほぼ同時に取り込まれてもよく、または代替として、単一の撮像デバイスによって異なる時刻に取り込まれてもよい。着陸エリアの３次元での復元と、更には画像からの差分画像の生成との両方のために、画像のそれぞれ内に現れている位置間の視差が決定され、用いられてもよい。着陸エリアの復元物及び差分画像は、着陸エリアの周辺、またはその上方における１つ以上の障害の存在を示してもよい。例えば、復元物は、着陸エリアの周辺、またはその上方における１つ以上の対象物の存在を示してもよい。着陸エリアは、このような対象物が着陸エリアの表面の色またはテクスチャと類似した色またはテクスチャを有する場合であっても、平坦であり、許容可能な勾配があると推定される。このような対象物が比較的小さい空間的範囲を有するときでも、差分画像は、着陸エリアの周辺またはその上方における１つ以上の対象物の存在を示し得る。
【0024】
撮像データ（例えば視覚撮像データ）は、デジタルカメラなどの１つ以上の撮像デバイスを用いて取り込まれてもよい。このようなデバイスは、一般に、対象物から反射された光を取り込むことによって、更にはその後、反射された光の態様、例えば、画素の、１つ以上の定量的な値を計算し、または割り当て、このような値に基づく出力を生成し、このような値を１つ以上のデータ記憶装置内に記憶することによって動作してもよい。デジタルカメラは、１つ以上のセンサであって、これと関連付けられた１つ以上のフィルタを有する１つ以上のセンサを含んでもよく、このようなセンサは、反射された光の１色以上の基本色（例えば、赤色、緑色または青色）に対応する反射された光の任意の数の画素の態様に関する情報を検出してもよい。このようなセンサは、例えば、デジタル画像といった、このような情報を含むデータファイルを生成し、１つ以上のオンボードデータ記憶装置もしくはアクセス可能なデータ記憶装置（例えば、ハードドライブもしくは他の同様の構成要素）及び１つ以上のリムーバブルデータ記憶装置（例えば、フラッシュメモリデバイス）内にこのようなデータファイルを記憶し、または、１つ以上のブロードキャストネットワークもしくは閉回路テレビネットワーク上に、もしくはインターネットなどのコンピュータネットワークを経由して表示されてもよい。
【0025】
デジタル画像は、シーンの１つ以上の対象物、背景または他の特徴の光学的に形成された複製を定める、典型的にはアレイに配列された画素の集合であり、データファイル内に記憶され得る。視覚画像において、画素のそれぞれは、このような対象物、背景または特徴の一部と関連付けられた色または他の光の状態を表現または識別する。例えば、白黒の視覚画像は、画素の光の状態を２値的に（例えば、白または黒のいずれかで）表現するための単一のビットを含み、他方、グレースケールの視覚画像は、光の状態を複数ビット（例えば、白と黒との割合または分担率の観点からグレーのトーンを定めるための２～８ビット）で表現してもよく、カラーの視覚画像は、複数の基本色（例えば、赤、緑または青）のそれぞれに対応するビット群を含んでもよく、ビット群は、画素と関連付けられた色を集合的に表現してもよい。深度画像も、シーンの１つ以上の対象物、背景または他の特徴の光学的に形成された複製を定める画素の集合であり、同様にデータファイル内に記憶され得る。しかしながら、視覚映像の画素とは異なり、深度画像の画素のそれぞれは、このような対象物、背景または特徴の光の状態でも色でもなく、対象物、背景または特徴までの間隔を表現または識別する。例えば、深度画像の画素は、深度画像を取り込んだ撮像デバイスのセンサ（例えば、深度カメラまたは距離センサ）と画素が対応する個々の対象物、背景または特徴との間の間隔を表現してもよい。
【0026】
１つ以上のデータ記憶装置内に記憶された撮像データファイルは、紙に印刷されてもよく、１つ以上のコンピュータディスプレイ上に提示されてもよく、または、ディスプレイ内に表されたアイテムを識別するなどのために１回以上の分析を受けてもよい。このようなデータファイルは、限定されることはないが、．ＪＰＥＧもしくは．ＪＰＧファイル、またはグラフィックスインターチェンジフォーマット（すなわち「．ＧＩＦ」）、ビットマップ（すなわち「．ＢＭＰ」）、ポータブルネットワークグラフィックス（すなわち「．ＰＮＧ」）、タグ付き画像ファイルフォーマット（すなわち「．ＴＩＦＦ」）ファイル、オーディオビデオインタリーブ（すなわち「．ＡＶＩ」）、ＱｕｉｃｋＴｉｍｅ（すなわち「．ＭＯＶ」）、ムービングピクチャエクスパーツグループ（すなわち「．ＭＰＧ」、「．ＭＰＥＧ」もしくは「．ＭＰ４」）またはＷｉｎｄｏｗｓ Ｍｅｄｉａビデオ（すなわち「．ＷＭＶ」）ファイルを含む、任意の数のフォーマットで記憶されてもよい。
【0027】
反射された光は、デバイス内のセンサとレンズとの間の間隔、すなわち焦点距離、ならびにデバイスの場所及びデバイスのレンズの角度方位に応じて定められるデバイスの視野内にその反射された光がある場合、撮像デバイスによって取り込まれてもよく、または検出されてもよい。それに応じて、被写界深度内、すなわち明瞭度及び焦点が十分に鮮明である視野内の間隔内に対象物が現れている場合、撮像デバイスは、その１つ以上のセンサを用いて任意の種類の対象物から反射された光を十分に高い程度の解像度にまで取り込み、反射された光に関する情報を１つ以上複数のデータファイル内に記憶してもよい。
【0028】
多くの撮像デバイスはまた、それらの個々の視野または方位を変更するための手動または自動の機能も含む。例えば、デジタルカメラは、固定位置に、または固定の焦点距離（例えば、固定焦点レンズ）もしくは角度方位で構成されてもよい。代替として、撮像デバイスは、センサとレンズ（例えば、光学ズームレンズまたはデジタルズームレンズ）との間の間隔の変化、撮像デバイスの場所の変化、または角度方位を定める角度のうちの１つ以上の変化を生じさせることにより、撮像デバイスの位置を調節するための、または、焦点距離（例えば、撮像デバイスをズームする）もしくは角度方向（例えば、ロール角、ピッチ角もしくはヨー角）のいずれかを調節するための、１つ以上の駆動源付きの、またはモータ付きの特徴を含んでもよい。
【0029】
例えば、撮像デバイスは、１軸、２軸または３軸に関して固定された構成または角度にデバイスを保持する支持体または取り付け台に堅固に取り付けられてもよい。しかしながら、代替として、撮像デバイスには、構成要素のうちの１つ以上を手動もしくは自動で動作させるための、またはデバイスの軸もしくは方向を再度方位付けるための（すなわち、デバイスをパンする、もしくはチルトすることによる）、１つ以上のモータ及び／またはコントローラが提供されてもよい。撮像デバイスをパンすることにより、水平面内の、または垂直軸（例えば、ヨー）の周りの回転が生じ得、他方、撮像装置をチルトすることにより、垂直面内の、または水平軸（例えば、ピッチ）の周りの回転が生じ得る。加えて、撮像デバイスは、その回転軸の周りに、かつこの回転軸に垂直でこのデバイスの視野に実質的に平行である面内で、ロール、すなわち回転され得る。
【0030】
いくつかの最新式の撮像デバイスは、１つ以上の物理的制約及び動作上の制約を受けて、視野内で識別された画像をデジタル的に、または電子的に調節し得る。例えば、デジタルカメラは、デジタルカメラの視野に合焦する、またはこの視野を広げるために、画像の画素を仮想的に伸縮または圧縮してもよく、更には視野内の画像の１つ以上の部分を並進させてもよい。光学的に調節可能な焦点距離または方位の軸を有する撮像デバイスは、一般に、パンチルトズーム（すなわち「ＰＴＺ」）撮像デバイスと称され、他方、デジタル的に、または電子的に調節可能なズーミング機能または並進機能を有する撮像デバイスは、一般に、電子ＰＴＺ（すなわち「ｅＰＴＺ」）撮像デバイスと称される。
【0031】
特徴または対象物の色、テクスチャまたは外形を含む、撮像データ内に表された特徴または対象物に関する情報及び／またはデータは、任意の数の方式でデータから抽出されてもよい。例えば、デジタル画像内の画素または画素群の色は、１つ以上の規格、例えば、画素内の赤色、緑色もしくは青色の部分を０から２５５の範囲の３つの対応する数で値が表されるＲＧＢ（「赤－緑－青」）色モデル、または画素の色が６文字コード、すなわち＃ＮＮＮＮＮＮで表され、文字Ｎのそれぞれが１６の数（すなわち、数字０～９及び文字Ａ～Ｆ）の範囲を有する１６進数モデルにしたがって決定され、定量化されてもよい。１６進数モデルの最初の２文字ＮＮは、この色に含まれる赤色の部分を指し、他方、２番目の２文字ＮＮは、この色に含まれる緑色の部分を指し、３番目の２文字ＮＮは、この色に含まれる青色の部分を指す。例えば、白色及び黒色は、それぞれ、１６進数モデルにしたがって♯ＦＦＦＦＦＦ及び♯００００００と表され、他方、キャンディアップルレッドの色は、♯３１３１４Ａと表される。画像または写真内の色またはカラースキームを定量化するための任意の手段またはモデルが、本開示にしたがって利用されてもよい。更に、デジタル画像内で表された対象物のテクスチャまたは特徴は、画像の領域またはセクタ内の強度の変化を識別することにより、または特定の表面に対応する画像のエリアを定めることなどにより、１つ以上のコンピュータベースの方法を用いて識別されてもよい。
【0032】
更に、デジタル静止画像またはデジタル動画像内で表された、対象物または対象物の一部の辺、輪郭、外形、色、テクスチャ、シルエット、形状または他の特徴は、１つ以上のアルゴリズムまたは機械学習ツールを用いて識別されてもよい。対象物、または対象物の一部は、静止していてもよく、または動いていてもよく、単一の、有限の期間に、または１つ以上の期間もしくは持続時間にわたって識別されてもよい。このようなアルゴリズムまたはツールは、遷移（例えば、対象物またはその一部の辺、輪郭、外形、色、テクスチャ、シルエット、形状または他の特徴）を、デジタル画像内で可能な限り密接に、かつノイズ及び乱れを最小限し、偽の遷移を作成しない方式で、認識し、マーク付けすることを対象とし得る。本開示にしたがってデジタル画像内の対象物またはその一部の特徴を認識するために利用され得るいくつかの検出アルゴリズムまたは技術には、限定されるものではないが、Ｃａｎｎｙエッジ検出器もしくはアルゴリズム、Ｓｏｂｅｌ演算子、アルゴリズムもしくはフィルタ、Ｋａｙｙａｌｉ演算子、Ｒｏｂｅｒｔｓエッジ検出アルゴリズム、Ｐｒｅｗｉｔｔ演算子、Ｆｒｅｉ－Ｃｈｅｎ法、または当業者にとって既知であり得る任意の他のアルゴリズムもしくは技術が含まれる。
【0033】
ステレオ測距（またはステレオ三角測量）とは、対象物までの間隔または距離が、固定間隔だけ隔離されたデジタルカメラなどの撮像デバイスを用いて取り込まれた、このような対象物を描写しているデジタル画像から、またはデジタルカメラなどの撮像デバイスを用いて異なる時刻に取り込まれた、このような対象物を描写している画像から決定され得るプロセスである。例えば、撮像デバイスによって取り込まれた環境の対の画像を処理することにより、画像の両方内で表された点（限定されるものではないが、特定の対象物と関連付けられた点を含む）までの距離は、撮像デバイスの個々のレンズまたはセンサから画像のそれぞれの内のこのような点の表現によって伸びる対の線の仮想交点を発見することによって決定され得る。代替として、異なる時刻に撮像デバイスによって取り込まれた環境の対の画像内で表された位置までの距離は、画像のそれぞれが画像のそれぞれの内のこのような点の表現によって取り込まれたときに撮像デバイスのレンズまたはセンサの位置から伸びる対の線の仮想交点を発見することによって決定され得る。
【0034】
環境の画像のそれぞれが実質的に同時に取り込まれる場合、または画像のそれぞれが取り込まれたときに環境の条件が実質的に変化しない場合、所与の時刻における環境内の単一の点までの距離は、このような画像及び視差を取り込んだ１つ以上の撮像デバイスのレンズまたはセンサの位置間の基線間隔、または画像が互いに重ね合わせられたときに画像の両方内に表された空間内の単一の点の対応する表現間の間隔に基づいて決定され得る。このようなプロセスは、画像の両方内に表された３次元空間内の任意の数の点に対して完了されてもよく、このような点のモデル、例えば点群、深度マップまたは深度モデルが、それに応じて定められ得る。このような点のモデルは、このような点までの距離を決定するために対の画像がその後取り込まれ、処理されるときに更新されてもよい。
【0035】
少なくとも部分的に重畳する視野を有する撮像デバイス（例えば、デジタルカメラ）によって取り込まれた対のステレオ画像内に表された対象物までの間隔（または深度もしくは距離）は、１つ以上のステレオ測距アルゴリズムまたは技術にしたがって決定され得る。画像の両方内に現れる各対象物の各点について、個々の撮像デバイスの個々のレンズ、レンズモジュールまたは他のセンサから画像のそれぞれ内の対象物の点の表現によって伸びる線は、３次元空間内で、その点の実際の位置に対応する場所にて仮想的に交差する。従来の幾何学的な原理及び特性、例えば、相似三角形の特性、ならびに撮像デバイス間の基線間隔または隔離などの既知の、または知り得る変数、個々の画像内の点の間の視差及び個々の撮像デバイスの焦点距離を用いることにより、交点の座標がそれに応じて決定され得る。
【0036】
空間内の点が、例えば、エピポールとして２つの画像内に現れる場合、画像内の個々のエピポールの位置及び空間内の点の実際の位置によって定められる平面は、エピポーラ平面と呼ばれる。画像は、次いで、それらの内容に基づいて、例えば、個々の画像平面とエピポーラ平面との交点に対応する線、すなわち、それらの個々のエピポーラ線に沿って共に整列され得る。画像がそれらの内容に基づいて整列された後、対象物の実際の位置は、撮像デバイスのレンズ、レンズモジュールまたは他のセンサから結像面内の個々の画像内の点の表現によって伸びる三角測量線によって決定され得る。このような線の交点は、点の実際の位置に対応し、点までの間隔は、この実際の位置に基づき、それに応じて決定され得る。ステレオ測距アルゴリズム及び技術は、画像の両方内に現れる点のそれぞれまでの距離または間隔を決定するために用いられてもよく、このような距離または間隔は、対象物が提供される環境の点群、深度マップまたは別の３次元モデルを定めるために用いられてもよい。深度モデルは、データファイル（例えば、深度画像）内に記憶されてもよく、または、限定されるものではないが、ナビゲーション、案内、監視または衝突回避を含む任意の目的のために利用されてもよい。
【0037】
したがって、ステレオ測距アルゴリズム及び技術は、対の画像のそれぞれにおけるエピポールの対応を決定することを必要とし、エピポールのそれぞれは、３次元空間内の共通点に対応する。エピポールの複数の対応が、シーンの対の画像のそれぞれから識別されると、エピポールの共役対のそれぞれに対する視差が判定され得、シーンの３次元構造を再現するこのような視差のマップが、シーンの態様、例えば、撮像デバイスの基線間隔または隔離、焦点距離などの幾何学的パラメータに関する情報が既知である場合、それに応じて構築され得る。
【0038】
シーンの対の画像内で表された点の、現実世界での位置を決定するための、更にはこのような位置に基づいてこのようなシーンの深度マップ、点群または他の３次元表現を生成するための複数のコンピュータベースのステレオ測距アルゴリズム及び技術が存在する。このようなアルゴリズムまたは技術は、キャリブレーション機能、対応機能及び／または構築機能の実行を支援してもよい。例えば、Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（すなわち「ＯｐｅｎＣＶ」）ライブラリは、対の画像から間隔または距離を決定することを対象とする複数のコンピュータベースのアルゴリズムまたは他のプログラミング機能を含む。同様に、ＭＡＴＬＡＢ(登録商標)言語でプログラミングされている複数の他のステレオ測距アルゴリズムまたは技術が公的に利用可能である。コンピュータベースのアルゴリズムまたは技術は、複数の他のソースからも利用可能である。
【0039】
撮像デバイスは、航空機の表面内に組み込まれ、水平または垂直に、例えば、前方もしくは後方の方位に、または上方もしくは下方の方位に、または相対的もしくは絶対的であり得る任意の他の方位もしくは角度に整列されてもよい。いくつかの実施形態では、２つ以上のデジタルカメラが、航空機のフレーム、舵面、主電動機、プロペラまたは任意の他の態様内に組み込まれ得る。デジタルカメラは、均質（例えば、機能的に同等すなわち同一の性能を有する）であってもよく、または代替として、不均質（例えば、異なる性能を有する）であってもよく、深度を決定するためにこのようなカメラによって取り込まれたステレオ画像は、複数の計算において処理され得る。いくつかの実施形態では、航空機は、航空機の固定された、または可動の特徴内に組み込まれた１つ以上の撮像デバイスを含んでもよい。撮像デバイスのそれぞれによって取り込まれた画像は、例えば、このような撮像デバイス間の基線間隔または隔離、このような画像内の対象物の視差、及び個々の撮像デバイスの焦点距離を決定することにより、ステレオ測距目的のために用いられてもよい。
【0040】
図２を参照して、本開示の実施形態にしたがった対象物検出及び回避のためのシステム２００のブロック図を示す。図２のシステム２００は、全体的または部分的にインターネットを含み得るネットワーク２９０を経由して互いに接続された航空機２１０及びデータ処理システム２８０を含む。別段の記載がある場合を除き、図２に示した数「２」の後の参照番号は、図１Ａ～１Ｉに示した数「１」の後の参照番号を有する構成要素または特徴と類似した構成要素または特徴を示す。
【0041】
航空機２１０は、プロセッサ２１２、メモリ２１４及びトランシーバ２１６を含む。航空機２１０は、制御システム２２０、複数の推進モータ２３０－１、２３０－２．．．２３０－ｎ、撮像デバイス２４０－１、２４０－２及び距離計２５０を更に含む。
【0042】
プロセッサ２１２は、限定されるものではないが、１つ以上の機械学習アルゴリズムまたは技術の実行を含む任意の種類または形式の計算機能を実行するように構成されてもよい。例えば、プロセッサ２１２は、限定されるものではないが、推進モータ２３０－１、２３０－２．．．２３０－ｎ、撮像デバイス２４０－１、２４０－２及び距離計２５０を含む、航空機２１０及びその航空機上の１つ以上のコンピュータベースの構成要素の動作の任意の態様を制御してもよい。例えば、プロセッサ２１２は、推進モータ２３０－１、２３０－２．．．２３０－ｎ、撮像デバイス２４０－１、２４０－２または距離計２５０のうちの１つ以上の動作を実施するための命令を生成するために、制御システム２２０などの、１つ以上の制御システムまたはモジュールの動作を、独立的に、または互いに協調的にのいずれかで制御してもよい。このような制御システムは、１つ以上の他のコンピューティングデバイスまたは機械と関連付けられてもよく、データ処理システム２８０または１つ以上の他のコンピュータデバイス（図示せず）とネットワーク９９０を経由してデジタルデータの送受信によって通信してもよい。
【0043】
プロセッサ２１２は、１つのプロセッサを含むユニプロセッサシステム、またはいくつかのプロセッサ（例えば、２つ、４つ、８つまたは別の適切な数）を含むマルチプロセッサシステムであってもよく、命令を実行することが可能であり得る。例えば、いくつかの実施形態では、プロセッサ２１２は、ｘ８６、ＰｏｗｅｒＰＣ、ＳＰＡＲＣ、もしくはＭＩＰＳ ＩＳＡ、または任意の他の適切なＩＳＡなどの、複数の命令セットアーキテクチャ（ＩＳＡ）のいずれかを実装する汎用または組み込みプロセッサであってもよい。プロセッサ２１２がマルチプロセッサシステムである場合、マルチプロセッサシステム内のプロセッサのそれぞれは、同一のＩＳＡ、または異なるＩＳＡを動作させてもよい。
【0044】
加えて、航空機２１０は、任意の種類の情報もしくはデータ、例えば、航空機２１０を動作させるための命令、または航空機２１０の動作中に取り込まれた任意の種類の情報もしくはデータを記憶するための１つ以上のメモリまたはストレージ構成要素２１４（データベースもしくはデータ記憶装置など）を更に含む。メモリ２１４は、プロセッサ２１２によって、またはこのプロセッサにアクセス可能な、実行可能命令、飛行経路、飛行制御パラメータ及び／または他のデータアイテムを記憶するように構成されてもよい。メモリ２１４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、同期ダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュ型メモリ、または任意の他の種類のメモリなど、任意の適切なメモリ技術を用いて実装されてもよい。いくつかの実施形態では、プログラム命令、飛行経路、飛行制御パラメータ及び／または他のデータ項目は、例えば、有線及び／または無線リンクなどの通信媒体を介して搬送され得る、電気信号、電磁信号またはデジタル信号などの伝送媒体または信号により、トランシーバ２１６を介して受信または送信されてもよい。
【0045】
トランシーバ２１６は、１つ以上の有線または無線手段、例えば、ユニバーサルシリアルバス（すなわち「ＵＳＢ」）もしくは光ファイバケーブルなどの有線技術、またはＢｌｕｅｔｏｏｔｈ（登録商標）もしくは任意のワイヤレスフィデリティー（すなわち「Ｗｉ－Ｆｉ」）プロトコルなどの標準無線プロトコルを介して、例えば、ネットワーク２９０を経由して、または直接的に、航空機２１０が通信することを可能にするように構成されてもよい。トランシーバ２１６は、１つ以上の入力／出力（すなわち「Ｉ／Ｏ」）インタフェース、ネットワークインタフェース及び／または入力／出力デバイスを更に含んでもよく、またはこれらと通信してもよく、情報もしくはデータを航空機２１０の構成要素のうちの１つ以上の間で、または１つ以上の他のコンピュータデバイスもしくはシステム（例えば、図示されない、他の航空機）にネットワーク２９０を経由して交換することを可能にするように構成されてもよい。例えば、いくつかの実施形態では、トランシーバ２１６は、プロセッサ２１２と１つ以上のオンボードまたは外部のコンピュータデバイスまたは構成要素との間のＩ／Ｏトラフィックを調整するように構成されてもよい。トランシーバ２１６は、データ信号を、ある構成要素による使用に適切である第１のフォーマットから別の構成要素による使用に適切である第２のフォーマットに変換するために、任意の必要なプロトコル、タイミングまたは他のデータ変換を実行してもよい。いくつかの実施形態では、トランシーバ２１６は、例えば、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バス規格、またはユニバーサルシリアルバス（ＵＳＢ）規格の変形といった、様々な種類のペリフェラルバスを通じて取り付けられたデバイスに対する対応を含んでもよい。いくつかの他の実施形態では、トランシーバ２１６の機能は、２つ以上の別々の構成要素に分割されてもよく、またはプロセッサ２１２と統合されてもよい。
【0046】
制御システム２２０は、所望に応じて、１つ以上の電子速度制御、電源、ナビゲーションシステム及び／または航空機２１０の動作を制御するための、かつ品物と係合する、または品物を取り外すためのペイロード係合コントローラを含んでもよい。例えば、制御システム２２０は、推進モータ２３０－１、２３０－２．．．２３０－ｎ、撮像デバイス２４０－１、２４０－２または距離計２５０のうちの１つ以上の動作を生じさせる、または制御するように構成されてもよい。例えば、制御システム２２０は、決定された、または所望の飛行経路に沿って航空機２１０を誘導するために、推進モータ２３０－１、２３０－２．．．２３０－ｎのうちの１つ以上に、１つ以上のプロペラを所望の速度で回転させてもよい。制御システム２２０はまた、撮像デバイス２４０－１、２４０－２のうちの１つ以上に、任意の撮像データ（例えば、静止画像または動画像）ならびに任意の関連付けられたオーディオデータ及び／またはメタデータを取り込ませてもよい。制御システム２２０は、距離計２５０を動作させて、航空機２１０と１つ以上の地上の特徴との間の距離（例えば、このような特徴上方の高度）または航空機２１０と１つ以上の飛行対象物との間の距離を決定してもよい。
【0047】
制御システム２２０は、更に、限定されるものではないが、翼、ラダー、補助翼、エレベータ、フラップ、ブレーキ、スラットもしくは他の特徴などの１つ以上の舵面（図示せず）の所望の範囲内での動作、または１つ以上の係合システム（図示せず）による１つ以上の品物の施行または取り外しを含む、航空機２１０の任意の他の態様を制御してもよい。いくつかの実施形態では、制御システム２２０は、プロセッサ２１２、メモリ２１４及び／またはトランシーバ２１６のうちの１つ以上と統合されてもよい。
【0048】
推進モータ２３０－１、２３０－２．．．２３０－ｎは、１つ以上のプロペラまたは他の構成要素の十分な回転速度を生じさせて、揚力及び／または推進力を航空機２１０及びこの航空機によって係合された任意のペイロードに与えることにより、この航空機によって係合されたペイロードを空中輸送することが可能である、任意の種類または形態のモータ（例えば、電気の、ガソリン動力の、または任意の他の種類のモータ）であってもよい。例えば、推進モータ２３０－１、２３０－２．．．２３０－ｎのうちの１つ以上は、アウトランナーブラシレスモータまたはインランナーブラシレスモータなどのブラシレス直流（ＤＣ）モータであってもよい。
【0049】
航空機２１０は、任意の種類の任意の数のこのような推進モータ２３０－１、２３０－２．．．２３０－ｎを含んでもよい。いくつかの実施形態では、航空機２１０は、２つの推力モータ２３０－１、２３０－２．．．２３０－ｎを含んでもよい。いくつかの他の実施形態では、航空機２１０は、３つ、４つ、５つ、６つ、７つ、８つ、またはより多くの推進モータ２３０－１、２３０－２．．．２３０－ｎを含んでもよい。例えば、推進モータ２３０－１、２３０－２．．．２３０－ｎのうちの１つ以上は、排他的に、揚力を航空機２１０に提供するように整列または構成されてもよく、他方、推進モータ２３０－１、２３０－２．．．２３０－ｎのうちの１つ以上は、排他的に、推進力を航空機２１０に提供するように整列または構成されてもよい。代替として、推進モータ２３０－１、２３０－２．．．２３０－ｎのうちの１つ以上は、必要に応じて、揚力及び推進力を航空機２１０に提供するように整列または構成されてもよい。加えて、推進モータ２３０－１、２３０－２．．．２３０－ｎは、航空機２１０上でそれらの方位に固定されてもよく、または、例えば、ティルトロータ機など、それらの個々の方位を変えるように構成されてもよい。更に、推進モータ２３０－１、２３０－２．．．２３０－ｎは、異なる容量もしくは定格によって、もしくは異なる速度で動作するように整列もしくは構成されてもよく、または異なるサイズ及び形状を有するプロペラに結合されてもよい。
【0050】
推進モータ２３０－１、２３０－２．．．２３０－ｎのそれぞれは、ハブまたはボスに連結された複数の形付けられた羽根を有する１つ以上のプロペラ（またはロータもしくは回転可能なシステム）に結合されてもよい。例えば、このようなプロペラのそれぞれは、推進モータ２３０－１、２３０－２．．．２３０－ｎのうちの個々の１つと関連付けられたマストまたはシャフトに回転可能に取り付けられてもよく、流体内で回転させたときに推進を生成するように構成されてもよい。このようなプロペラのそれぞれは、任意の数の羽根を含んでもよく、本質的には、固定ピッチ、調節可能なピッチまたは可変ピッチであってもよい。更に、このようなプロペラのうちの１つ以上は、任意の手法で結束されてもよく、または保護されてもよい。いくつかの実施形態では、プロペラのうちの１つ以上は、垂直軸の周りを回転するように、更にはそれに応じて推進力を垂直方向に（例えば上方に）提供するように構成されてもよい。いくつかの実施形態では、プロペラのうちの１つ以上は、水平軸の周りを回転するように、更にはそれに応じて推進力を水平方向に（例えば前方に）提供するように構成されてもよい。なお他の実施形態では、プロペラのうちの１つ以上は、水平でもなく垂直でもない軸の周りを回転するように、更にはそれに応じて推進力をこのような軸に対応する方向に提供するように構成されてもよい。
【0051】
撮像デバイス２４０－１、２４０－２は、航空機２４０の表面に埋め込まれた、または取り付けられた任意の形態の光学記録デバイスであってもよく、航空機２１０の動作中に遭遇する構造物、施設、地形もしくは任意の他の要素の撮像データを撮影またはさもなければ記録するために、または任意の他の目的のために用いられてもよい。撮像デバイス２４０－１、２４０－２は、１つ以上のセンサ、メモリまたは記憶構成要素及びプロセッサを含んでもよく、このようなセンサ、メモリ構成要素またはプロセッサは、更に、１つ以上の感光面、フィルタ、チップ、電極、時計、基板、タイマーまたは任意の他の関連する特徴（図示せず）を含んでもよい。このような撮像デバイス２４０－１、２４０－２は、航空機２１０の動作中の任意の関連するオーディオ信号または他の情報のみならず、任意の種類または形態の１つ以上の静止画像または動画像の形態で撮像データを取り込んでもよい。
【0052】
撮像デバイス２４０－１、２４０－２は、専用であり得る、または内部ネットワーク（図示せず）の全てもしくは一部を含み得る有線または無線接続により、プロセッサ２１２及び／もしくは制御システム２２０と、または互いに通信してもよい。加えて、撮像デバイス２４０－１、２４０－２は、ネットワーク２９０によってデータ処理システム２８０と通信するように適合されてもよく、またはさもなければ構成されてもよい。図２のブロック図２００は撮像デバイス２４０－１、２４０－２に対応する２つのボックスを含むが、当業者は、限定されるものではないが、デジタルカメラ、深度センサもしくは距離カメラ、赤外線カメラ、放射線カメラまたは他の光学センサを含む任意の数または種類の撮像デバイスが、本開示にしたがって航空機２１０上に提供され得ることを認識するであろう。
【0053】
撮像デバイス２４０－１、２４０－２に加えて、航空機２１０はまた、外的情報もしくはデータ、または内的情報もしくはデータを含む、航空機２１０が動作している、または動作するように予期され得る環境の１つ以上の属性を決定するために、限定されるものではないが、１つ以上の環境または動作センサを含む、航空機２１０の動作を制御または支援するための任意の数の他のセンサ、構成要素または他の特徴を含んでもよい。例えば、航空機２１０は、１つ以上の全地球測位システム（「ＧＰＳ」）受信器もしくはセンサ、コンパス、速度計、高度計、温度計、気圧計、湿度計、ジャイロスコープ、空気監視センサ（例えば、酸素、オゾン、水素、一酸化炭素もしくは二酸化炭素のセンサ）、オゾンモニタ、ｐＨセンサ、磁気異常検出器、金属探知器、放射線センサ（例えば、ガイガーカウンタ、中性子検出器、アルファ検出器）、姿勢指示器、深度計、加速度計、または音センサ（例えば、１つ以上の方向からの音響エネルギーを検出し、記録するための、マイクロホン、圧電センサ、振動センサもしくは他のトランスデューサ）を含んでもよい。
【0054】
データ処理システム２８０は、１つ以上のコンピュータプロセッサ２８４及びそれらと関連付けられた任意の数のデータ記憶装置２８６（例えば、データベース）を有する１つ以上の物理コンピュータサーバ２８２を含み、任意の特定または汎用の目的のために提供されてもよい。例えば、図２のデータ処理システムは、航空機２１０から受信した、撮像データもしくは他の情報もしくはデータを受信する、分析する、もしくは記憶する専用の目的のために独立的に提供されてもよく、または代替として、このような撮像データもしくは他の情報もしくはデータ、及び１つ以上の他の機能を受信する、分析する、もしくは記憶するように構成された１つ以上の物理的または仮想サービスと関連して提供されてもよい。サーバ２８２は、プロセッサ２８４及び、限定されるものではないが、音響信号、撮像データに関する情報もしくはデータ、もしくは環境条件に関する情報もしくはデータ、動作特性、または位置を含む任意の種類の情報もしくはデータを任意の目的のために記憶し得るデータ記憶装置２８６と接続されてもよく、またはさもなければ通信してもよい。サーバ２８２及び／またはコンピュータプロセッサ２８４はまた、デジタルデータを送信及び受信することを通じて、線２１８によって示されるように、ネットワーク２９０に接続してもよく、またはさもなければこのネットワークと通信してもよい。例えば、データ処理システム２８０は、例えば、ネットワーク２９０を介して航空機２１０から、もしくは互いから、または１つ以上の他の外部コンピュータシステム（図示せず）から受信された、メディアファイルといったメディアファイルなどの情報またはデータを受信し、１つ以上のデータ記憶装置内に記憶するための能力または容量を有する任意の施設、ステーションまたは場所を含んでもよい。いくつかの実施形態では、データ処理システム２８０は、物理的な場所に提供されてもよい。他のこのような実施形態では、データ処理システム２８０は、例えば、「クラウド」ベースの環境といった、１つ以上の代替の、または仮想の場所に提供されてもよい。なお他の実施形態では、データ処理システム２８０は、限定されるものではないが、航空機２１０を含む、１つ以上の航空機上に提供されてもよい。
【0055】
ネットワーク２９０は、任意の有線ネットワーク、無線ネットワーク、またはその組み合わせであってもよく、全体的または部分的にインターネットを含んでもよい。加えて、ネットワーク２９０は、パーソナルエリアネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、ケーブルネットワーク、衛星ネットワーク、携帯電話ネットワーク、またはそれらの組み合わせであってもよい。ネットワーク２９０はまた、インターネットなどの様々な異なる当事者らによって運用される可能性がある、リンクされたネットワークの公共的にアクセス可能なネットワークであってもよい。いくつかの実施形態では、ネットワーク２９０は、企業または大学のイントラネットなどのプライベートまたはセミプライベートネットワークであってもよい。ネットワーク２９０は、グローバルシステムフォーモバイルコミュニケーションズ（ＧＳＭ）ネットワーク、符号分割多元接続（ＣＤＭＡ）ネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、またはいくつかの他の種類の無線ネットワークなどの、１つ以上の無線ネットワークを含んでもよい。インターネットまたは他の前述の種類の通信ネットワークのいずれかを介して通信するためのプロトコル及び構成要素は、コンピュータ通信の当業者にとって周知であり、したがって、本明細書においてより詳細に説明される必要はない。
【0056】
本明細書で説明されるコンピュータ、サーバ、デバイスなどは、必要な電子機器、ソフトウェア、メモリ、ストレージ、データベース、ファームウェア、ロジック／ステートマシン、マイクロプロセッサ、通信リンク、ディスプレイまたは他の視覚もしくは聴覚ユーザインタフェース、印刷デバイス、及び本明細書で説明される機能またはサービスのいずれかを提供する、かつ／または本明細書で説明される結果を達成するための任意の他の入力／出力インタフェースを有する。また、当業者であれば、このようなコンピュータ、サーバ、デバイスなどのユーザが、コンピュータ、サーバ、デバイスなどと対話するために、または本開示のアイテム、リンク、ノード、ハブもしくは任意の他の態様を「選択」するために、キーボード、キーパッド、マウス、スタイラス、タッチスクリーン、または他のデバイス（図示せず）もしくは方法を操作し得ることを認識するであろう。
【0057】
航空機２１０及び／またはデータ処理システム２８０は、ネットワーク２９０に接続するために、またはショートメッセージングサービスもしくはマルチメディアメッセージングサービス（ＳＭＳもしくはＭＭＳ）のテキストメッセージなどを介して互いに通信するために、任意のウェブ対応の、もしくはインターネットのアプリケーションもしくは機能、またはＥメールもしくは他のメッセージング技術を含む任意の他のクライアント－サーバアプリケーションまたは機能を用いてもよい。例えば、航空機２１０は、ネットワーク２９０を介して、リアルタイムで、もしくはほぼリアルタイムで、または１つ以上のオフラインプロセスで、データ処理システム２８０に、または任意の他のコンピュータデバイスに（例えば、１つ以上の他の航空機に）、同期メッセージまたは非同期メッセージの形で情報またはデータを送信するように適合されてよい。当業者であれば、航空機２１０またはデータ処理システム２８０が、限定されるものではないが、セットトップボックス、パーソナルデジタルアシスタント、デジタルメディアプレーヤー、ウェブパッド、ラップトップコンピュータ、デスクトップコンピュータ、電子書籍リーダなどを含む、ネットワークを経由して通信することができる複数のコンピューティングデバイスのいずれかを操作し得る、またはこれらのいずれかによって操作され得ることを認識するであろう。このようなデバイス間で通信を提供するためのプロトコル及び構成要素は、コンピュータ通信の当業者にとって周知であり、本明細書においてより詳細に説明される必要はない。
【0058】
本明細書で説明されるデータ及び／またはコンピュータ実行可能命令、プログラム、ファームウェア、ソフトウェアなど（本明細書では「コンピュータ実行可能」構成要素とも称される）は、プロセッサ２１２もしくはプロセッサ２８４、または航空機２１０もしくはデータ処理システム２８０によって（例えば、１つ以上の他の航空機によって）利用される任意の他のコンピュータもしくは制御システムなどのコンピュータもしくはコンピュータ構成要素内にあるかまたはコンピュータもしくはコンピュータ構成要素によってアクセス可能であり、プロセッサ（例えば、中央処理装置、すなわち「ＣＰＵ」、またはグラフィックス処理装置、すなわち「ＧＰＵ」）によって実行されるときに本明細書で説明される機能、サービス及び／または方法の全てまたは一部をプロセッサに実行させる命令シーケンスを有するコンピュータ可読媒体上に記憶されてもよい。このようなコンピュータ実行可能命令、プログラム、ソフトウェアなどは、フロッピードライブ、ＣＤ－ＲＯＭドライブ、ＤＶＤ－ＲＯＭドライブなどのコンピュータ可読媒体と関連付けられたドライブ機構、ネットワークインタフェースなどを用いて、または外部接続を介して１つ以上のコンピュータのメモリにロードされてもよい。
【0059】
本開示のシステム及び方法のいくつかの実施形態はまた、本明細書で説明されるプロセスまたは方法を実行するようにコンピュータ（または他の電子デバイス）をプログラムするのに用いられ得る命令を（圧縮形式で、または非圧縮形式で）記憶する非一時的な機械可読記憶媒体を含むコンピュータ実行可能プログラム製品として提供されてもよい。本開示の機械可読記憶媒体は、限定されるものではないが、ハードドライブ、フロッピーディスク、光ディスク、ＣＤ－ＲＯＭ、ＤＶＤ、ＲＯＭ、ＲＡＭ、消去可能プログラマブルＲＯＭ（「ＥＰＲＯＭ」）、電気的消去可能プログラマブルＲＯＭ（「ＥＥＰＲＯＭ」）、フラッシュメモリ、磁気カードもしくは光カード、ソリッドステートメモリデバイス、または電子命令を記憶するのに適切であり得る他の種類の媒体／機械可読媒体を含んでもよい。更に、実施形態はまた、一時的な機械可読信号を（圧縮形式で、または非圧縮形式で）含むコンピュータ実行可能プログラム製品として提供されてもよい。機械可読信号の例としては、搬送波を用いて変調されるか否かに関わらず、限定されるものではないが、コンピュータプログラムをホスティングもしくは実行するコンピュータシステムもしくは機械がアクセスするように構成可能である信号、またはインターネットもしくは他のネットワークを通じてダウンロードされ得る信号を含む信号が挙げられ得る。
【0060】
上述したように、航空機は、航空機の１つ以上の表面内に埋め込まれた、またはさもなければ統合された１つ以上の撮像デバイスによって取り込まれた撮像データを用いて障害物が着陸エリアにないかどうかを判定するように構成されてもよい。図３を参照して、本開示の実施形態にしたがった対象物検出及び回避のための１つのプロセスのフローチャート３００を示す。
【0061】
ボックス３１０で、無人航空機は、降下中に目的地の付近において高度閾値に到達したと判定する。例えば、無人航空機は、１つ以上のセンサ、例えば、レーザー距離計を備えてもよく、１つ以上の地上構造物に関して無人航空機の高度を決定するように構成される。代替として、無人航空機の高度は、１つ以上の撮像デバイス、レーダシステム、音響システム、全地球測位システム（すなわち「ＧＰＳ」）構成要素などを用いて決定されてもよい。加えて、高度閾値は、任意の根拠によって定められてもよい。例えば、高度閾値は、例えば、ペイロードの質量といった、無人航空機によって実行されている任務の１つ以上の属性または特性に基づいて定められてもよい。高度閾値はまた、例えば、目的地における任意の数の人間、動物、構造物または植物といった、任務のための目的地の１つ以上の属性または特性に基づいて定められてもよい。高度閾値は、更に、目的地において効力のある１つ以上の法的要件もしくは規制要件、または他の任意の要因に基づいて定められてもよい。
【0062】
ボックス３１２で、無人航空機は、目的地において対象標識を探索する。例えば、対象標識は、目的地における表面に施された任意の視覚的基準マーキングであってもよく、無人航空機によって認識されるように意図される。対象標識は、無人航空機によって走査され、着陸するための所望の場所として認識され得る１つ以上の英数字、シンボル、バーコード（例えば、「ＱＲ」コードなどの１次元または２次元のバーコード）などの任意の識別用マーキングを含んでもよい。例えば、いくつかの実施形態では、対象標識は、天然繊維または合成繊維（例えば、織布もしくは不織布の繊維）または１つ以上のマーキングが上にある他の基材などの、可撓性であり、かつ十分な耐久性のある材料の１つ以上の層から形成されてもよい。いくつかの他の実施形態では、対象標識は、着陸表面に塗布される塗料、インク、チョークまたは任意の他の材料から形成されてもよい。代替として、いくつかの実施形態では、対象標識は、無人航空機に信号を送信する、または無人航空機から信号を受信するための１つ以上のセンサまたは他の構成要素を含んでもよく、対象標識は、このような信号の１つ以上に基づいて探索され得る。
【0063】
ボックス３１４で、着陸エリアは、対象標識の中心に基づき、目的地において定められる。例えば、着陸エリアは、対象標識の中心から及ぶ所定の半径に基づいて定められてもよい。例えば、対象標識の長さ、幅、高さまたは１つ以上の他の寸法は、例えば、１つ以上の画像切り出し技術によって決定されてもよく、中心は、このような寸法から決定されてもよい。所定の半径は、無人航空機のための目的地と関連付けられた１つ以上の安全係数または安全考慮事項に加えて、無人航空機の１つ以上の属性、または無人航空機によって実行されている任務に基づいて選択されてもよい。代替として、着陸エリアは、中心以外の、対象標識の任意の寸法に基づいて定められてもよい。例えば、着陸エリアは、対象標識の外周からの緩衝域または他の所定の間隔に基づいて定められてもよい。いくつかの実施形態では、着陸エリアは、例えば、所定の座標の組といった任意の点に基づいて定められてもよく、その点が対象標識と関連付けられているかどうかは問わない。
【0064】
ボックス３１６で、降下中に無人航空機によって取り込まれた対の画像が識別される。例えば、画像は、無人航空機上に提供された２つの異なる撮像デバイスによって同時に取り込まれていてもよく、これらの撮像デバイスは、部分的に少なくとも重複した視野を有する。代替として、画像は、無人航空機上に提供された単一の撮像デバイスによって異なる時刻に取り込まれていてもよい。ボックス３２０で、無人航空機によって以前に取り込まれた画像間の画素視差が決定される。例えば、いくつかの実施形態では、画素視差は、１つ以上のオプティカルフローアルゴリズムを用いて決定されてもよい。オプティカルフローアルゴリズムは、２次元画像の次元のそれぞれに沿って、画像のそれぞれ内に現れている対応する点の間の視差（例えば、ｘ次元の変位とｙ次元のパララックスとの両方）を決定し得る。いくつかの他の実施形態では、画素視差は、ステレオマッチングアルゴリズムを用いて決定されてもよい。ステレオマッチングアルゴリズムは、１次元に沿って、画像のそれぞれ内に現れている対応する点の間の視差（例えば、ｘ次元の変位）を決定し得る。ステレオマッチングアルゴリズムを用いて画素視差が決定される場合、ステレオマッチングアルゴリズムへの入力として画像を提供する前に、画像のそれぞれは、好ましくは、キャリブレーションされた対の撮像デバイスのうちの一方によって取り込まれた後、補正され、例えば、共通の平面上に変換される。
【0065】
オプティカルフローアルゴリズムを用いて画素視差が決定される場合、画素視差は、例えば、最初にダウンサンプリングし、低い解像度で画像を処理して対応する組の画素間の視差を決定することにより、最も低いレベルの解像度で対の画像のそれぞれの間で決定されてもよい。画像は、次いで、層において徐々にアップサンプリングされ、徐々により高いレベルの解像度で処理され、画素視差は、画像がその元の最大レベルの解像度になるまで修正される。画像は、任意の数の層において処理されてもよい。例えば、いくつかの実施形態では、画像は、７つの層において処理されてもよい。加えて、層のそれぞれについて、層のそれぞれの解像度は、例えば、２倍といった、任意の比率及び任意の手法で徐々に増加されてもよい。
【0066】
ボックス３２０で画素視差が決定された後、画像は、着陸エリアを描写するこのような画像の少なくとも一部について、着陸エリアを３次元で復元するように、更には画像から差分画像を生成するように処理されてもよい。ボックス３３０で、着陸エリアは、画素視差に基づいて３次元で復元される。例えば、図１Ｆに示すように、着陸エリアは、画像のそれぞれ内に現れている対応する点（例えば、共役対のエピポールのそれぞれ）と関連付けられた視差のそれぞれを用いて３次元空間内に復元されてもよい。着陸エリアは、画像を取り込んだ撮像デバイスのそれぞれの間の基線間隔に基づいて、例えば、撮像デバイスの画像センサ及びそれらの焦点距離に関して点のそれぞれを三角測量することによって復元されてもよい。
【0067】
ボックス３４０で、ガウシアンフィルタリングの差が、着陸エリアの３次元復元物に適用される。ガウシアンフィルタリングの差は、仮定の上では平坦であり、障害がなく、かつ許容可能な傾斜で提供されている、障害のない着陸エリアの地面に対応する低い周波数を３次元復元物から減算するために適用される。代替として、ボックス３３０で決定された着陸エリアの３次元復元物に、任意の種類または形式のフィルタリングが適用されてもよい。
【0068】
ボックス３５０で、フィルタリングされた３次元復元物が着陸エリア内での標準外の表面の存在を示しているかどうかが判定される。例えば、フィルタリングされた３次元復元物が、着陸エリアの一部が平坦でもなく、障害がないわけでもなく、許容可能な傾斜で提供されているわけでもないことを示している場合、着陸エリアは、その上に位置する１つ以上の障害物を有すると判定されてもよい。しかしながら、フィルタリングされた３次元復元物が、仮定の上では平坦であり、障害のない着陸エリアと一致している場合、または任意のこのような障害物が十分に小さい、もしくは重要ではない場合、着陸エリアは、障害物がないと判定されてもよく、または航空機が安全に着陸するのを妨げるのに相当ではない程度の障害物を含むと判定されてもよい。
【0069】
並行して、ボックス３３５で、対の画像に基づいて差分画像が生成される。例えば、画像のうちの一方から導出される、絶対強度または強度の勾配が、画像のうちの他方から減算されてもよく、それによって互いの上に画像をワープさせる。ボックス３４５で、着陸エリアに対応する差分画像の画素について差分画像スコアが導出される。差分画像スコアは、個々の画像の画素が着陸エリア内で互いに異なる程度を示し得る。差分画像スコアは、ＲＧＢカラーモデルまたは任意の他のモデルもしくは規格にしたがったピクセル値に基づいてもよい。例えば、差分画像スコアは、個々の画像の対応する画素の強度値間の、このような画素間のピーク差、平均差、メディアン差または他の任意の差を示してもよい。差分画像スコアはまた、所定の閾値を上回った強度値の差を有する複数の画素を示してもよい。差分画像スコアは、更に、このような画素が、十分に大きいエリアを定めていることにより、航空機の安全な動作に対する脅威をもたらし得る対象物に対応するかどうか、またはこのような画素が重要ではないサイズの対象物、すなわち航空機の安全な動作に対する現実的な脅威をもたらさない対象物に対応するかどうかを示してもよい。
【0070】
ボックス３５５で、差分画像スコアが、割り当てられた閾値を超えているどうかが判定される。割り当てられた閾値は、任意の根拠により、着陸エリア及び／または航空機に対して決定され、割り当てられてもよい。例えば、割り当てられた閾値は、差分画像の単一の画素の、または差分画像の画素の１つ以上の領域の差分画像スコアの値に基づいてもよい。加えて、割り当てられた閾値は、着陸エリア、航空機、もしくは航空機によって実行されている任務の１つ以上の属性、または他の任意の要因に対応してもよい。例えば、割り当てられた閾値は、航空機の１つ以上の寸法または属性（例えば、サイズ、形状、回転プロペラの数、回転プロペラの動作速度、もしくは任意の他の関連する属性）、着陸エリアもしくは目的地、航空機によって実行されている任務、または任意の他の要因に関して定められてもよい。差分画像スコアが割り当てられた閾値を超えている場合、着陸エリアは、その上に１つ以上の障害物を有すると判定されてもよい。しかしながら、差分画像スコアが割り当てられた閾値を超えていない場合、着陸エリアは、障害物がないと判定されてもよく、または航空機が安全に着陸するのを妨げるのに相当ではない程度の障害物を含むと判定されてもよい。
【0071】
ボックス３６０で、着陸エリアのフィルタリングされた復元物または差分画像のいずれかが、着陸エリア内での１つ以上の障害物の存在を示しているかどうかが判定される。フィルタリングされた復元物が、着陸エリアが、仮定されたように、平坦でもなく、障害がないわけでもなく、許容可能な傾斜でもないことを示している場合、または差分画像が、着陸エリア上に、またはその上方に１つ以上の障害物が存在すること示している場合、プロセスはボックス３６５に進み、そこで着陸動作が中止され、または航空機が代替の着陸エリアを識別することを試み、プロセスは終了する。代替の着陸エリアは、目的地と関連付けられた１人以上の個人によって指定されてもよく、または、例えば、航空機によって取り込まれた１つ以上の画像に基づいて、もしくは任意の他の手法で、航空機によって目的地において識別されてもよい。いくつかの実施形態では、１つ以上のアルゴリズム（例えば、差分画像アルゴリズムまたは構成アルゴリズム）の出力は、着陸エリアが１つ以上の障害物を含む確率を示す信頼水準またはスコアであってもよい。
【0072】
代替として、航空機は、フィルタリングされた着陸エリアの復元物または差分画像のいずれかが着陸エリア内の１つ以上の障害物の存在を示しているときに任意の数の他の措置を取るようにプログラムされてもよく、またはさもなければ構成されてもよい。例えば、障害物が着陸エリアから除かれたと判定され得るまで、航空機の降下速度を減少させてもよく、または、例えば、ホバリングモードに移行することによって停止させてもよい。動いている人間、動物、または物体など、障害物が本質的には動的である場合、降下速度を遅くすることまたはホバリングすることは特に有用であり得る。例えば、動的障害物が１つ以上の画像内で識別された場合、動的障害物は、動的障害物が着陸エリアから離れるまで、またはもはや航空機に危険をもたらすことがないまで、着陸エリア全体にわたって追跡されてもよい。加えて、着陸エリアが１つ以上の障害物を含むという判定が正確である、または十分に高い信頼度に達しているかどうかを確認するために、任意の数の他の対の画像が評価されてもよい。航空機はまた、地上の、または空上の制御システムに１つ以上の信号またはメッセージを送信して着陸エリアの状態を報告してもよく、将来の動作のための１つ以上の命令を含む制御システムから１つ以上の信号またはメッセージを受信してもよい。
【0073】
任意の障害物が着陸エリアにおいて（例えば、着陸エリア上に、または着陸エリアの上方に）に存在することをフィルタリングされた復元物も差分画像も示していない場合、プロセスはボックス３７０に進み、そこで、定められた着陸エリアに無人航空機が着陸したかどうかが判定される。無人航空機が着陸した場合、すなわち無人航空機がその降下を完了した場合、プロセスは終了する。無人航空機が着陸しなかった場合、プロセスは、ボックス３１６に戻り、そこで、降下中に無人航空機によって取り込まれた対の画像が識別され、更にはボックス３２０に戻り、そこで、無人航空機によって取り込まれた以前の画像間の画素の視差が決定される。対の画像は、別の画像と共に、ボックス３１６で以前に識別された対に含まれた画像のうちの一方を含んでもよく、例えば、その場合、画像は連続して取り込まれる。代替として、対の画像は、ボックス３１６で以前に識別されたどの対にも含まれなかった２つの画像を含んでもよい。
【0074】
図３のフローチャート３００は以前の画像間の画素視差を決定した後、３次元の着陸エリアの復元物と差分画像とを並行して生成するための１つのプロセスを説明しているが、いくつかの実施形態では、３次元の着陸エリアの復元物と差分画像の生成とは、連続して行われてもよい。更に、図３のフローチャート３００はフィルタリングされた着陸エリアの復元物または差分画像のいずれかが単一の対の画像について識別された画素視差に基づいて着陸エリア内の１つ以上の障害物の存在を示している場合、着陸動作が中止され得る、または代替の着陸エリアが識別され得ることを示しているが、いくつかの実施形態では、例えば、所定数のフィルタリングされた復元物または差分画像が、着陸エリアが１つ以上の障害物または障害を含むことを示した後、複数の対の画像において識別された画素視差に基づいて着陸動作を中止する、または代替の着陸エリアを検索する判定がなされてもよい。このような実施形態では、例えば、単一の対の画像のみで、１つ以上の障害物または障害が擬似的またはランダム的に識別された場合、着陸動作を中止することまたは代替の着陸エリアを検索することが回避され得る。
【0075】
更に、本開示のシステム及び方法は、対象標識が利用されない場合でも、航空機のための着陸エリアを識別するために利用され得る。例えば、本明細書で開示される実施形態の１つ以上は、取り込まれた環境の対の画像を比較することにより、平坦であり、かつその環境において障害物または障害のない十分なサイズの着陸エリアを識別するために利用されてもよい。例えば、航空機に適合するように十分なサイズであり、かつ平坦であるエリアがそれに応じて識別されてもよい。更に、本明細書で開示されるシステム及び方法の１つ以上は、例えば、１つ以上の座標の組によって定められる空中空間といった、地上の点と関連付けられていない、または着陸機動を含まない動作のための動作エリアに関連して利用されてもよい。例えば、航空機が現在の高度から所望の高度まで移行する場合、着陸することなく、本開示のシステム及び方法の１つ以上は、任意の障害が航空機と所望の高度との間に存続しているかどうかを判定してもよい。いくつかの実施形態では、航空機は、航空機の１つ以上の主軸に関して、垂直下方の方位に、または実質的に垂直下方の方位に整列され、図１Ｄに示したものなどの、航空機の下方に位置する１つ以上の表面または他の対象物に関する撮像データを取り込むように構成された１つ以上の撮像デバイスを備えてもよい。代替として、いくつかの実施形態では、航空機は、航空機の１つ以上の主軸に関して、垂直上方の方位に、または実質的に垂直上方の方位に整列され、航空機の上方に位置する１つ以上の表面または他の対象物に関する撮像データを取り込むように構成された１つ以上の撮像デバイスを備えてもよい。いくつかの実施形態では、航空機は、航空機の１つ以上の主軸に関して、任意の他の角度で整列され、このような軸に沿って位置する１つ以上の表面または他の対象物に関する撮像データを取り込むように構成された１つ以上の撮像デバイスを備えてもよい。
【0076】
いくつかの実施形態では、本開示のシステム及び方法は、複数の撮像デバイスを用いて同時に取り込まれた１つ以上の対の画像（例えば、同期化画像）から画素視差を決定してもよい。図４を参照して、本開示の実施形態にしたがった対象物検出及び回避のための１つのシステムの態様の図を示す。別段の記載がある場合を除き、図４に示した数「４」の後の参照番号は、図２に示した数「２」の後の、または図１Ａ～１Ｉに示した数「１」の後の参照番号を有する構成要素または特徴と類似した構成要素または特徴を示す。
【0077】
図４に示すように、システム４００は、着陸エリア４６５に接近する航空機４１０を含む。航空機４１０は、対の撮像デバイス４４０－１、４４０－２を装備する。これらの撮像デバイスは、航空機４１０の主軸（例えば、垂直軸、横軸、縦軸）に関して実質的に垂直下方の方位に整列され、少なくとも部分的に重複するそれらの個々の視野内に１つ以上の表面特徴を含む。いくつかの実施形態では、１つ以上の表面特徴上の任意の種類または形態の基準マーキング（例えば、図１Ａの対象標識１６０）を認識した直後に着陸エリア４６５が定められてもよい。例えば、基準マーキングと関連付けられた１つ以上の点が検出されてもよく、例えば、所与の点からの所定の半径に基づき、または所与の点の周りに提供された任意の他の境界に基づき、このような点に関して着陸エリア４６５の境界が確立されてもよい。しかしながら、他の実施形態では、着陸エリア４６５は、任意の時刻に、または任意の手法によって定められてもよく、任意の根拠で定められてもよい。例えば、着陸エリア４６５は、例えば、１つ以上の座標の組に基づいて定められた点といった任意の点に基づいて定められてもよく、その点が対象標識または任意の他の対象物と関連付けられているどうかは問わない。
【0078】
撮像デバイス４４０－１、４４０－２による画像の取り込みは、任意の手法で開始または起動されてもよい。例えば、航空機４１０は、所定の地上の場所または高度に接近していることを（例えば、ＧＰＳトランシーバなどの１つ以上の位置センサ、または高度計もしくは他のシステムを用いて）判定してもよく、所定の地上の場所または高度に接近した直後に撮像データの取り込みを開始してもよい。代替として、航空機４１０は、１つ以上のレーダシステム、音響システムまたは撮像デバイスを用いることなどにより、例えば、構造物、航空機、動物、もしくは任意の他の物体といった、１つ以上の地上の、もしくは空中の特徴にこの航空機が接近しているとき、または、１つ以上の地上の、もしくは空中の特徴がこの航空機に接近しているときを判定するように構成されてもよい。したがって、航空機４１０は、航空機４１０がこのような特徴に接近していると判定した直後に、またはこのような特徴が航空機４１０に接近していると判定した直後に撮像データの取り込みを開始してもよい。航空機４１０はまた、所定の時刻または日付に撮像データの取り込みを開始してもよい。
【0079】
航空機４１０の撮像デバイス４４０－１、４４０－２は、航空機４１０が着陸エリア４６５に向かって下降するにつれて画像の取り込みを開始してもよく、または画像の取り込みを継続してもよい。例えば、図４に示すように、撮像デバイス４４０－１、４４０－２は、時刻ｔ０、時刻ｔ１、時刻ｔ２、時刻ｔ３．．．時刻ｔｎまで対の画像を取り込んでもよい。時刻ｔｎは、航空機４１０が着陸エリア４６５に着陸したとき、着陸動作を中止したとき、または撮像デバイス４４０－１、４４０－２による画像の取り込みが何らかの理由で終了したときである。いくつかの実施形態では、撮像デバイス４４０－１、４４０－２は、例えば、所定の、もしくは一定のフレームレートで、または特定の間隔で画像を連続して取り込むように構成される。
【0080】
撮像デバイス４４０－１、４４０－２によって取り込まれた対の画像は、任意の方法または技術にしたがってそれらの間の画素視差を認識するように処理される。所与の時刻（例えば、時刻ｔ０、時刻ｔ１、時刻ｔ２、時刻ｔ３または時刻ｔｎのうちの１つ以上）に撮像デバイス４４０－１によって取り込まれた画像、及び同時に撮像デバイス４４０－２によって取り込まれた画像は、オプティカルフローアルゴリズムに入力として提供されてもよい。オプティカルフローアルゴリズムは、所与の時刻に撮像デバイス４４０－１によって取り込まれた画像及びその所与の時刻に撮像デバイス４４０－２によって取り込まれた画像からの画素の視差、または逆の場合の画素の視差を表すベクトルの場を返してもよい。オプティカルフローアルゴリズムは、個々の撮像デバイス４４０－１、４４０－２によって取り込まれた画像内の画素のうちの一部または全てに基づき、疎または密に動作してもよい。例えば、いくつかの実施形態では、着陸エリア４６５に対応している、またはそれを描写している個々の画像の一部が、認識されてもよく、画像から抽出されてもよい。オプティカルフローアルゴリズムは、疎に動作してもよく、着陸エリア４６５に対応する個々の画像のうちの一部の間の視差に基づいて着陸エリア４６５の疎な復元物を生成してもよい。
【0081】
画素視差は、着陸エリア４６５の３次元復元物を生成するために、更にはこのような復元物が平坦かつ滑らかであるかどうか、またはこのような復元物が着陸動作もしくはこの着陸エリア上での他の機動を阻止する１つ以上の障害を含むかどうかを判定するために用いられてもよい。
【0082】
代替として、所与の時刻（例えば、時刻ｔ０、時刻ｔ１、時刻ｔ２、時刻ｔ３または任意の時刻ｔｎのうちの１つ以上）に撮像デバイス４４０－１によって取り込まれた画像、及び同時に、またはほぼ同時に撮像デバイス４４０－２によって取り込まれた画像がステレオマッチングアルゴリズムに入力として提供されてもよく、これらの画像のうちの一方の画素とこれらの画像のうちの他方の画素との間の複数の視差（例えば、水平方向成分及び／または垂直方向成分を有するベクトル）が出力として戻されてもよい。いくつかの実施形態では、ステレオマッチングアルゴリズムを実行する前に、画像が補正されてもよい。それにより、このような画像内で識別された画素視差が、例えば、水平もしくは垂直、または任意の他の単一の方向といった、単一の方向に限定されることが保証される。
【0083】
いくつかの実施形態では、本開示のシステム及び方法は、単一の撮像デバイスを用いて異なる時刻に取り込まれた１つ以上の対の画像から画素視差を決定してもよい。図５を参照して、本開示の実施形態にしたがった対象物検出及び回避のための１つのシステムの態様の図を示す。別段の記載がある場合を除き、図５に示した数「５」の後の参照番号は、図４に示した数「４」の後、図２に示した数「２」の後、または図１Ａ～１Ｉに示した数「１」の後の参照番号を有する構成要素または特徴と類似した構成要素または特徴を示す。
【0084】
図５に示すように、システム５００は、着陸エリア５６５に接近する航空機５１０を含む。航空機５１０は、撮像デバイス５４０を装備する。この撮像デバイスは、航空機５１０の主軸（例えば、垂直軸、横軸、縦軸）に関して実質的に垂直下方の方位に整列され、それらの個々の視野内に１つ以上の表面特徴を含む。着陸エリア５６５は、任意の根拠によって、例えば、１つ以上の基準マーキングに基づいて定められてもよい。
【0085】
撮像デバイス５４０は、例えば、ストリーミングフォーマットで、または所定の間隔で連続して画像を取り込んでもよい。撮像デバイス５４０による画像の取り込みは、任意の手法で、任意の時刻に、任意の根拠によって開始または起動されてもよい。例えば、航空機５１０は所定の時刻に、または任意の他の根拠により、航空機５１０が地上の、または空中の対象物に接近した、または接近していると判定した直後、航空機５１０が所定の場所または高度に到達したと判定した直後に画像の取り込みを開始するように構成されてもよい。
【0086】
撮像デバイス５４０によって取り込まれた対の画像は、任意の方法または技術にしたがってそれらの間の画素視差を認識するように処理されてもよい。例えば、所与の時刻（例えば、時刻ｔ０、時刻ｔ１、時刻ｔ２、時刻ｔ３、時刻ｔ４、時刻ｔ５、時刻ｔ６、時刻ｔｎ－１または時刻ｔｎのうちの１つ以上）に撮像デバイス５４０によって取り込まれた画像、及び別の時刻（例えば、時刻ｔ０、時刻ｔ１、時刻ｔ２、時刻ｔ３、時刻ｔ４、時刻ｔ５、時刻ｔ６、時刻ｔｎ－１または時刻ｔｎのうちの別の時刻）に撮像デバイス５４０によって取り込まれた画像は、オプティカルフローアルゴリズムに入力として提供されてもよい。オプティカルフローアルゴリズムは、これらの画像のうちの第１の画像からこれらの画像のうちの第２の画像への、または逆の場合の、画素の視差を表すベクトルの場を返してもよい。画素視差は、着陸エリア５６５の３次元復元物を生成するために、更にはこのような復元物が平坦かつ滑らかであるかどうか、またはこのような復元物が着陸動作もしくはこの着陸エリア上での他の機動を阻止する１つ以上の障害を含むかどうかを判定するために用いられてもよい。代替として、所与の時刻（例えば、時刻ｔ０、時刻ｔ１、時刻ｔ２、時刻ｔ３、時刻ｔ４、時刻ｔ５、時刻ｔ６、時刻ｔｎ－１または時刻ｔｎのうちの１つ以上）に撮像デバイス５４０によって取り込まれた画像、及び後の時刻に撮像デバイス５４０によって取り込まれた画像がステレオマッチングアルゴリズムに入力として提供されてもよく、これらの画像のうちの一方の画素とこれらの画像のうちの他方の画素との間の複数の視差（例えば、水平方向成分及び／または垂直方向成分を有するベクトル）が出力として戻されてもよい。いくつかの実施形態では、ステレオマッチングアルゴリズムを実行する前に、画像が補正されてもよい。それにより、このような画像内で識別された画素視差が、例えば、水平もしくは垂直、または任意の他の単一の方向といった、単一の方向に限定されることが保証される。
【0087】
いくつかの実施形態では、航空機５１０は、時刻ｔ０、時刻ｔ１、時刻ｔ２、時刻ｔ３、時刻ｔ４、時刻ｔ５、時刻ｔ６、時刻ｔｎ－１または時刻ｔｎにおける撮像デバイス５４０の位置間での、ある形の横方向の隔たりを生じさせるために、動作中に１つ以上の位置の横方向変位を導くようにプログラムされてもよく、またはさもなければ構成されてもよい。例えば、着陸動作中、または降下もしくはホバリング中に画像を取り込むように撮像デバイス５４０を動作させる他の動作中、必要に応じて、航空機５１０を垂直軸から逸脱させるために、航空機５１０は、１つ以上の舵面を操作してもよく、または１つ以上の推進モータもしくは航空機５１０の任意の他の態様の動作を交替してもよい。垂直軸に関して撮像デバイス５４０の位置を変化させることにより、航空機５１０はこのような位置間の基線間隔を実現してもよく、または拡大してもよい。それにより、撮像デバイス５４０によって取り込まれた画像に基づいて決定される画素の変位に対する精度のレベルが向上する。
【0088】
画素間の視差は、本開示にしたがった任意の方法または技術によって決定されてもよい。例えば、いくつかの実施形態では、画素視差は、このような視差を決定し得る１つ以上のオプティカルフローアルゴリズムを用いて決定されてもよい。図６を参照して、本開示の実施形態にしたがった対象物検出及び回避のための１つのシステムの態様の図を示す。別段の記載がある場合を除き、図６に示した数「６」の後の参照番号は、図５に示した数「５」の後、図４に示した数「４」の後、図２に示した数「２」の後、または図１Ａ～１Ｉに示した数「１」の後の参照番号を有する構成要素または特徴と類似した構成要素または特徴を示す。
【0089】
図６に示すように、１つ以上の撮像デバイス（図示せず）を用いて取り込まれた画像６４５－１、６４５－２内の共通の画素Ｐｎの識別は、対の画像ピラミッドによって表される。画像６４５－１、６４５－２は、図５に示したものなど、異なる時刻に単一の撮像デバイスを用いて取り込まれていてもよく、または図４に示したものなど、同一の時刻（例えば、同期された）もしくは異なる時刻に、２つの撮像デバイスを用いて取り込まれていてもよい。例えば、非常に粗いレベルの細密化といった、第１のレベルの細密化、すなわちレベルｎにおいて、画素Ｐｎは、画像６４５－１、６４５－２のそれぞれ内に容易に現れ、水平方向または垂直方向のいずれにおいても視差がなく、したがってＤｘ＝０かつＤｙ＝０となる。引き続き、画像６４５－１、６４５－２が更なる細密化を受けるにつれて、個々の画像６４５－１、６４５－２内の画素Ｐｎの外観の間の視差は、正確な視差Ｄｘ、Ｄｙが最終レベルの細密化、すなわちレベル０で決定されるまで、後続のレベルの細密化（ｎ－１）、（ｎ－２）などにおいてますます鮮明になる。
【0090】
任意の数のオプティカルフローアルゴリズムが本開示にしたがって利用されてもよく、このようなアルゴリズムは、任意の手法または技術にしたがって動作してもよい。例えば、いくつかの実施形態では、オプティカルフローアルゴリズムは、Ｌｕｃａｓ－Ｋａｎａｄｅ法にしたがって動作してもよく、その場合、対の画像間の画素視差を示すベクトルの場が生成される。加えて、オプティカルフローアルゴリズムは、Ｌｕｃａｓ－Ｋａｎａｄｅ法など、疎であってもよく、その場合、サブセットの共通の画素が、それらの間の個々の視差を識別し、算出するように評価され、オプティカルフローベクトル場の形態を取った出力が、個々の画素のそれぞれについて計算される。代替として、オプティカルフローアルゴリズムは、密であってもよい。それにより、個々の画像の画素のそれぞれが、それらの間の個々の視差を識別し、算出するように評価される。対の画像が着陸エリアの全てまたは一部を描写するいくつかの実施形態では、着陸エリアを描写するこのような画像の一部が、それらの個々の画素間の視差を識別するために画像から抽出されてもよく、疎なオプティカルフローアルゴリズムを受けてもよい。このような視差は、着陸エリアの３次元復元物を生成するために、または着陸エリアの差分画像を算出するために用いられてもよい。
【0091】
画素視差はまた、ステレオマッチングアルゴリズムを用いて決定されてもよい。図７Ａ及び７Ｂを参照して、本開示にしたがった対象物検出及び回避のための１つのシステムの態様の図を示す。別段の記載がある場合を除き、図７Ａまたは７Ｂに示した数「７」の後の参照番号は、図６に示した数「６」の後、図５に示した数「５」の後、図４に示した数「４」の後、図２に示した数「２」の後、または図１Ａ～１Ｉに示した数「１」の後の参照番号を有する構成要素または特徴と類似した構成要素または特徴を示す。
【0092】
図７Ａに示すように、システム７００は、着陸エリア７６５に接近する航空機７１０を含む。航空機７１０は、視野ＦＯＶ１、視野ＦＯＶ２をそれぞれ有する対の撮像デバイス７４０－１、７４０－２を装備し、これらの視野は、少なくとも部分的に重複し、着陸エリア７６５の少なくとも一部を含み、１つ以上の他の表面特徴をその中に含む。撮像デバイス７４０－１、７４０－０２は、航空機７１０の主軸（例えば、垂直軸、横軸、縦軸）に関して実質的に垂直下方の方位に整列される。着陸エリア７６５は、任意の根拠によって、例えば、１つ以上の基準マーキングに基づいて定められてもよい。図７Ａに示すように、着陸エリア７６５は、複数の対象物７７５－１、７７５－２、７７５－３をその上に含む。
【0093】
本開示にしたがって、個々の撮像デバイス７４０－１、７４０－２を用いて取り込まれた画像７４５－１、７４５－２は、１つ以上のステレオマッチングアルゴリズムを用いて処理されてもよい。図７Ｂに示すように、変形モデルにしたがって、または任意の他の手法で、画像７４５－１の画素のそれぞれが、画像７４５－２の画素のうちの１つの上にワープされてもよく、逆も同様であってよい。個々の画像７４５－１、７４５－２の画素をワープする前に、画像７４５－１、７４５－２が補正されてもよい、すなわち、対応するエピポーラ線が互いに並行になるように整列されてもよい。例えば、図７Ｂに示すように、画像７４５－１、７４５－２のそれぞれ内の対象物７７５－１の点Ｇ１、Ｇ２が補正によって整列され、例えば、画像７４５－１、７４５－２のそれぞれ内の対象物７７５－１の点Ｇ１、Ｇ２の位置間の差といった、個々の画像７４５－１、７４５－２内のこのような点に対応する画素間の視差ΔＧ１、ΔＧ２が、互いに関して水平方向（例えば、変位）に決定されてもよい。画像７４５－１、７４５－２が補正されるため、画素間の視差は水平変位からなり、垂直パララックスは全く含まない。同様に、図７Ｂに示すように、画像７４５－１、７４５－２のそれぞれ内の対象物７７５－２の点Ｐ１、Ｐ２が補正によって整列され、例えば、画像７４５－１、７４５－２のそれぞれ内の対象物７７５－２の点Ｐ１、Ｐ２の位置間の差といった、個々の画像７４５－１、７４５－２内のこのような点に対応する画素間の視差ΔＰ１、ΔＰ２が、互いに関して水平方向に決定されてもよい。最後に、図７Ｂにも示すように、画像７４５－１、７４５－２のそれぞれ内の対象物７７５－３の点Ｂが補正によって整列され、例えば、画像７４５－１、７４５－２のそれぞれ内の対象物７７５－３の点Ｂの位置間の差といった、個々の画像７４５－１、７４５－２内のこのような点に対応する画素間の視差ΔＢが、互いに関して水平方向に決定されてもよい。上述したように、キャリブレーションされた撮像デバイスによって取り込まれた補正後の画像を用いることにより、個々の位置Ｇ１、Ｇ２、Ｐ１、Ｐ２、Ｂの間のエピポーラ線が互いに平行に整列されること、及び視差ΔＧ１、ΔＧ２、ΔＰ１、ΔＰ２、ΔＢが水平変位からなり、垂直パララックスを全く含まないことが保証される。
【0094】
本願明細書で開示される実施態様は、無人航空機のための着陸エリア内の障害を検出する方法であって、無人航空機上に提供された少なくとも１つのセンサにより、無人航空機の高度が所定の高度閾値以下であると判定することと、無人航空機上に提供された少なくとも１つの撮像デバイスにより、無人航空機の下方の表面上の対象標識を探索することと、対象標識の少なくとも一部に少なくとも部分的に基づいて着陸エリアを定めることであって、着陸エリアが、対象標識の一部に関して定められた幾何学的形状を含み得る、定めることと、少なくとも１つの撮像デバイスにより、無人航空機の下方の表面の少なくとも一部を含む第１の画像を取り込むことと、少なくとも１つの撮像デバイスにより、無人航空機の下方の表面の少なくとも一部を含む第２の画像を取り込むことと、第１の画像内に描写された少なくとも複数の点に対応する画素と第２の画像内に描写された少なくとも複数の点に対応する画素との間の視差を決定することであって、複数の点のそれぞれが着陸エリア内にある、決定することと、画素間の視差に少なくとも部分的に基づいて着陸エリアの復元物を生成することと、画素間の視差に少なくとも部分的に基づいて差分画像を算出することと、復元物または差分画像に少なくとも部分的に基づいて着陸エリアが少なくとも１つの障害を含むかどうかを判定することと、着陸エリアが少なくとも１つの障害を含むと判定することに応じて、着陸エリアにおける無人航空機の着陸を中止することとを含む方法を含んでもよい。
【0095】
任意選択で、少なくとも１つの撮像デバイスは、第１の撮像デバイス及び第２の撮像デバイスを含んでもよく、第１の撮像デバイスと第２の撮像デバイスとは、基線間隔だけ隔離され、第１の画像は、第１の撮像デバイスによって取り込まれ、第２の画像は、第２の撮像デバイスによって取り込まれ、着陸エリアの復元物を生成することは、複数の点のそれぞれについて、第１の画像内に描写された複数の点に対応する画素のうちの１つと第２の画像内に描写された複数の点に対応する画素のうちの１つとの間の距離を算出することを含んでもよく、視差は、複数の点のそれぞれについて算出された間隔に少なくとも部分的に基づいて決定される。
【0096】
任意選択で、方法は、第１の画像及び第２の画像のそれぞれをオプティカルフローアルゴリズムに入力として提供することと、オプティカルフローアルゴリズムから、複数のベクトルを含むベクトル場を含み得る出力を受け取ることとを含んでもよく、ベクトルのそれぞれは、第１の画像内に描写された複数の点に対応する画素のうちの１つと第２の画像内に描写された複数の点に対応する画素のうちの１つとの間の視差を表す。
【0097】
任意選択で、方法は、第１の画像内に描写された複数の点に対応する画素のそれぞれを第２の画像内に描写された複数の点に対応する画素のうちの１つにマッチングさせることと、第１の画像内に描写された複数の点に対応する画素のそれぞれについて、第２の画像内に描写された複数の点に対応する画素のマッチングされた画素までの間隔を決定することとを含んでもよく、複数の点のそれぞれについて算出された間隔のそれぞれは、視差のうちの１つである。
【0098】
本明細書で開示される実施態様は、航空機による機動の実行中に航空機上に提供された少なくとも１つの撮像デバイスによって第１の画像を取り込むことであって、少なくとも１つの撮像デバイスの視野が第１の場所において少なくとも１つの表面を含む、取り込むことと、航空機による機動の実行中に少なくとも１つの撮像デバイスによって第２の画像を取り込むことと、少なくとも１つの表面上の少なくとも１つの点に関して動作エリアを定めることと、第１の画像の第１の複数の画素と第２の画像の第２の複数の画素との間の第１の複数の画素視差を決定することであって、第１の画像の第１の複数の画素のうちの少なくとも一部が、第１の画像内に描写された動作エリアの点に対応し、第２の複数の画素のうちの少なくとも一部が、第２の画像内に描写された動作エリアの点に対応する、決定することと、第１の複数の画素視差に少なくとも部分的に基づいて動作エリアの少なくとも一部の第１の３次元復元物を生成することと、第１の複数の画素視差に少なくとも部分的に基づいて第１の差分画像を生成することと、少なくとも第１の３次元復元物または第１の差分画像に少なくとも部分的に基づいて動作エリアが少なくとも１つの障害を含むかどうかを判定することと、動作エリアが少なくとも１つの障害を含むと判定することに応じて、航空機の機動を中断することとを含む方法を含んでもよい。
【0099】
任意選択で、方法は、動作エリアが少なくとも１つの障害を含まないと判定することに応じて、航空機の機動を完了することを更に含んでもよい。
【0100】
任意選択で、方法は、第１の画像及び第２の画像のそれぞれをオプティカルフローアルゴリズムに入力として提供することと、オプティカルフローアルゴリズムから、複数のベクトルを含むベクトル場を含み得る出力を受け取ることとを更に含んでもよく、複数のベクトルのそれぞれは、画素視差のうちの１つを表す。
【0101】
任意選択で、方法は、第１の画像の第１の複数の画素のそれぞれを第２の画像の第２の複数の画素のうちの１つにマッチングさせることと、第１の複数の画素のそれぞれについて、第２の画像の第２の複数の画素のうちのマッチングされた画素までの間隔を決定することとを更に含んでもよく、間隔のそれぞれは、画素視差のうちの１つに対応する。
【0102】
任意選択で、少なくとも１つの撮像デバイスは、第１の撮像デバイス及び第２の撮像デバイスを含んでもよく、第１の撮像デバイスと第２の撮像デバイスとは、基線間隔だけ隔離され、第１の画像は、第１の撮像デバイスによって取り込まれ、第２の画像は、第２の撮像デバイスによって取り込まれ、動作エリアの第１の３次元復元物を生成することは、動作エリアの複数の点のそれぞれについて、第１の撮像デバイスまたは第２の撮像デバイスのうちの一方から複数の点のうちの１つまでの間隔を算出することと、第１の撮像デバイスまたは第２の撮像デバイスのうちの一方からの間隔及び動作エリアの複数の点に少なくとも部分的に基づいて動作エリアの第１の３次元復元物を生成することとを含んでもよい。
【0103】
任意選択で、少なくとも１つの撮像デバイスは、第１の撮像デバイスを含んでもよく、第１の画像は、第１の時刻に第１の撮像デバイスによって取り込まれ、第２の画像は、第２の時刻に第１の撮像デバイスによって取り込まれる。
【0104】
任意選択で、第１の画像は第１の時刻に取り込まれてもよく、第２の画像はほぼ第１の時刻に取り込まれてもよく、方法は、動作エリアが少なくとも１つの障害を含まないと判定することに応じて、航空機による機動の実行中に少なくとも１つの撮像デバイスにより、第２の時刻に第３の画像を取り込むことと、航空機による機動の実行中に少なくとも１つの撮像デバイスにより、ほぼ第２の時刻に第４の画像を取り込むことと、第３の画像の第３の複数の画素と第４の画像の第４の複数の画素との間の第２の複数の画素視差を決定することであって、第３の画像の第３の複数の画素のうちの少なくとも一部が、第３の画像内に描写された動作エリアの点に対応し、第４の複数の画素のうちの少なくとも一部が、第４の画像内に描写された動作エリアの点に対応する、決定することと、第２の複数の画素視差に少なくとも部分的に基づいて動作エリアの少なくとも一部の第２の３次元復元物を生成することと、第２の複数の画素視差に少なくとも部分的に基づいて第２の差分画像を生成することと、少なくとも第２の３次元復元物及び差分画像に少なくとも部分的に基づいて動作エリアが少なくとも１つの障害を含むかどうかを判定することと、動作エリアが少なくとも１つの障害を含むと判定することに応じて、航空機の機動を中断することとを更に含んでもよい。
【0105】
任意選択で、方法は、第１の画像または第２の画像のうちの少なくとも一方内で少なくとも１つの表面上の少なくとも１つの基準標識を検出することと、少なくとも１つの基準標識の少なくとも１つの属性を認識することと、少なくとも１つの属性に少なくとも部分的に基づいて少なくとも１つの基準標識と関連付けられた少なくとも１つの点を決定することとを更に含んでもよく、動作エリアは、少なくとも１つの基準標識と関連付けられた少なくとも１つの点からの所定の半径を有する円である。
【0106】
任意選択で、方法は、航空機と関連付けられた少なくとも１つのトランシーバにより、航空機のための目的地に関する情報を受信することであって、目的地に関する情報が、少なくとも１つの点の識別名を含み得る、受信することと、航空機と関連付けられた少なくとも１つのセンサにより、少なくとも１つの点の付近内に航空機があると判定することとを更に含んでもよく、第１の画像及び第２の画像は、少なくとも１つの点の付近内に航空機があると判定することに応じて取り込まれる。
【0107】
任意選択で、方法は、第１の３次元復元物に対してガウシアンフィルタの差を実行することであって、少なくとも第１の３次元復元物及び第１の差分画像に少なくとも基づいて動作エリアが少なくとも１つの障害を含むかどうかを判定することが、少なくともフィルタリングされた第１の３次元復元物及び第１の差分画像に少なくとも部分的に基づいて動作エリアが少なくとも１つの障害を含むかどうかを判定することを含み得る、実行することを更に含んでもよい。
【0108】
任意選択で、方法は、第１の画像の第１の複数の画素のそれぞれについて、第１の画像の第１の複数の画素のうちの１つの強度値と第２の画像の第２の複数の画素のうちの対応する１つの強度値との間の差を決定することであって、前記強度値間の差に少なくとも部分的に基づいて第１の差分画像が生成される、決定することと、差分画像のためのスコアを算出することであって、スコアが、第１の画像の第１の複数の画素のうちの１つと第２の画像の第２の複数の画素の対応する１つとの間の強度値のピーク差、平均差またはメディアン差のうちの少なくとも１つを含み得る、算出することと、スコアが所定の閾値を超えていると判定することとを更に含んでもよい。
【0109】
任意選択で、機動は、所定の動作と関連付けられてもよく、方法は、動作エリアが少なくとも１つの障害を含むと判定することに応じて、所定の動作を実行するための第２の場所を識別することと、第１の場所から第２の場所まで無人航空機を移動させることとを更に含んでもよい。
【0110】
本明細書で開示される実施態様は、無人航空機上の第１の撮像デバイスによって第１の複数の画像を取り込むことと、無人航空機上の第２の撮像デバイスによって第２の複数の画像を取り込むことと、複数の対の画像のそれぞれについて、複数の対の画像のうちの１つの間の複数の画素視差を決定することであって、複数の対のそれぞれが、第１の複数の画像のうちの１つ及び第２の複数の画像のうちの１つを含み得、複数の画素視差が、オプティカルフローアルゴリズムまたはステレオマッチングアルゴリズムのうちの少なくとも一方にしたがって決定される、決定することと、複数の画素視差のうちの少なくとも一部に少なくとも部分的に基づいてエリアの３次元復元物を生成することと、複数の対の画像のそれぞれについて差分画像を生成することと、３次元復元物または差分画像のうちの１つのうちの少なくとも一方に少なくとも部分的に基づき、少なくとも１つの障害を含まない少なくとも１つの場所を識別することと、少なくとも１つの場所において、または少なくとも１つの場所の近くに航空機を着陸させることとを含む方法を含んでもよい。
【0111】
任意選択で、方法は、航空機の位置の横方向変位を生じさせることを更に含んでもよく、第１の複数の画像のうちの少なくとも第１の画像は、横方向変位を生じさせる前に取り込まれ、第２の複数の画像のうちの少なくとも第２の画像は、横方向変位を生じさせた後に取り込まれ、複数の対の画像のうちの第１の対は、第１の画像及び第２の画像を含み得る。
【0112】
任意選択で、第１の撮像デバイスと第２の撮像デバイスとは、基線間隔だけ隔離されてもよく、エリアの３次元復元物を生成することは、エリアの複数の点のそれぞれについて、複数の画素視差のうちの少なくとも一部に少なくとも部分的に基づき、第１の撮像デバイスまたは第２の撮像デバイスのうちの一方から複数の点のうちの１つまでの間隔を算出することと、第１の撮像デバイスまたは第２の撮像デバイスのうちの一方からの間隔及び動作エリアの複数の点に少なくとも部分的に基づき、エリアの３次元復元物を生成することとを含んでもよい。
【0113】
任意選択で、方法は、少なくとも１つの場所において関連する少なくとも１つの点を選択することと、少なくとも１つの点に関して着陸エリアを定めることであって、着陸エリアが、少なくとも１つの点からの所定の半径を有する円を含み得る、定めることと、着陸エリアを定めた後、第１の撮像デバイスによって第１の画像を取り込むことと、第２の撮像デバイスによって第２の画像を取り込むことと、オプティカルフローアルゴリズムまたはステレオマッチングアルゴリズムのうちの少なくとも一方にしたがって、第１の画像内に描写された着陸エリアの点に対応する画素と第２の画像内に描写された着陸エリアの点に対応する画素との間の複数の画素視差を決定することと、複数の画素視差に少なくとも部分的に基づいて着陸エリアの３次元復元物を生成することと、複数の画素視差に少なくとも部分的に基づいて差分画像を生成することと、複数の画素視差に少なくとも部分的に基づいて生成された着陸エリアの３次元復元物及び差分画像に少なくとも部分的に基づき、着陸エリアが少なくとも１つの障害を含まないと判定することと、着陸エリアが少なくとも１つの障害を含まないと判定することに応じて、航空機を着陸エリア内に着陸させることとを更に含んでもよい。
【0114】
本開示は、本開示のシステム及び方法を実施するための例示的な技術、構成要素及び／またはプロセスを用いて本明細書に説明されているが、当業者であれば、本明細書で説明される同一の機能（複数可）及び／または結果（複数可）を達成し、かつ本開示の範囲内に含まれる、他の技術、構成要素及び／もしくはプロセス、または本明細書で説明される技術、構成要素、ならびに／もしくはプロセスの他の組み合わせ及びシーケンスが用いられ得る、または実行され得ることを理解すべきである。
【0115】
本明細書中で用いる「前方」飛行または「水平」飛行という用語は、地面（すなわち海面）に実質的に平行な方向における飛行を指す。本明細書で用いる「垂直」飛行という用語は、地心から実質的に半径方向外側に拡張する方向における飛行を指す。当業者は、飛行軌跡が「前方」飛行すなわち「水平」飛行及び「垂直」飛行のベクトルの両方の成分を含み得ることを認識するであろう。本明細書で用いる「視差」という用語は、２つの差分画像フレーム内の共通の画素または画素の位置の差を指すように用いられ得る。したがって、「視差」という用語は、本開示によれば、「変位」と称されるときがある水平の位置の差、「パララックス」と称されるときがある垂直の位置の差、または水平と垂直との両方の、もしくは任意の他の軸に沿って整列された位置の差を指し得る。この点について、「視差」、「変位」または「パララックス」という用語は、２つ以上の画像フレーム内の画素または複数の画素の位置の差を指すように同義的に用いられ得る。更に、本明細書で用いる「障害物」及び「障害」という用語は、航空機の動作エリア内に、一時的に、または永続的に存在し得る任意の対象物を指し得る。例えば、障害物または障害は、静的または動的、例えば可動であり得、人間、動物、または自転車、三輪車、ベビーカー、スケートボードもしくはボールなどの物体などである。「障害物」及び「障害」という用語は、本明細書で同義的に用いられる。
【0116】
本明細書で開示される実施形態のいくつかは、倉庫または他の同様の設備から顧客にペイロードを配達するための無人航空機の使用を参照するが、当業者は、本明細書で開示されるシステム及び方法はそのように限定されず、任意の意図された工業的用途、商業的用途、娯楽的用途または他の用途のために固定翼または回転翼を有する任意の種類または形の航空機（例えば、有人または無人）と関連して利用され得ることを認識するであろう。更に、当業者は、本明細書で開示される実施形態の１つ以上が航空機の任意の動作に関連して利用されてもよく、着陸動作に限定されないことを認識するであろう。例えば。航空機が、所与のエリアにおいて、前方飛行もしくは垂直飛行またはホバリングを必要とする監視動作を実行するようにプログラムまたは命令される場合、航空機は、所与のエリアに障害が入っていないかどうか、または所与のエリア内の動作が、所望したように、もしくは意図したように安全に実行され得るかどうかを判定するときに画像を取り込んでもよく、このような画像内で表される画素間の視差を決定してもよい。上述したように、着陸エリアが２次元で定められる場合、例えば、２次元の表面に関して、着陸動作が安全に行われ得るかどうかが、画素視差を算出し、画素視差を用いて、着陸エリアの３次元復元物及び着陸エリアのための差分画像を生成することによって判定されてもよい。本開示によれば、動作エリアは、２次元（例えば、空間内の平面領域）または３次元（例えば、空間内の体積領域）のいずれかで定められてもよいが、動作エリアは、任意の所与の表面と関連付けられる必要はなくてもよい。いくつかの実施形態では、本開示のシステム及び方法は、空間内の２次元領域、または空間内の３次元領域が、航空機によるこのような領域内での１つ以上の機動の実行を妨げ得る、阻止し得る、または困難にし得る１つ以上の障害物または障害を含むかどうかを判定するために用いられてもよい。
【0117】
本明細書中に明示的にまたは黙示的に別段の指示がない限り、本明細書中で特定の実施形態に関して説明される特徴、特性、代替物または変形のいずれも、本明細書で説明される任意の他の実施形態にも適用、使用、または組み込み得ること、ならびに本開示の図面及び詳細な説明は、添付の特許請求の範囲によって定められる様々な実施形態に対する全ての変形、等価物及び代替物を網羅することを意図することが理解されるべきである。更に、限定されるものではないが、図３のフローチャートに表現されたプロセスを含む、本明細書で説明される本開示の１つ以上の方法またはプロセスに関して、このような方法またはプロセスが提示される順番は、特許請求された発明に対するいずれの制限としても解釈されるように意図されず、本明細書で説明される任意の数の方法またはプロセスステップまたはボックスは、本明細書で説明される方法またはプロセスを実現するために、任意の順番において、かつ／または並列して組み合わせることができる。また、本明細書の図面は縮尺通りに描かれていない。
【0118】
特に断りのない限り、または使用されている文脈の中でそれ以外に理解されない限り、とりわけ、「できる」、「場合がある」、「可能性がある」または「してもよい」などの条件付きの文言は、概して、特定の実施形態が特定の特徴、要素及び／またはステップを含む場合がある、または含む可能性があるが、特定の特徴、要素、及び／またはステップを要求しないまたは必要としないことを許容的に伝達するように意図される。同様に、「含む（ｉｎｃｌｕｄｅ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」及び「含む（ｉｎｃｌｕｄｅｓ）」などの用語は、概して、「含むが限定されない（ｉｎｃｌｕｄｉｎｇ，ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」を意味するように意図される。したがって、このような条件付きの文言は、一般に、特徴、要素及び／またはステップが１つ以上の実施形態に全て必要であることを示すように意図されるものでもなく、これらの特徴、要素及び／もしくはステップが任意の特定の実施形態に含まれるか、それとも任意の特定の実施形態において実行されるものであるかをユーザの入力または指示の有無に関わらず決定する論理が１つ以上の実施形態に必ず含まれることを示すように意図されるものでもない。
【0119】
特に明記しない限り、「Ｘ、ＹまたはＺのうちの少なくとも１つ」または「Ｘ、Ｙ及びＺのうちの少なくとも１つ」という句などの選言的な文言は、そうでなければ項目、用語などがＸ、ＹもしくはＺまたはそのいずれかの組み合わせ（例えば、Ｘ、Ｙ及び／またはＺ）であってよいことを示すために一般的に用いられるものとして文脈によって理解される。したがって、このような選言的言語は、一般に、ある実施形態がＸの少なくとも１つ、Ｙの少なくとも１つ、またはＺの少なくとも１つがそれぞれ存在することを必要とすることを示唆するように意図されておらず、そのように示唆するように意図されるべきではない。
【0120】
特に明記しない限り、「ａ」または「ａｎ」などの冠詞は、一般に、１つ以上の説明された項目を含むように解釈されるべきである。したがって、「～するように構成されたデバイス」などの句は、１つ以上の列挙されたデバイスを含むように意図される。このような１つ以上の列挙されたデバイスは、記載された列挙を実行するように集合的に構成することもできる。例えば、「列挙Ａ、Ｂ及びＣを実行するように構成されたプロセッサ」は、列挙Ａを実行するように構成された第１のプロセッサが、列挙Ｂ及びＣを実行するように構成された第２のプロセッサと協働することを含むことができる。
【0121】
本明細書中で使用される「約」、「ほぼ」、「概して」、「およそ」または「実質的に」という用語のなどの、本明細書で用いられる程度の文言は、記載された値、量、または依然として所望の機能を果たすかもしくは所望の結果を達成する特性に近似する値、量または特性を示す。例えば、「約」、「ほぼ」、「概して」、「およそ」または「実質的に」という用語は、記載された量の１０％未満の範囲内、５％未満の範囲内、１％未満の範囲内、０．１％未満の範囲内、及び０．０１％未満の範囲内である量を指してもよい。
【0122】
本発明をその例示的な実施形態に関して説明し示したが、前述の追加及び省略、ならびに様々な他の追加及び省略が、本開示の趣旨及び範囲から逸脱することなく、その中で、及びそれになされ得る。
【図1A】
【図1B】
【図1C】
【図1D】
【図1E】
【図1F】
【図1G】
【図1H】
【図1I】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
