特開 2022-95569 航空機センサシステムの同期

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022095569

(43)【公開日】2022-06-28

(54)【発明の名称】航空機センサシステムの同期

(51)【国際特許分類】

   G01C 11/34 20060101AFI20220621BHJP

   B64D 47/08 20060101ALI20220621BHJP

【ＦＩ】

G01C11/34

B64D47/08

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021202236

(22)【出願日】2021-12-14

(31)【優先権主張番号】63/126,450

(32)【優先日】2020-12-16

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】500461860

【氏名又は名称】オーロラ フライト サイエンシズ コーポレーション

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林特許業務法人

(72)【発明者】

【氏名】トゥラルバ， ホセ アントニオ エル．

(57)【要約】      （修正有）

【課題】いくつかの航空機の動作をより高い精度で調整するための方法、装置、及びシステムに関する。
【解決手段】空中イメージングシステム２００を動作させるための、方法、装置、システム及びコンピュータプログラム製品。第１の航空機の第１の高度２２６は、コンピュータシステム２１０によって、第１の航空機２０４によって生成されたキーポイント２２０の第１の画像２１２とステレオ深度三角測量２２４とを用いて決定される。比較２３２を作成するために、第１の高度２２６が、第２の航空機２０６によって決定された第２の航空機２０６の第２の高度２３０と、コンピュータシステムによって比較される。第１と第２の高度との間のオフセット２３８は、比較２３２を用いて決定される。第１又は第２の高度は、オフセット２３８に基づいて調整される。第１の高度では第１の航空機から、第２の高度では第２の航空機から、１つの地域の複数の画像が得られる。
【選択図】図２

【特許請求の範囲】

【請求項1】

空中イメージングシステム（２００）において、
第１の航空機（２０４）に搭載された第１のカメラシステム（２１６）であって、前記第１の航空機（２０４）の飛行中に第１の画像（２１２）を生成する第１のカメラシステム（２１６）と；
前記第１の航空機（２０４）に搭載された高度センサシステム（２３４、３１４）であって、前記第１の航空機（２０４）の第１の高度（２２６）を測定する高度センサシステム（２３４、３１４）と；
前記第１の航空機（２０４）のコントローラ（２０８）であって、
前記第１の航空機（２０４）の飛行中に、前記第１の航空機（２０４）に関連付けられた前記第１のカメラシステム（２１６）によって生成されたキーポイント（２２０）の前記第１の画像（２１２）とステレオ深度三角測量（ｓｔｅｒｅｏ ｄｅｐｔｈ ｔｒｉａｎｇｕｌａｔｉｏｎ）（２２４）とを用いて、前記第１の航空機（２０４）からキーポイント（２２０）までの第１の距離（２２２）を決定するように；
第２の航空機（２０６）から、前記第２の航空機（２０６）から前記キーポイント（２２０）までの第２の距離（２２８）と、前記第２の航空機（２０６）について測定された第２の高度（２３０）とを受信するように；
前記第１の航空機（２０４）から前記キーポイント（２２０）までの前記第１の距離（２２２）及び前記第１の高度（２２６）と前記第２の航空機（２０６）から前記キーポイント（２２０）までの前記第２の距離（２２８）及び前記第２の高度（２３０）とを比較して、比較（２３２）を作成するように；且つ
前記比較（２３２）を用いて、前記第１の航空機（２０４）の前記第１の高度（２２６）と前記第２の航空機（２０６）の前記第２の高度（２３０）との間のオフセット（２３８）であって、前記第１の航空機（２０４）の高度を調整するために使用されるオフセット（２３８）を決定するように構成されているコントローラ（２０８）と
を備える、空中イメージングシステム（２００）。

【請求項2】

前記オフセット（２３８）を使用してアクション（２４２）のセットを実行することを更に含む、請求項１に記載の空中イメージングシステム（２００）。

【請求項3】

前記アクション（２４２）のセットが、前記第１の航空機（２０４）と前記第２の航空機（２０６）によって生成された周囲環境の画像から得られた点群中の点の高度情報を調整すること；前記第１の航空機（２０４）と前記第２の航空機（２０６）のミッションを制御すること；前記第１の航空機（２０４）と前記第２の航空機（２０６）のルートを調整すること；前記第１の航空機（２０４）と前記第２の航空機（２０６）が飛行する高度を同期させること；前記第１の航空機（２０４）と前記第２の航空機（２０６）の高度を測定するセンサシステムを同期させること；又は前記第１の航空機（２０４）と前記第２の航空機（２０６）の編隊飛行を調整することのうちの少なくとも１つから選択される、請求項２に記載の空中イメージングシステム（２００）。

【請求項4】

前記第１のカメラシステム（２１６）によって生成された前記第１の画像（２１２）内の前記キーポイント（２２０）を識別することを更に含む、請求項１～３のいずれか一項に記載の空中イメージングシステム（２００）。

【請求項5】

前記第１の距離（２２２）が、前記第１の画像（２１２）内の前記キーポイント（２２０）の第１のピクセル（２２３）を使用して実行されるステレオ深度三角測量（２２４）を用いて決定され、前記第２の距離（２２８）が、第２の画像（２１４）内の前記キーポイント（２２０）の第２のピクセル（２２９）を使用して実行されるステレオ深度三角測量（２２４）を用いて決定される、請求項１～４のいずれか一項に記載の空中イメージングシステム（２００）。

【請求項6】

前記高度センサシステム（２３４、３１４）が、気圧センサ又は全地球測位システム受信機のうちの少なくとも１つを含む、請求項１～５のいずれか一項に記載の空中イメージングシステム（２００）。

【請求項7】

空中イメージングシステム（２００）を動作させる方法であって、
第１の航空機（２０４）の飛行中に前記第１の航空機（２０４）によって生成されたキーポイント（２２０）の第１の画像（２１２）とステレオ深度三角測量（２２４）とを用いて、コンピュータシステム（２１０）によって、前記第１の航空機（２０４）の第１の高度（２２６）を決定すること（６００）；
前記コンピュータシステム（２１０）によって、前記第１の高度（２２６）と、第２の航空機（２０６）によって決定された前記第２の航空機（２０６）の第２の高度（２３０）とを比較して、比較（２３２）を作成すること（６０２）；
前記比較（２３２）を用いて、前記コンピュータシステム（２１０）によって、前記第１の高度（２２６）と前記第２の高度（２３０）との間のオフセット（２３８）を決定すること（６０４）；
前記オフセット（２３８）に基づいて、前記コンピュータシステム（２１０）によって、前記第１の高度（２２６）又は前記第２の高度（２３０）のうちの少なくとも１つを調整すること；及び
前記コンピュータシステム（２１０）によって、前記第１の高度（２２６）では前記第１の航空機（２０４）から、前記第２の高度（２３０）では前記第２の航空機（２０６）から、１つの地域の複数の画像を得ること
を含む、方法。

【請求項8】

前記コンピュータシステム（２１０）によって、前記オフセット（２３８）を使用してアクション（２４２）のセットを実行すること（７００）を更に含む、請求項７に記載の方法。

【請求項9】

前記アクション（２４２）のセットが、前記第１の航空機（２０４）と前記第２の航空機（２０６）によって生成された周囲環境の画像から得られた点群中の点の高度情報を調整すること；前記第１の航空機（２０４）と前記第２の航空機（２０６）のミッションを制御すること；前記第１の航空機（２０４）と前記第２の航空機（２０６）のルートを調整すること；前記第１の航空機（２０４）と前記第２の航空機（２０６）が飛行する高度を同期させること；前記第１の航空機（２０４）と前記第２の航空機（２０６）の高度を測定するセンサシステムを同期させること；又は前記第１の航空機（２０４）と前記第２の航空機（２０６）の編隊飛行を調整することのうちの少なくとも１つから選択される、請求項８に記載の方法。

【請求項10】

前記コンピュータシステム（２１０）によって、前記第１の航空機（２０４）に関連付けられた第１のカメラシステム（２１６）によって生成された前記第１の画像（２１２）内の前記キーポイント（２２０）を識別することを更に含む、請求項７～９のいずれか一項に記載の方法。

【請求項11】

前記第２の高度（２３０）が、前記第２の航空機（２０６）によって生成された前記キーポイント（２２０）の第２の画像（２１４）を使用して実行されるステレオ深度三角測量（２２４）を用いて決定される、請求項７～１０のいずれか一項に記載の方法。

【請求項12】

前記第２の高度（２３０）が、前記第２の航空機（２０６）と関連付けられた高度センサシステム（２３６、３１４）を使用して決定される、請求項７～１１のいずれか一項に記載の方法。

【請求項13】

前記第１の航空機（２０４）と前記第２の航空機（２０６）が、飛行機、無人航空システム、無人航空機、ドローン、回転翼航空機，又は宇宙船のうちの少なくとも１つから選択される、請求項７～１２のいずれか一項に記載の方法。

【請求項14】

空中イメージングシステム（２００）を動作させるためのコンピュータプログラム製品（１２２２）であって、
コンピュータ可読記憶媒体（１２２４）；
前記コンピュータ可読記憶媒体に記憶されており、コンピュータシステム（２１０）によって実行可能な第１のプログラムコードであって、前記コンピュータシステム（２１０）に、第１の航空機（２０４）の飛行中に前記第１の航空機（２０４）によって生成されたキーポイント（２２０）の第１の画像（２１２）とステレオ深度三角測量（２２４）とを用いて前記第１の航空機（２０４）から前記キーポイント（２２０）までの第１の距離（２２２）を決定させる第１のプログラムコード；
前記コンピュータ可読記憶媒体に記憶されており、前記コンピュータシステム（２１０）によって実行可能な第２のプログラムコードであって、前記コンピュータシステム（２１０）に、前記第１の航空機（２０４）から前記キーポイント（２２０）までの前記第１の距離（２２２）及び前記第１の航空機（２０４）によって測定された前記第１の航空機（２０４）の第１の高度（２２６）と、第２の航空機（２０６）から前記キーポイント（２２０）までの第２の距離（２２８）及び前記第２の航空機（２０６）によって測定された前記第２の航空機（２０６）の第２の高度（２３０）とを比較して、比較（２３２）を作成させる第２のプログラムコード；並びに
前記コンピュータ可読記憶媒体に記憶されており、前記コンピュータシステム（２１０）によって実行可能な第３のプログラムコードであって、前記コンピュータシステム（２１０）に、前記比較（２３２）を用いて、前記第１の航空機（２０４）の高度を調整するために使用される、前記第１の航空機（２０４）の前記第１の高度（２２６）と前記第２の航空機（２０６）によって測定された前記第２の高度（２３０）との間のオフセット（２３８）を決定させる第３のプログラムコード
を備える、コンピュータプログラム製品（１２２２）。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して航空機に関する。特に、いくつかの航空機の動作をより高い精度（ｐｒｅｃｉｓｉｏｎ）で調整するための方法、装置、及びシステムに関する。

【背景技術】

【0002】

写真測量とは、写真を使って測定を行うことである。写真測量は、測量及びマッピングにおいて、画像によって物体間の距離を測定する。例えば、写真測量を使用して、地形図上に等高線をプロットすることができる。写真測量を使用すると、環境の３次元モデルの点群モデルを作成することもできる。例えば、点群モデルは、畑の作物、公園、街区、スタジアム、地形、又はその他目的の物体の写真から生成されうる。

【0003】

カメラシステムを備えた航空機は、公園、作物が実った畑、街又は他の地域など、ある地域の上空を飛行することができる。航空機は、オーバーラップが存在する、地域の画像を生成する。オーバーラップ領域の特徴は、モデルを生成するプロセスの一部として画像内のキーポイントを正確に三角測量し、識別するために使用される。

【0004】

ある地域の測定を行うために写真測量を使用するこのプロセスは、時間がかかる。このプロセスは、航空機から画像をダウンロードし、データを処理して地域の点群を生成することを伴う。この種の地域マッピングは、望まれるよりも多くの時間がかかる可能性がある。

【0005】

したがって、上述の問題の少なくともいくつか、更に他に考えられる問題を考慮した方法及び装置を有することが望ましいであろう。例えば、地域を調査して地図を作成するためのデータ生成に関する技術的な問題を克服する方法及び装置を有することが望ましい。

【発明の概要】

【0006】

本開示の一実施形態は、コンピュータシステムと、コンピュータシステム内のコントローラとを備える空中イメージングシステムを提供する。コントローラは、第１の航空機によって生成されたキーポイントの第１の画像とステレオ深度三角測量（ｓｔｅｒｅｏ ｄｅｐｔｈ ｔｒｉａｎｇｕｌａｔｉｏｎ）とを使用して、第１の航空機の第１の高度を決定するように構成されている。コントローラは、第１の高度と、第２の航空機によって生成されたキーポイントの第２の画像を使用するステレオ深度三角測量及び第２の航空機内のセンサシステムにより行われた測定のうちの少なくとも１つによって、第２の航空機について決定された第２の高度とを比較して、比較を作成するように構成されている。コントローラは、この比較を用いて、第１の航空機について決定された第１の高度と第２の航空機によって測定された第２の高度との間のオフセットを決定するように構成されている。

【0007】

本開示の別の実施形態は、第１のカメラシステム、高度センサシステム、及び航空機用コントローラを備える空中イメージングシステムを提供する。第１のカメラシステムは第１の航空機に搭載されており、第１の航空機の飛行中に第１の画像を生成する。高度センサシステムは、第１の航空機に搭載されており、第１の航空機の第１の高度を検出する。コントローラは、第１の航空機の飛行中に第１の航空機に関連付けられた第１のカメラシステムによって生成されたキーポイントの第１の画像とステレオ深度三角測量とを使用して、第１の航空機からキーポイントまでの第１の距離を決定するように構成されている。コントローラは、第２の航空機からキーポイントまでの第２の距離と、第２の航空機について測定された第２の高度とを第２の航空機から受信するように構成されている。コントローラは、第１の航空機からキーポイントまでの第１の距離及び第１の高度と、第２の航空機からキーポイントまでの第２の距離及び第２の高度とを比較して、比較を作成するように構成されている。コントローラは、この比較を使用して、第１の航空機の第１の高度と第２の航空機の第２の高度との間のオフセットを決定するように構成されており、オフセットは、第１の航空機の高度を調整するために使用される。

【0008】

本開示の更に別の実施形態は、空中イメージングシステムを動作させるための方法を提供する。第１の航空機の第１の高度は、コンピュータシステムによって、第１の航空機の飛行中に第１の航空機によって生成されたキーポイントの第１の画像とステレオ深度三角測量とを用いて決定される。比較を作成するために、第１の高度が、第２の航空機によって決定された第２の航空機の第２の高度と、コンピュータシステムによって比較される。第１の高度と第２の高度との間のオフセットは、コンピュータシステムによって、比較を用いて決定される。第１の高度又は第２の高度のうちの少なくとも１つは、コンピュータシステムによって、オフセットに基づいて調整される。コンピュータシステムにより、第１の高度では第１の航空機から、第２の高度では第２の航空機から、１つの地域の複数の画像が得られる。

【0009】

本開示の更に別の実施形態は、空中イメージングシステムを動作させるためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、コンピュータ可読記憶媒体に記憶された第１のプログラムコード、第２のプログラムコード及び第３のプログラムコードを有する、コンピュータ可読記憶媒体を含む。プログラムコードは、コンピュータシステムによって実行可能であり、コンピュータシステムに、第１の航空機の飛行中に第１の航空機によって生成されたキーポイントの第１の画像及びステレオ深度三角測量を使用して、第１の航空機からキーポイントまでの第１の距離を決定させる。第２のプログラムコードは、コンピュータシステムに、第１の航空機からキーポイントまでの第１の距離及び第１の航空機によって測定された第１の航空機の第１の高度と、第２の航空機からキーポイントまでの第２の距離及び第２の航空機によって測定された第２の航空機の第２の高度とを比較させ、比較を作成させるためにコンピュータシステムによって実行可能である。第３のプログラムコードは、コンピュータシステムに、比較を用いて第１の航空機の第１の高度と第２の航空機によって測定された第２の高度との間のオフセットを決定させ、オフセットを用いて第１の航空機の高度を調整させるためにコンピュータシステムによって実行可能である。

【0010】

これらの特徴及び機能は、本開示の様々な実施形態で独立して達成することができ、又は以下の説明及び図面を参照して更なる詳細を理解しうる更に他の実施形態において組み合わせることができる。

【0011】

例示的実施形態の特徴と考えられる新規の特徴は、添付の特許請求の範囲に記載されている。しかし、例示的実施形態と共に、好ましい利用態様、その更なる目的及び特徴は、添付図面と併せて、本開示の例示的実施形態についての以下の詳細説明を参照することによって、最もよく理解されよう。

【図面の簡単な説明】

【0012】

【図1】例示的実施形態に従った、空中イメージングシステムによる画像生成の絵画図である。

【図2】例示的実施形態に従った、イメージング環境の例である。

【図3】例示的実施形態に従った、航空機のブロック図の例である。

【図4】例示的実施形態に従った、航空機システムのブロック図の例である。

【図5】例示的実施形態に従った、画像を使用する三角測量の例である。

【図6】例示的実施形態に従った、空中イメージングシステムを動作させるためのプロセスのフロー図の例である。

【図7】例示的実施形態に従った、オフセットを使用してアクションを実行するためのプロセスのフロー図の例である。

【図8】例示的実施形態に従った、キーポイントまでの距離を特定するためのプロセスのフロー図の例示である。

【図9】例示的実施形態に従った、空中イメージングシステムを動作させるために使用される情報を生成するために航空機によって実行されるプロセスのフロー図の例である。

【図10】例示的実施形態に従った、空中イメージングシステムを動作させるためのプロセスのフロー図の例である。

【図11】例示的実施形態に従った、空中イメージングシステムを動作させるためのプロセスのフロー図の別の例である。

【図12】例示的実施形態に従った、データ処理システムのブロック図の例である。

【発明を実施するための形態】

【0013】

例示的実施形態では、１又は複数の異なる検討事項が認識され、考慮される。例えば、例示的実施形態では、カメラシステムがマッピングされている地域内のより大きな領域の画像を生成するようなより高い高度で航空機を飛行させることによって、飛行時間を削減することができることが認識され、考慮される。しかしながら、例示的実施形態では、その地域のためのデータを生成するのに必要な時間は削減されるものの、データの解像度も低減されることが認識され、考慮される。

【0014】

例示的実施形態では、一機の航空機が、マッピングされている１つの地域内の複数の領域をカバーするのに何時間もかかる可能性があることが認識され、考慮される。これらの画像の後処理は、飛行後に画像がダウンロードされるときに実行される。その結果、１つの地域の複数の画像を生成するために複数回の飛行を行う航空機から、いくつかのデータセットが存在する場合がある。また、例示的実施形態では、１回の飛行からのデータセット内の画像の処理に数時間かかる可能性があることが認識され、考慮される。更に、例示的実施形態では、データセットが処理されると、データセットが一緒にステッチされ、再処理されることも認識され、考慮される。したがって、例示的実施形態では、その地域の許容可能な点群を生成するためにデータセットを処理し、精緻化するのに数日かかる可能性があることが認識され、考慮される。

【0015】

例示的実施形態では、複数のカメラシステムを備えたいくつかの航空機を使用して地域の上空を飛行し、その地域の複数の画像を生成することを含みうる別の解決策が認識され、考慮される。例示的実施形態では、いくつかの航空機を使用することによって飛行時間を短縮することができることが認識され、考慮される。ただし、例示的実施形態では、地域の画像を生成する複数の航空機では、画像から正確な点群を生成する際の困難性を増大させる誤差が存在しうることが認識され、考慮される。

【0016】

例示的実施形態では、センサ誤差が点群の正確度を低下させ、画像から点群を作成するために必要な時間を増加させうることが認識され、考慮される。例えば、例示的実施形態では、いくつかの航空機が互いに異なる高度で飛行してもよいことが認識され、考慮される。その結果、いくつかの航空機から生成された画像のステッチングは、正確に形成することがより困難であり、望まれるよりも時間がかかる場合がある。

【0017】

例示的実施形態では、高度の差を考慮に入れることができることが認識され、考慮される。例示的実施形態では、航空機によって生成されたある地域の複数の画像が異なる高度で生成されている場合、画像を生成する際の航空機の高度を知ることが、画像を一緒に正確にステッチングし、点群を形成する上で重要であることが認識され、考慮される。例示的実施形態では、ＵＡＳのような現在の航空機の高度を決定するためのセンサは、無人航空システムからの画像を処理して点群を生成するために望まれるより正確ではないことが認識され、考慮される。

【0018】

例えば、例示的実施形態では、気圧高度センサは望まれるようには正確でない可能性のあることが認識され、考慮される。例えば、温度、空気圧又はその両方の変化は、ある地域の異なる領域にわたって起こりうる。その結果、その地域のパターンを適用する異なるＵＡＳは、ＵＡＳが同じ高度で飛行している場合であっても、異なる高度読取値を得ることがある。例示的実施形態では、航空機が異なる高度で飛行するときにこの問題が複雑になることが認識され、考慮される。

【0019】

別の例として、例示的実施形態では、航空機内の全地球測位システム（ＧＰＳ）ユニットもまた、望まれるより正確ではない場合があることが認識され、考慮される。画像を生成するためにＵＡＳがある地域の異なる領域の上空を飛行すると、全地球測位システムユニット又はＵＡＳが決定する高度の正確度に影響を及ぼすほどに、雲量及びその他の環境因子によって信号強度が変化する可能性がある。

【0020】

したがって、例示的実施形態は、いくつかの航空機間の高度を決定する際の誤差を低減するための方法、装置、及びシステムを提供する。これらの実例において、カメラシステムを使用して、いくつかの航空機を同期させることができる。例えば、いくつかの航空機が主要な特徴の上空を飛行し、それらを含む画像を生成する際に、カメラシステムを使用して、主要な特徴の画像を生成することができる。

【0021】

ある実例では、第１の航空機からキーポイントまでの第１の距離は、第１の航空機の飛行中に第１の航空機によって生成されたキーポイントの第１の画像と、第１の航空機によって測定された第１の航空機の第１の高度とを使用して決定される。比較を作成するために、第１の航空機からキーポイントまでの第１の距離及びキーポイントに対する第１の航空機の第１の高度が、第２の航空機からキーポイントまでの第２の距離及び第２の航空機の第２の高度と比較される。この比較を用いて、第１の航空機の第１の高度と第２の航空機によって測定された第２の高度との間のオフセットが決定される。このオフセットは、第１の航空機の高度を調整するために使用される。

【0022】

この実例において、このオフセットはいくつかの異なる方法で使用される。例えば、このオフセットを使用して、２機の航空機のいずれか一方の高度を調整することができる。別の実例では、オフセットを使用して、第１の航空機又は第２の航空機のうちの少なくとも１つによって撮影された画像のメタデータの高度を調整することができる。これらのアクション及びその他のアクションは、オフセットを使用して実行することができる。さらに、このオフセットは、特定のミッションに応じて何度も決定することができる。

【0023】

ここで、図を参照し、特に図１を参照すると、空中イメージングシステムによる画像生成の絵画図が、ある例示的実施形態に従って示されている。この実例では、空中イメージングシステムは、無人航空機１００と無人航空機１０２とを含む。

【0024】

図示のとおり、無人航空機１００及び無人航空機１０２は、空中イメージングシステム１０３の一部であり、目的の物体１０４の画像を生成するために動作させることができる。この実例では、目的の物体１０４は、地域又は土地の領域である。別の実例では、目的の物体１０４は、建物、ダム又は他の適切な目的の物体とすることができる。

【0025】

この実例では、無人航空機１００が飛行経路１０６に沿って移動し、無人航空機１０２は飛行経路１０８に沿って移動して、目的の物体１０４又は目的の物体１０４の少なくとも一部の画像を生成する。図示のとおり、飛行経路１０６は、無人航空機１００が目的の物体１０４の一部の上空を飛行する結果となる。飛行経路１０８は、無人航空機１０２が目的の物体１０４の別の部分の上空を飛行する結果となる。

【0026】

図示のとおり、無人航空機１００及び無人航空機１０２は、飛行経路１０６及び飛行経路１０８に沿ったウェイポイント１１２及びウェイポイント１１４などのウェイポイントの各々で画像を生成する。

【0027】

図示のとおり、ウェイポイント１１２で無人航空機１００によって生成された画像とウェイポイント１１４で無人航空機１０２によって生成された画像は、キーポイント１２２を含むようにオーバーラップしている。この実例では、キーポイント１２２は、無人航空機１００と無人航空機１０２の高度の差を考慮に入れる為に使用することができるキーポイントである。

【0028】

例えば、無人航空機１００及び無人航空機１０２は、これら無人航空機が目的の物体１０４上空を飛行する際に、同じ高度のウェイポイント１１０で画像を生成することが望ましい場合がある。しかし、無人航空機１００及び無人航空機１０２によって測定された高度は誤差を有する可能性があり、これらの無人航空機が同じ高度で飛行するように命令されていても、実際には異なる高度で飛行している場合がある。このような誤差は、校正誤差など、高度の測定に使用されるセンサの不正確さが原因である可能性がある。このような誤差は、物体又は土地の領域の点群を生成するために使用されるデータセットに不正確さをもたらす可能性がある。データセット内の画像の高度が正しくない場合、これらのデータセットを組み合わせて点群を形成すると、点群が不正確になる。

【0029】

この実例では、実際の高度の差を考慮することができるように、異なる高度を特定することができる。例えば、オフセットとも呼ばれるこの差は、無人航空機１００と無人航空機１０２が同じ高度で飛行するように、無人航空機１００の高度を調整するために使用されうる。別の例では、この調整は、無人航空機１００と無人航空機１０２との間の高度の差のオフセットに基づいて、無人航空機１００と無人航空機１０２の両方で行うことができる。

【0030】

したがって、オフセットを使用して、無人航空機１００及び無人航空機１０２のうちの少なくとも１つの高度センサを校正することができる。この図示された例では、これらの無人航空機の一方又は両方によって測定された高度は誤っている可能性があり、同じ高度が望まれる場合にこの２機の航空機が異なる高度で飛行する原因になる。したがって、これらの無人航空機によって生成された画像を使用して、実際の高度を特定することができる。

【0031】

例えば、無人航空機１００は、キーポイント１２２の２つ以上の画像を生成することができる。無人航空機１００は、ウェイポイント１１２及びウェイポイント１１４で生成された画像内のキーポイント１２２の存在を識別することができる。この例では、第１の画像をウェイポイント１１２で生成することができ、第２の画像をウェイポイント１１４で生成することができる。無人航空機１００は、これらの画像を用いてウェイポイント１１２からキーポイント１２２までの第１の距離を決定することができる。

【0032】

この例では、キーポイント１２２は、物体又は物体の特徴とすることができる。キーポイント１２２は、基準点として使用可能なサイズを有する、任意の物体又は物体の特徴とすることができる。一例では、キーポイント１２２は、ピクセルによって、又は同じキーポイントをキャプチャするピクセルの群の中心によって表される物体又は特徴とすることができる。この例では、第１の距離は、ステレオ深度三角測量又は何らかの他の適切な技術を用いて決定されうる。

【0033】

更に、無人航空機１００は、無人航空機１００に関連付けられた気圧高度センサを使用して、無人航空機１００のための第１の高度を測定することができる。この測定はウェイポイント１１２で行うことができる。

【0034】

この実例では、無人航空機１０２は、ウェイポイント１１４において無人航空機１０２によって生成された画像内のキーポイント１２２も識別する。無人航空機１０２は、無人航空機１０２によって生成された画像とステレオ深度三角測量とを用いて、ウェイポイント１１４からキーポイント１２２までの第２の距離を決定する。この実例では、無人航空機１０２は、ウェイポイント１１４における無人航空機１０２の第２の高度を測定することができる。第２の高度は、無人航空機１００に関連付けられた気圧高度センサを使用して測定することができる。

【0035】

図示のとおり、無人航空機１０２は、第２の距離を無人航空機１００に送信する。更に、無人航空機１０２は、無人航空機１０２によって測定された無人航空機１０２の第２の高度を無人航空機１００に送信する。

【0036】

その後、無人航空機１００は、無人航空機の各々からキーポイント１２２までの距離と、無人航空機の各々によって測定された高度とを使用して、オフセットを決定することができる。別の実例では、無人航空機１００及び無人航空機１０２内の気圧高度センサを使用して測定された高度間のオフセットを決定するための画像を使用して、高度を計算することができる。

【0037】

その後、オフセットは、高度の調整を行うために、無人航空機１００又は無人航空機１０２のうちの少なくとも１つによって使用されうる。この調整は、無人航空機の一方又は両方が飛行する高度に関して行うことができる。この調整は、画像用に生成されたメタデータに記録されている高度に対して行ってもよいし、高度センサを校正するのに使用してもよい。

【0038】

本明細書において、列挙されたアイテムと共に使用される「～のうちの少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ）」という表現は、１又は複数の列挙されたアイテムの異なる組み合わせが使用されうることと、列挙された各アイテムのうちの１つだけが必要とされることとを意味している。換言すると、「～のうちの少なくとも１つ」とは、アイテムの任意の組み合わせ及び任意の数のアイテムが、列挙された中から使用されうることを意味するが、列挙されたアイテムのすべてが必要とされるわけではないことを意味する。アイテムとは、特定の物体、事物又はカテゴリでありうる。

【0039】

例えば、限定するものではないが、「アイテムＡ、アイテムＢ、及びアイテムＣのうちの少なくとも１つ」は、アイテムＡ、アイテムＡとアイテムＢ、又はアイテムＢを含みうる。この例はまた、アイテムＡとアイテムＢとアイテムＣ、又はアイテムＢとアイテムＣも含みうる。無論、これらのアイテムの任意の組み合わせも存在しうる。いくつかの実例では、「～のうちの少なくとも１つ」は、例えば、限定されないが、アイテムＡのうちの２つ；アイテムＢのうちの１つ；アイテムＣのうちの１０；アイテムＢのうちの４つとアイテムＣのうちの７つ；又は他の適切な組み合わせとすることができる。

【0040】

図１のこの例の図は、他の実例を実施可能な態様を制限することを意図したものではない。別の実例では、飛行経路１０６及び飛行経路１０８は、キーポイント１２２を含む画像を同じウェイポイントで生成することができる。キーポイント１２２に加えて、又はその代わりに、オフセットを決定するために他のキーポイントが使用されうる。オフセットは、無人航空機１００及び無人航空機１０２が目的の物体１０４の画像を生成するミッションの間に複数回決定されうる。例えば、飛行経路１０６及び飛行経路１０８は、上記無人航空機によって生成される画像が目的の物体１０４に位置する他のキーポイントを含むように選択されうる。他の実例では、上記無人航空機は、オフセットを決定する際に使用するためのキーポイントを含む画像を生成するために、目的の物体１０４の外側を飛行することができる。別の例として、オフセットの決定における画像の処理は、無人航空機の一方又は両方以外の他の位置で実行されうる。例えば、この処理は、リモートデータ処理システム、クラウドサービス、又は無人航空機から離れた他の何らかのコンポーネントを使用して実行されうる。

【0041】

ここで図２を参照すると、例示的実施形態によるイメージング環境の図が示されている。この実例では、空中イメージングシステム１０３は、イメージング環境２０２における空中イメージングシステム２００の一実施形態の例である。

【0042】

図示のとおり、空中イメージングシステム２００は、第１の航空機２０４を含み、第２の航空機２０６も含みうる。第１の航空機２０４及び第２の航空機２０６は、飛行機、無人航空システム、無人航空機、ドローン、回転翼航空機、宇宙船又は他の何らかの適切な種類の航空機のうちの少なくとも１つから選択される。図示のとおり、第１の航空機２０４及び第２の航空機２０６は、同じ種類の航空機であっても、異なる種類の航空機であってもよい。

【0043】

図示のとおり、コンピュータシステム２１０内のコントローラ２０８は、第１の航空機２０４又は第２の航空機２０６のうちの少なくとも１つの動作を制御するように構成されている。

【0044】

コントローラ２０８は、ソフトウェア、ハードウェア、ファームウェア又はこれらの組合せで実装されうる。ソフトウェアが使用される場合、コントローラ２０８によって実行される動作は、プロセッサユニットなどのハードウェア上で実行するように構成されたプログラムコードで実装されうる。ファームウェアが使用される場合、コントローラ２０８によって実行される動作は、プログラムコード及びデータで実装され、永続メモリに記憶されて、プロセッサユニット上で実行されうる。ハードウェアが用いられる場合、ハードウェアは、コントローラ２０８内の動作を実行するように動作する回路を含みうる。

【0045】

これらの実例では、ハードウェアは、回路システム、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス又はいくつかの動作を実行するように構成された他の何らかの適切な種類のハードウェアのうちの少なくとも１つから選択された形態をとることができる。プログラマブルロジックデバイスを用いる場合、このデバイスは、いくつかの動作を実行するように構成されていてもよい。このデバイスは後で再構成されても、いくつかの動作を実行するよう永続的に構成されていてもよい。プログラマブルロジックデバイスは、例えばプログラマブルロジックアレイ、プログラマブルアレイロジック、フィールドプログラマブルロジックアレイ、フィールドプログラマブルゲートアレイ、及び他の適切なハードウェアデバイスを含む。加えて、これらのプロセスは、無機コンポーネントと一体化された有機コンポーネントに実装されてよく、かつ、コンポーネントは人間以外の有機コンポーネントだけで構成されていてもよい。例えば、これらのプロセスは、有機半導体における回路として実装されることもある。

【0046】

コンピュータシステム２１０は、物理ハードウェアシステムであり、１又は複数のデータ処理システムを含む。コンピュータシステム２１０内に複数のデータ処理システムが存在している場合、それらのデータ処理システムは、通信媒体を使用して互いに通信する。この通信媒体はネットワークでありうる。データ処理システムは、コンピュータ、サーバコンピュータ、タブレットコンピュータ又は他の何らかの適切なデータ処理システムのうちの少なくとも１つから選択されうる。

【0047】

図示のとおり、第１の航空機２０４は第１の画像２１２を生成し、第２の航空機２０６は第２の画像２１４を生成する。第１の画像２１２は、第１の航空機２０４に搭載された第１のカメラシステム２１６により生成されうる。第２の画像２１４は、第２の航空機２０６に搭載された第２のカメラシステム２１８により生成されうる。これらのカメラシステムの各々は、物理ハードウェアシステムであり、ソフトウェアを含むことができる。これらのカメラシステムは、画像を生成することができる１又は複数のカメラ又はセンサを含むことができる。これらのカメラは、可視光カメラ、赤外線カメラ、紫外線センサ、可視光センサ、近赤外線センサ、短波赤外線センサ、中波赤外線センサ、長波赤外線（ＬＷＩＲ）センサ、ボロメータ、電気光学カメラ、赤外線センサ、熱センサ又は他の何らかの適切な種類のセンサのうちの少なくとも１つから選択されうる。

【0048】

コントローラ２０８は、第１の航空機２０４に搭載された第１のカメラシステム２１６により生成された第１の画像２１２内のキーポイント２２０を識別することができる。キーポイント２２０は、土地の領域、山、タワー、建物、湖、ダム、マーカ、パターン、超短波（ＶＨＦ）全方向レンジ方式（ＶＯＲ）アンテナ又は他の何らかの適切な物体のうちの１つとすることができる。

【0049】

キーポイント２２０の識別は、いくつかの異なる方法で行うことができる。例えば、コントローラ２０８は、人工知能システム２４４又は様々な画像処理技術のうちの少なくとも１つを使用して、第１の画像２１２及び第２の画像２１４内のキーポイント２２０を識別することができる。

【0050】

人工知能システム２４４は、知的行動をするシステムであり、人間の脳の機能に基づくことができる。人工知能システム２４４は、人工ニューラルネットワーク、認知システム、ベイジアンネットワーク、ファジー論理、エキスパートシステム、自然言語システム又は他の何らかの適切なシステムのうちの少なくとも１つを含みうる。機械学習は、人工知能システム２４４を訓練するために使用される。機械学習は、プロセスにデータを入力し、プロセスが人工知能システム２４４の機能を調整及び改善できるようにすることを伴う。

【0051】

人工知能システム２４４における機械学習モデルは、明示的にプログラムされることなく学習することができる人工知能モデルの一種である。機械学習モデルは、機械学習モデルに入力された教師データに基づいて学習することができる。機械学習モデルは、様々な種類の機械学習アルゴリズムを使用して学習することができる。機械学習アルゴリズムは、監視学習、非監視学習、特徴学習、スパース辞書学習、異常検出、関連付けルール又は他の種類の学習アルゴリズムのうちの少なくとも１つを含む。機械学習モデルの例には、人工ニューラルネットワーク、決定木、サポートベクタマシン、ベイジアンネットワーク、遺伝子アルゴリズム、及び他の種類のモデルが含まれる。データを使用してこれらの機械学習モデルを訓練し、追加のデータを処理することで、所望の出力を得ることができる。

【0052】

図示のとおり、コントローラ２０８は、第１の航空機２０４の飛行中に第１の航空機２０４によって生成されたキーポイント２２０の第１の画像２１２とステレオ深度三角測量２２４とを用いて、第１の航空機２０４からキーポイント２２０までの第１の距離２２２を決定することができる。この例では、キーポイント２２０の画像を使用して実行されるステレオ深度三角測量２２４は、画像三角測量２２５とも呼ばれる。

【0053】

この実例では、ステレオ深度三角測量２２４は、ステレオ分析を用いる三角測量プロセスである。この種の三角測量のプロセスは、異なる視界又は位置から取得されたキーポイント２２０などの物体のいくつかの画像に基づいて、画像内の物体までの距離を決定することができる。

【0054】

この例では、第１の距離２２２は、第１の航空機２０４からキーポイント２２０までの距離である。より具体的には、第１の距離２２２は、第１の航空機２０４のイメージング装置からキーポイント２２０までである。例えば、第１の距離２２２は、第１の画像２１２内のキーポイント２２０の第１のピクセル２２３を使用して実行されるステレオ深度三角測量２２４を用いて決定されうる。第２の距離２２８は、第２の画像２１４内のキーポイント２２０の第２のピクセル２２９を使用して実行されるステレオ深度三角測量２２４を用いて決定されうる。この決定は、コントローラ２０８を用いて行うことができる。第１の距離２２２の決定において、この距離は、複数の第１の画像２１２の第１の１つの画像と第２の１つの画像との間の位置で撮影された第１の航空機２０４に関して決定されうる。第１の距離２２２は、第１の画像と第２の画像を使用して決定される。

【0055】

この実例において、第１のピクセル２２３と第２のピクセル２２９は、キーポイント２２０の１又は複数の寸法又は特徴に対するものでありうる。例えば、キーポイント２２０が山である場合、画像内で識別されるピクセルは、山のふもとのピクセル、山の高さまでのピクセル又は山の他の属性のうちの少なくとも１つに対するものとすることができる。別の例として、キーポイント２２０が十字路である場合、ピクセルは、十字路の幅に対するものでありうる。キーポイント２２０が衛星テレビ受信用アンテナである場合、ピクセルは、衛星テレビ受信用アンテナの直径を横切るピクセルのラインでありうる。

【0056】

図示のとおり、コントローラ２０８は、第１の航空機２０４からキーポイント２２０までの第１の距離２２２及び第１の航空機２０４によって測定された第１の航空機２０４の第１の高度２２６と、第２の航空機２０６からキーポイント２２０までの第２の距離２２８及び第２の航空機２０６によって測定された第２の航空機２０６の第２の高度２３０とを比較して、比較２３２を作成することができる。これらの値の比率を使用して、第１の高度２２６と第２の高度２３０との間のオフセット２３８を決定することができる。第１の距離２２２と第２の距離２２８は正しいと見なされる。

【0057】

この実例では、第１の航空機２０４内の第１の高度センサシステム２３４を使用して、第１の航空機２０４によって第１の高度２２６が測定される。この実例では、第２の高度２３０は、第２の航空機２０６内の第２の高度センサシステム２３６によって測定されうる。高度センサシステムは、気圧センサ、全地球測位システム（ＧＰＳ）受信機、又は何らかの他の適切な種類のセンサのうちの少なくとも１つを含みうる。

【0058】

この実例では、コントローラ２０８は、比較２３２を用いて、第１の航空機２０４によって測定された第１の航空機２０４の第１の高度２２６と第２の航空機２０６によって測定された第２の高度２３０との間のオフセット２３８を決定することができる。この実例では、オフセット２３８は、第１の航空機２０４又は第２の航空機２０６のうちの少なくとも１つの高度を調整するために使用される。

【0059】

図示のとおり、コントローラ２０８は、オフセット２３８を使用してアクション２４２のセットを実行することができる。このアクション２４２のセットは、第１の航空機２０４と第２の航空機２０６によって生成された周囲環境の画像（ｉｍａｇｅｓ ｇｅｎｅｒａｔｅｄ ｏｆ ａｎ ｅｎｖｉｒｏｎｍｅｎｔ）から得られた点群中の点の高度情報を調整すること；第１の航空機２０４と第２の航空機２０６のミッションを実行すること；第１の航空機２０４と第２の航空機２０６を制御すること；第１の航空機２０４と第２の航空機２０６内の高度を測定するセンサシステムを同期させること；第１の航空機２０４と第２の航空機２０６のルートを調整すること；第１の航空機２０４と第２の航空機２０６が飛行する高度を同期させること；及び第１の航空機２０４と第２の航空機２０６の編隊飛行を調整することのうちの少なくとも１つから選択されうる。点の高度情報を調整する際に、異なる航空機によって生成された異なるデータセットから生成された点群内の点の座標が正しく整列するように、点について記録された高度を調整することができる。

【0060】

本明細書で使用される場合、アイテムに関して使用される「～のセット」は、１又は複数のアイテムを意味する。例えば、「アクション２４２のセット」は、１又は複数のアクション２４２である。

【0061】

ある実例では、地域を調査し地図作成するためのデータを生成することに伴う技術的問題を克服する１又は複数の技術的解決策が存在する。結果として、１又は複数の技術的解決策は、画像などのデータを生成する２機以上の航空機間で対応する高度を実現することができるという技術的効果を提供することができる。このように、データセットを生成する２機以上の航空機間の高度が同じになるように調整することができる場合、これらのデータセットの処理をより迅速に行うことができる。オフセットを使用して、航空機が実際に飛行する高度を調整することができる。さらに、この実例は、航空機によって生成された画像のメタデータに記憶された高度を調整するために使用することもできる。

【0062】

実例を使用して、２機以上の航空機間の高度測定値の補正を決定することによって、他の種類のミッションをより効率的かつ正確に実行することができる。例えば、空中ショーにドローンを使用するような精密飛行では、２機以上のドローン間で行われる測定値間のオフセットを決定するために実例を使用すると、編隊飛行又は飛行演習を行うドローン間の互いに対する許容誤差と距離をより小さくして行うことができる。実例を使用して、上記ミッション及び他のミッションをより正確に実行することができる。

【0063】

ある実例では、オフセット２３８の識別は、複数の航空機２０７のうちのいくつかの航空機から画像の形態のデータセットが生成されるミッションを複数の航空機２０７が実行するプロセスにおいて使用されうる。例えば、第１の航空機２０４と第２の航空機２０６は、そのような画像を生成することができる。これらの２機の航空機に加えて、複数の航空機２０７のうちの１又は複数の航空機も、上記画像を生成するように動作することができる。

【0064】

その後、複数の航空機２０７によって生成された画像を含むデータセットが処理されうる。更に、複数の航空機２０７のうちの少なくとも１つに対する高度を補正して、上記画像を処理する際の正確度を高めることができる。例えば、画像を処理して点群を生成することができる。複数の航空機２０７の１又は複数について補正された高度により、物体の点群における正確度は、現在の技術と比較して改善されうる。複数の航空機２０７の各々からの画像の各セットを処理して、物体の複数の点群を生成することができる。この物体は、例えば、畑、土地の領域、木、建物又は他の適切な物体とすることができる。上記点群を組み合わせて、物体に対して単一の点群を形成することができる。点群の高度を補正することで、物体に対して生成された単一の点群は、望ましい正確度を有しうる。

【0065】

コンピュータシステム２１０は、ソフトウェア、ハードウェア、ファームウェア又はこれらの組み合わせを使用する様々な実例に記載されているステップ、動作又はアクションのうちの少なくとも１つを実行するように構成されている。結果として、コンピュータシステム２１０は、コンピュータシステム２１０内のコントローラ２０８が所望の性能レベルを有する空中イメージングシステムを動作させることを可能にする特定用途のコンピュータシステムとして動作する。特に、コントローラ２０８は、コントローラ２０８を持たない現在利用可能な一般的なコンピュータシステムと比較して、コンピュータシステム２１０を特定用途のコンピュータシステムに変換する。

【0066】

図２の空中イメージング環境の図は、例示的実施形態を実施することができる方法に対する物理的又はアーキテクチャ上の制限を暗示することを意味するものではない。示されているものに加えて、又はそれらの代わりに、他のコンポーネントが使用されてもよい。いくつかのコンポーネントは不要な場合がある。また、ブロックは、いくつかの機能的コンポーネントを示すために提示されている。例示的実施形態で実装される場合、これらのブロックのうちの１又は複数は、結合されても、異なるブロックに分割されても、又は結合されて分割されてもよい。

【0067】

例えば、コントローラ２０８とコンピュータシステム２１０は、第１の航空機２０４と第２の航空機２０６の外部にあるものとして示されている。ある実例では、コンピュータシステム２１０とコントローラ２０８は、第１の航空機２０４内に配置されうる。別の実例では，コンピュータシステム２１０及びコントローラ２０８は、第１の航空機２０４と第２の航空機２０６に分散配置されうる。換言すると、異なるデータ処理システム内のコントローラ２０８及びコンピュータシステム２１０は、空中イメージングシステム２００内の航空機内に分散配置されうる。

【0068】

更に別の例では、コントローラ２０８及びコンピュータシステム２１０は、第１の航空機２０４及び第２の航空機２０６に対して遠隔位置にあってもよく、又は遠隔位置、第１の航空機２０４若しくは第２の航空機２０６のうちの少なくとも１つから選択されるロケ位置散配置されてもよい。この遠隔位置は、例えば、地上局又は別の航空機であってもよい。

【0069】

更に、第１の航空機２０４及び第２の航空機２０６に加えて、又はそれらの代わりに、１又は複数の航空機を空中イメージングシステム２００の一部とすることができる。これらの航空機は、異なる例において同じ種類のものであっても、異なる種類のものであってもよい。

【0070】

図３は、例示的実施形態に従って描かれた航空機のブロック図の例である。この図において、航空機３００は、第１の航空機２０４及び第２の航空機２０６を実施するために使用されうるコンポーネントの例を示している。

【0071】

この実例では、航空機３００は、機体３０１、電子機器３０２、推進システム３０４、及びステアリングシステム３０６を含む。機体３０１は、航空機３００の機械的構造である。機体３０１は、例えば、胴体、機体支持部、翼、着陸装置、及び他の物理的構造を含みうる。この実例では、機体３０１は、電子機器３０２、推進システム３０４、及びステアリングシステム３０６を搭載する。

【0072】

電子機器３０２は、いくつかの異なるコンポーネントを有する。図示のとおり、電子機器３０２は、センサシステム３０８、通信システム３１０、及び飛行制御システム３１２を含む。

【0073】

この実例では、センサシステム３０８は、いくつかの異なるコンポーネントを含む。図示のとおり、センサシステム３０８は、高度センサシステム３１４、カメラシステム３１８、及び他の適切なセンサを含む。

【0074】

高度センサシステム３１４は、物理センサシステムであり、ソフトウェアを含むことができる。高度センサシステム３１４は、図２の第１の高度センサシステム２３４と第２の高度センサシステム２３６を実装するために使用することができる高度センサシステムの一例である。高度センサシステム３１４は、航空機３００の高度を測定するために動作する。例えば、高度センサシステム３１４は、気圧高度計、全地球測位システム（ＧＰＳ）受信機、又は航空機３００の高度を測定することができる他の適切な種類のセンサを含みうる。

【0075】

図示のように、カメラシステム３１８は、ソフトウェアを含みうる物理システムである。カメラシステム３１８は、図２の第１のカメラシステム２１６と第２のカメラシステム２１８を実装するために使用することができるカメラシステムの一例である。カメラシステム３１８は、可視光カメラ、赤外線カメラ又は何らかの他の適切な種類のカメラのうちの少なくとも１つを含みうる。

【0076】

センサシステム３０８に含まれうる他の種類のセンサの例は、ジャイロスコープ、加速度計、迎え角（ＡｏＡ）ベーン又は他の適切な種類のセンサのうちの少なくとも１つである。センサシステム３０８内のこれら及び他のセンサは、飛行制御システム３１２と通信する。航空機３００の動作を制御し、飛行経路に沿って航空機３００をナビゲートするために、センサシステム３０８によって生成された情報が飛行制御システム３１２によって使用されうる。

【0077】

図示のように、推進システム３０４は、航空機３００を移動させるための力を生成する物理システムである。この実例では、上記の力は推力の形態をとる。推進システム３０４は、ジェットエンジン、ターボファン、ターボプロップ、ラムジェット、ロータシステム、電気推進機、ハイブリッド推進機又は航空機３００のための推力を生成することができる他の適切なエンジン若しくは推進装置のうちの少なくとも１つを含みうる。

【0078】

この実例では、ステアリングシステム３０６は、目標地点に到達するために飛行経路上で航空機３００を操縦するように構成されうる。ステアリングシステム３０６は、自律的に又は有人制御下で動作することができる。この実例では、ステアリングシステム３０６は、飛行制御システム３１２内の飛行制御装置３２４からの信号に応答し、フィードバック又は他の制御システムを使用して、飛行経路に沿って航空機３００を誘導することができる。

【0079】

図示されるように、通信システム３１０は物理デバイスであり、例えば無線トランシーバ及びアンテナ．であってもよい。通信システム３１０は、リモートコンピュータシステムと情報を交換することができる。通信システム３１０は、別の航空機又は地上局などの遠隔位置に情報を送受信するように動作することができる。

【0080】

図示のように、飛行制御システム３１２は、航空機３００が所望の位置に到達するための１又は複数の飛行経路を、ナビゲーションシステムのコンポーネントから受信した信号に基づいて決定することができる。飛行制御システム３１２は、データ信号など、飛行経路に沿って航空機３００を誘導するためのナビゲーションコマンドを計算し、生成し、ステアリングシステム３０６に送信することができる。

【0081】

この実例では、飛行制御システム３１２は、いくつかのコンポーネントを含む。図示のように、飛行制御システム３１２は、地図システム３２２、飛行制御装置３２４、プロセッサユニット３１６、及びメモリ３２６を含む。

【0082】

図示のように、地図システム３２２は、地域内の自然及び人工の特徴に関する位置情報を提供する、地図ベースの飛行制御システムの一部とすることができる。地図システム３２２は、飛行制御システム３１２内の他のコンポーネントと通信して、航空機３００のナビゲーションをサポートすることができる。この機能は、ルートの計算のための地図情報を提供することを含むことができるが、独立したナビゲーション能力を含むこともできる。

【0083】

例えば、地図システム３２２は、１又は複数の物体を含む運転周囲環境の地図を記憶する、地図ベースのナビゲーションシステムを提供することができる。地図ベースのナビゲーションシステムは、カメラに結合されてもよく、且つ記憶された物体を可視の周囲環境と比較することによって車両の位置を決定するように構成されてもよく、全地球測位システム（ＧＰＳ）データ又は他の位置情報がない場合に、位置データを提供することができる。

【0084】

この実例では、プロセッサユニット３１６は物理デバイスであり、地図システム３２２、飛行制御システム３１２、センサシステム３０８、推進システム３０４又はステアリングシステム３０６、並びに航空機３００に存在しうる他の様々な他のコンポーネント、システム及びサブシステムのうちの少なくとも１つと通信することが可能である。プロセッサユニット３１６は、図２のコンピュータシステム２１０など、ナビゲーション機能又は画像処理機能などの様々な機能をサポートするコンピュータシステム内の内部プロセッサでありうる。プロセッサユニット３１６は、航空機３００の地図システム３２２、飛行制御システム３１２、センサシステム３０８、推進システム３０４又はステアリングシステム３０６のうちの少なくとも１つの動作を制御するように構成されうる。

【0085】

図示のように、プロセッサユニット３１６は、ナビゲート、キーポイントの識別、キーポイントまでの距離の決定、高度センサシステム３１４によって測定された高度に対するオフセットの決定又は他の適切な機能のうちの少なくとも１つをサポートする処理及び計算機能を実行することができる。プロセッサユニット３１６は、本明細書で説明する図２のコントローラ２０８の動作を実行するように協働するいくつかの異なるプロセッサを含むことができる。例えば、航空機３００内の内部プロセッサは、航空機３００の動作を制御し、一方、コントローラ２０８に割り当てられた別のプロセッサは、画像内のキーポイントを識別すること、画像を使用してキーポイントまでの距離を決定すること、航空機３００の第１の距離及び第１の高度を第２の航空機の第２の距離及び第２の高度と比較して比較を作成すること、第１の高度と第２の高度との間のオフセットを決定すること、並びにオフセットを使用して１又は複数のアクションを実行することを制御する。

【0086】

飛行制御装置３２４は、飛行制御システム３１２、センサシステム３０８、推進システム３０４又はステアリングシステム３０６などの、航空機３００内のコンポーネントを制御するように動作することができる。飛行制御装置３２４は、プロセッサユニット３１６、航空機３００、飛行制御システム３１２、センサシステム３０８、ステアリングシステム３０６、並びに本明細書に記載の装置及びシステムの他の様々なコンポーネントと通信する。

【0087】

図示のように、飛行制御装置３２４は、制御信号、駆動信号、電力信号、センサ信号及び他の適切な種類の信号を通信するための入力及び出力とともに、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路、プログラマブルゲートアレイ、並びに他の任意のデジタル及び／又はアナログコンポーネント、並びにこれらの組み合わせを含むがこれらに限定されない、本明細書で説明する航空機３００及び飛行制御システム３１２内の様々なコンポーネントを制御するための任意のハードウェア、ソフトウェア又はそれらの何らかの組み合わせを含むことができる。

【0088】

この実例では、メモリ３２６は物理デバイスであり、画像、決定された距離、キーポイントの識別、キーポイントの位置、高度、及びセンサシステム３０８によって生成された航空機の状態情報を含むがこれらに限定されない、飛行制御システム３１２のためのデータのログを記憶するローカルメモリ又はリモート記憶デバイスを含みうる。メモリ３２６に記憶されうる他の情報は、方向、速度、飛行経路、ステアリング仕様、全地球測位システム座標、センサ読取値、及び他の適切な情報のうちの少なくとも１つを含む。メモリ３２６に記憶された情報は、この例では、プロセッサユニット３１６又は飛行制御装置３２４のうちの少なくとも１つによってアクセスされうる。

【0089】

コンポーネントの特定の配置が図３に示されているが、このコンポーネントの配置は、他の実例では変わってもよい。例えば、センサシステム３０８のセンサは、航空機３００の中又は上に配置することができる。さらに、センサシステム３０８、飛行制御システム３１２又は通信システム３１０のうちの少なくとも１つは、メモリ、センサ、プロセッサ又はコントローラなどのコンポーネントを共有することができる。加えて、センサシステム３０８の１又は複数のセンサを、航空機３００に取り外し可能に結合することができ、又はこのモジュール内のコンポーネントを、任意の所望の方法で航空機３００用の機体３０１に統合することができる。

【0090】

また、飛行制御システム３１２は、センサシステム３０８の他のセンサだけではなく、電子機器３０２の一部であるとして上述したコンポーネントを含んでもよい。別の例として、他のセンサはまた、他の飛行計装、処理回路、通信回路、無人航空システム又は他の自律若しくは手動操縦の航空機の動作に必要若しくは有用なカメラ及び他のセンサを含む光学システムを含みうる。したがって、様々なコンポーネントの配置は、設計者又はオペレータによって所望されるように構成されてもよく、したがって、本明細書に記載又は示されている特定の例に限定されるものではない。

【0091】

図４は、例示的実施形態に従った、航空機システムのブロック図の例である。この図において、航空機システム４００は、図２の第１の航空機２０４又は第２の航空機２０６のうちの少なくとも１つに実装されうるコンポーネントの例を示す。

【0092】

図示のように、航空機システム４００は、メモリ装置４２８、飛行制御装置４２６、無線トランシーバ４３２及びナビゲーションシステム４４２のうちの少なくとも１つと通信可能に結合された航空機プロセッサ４２４を含む。航空機プロセッサ４２４は、少なくとも一部が命令（例えばソフトウェア）と、メモリ装置４２８（例えばハードドライブ、フラッシュメモリなど）に記憶された１又は複数のデータベースとに基づいて、１又は複数の動作を実行するように構成されていてもよい。航空機システム４００とリモートデバイス４３８との間でデータを通信するために、航空機システム４００は、アンテナ４３４と結合された無線トランシーバ４３２のような、他の所望のコンポーネントをさらに含んでもよい。この実例では、リモートデバイス４３８は、ヒューマンマシンインターフェース、又はスマートフォン、タブレット及びラップトップコンピュータなどの別の携帯型電子デバイス、又は、基地局などの場所にあるコントローラとすることができる。航空機システム４００はまた、無線トランシーバ４３２を介して別の航空機と通信することによって、例えば、協調動作を容易にすることができる。

【0093】

いくつかの態様では、航空機システム４００は、データ（処理済みデータ、未処理データなど）をリモートデバイス４３８及び／又は航空機の別の装置とネットワーク４３６上でやり取りすることができる。いくつかの態様では、無線トランシーバ４３２は、Ｂｌｕｅｔｏｏｔｈ（例えば、２．４～２．４８５ＧＨｚの産業科学医療用（ＩＳＭ）バンドにおける短波長の極超短波（ＵＨＦ）電波）、近距離無線通信（ＮＦＣ）、Ｗｉ－Ｆｉ（例えば米国電気電子学会（ＩＥＥＥ）８０２．１１規格）などの１又は複数の無線規格を使用して通信するように構成されうる。リモートデバイス４３８は、航空機システム４００及びＩＳＲペイロード４４０を含むそのペイロードの監視及び／又は制御を容易にすることができる。

【0094】

航空機プロセッサ４２４は、飛行制御装置４２６に動作可能に結合されて、オペレータ、オートパイロット、ナビゲーションシステム４４２又は無線トランシーバ４３２を介した他の高レベルシステムからのコマンドに応答して、アクチュエータ４３０のうちの様々なもの（例えば、可動操縦翼面のうちの少なくとも１つ、電子スピードコントローラ（ＥＳＣ）４１５を介した電動モータ４０４、電子スピードコントローラ（ＥＳＣ）４１６を介した電動モータ４０６、電子スピードコントローラ（ＥＳＣ）４１７を介した電動モータ４０８、又はエンジンコントローラ４２２を介したエンジン４１８などの任意の操縦翼面（ｆｌｉｇｈｔ ｓｕｒｆａｃｅ）の移動及びロックを制御するもの）の動作を制御することができる。いくつかの態様では、航空機プロセッサ４２４及び飛行制御装置４２６は、単一のコンポーネント又は回路に統合されていてもよい。動作中、飛行制御装置４２６は、ＥＳＣ４１６又はエンジン制御装置４２２（場合により）を介して飛行の様々な段階中に動的に（すなわちリアルタイム又はほぼリアルタイムで）且つ独立して推力を調整し、図２の第１の航空機２０４又は第２の航空機２０６のロール、ピッチ又はヨーを制御することができる。ロータブレードを有するロータ（例えばプロペラ）が使用される場合、飛行制御装置４２６は、ロータの毎分回転数（ＲＰＭ）を変化させることができ、且つ／又は、所望であれば、ロータブレードのピッチを変化させることができる。例えば、電気モータ４０８は、ＥＳＣ４１６を介して電源（例えばバッテリパック又はバッテリバンク）から各電気モータに供給される電力を調整することによって制御されうる。

【0095】

航空機プロセッサ４２４はナビゲーションシステム４４２に動作可能に結合されていてもよく、ナビゲーションシステム４４２は、１又は複数のジャイロ及び加速度計を含みうるＩＮＳ ４４２ｂ及び／又はＩＭＵ ４４２ｃに通信可能に結合されたＧＰＳ ４４２ａを含みうる。ＧＰＳ ４４２ａは完全に偏流のない位置の値（ａｂｓｏｌｕｔｅ ｄｒｉｆｔ－ｆｒｅｅ ｐｏｓｉｔｉｏｎ ｖａｌｕｅ）を提供するが、これは、ＩＮＳソリューションをリセットするために使用することも、又はカルマンフィルタなどの数学的アルゴリズムを使用することによってＩＮＳソリューションとブレンドすることができる。ナビゲーションシステム４４２は、とりわけ、慣性安定化データを航空機プロセッサ４２４に通信することができる。

【0096】

データを収集し、且つ／又は領域を監視するために、飛行制御システム３１２は、例えば、１又は複数のカメラ４４０ａ（例えば、光による検知と測距（ＬｉＤＡＲ）装置を含む、画像及び／又はビデオを記録又はキャプチャするための光学機器）と、オーディオデバイス４４０ｂ（例えば、マイクロフォン、エコーロケーションセンサなど）と、ＩＳＲ機能を容易にし、ＩＳＲデータ（例えば、写真、ビデオ、オーディオ、センサ測定値など）を提供するための他のセンサ４４０ｃとを備える、センサ４１０（ＩＳＲペイロード４４０など）のうちの追加のものを装備していてもよい。ＩＳＲペイロード４４０は、ＩＳＲペイロード４４０と航空機プロセッサ４２４との間のＩＳＲデータ（センサデータ）の通信を容易にするために、航空機プロセッサ４２４に動作可能に結合されている。ＩＳＲデータは、航空機システム４００をナビゲートし、且つ／又は他の方法で航空機システム４００を制御するために使用することができる。特定の態様において、ＩＳＲペイロード４４０は、ＩＳＲペイロード４４０をより容易に下向きにして、下方及び／又は地上の物体を監視できるように、ジンバルシステムを介して、例えば、機体（又はローターブーム又は翼などの別の構造コンポーネント）の下面に回転可能且つ枢動可能に結合されていてもよい。データは、無線トランシーバ４３２を介して、航空機システム４００からリモートデバイス４３８へと動的又は定期的にネットワーク４３６上で通信されてもよく、又は後のアクセス若しくは処理のためにメモリ装置４２８に記憶されてもよい。

【0097】

ここで図５を参照すると、例示的実施形態による、画像を用いる三角測量の例が示されている。この実例では、三角測量は、イメージングシステムによって画像が異なる位置で撮影されるステレオ三角測量に類似している。この例では、ステレオカメラシステムは必要ない。

【0098】

図示されるように、航空機によって、第１の画像は第１の位置５００で撮影され、第２の画像は第２の位置５０２で撮影される。この図示された例では、これらの画像は、ステレオイメージングシステムによって撮影された右画像及び左画像に類似している。

【0099】

図示されるように、この２つの画像は、飛行平面５０４上で航空機によって撮影される。飛行平面５０４は、飛行平面５０４上を線５０５の方向に進行する航空機の平面である。上記画像は、接地面５０８上のキーポイント５０６を含む。

【0100】

これらの画像は、三角測量を実行して、地上の点５１２からキーポイント５０６までの距離Ｚ ５１０を決定するために使用することができる。距離Ｚ ５１０は、ある点からある線までの距離である。この距離は、所与の点からある線上の任意の点までの最短距離である。その結果、測定された距離は線に対して垂直になる。

【0101】

この実例では、画像平面５１４は、第１の位置５００と第２の位置５０２で撮影された画像に対する焦点距離を通る平面である。ここの図示の例では、焦点距離ｆ ５１６は、点５１２における航空機内のイメージングシステムの焦点距離である。画像平面５１４は、イメージングシステムの焦点距離ｆ ５１６によって、飛行平面５０４から分離されている。この例では、点ＸＬ ５２２と点ＸＲ ５２４は、画像平面５１４上の点である。距離Ｄｉ ５１５は、画像平面５１４上の点ＸＬ ５２２と点ＸＲ ５２４との間の距離である。

【0102】

図示されるように、距離ｈ ５３０は、この例では、飛行平面５０４から地面までの距離である高度である。図示のように、ｄ ５３２は、キーポイント５０６から距離ｈ ５３０までの距離である。図５に図示されるように、この距離は、所与の点であるキーポイント５０６から線上の任意の点である距離ｈ ５３０までの最短距離である。この実例では、ｄ ５３２は、カメラシステムの解像度に基づいてピクセル間の距離を外挿することから決定することができる。

【0103】

この例では、点５１２からキーポイント５０６までの距離Ｚ ５１０を深さと呼ぶことができる。距離Ｚ ５１０は、以下のように計算することができる。
Ｚ＝ｈｆ／Ｄｉ
式中、Ｚは距離Ｚ ５１０であり、ｈは距離ｈ ５３０であり、ｆは焦点距離ｆ ５１６であり、Ｄｉは距離Ｄｉ ５１５である。Ｚを用いて、距離ｈ ５３０の値を次のように求めることができる。
Ｚ２＝ｄ２ｈ２

【0104】

その結果、測定された高度を算出された高度（ｈ ５３０）と比較することができる。この比較を用いて、オフセットを決定することができる。次いで、このオフセットを使用して、航空機内の高度を測定するセンサを校正することができる。この種の距離決定及び校正は、航空機群の中の各航空機によって実行されうる。

【0105】

別の実例では、第１の航空機から測定された高度が算出された高度と一致し、第２の航空機で測定された高度が算出された高度と一致しない場合がある。この場合、動作が実行される高度が両方の航空機について想定される高度になるように、第２の航空機の測定された高度を補正することができる。別の例では、算出された高度と比較して、両方の測定された高度が不正確である可能性がある。この場合、両方の航空機のオフセットを識別し、航空機の高度を校正又は補正するために使用することができる。

【0106】

別の実例では、第１の航空機は、キーポイントまでの第１の距離Ｚ１を算出し、第１の高度ｍａ１を測定する。第２の航空機は、キーポイントまでの第２の距離Ｚ２を算出し、第２の高度ｍａ２を測定することができる。測定された高度のうちの１つ、例えばｍａ１は、校正の目的上正しいと仮定することができる。測定された高度とキーポイントまでの距離との比率を使用して、オフセットを決定することができる。例えば、ｍａ２＝Ｚ２ｍａ１／ｚ１（式中、ｍａ２はオフセットである。）

【0107】

次に図６を参照すると、空中イメージングシステムを動作させるためのプロセスのフロー図の例が、例示的実施形態に従って示されている。図６のプロセスは、ハードウェア、ソフトウェア又はその両方で実装されうる。ソフトウェアで実装される場合、このプロセスは、１又は複数のコンピュータシステムにおける１又は複数のハードウェアデバイス内に配置された１又は複数のプロセッサユニットによって実行される、プログラムコードの形態をとりうる。例えば、このプロセスは、図２のコンピュータシステム２１０内のコントローラ２０８で実装できる。この例では、コンピュータシステム２１０内のコントローラ２０８は、第１の航空機、第２の航空機、遠隔位置又は他の何らかの航空機若しくは車両のうちの少なくとも１つに配置されうる。

【0108】

このプロセスは、第１の航空機の飛行中に第１の航空機によって生成されたキーポイントの第１の画像とステレオ深度三角測量とを用いて、第１の航空機からキーポイントまでの第１の距離を決定すること（動作６００）によって始まる。動作６００は、人工知能システム、機械学習モデル、コンピュータビジョンシステム、遺伝的アルゴリズム、解釈木、又は他の適切な技術若しくはプロセスのうちの少なくとも１つによって実装することができる物体認識プロセスを用いて、キーポイントを決定することができる。

【0109】

このプロセスでは、第１の航空機からキーポイントまでの第１の距離及び第１の航空機によって測定された第１の航空機の第１の高度を、第２の航空機からキーポイントまでの第２の距離及び第２の航空機によって測定された第２の航空機の第２の高度と比較して、比較を作成する（動作６０２）。

【0110】

このプロセスでは、比較を用いて、第１の航空機の第１の高度と第２の航空機によって測定された第２の高度との間のオフセットを決定する（動作６０４）。その後、本プロセスは終了する。このオフセットは、第１の航空機の高度を調整するために使用されうる。調整は、第１の航空機が飛行する高度を調整することによって行われうる。別の例では、第１の航空機によって生成された画像に関連付けられたメタデータで高度を調整することができる。

【0111】

次に図７を参照すると、例示的実施形態による、オフセットを使用してアクションを実行するためのプロセスのフロー図が示されている。このフロー図は、図６に示すフロー図のプロセスで実行されうる追加の動作を示す。

【0112】

このプロセスは、オフセットを使用してアクションのセットを実行することによって始まる（動作７００）。この動作は、オフセットが図６の動作６０４で識別された後に実行される。その後、本プロセスは終了する。

【0113】

この例示的実施例では、動作７００で実行される動作のセットは、第１の航空機と第２の航空機によって生成された周囲環境の画像から得られた点群中の点の高度情報を調整すること；第１の航空機及び第２の航空機のミッションを制御すること；第１の航空機及び第２の航空機のルートを調整すること；第１の航空機及び第２の航空機が飛行する高度を同期させること；第１の航空機と第２の航空機の編隊飛行を調整すること；又は他の適切なアクションのうちの少なくとも１つから選択される。

【0114】

次に図８を参照すると、例示的実施形態による、キーポイントまでの距離を特定するためのプロセスのフロー図が示されている。この図に示されるプロセスは、図６の動作６００を実行することができる１つの方法の例である。

【0115】

このプロセスは、画像内のキーポイントを識別することによって始まる（動作８００）。この例では、少なくとも２つの画像がこの決定のために使用される。これらの画像の中の各画像は、異なる位置において生成される。

【0116】

このプロセスは、これらの画像内のキーポイントのピクセルを識別する（動作８０２）。これらのピクセルは、キーポイントの１又は複数の特徴に対するものとすることができる。例えば、ピクセルは、キーポイントの底面又は側面に沿ったピクセルのラインとすることもできる。別の例では、ピクセルは、キーポイント内の領域の円周とすることができる。

【0117】

このプロセスでは、画像内のキーポイントに対して識別されたピクセルを使用して、ステレオ深度三角測量を実行する（動作８０４）。その後、本プロセスは終了する。動作８０４の結果、航空機からキーポイントまでの距離を得る。

【0118】

次に、図９を参照すると、航空機によって実行され、空中イメージングシステムを動作させるために使用される情報を生成するプロセスのフロー図の例が、例示的実施形態に従って示されている。図９のプロセスは、ハードウェア、ソフトウェア又はその両方で実装されうる。ソフトウェアで実装される場合、このプロセスは、１又は複数のコンピュータシステムにおける１又は複数のハードウェアデバイス内に配置された１又は複数のプロセッサユニットによって実行される、プログラムコードの形態をとりうる。例えば、このプロセスは、図２の第２の航空機２０６で実装されうる。例えば、コントローラ２０８及びコンピュータシステム２１０は、いくつかの動作が第２の航空機２０６で実行されるように分散させることができる。

【0119】

図９のプロセスは、両方の航空機について決定されているか又は既知のパラメータを使用して実行することができる。これらのパラメータには、焦点距離、視野、イメージセンサの寸法、ピクセル数、緯度、経度、速度、高度、車両の向き、及びカメラの向きが含まれる。これらのパラメータは、上記の図５に関して説明したように、三角測量を実行するために使用することができる。例えば、ステレオ三角測量における焦点距離及びステレオ三角測量における変数は、一対の画像からランドマークなどの点までの距離を計算するために使用される。

【0120】

視野は、ランドマークなどの所与の点がいくつかの画像内で見えるかどうかを判断するために使用される。視野が既知であれば、キャプチャされる地面上の領域を予測することができる。このパラメータは、オーバーラップ画像がキャプチャされる２機の航空機のルートを設定するために使用することができる。

【0121】

画像センサの寸法とピクセル数は、図５の点ＸＬ ５２２及び点ＸＲ ５２４を計算するために使用可能な値である。イメージセンサの寸法は、キーポイントの中心線からの角距離を決定するために使用される。

【0122】

このプロセスは、画像を生成することによって始まる（動作９００）。このプロセスは、画像内の地面上の主要な特徴を識別する（動作９０２）。動作９０２では、主要な特徴が２つ以上の画像に見出される。主要な特徴は、いくつかの異なる形態をとることができる。例えば、道路標識、物体、又は人間が地面に敷き詰めた模様などが主要な特徴になりうる。

【0123】

このプロセスでは、画像内の主要な特徴のピクセル長を測定する（動作９０４）。主要な特徴のピクセル長は、一定であっても画像毎に異なっていてもよい。

【0124】

このプロセスでは、キーポイントの２つの連続した画像を用いてステレオ深度三角測量を行い、航空機からキーポイントまでの距離を決定する（動作９０６）。動作９０６では、ステレオ深度三角測量は、航空機によって測定された高度を使用することもできる。

【0125】

このプロセスでは、主要な特徴の位置、主要な特徴の識別、主要な特徴の距離、及び第２の航空機について測定された高度を第１の航空機に送信し、第１の航空機はまた、これらの位置を使用して画像を生成する（動作９０８）。その後、本プロセスは終了する。

【0126】

次に、図１０を参照すると、空中イメージングシステムを動作させるためのプロセスのフロー図の例が、例示的実施形態に従って示されている。図１０のプロセスは、ハードウェア、ソフトウェア又はその両方で実装されうる。ソフトウェアで実装される場合、このプロセスは、１又は複数のコンピュータシステムにおける１又は複数のハードウェアデバイス内に配置された１又は複数のプロセッサユニットによって実行される、プログラムコードの形態をとりうる。例えば、このプロセスは、図２の第１の航空機２０４で実装されうる。例えば、コンピュータシステム２１０内のコントローラ２０８は、いくつかの動作が第１の航空機２０４で実行されるように分散させることができる。

【0127】

このプロセスは、主要な特徴の位置、主要な特徴の識別、主要な特徴の距離、及び第２の航空機について測定された高度を受信することによって始まる（動作１０００）。第２の航空機から受信した情報は、第１の航空機によって測定された高度のオフセットを決定するためのプロセスにおいて使用される。換言すれば、測定値では両航空機とも同じ高度であっても、実際の高度は異なる場合がある。この情報は、航空機の高度の測定値に基づいて、その航空機の実際の高度との間のオフセットを決定するために使用される。ある実例では、オフセットは、第１の航空機の測定値が正しい高度であり、第２の航空機には調整すべき誤差があると仮定している。

【0128】

次に、このプロセスでは、第２の航空機から受信した位置で識別された主要は特徴の画像を生成する（動作１００２）。動作１００２において、これらの画像は、第１の航空機がキーポイントの画像を生成するためにキーポイントの位置に十分接近して飛行するときに生成されうる。この位置への飛行は、ある実例において、所定の飛行経路の一部とすることができる。別の実例では、第１の航空機は、飛行経路を変更してキーポイントの画像を生成することができる。

【0129】

このプロセスでは、第１の航空機によって生成された画像を使用して、キーポイント上でステレオ深度三角測量を実行する（動作１００４）。動作１００４では、ステレオ深度三角測量を実行することから、第１の航空機のキーポイントまでの第１の距離が決定される。

【0130】

このプロセスでは、第１の航空機のキーポイントまでの第１の距離と第１の航空機によって測定された高度との第１の比率を決定する（動作１００６）。このプロセスでは、第２の航空機のキーポイントまでの第２の距離と第２の航空機について測定された高度の第２の比率を決定する（動作１００８）。このプロセスでは、第１の比率と第２の比率とを比較して、第１の航空機の第１の高度と第２の航空機の第２の高度との間のオフセットを決定する（動作１０１０）。例えば、動作１０１０において、その比率は以下のようにすることができる。
ｈ＿ｂ／ｈ＿ａ＝ｉ＿ａ／ｉ＿ｂ

【0131】

式中、ｈａ＝ドローンＡカメラセンサでカバーされるキーポイントの特徴のピクセル；ｈｂ＝ドローンＢカメラセンサでカバーされるキーポイントの特徴のピクセル数；ｉａ＝ドローンＡの算出高度、ｉｂ＝ドローンＢの測定高度。このようにして、ｉｂ＝ドローンＡの算出高度からのｉｂ＝ドローンＢの測定高度のオフセットを決定することができる。

【0132】

このプロセスでは、これらの高度比が第２の航空機のものと一致するように、第１の航空機の高度を調整する（動作１０１２）。その後、本プロセスは終了する。このプロセスの結果、両航空機の測定高度は同じになった。このプロセスは、これらの高度が必ずしも実用的であることを意味するものではなく、どちらも同じ誤差又は不正確さを有する。

【0133】

次に図１１を参照すると、空中イメージングシステムを動作させるためのプロセスのフロー図の例は、例示的実施形態に従って示されている。図１１のプロセスは、ハードウェア、ソフトウェア又はその両方で実装されうる。ソフトウェアで実装される場合、このプロセスは、１又は複数のコンピュータシステムにおける１又は複数のハードウェアデバイス内に配置された１又は複数のプロセッサユニットによって実行される、プログラムコードの形態をとりうる。例えば、このプロセスは、図２の空中イメージングシステム２００のコンピュータシステム２１０内のコントローラ２０８で実装できる。この例では、コンピュータシステム２１０内のコントローラ２０８は、第１の航空機、第２の航空機、遠隔位置又は他の何らかの航空機若しくは車両のうちの少なくとも１つに配置されうる。

【0134】

このプロセスは、第１の航空機によって生成されたキーポイントの第１の画像と、ステレオ深度三角測量を用いて、キーポイントまでの第１の航空機の高度を決定すること（動作１１００）によって始まる。このプロセスでは、第１の画像を用いるステレオ深度三角測量により第１の航空機について決定された第１の高度と、第２の航空機によって生成されたキーポイントの第２の画像を用いるステレオ深度三角測量及び第２の航空機内のセンサシステムによって行われた測定のいずれか一方により第２の航空機について決定された第２の高度とを比較し、比較を作成する（動作１１０２）。

【0135】

このプロセスでは、上記の比較を用いて、第１の航空機について決定された第１の高度と第２の航空機によって測定された第２の高度との間のオフセットを決定する（動作１１０４）。その後、本プロセスは終了する。

【0136】

動作１１０４で決定されたオフセットは、アクションのセットを実行するために使用されうる。このアクションのセットは、第１の航空機と第２の航空機によって生成された周囲環境の画像から得られた点群中の点の高度情報を調整すること；第１の航空機と第２の航空機のミッションを制御すること；第１の航空機と第２の航空機のルートを調整すること；第１の航空機と第２の航空機が飛行する高度を同期させること；第１の航空機と第２の航空機の高度を測定するセンサシステムを同期させること；第１の航空機と第２の航空機の編隊飛行を調整すること；又は他の適切なアクションのうちの少なくとも１つから選択されうる。

【0137】

図示されている異なる実施形態のフロー図とブロック図は、例示的実施形態における装置及び方法のいくつかの可能な実装のアーキテクチャ、機能性及び動作を示している。これに関して、フロー図又はブロック図の各ブロックは、モジュール、セグメント、機能又は動作若しくはステップの一部のうちの少なくとも１つを表すことができる。例えば、１又は複数のブロックは、プログラムコード、ハードウェア又はプログラムコードとハードウェアの組み合わせとして実装されうる。ハードウェアで実装された場合、このハードウェアは、例えば、フロー図又はブロック図の１又は複数の処理を実行するよう製造又は構成されている、集積回路の形態をとりうる。プログラムコードとハードウェアとの組み合わせとして実装された場合、この実行形態は、ファームウェアの形態をとりうる。フロー図又はブロック図の各ブロックは、種々の処理、又は、専用ハードウェアとこの専用ハードウェアによって実行されるプログラムコードとの種々の組み合わせを実施する、専用ハードウェアシステムを使用して実装されうる。

【0138】

例示的実施形態のいくつかの代替的実装では、ブロックに記された１又は複数の機能が、図に記された順序とは異なって発生する場合がある。例えば、場合によって、連続して示された２つのブロックは、実質的に同時に実行されてもよく、又は関係する機能に応じて、時には逆順で実行されてもよい。また、フロー図又はブロック図に図示されているブロックに加えて、他のブロックが追加されてもよい。

【0139】

次に図１２を参照すると、例示的実施形態によるデータ処理システムのブロック図が描かれている。データ処理システム１２００は、図２のコンピュータシステム２１０を実装するために使用されうる。この実例では、データ処理システム１２００は、プロセッサユニット１２０４、メモリ１２０６、固定記憶装置１２０８、通信ユニット１２１０、入出力（Ｉ／Ｏ）装置１２１２及びディスプレイ１２１４の間の通信を提供する通信フレームワーク１２０２を含む。この実施例では、通信フレームワーク１２０２は、バスシステムの形態を採っている。

【0140】

プロセッサユニット１２０４は、メモリ１２０６にロード可能なソフトウェアのための命令を実行する役割を果たす。プロセッサユニット１２０４は、１又は複数のプロセッサを含む。例えば、プロセッサユニット１２０４は、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、物理演算ユニット（ＰＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ又は他の適切な種類のプロセッサのうちの少なくとも１つから選択されうる。更に、プロセッサユニット１２０４は、メインプロセッサが単一のチップ上にセカンダリプロセッサと共に存在する１又は複数の異種プロセッサシステムを使用して実装されることもある。別の実例としては、プロセッサユニット１２０４は、単一のチップ上に同じ種類のいくつかのプロセッサが包含される、対称型マルチプロセッサシステムでありうる。

【0141】

メモリ１２０６及び固定記憶装置１２０８は、記憶デバイス１２１６の例である。記憶デバイスは、情報（限定するものではないが、例えばデータ、関数形式のプログラムコード又は他の適切な情報のうちの少なくとも１つ）を一時的に及び／又は永続的に記憶できる、任意のハードウェアである。記憶デバイス１２１６は、これらの実例では、コンピュータ可読記憶デバイスと呼ばれる場合もある。これらの例では、メモリ１２０６は、例えば、ランダムアクセスメモリ又は任意の他の適切な揮発性若しくは不揮発性記憶デバイスでありうる。固定記憶装置１２０８は、特定の実装態様に応じて様々な形態をとりうる。

【0142】

例えば、固定記憶装置１２０８は、１又は複数のコンポーネント又はデバイスを含みうる。例えば、固定記憶装置１２０８は、ハードドライブ、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ、書換え型光学ディスク、書換え可能磁気テープ又は上記の何らかの組み合わせでありうる。固定記憶装置１２０８によって使用される媒体は、着脱式のものでもありうる。例えば、固定記憶装置１２０８用に着脱式ハードドライブを使用することができる。

【0143】

これらの実例では、通信ユニット１２１０は、他のデータ処理システム又は装置との通信を提供する。これらの実例では、通信ユニット１２１０は、ネットワークインタフェースカードである。

【0144】

入出力装置１２１２は、データ処理システム１２００に接続することができる他の装置とのデータの入出力を可能にする。例えば、入出力装置１２１２は、キーボード、マウス又は他の何らかの適切な入力装置のうちの少なくとも１つを介したユーザ入力のための接続を提供しうる。更に、入出力装置１２１２は、プリンタに出力を送信することができる。ディスプレイ１２１４は、ユーザに対して情報を表示するための機構を提供する。

【0145】

オペレーティングシステム、アプリケーション又はプログラムのうちの少なくとも１つの命令は、通信フレームワーク１２０２を通ってプロセッサユニット１２０４と通信する記憶デバイス１２１６に配置されうる。異なる実施形態のプロセスは、メモリ１２０６などのメモリに配置可能なコンピュータ実装命令を使用して、プロセッサユニット１２０４によって実行されうる。

【0146】

これらの命令は、プロセッサユニット１２０４内のプロセッサによって読み取られ実行されることが可能で、プログラムコード、コンピュータ使用可能プログラムコード又はコンピュータ読み取り可能プログラムコードと呼ばれる。異なる実施形態では、プログラムコードは、メモリ１２０６又は固定記憶装置１２０８などの異なる物理的な又はコンピュータ可読の記憶媒体で具現化されうる。

【0147】

プログラムコード１２１８は、プロセッサユニット１２０４による実行のためにデータ処理システム１２０にロード又は転送することができ、選択的に着脱可能なコンピュータ可読媒体１２２０上に関数形式で配置される。これらの実例では、プログラムコード１２１８とコンピュータ可読媒体１２２０が、コンピュータプログラム製品１２２２を形成する。実例では、コンピュータ可読媒体１２２０は、コンピュータ可読記憶媒体１２２４である。

【0148】

これらの実例では、コンピュータ可読記憶媒体１２２４は、プログラムコード１２１８を伝播又は送信する媒体ではなく、プログラムコード１２１８を記憶するために使用される物理的又はタンジブル記憶デバイスである。コンピュータ可読記憶媒体１２２０とは、本明細書で使用される場合、それ自体が、電波若しくはその他の自由に伝搬する電磁波、導波路若しくは他の伝送媒体を通って伝搬する電磁波若しくは他の伝送媒体（例えば、光ファイバケーブルを通過する光パルス）などの一過性の信号であると解釈すべきものではなく、又は電線を通して送信される電気信号は、本明細書で使用される場合、それ自体が、電波若しくはその他の自由に伝搬する電磁波、導波路若しくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルスなど）若しくは電線を通して送信される電気信号などの一過性の信号であると解釈すべきものでもない。

【0149】

代替的に、プログラムコード１２１８を、コンピュータ可読信号媒体を使用してデータ処理システム１２００に転送することができる。コンピュータ可読信号媒体は、例えばプログラムコード１２１８を含む、伝播されるデータ信号でありうる。例えば、コンピュータ可読信号媒体は、電磁信号、光信号又は他の任意の適切な種類の信号のうちの少なくとも１つでありうる。これらの信号は、無線接続、光ファイバケーブル、同軸ケーブル、電線又は他の任意の適切な種類の接続などの接続を介して送信されうる。

【0150】

更に、本明細書で使用される場合、「コンピュータ可読媒体１２２０」は単数であっても複数であってもよい。例えば、プログラムコード１２１８は、単一の記憶デバイス又は記憶システムの形態のコンピュータ可読媒体１２２０内に配置されうる。別の例では、プログラムコード１２１８は、いくつかのデータ処理システムに分散されているコンピュータ可読媒体１２２０内に配置されうる。換言すれば、プログラムコード１２１８内のいくつかの命令は、１つのデータ処理システム内に配置可能であり、一方、プログラムコード１２１８内の他の命令は、１つのデータ処理システム内に配置可能である。例えば、プログラムコード１２１８の一部が、サーバコンピュータ内のコンピュータ可読媒体１２２０に配置可能であり、一方、プログラムコード１２１８の別の部分は、クライアントコンピュータのセットに配置されたコンピュータ可読な異体１２２０に配置可能である。

【0151】

データ処理システム１２００について例示された異なるコンポーネントは、異なる実施形態が実装されうる方法に対するアーキテクチャ上の制限を提供することを意図するものではない。いくつかの実例では、コンポーネントのうちの１又は複数が、別のコンポーネントに組み込まれているか、又は別の方法でその一部を形成していてもよい。例えば、いくつかの実例では、メモリ１２０６又はその一部をプロセッサユニット１２０４内に一体化することができる。異なる例示的実施形態は、データ処理システム１２００について例示されたものに加えて、又はその代わりに、コンポーネントを含むデータ処理システムに実装することができる。図１２に示されている他のコンポーネントは、示されている実例と異なる場合がある。異なる実施形態は、プログラムコード１２１８を実行することができる任意のハードウェアデバイス又はシステムを使用して実装することができる。

【0152】

したがって、実例は、空中イメージングシステムを動作させるための方法、装置、システム、及びコンピュータプログラム製品を提供する。第１の航空機の飛行中に第１の航空機によって生成されたキーポイントの第１の画像とステレオ深度三角測量とを用いて、第１の航空機からキーポイントまでの第１の距離は、コンピュータシステムによって決定される。比較を作成するために、第１の航空機からキーポイントまでの第１の距離及び第１の航空機によって測定された第１の航空機の第１の高度が、コンピュータシステムによって、第２の航空機からキーポイントまでの第２の距離及び第２の航空機によって測定された第２の航空機の第２の高度と比較される。この比較を用いて、第１の航空機の第１の高度と第２の航空機によって測定された第２の高度との間のオフセットが、コンピュータシステムによって決定され、ここで、オフセットは、第１の航空機の高度を調整するために使用される。

【0153】

オフセットを決定することによって、第１の航空機又は第２の航空機のうちの少なくとも１つに対して高度調整を行って、様々なミッションをより正確に、又は処理リソースの使用量を減らして、実行することができる。例えば、高度が互いにより密接に相関している場合、異なる航空機間で生成された画像及びデータセットをより迅速に処理して、目的の物体の点群を生成することができる。他の実例では、高度は、精密飛行又は他のミッションがより正確且つより安全に実行されうるように調整することができる。

【0154】

異なる例示的実施形態の説明は、例示及び説明の目的で提示されており、網羅的であることも、開示された形態の実施形態に限定されることも意図するものではない。様々な実例では、アクション又は動作を実行するコンポーネントについて説明している。ある実例では、コンポーネントは、記載されたアクション又は動作を実行するように構成されうる。例えば、コンポーネントは、実例においてコンポーネントによって実行されると説明されているアクション又は動作を実行する能力をこのコンポーネントに提供する、構造物の構成又は設計を有しうる。更に、「含む（ｎｃｌｕｄｅｓ／ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｓ）」、「含む／包含する（ｃｏｎｔａｉｎｓ）」という用語及びこれらの変形が本明細書で使用される限り、かかる語は、追加の又は他の要素を排除することなく、オープンな移行句である「備える／含む（ｃｏｍｐｒｉｓｅｓ）」という語と同様に包括的であることが意図されている。

【0155】

更に、本開示は、以下の条項による実施形態を含む：。

【0156】

条項１．空中イメージングシステム（２００）であって、
コンピュータシステム（２１０）と；
コンピュータシステム（２１０）内のコントローラ（２０８）とを含み、前記コントローラ（２０８）が：
第１の航空機（２０４）によって生成されたキーポイント（２２０）の第１の画像（２１２）とステレオ深度三角測量（２２４）とを用いて前記第１の航空機（２０４）の第１の高度（２２６）を決定するように：
前記第１の高度（２２６）と、第２の航空機（２０６）によって生成された前記キーポイント（２２０）の第２の画像（２１４）を用いた前記ステレオ深度三角測量（２２４）及び前記第２の航空機（２０６）のセンサシステム（３０８）によって行われた測定のいずれか一方により前記第２の航空機（２０６）について決定された第２の高度（２３０）とを比較して、比較（２３２）を作成するように；且つ
前記比較（２３２）を用いて、前記第１の航空機（２０４）について決定された前記第１の高度（２２６）と前記第２の航空機（２０６）によって測定された前記第２の高度（２３０）との間のオフセット（２３８）を決定するように構成されている、空中イメージングシステム（２００）。

【0157】

条項２．前記コントローラ（２０８）が、前記オフセット（２３８）を使用してアクション（２４２）のセットを実行するように構成されている、条項１に記載の空中イメージングシステム（２００）。

【0158】

条項３．前記アクション（２４２）のセットが、前記第１の航空機（２０４）と前記第２の航空機（２０６）によって生成された周囲環境の画像から得られた点群中の点の高度情報を調整すること；前記第１の航空機（２０４）と前記第２の航空機（２０６）のミッションを制御すること；前記第１の航空機（２０４）と前記第２の航空機（２０６）のルートを調整すること；前記第１の航空機（２０４）と前記第２の航空機（２０６）が飛行する高度を同期させること；前記第１の航空機（２０４）と前記第２の航空機（２０６）の高度を測定するセンサシステムを同期させること；又は前記第１の航空機（２０４）と前記第２の航空機（２０６）の編隊飛行を調整することのうちの少なくとも１つから選択される、条項２に記載の空中イメージングシステム（２００）。

【0159】

条項４．前記コントローラ（２０８）が、前記第１の航空機（２０４）に関連付けられた第１のカメラシステム（２１６）によって生成された前記第１の画像（２１２）内の前記キーポイント（２２０）を識別するように構成されている、前述の条項のいずれか一項に記載の空中イメージングシステム（２００）。

【0160】

条項５．前記ステレオ深度三角測量（２２４）が、第１の画像（２１２）又は前記第２の画像（２１４）内の前記キーポイント（２２０）のピクセルを使用して実行される、前述の条項のいずれか一項に記載の空中イメージングシステム（２００）。

【0161】

条項６．前記第１の航空機（２０４）と前記第２の航空機（２０６）は、飛行機、無人航空システム、無人航空機、ドローン、回転翼航空機又は宇宙船のうちの少なくとも１つから選択される、前述の条項のいずれか一項に記載の空中イメージングシステム（２００）。

【0162】

条項７．前記キーポイント（２２０）が、土地の領域、山、タワー、建物、湖、ダム、マーカ、パターン、及びＶＯＲアンテナのうちのいずれかである、前述の条項のいずれか一項に記載の空中イメージングシステム（２００）。

【0163】

条項８．空中イメージングシステム（２００）において、
第１の航空機（２０４）に搭載された第１のカメラシステム（２１６）であって、前記第１の航空機（２０４）の飛行中に第１の画像（２１２）を生成する第１のカメラシステム（２１６）と；
前記第１の航空機（２０４）に搭載された高度センサシステム（２３４、３１４）であって、前記第１の航空機（２０４）の第１の高度（２２６）を測定する高度センサシステム（２３４、３１４）と；
前記第１の航空機（２０４）のコントローラ（２０８）であって、
前記第１の航空機（２０４）の飛行中に、前記第１の航空機（２０４）に関連付けられた前記第１のカメラシステム（２１６）によって生成されたキーポイント（２２０）の前記第１の画像（２１２）とステレオ深度三角測量（２２４）とを用いて、前記第１の航空機（２０４）からキーポイント（２２０）までの第１の距離（２２２）を決定するように；
第２の航空機（２０６）から、前記第２の航空機（２０６）から前記キーポイント（２２０）までの第２の距離（２２８）と、前記第２の航空機（２０６）について測定された第２の高度（２３０）とを受信するように；
前記第１の航空機（２０４）から前記キーポイント（２２０）までの前記第１の距離（２２２）及び前記第１の高度（２２６）と前記第２の航空機（２０６）から前記キーポイント（２２０）までの前記第２の距離（２２８）及び前記第２の高度（２３０）とを比較して、比較（２３２）を作成するように；且つ
前記比較（２３２）を用いて、前記第１の航空機（２０４）の前記第１の高度（２２６）と前記第２の航空機（２０６）の前記第２の高度（２３０）との間のオフセット（２３８）であって、前記第１の航空機（２０４）の高度を調整するために使用されるオフセット（２３８）を決定するように構成されているコントローラ（２０８）と
を備える、空中イメージングシステム（２００）。

【0164】

条項９．前記オフセット（２３８）を使用してアクション（２４２）のセットを実行することを更に含む、条項８に記載の空中イメージングシステム（２００）。

【0165】

条項１０．前記アクション（２４２）のセットが、前記第１の航空機（２０４）と前記第２の航空機（２０６）によって生成された周囲環境の画像から得られた点群中の点の高度情報を調整すること；前記第１の航空機（２０４）と前記第２の航空機（２０６）のミッションを制御すること；前記第１の航空機（２０４）と前記第２の航空機（２０６）のルートを調整すること；前記第１の航空機（２０４）と前記第２の航空機（２０６）が飛行する高度を同期させること；前記第１の航空機（２０４）と前記第２の航空機（２０６）の高度を測定するセンサシステムを同期させること；又は前記第１の航空機（２０４）と前記第２の航空機（２０６）の編隊飛行を調整することのうちの少なくとも１つから選択される、条項９に記載の空中イメージングシステム（２００）。

【0166】

条項１１．前記第１のカメラシステム（２１６）によって生成された前記第１の画像（２１２）内の前記キーポイント（２２０）を識別することを更に含む、条項８～１０のいずれか一項に記載の空中イメージングシステム（２００）。

【0167】

条項１２．前記第１の距離（２２２）が、前記第１の画像（２１２）内の前記キーポイント（２２０）の第１のピクセル（２２３）を使用して実行されるステレオ深度三角測量（２２４）を用いて決定され、前記第２の距離（２２８）が、第２の画像（２１４）内の前記キーポイント（２２０）の第２のピクセル（２２９）を使用して実行されるステレオ深度三角測量（２２４）を用いて決定される、条項８～１１のいずれか一項に記載の空中イメージングシステム（２００）。

【0168】

条項１３．前記高度センサシステム（２３４、３１４）が、気圧センサ又は全地球測位システム受信機のうちの少なくとも１つを含む、条項８～１２のいずれか一項に記載の空中イメージングシステム（２００）。

【0169】

条項１４．空中イメージングシステム（２００）を動作させる方法であって、
第１の航空機（２０４）の飛行中に前記第１の航空機（２０４）によって生成されたキーポイント（２２０）の第１の画像（２１２）とステレオ深度三角測量（２２４）とを用いて、コンピュータシステム（２１０）によって、前記第１の航空機（２０４）の第１の高度（２２６）を決定すること（６００）；
前記コンピュータシステム（２１０）によって、前記第１の高度（２２６）と、第２の航空機（２０６）によって決定された前記第２の航空機（２０６）の第２の高度（２３０）とを比較して、比較（２３２）を作成すること（６０２）；
前記比較（２３２）を用いて、前記コンピュータシステム（２１０）によって、前記第１の高度（２２６）と前記第２の高度（２３０）との間のオフセット（２３８）を決定すること（６０４）；
前記オフセット（２３８）に基づいて、前記コンピュータシステム（２１０）によって、前記第１の高度（２２６）又は前記第２の高度（２３０）のうちの少なくとも１つを調整すること；及び
前記コンピュータシステム（２１０）によって、前記第１の高度（２２６）では前記第１の航空機（２０４）から、前記第２の高度（２３０）では前記第２の航空機（２０６）から、１つの地域の複数の画像を得ること
を含む、方法。

【0170】

条項１５．前記コンピュータシステム（２１０）によって、前記オフセット（２３８）を使用してアクション（２４２）のセットを実行すること（７００）を更に含む、条項１４に記載の方法。

【0171】

条項１６．前記アクション（２４２）のセットが、前記第１の航空機（２０４）と前記第２の航空機（２０６）によって生成された周囲環境の画像から得られた点群中の点の高度情報を調整すること；前記第１の航空機（２０４）と前記第２の航空機（２０６）のミッションを制御すること；前記第１の航空機（２０４）と前記第２の航空機（２０６）のルートを調整すること；前記第１の航空機（２０４）と前記第２の航空機（２０６）が飛行する高度を同期させること；前記第１の航空機（２０４）と前記第２の航空機（２０６）の高度を測定するセンサシステムを同期させること；又は前記第１の航空機（２０４）と前記第２の航空機（２０６）の編隊飛行を調整することのうちの少なくとも１つから選択される、条項１５に記載の方法。

【0172】

条項１７．前記コンピュータシステム（２１０）によって、前記第１の航空機（２０４）に関連付けられた第１のカメラシステム（２１６）によって生成された前記第１の画像（２１２）内の前記キーポイント（２２０）を識別することを更に含む、条項１４～１６のいずれか一項に記載の方法。

【0173】

条項１８．前記第２の高度（２３０が、前記第２の航空機（２０６）によって生成された前記キーポイント（２２０）の第２の画像（２１４）を使用して実行されるステレオ深度三角測量（２２４）を用いて決定される、条項１４～１７のいずれか一項に記載の方法。

【0174】

条項１９．前記第２の高度（２３０）が、前記第２の航空機（２０６）と関連付けられた高度センサシステム（２３６、３１４）を使用して決定される、条項１４～１８のいずれか一項に記載の方法。

【0175】

条項２０．前記第１の航空機（２０４）と前記第２の航空機（２０６）が、飛行機、無人航空システム、無人航空機、ドローン、回転翼航空機，又は宇宙船のうちの少なくとも１つから選択される、条項１４～１９のいずれか一項に記載の方法。

【0176】

条項２１．空中イメージングシステム（２００）を動作させるためのコンピュータプログラム製品（１２２２）であって、
コンピュータ可読記憶媒体（１２２４）；
前記コンピュータ可読記憶媒体に記憶されており、コンピュータシステム（２１０）によって実行可能な第１のプログラムコードであって、前記コンピュータシステム（２１０）に、第１の航空機（２０４）の飛行中に前記第１の航空機（２０４）によって生成されたキーポイント（２２０）の第１の画像（２１２）とステレオ深度三角測量（２２４）とを用いて前記第１の航空機（２０４）から前記キーポイント（２２０）までの第１の距離（２２２）を決定させる第１のプログラムコード；
前記コンピュータ可読記憶媒体に記憶されており、前記コンピュータシステム（２１０）によって実行可能な第２のプログラムコードであって、前記コンピュータシステム（２１０）に、前記第１の航空機（２０４）から前記キーポイント（２２０）までの前記第１の距離（２２２）及び前記第１の航空機（２０４）によって測定された前記第１の航空機（２０４）の第１の高度（２２６）と、第２の航空機（２０６）から前記キーポイント（２２０）までの第２の距離（２２８）及び前記第２の航空機（２０６）によって測定された前記第２の航空機（２０６）の第２の高度（２３０）とを比較して、比較（２３２）を作成させる第２のプログラムコード；並びに
前記コンピュータ可読記憶媒体に記憶されており、前記コンピュータシステム（２１０）によって実行可能な第３のプログラムコードであって、前記コンピュータシステム（２１０）に、前記比較（２３２）を用いて、前記第１の航空機（２０４）の高度を調整するために使用される、前記第１の航空機（２０４）の前記第１の高度（２２６）と前記第２の航空機（２０６）によって測定された前記第２の高度（２３０）との間のオフセット（２３８）を決定させる第３のプログラムコード
を備える、コンピュータプログラム製品（１２２２）。

【0177】

当業者には、多数の修正例及び変形例が明らかであろう。更に、異なる例示的実施形態は、他の望ましい実施形態と比較して異なる特徴を提供しうる。選択された１又は複数の実施形態は、実施形態の原理、実際の適用を最もよく説明するために、また、企図される特定の用途に適した様々な修正例を含めた様々な実施形態の開示を他の当業者が理解できるように、選択及び記述されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【外国語明細書】