特表 2024-533150 マルチスペクトル・センサとパンクロマチック・センサとを有する空中画像撮影システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-12

(54)【発明の名称】マルチスペクトル・センサとパンクロマチック・センサとを有する空中画像撮影システム及び方法

(51)【国際特許分類】

   G01J 5/48 20220101AFI20240905BHJP

   G01N 21/27 20060101ALI20240905BHJP

   G01J 5/04 20060101ALI20240905BHJP

   G01J 5/02 20220101ALI20240905BHJP

   G01J 5/70 20220101ALI20240905BHJP

   A01G 7/00 20060101ALI20240905BHJP

   G01J 1/02 20060101ALN20240905BHJP

【ＦＩ】

G01J5/48 E

G01J5/48 A

G01N21/27 A

G01J5/04

G01J5/02 Z

G01J5/70 C

A01G7/00 603

G01J1/02 U

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024513875

(86)(22)【出願日】2022-09-02

(85)【翻訳文提出日】2024-04-30

(86)【国際出願番号】 US2022075938

(87)【国際公開番号】W WO2023034986

(87)【国際公開日】2023-03-09

(31)【優先権主張番号】63/240,730

(32)【優先日】2021-09-03

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】519190780

【氏名又は名称】マイカセンス インコーポレイテッド

(74)【代理人】

【識別番号】100201329

【弁理士】

【氏名又は名称】山口 真二郎

(74)【代理人】

【識別番号】100167601

【弁理士】

【氏名又は名称】大島 信之

(74)【代理人】

【識別番号】100220917

【弁理士】

【氏名又は名称】松本 忠大

(72)【発明者】

【氏名】マカリスター、ジャスティン ベイツ

(72)【発明者】

【氏名】ダーヴァス、フェリックス

(72)【発明者】

【氏名】ラーセン、スティーブン マシュー

【テーマコード（参考）】

2G059

2G065

2G066

【Ｆターム（参考）】

2G059AA05

2G059BB08

2G059BB11

2G059BB20

2G059CC16

2G059EE13

2G059FF01

2G059FF06

2G059FF20

2G059HH01

2G059HH02

2G059KK04

2G065AA15

2G065AB22

2G065BA01

2G065DA20

2G066AB06

2G066AC20

2G066BB02

2G066BC12

2G066BC15

2G066BC21

2G066CA02

2G066CA08

2G066CA16

2G066CA20

(57)【要約】

本開示は、スペクトル画像の取込み、熱画像の取込み及びパンクロマチック画像の取込みを同期するデバイス及び方法に関する。空中車両の熱画像撮影デバイスは、一連の熱画像を取り込む。空中車両のスペクトル画像撮影デバイスによるスペクトル画像の取込みは、熱画像の取込みと同期される。パンクロマチック画像の取込みは、熱画像の取込みと同期される。背景温度を示す放射照度データは検知される。注目領域のデジタル表層モデルは、一連のスペクトル画像に基づき生成される。標的の放射率は推定され、標的のデジタル表層モデルの画素の温度は、一連の熱画像、背景温度を示す放射照度データ、及び推定された標的の放射率に基づき推定される。
【選択図】図３

【特許請求の範囲】

【請求項1】

デバイスであって、前記デバイスは、
ベース部分及び前記ベース部分から延在するレンズ部分を含むハウジングと、
前記ハウジング内の１つ又は複数のスペクトル画像撮影デバイスと、
前記ハウジング内の１つ又は複数のパンクロマチック画像撮影デバイスと、
前記１つ又は複数のスペクトル画像撮影デバイス、及び前記１つ又は複数のパンクロマチック画像撮影デバイスに連結される１つ又は複数のプロセッサと
を備える、デバイス。

【請求項2】

１つ又は複数のデジタル記憶デバイスを更に備え、前記１つ又は複数のデジタル記憶デバイスは、前記プロセッサに連結され、前記１つ又は複数のスペクトル画像撮影デバイス及び前記１つ又は複数のパンクロマチック画像撮影デバイスから取り込まれた画像情報を記憶するように構成される、請求項１に記載のデバイス。

【請求項3】

前記ハウジング内に１つ又は複数の熱画像撮影デバイスを更に備え、前記１つ又は複数のプロセッサは、前記１つ又は複数の熱画像撮影デバイスに連結される、請求項１に記載のデバイス。

【請求項4】

方法であって、前記方法は、
複数のスペクトル画像撮影デバイスによって同時に取得されたマルチスペクトル画像情報を処理することであって、前記スペクトル画像撮影デバイスのそれぞれは、個別の波長範囲に向けられ、前記個別の波長範囲は、互いに対して重複しない、処理することと、
前記パンクロマチック画像撮影デバイスによって、前記マルチスペクトル画像情報と同時に取得されたパンクロマチック画像情報を処理することであって、前記パンクロマチック画像撮影デバイスは、前記複数のスペクトル画像撮影デバイスの個別の波長範囲の各波長範囲に重複する集合的な波長範囲に向けられる、処理することと、
前記パンクロマチック画像情報及び前記マルチスペクトル画像情報と同時に、ＤＬＳ（ｄｏｗｎｗｅｌｌｉｎｇ ｌｉｇｈｔ ｓｅｎｓｏｒ）からの放射照度情報を処理することと、
処理された前記マルチスペクトル画像情報、処理された前記パンクロマチック画像情報及び処理された前記放射照度情報に基づき、１画素あたり５センチメートル未満の解像度を伴う一領域の画像を生成することと
を含む、方法。

【請求項5】

方法であって、前記方法は、
それぞれが個別の波長範囲に向けられる複数のスペクトル画像撮影デバイスによって同時に取得されたマルチスペクトル画像情報を処理することと、
前記パンクロマチック画像撮影デバイスによって、前記マルチスペクトル画像情報と同時に取得されたパンクロマチック画像情報を処理することであって、前記パンクロマチック画像撮影デバイスは、前記複数のスペクトル画像撮影デバイスの個別の波長範囲の各波長範囲に重複する集合的な波長範囲に向けられる、処理することと、
前記パンクロマチック画像情報及び前記マルチスペクトル画像情報と同時に、ＤＬＳ（ｄｏｗｎｗｅｌｌｉｎｇ ｌｉｇｈｔ ｓｅｎｓｏｒ）からの放射照度情報を処理することと、
処理された前記マルチスペクトル画像情報、処理された前記パンクロマチック画像情報及び処理された前記放射照度情報に基づき、１画素あたり５センチメートル未満の解像度を伴う一領域の画像を生成することと、
前記スペクトル画像情報と前記パンクロマチック画像情報との組合せを使用して、前記画像内の画素を２つ以上のクラスに分類することと、
前記画像内の個別の物体の数を計数するため、分類された前記画素を使用することと
を含む、方法。

【請求項6】

前記個別の物体は植物であることを特徴とする、請求項５に記載の方法。

【請求項7】

生成された前記画像からの前記スペクトル情報と前記パンクロマチック画像情報との組合せは、前記画像内の個別の物体の数の計数に使用されることを特徴とする、請求項５に記載の方法。

【請求項8】

一領域内の複数の植物構成要素を計数すること
を含む方法であって、前記計数は、
複数のマルチスペクトル・イメージャからのマルチスペクトル画像情報を処理することであって、前記マルチスペクトル・イメージャのそれぞれは、個別の波長範囲に向けられ、前記範囲は、互いに重複せず、前記マルチスペクトル画像情報は、前記複数のマルチスペクトル・イメージャによって取得される一方で、前記領域内の前記複数の植物構成要素から４００フィート未満の高度で飛行する無人空中車両に取り付けられる、処理すること、
パンクロマチック・イメージャからのパンクロマチック画像情報を処理することであって、前記パンクロマチック画像情報は、前記複数のマルチスペクトル画像と同時に取得され、前記パンクロマチック・イメージャは、前記マルチスペクトル・イメージャの集合的な波長に向けられる、処理すること、並びに
処理された前記マルチスペクトル画像情報及び前記パンクロマチック画像情報に基づき、前記領域の画像を生成すること
によって行われる、方法。

【請求項9】

システムであって、前記システムは、
無人空中車両と、
前記無人空中車両に連結される画像取得デバイスであって、
それぞれが個別の波長範囲に向けられる複数のスペクトル画像撮影デバイス、及び
パンクロマチック画像撮影デバイスであって、前記パンクロマチック画像撮影デバイスは、前記複数のスペクトル画像撮影デバイスのそれぞれと同じ方向を向き、前記パンクロマチック画像撮影デバイスは、前記複数のスペクトル画像撮影デバイスの個別の波長範囲の各波長範囲に重複する集合的な波長範囲に向けられる、パンクロマチック画像撮影デバイス
を含む、画像取得デバイスと、
前記無人空中車両に連結される放射照度センサと
を備え、前記放射照度センサは、複数の光センサを含み、前記光センサのそれぞれは、前記パンクロマチック画像撮影デバイス及び前記複数のスペクトル画像撮影デバイスとは異なる方向を向いている、システム。

【請求項10】

プロセッサを更に備え、前記プロセッサは、
前記複数のスペクトル画像撮影デバイスによって同時に取得されたマルチスペクトル画像情報を処理し、
前記パンクロマチック画像撮影デバイスによって、前記マルチスペクトル画像情報と同時に取得されたパンクロマチック画像情報を処理し、
前記放射照度センサによって、前記パンクロマチック画像情報及び前記マルチスペクトル画像情報と同時に取得された放射照度情報を処理し、
処理された前記マルチスペクトル画像情報、処理された前記パンクロマチック画像及び処理された前記放射照度情報に基づき、１画素あたり５センチメートル未満の解像度を伴う一領域の画像を生成する
するように構成される、請求項９に記載のシステム。

【請求項11】

前記プロセッサは、前記画像内の個別の物体の数を計数するように更に構成されることを特徴とする、請求項１０に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、１つ又は複数の熱画像センサによって取り込まれる画像ストリームを、１つ又は複数のスペクトル画像センサによって取り込まれるストリーム及び１つ又は複数のパンクロマチック画像センサによって取り込まれるストリームと共に生成、処理することに関する。

【背景技術】

【0002】

長波長赤外線（ＬＷＩＲ）イメージャ及び他の熱カメラ等の熱画像撮影デバイスは、標的の熱画像を取り込むために使用し得る。取り込まれた画像は、標的物体の温度を推定するために使用し得る。

【0003】

マルチスペクトル画像撮影デバイス等のスペクトル画像撮影デバイスは、標的のスペクトル画像を取り込むために使用し得る。そのようなスペクトル画像撮影デバイスによって取得された画像は、標的の様々な特性の測定又は決定に利用し得る。

【0004】

光センサ等の放射照度検知デバイスは、光源からの放射照度を検知するように構成し得る。検知された放射照度は、熱画像撮影デバイス及びスペクトル画像撮影デバイスから受信した画像等の画像を処理するために使用し得る。

【0005】

パンクロマチック・カメラ等のパンクロマチック画像撮影デバイスは、大きな範囲の光波長、例えば、可視スペクトルの大部分を取り込むために使用し得る。

【発明の概要】

【課題を解決するための手段】

【0006】

一実施形態では、デバイスは、動作時、一連の熱画像を取り込む一連の熱画像取込みサイクルを実行する熱画像撮影回路と、動作時、一連のスペクトル画像を取り込む一連のスペクトル画像取込みサイクルを実行するスペクトル画像撮影回路と、動作時、一連のパンクロマチック画像を実行するパンクロマチック画像撮影回路と、熱画像撮影回路、スペクトル画像撮影回路及びパンクロマチック画像撮影回路に連結される制御回路とを備え、制御回路は、動作時、スペクトル画像撮影回路によるスペクトル画像取込みサイクルの実行と、熱画像撮影回路による熱画像取込みサイクルの実行と、パンクロマチック画像撮影回路のパンクロマチック画像取込みサイクルとを同期する。

【0007】

一実施形態では、デバイスは、１つ又は複数の更なるスペクトル画像撮影回路を備え、制御回路は、動作時、１つ又は複数の更なるスペクトル画像撮影回路によるスペクトル画像取込みサイクルの実行と、熱画像撮影回路による熱画像取込みサイクル及びパンクロマチック画像撮影回路の画像取込みサイクルの実行とを同期する。一実施形態では、スペクトル画像回路及び１つ又は複数の更なるスペクトル画像回路は、共通のシャッタを有する。一実施形態では、制御回路は、動作時、一連のスペクトル画像に基づくデジタル表層モデルを生成する。一実施形態では、制御回路は、動作時、一連の熱画像に基づくデジタル表層モデルを生成する。

【0008】

一実施形態では、制御回路は、動作時、デジタル表層モデルに基づく注目領域の複合画素マップを生成する。一実施形態では、制御回路は、動作時、複合画素マップに基づき衰弱した植物を識別する。一実施形態では、制御回路は、動作時、複合画素マップに基づき植物又は収穫物を識別し、これらの数を計数する。一実施形態では、制御回路は、動作時、複合画素マップ内の画素又は画素群の温度を推定する。一実施形態では、制御回路は、動作時、複合画素マップ及び推定した温度に基づき画素の状態を推定する。一実施形態では、制御回路は、動作時、複合画素マップ及び推定した温度に基づき衰弱した植物を識別する。一実施形態では、制御回路は、スペクトル画像取込みサイクルと９回ごとの熱画像取込みサイクルとを同期する。一実施形態では、制御回路は、パンクロマチック画像取込みサイクルと９回ごとの熱画像取込みサイクルとを同期する。２回ごとの熱画像取込みサイクル等、他の同期速度が想定される。代替的に、制御回路は、熱画像を１００回取り込むごとに、熱画像取込みデバイス、スペクトル画像取込みデバイス及びパンクロマチック画像取込みデバイスのシャッタを同期し得る。熱画像、スペクトル画像及びパンクロマチック画像の同期される取込み範囲は、２回ごとの熱取込みから１００回ごとの熱取込みまでの同時シャッタとし得る。サイクル時間は、熱画像撮影デバイス、スペクトル画像撮影デバイス及びパンクロマチック画像撮影デバイスのそれぞれの特定の動作時間に基づき選択し得る。一実施形態では、制御回路は、動作時、推定された画素の状態に基づき、かんがいの漏水に一致する状態を識別する。一実施形態では、デバイスは、空中車両である。

【0009】

一実施形態では、方法は、熱画像撮影デバイスによる、一連の熱画像を取り込む一連の熱取込みサイクルを実行することと、スペクトル画像撮影デバイスによる、一連のスペクトル画像を取り込むスペクトル画像取込みサイクルの実行と、熱画像撮影デバイスによる、熱画像取込みサイクルの実行とを同期することと、パンクロマチック画像撮影デバイスによる、一連のパンクロマチック画像を取り込むパンクロマチック画像取込みサイクルの実行と、熱画像撮影デバイスによる、熱画像取込みサイクルの実行とを同期することと、一連のスペクトル画像に基づき注目領域のデジタル表層モデルを生成することとを含む。一実施形態では、方法は、複数のスペクトル画像撮影デバイスによる、スペクトル画像取込みサイクルの実行と、熱画像撮影回路による、熱画像取込みサイクルの実行とを同期することを含む。一実施形態では、方法は、１つ又は複数のパンクロマチック画像撮影デバイスによる、パンクロマチック画像取込みサイクルの実行と、熱画像撮影回路による、熱画像取込みサイクルの実行とを同期することを含む。一実施形態では、デジタル表層モデルは、一連の熱画像に基づく。一実施形態では、方法は、デジタル表層モデルに基づき注目領域の複合画素マップを生成することを含む。一実施形態では、方法は、複合画素マップに基づき衰弱した植物を識別することを含む。一実施形態では、方法は、複合画素マップ内の画素又は画素群の温度を推定することを含む。一実施形態では、方法は、複合画素マップ及び推定した温度に基づき画素の状態を推定することを含む。一実施形態では、方法は、画素占有マップ及び推定した温度に基づきかんがいの漏水を識別することを含む。一実施形態では、方法は、複合画素マップに基づき個別の物体（例えば、植物、収穫物、トウモロコシの皮、リンゴ等）の数を計数することを含む。

【0010】

一実施形態では、デバイスは、動作時、一連の熱画像を取り込む一連の熱画像取込みサイクルを実行する熱画像撮影回路と、動作時、一連のスペクトル画像を取り込む一連のスペクトル画像取込みサイクルを実行するスペクトル画像撮影回路と、動作時、一連のパンクロマチック画像を取り込む一連のパンクロマチック画像取込みサイクルを実行するパンクロマチック画像撮影回路と、動作時、データの相対的な運動を示すデータを生成する慣性運動検知回路と、熱画像撮影回路、スペクトル画像撮影回路、パンクロマチック画像撮影回路及び慣性運動検知回路に連結される制御回路とを備え、制御回路は、動作時、スペクトル画像撮影回路によるスペクトル画像取込みサイクルの実行と、熱画像撮影回路による熱画像取込みサイクルの実行と、パンクロマチック画像撮影回路によるパンクロマチック画像取込みサイクルの実行とを同期し、デバイスの相対的な運動を示すデータに基づき一連の熱画像のうちの１枚の熱画像のポーズを推定する。一実施形態では、慣性運動検知回路は、加速度計を備える。一実施形態では、慣性運動検知回路は、ジャイロスコープを備える。一実施形態では、制御回路は、動作時、一連のスペクトル画像に基づきデジタル表層モデルを生成する。一実施形態では、制御回路は、動作時、一連の熱画像に基づきデジタル表層モデルを生成する。一実施形態では、制御回路は、動作時、熱画像の推定したポーズに基づきデジタル表層モデルを生成する。一実施形態では、制御回路は、動作時、複合画素マップに基づき個別の物体（例えば、植物、収穫物、トウモロコシの皮、リンゴ等）を識別し、これらの数を計数する。

【0011】

一実施形態では、方法は、熱画像撮影デバイスによる、一連の熱画像を取り込む一連の熱取込みサイクルを実行することと、スペクトル画像撮影デバイスによる、一連のスペクトル画像を取り込むスペクトル画像取込みサイクルの実行と、熱画像撮影デバイスによる、熱画像取込みサイクルの実行とを同期することと、パンクロマチック画像撮影デバイスによる、一連のパンクロマチック画像を取り込むパンクロマチック画像取込みサイクルの実行と、熱画像撮影デバイスによる、熱画像取込みサイクルの実行とを同期することと、慣性運動データを取り込むことと、取り込まれた慣性運動データに基づき一連の熱画像内の１枚の熱画像のポーズを推定することと、一連のスペクトル画像に基づき注目領域のデジタル表層モデルを生成することとを含む。一実施形態では、方法は、少なくとも一連のスペクトル画像及び一連のパンクロマチック画像を利用して、注目領域に基づく個別の物体（例えば、植物、収穫物、トウモロコシの皮、リンゴ等）を識別し、これらの数を計数することを含む。

【0012】

一実施形態では、デバイスは、動作時、一連の熱画像を取り込む一連の熱画像取込みサイクルを実行する熱画像撮影回路と、動作時、一連のスペクトル画像を取り込む一連のスペクトル画像取込みサイクルを実行するスペクトル画像撮影回路と、動作時、一連のパンクロマチック画像を取り込む一連のパンクロマチック画像取込みサイクルを実行するパンクロマチック画像撮影回路と、動作時、背景温度を示す放射照度データを検知する放射照度検知回路と、熱画像撮影回路、スペクトル画像撮影回路、パンクロマチック画像撮影回路及び放射照度検知回路に連結される制御回路とを備え、制御回路は、動作時、スペクトル画像撮影回路によるスペクトル画像取込みサイクルの実行と、熱画像撮影回路による熱画像取込みサイクルの実行と、パンクロマチック画像撮影回路によるパンクロマチック画像取込みサイクルの実行とを同期し、一連のスペクトル画像に基づきデジタル表層モデルを生成し、標的の放射率を推定し、一連の熱画像、背景温度を示す放射照度データ、及び推定した標的の放射率に基づきデジタル表層モデルの画素の温度を推定する。一実施形態では、放射照度検知回路は、複数の光センサを備える。一実施形態では、デバイスは、少なくとも一連のスペクトル画像及び一連のパンクロマチック画像を利用して、個別の物体（例えば、植物、収穫物、トウモロコシの皮、リンゴ等）を識別し、これらの数を計数する。

【0013】

一実施形態では、方法は、熱画像撮影デバイスによる、一連の熱画像を取り込む一連の熱取込みサイクルを実行することと、スペクトル画像撮影デバイスによる、一連のスペクトル画像を取り込むスペクトル画像取込みサイクルの実行と、熱画像撮影デバイスによる、熱画像取込みサイクルの実行とを同期することと、パンクロマチック画像撮影デバイスによる、一連のパンクロマチック画像を取り込むパンクロマチック画像取込みサイクルの実行と、熱画像撮影デバイスによる、熱画像取込みサイクルの実行とを同期することと、背景温度を示す放射照度データを検知することと、一連のスペクトル画像に基づき注目領域のデジタル表層モデルを生成することと、標的の放射率を推定することと、一連の熱画像、背景温度を示す放射照度データ、及び推定した標的の放射率に基づきデジタル表層モデルの画素の温度を推定することとを含む。

【0014】

本開示は、個別の物体（例えば、植物、収穫物、トウモロコシの皮、リンゴ、果実等）の数の計数等、様々な用途で利用し得る領域を走査、画像撮影する空中車両の少なくとも１つの実施形態に関する。空中車両は、１つ又は複数のスペクトル画像撮影デバイス、１つ又は複数のパンクロマチック画像撮影デバイス及び１つ又は複数の熱画像撮影デバイスを含むセンサ（例えば、カメラ、画像撮影デバイス、イメージャ等）を含む。スペクトル画像撮影デバイスは、スペクトル画像を取り込み、パンクロマチック画像撮影デバイスは、パンクロマチック画像を取り込み、熱画像撮影デバイスは、熱画像を取り込む。スペクトル画像、パンクロマチック画像及び熱画像は、互いに同時に取り込み得る。スペクトル画像は、マルチスペクトル画像を生成するようにプロセッサによって受信し得る。スペクトル画像及び熱画像は、デジタル表層モデル（ＤＳＭ）を生成するために利用し得る。スペクトル画像及びパンクロマチック画像は、パンシャープン化マルチスペクトル画像を決定するために利用し得る。例えば、スペクトル画像は、スペクトル画像の各画像とパンクロマチック画像の対応する画像と照合することによってパンシャープン化し、複数のパンシャープン化スペクトル画像を生成し得る。次に、パンシャープン化マルチスペクトル画像は、プロセッサによって照合し、当該領域のパンシャープン化マルチスペクトル画像を生成し得る。次に、プロセッサは、パンシャープン化マルチスペクトル画像内の個別の物体を識別し、これらの数を計数し得る。いくつかの実施形態では、パンクロマチック画像は、スペクトル画像の各画像をパンクロマチック画像の対応する画像と別々にパンシャープン化するのではなく、プロセッサを利用するスペクトル画像の照合によって既に生成されているマルチスペクトル画像をパンシャープン化するために利用し得る。

【0015】

センサは、ベース部分とベース部分から延在するレンズ部分とを有するハウジングを含む。ハウジングは、スペクトル画像を取り込むハウジング内の１つ又は複数のスペクトル画像撮影デバイスと、パンクロマチック画像を取り込むハウジング内の１つ又は複数のパンクロマチック画像撮影デバイスと、熱画像を取り込むハウジング内の１つ又は複数の熱画像撮影デバイスとを含む。ハウジングは、１つ又は複数のスペクトル画像撮影デバイス、１つ又は複数のパンクロマチック画像撮影デバイス及び１つ又は複数の熱画像撮影デバイスに連結される１つ又は複数のプロセッサを更に含み得、プロセッサは、スペクトル画像、パンクロマチック画像及び熱画像を受信し得、プロセッサは、これらのそれぞれの画像を処理、照合し、照合した画像内の個別の物体を識別し、これらの数を計数し得る。

【0016】

いくつかの実施形態では、放射照度検知デバイスは、空中車両に搭載されて含まれ、放射照度検知デバイスからの放射照度検知データは、スペクトル画素及びパンクロマチック画像と共に利用し、標的物体（植物、植物の下位構成要素等）からの反射率を決定し得、反射率は、植物を正確に識別し、場合によっては植物の数を計数するために利用し得る。例えば、少なくとも１つの実施形態では、パンクロマチック・センサと１つ又は複数のスペクトル・センサとを含むシステムが提供される。スペクトル・センサのスペクトル応答は、パンクロマチック・センサの通過帯域内にある。システムは、マルチスペクトル画像及びパンクロマチック画像の取込みを同期し、それぞれから画像を同時に取得する方法を実施するように構成し得、パンクロマチック・センサは、マルチスペクトル・イメージャより高い空間解像度をもつ。パンクロマチック・センサ及びスペクトル・センサのそれぞれは、対応するスペクトル放射輝度応答曲線を有する。

【0017】

いくつかの実施形態では、放射照度センサは、２つ以上のスペクトル帯域を測定するシステム内に含まれ、放射照度センサの２つ以上のスペクトル帯域は、パンクロマチック・イメージャのスペクトル応答範囲内にあり、フィールド・オブ・リガードは、かなり上空にある（システムは、直接放射照度の方向及び拡散放射照度の値を更に推定する複数の方向センサを含む）。

【0018】

いくつかの実施形態では、スペクトル放射照度センサ応答の解像度に少なくとも等しい解像度で、パンクロマチック・スペクトルにわたるセンサ上の放射照度を推定するため、スペクトル・センサ（又は放射照度センサ）からの２つ以上の測定値を使用するコンピュータ・プログラムが提供される。いくつかの実施形態では、センサ上の放射照度及びセンサの場所から標的上の放射照度を決定するため、雰囲気モデルが生成又は利用される。

【0019】

いくつかの実施形態では、マルチスペクトル画像のそれぞれに対するパンクロマチック画像内の所与の画素の標的反射率を決定するため、推定されたスペクトル放射照度とパンクロマチック画像からのパンクロマチック放射輝度値とマルチスペクトル画像からのマルチスペクトル放射輝度値とを組み合わせるコンピュータ・プログラムが提供される。

【0020】

いくつかの実施形態では、画像撮影デバイスは、無人空中車両に組み付け得る。画像撮影デバイスは、複数のマルチスペクトル・センサと少なくとも１つのパンクロマチック・センサとを含む。動作時、無人空中車両は、４００フィート未満の高度で飛行し得、マルチスペクトル・センサ及びパンクロマチック・センサによって取得された画像情報は、１画素あたり５ｃｍ（又は５ｃｍ以下）の解像度を有するパンシャープン化画像を生成するために利用し得、パンシャープン化画像は、植物の識別及び計数、又は更には植物の下位構成要素（例えば、花、芽、果実等）の計数等、特定の用途に適している高解像度画像である。パンクロマチック・センサによって取得されるより高い解像度画像情報は、そのような用途のために適切に高い解像度を有するパンシャープン化画像の生成を促進する。更に、本明細書で提供する実施形態は、無人空中車両上に載せるのに適切な小型サイズを有するパッケージ内で高解像度画像を取得、生成するのを促進し、例えば、約４００フィート以下の高度で取得した画像に基づき収穫物を識別、計数するために使用し得る。

【0021】

図面において、同一の参照番号は、文脈が別様に示さない限り、同様の要素を識別する。図面内の要素のサイズ及び相対位置は、必ずしも一定の縮尺で描かれていない。

【図面の簡単な説明】

【0022】

【図1】本開示の１つ又は複数の実施形態による、標的の熱画像、マルチスペクトル画像及びパンクロマチック画像を得るための空中車両の図である。

【図2】本開示の１つ又は複数の実施形態による、空中車両の詳細図である。

【図3】本開示の１つ又は複数の実施形態による、熱画像撮影デバイスとスペクトル画像撮影デバイスとパンクロマチック画像撮影デバイスとを有するセンサの斜視図である。

【図4】本開示の１つ又は複数の実施形態による、センサにより取り込まれた例示的画像の図である。

【図5】本開示の１つ又は複数の実施形態による、センサにより取り込まれた例示的画像の図である。

【図6】本開示の１つ又は複数の実施形態による、熱画像撮影デバイスとスペクトル画像撮影デバイスとパンクロマチック画像撮影デバイスとを有するセンサ又はカメラの機能ブロック図である。

【図7】本開示の１つ又は複数の実施形態による、放射照度検知デバイスの斜視図である。

【図8】本開示の１つ又は複数の実施形態による、スペクトル画像撮影デバイスによって取り込まれたスペクトル画像内の領域の図である。

【図9】本開示の１つ又は複数の実施形態による、熱画像、スペクトル画像及びパンクロマチック画像の取込みの同期を生成し、これらの画像を使用して標的領域のデジタル表層モデルを生成する一例示的工程を示すフロー・チャートである。

【図10】本開示の１つ又は複数の実施形態による、例示的画像取込みサイクルの図である。

【図11】パンクロマチック画像撮影デバイスを伴わないセンサによって取り込まれた画像の図である。

【図12】パンクロマチック画像撮影デバイスを伴う、図３に示されるセンサによって取り込まれた画像の図である。

【図13】スペクトル画像撮影デバイス及びパンクロマチック画像撮影デバイスを利用して取り込まれた、並んでいる２つの画像の図である。

【図14】スペクトル画像撮影デバイス及びパンクロマチック画像撮影デバイスの波長帯域を示すグラフである。

【発明を実施するための形態】

【0023】

本開示は、１つ又は複数の熱画像センサによって取り込まれる画像ストリームを、１つ又は複数のスペクトル画像センサによって取り込まれる画像ストリーム及び１つ又は複数のパンクロマチック画像センサによって取り込まれる画像ストリームと共に生成、処理するデバイス、システム及び方法に関する。１つ又は複数の熱画像センサは、１つ又は複数のスペクトル画像センサに対して固定される。１つ又は複数の熱画像センサは、１つ又は複数のパンクロマチック画像センサに対して固定される。更に、熱画像センサ、スペクトル画像センサ及びパンクロマチック画像センサは、画像を並行して又は同時に取り込むように同期される。

【0024】

本開示は、個別の物体（例えば、植物、収穫物、トウモロコシの皮、リンゴ、果実等）を識別し、これらの数を計数するため、一領域を走査する空中車両の少なくとも１つの実施形態に関する。空中車両は、センサ（例えば、カメラ、画像撮影デバイス、イメージャ等）を含み、センサは、１つ又は複数のスペクトル画像撮影デバイスと、１つ又は複数のパンクロマチック画像撮影デバイスと、１つ又は複数の熱画像撮影デバイスとを含む。スペクトル画像撮影デバイスは、スペクトル画像を取り込み、パンクロマチック画像撮影デバイスは、パンクロマチック画像を取り込み、熱画像撮影デバイスは、熱画像を取り込む。スペクトル画像は、マルチスペクトル画像を生成するため、プロセッサによって受信し得る。スペクトル画像及び熱画像は、デジタル表層モデル（ＤＳＭ）を生成するために利用し得る。スペクトル画像及びパンクロマチック画像は、パンシャープン化マルチスペクトル画像を決定するために利用し得る。例えば、スペクトル画像は、スペクトル画像の各画像をパンクロマチック画像の対応する画像と照合することによってパンシャープン化し、複数のパンシャープン化スペクトル画像を生成し得る。次に、パンシャープン化マルチスペクトル画像は、プロセッサによって照合し、当該領域のパンシャープン化マルチスペクトル画像を生成し得る。次に、プロセッサは、パンシャープン化マルチスペクトル画像内の個別の物体を識別し、これらの数を計数し得る。いくつかの実施形態では、パンクロマチック画像は、スペクトル画像の各画像をパンクロマチック画像の対応する画像と別々にパンシャープン化するのではなく、プロセッサを利用するスペクトル画像の照合によって既に生成されているマルチスペクトル画像をパンシャープン化するために利用し得る。

【0025】

センサは、ベース部分とベース部分から延在するレンズ部分とを有するハウジングを含む。ハウジングは、スペクトル画像を取り込むハウジング内の１つ又は複数のスペクトル画像撮影デバイスと、パンクロマチック画像を取り込むハウジング内の１つ又は複数のパンクロマチック画像撮影デバイスと、熱画像を取り込むハウジング内の１つ又は複数の熱画像撮影デバイスとを含む。ハウジングは、１つ又は複数のスペクトル画像撮影デバイス、１つ又は複数のパンクロマチック画像撮影デバイス及び１つ又は複数の熱画像撮影デバイスに連結される１つ又は複数のプロセッサを更に含み得、プロセッサは、これらの各画像を処理、照合し、照合した画像内の個別の物体を識別し、これらの数を計数し得る。

【0026】

図１は、１つ又は複数の実施形態による、例えば地上ベースの標的の熱画像、スペクトル画像及びパンクロマチック画像を同時に取得する空中車両１００を示し、図２は、空中車両１００の一実施形態の更なる詳細を示す。図１及び図２を参照すると、空中車両１００は、動作時、物理的領域又はシーン（例えば、標的）の熱画像を取り込む１つ又は複数の熱画像撮影デバイス１１０と、動作時、物理的領域又はシーン（例えば、標的）のスペクトル画像を取り込む１つ又は複数のスペクトル画像撮影デバイス１２０と、動作時、物理的領域又はシーン（例えば、標的）のパンクロマチック画像を取り込む１つ又は複数のパンクロマチック画像撮影デバイス１２４とを含む。図示のように、車両１００は、動作時、放射照度レベルを検知する１つ又は複数の放射照度検知デバイス１３０も含む。

【0027】

空中車両１００は、任意の回転若しくは固定翼空中車両を含む任意の種類の空中車両とし得、飛行機若しくはドローン等の（図１に示す）無人車両又は有人空中車両とし得る。更に、空中車両１００は、自律飛行（並びに画像及び放射照度情報の自律取得）が可能な自律車両とし得、又は（例えば、有人車両の操縦士若しくは無人車両の遠隔操縦士によって飛行する）操縦車両とし得る。

【0028】

撮影される標的（例えば、木１０２、収穫物１０４、１０６、草原、水域等）は、太陽１０８等の光源から放射照度を受信する。標的は、１つ若しくは複数の個別の物体（例えば、１本の木、建造物、池等）、一領域若しくはシーン（例えば、森林の一部分、収穫物の畑の一部分、湖の一部分等）、又は画像の取得が望ましい場合がある任意の他の標的とし得る。熱画像撮影デバイス又は回路１１０の数及びスペクトル画像撮影デバイス又は回路１２０の数は、例えば、注目する標的又は領域の種類に基づき変動し得る。例えば、暴風雨の損害評価の用途（例えば、屋根の雨漏り）では、単一熱画像撮影デバイス１１０と単一スペクトル画像撮影デバイス１２０と単一パンクロマチック画像撮影デバイス１２４とを有する空中車両１００を採用し得る一方で、農業評価の用途では、より精度の高い画像又ははるかにより多くの画像を取り込み、農地に関するより詳細で正確な画像をもたらし得るように、複数の熱画像撮影デバイス１１０、複数のスペクトル画像撮影デバイス１２０及び複数のパンクロマチック画像撮影デバイス１２４を採用し得る。例えば、熱画像、スペクトル画像及びパンクロマチック画像は、並行して又は同時に取り込み得、プロセッサによって利用し、収穫物の数、木の本数、又は熱画像、スペクトル画像及びパンクロマチック画像内に存在する何らかの他の個別の物体の数を計数又は推定し得る。本願のシステム及び方法は、周辺光が白熱灯又はＬＥＤであるような屋内用とし得ることが想定される。

【0029】

熱画像撮影デバイス１１０は、標的の熱画像の取得が可能な、長波長赤外線（ＬＷＩＲ）イメージャ等の自由稼働イメージャとし得、複数の熱イメージャを含み得る。短波長赤外線（ＳＷＩＲ）イメージャ、サーモパイル等、他の熱画像撮影デバイス、及び様々なそれらの組合せを採用し得る。

【0030】

熱画像撮影デバイス１１０によって取得される画像は、標的物体の温度の推定等、標的の様々な特性を測定又は決定するために利用し得る。熱画像撮影デバイス１１０は、空中車両１００に組み付け、所望するように任意の様式で向け得る。例えば、熱画像撮影デバイス１１０は、空中車両１００の下面に組み付け、地上ベースの標的画像を入手し得るように配置し得る。熱画像は、ＲＧＢ画像とし得る。

【0031】

スペクトル画像撮影デバイス１２０は、標的のスペクトル画像の収集が可能なマルチスペクトル画像撮影デバイスとし得、複数のイメージャを含み得、そのような各イメージャは、標的による反射光の特定の波長を取り込むように調整される。スペクトル画像撮影デバイス１２０は、電磁スペクトルの紫外領域、可視領域、近赤外領域及び／又は赤外領域のうち１つ又は複数の反射光を取り込むように構成し得る。スペクトル画像は、ＲＧＢ画像とし得る。

【0032】

そのようなスペクトル画像撮影デバイスによって取得された画像を利用し、植物の葉緑素含量、単位地表面積あたりの葉量、水域内の藻類の量又は種類等、標的の様々な特性を測定又は決定し得る。１つ又は複数の実施形態では、スペクトル画像撮影デバイス１２０は、撮影標的の反射率を決定するために使用し得る。

【0033】

スペクトル画像撮影デバイス１２０は、空中車両１００に組み付け、所望するように任意の様式で向け得る。例えば、画像撮影デバイス１２０は、空中車両１００の下面に組み付け、地上ベースの標的画像を入手し得るように配置し得る。

【0034】

パンクロマチック画像撮影デバイス１２４は、標的のパンクロマチック画像の取得が可能なパンクロマチック・カメラとし得る。パンクロマチック画像撮影デバイス１２４は、可視スペクトル内の全ての色の光に反応し得る。言い換えれば、パンクロマチック画像撮影デバイス１２４は、青色光だけでなく、赤色光、及び可視光スペクトルの青色端から赤色端の間のあらゆる可視光に反応し得る。

【0035】

そのようなパンクロマチック画像撮影デバイス１２４によって取得される画像は、熱画像撮影デバイス１１０及びスペクトル画像撮影デバイス１２０によって取り込まれる熱画像及びスペクトル画像と比較して、高解像度画像とし得る。パンクロマチック画像撮影デバイス１２４によって取り込まれるパンクロマチック画像は、プロセッサによって、熱画像撮影デバイス１１０及びスペクトル画像撮影デバイス１２０によって取り込まれる画像と組み合わせるか又は照合し得る。パンクロマチック画像撮影デバイス１２４によって取り込まれるこれらの高解像度パンクロマチック画像は、高解像度パンクロマチック画像内の指定された植物又は収穫物の数の計数のために利用し得る。例えば、プロセッサは、パンクロマチック画像撮影デバイス１２４によって取り込まれるパンクロマチック画像を受信し、これらの高解像度パンクロマチック画像を利用し、プロセッサは、収穫物の数（例えば、トウモロコシの皮の数、花の数、リンゴの数等）を計数し得る、樹木（例えば、モミの木、果樹等）の本数を計数し得る、又はパンクロマチック画像内の個別の物体の数を計数し得る。

【0036】

いくつかの実施形態では、パンクロマチック画像撮影デバイス１２０によって取り込まれるこれらの高解像度パンクロマチック画像、熱画像撮影デバイス１１０によって取り込まれる熱画像、及びスペクトル画像撮影デバイス１２０によって取り込まれるスペクトル画像は、これらの画像内の指定された植物又は収穫物の数を計数するために利用し得る。例えば、プロセッサは、熱画像撮影デバイス１１０、スペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４によって取り込まれる熱画像、スペクトル画像及びパンクロマチック画像を受信し、これらのそれぞれの画像を利用し、プロセッサは、収穫物の数（例えば、トウモロコシの皮の数、花の数、リンゴの数等）を計数し得るか、樹木（例えば、モミの木、果樹等）の本数を計数し得るか、又はパンクロマチック画像、熱画像及びスペクトル画像内の個別の物体の数を計数し得る。これらのパンクロマチック画像、熱画像及びスペクトル画像は、この計数工程の前に一緒に照合されていてよい。例えば、いくつかの実施形態では、プロセッサは、パンクロマチック画像からのパンクロマチック・データと共にスペクトル画像からのマルチスペクトル・データを受信し、個別の物体の数を計数し得る。パンクロマチック画像からのパンクロマチック・データを利用するこの工程をパンシャープン化と呼ぶことができ、パンクロマチック・データは、スペクトル画像及び熱画像と比較したパンクロマチック画像の高解像度性のために、計数すべき収穫物の精度及び検出を洗練し得る。パンシャープン化とは、概して、高解像度パンクロマチック画像とより低解像度のマルチスペクトル画像とを合成又は照合し、単一の高解像度画像を生成する工程を指し得る。

【0037】

図示のように、センサ１１２は、熱画像撮影デバイス１１０、スペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４を収容する。センサ１１２は、空中車両１００の下面に組み付けられる。熱画像撮影デバイス１１０、スペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４は、熱画像、スペクトル画像及びパンクロマチック画像を同時に取得し得る。前に説明したように、センサ１１２は、熱画像撮影デバイス１１０、スペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４に連結されるプロセッサ又は回路（図示せず）を含む。プロセッサは、熱画像撮影デバイス１１０、スペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４のそれぞれのシャッタをそれぞれ動作させ、熱データ、スペクトル・データ及びパンクロマチック・データをロバストに取り込み、これらのデータを処理、照合し、ユーザが、熱画像撮影デバイス１１０、スペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４を利用する車両１００で評価している環境についてより理解できるように構成される。

【0038】

放射照度検知デバイス１３０は、空中デバイス１００の上面に組み付けることができ、太陽１０８等の光源に対する様々な異なる向きで、光源からの放射照度を同時に検知するように構成される複数の光センサを含む。放射照度検知デバイス１３０は、図７に対してより詳細に以下で説明する。

【0039】

図３は、本開示の１つ又は複数の実施形態による、少なくとも１つの熱画像撮影デバイス１１０と、少なくとも１つのスペクトル画像撮影デバイス１２０と、少なくとも１つのパンクロマチック画像撮影デバイス１２４とを有するセンサ１１２の代替実施形態の斜視図を示す。図示のように、センサ１１２は、２つの熱画像撮影デバイス１１０と、５つのスペクトル画像撮影デバイス１２０と、１つのパンクロマチック画像撮影デバイス１２４とを有する。いくつかの実施形態では、センサ１１２は、複数のパンクロマチック画像撮影デバイス１２４を有し得る。言い換えれば、２つ以上のパンクロマチック画像撮影デバイス１２４（例えば、２つのパンクロマチック画像撮影デバイス、３つのパンクロマチック画像撮影デバイス等）があり得る。５つのスペクトル画像撮影デバイスは、様々な画像帯域（例えば、青色、緑色、赤色、赤色端及び近赤外帯域）でスペクトル画像を取り込み得る。２つの熱画像撮影デバイス１１０は、赤外帯域内で熱画像を取り込み得る。パンクロマチック画像撮影デバイス１２４は、可視光スペクトルの全ての波長を含むパンクロマチック画像を取り込み得る。いくつかの実施形態では、パンクロマチック画像撮影デバイス１２４は、スペクトル画像撮影デバイス（複数可）１２０の集合的な波長をカバーする。言い換えれば、パンクロマチック画像撮影デバイス１２４は、図３に示すスペクトル画像撮影デバイス１２０の各デバイスによって収集される各波長又は波長帯域のそれぞれと同じ（又は重なる）波長を収集し得る。図示の熱画像撮影デバイス１１０、スペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４は、互いに対して厳密に配置される。典型的なセンサ１１２において、熱画像撮影デバイス１１０は、スペクトル画像撮影デバイス１２０より大きな視野及びより低い解像度を有し得る。例えば、熱画像撮影デバイスは、１６０×１２０熱画素の解像度、及び５７度×４４度の視野を有し得る一方で、スペクトル画像撮影デバイスは、２０６４×１５４４画素の解像度、及び４８度×３７度の視野を有し得る。スペクトル画像の解像度がより高いために、典型的には、取り込まれたスペクトル画像をメモリに書き込むのにより長く時間がかかる。したがって、熱画像撮影デバイス１１０は、実際には、スペクトル画像撮影デバイス１２０より速い動作サイクルを有し得る。

【0040】

パンクロマチック画像撮影デバイス１２４は、熱画像撮影デバイス１１０及びスペクトル画像撮影デバイス１２０と比較してかなり高い空間解像度を有し得る。例えば、パンクロマチック画像撮影デバイスは、空中車両１００が４００フィートの高度にある場合、１．９７インチ／画素（５センチメートル／画素）未満の解像度範囲を有し得る。いくつかの実施形態では、パンクロマチック画像撮影デバイスは、空中車両１００が４００フィートの高度にある場合、０．９８４インチ／画素（２．５センチメートル／画素）の解像度を有し得る。言い換えれば、各画素は、４００フィートの高度にある際に（例えば、長さ及び高さの両方で）０．９８４インチの距離を表し得る。まだいくつかの他の実施形態では、パンクロマチック画像撮影デバイスは、０．９８４インチ／画素（２．５センチメートル／画素）未満の解像度を有し得る。熱画像撮影デバイス１１０及びスペクトル画像撮影デバイス１２０は、パンクロマチック画像撮影デバイス１２４より低い解像度を有し得るが、熱画像撮影デバイス１１０及びスペクトル画像撮影デバイス１２０は、パンクロマチック画像撮影デバイス１２４の利用では容易に入手可能ではないことがある熱情報及びスペクトル情報を含み得る。代替的に、パンクロマチック画像撮影デバイス１２４は、熱画像撮影デバイス１１０及びスペクトル画像撮影デバイス１２０の利用では容易に入手可能ではないことがあるパンクロマチック情報を有し得る。パンクロマチック画像撮影デバイス１２４は、スペクトル画像撮影デバイス１１０及び熱画像撮影デバイス１２０の解像度の２倍の解像度を有し得る。

【0041】

熱画像撮影デバイス１１０、スペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４の組合せ及び利用により、プロセッサは、熱画像撮影デバイス１１０、スペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４のそれぞれによって取り込まれる熱画像、スペクトル画像及びパンクロマチック画像のそれぞれからの情報を利用し、取り込まれた熱画像、スペクトル画像及びパンクロマチック画像内の情報を利用する機能及び分析を実行することが可能である。例えば、パンクロマチック画像、スペクトル画像及び熱画像は、プロセッサによって利用でき、プロセッサは、プロセッサが受信した画像内の植物を正確に識別し、植物の数（例えば、トウモロコシの皮の数、リンゴの数、樹木の数、花の数等）を計数し、植物の温度及び植物の他の特性を決定し得る。

【0042】

プロセッサは、前述のように、パンクロマチック画像が高解像度を有するので、パンクロマチック画像内の収穫物を正確に識別し、収穫物の数を計数し得る。パンクロマチック画像は、一般に、完全に成長し熟したトウモロコシは０．９８４インチを超える、又は完全に成長したリンゴは０．９８４インチを超えるので、収穫物（例えば、トウモロコシ、リンゴ等）の数を計数するために利用し得る。プロセッサは、パンクロマチック画像を利用し、複数の点を有する点マップを生成し得、各点は、１本のトウモロコシ、１つのリンゴ、又は計数すべき何らかの他の同様の種類の野菜若しくは果実収穫物を表す。例えば、プロセッサは、高さ又は直径が約２インチから４インチまでのより小さな収穫物を計数可能であるため、プロセッサは、まだ完全に成長していない収穫物の計数を可能とし得る。

【0043】

いくつかの実施形態では、スペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４は、樹木又は植物上の個々の花、樹木若しくは植物上の個々の果実若しくは野菜、葉、芽、又は植物の他の下位構成要素等、植物又は農産物の下位構成要素の正確な識別及び計数を促進する。

【0044】

センサ１１２は、ハウジング１１３を含み、ハウジング１１３は、プロセッサ、電池等の電源、送受信機、又はワイヤ若しくはワイヤレス送信回路等の他の通信手段を含む様々な回路を取り囲む。ハウジング１１３は、ベース部分１１５と、ベース部分の表面１１９から離れて延在するレンズ部分１１７とを含む。レンズ部分１１７は、表面１１９から外側に離間する表面１２５を通る開口１２３内に配置される５つのレンズ１２１を含む。各レンズは、各レンズの湾曲部が表面１２５から凹むように、対応する開口１２３内に凹んでいる。他の実施形態では、各レンズ又はレンズの一部の湾曲部は、表面１２５に等しいか又は表面１２５を越えて延在し得る。

【0045】

レンズ部分１１７は、ベース部分１１５から外側に突出する。レンズ部分１１７は、表面１２５から離れて延在する境界部分１１１を含む。境界部分１１１は、レンズ１２１及び熱画像撮影デバイス１１０の周囲にある。境界部分１１１は、レンズ１２１に入って熱画像撮影デバイス１１０及びスペクトル画像撮影デバイス１２０によって取り込まれる光を案内し得る。

【0046】

レンズ部分１１７において、ベース部分１１５に連結されるのは、それぞれのレンズ１２１の各レンズと位置合わせされるスペクトル画像撮影チップ又はパッケージである。スペクトル画像撮影チップ又はパッケージのそれぞれは、それぞれのレンズ１２１の対応するレンズと位置合わせし得る。レンズ１２１は、筐体１１３内に厳密に配置される。第１のスペクトル画像撮影デバイスは、レンズ部分１１７の中心に配置される。２つのスペクトル画像撮影デバイスは、中心に配置されたスペクトル画像撮影デバイスの右側にあり、２つのスペクトル画像撮影デバイスは、中心に配置されたスペクトル画像撮影デバイスの左にある。熱画像撮影デバイス１１０は、表面１２５内の穴１２７と位置合わせされる。表面１２９は、表面１２５に対して外側に離間する。表面１２５は、表面１２９と表面１１９との間にある。言い換えれば、表面１２５は、レンズ部分１１７内に凹んでいる。

【0047】

表面１２９は、表面１２５から外側に突出する突出部１４１の表面とし得る。パンクロマチック画像撮影デバイス１２４は、開口１４２と位置合わせされ、開口１４２は、突出部１４１内に延在し、突出部１４１を通る。レンズ１２１の１つは、開口１４２内にあり、光が開口１４２内のレンズ１２１内に容易に入り、通過し、パンクロマチック画像撮影デバイス１２４によって取り込み得るようにする。パンクロマチック画像撮影デバイスは、レンズ部分１１７の右手側及び左手側で２つのスペクトル画像撮影デバイス１２０の間に配置される。図３に示す向きに基づくと、パンクロマチック画像撮影デバイス１２４は、中心スペクトル画像撮影デバイス１２０の下にある。突出部１４１は、境界部分１１１の一部分とし得る。

【0048】

図４及び図５は、本開示の１つ又は複数の実施形態による、図３のセンサ１１２等のセンサにより取り込み得る例示的画像を概念的に示す。説明を簡単にするために、図４及び図５は、センサ１１２の単一スペクトル画像撮影デバイス１２０及び単一パンクロマチック画像撮影デバイス１２４のうち、単一熱画像撮影デバイス１１０を使用して取り込まれる画像を示す。実際には、画像は、センサ１１２の熱画像撮影デバイス１１０、スペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４の全てによって取り込み得る。熱画像撮影デバイス１１０は、１つ又は複数の標的４０２を含む熱画像４０４を取り込み、スペクトル画像撮影デバイス１２０は、標的４０２を含むスペクトル画像４０６を取り込み、パンクロマチック画像撮影デバイス１２４は、標的４０２を含むパンクロマチック画像を取り込む。標的は、物体若しくは点等の特徴、又は物体の点若しくは特徴、個々の画素（例えば、熱画素、スペクトル画素）、規定サイズの画素群（例えば、４×４画素群）、又は物体若しくは物体の点等の特徴に関連する画素のセットとし得る。

【0049】

図４は、熱画像撮影デバイス１１０によって取り込まれた単一熱画像４０４、スペクトル画像撮影デバイス１２０によって取り込まれた単一熱画像４０６、及びパンクロマチック画像撮影デバイス１２４によって取り込まれた単一パンクロマチック画像４０３を示す。単一熱画像４０４、単一スペクトル画像４０６及びパンクロマチック画像４０３は、図４に示すように互いに重なる。

【0050】

図５は、センサ１１２が標的４０２のそばを移動する際に熱画像撮影デバイス１１０、スペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４によって取り込まれる一連の熱画像４０４、スペクトル画像４０６及びパンクロマチック画像４０３を示す。図示のように、熱画像撮影デバイス１１０は、スペクトル画像撮影デバイス１２０の固定視野より広い固定視野を有し、パンクロマチック画像撮影デバイス１２４は、熱画像撮影デバイス１１０及びスペクトル画像撮影デバイス１２０の視野より広い固定視野を有する。いくつかの実施形態では、パンクロマチック画像撮影デバイス１２４は、熱画像撮影デバイス１１０の固定視野ほど広くない固定視野を有し得るか、スペクトル画像撮影デバイス１２０の固定視野ほど広くなく、熱画像撮影デバイス１１０の固定視野より広い固定視野を有し得るか、スペクトル画像撮影デバイス１２０の固定視野と同じ固定視野を有し得るか、又は熱画像撮影デバイス１１０と同じ固定視野を有し得る。

【0051】

実際、図５に示すように、熱画像撮影デバイス１１０は（典型的にはより低い解像度のために）より速い画像取込みサイクル時間を有するので、スペクトル画像撮影デバイス１２０によって取り込まれるスペクトル画像４０６、及びパンクロマチック画像撮影デバイス１２４によって取り込まれるパンクロマチック画像４０３よりも多くの熱画像４０４が熱画像撮影デバイス１１０によって取り込まれる。言い換えれば、熱画像４０４は、様々な波長で取り込まれることに加えて、スペクトル画像４０６及びパンクロマチック画像４０３より高い空間サンプリング周波数を有する。図示のように、センサ１１２が標的４０２上を通過する間、４枚の熱画像４０４が熱画像撮影デバイス１１０によって取り込まれる一方で、２枚のスペクトル画像及び２枚のパンクロマチック画像がスペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４のそれぞれによって取り込まれる。実際には、熱画像撮影デバイス１１０は、スペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４のそれぞれが単一スペクトル画像４０６及び単一パンクロマチック画像４０３を取り込むのと同じ時間期間で、８枚以上の熱画素４０４を取り込むことも可能である。

【0052】

図６は、センサ６００の一実施形態の機能ブロック図であり、センサ６００は、例えば、１つ又は複数の標的の画像を取り込む図１～図３のセンサ１１２として採用し得る。センサ６００は、動作時、熱画像を取り込む１つ又は複数の熱画像撮影デバイス１１０と、動作時、スペクトル画像を取り込む１つ又は複数のスペクトル画像撮影デバイス１２０と、動作時、パンクロマチック画像を取り込む１つ又は複数のパンクロマチック画像撮影デバイス１２４とを含む。図示のように、システム６００は、１つ若しくは複数の処理コア又はプロセッサ６０２と、１つ又は複数のメモリ６０４とを備え、１つ又は複数のメモリ６０４を使用し、動作時、例えば、メモリ６０４内に記憶した命令を実行することによって、センサ６００の機能を実施し得る（例えば、熱画像撮影デバイス１１０、スペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４を制御し、熱画像データ、スペクトル画像データ、パンクロマチック画像データ等を記憶、処理する）。システム６００は、図示のように、１つ又は複数のバス・システム６０６も備え、説明を簡単にするために省略される電源等の更なる回路６０８を含み得る。システム６００は、ジャイロスコープ又は加速度計等の１つ又は複数の慣性測定ユニット（ＩＭＵ）６１０も含み、１つ又は複数の慣性測定ユニット（ＩＭＵ）６１０は、動作時、空中車両１００が標的の画像を取り込む際に位置変化情報を生成し得る。

【0053】

センサ６００の実施形態は、図示より多い又はより少ない回路を備えてよく、回路は、様々な様式で更なる回路に組み合わせ、分離し得る。例えば、センサ６００のいくつかの実施形態は、放射照度検知デバイスを組み込み得る（図１の放射照度検知デバイス１３０を参照）。いくつかの実施形態では、センサ６００は、外部放射照度検知デバイスに連結するように構成し得る。いくつかの実施形態は、通信回路（例えば、ｗｉｆｉ又はセルラ）、又はそのような機能をインターフェース６０６内に含め得る。

【0054】

動作時、センサ１１２の熱画像撮影デバイス１１０によって生成された熱画像４０４は、標的の個々の画素の温度を推定するために使用し得る。複数の熱画像４０４を組み合わせ、スペクトル画像撮影デバイス１２０の１つ又は複数によって生成された標的のスペクトル画像４０６を更に考慮し、パンクロマチック画像撮影デバイス１２４の１つ又は複数のパンクロマチック画像４０３を更に考慮することによって、温度推定に対する空間解像度の増大を得ることができる。

【0055】

スペクトル画像４０６は、例えば、標的の放射率の推定のために使用でき、放射率の推定は、熱画像４０４から測定された温度情報と共に使用し、標的の温度を推定し得る。

【0056】

放射率は、材料表面の特性であり、材料表面から放射されるエネルギーと黒体のエネルギーとの比率である。完全放射体（黒体）は、１の放射率を有し、その温度に等しい長波長放射線を放射する。完全熱鏡は、０の放射率を有する。他の材料は、０から１の間の放射率を有する。１未満の放射率を有する材料は、その温度に比例する放射線を放射する。ガラスは、長波長放射線に不透過性であり、ガラスが放射するよりも多く反射する。温度を推定するため、放射率が推定される。

【0057】

スペクトル画像４０６は、標的物体を識別し、植物がストレス下にあるかどうか、畑の下の管が漏れていないかどうか等、標的物体の状態を検出するために使用し得る。３－Ｄデジタル表層モデル（ＤＳＭ）は、空中車両１００が標的上を移動する際に取り込まれた複数のスペクトル画像４０６を使用して生成し得る。スペクトル画像４０６からのスペクトル画像データと、１つ又は複数の熱画像４０４からの熱画像データを組み合わせると、標的の状態に対するより正確な推定の生成を促進し得る。熱画像４０４は、スペクトル画像４０６と組み合わせて使用し、ＤＳＭを生成し得る。ＤＳＭは、撮影される地面又は環境の表層の表現である。ＤＳＭは、環境内の物体の高度差及び反射率を表す。物体及び環境の温度情報は、熱画像に基づきＤＳＭ内に組み込まれる。

【0058】

また、放射照度検知デバイス１３０からのデータは、背景温度（例えば、上空温度）の推定のために使用し得る。推定された背景温度情報は、測定された標的の画素の温度を調節又は修正するために使用され、温度推定、及び温度推定に部分的に基づくあらゆる状況データの精度を増大し得る。

【0059】

パンクロマチック画像４０３は、パンクロマチック画像４０３内の標的物体の位置を正確に決定し、個別に識別し、これらの数（例えば、植物の数、トウモロコシの皮の数、リンゴの数、花の数等）を決定するために使用し得る。マップは、空中車両１００が標的物体上を移動する際に取り込まれた複数のパンクロマチック画像４０３を使用して生成し得る。マップは、点を含むことができ、点は、複数の点の各点を複数の標的物体の対応する物体の中心と位置合わせすることによって、複数の標的物体の対応する物体を表す。パンクロマチック画像を利用して生成されたマップ上のこれらの点は、プロセッサによって計数し、ほ場内の収穫物の数を決定し得る。

【0060】

いくつかの実施形態では、パンクロマチック画像４０３は、熱画像４０４及びスペクトル画像４０６と共に利用し、標的物体（例えば、植物）の数を計数し、標的物体（例えば、植物）の熱特性及び健康状態を決定し得る。例えば、パンクロマチック画像４０３は、熱画像４０４及びスペクトル画像４０６と比較して、パンクロマチック画像４０３内で標的物体のより正確な配置をもたらし、標的物体の数を迅速、正確に推定又は計数し得る一方で、熱画像及びスペクトル画像は、単体又は一緒に利用してデジタル表層モデルを生成し、デジタル表層モデル上の各点の温度を推定、決定し得る。

【0061】

図７は、本開示の１つ又は複数の実施形態による、放射照度検知デバイス１３０の斜視図を示す。放射照度検知デバイスは、太陽（図１を参照）等の光源に対する様々な異なる向きで、光源からの放射照度を同時に検知するように構成される複数の光センサ１３２を含む。図示のように、放射照度検知デバイス１３０は、インターフェース１３４を含み、インターフェース１３４は、動作時、図６のインターフェース６０６を介してセンサ６００の処理コア６０２等の処理デバイスに連結し得る。

【0062】

光センサ１３２は、マルチスペクトルＤＬＳ（ｄｏｗｎｗｅｌｌｉｎｇ ｌｉｇｈｔ ｓｅｎｓｏｒ）とし得る。光センサ１３２からのデータ又は画像は、空中サーモグラフィの間の上空の温度分布を推定するために使用し得る。光センサ１３２は、光路の角度及び拡散率を測定し得る。半球状入射放射照度モデルは、測定された情報に基づき生成し、上空温度の推定のために使用し得る。

【0063】

光センサ１３２は、放射分析の遠隔検知用途において太陽の放射照度を測定する。太陽等の光源からの放射照度は、放射照度検知デバイス上に様々な向きで配置される複数の光センサによって同時に検知し得る。したがって、直接成分及び散乱成分等の放射照度の成分並びに入射角を決定、利用し、同時に画像撮影デバイスによって取得した標的の画像を補償又は正規化し得る。

【0064】

様々な向きを有する複数の光センサにより放射照度を同時に検知することによって、太陽放射照度の直接成分及び散乱成分等の光源の特性、並びに太陽放射照度の入射角αを決定することが可能である。更に、放射照度検知デバイス１３０は、画像が画像撮影デバイスによって取得されるのと同時に放射照度を検知でき、取得した画像を正規化又は補償し、撮影標的が受ける放射照度の変動を考慮することを可能にする。例えば、曇りの日に画像撮影デバイス１００（例えば、空中車両１００）によって取得される標的の画像は、各画像（熱画像及び／又はスペクトル画像）の取得時に放射照度検知デバイス１３０によって検知される放射照度の差を考慮することによって、雲のない日に同じ標的で取得される画像に相関させ得る。

【0065】

放射照度検知デバイス１３０は、様々な向きで配置される複数の放射照度検知面と、太陽等の光源からの放射照度の様々な量又は成分（例えば、直接成分及び散乱成分）を受け、検知するように構成される光センサとを含む。放射照度検知デバイス１３０は、空中車両に取り付け、熱画像撮影デバイス及びスペクトル画像撮影デバイスに通信可能に連結し得る。

【0066】

図７を参照すると、放射照度検知デバイス１３０は、デバイス１３０の外面を形成するハウジング１３１を含む。いくつかの実施形態では、ハウジング１３１は、例えば、締結器、接着材料、ヒンジ等の１つ又は複数を含む任意の適切な要素によって互いに固着可能な２つ以上の部品を含み得る。いくつかの実施形態では、ハウジング１３１は、上筐体１３３と底筐体１３５とを含む。

【0067】

上筐体１３３は、複数の傾斜面１３７を含み、複数の傾斜面１３７は、上筐体１３３のそれぞれの縁部と上面１３９との間で様々な向きで延在する。複数の放射照度検知開口は、傾斜面１３７及び／又は上面１３９を通じて延在する。いくつかの実施形態では、傾斜面１３７及び上面１３９のそれぞれは、光センサ１３２の１つと位置合わせされる少なくとも１つの放射照度検知開口を含む。

【0068】

複数の光センサ１３２は、光センサを組み付ける組付け構造体とし得る内板上に配置され、いくつかの実施形態では、内板は、放射照度検知デバイス１３０内に含まれる様々な電子回路、構成要素等を保持する。

【0069】

ライト・パイプは、放射照度検知開口内に配置され、各光センサと位置合わせされる。ライト・パイプは、ハウジング１３１の外側から受けた放射照度をハウジング１３１の内側、より詳細には光センサ１３２のそれぞれに向かって伝達又は分配することが可能な任意の物理的構造体とし得る。ライト・パイプは、中空構造又は中実構造を有し得る。いくつかの実施形態では、ライト・パイプは含まれない。

【0070】

光センサ１３２は、様々な異なる波長を有する放射照度を検知するように構成し得る。例えば、１つ又は複数の実施形態では、光センサは、周囲光又は放射照度を検知する１つ又は複数の広帯域光センサと、電磁スペクトルにわたり特定の波長又は波長範囲を有する光を検知する１つ又は複数のスペクトル・センサとを含む。いくつかの実施形態では、広帯域光センサは、傾斜面１３７の放射照度検知開口を通じて光を検知するように構成される一方で、スペクトル・センサは、上筐体１３３の上面１３９上の放射照度検知開口を通じて光を検知するように構成される。

【0071】

受信信号（例えば、検知した放射照度を示す信号）を処理及び／又は記憶する様々な電子回路（１つ又は複数の特定用途向け集積回路、コンピュータ可読メモリ等）は、内板に取り付け得る。

【0072】

光センサ１３２のそれぞれは、プロセッサに通信可能に連結（例えば、ワイヤレスに連結、又は１つ若しくは複数の電気ワイヤ若しくはケーブルによって連結）でき、動作時、信号（例えば、検知した放射照度を示す１つ又は複数の信号）をプロセッサに又はプロセッサから伝達し得る。プロセッサは、例えば、検知した放射照度の直接成分及び分散成分の決定、取得した画像の受信、検知した放射照度の決定された直接成分及び分散成分並びに取得した画像に基づく標的物体の反射率の決定、情報の記憶、又は情報を記憶させる、情報の相関、放射照度検知デバイス１３０の向き、ナビゲーション機能等の決定を含む、本明細書に記載の機能のいずれかを実施するように構成し得る。

【0073】

いくつかの実施形態では、本開示は、構造体と、構造体に連結される複数の光センサとを含むデバイスを提供する。光センサは、互いに対して様々な検知向きを有し、光センサのそれぞれは、使用に際し、複数の検知向きのそれぞれの向きで放射照度を受ける。様々な検知向きは、少なくとも５つの様々な検知向きを含む。いくつかの実施形態では、光センサは、様々な検知向きで配置される検知面を有する。いくつかの実施形態では、ハウジングは、様々な検知向きを有する複数の面を有し、光センサは、これらの表面上に入射する光を受ける。いくつかの実施形態では、ハウジングは、半球形状又は球形状を有することができ、光は、複数の様々な検知向きでハウジング上に入射し、複数の光センサは、半球状又は球状ハウジングの様々な部分上に入射する光を受ける。

【0074】

光センサの検知向きは、任意の基準点に対する角度又は位置の点で互いに異なり得る。例えば、検知向きは、基準点に対して様々な角度を有し得る。基準点は、例えば、光センサ１３２が取り付けられる構造体の中心から測定し得る。光センサ１３２のそれぞれは、特定の表面積又は領域（例えば、デバイス１３０の上筐体１３３内の開口の表面積）で入射する光を受けるように構成し得る。熱画像センサ１１０、スペクトル画像センサ１２０、パンクロマチック画像センサ１２４及び任意の放射照度検知デバイス１３０によって生成されるデータの量は、かなり相当である場合があり、そのような多量のデータを有用な出力（例えば、標的又は標的の部分の推定温度を示す標的の画像、標的の推定条件を示す画像等）に変えるのに関連する処理、メモリ及び電力の要件は、同様にかなり相当であることがある。処理は、熱画像と、スペクトル画像と、パンクロマチック画像センサ１２４と、自由稼働の熱画像撮影デバイス１１０との間の解像度及び視野の差によって複雑化することがある。

【0075】

処理オーバーヘッドを低減する１つの方式は、熱画像撮影デバイス１１０によって生成される熱画像４０４の大部分を捨てることである。例えば、スペクトル画像４０６及びパンクロマチック画像４０３の各取込みに関し、１つの熱画像４０４を取り込み、熱画像４０４の残りを捨て得る。図５及び図６を参照すると、スペクトル画像４０６及びパンクロマチック画像４０３と同時に取り込まれた熱画像４０４のみをメモリ６０４に保存し得る。このことにより、センサ１１２のメモリ要件を低減し、データを有用な出力に変えることに関係する処理要件を低減し得る。しかし、熱情報の解像度は、熱画像４０４の一部を捨てることによって低減する。

【0076】

処理オーバーヘッドを低減する別の方式は、スペクトル画像４０６の処理のために保存、使用されるスペクトル画像４０６からの情報量（例えば、ＤＳＭの生成に使用される情報量）を制限することである。スペクトル画像４０６において、画像４０６の中心部分内のデータが最も有用であるという仮定に基づいて、画像４０６の中心部分からのデータのみを保存し得る。図８は、この概念を示す。画像４０６の領域４０８内のデータは、保存し得、領域４０８の外側のデータは破棄し得る。領域４０８のサイズは、ナイキスト定理に基づき決定し得る。データの最良部のみを保存すると、メモリ要件を低減し、スペクトル画像取込みサイクル時間も減少し得る。したがって、図８のスペクトル画像４０６において、標的Ａ４１０のデータを保存し得る。しかし、標的Ｂ４１２のデータ及び標的Ｃ４１４のデータは失われ、ＤＳＭの精度、及び標的条件マップ等の任意の使用可能な出力情報の解像度を低減させることがある。スペクトル画像データの全て又は領域４０８内のデータより多いスペクトル画像データがＤＳＭの生成のために記憶、使用される場合、標的のオーバーサンプリングが促進され、スペクトル画像内の空間重複のために、より高い解像度画像をもたらす。例えば、標的Ｂ４１２及び標的Ｃ４１４に関連するデータは、スペクトル画像のより多くから入手可能である。

【0077】

熱画像撮影デバイス１１０が自由稼働であるために、熱画像撮影デバイス１１０の１つ又は複数によって取り込まれる熱画像４０４は、スペクトル画像撮影デバイス１２０の１つ又は複数及びパンクロマチック画像撮影デバイス１２４の１つ又は複数によって取り込まれるスペクトル画像４０６及びパンクロマチック画像４０３と同期されない。このことは、熱画像データをスペクトル画像データと組み合わせる際にＤＳＭを生成する複雑さを増大させる。

【0078】

この複雑さの増大を避けるため、スペクトル画像撮影デバイス１２０によるスペクトル画像４０６の取込みは、熱画像撮影デバイス１１０の熱画像の取込み及びパンクロマチック画像撮影デバイス１２４によるパンクロマチック画像の取込みに同期し得る。このことは、熱画像の全ての取込み、並びにスペクトル画像及びパンクロマチック画像のデータのより多くの使用を促進し得、これにより、スペクトル画像、熱画像及びパンクロマチック画像モデル化のためのオーバーサンプリングを促進する。同期は、例えば、スペクトル画像撮影デバイス１２０の取込みサイクル時間、熱画像撮影デバイス１１０の取込みサイクル時間、及びパンクロマチック画像撮影デバイス１２４の取込みサイクルに基づき得る。スペクトル画像取込みサイクル、熱画像取込みサイクル及びパンクロマチック画像取込みサイクルに基づき、熱画像撮影デバイス１１０のサイクル回数ｎを決定し得、スペクトル画像撮影デバイス１２０による画像の取込みは、熱画像撮影デバイスのｎ回のサイクルごとにトリガし得、パンクロマチック画像撮影デバイス１２４による画像の取込みは、スペクトル画像撮影デバイス１２０と共に熱画像撮影デバイスのｎ回のサイクルごとにトリガし得る。スペクトル画像取込みデバイス１２０及びパンクロマチック画像取込みデバイス１２４は、毎秒１枚の画像フレームを取り込み得、熱画像取込みデバイス１１０は、毎秒９枚の画像を取り込み得る。したがって、そのような場合、ｎは９に設定し得る。

【0079】

１つ又は複数のスペクトル画像撮影デバイス１２０及び１つ又は複数のパンクロマチック画像撮影デバイス１２４が１つ又は複数の熱画像撮影デバイス１１０に同期される場合、スペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４の最も遅い画像取込みサイクル時間は、熱画像撮影デバイス１１０のサイクル回数ｎを決定するために使用でき、熱画像撮影デバイス１１０のサイクル回数ｎは、１つ若しくは複数のスペクトル画像撮影デバイス１２０又は１つ若しくは複数のパンクロマチック画像撮影デバイス１２４によるスペクトル画像４０６の取込み又はパンクロマチック画像４０３の取込みをトリガするのに使用される。熱画像撮影デバイス１１０のサイクル回数ｎによって取り込まれるスペクトル画像４０６、熱画像４０４及びパンクロマチック画像４０３の互いに対する同期を促進するため、１つ若しくは複数のスペクトル画像撮影デバイス１２０及び１つ若しくは複数のパンクロマチック画像撮影デバイス１２４による共通シャッタを採用し得るか、又はスペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４は、高速シャッタを採用し得る。このことは、回復時間が重複するスペクトル画像センサ及びパンクロマチック画像センサを促進する。共通シャッタは、熱画像撮影デバイス１１０、スペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４アレイのそれぞれの各センサのタイミングを制御する処理コア６０２によって促進し得る。

【0080】

１つ又は複数のスペクトル画像撮影デバイス１２０及び１つ又は複数のパンクロマチック画像撮影デバイス１２４が１つ又は複数の熱画像撮影デバイス１１０に同期される場合、熱画像撮影デバイス１１０の最も遅い画像取込みサイクル時間は、熱画像撮影デバイス１１０のサイクル回数ｎを決定するために使用でき、熱画像撮影デバイス１１０のサイクル回数ｎは、１つ又は複数のスペクトル画像撮影デバイス１２０及び１つ又は複数のパンクロマチック画像撮影デバイス４０３によるスペクトル画像４０６及びパンクロマチック画像４０６の取込みをトリガするのに使用される。熱画像撮影デバイス１１０は、互いに同期し得、共通熱画像サイクル時間は、サイクル回数ｎ等を決定するために使用し得る。

【0081】

スペクトル画像撮影デバイス１２０の１つ又は複数及びパンクロマチック画像撮影デバイス１２４の１つ又は複数によるスペクトル画像４０６及びパンクロマチック画像４０３の取込みと、１つ又は複数の熱画像撮影デバイス１１０による熱画像４０４の取込みとの同期は、ＤＳＭを生成する複雑さ、並びにＤＳＭを生成するためにより多くのデータ（熱画像４０４の全て、スペクトル画像４０６内のデータの全て又はより多く、及びパンクロマチック画像４０３内のデータの全て又はより多く等）を使用する複雑さの低減を促進する。したがって、スペクトル画像４０６及びパンクロマチック画像４０３の取込みと熱画像４０４の取込みとの同期は、スペクトル画像データのより多く及びパンクロマチック画像データのより多くを使用する能力、並びにより多くの熱画像を使用する能力を促進することによって、標的のオーバーサンプリングを促進し、より高速の処理のため、ＤＳＭを生成するために遠隔サーバにデータを送信する代わりに、空中車両の処理リソース（例えば、センサ１１２の処理コア６０２及びメモリ６０４）を使用してＤＳＭを生成することも促進し得る。モデル化精度の増大により、信号のノイズの低減だけでなく、より高い解像度及びより明瞭な測定結果の提供を促進する。ノイズの低減及びＤＳＭ生成のより明瞭な結果の提供には、何らかのトレードオフがある場合がある。

【0082】

図９は、熱画像、スペクトル画像及びパンクロマチック画像を生成、取り込み、同期し、これらの画像を使用して、畑等の標的領域のデジタル表層モデルを生成する一例示的工程９００を示すフロー・チャートである。工程９００は、例えば、図１の空中車両１００又は図１～図３及び図６のセンサ１１２によって実施し得る。

【0083】

９０２において、工程９０２は、１つ又は複数の制御変数、又は計数器等のデバイスを初期化し、工程９００は９０２から９０４に進む。９０４において、工程９００は、図６の熱画像撮影デバイス１１０等の熱画像撮影デバイスを使用して熱画像を取り込む熱画像取込みサイクルを実行する。いくつかの実施形態では、更なる熱画像撮影デバイスを使用して、９０４の熱画像取込みサイクルの間に更なる熱画像を取り込み得る。９０４における熱画像取込みサイクル中の熱画像の取込みは、同期し得る。工程９００は、９０４から９０６に進み、制御変数又は計数器は、９０４における熱画像取込みサイクルの発生を反映するように更新又は増分される。工程は、９０６から９０８に進む。

【0084】

９０８において、工程９００は、１つ又は複数の熱画像の次の取込みサイクルと、１つ又は複数のスペクトル画像及び１つ又は複数のパンクロマチック画像の取込みサイクルとを同期すべきかどうかを決定する。図示のように、このことは、例えば、計数器の値と閾値（例えば、ｎ－１）との比較によって、熱画像取込みサイクルの閾値数に達しているかどうかの決定により行われる。

【0085】

９０８において、１つ又は複数の熱画像の次の取込みサイクルと、１つ又は複数のスペクトル画像及び１つ又は複数のパンクロマチック画像の取込みサイクルとを同期すべきかどうかが決定されると、工程９００は９１０に進む。９０８において、１つ又は複数の熱画像の次の取込みサイクルと１つ又は複数のスペクトル画像の取込みサイクルとを同期すべきではないことが決定されると、工程９００は９０４に戻り、別の熱画像取込みサイクルを実行する。

【0086】

９１０において、工程は、熱画像取込みサイクルの実行と、スペクトル画像取込みサイクル及びパンクロマチック画像取込みサイクルの実行とを同期する。対応する熱画像撮影デバイス（複数可）を使用する１つ又は複数の熱画像（複数可）の取込みは、１つ又は複数のスペクトル画像撮影デバイス（複数可）による１つ又は複数のスペクトル画像（複数可）の取込みと同期され、１つ又は複数のパンクロマチック画像撮影デバイス（複数可）による１つ又は複数のパンクロマチック画像（複数可）の取込みと同期される。このことは、例えば、熱画像取込みサイクルのトリガ時間と同時に、又はこの閾値時間期間以内に、１つ又は複数のスペクトル画像撮影デバイス及び１つ又は複数のパンクロマチック画像撮影デバイスの１つ又は複数のシャッタをトリガすることによって行い得る。工程９００は、９１０から９１２に進み、制御変数又は計数器をリセットする。工程９００は、９１２から９１４に進む。

【0087】

９１４において、工程９００は、画像データの収集を継続すべきかどうかを決定する。この工程９００は、制御信号、閾値時間期間、バッファ状況、決定された取得スケジュール等に基づき、画像データの収集を継続すべきかどうかを決定し得る。９１４で画像データの収集の継続を決定すると、工程９００は９０４に戻る。９１４で画像データの収集を継続しないことを決定すると、工程９００は９１４から９１６に進む。

【0088】

９１６において、工程９００は、図６のセンサ１１２の画像撮影デバイス等の熱画像撮影デバイス、スペクトル画像撮影デバイス及びパンクロマチック画像撮影デバイスによって取り込まれ、同期された熱画像、スペクトル画像及びパンクロマチック画像を使用してＤＳＭを生成する。ＤＳＭは、例えば、図１～図３及び図６のセンサ１１２、空中車両１００（例えば、センサ１１２とは個別の空中車両１００の処理コア）を使用して、遠隔サーバ（図示せず）及びそれらの様々な組合せによって生成し得る。図１～図３及び図６を参照すると、同期される画像は、空中車両１００が注目領域の上を飛行する際に取り込まれる。複数の画像は、複数の角度から取り込まれる。

【0089】

ＤＳＭは、同期されるマルチスペクトル画像及びパンクロマチック画像内に含まれる高解像度特徴から生成される。写真測量技法は、スペクトル画像及びパンクロマチック画像からの形状情報を抽出し、特徴を識別するために使用し得る。例えば、較正情報、特徴検出等を使用して、レンズの歪み及び画像の整合を考慮する技法を採用し得る。マルチスペクトル画像及びパンクロマチック画像からのデジタル表層モデルの使用及びポーズの推定、並びに、事前又は事後の相対的な角度情報により、同期され、同時に熱画像を取り込む熱イメージャ１１０のポーズを推定し得る。このことは、より低い空間サンプリング周波数を伴う熱画像を使用してＤＳＭを洗練することを促進する。ＤＳＭ、ポーズ及びカメラ熱モデル情報は、熱イメージャの熱画素の解像度より高い解像度でデジタル表層モデル上の各点の温度を推定するために使用し得る。画像内の各画素の放射分析応答は、画素に基づく物体の放射率をモデル化するために使用し得る。放射率情報は、それぞれ整合された熱画素を較正し、当該点における表面温度の温度推定を抽出するために使用し得る。例えば、温度推定は、ルックアップ・テーブルから抽出し得る。パンクロマチック情報は、各熱画素及び各スペクトル画素と、パンクロマチック画像内の適切な点とを正確に整合し、パンクロマチック画像を利用せずに熱画像及びスペクトル画像のみを利用して生成したＤＳＭと比較してより正確なＤＳＭを提供するために使用し得る。

【0090】

図９の工程９００の実施形態は、図示より多くの行為を含み得る、図示より少ない行為を含み得る、図示の行為を複数の行為に分離し得る、図示の行為をより少ない行為に結合し得る、図示の行為を様々な順序で実施し得る。様々な順序は、図示の行為を並行して又は反復工程を使用して実施することを含み得る。例えば、工程９００の一実施形態では、画像取込みサイクルを実行する間、並行工程を採用してＤＳＭ又は複合出力画素マップを同時に生成又は更新し得る。別の例では、ＤＳＭの生成は、反復工程とすることができ、画像は、ＤＳＭに基づき再処理され、ＤＳＭは、再処理された画像に基づき更新される。別の例では、ＤＳＭは、空中車両が着陸し、記憶されたデータが処理のために遠隔サーバに転送された後、遠隔サーバ内で生成し得る。いくつかの実施形態では、ＤＳＭは、空中車両上で生成され、他の実施形態では、ＤＳＭは、飛行後、空中車両とは個別の処理デバイス上で生成される。

【0091】

いくつかの実施形態では、複合画素マップは、熱画像、スペクトル画像及びパンクロマチック画像からのデータに基づき得る。例えば、スペクトル画像及びパンクロマチック画像は、ＤＳＭの生成のために使用し得、スペクトル画像は、画素の放射率を推定するために使用し得る。この場合、熱情報は、複合画素マップに関する画素の基礎をなす値を提供し得る。パンクロマチック画像は、スペクトル画像及び熱画像の画素の配置を照合し、複合画素マップの画素に関する熱情報及びスペクトル情報のより正確な配置を提供するために利用し得る。

【0092】

別の例では、工程９００は、図１及び図７の放射照度検知デバイス１３０等の１つ又は複数の放射照度検知デバイスを使用して、背景放射照度データを取り込むように修正し得る。放射照度データの取込みは、例えば、各熱画像取込みサイクル、それぞれが同期された熱画像取込みサイクル及びスペクトル画像取込みサイクル等と同期し得る。ＤＬＳは、光路の角度及び拡散率の両方を測定し、得られた半球状入射放射照度モデルは、上空温度を測定するために使用する。推定された上空温度は、放射率、上空温度及び測定された画素温度を使用して、表面温度測定値を修正するために使用し得る。上空の放射照度の測定は、温度のより正確な推定を促進する。というのは、この測定は、表面が放出する放射線のどの部分が反射されているかを示し、したがって、表面材料のより良好な推定を可能にするためである。上空温度は、測定温度から減算し得る。例えば、スズの屋根の放射率は、反射率曲線により推定し得、反射率と放射率と上空温度との関係に基づくルックアップ・テーブルは、温度の推定のために使用し得る。放射率の推定は、上空温度に基づき修正し得、次に、熱情報を修正し得る。このことは、画素ごとの基準で行い得る。ドローンは、衛星より地面に近く、衛星を利用して取り込まれるスペクトル画像及びパンクロマチック画像より大きな画素を有し、これにより、ＤＳＭ上に投影されるより正確な温度及びＤＳＭ内の画素のより正確な配置の提供を更に促進し得る。

【0093】

別の例では、工程９００は、図６のＩＭＵ６１０等の１つ又は複数のＩＭＵを使用して慣性運動データを取り込み、慣性運動データを使用し、図６の熱画像撮影デバイス１１０によって取り込まれる熱画像等、センサによって取り込まれる画像のポーズを推定するように修正し得る。慣性運動データの取込みは、例えば、各熱画像取込みサイクル、それぞれ同期された熱画像取込みサイクル、スペクトル画像取込みサイクル及びパンクロマチック画像取込みサイクル等と同期し得る。熱カメラによって取り込まれる各連続熱画像のポーズは、可視カメラから同期された取込みから得られたポーズを使用することによって推定し得る。ＩＭＵがジャイロスコープを含む場合、ジャイロスコープは角度情報の変更をもたらし得、変更された角度情報は、隣接する画像のセットに対して統合し得る。ＩＭＵが加速度計を含む場合、加速度計は位置情報の変更をもたらし得、変更された位置情報は、典型的には、隣接する画像のセットに対して統合されることはない。ＩＭＵデータは、フレーム間のポーズ変化を決定するために使用し得、写真測量又は画像整合は、可視画像のポーズ変化及び絶対ポーズを決定するために使用し得る。

【0094】

図１０を参照すると、同期された画像取込みサイクル４２０は、標的のスペクトル画像４０６及びパンクロマチック画像４０３を取り込み、標的のスペクトル画像４０６及びパンクロマチック画像４０３は、標的の熱画像４０４の取込みと同期される。後続の画像取込みサイクル４２２及び４２４は、標的のそれぞれの熱画像４０４を取込み、次に、同期された画像取込みサイクル４２６は、標的のスペクトル画像４０６及びパンクロマチック画像４０３を取り込み、標的のスペクトル画像４０６及びパンクロマチック画像４０３は、標的の熱画像４０４と同期される。画像取込みサイクル４２２及び４２４が実行される際の熱画像撮影デバイス１１０に対する標的４０２のポーズ（位置及び向き）又は標的４０２上の点は、画像取込みサイクル４２０の間のＩＭＵデータ及びポーズの推定に基づき推定し得る。一実施形態では、サイクル４２２及び４２４で推定されるポーズは、サイクル４２６の間のポーズ推定にも基づき得る。一実施形態では、ＧＰＳ情報等、他の位置情報も考慮し得る。一実施形態では、一連の熱画像内の画像の熱画像データは、熱画像の解像度がより低いために、スペクトル画像データを考慮する前、画像取込みサイクル４２２及び４２４で取り込まれた画像のポーズを推定するために適用し得る。次に、ポーズの推定を更に洗練することが望ましい場合、（オーバーサンプリングされた）スペクトル画像データを適用し得る。測定におけるノイズの低減及びポーズの推定における信号解像度の改善には何らかのトレードオフがある場合がある。

【0095】

ＤＳＭ、センサによって収集されるデータ（例えば、スペクトル画像、熱画像、パンクロマチック画像、任意の放射照度データ、任意の加速度計データ等）、外部データ又は公知のデータ（例えば、ＧＰＳデータ、飛行経路等）は、ＤＳＭに基づき生成された複合出力マップの画素を特徴付けるのに使用し得る。取り込まれた画像は、カメラ位置情報に基づきＤＳＭ上に投影される。１つの点に関する情報は、複数の画像によって複数の角度から投影される。出力マップの画素は、例えば、土、日陰、植物等として特徴付け得る。出力画素マップは、例えば、温度情報と共に使用し、対処する必要があり得る問題を特定し得る。

【0096】

例えば、出力マップの分類された画素を使用すると、土の温度又は日陰の温度が周囲の土又は日陰領域とは統計的に異なり、これらより低い領域は、かんがいの漏水が生じている領域を示し得る。別の例では、高解像度スペクトル画像、温度情報及び高解像度パンクロマチック画像は、畑内のブドウの木等の衰弱した植物を識別するために使用し得る。例えば、人間の目は、植物がストレスを受けた１４日後にストレスを検出し得る。一実施形態では、オーバーサンプリングを使用する高解像度スペクトル画像は、ストレスが生じた５～６日以内に植物のストレスを検出し得る。検出時間フレームは、熱マッピングと組み合わせると、より一層低減し得る。一実施形態では、オーバーサンプリングされた熱マッピングは、摂氏０．５度の温度変化を測定し得る。

【0097】

いくつかの実施形態は、コンピュータ・プログラム製品の形態を取るか、又はコンピュータ・プログラム製品を備え得る。例えば、一実施形態によれば、上述した方法又は機能の１つ又は複数の実施に適合するコンピュータ・プログラムを備えるコンピュータ可読媒体が提供される。媒体は、例えば、読取り専用メモリ（ＲＯＭ）チップ、又はデジタル多用途ディスク（ＤＶＤ－ＲＯＭ）、コンパクト・ディスク（ＣＤ－ＲＯＭ）、ハードディスク等のディスク、メモリ、ネットワーク、又は適切なドライブによって若しくは適切な接続を介して読み取られる可搬媒体物品等、１つ若しくは複数のバーコード又は他の関連コード内で符号化される媒体を含む物理的記憶媒体とすることができ、１つ若しくは複数のバーコード又は他の関連コードは、１つ又は複数のそのようなコンピュータ可読媒体上に記憶され、適切な読取りデバイスによって読取り可能である。

【0098】

更に、いくつかの実施形態では、方法及び／又は機能の一部又は全部は、少なくとも部分的等の他の様式で、限定はしないが、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ、ディスクリート回路、論理ゲート、標準的な集積回路、（例えば、適切な命令の実行による、マイクロコントローラ及び／又は埋込み型コントローラを含む）コントローラ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、複雑プログラマブル論理デバイス（ＣＰＬＤ）等を含むファームウェア及び／又はハードウェア等、及びＲＦＩＤ技術を採用するデバイス、並びにそれらの組合せにおいて、実装又は提供し得る。

【0099】

本開示の実施形態は、デバイスを含み、デバイスは、動作時、一連の熱画像を取り込む一連の熱画像取込みサイクルを実行する熱画像撮影回路と、動作時、一連のスペクトル画像を取り込む一連のスペクトル画像取込みサイクルを実行するスペクトル画像撮影回路と、動作時、一連のパンクロマチック画像を取り込む一連のパンクロマチック画像取込みサイクルを実行するパンクロマチック画像撮影回路とを含む。デバイスは、熱画像撮影回路、スペクトル画像撮影回路及びパンクロマチック画像撮影回路に連結される制御回路を含み、制御回路は、動作時、スペクトル画像撮影回路によるスペクトル画像取込みサイクルの実行、及びパンクロマチック画像撮影回路によるパンクロマチック画像取込みサイクルの実行、及び熱画像撮影回路による熱画像取込みサイクルの実行を同期する。これらは、全て、互いに対して固定位置で空中車両上に含め得る。

【0100】

デバイスは、１つ又は複数の更なるスペクトル画像撮影回路と、１つ又は複数の更なるパンクロマチック画像撮影回路とを含み、制御回路は、動作時、１つ又は複数の更なるスペクトル画像撮影回路によるスペクトル画像取込みサイクルの実行と、熱画像撮影回路による熱画像取込みサイクルの実行とを同期し、制御回路は、動作時、１つ又は複数の更なるパンクロマチック画像撮影回路によるパンクロマチック取込みサイクルの実行と、熱画像撮影回路による熱画像取込みサイクルの実行とを同期する。スペクトル画像回路と１つ又は複数の更なるスペクトル画像回路とを含むデバイスは、共通のシャッタを有する。制御回路は、動作時、一連のスペクトル画像に基づくデジタル表層モデルを生成する、又は一連の熱画像に基づくデジタル表層モデルを生成する。

【0101】

他の変形形態では、制御回路は、動作時、デジタル表層モデルに基づき注目領域の複合画素マップを生成する。制御回路は、動作時、複合画素マップに基づき衰弱した植物を識別する。衰弱した植物は、葉の色、温度及びサイズ及び成長等、様々な植物特性から識別し得る。

【0102】

制御回路は、動作時、複合画素マップ内の画素又は画素群の温度を推定し得る。制御回路は、動作時、複合画素マップ及び推定した温度に基づき画素の状態を推定する。更に、制御回路は、動作時、複合画素マップ及び推定した温度に基づく植物特性を識別する。デバイスは、第１の面と、第１の面の反対の第２の面とを有する空中車両とすることができ、空中車両は、第１の面上に放射照度検出デバイスを含み、第２の面上に熱画像撮影デバイス及びスペクトル画像撮影デバイスを含む。実施形態では、制御回路は、スペクトル画像取込みサイクルと２回ごとの熱画像取込みサイクルとを同期する。制御回路は、動作時、推定された画素の状態に基づき、かんがいの漏水と一致する状態を識別する。

【0103】

他の実施形態では、本開示は、方法に関し、方法は、熱画像撮影デバイスによる、一連の熱画像を取り込む一連の熱取込みサイクルを実行することと、スペクトル画像撮影デバイスによる、一連のスペクトル画像を取り込むスペクトル画像取込みサイクルの実行と熱画像撮影デバイスによる熱画像取込みサイクルの実行とを同期することと、パンクロマチック画像撮影デバイスによる、一連のパンクロマチック画像を取り込むパンクロマチック画像取込みサイクルの実行と、熱画像撮影デバイスによる、熱画像取込みサイクルの実行とを同期することと、一連のスペクトル画像及び一連のパンクロマチック画像に基づき注目領域のデジタル表層モデルを生成することとを含む。方法は、複数のスペクトル画像撮影デバイスによるスペクトル画像取込みサイクルの実行と、熱画像撮影回路による熱画像取込みサイクルの実行とを同期することを含む。デジタル表層モデルは、一連の熱画像に基づく。方法は、デジタル表層モデルに基づき注目領域の複合画素マップを生成することも含み、複合画素マップに基づき、衰弱した植物を識別し得る。

【0104】

方法は、複合画素マップ内の画素又は画素群の温度を推定することを含む。方法は、複合画素マップ及び推定した温度に基づき画素の状態を推定することを含む。方法は、画素占有マップ及び推定した温度に基づき、かんがいの漏水を識別することも含む。実施形態では、方法は、一連の熱画像に応答して、熱データをデジタル表層モデル上に投影することを含む。方法は、一連の熱画像、一連のスペクトル画像及び一連のパンクロマチック画像を記憶し得、一連の熱画像の数は、一連のスペクトル画像の数及び一連のパンクロマチック画像の数より多い。

【0105】

他の実施形態は、スペクトル画像の第１の画像、及びパンクロマチック画像の第１の画像、並びにスペクトル画像の第２の画像、及びパンクロマチック画像の第２の画像内で物体を識別することと、スペクトル画像及びパンクロマチック画像の第１の画像に関連する最初の場所情報、並びスペクトル画像及びパンクロマチック画像の第２の画像に関連する第２の場所情報を識別することと、第１の場所情報及び第２の場所情報を伴うスペクトル画像及びパンクロマチック画像の少なくとも第１の画像及び第２の画像からデジタル表層モデルを生成することとを含む。方法は、スペクトル画像及びパンクロマチック画像の第１の画像及び第２の画像の取込み時間と、一連の熱画像の熱画像とを関連付けることによって、一連の熱画像の少なくとも２枚の熱画像内の物体を識別することと、各熱画像に関する物体の測定値を識別することと、各熱画像に関する物体の測定値をデジタル表層モデル上に投影することとを含み得る。

【0106】

別の実施形態は、空中車両上の熱画像撮影デバイスから複数の熱画像を取り込むことであって、取込みは、第１の取込み頻度を有する、取り込むことと、空中車両上のスペクトル画像撮影デバイスから複数のスペクトル画像を取り込むことであって、取込みは、第１の取込み頻度より少ない第２の取込み頻度を有する、取り込むことと、空中車両上のパンクロマチック画像撮影デバイスからパンクロマチック画像を取り込むことであって、取込みは、第２の取込み頻度を有する、取り込むことと、スペクトル画像撮影デバイスのシャッタ及びパンクロマチック画像撮影デバイスのシャッタと熱画像撮影デバイスのシャッタとを第２の取込み頻度で同期することと、複数のスペクトル画像及び複数のパンクロマチック画像に基づき、撮影された環境の深度情報及び場所情報を表すデジタル表層モデルを生成することとを含む。方法は、複数のスペクトル画像及び複数のパンクロマチック画像において、撮影された物理的物体を識別することによって、デジタル表層モデルの高解像度熱オーバーレイを生成することであって、物理的物体の深度情報は、デジタル表層モデル内の点として提示される、生成することと、第１の取込み頻度と同期された第２の取込み頻度とを整合することによって、複数の熱画像のサブセットを識別することと、複数の熱画像のサブセット内の物体を識別することと、複数の熱画像のサブセット内の物体に関する複数の熱情報データ測定値を識別することと、複数の熱情報データ測定値をデジタル表層モデル内の物体に関連する点上に投影することとを含む。

【0107】

本開示は、デバイスにも関し、デバイスは、動作時、一連の熱画像を取り込む一連の熱画像取込みサイクルを実行する熱画像撮影回路と、動作時、一連のスペクトル画像を取り込む一連のスペクトル画像取込みサイクルを実行するスペクトル画像撮影回路と、動作時、一連のパンクロマチック画像を取り込む一連のパンクロマチック画像取込みサイクルを実行するパンクロマチック画像撮影回路と、動作時、デバイスの相対運動を示すデータを生成する慣性運動検知回路と、熱画像撮影回路、スペクトル画像撮影回路、パンクロマチック画像撮影回路及び慣性運動検知回路に連結される制御回路とを含む。制御回路は、動作時、スペクトル画像撮影回路によるスペクトル画像取込みサイクルの実行を同期し、パンクロマチック画像撮影回路によるパンクロマチック画像取込みサイクルの実行と、熱画像撮影回路による熱画像取込みサイクルの実行とを同期し、デバイスの相対運動を示すデータに基づき、一連の熱画像の熱画像のポーズを推定する。

【0108】

慣性運動検知回路は、加速度計又はジャイロスコープとし得る。制御回路は、動作時、一連のスペクトル画像に基づきデジタル表層モデルを生成する。制御回路は、動作時、一連のパンクロマチック画像に基づきデジタル表層モデルを生成する。制御回路は、動作時、一連の熱画像に基づきデジタル表層モデルを生成する。制御回路は、動作時、熱画像の推定したポーズに基づきデジタル表層モデルを生成する。

【0109】

代替実施形態は、方法に関し、方法は、熱画像撮影デバイスによって、一連の熱画像を取り込む一連の熱取込みサイクルを実行することと、スペクトル画像撮影デバイスによる、一連のスペクトル画像を取り込むスペクトル画像取込みサイクルの実行と、熱画像撮影デバイスによる、熱画像取込みサイクルの実行とを同期することと、パンクロマチック画像撮影デバイスによる、一連のパンクロマチック画像を取り込むパンクロマチック画像取込みサイクルの実行と、熱画像撮影デバイスによる熱画像取込みサイクルの実行とを同期することと、慣性運動センサにより慣性運動データを取り込むことと、取り込まれた慣性運動データに基づき一連の熱画像内の熱画像のポーズを推定することと、一連のスペクトル画像及び一連のパンクロマチック画像に基づき注目領域のデジタル表層モデルを生成することとを含む。熱画像撮影デバイス、スペクトル画像撮影デバイス及び慣性運動センサは、空中デバイス上で互いに対して固定される。方法は、熱画像撮影デバイス、スペクトル画像撮影デバイス及びパンクロマチック画像撮影デバイスにより、領域についての深度情報、場所情報及び熱情報を取り込むことを含む。方法は、一連のスペクトル画像及び一連のパンクロマチック画像内の領域から物体を識別することと、一連のスペクトル画像及び一連のパンクロマチック画像に基づき、物体を表す点をデジタル表層モデル上に生成することと、物体に関連する一連の熱画像から複数の熱測定値を生成することと、デジタル表層モデル上の点上に複数の熱測定値のそれぞれを投影することとを更に含む。

【0110】

方法は、慣性測定データと各熱画像とを関連付けることによって、一連の熱画像からの複数の熱測定値を相関させることを更に含む。方法は、慣性測定データによりフレーム間の場所情報を取り込むことと、フレーム間の場所情報と一連の熱画像の各熱画像とを相関させることを更に含み得る。

【0111】

別の実施形態は、デバイス又は無人空中車両であり、デバイス又は無人空中車両は、動作時、一連の熱画像を取り込む一連の熱画像取込みサイクルを実行する熱画像撮影回路と、動作時、一連のスペクトル画像を取り込む一連のスペクトル画像取込みサイクルを実行するスペクトル画像撮影回路と、動作時、一連のパンクロマチック画像を取り込む一連のパンクロマチック画像取込みサイクルを実行するパンクロマチック画像撮影回路と、熱画像撮影回路、スペクトル画像撮影回路及びパンクロマチック画像撮影回路に連結される制御回路とを含むデバイスにも関する。制御回路は、動作時、背景温度を示す放射照度データを収集し、スペクトル画像撮影回路及びパンクロマチック画像撮影回路のそれぞれによるスペクトル画像取込みサイクル及びパンクロマチック画像取込みサイクルの実行と、熱画像撮影回路による熱画像取込みサイクルの実行とを同期し、一連のスペクトル画像及び一連のパンクロマチック画像に基づき、デジタル表層モデルを生成し、標的の放射率を推定し、一連の熱画像、背景温度を示す放射照度、及び推定された標的の放射率に基づき、デジタル表層モデルの画素の温度を推定する。

【0112】

放射照度検知回路は、複数の光センサを含む。複数の光センサは、光源からの放射照度を同時に検知するように構成され、光源は太陽である。放射照度検知回路は、動作時、背景温度を示す放射照度データを検知する。制御回路は、環境条件に基づく放射照度モデルから放射照度データを収集する。制御回路は、一連のスペクトル画像に基づく放射照度モデルから放射照度データを収集する。制御回路は、一連の熱画像に基づく放射照度モデルから放射照度データを収集する。制御回路は、一連のパンクロマチック画像に基づく放射照度モデルから放射照度データを収集する。制御回路は、一連のスペクトル画像及び一連の熱画像に基づく放射照度モデルから放射照度データを収集する。制御回路は、一連のスペクトル画像、一連の熱画像及び一連のパンクロマチック画像に基づく放射照度モデルから放射照度データを収集し得る。

【0113】

別の方法は、一連の熱画像取込みサイクルの実行によって、熱画像撮影回路により一連の熱画像を取り込むことと、一連のスペクトル画像取込みサイクルの実行によって、スペクトル画像撮影回路により一連のスペクトル画像を取り込むことと、一連のパンクロマチック画像取込みサイクルの実行によって、パンクロマチック画像撮影回路により一連のパンクロマチック画像を取り込むことと、熱画像撮影回路、スペクトル画像撮影回路及びパンクロマチック画像撮影回路に連結された制御回路により一連のスペクトル画像、一連の熱画像及び一連のパンクロマチック画像を処理することとを含む。処理は、背景温度を示す放射照度データを推定することと、スペクトル画像撮影回路及びパンクロマチック画像撮影回路のそれぞれによるスペクトル画像取込みサイクルの取込み及びパンクロマチック画像取込みサイクルの取込みと、熱画像撮影回路による熱画像取込みサイクルの取込みとを同期することであって、熱画像取込みサイクルの取込みは、スペクトル画像取込みサイクル及びパンクロマチック画像取込みサイクルより頻繁である、同期することと、一連のスペクトル画像及びパンクロマチック画像に基づき、デジタル表層モデルを生成することと、標的の放射率を推定することと、一連の熱画像、背景温度を示す放射照度データ、及び推定された標的の放射率に基づき、デジタル表層モデルの画素の温度を推定することとを含む。

【0114】

放射照度データを推定することを含む方法は、空中車両の第１の面上に配置される放射照度データ取込みデバイスにより放射照度データを取り込むことを含み、スペクトル画像撮影回路及び熱画像撮影回路は、空中車両の第１の面の反対の第２の面上に配置される。放射照度データを推定することを含む方法は、第１の方向に面して配置される放射照度データ取込みデバイスにより放射照度データを取り込むことを含み、スペクトル画像撮影回路及び熱画像撮影回路は、第１の方向とは異なる第２の方向に面して配置される。放射率の推定は、スペクトル画像から放射照度データを生成することを含む。放射率の推定は、熱画像から放射照度データを生成することを含む。放射率の推定は、スペクトル画像及び熱画像から放射照度データを生成することを含む。いくつかの実施形態では、パンクロマチック画像からのパンクロマチック・データは、放射照度データを生成するためにスペクトル画像及び熱画像と共に利用し得る。

【0115】

本開示は、方法も含み、方法は、熱画像撮影デバイスによる、一連の熱画像を取り込む一連の熱取込みサイクルを実行することと、スペクトル画像撮影デバイスによる、一連のスペクトル画像を取り込むスペクトル画像取込みサイクルの実行と、熱画像撮影デバイスによる、熱画像取込みサイクルの実行とを同期することと、パンクロマチック画像撮影デバイスによる、一連のパンクロマチック画像を取り込むパンクロマチック画像取込みサイクルの実行と、熱画像撮影デバイスによる、熱画像取込みサイクルの実行とを同期することと、背景温度を示す放射照度データを検知することと、一連のスペクトル画像及び一連のパンクロマチック画像に基づき注目領域のデジタル表層モデルを生成することと、標的の放射率を推定することと、一連の熱画像、背景温度を示す放射照度データ、及び推定した標的の放射率に基づきデジタル表層モデルの画素の温度を推定することとを含む。

【0116】

図１１は、マルチスペクトル画像１０００に関し、マルチスペクトル画像１０００は、空中車両１００が４００フィートの高度にある際のスペクトル画像撮影デバイス１２０によって取り込まれたスペクトル画像を利用して決定される。図１１に示すように、路上マーカ１００２は、マルチスペクトル画像１０００内に取り込まれている。これらの路上マーカ１００２は、約３インチの高さを有し得る。路上マーカ１００２は、概して、マルチスペクトル画像１０００内で識別可能であるが、より雑多な構成における個別の物体がマルチスペクトル画像内にある場合、プロセッサ又はユーザは、個別の物体から個々の物体を識別することが困難である可能性がある。実際、図１２に関して以下で説明するように、図１１に示す路上マーカ１００２のそれぞれは、実際、２つの個別の路上マーカを含む。トウモロコシ、リンゴ等の植物上の収穫物は、マルチスペクトル画像内のこれらの個別の物体がぼやけているために、識別がより困難である場合がある。

【0117】

図１２は、画像１００４に関し、画像１００４は、空中車両１００が高度４００フィートにある際、スペクトル画像撮影デバイス１２０によって取り込まれたスペクトル画像を利用して決定されたマルチスペクトル画像と、パンクロマチック画像撮影デバイス１２４によって取り込まれたパンクロマチック画像との照合によって、鮮明にされている。図１２に示されるシーンは、図１１に示されるものと同じシーンである。しかし、図１２に示される画像は、パンシャープン化マルチスペクトル画像として生成され、パンシャープン化マルチスペクトル画像は、本明細書の様々な実施形態で説明されるマルチスペクトル画像センサとパンクロマチック画像センサとを含む画像撮影デバイスによって取得されたものである。

【0118】

図１２に示すように、路上マーカ１００２は、パンシャープン化マルチスペクトル画像である画像１００４内に取り込まれており、パンクロマチック画像は、マルチスペクトル画像を鮮明にするために利用され、路上マーカ１００２は、図１１に示される路上マーカ１００２と比較して、より鮮明でより容易に識別可能である。このより明瞭でより識別可能な路上マーカ１００２により、プロセッサが、図１１に示される路上マーカ１００２と比較して画像１００４内の路上マーカの数をより容易に、より正確に精密に計数することを可能にする。実際、図１２からわかるように、図１１で認識できる路上マーカ１００２のそれぞれは、実際には、互いに極めて近接して配置された２つの個別の路上マーカ１００２を含む。近接して配置された対の路上マーカの２つの路上マーカ１００２のそれぞれは、図１２に示される画像に基づき明確に識別、計数し得る。この説明に鑑み、互いに部分的に重なる場合がある植物上の収穫物又はほ場内の植物等、個別の物体がより雑多な構成内にある場合、プロセッサは、より明瞭で鮮明な画像がプロセッサによって処理されるため、収穫物の数又は植物の数をより容易に計数し得る。スペクトル画像及びパンクロマチック画像の照合は、プロセッサが個別の物体（例えば、路上マーカ、樹木、植物、収穫物、トウモロコシ、リンゴ等）の数を計数し得る精度及び速度を改善する。

【0119】

例えば、個別の物体（例えば、路上マーカ、樹木、植物、収穫物、トウモロコシ、リンゴ等）は、計数方法の一実施形態によって計数でき、計数方法は、複数のスペクトル画像撮影デバイスにより複数のスペクトル画像を取り込むことと、パンクロマチック画像撮影デバイス１２４によりパンクロマチック画像を取り込むことと、熱画像撮影デバイス１１０により熱画像を取り込むこととを含む。スペクトル画像、パンクロマチック画像及び熱画像は、互いに同時に取り込み得る。スペクトル画像は、それ自体で、又は熱画像と共に利用し、計数すべき個別の物体が存在する領域のマルチスペクトル画像を決定し得る。次に、マルチスペクトル画像は、パンクロマチック画像撮影デバイス１２４によって取り込まれるパンクロマチック画像の利用によってパンシャープン化し得る。マルチスペクトル画像のパンシャープン化により、マルチスペクトル画像の解像度を向上させ、このため、プロセッサは、パンシャープン化マルチスペクトル画像内の個別の物体の数を直ちに容易に計数し得る。次に、プロセッサは、計数された個別の物体の数を表示器に出力し得る。この表示器は、個別の物体の数を計数するために空中車両１００を操作して領域を走査し得る個人が直ちに見られるものである。例えば、個人は、ほ場内の収穫物又は植物の数を計数するため、ほ場上に空中車両を飛行させ得る。代替的に、個人は、山林の領域内に存在する樹木の数を計数するため、山林上に空中車両１００を飛行させ得る。言い換えれば、空中車両１００は、センサ１１２と共に、センサ１１２を利用する空中車両１００によって走査すべき領域内の任意の数の個別の物体を計数するために利用し得る。

【0120】

図１３は、（例えば、緑色範囲内の波長を対象とするマルチスペクトル・イメージャによって取得し得る）緑色帯域の画像１００７を示し、左手側の画像は、７．７センチメートル／画素解像度である一方で、右手側の画像上の（例えば、パンクロマチック・イメージャによって取得し得る）パン帯域画像１００８は、４．０センチメートル／画素解像度である。緑色帯域画像である右手側の画像において、個人が解像度試験特徴部１００６（例えば、シーメンス・スター、スポーク・ターゲット、又は他のそのような光学機器による解像度試験特徴部）上にズームインした際、解像度試験特徴部１００６の細部は、容易に区別可能又は識別可能ではない。解像度試験特徴部１００６は、空中位置から取得される画像の解像度の試験又は較正に利用し得るマーカとし得る。代替的に、パン帯域画像は、パンクロマチック・イメージャによって取得されるパンクロマチック画像とし得るか、又はマルチスペクトル画像と１つ又は複数のパンクロマチック画像との照合（例えば、パンシャープン化）によって生成される画像とし得るが、このパン帯域画像の場合、解像度試験特徴部１００６の細部は、個人が特徴部１００６の色等の細部を表す黒い三角形及び黒い正方形をより容易に見られるため、容易に区別可能、識別可能である。このことにより、プロセッサは、小さな特徴部を分析する場合でさえ、緑色帯域画像と比較してパン帯域画像の解像度が増大するために、一層ますます複雑な機能を実施することが可能である。

【0121】

図１４は、グラフを示す図であり、グラフは、空中車両１００に組み付け得るセンサ１１２のスペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４の波長帯域を含む。スペクトル画像撮影デバイス１２０の第１のデバイスは、第１の波長帯域３０１を含む。スペクトル画像撮影デバイス１２０の第２のデバイスは、第２の波長帯域３０２を含む。スペクトル画像撮影デバイス１２０の第３のデバイスは、第３の波長帯域３０３を含む。スペクトル画像撮影デバイス１２０の第４のデバイスは、第４の波長帯域３０４を含む。スペクトル画像撮影デバイス１２０の第５のデバイスは、第５の波長帯域３０５を含む。パンクロマチック画像撮影デバイス１２４は、第６の帯域３００を含み、第６の帯域３００は、スペクトル画像撮影デバイス１２０の第１の帯域３０１、第２の帯域３０２、第３の帯域３０３、第４の帯域３０４及び第５の帯域３０５の全てに重なる。言い換えれば、パンクロマチック画像撮影デバイス１２４は、第１の帯域３０１、第２の帯域３０２、第３の帯域３０３、第４の帯域３０４及び第５の帯域３０５のそれぞれの波長内の波長の一部又は全てのいずれかを受信する。グラフでは、ただ１つのパンクロマチック画像撮影デバイスが示されるが、２つ以上の画像撮影デバイスがあり得る。例えば、センサ１１２は、空中車両１００が２つ以上のパンクロマチック画像撮影デバイス１２４を含むため、２つ以上のパンクロマチック画像撮影デバイス１２４を含み得る。

【0122】

グラフを鑑みると、スペクトル画像撮影デバイス１２０のそれぞれのデバイスは、スペクトル画像撮影デバイスの１２０の他のデバイスとは異なる個別の波長範囲を対象とする。図１４に示すように、スペクトル画像撮影デバイス１２０の個別の波長範囲は、互いに重複し得、スペクトル画像撮影デバイス１２０の波長範囲の全ては、パンクロマチック画像撮影デバイス１２４の波長範囲と重複する。いくつかの実施形態では、スペクトル画像撮影デバイス１２０の個別の波長範囲は、互いに重複しない場合があり、代わりに、個別の波長範囲の各波長範囲は、パンクロマチック画像撮影デバイス１２４の波長範囲のみと重複する。

【0123】

個別の波長範囲は、スペクトル画像撮影デバイス１２０及びパンクロマチック画像撮影デバイス１２４にフィルタを適用することによって決定し得る。例えば、スペクトル画像撮影デバイス１２０の各デバイスは、スペクトル画像撮影デバイス１２０の各デバイスによって個別の波長範囲を取り込むことを可能にするフィルタを含み得る。言い換えれば、スペクトル画像撮影デバイス１２０の各デバイスは、異なるフィルタを有し得る。スペクトル画像撮影デバイス１２０の第１のデバイスは、第１のデバイスが赤色光帯域を取り込むようなフィルタを有し得、スペクトル画像撮影デバイス１２０の第２のデバイスは、第２のデバイスが緑色光帯域を取り込むようなフィルタを有し得、スペクトル画像撮影デバイス１２０の第３のデバイスは、第３のデバイスが青色光帯域を取り込むようなフィルタを有し得、スペクトル画像撮影デバイス１２０の第４のデバイスは、第４のデバイスが赤外光帯域を取り込むようなフィルタを有し得、スペクトル画像撮影デバイス１２０の第５のデバイスは、第５のデバイスが赤色端光帯域を取り込むようなフィルタを有し得る。

【0124】

例えば、パンクロマチック画像撮影デバイス１２４は、フィルタを含み、このフィルタの波長範囲は、スペクトル画像撮影デバイス１２０によって取り込まれる個別の波長範囲の全てに重複可能である。

【0125】

個人が、一領域内の個別の物体の数を計数するために空中車両１００を操作している（例えば、飛行させている）際、オペレータは、ある経路に沿って空中車両１００を飛行させることができ、この経路は、各スペクトル画像がスペクトル画像撮影デバイス１２０によって取り込まれる他のスペクトル画像と７５％重複し、各熱画像が熱画像撮影デバイス１１０によって取り込まれる他の熱画像と７５％重複し、各パンクロマチック画像がパンクロマチック画像撮影デバイス１２４によって取り込まれる他のパンクロマチック画像と７５％重複するようなものである。

【0126】

上記の説明を鑑みると、パンクロマチック画像、スペクトル画像、熱画像の画像、及び様々な組合せにおける放射照度情報は、パンクロマチック画像の解像度がスペクトル画像及び熱画像と比較して高いために、３Ｄモデルを生成するために利用し得る。

【0127】

上記で説明した様々な実施形態は、更なる実施形態を提供するために組み合わせ得る。２０２１年６月２日出願の米国非仮特許出願第１７／２９９，２５８号、２０１８年７月１７日出願の米国非特許出願第１６／０３７，９５２号、及び２０２１年９月３日出願の米国仮特許出願第６３／２４０，７３０号を含め、本明細書で参照した及び／又は出願データシート内に列挙した米国特許、米国特許出願公報、米国特許出願、外国特許、外国特許出願及び非特許刊行物の全ては、これらの全体が本明細書に援用される。実施形態の態様は、必要な場合、様々な実施形態及び刊行物の概念を採用してまた更なる実施形態を提供するように修正し得る。これら及び他の変更は、上記で詳述した説明に照らして実施形態に行い得る。概して、以下の特許請求の範囲において、使用される用語は、特許請求の範囲を本明細書及び特許請求の範囲で開示される特定の実施形態に限定すると解釈すべきではなく、そのような特許請求の範囲の権利が与えられる等価物の全範囲と共に全ての可能な実施形態を含むと解釈すべきである。したがって、特許請求の範囲は、本開示によって限定されない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【国際調査報告】