(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-27
(54)【発明の名称】修正された植物関連指数データを提供するためのコンピュータ実装方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20240319BHJP
G06F 18/27 20230101ALI20240319BHJP
G01N 21/27 20060101ALI20240319BHJP
【FI】
G06N20/00
G06F18/27
G01N21/27 A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023560319
(86)(22)【出願日】2022-03-31
(85)【翻訳文提出日】2023-10-25
(86)【国際出願番号】 EP2022058628
(87)【国際公開番号】W WO2022207824
(87)【国際公開日】2022-10-06
(32)【優先日】2021-03-31
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】521508254
【氏名又は名称】ビーエーエスエフ アグロ トレードマークス ゲーエムベーハー
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】カラミ,モジタバ
(72)【発明者】
【氏名】ムコパダヤ,サヤン
(72)【発明者】
【氏名】レイス-ダナ,デイモン
(72)【発明者】
【氏名】ヴェルナー,ニコラス
(72)【発明者】
【氏名】シェーファー,ファビアン ヨハネス
(72)【発明者】
【氏名】スペンサー,ジェフリー トーマス
【テーマコード(参考)】
2G059
【Fターム(参考)】
2G059AA05
2G059BB08
2G059BB12
2G059EE02
2G059FF01
2G059HH01
2G059HH02
2G059KK04
2G059MM01
(57)【要約】
修正された植物関連指数データを提供するためのコンピュータ実装方法であって、農業圃場に関する初期植物関連指数データを、好ましくは少なくとも1つの衛星画像に基づいて、提供するステップと、農業圃場に関する初期植物関連指数データを、少なくとも農業圃場に関する履歴的植物関連指数データに基づいて修正し、修正された植物関連指数データを提供するステップと、を含むコンピュータ実装方法。
【選択図】
図1
【特許請求の範囲】
【請求項1】
修正された植物関連指数データを提供するコンピュータ実装方法であって、
農業圃場に関する初期植物関連指数データを提供するステップと、
前記農業圃場に関する履歴的植物関連指数データに少なくとも基づいて、前記農業圃場に関する前記初期植物関連指数データを修正し、修正された植物関連指数データを提供するステップと、を含むコンピュータ実装方法。
【請求項2】
前記植物関連指数データは、葉面積指数(LAI)データ、葉葉緑素含有量(LC)データ、林冠葉緑素含有量(CCC)データ、正規化差植生指数(NDVI)データ、林冠バイオマスデータ、林冠窒素含有量データ、植物の葉の林冠含有量データ、又は植生含水量データである、請求項1に記載のコンピュータ実装方法。
【請求項3】
前記植物関連指数データは、衛星画像に基づくものであり、前記衛星画像は、好ましくは可視域及び/又は近赤外域(NIR)にある、請求項1又は2に記載のコンピュータ実装方法。
【請求項4】
前記農業圃場に関する前記植物関連指数データ、好ましくは前記初期葉面積指数データは、前記植物関連指数データ、好ましくは前記葉面積指数データと、少なくとも1つの前記衛星画像の表面反射率バンドとに基づいて較正された数学モデルを用いて得られる、請求項1~3のいずれか一項に記載のコンピュータ実装方法。
【請求項5】
前記較正された数学モデルは、様々な作物種類、作物タイプ、生育段階、土壌条件、及び/又はデータソースに適合されている、請求項4に記載のコンピュータ実装方法。
【請求項6】
前記較正された数学モデルは較正された機械学習モデルであり、前記農業圃場に関する前記植物関連指数データは、植物関連指数データと、前記少なくとも1つの衛星画像の表面反射率バンドとに基づいて較正された機械学習モデルを用いて得られ、前記機械学習モデルは、好ましくは、人工ニューラルネットワーク(ANN)、多重線形回帰、ランダムフォレスト回帰、又は植物関連指数データを予測するための統計的関係を確立することが可能な手法である、請求項4又は5に記載のコンピュータ実装方法。
【請求項7】
前記農業圃場の前記履歴的植物関連指数データは、衛星画像に基づくものであり、前記衛星画像は、好ましくは可視域及び/又は近赤外域(NIR)にある、請求項1~6のいずれか一項に記載のコンピュータ実装方法。
【請求項8】
前記農業圃場の前記履歴的植物関連指数データは、1年~5年の期間からの前記農業圃場の衛星画像、又は過去12か月間の、好ましくは2年~3年の衛星画像を含む、請求項1~7のいずれか一項に記載のコンピュータ実装方法。
【請求項9】
前記農業圃場の前記履歴的植物関連指数データは、1日~30日の期間、好ましくは1日~15日の期間からの前記農業圃場の衛星画像を含み、特に好ましくは、過去10日間からの衛星画像を含む、請求項1~7のいずれか一項に記載のコンピュータ実装方法。
【請求項10】
前記農業圃場の前記履歴的植物関連指数データは、播種時期から始まる実際の生育シーズンからの前記農業圃場の衛星画像を含む、請求項1~7のいずれか一項に記載のコンピュータ実装方法。
【請求項11】
前記修正された植物関連指数データの境界を表す前記履歴的植物関連指数データに基づいて境界データを提供することを更に含む、請求項1~10のいずれか一項に記載のコンピュータ実装方法。
【請求項12】
前記修正された植物関連指数データの信頼性に関する前記履歴的植物関連指数データに基づいて不確定性確率値を提供することを更に含む、請求項1~11のいずれか一項に記載のコンピュータ実装方法。
【請求項13】
前記履歴的植物関連指数データは、作物固有植物関連指数データである、請求項1~12のいずれか一項に記載のコンピュータ実装方法。
【請求項14】
前記農業圃場に関する前記初期植物関連指数データを修正することは、前記農業圃場の前記履歴的植物関連指数データから少なくとも導出された統計モデルに基づく修正項に基づく、請求項1~13のいずれか一項に記載のコンピュータ実装方法。
【請求項15】
前記修正項は、加えて、作物種類、作物タイプ、生育段階、及び/又は土壌条件に関する典型的範囲を考慮した事前に定められたルールに基づく、請求項14に記載のコンピュータ実装方法。
【請求項16】
前記修正項は、加えて、少なくとも1つの作物固有統計モデルに基づく、請求項1~15のいずれか一項に記載のコンピュータ実装方法。
【請求項17】
前記履歴的植物関連指数データを構成するデータセットが、衛星画像、無人航空機、農業用ロボット、携帯式若しくは据付式カメラ、及び/又は前記農業圃場に位置する他の測定デバイスを含む、異なる利用可能なソースの任意の組合せから得られる、請求項1~16のいずれか一項に記載のコンピュータ実装方法。
【請求項18】
プロセッサが、様々な起源を有する可能性がある関連する前記履歴的植物関連指数データを、問い合わせ、特定し、取得し、規格化し、修正アルゴリズムに出力する、請求項1~17のいずれか一項に記載のコンピュータ実装方法。
【請求項19】
反射率バンドから植物関連指数データを推定する前記モデルは、連続的にか又は周期的にのいずれかで更新され、システムにおいて利用可能な植物関連指数データの独立した測定値と、前記測定値の対応する反射率バンドとが較正アルゴリズムに入力され、前記較正アルゴリズムは、前記入力されたデータを使用して、前記較正された数学モデルの、好ましくは較正された機械学習モデルの性能を改善する、請求項1~18のいずれか一項に記載のコンピュータ実装方法。
【請求項20】
修正された植物関連指数データを提供するシステムであって、
農業圃場に関する初期植物関連指数データを提供するための少なくとも1つの入力インターフェースと、
前記農業圃場に関する履歴的植物関連指数データに少なくとも基づいて、前記農業圃場に関する前記初期植物関連指数データを修正して、修正された植物関連指数データを提供するように構成された少なくとも1つの処理ユニットと、を備える、システム。
【請求項21】
請求項20に記載のシステム中のプロセッサにより実行されると、請求項1~19のいずれか一項に記載の方法を実施するように構成された、コンピュータプログラム要素。
【請求項22】
農業圃場のアプリケーション地図を提供するための入力データとしての、請求項1~19のいずれか一項に従って提供される修正された植物関連指数データの、使用。
【請求項23】
前記農業圃場に関する農学的なシミュレーションモデルのための入力データとしての、請求項1~19のいずれか一項に従って提供される修正された植物関連指数データの使用であって、前記シミュレーションモデルは、好ましくは収率シミュレーションモデル又は疾病シミュレーションモデルである、使用。
【請求項24】
請求項1~19のいずれか一項に従って入力データとして提供される修正された植物関連指数データに基づく農業圃場のアプリケーション地図に基づいて農業機器を制御するための、制御デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、修正された植物関連指数データを提供するためのコンピュータ実装方法、修正された植物関連指数データを提供するためのシステム、対応するコンピュータプログラム要素、農業圃場のアプリケーション地図を提供するための入力データとしての修正された植物関連指数データの使用、農業圃場に関する農学的シミュレーションモデル用の入力データとしての修正された植物関連指数データの使用、及び、修正された植物関連指数データを提供するためのそのようなコンピュータ実装方法を実施する制御デバイス、に関連する。
【背景技術】
【0002】
葉面積指数(LAI)のような植物関連指数は、様々な農学的決定をするために、従来技術において広く使用されている。例えば、単位土地面積当たりの合計片側葉面積として一般に定義されるLAIは、林冠を特徴付ける最も重要な生物物理学的パラメータの1つである。LAIは、植物林冠構造を直接定量化するので、様々な林冠プロセス、例えば、蒸発散、遮光、光合成、呼吸、及び落葉に大きく関連する。LAIのリモートセンスされた推定値は、コスト効率が良い形で、光合成モデル、作物生育シミュレーションモデル、蒸発散、正味の1次生産性の推定、及び広域での植生/生物圏の機能モデルへの入力データとして、LAIの適用を大幅に支援する。この点において、LAIは、衛星画像からの可視の植生の反射率特性に基づいて推定され得る。更に重要な植物関連パラメータは、例えば、葉葉緑素含有量(LC)、林冠葉緑素含有量(CCC)、又は正規化差植生指数(NDVI)である。
【0003】
しかしながら、これを考慮すると、植物関連指数、例えば葉面積指数(LAI)が衛星画像/データに基づいて推定される場合、植物関連指数、例えばLAIの推定を改善するための方法を提供する更なる必要性が存在することが分かった。
【発明の概要】
【発明が解決しようとする課題】
【0004】
したがって、本発明の目的は、特に、植物関連指数、例えばLAIが衛星画像/データに基づいて推定される場合に、植物関連指数、例えばLAIの推定を改善する方法を提供することである。
【0005】
これら及び他の目的は、以下の説明を読めば明らかになり、独立請求項の主題により解決される。従属請求項は、本開示の好ましい実施形態を指す。
【課題を解決するための手段】
【0006】
本開示の第1の態様によれば、修正された植物関連指数データ(例えば、葉面積指数データ)を提供するためのコンピュータ実装方法が、農業圃場に関する初期/一般的植物関連指数データ(例えば、葉面積指数(LAI)データ)を提供するステップと、農業圃場に関する履歴的植物関連指数データ(例えば、LAIデータ)に少なくとも基づいて、農業圃場に関する初期/一般的植物関連指数データ(例えば、LAIデータ)を修正し、修正された/改善された植物関連指数データ(例えば、LAIデータ)を提供するステップとを含む。
【0007】
換言すれば、本開示は、エリア/圃場の履歴的植物関連指数データ、例えば履歴的LAIデータを考慮する初期/一般的植物関連指数データ、例えばLAIデータの修正、改善又は微調整を提案する。この点において、この提案が、このように取得/修正された植物関連指数データ、例えばLAIデータの正確性を改善できることが分かった。より正確な推定を目指して、例えば、原因不明の大気変動、衛星センサ較正問題、及び他の誤差の起源から生じる不正確性を補償するために、植物関連指数、例えばLAIの履歴的観測、例えば一回の観測の使用が提案される。例えば統計モデルを適用することにより得られる初期推定値に加えて、植物関連指数、例えばLAIのこれら履歴的観測値を使用することにより、植物関連指数データの改善/修正された推定値を提供することができる。植物関連指数という用語は広く理解されるべきであり、物理的に測定できる、作物植物に関する任意の植物関連指数/生物物理学的パラメータを指す。初期植物関連指数データという用語は広く理解されるべきであり、履歴的植物関連指数データの観点で修正/調整されていない植物関連指数データを指す。修正/改善された植物関連指数データという用語は広く理解されるべきであり、履歴的植物関連指数データに基づき、修正/改善された任意の植物関連指数データを指す。初期/一般的植物関連指数データを「修正する」という用語も広く理解されるべきであり、初期/一般的植物関連指数データの妥当性確認又は検証を含み得る。
【0008】
本開示の一実施形態では、植物関連指数データは、葉面積指数(LAI)データ、葉葉緑素含有量(LC)データ、林冠葉緑素含有量(CCC)データ、正規化差植生指数(NDVI)データ、林冠バイオマスデータ、林冠窒素含有量データ、植物の葉の林冠含有量データ、又は植生含水量データである。一実施例では、LAIデータは、m2/m2の単位で提供され、葉葉緑素含有量は、葉のm2当たりのμgの単位で提供される。
【0009】
本開示の好ましい実施形態では、植物関連指数データは、葉面積指数(LAI)データである。
【0010】
本開示の一実施形態では、初期/一般的植物関連指数データ、例えばLAIデータは衛星画像に基づくものであり、衛星画像は、好ましくは可視域及び/又は近赤外域(NIR)にある。広範囲に広がった植物関連指数、例えばLAIを推定するための方法は、衛星画像の評価に基づく。ここでは、しばしば、衛星画像からの可視植生の反射率特性を使用して、植物関連指数、例えばLAIが推定される。この方法が好ましいが、本開示はそれに限定されない。本開示の一実施形態では、農業圃場に関する初期植物関連指数データは、植物関連指数データと、少なくとも1つの衛星画像の表面反射率バンドとの間で較正された数学モデルを使用して得られる。大気変動が1つ以上の衛星画像に及ぼす影響がソースにおいて考慮されていない場合、標準的な最高技術水準の大気修正方法が実施されて衛星画像から空気の影響が除去/低減され、いわゆる「表面反射率」を得ることができる。そのような修正された表面反射率はより信頼性が高く、大気条件、例えば水蒸気又はエアロゾルが、推定の品質に及ぼす影響を最小限に抑えることができるので、そのような大気に関して修正された表面反射率を使用することが好ましい。しかしながら、これは必ずしも必須のステップではない。代わりに、非修正画像、すなわち、いわゆる「大気上部反射率画像」が使用される場合もあり、本開示では、そのような衛星画像から植物関連指数データを得るモデルが使用される場合もある。本開示の更なる実施形態では、較正された数学モデルは較正された機械学習モデルであり、農業圃場に関する初期植物関連指数データ、例えば葉面積指数データは、植物関連指数データ、例えば葉面積指数データと、少なくとも1つの衛星画像の表面反射率バンドとに基づいて較正された機械学習モデルを用いて得られ、機械学習モデルは、好ましくは、人工ニューラルネットワーク(ANN)、多重線形回帰、ランダムフォレスト回帰、又は葉面積指数データを予測するための統計的関係を確立することが可能な手法である。
【0011】
一般的モデルは画像レベルで(例えば画像全体に)適用されて、植物関連指数データ、例えばLAIデータの第1の推定値を得ること、すなわち初期植物関連指数データを得ることができる。方法論的な観点から、一般的モデルは、スペクトルの異なるバンドにおける植物関連指数と反射率との関係を定める明示的に定義された数式、又は、そのような関係を定義するブラックボックス統計/機械学習モデル、例えばランダムフォレスト、人工ニューラルネットワーク等から構成され得る。一般的モデルは、所与の衛星センサの場合、バンドの利用可能性に応じて、センサの異なるバンドを使用することもできる。しかしながら、いずれにせよ、一般的モデルの共通の特徴は、以下で更に詳細に説明するように、画像の各ピクセルに関する植物関連指数データ、例えばLAIデータを反射率から推定するために、訓練データを使用して較正されるということである。一般的モデルという用語は、このモデルが、反射率を入力として使用して、画像の全画素について植物関連指数データ、例えばLAIデータを推定することを示すために使用される。この理由は、反射率と植物関連指数データ、例えばLAIデータとの関係を定義する際に、目標タイプ及び状態、例えば、作物タイプ及びその生育段階が非常に重要であるが、これらの情報は、多くの場合、一つ一つの画像については未知/利用不可能だからである。したがって、初期植物関連指数データは、更なる処理のための用意ができている。これら植物関連指数データは既に、1つの特定の農業圃場を参照することができる、又は更なる地理的エリアを含むことができる。後者である場合、初期植物関連指数データは、例えば、LAIデータに関して本開示の好ましい実施形態に示すように、以降のステップにおいて特定の農業圃場に絞られ得る。
【0012】
本開示の一実施形態では、較正された数学モデルは、様々な作物種類、作物タイプ、生育段階、土壌条件、及び/又はデータソースに、すなわち、作物固有の植物関連指数、例えばLAIの修正モデルに適合されている。林冠構造が林冠の光拡散及び反射プロセスに及ぼす影響に起因して、作物タイプが、衛星が観測した反射率と植物関連指数、例えばLAIとの関係を決定する際の最も重要な要因の1つである。実装形態に応じて、作物固有の植物関連指数修正モデルは、i)作物タイプに固有の多項係数のルックアップテーブルであって、これは次いで、初期植物関連指数推定値の出力に適用されて、初期植物関連指数推定値を作物固有植物関連指数推定値に「スケーリング」する、ルックアップテーブル、又は、ii)作物タイプに加えて、特定の反射率バンド、例えば、NIR、レッドエッジを入力する、より複雑なモデル、のいずれかを含んでもよい。後者の手法の使用は、より正確であり得るのに対して、最初の手法は、計算的により効率的であり得る。
【0013】
本開示の一実施形態では、農業圃場の履歴的植物関連指数データは衛星画像に基づくものであり、衛星画像は、好ましくは可視域及び/又は近赤外域(NIR)にある。植物関連指数の履歴的観測値は、例えば、以前の衛星ベースの観測値から、又はインサイチュソースから供給でき、インサイチュソースは、直接測定値、表面反射率を記録することにより植物関連指数推定値を生成するインサイチュデバイス、若しくは圃場から収集される近位高解像度画像に適用されるコンピュータビジョン技術、を含むがこれらに限定されない。
【0014】
本開示の一実施形態では、農業圃場の履歴的植物関連指数データは、1年~5年の期間、好ましくは2年~3年の期間からの農業圃場の衛星画像、特に好ましくは、前年からの衛星画像を含む。本開示の更なる一実施形態では、農業圃場の履歴的植物関連指数データは、1日~30日の期間、好ましくは1日~15日の期間からの農業圃場の衛星画像、特に好ましくは、過去10日間からの衛星画像を含む。
【0015】
本開示の一実施形態では、農業圃場の履歴的植物関連指数データは、播種時期から始まる実際の生育シーズンからの農業圃場の衛星画像を含む。
【0016】
本開示の一実施形態では、本方法は、修正された植物関連指数データの境界を表す履歴的植物関連指数データに基づいて境界データを提供することを更に含み、履歴的植物関連指数データは、好ましくは、作物固有植物関連指数データである。
【0017】
本開示の一実施形態では、本方法は、修正された植物関連指数データの信頼性に関する履歴的植物関連指数データに基づいて不確定性確率値を提供することを更に含み、履歴的植物関連指数データは、好ましくは、作物固有植物関連指数データである。
【0018】
本開示の一実施形態では、履歴的植物関連指数データは、作物固有植物関連指数データ(のみ)である。
【0019】
本開示の一実施形態では、農業圃場に関する初期植物関連指数データを修正することは、農業圃場の履歴的植物関連指数データから少なくとも導出された統計モデルに基づく修正項に基づく。そのような統計モデルは、修正された植物関連指数に関する植物関連指数推定値を改善するために、植物関連指数の学習された予想される/通常の時間的挙動を利用することができる。実際の植物関連指数の時間的変動は、短い時間幅においては非常に小さいことが周知であり、より長い時間幅においてさえ、その時間的変動は、数学的表現又はノンパラメトリック統計モデルを使用して特徴付けることができる比較的予測可能なパターンに従う。したがって、統計モデルの実装の観点では、最も単純な手法は、明示的に定義される数式、例えばロジスティック関数を使用して、現在提供される植物関連指数、例えばLAIの、履歴的観測値に沿った滑らかなフィッティングを構築して、植物関連指数、例えばLAIの局所的モデルを時間の関数として構築することであり得る。引き続き、このモデルを使用して、観測時間に対して、植物関連指数データの改善/修正された推定値を予測することができる。代わりに、より複雑な実装形態では、同じ目標を達成するために、ノンパラメトリックモデル、例えばスプライン又はランダムフォレストが使用されてもよい。
【0020】
本開示の一実施形態では、修正項は、加えて、作物種類、作物タイプ、生育段階、及び/又は土壌条件に関する典型的範囲を考慮した事前に定められたルールに基づく。統計モデルの1つの更なる重要な側面は、植物関連指数、例えばLAIの、いわゆる「予想される/通常の」挙動が、様々な状況下で変化するという事実をどのように考慮するかである。例えば、所与の時間幅にわたる植物関連指数の変動のパターンが、異なる作物間で、異なる生育段階間で、及び異なる気象状況下で異なるであろう。特定の生育段階では、植物関連指数の急激な増加が雑音としてだけ解釈され、統計モデルを用いて除去され得る一方で、別の生育段階では、急激な増加は単に予想されるものであり、したがって統計モデルはこのような増加を修正すべきではない。そのような制約を反映するために、2つの手法、i)下位モデル手法、及びii)機械学習手法、を使用することができる。下位モデル手法(i)は、制約に応じて、統計モデルに対して異なるパラメータ決定を使用する、基本的に明示的に定義された決定木である。例えば、作物固有統計モデル、及び/又は作物が緑化フェーズであるか又は老化フェーズであるかに応じた2つ以上の異なる統計モデルが使用される。圃場レベルにおける目標特定性をそのように考慮することにより、統計モデルの、より洗練された、目標を定めた適用が可能になる。例えば、植物関連指数、例えばLAIが一般に減少する傾向がある場合、統計モデルは、特定の生育段階中に、植物関連指数、例えばLAIの1日当たりの減少率に制限を適用してもよく、又は、その作物の植物関連指数、例えばLAIを、その作物及び/又は生育段階に固有の変動範囲内に制限することもできる。機械学習手法(ii)では、統計モデルは、基本的に、植物関連指数の改善された推定を実施する機械学習モデル、例えばランダムフォレスト回帰モデル又は深層学習モデルである。したがって、そのようなモデルへの入力は、修正を受けている現在の植物関連指数観測値、及びその履歴的セットだけでなく、目標固有の補助的情報のセットもある。例えば、統計モデルの実装形態は機械学習モデルを伴うことができ、機械学習モデルは、入力として、現在のリモートセンスされた圃場の植物関連指数、圃場の4つの直近の利用可能な植物関連指数観測値、作物生育段階、及び気象状況を有し、圃場の植物関連指数レベルの改善/修正された推定値を出力する。したがって、機械学習手法では、統計モデルは、補助情報を個々のモデル入力として扱い、目標固有の補助情報と、一方では入力植物関連指数値との間の、他方では圃場の実際の植物関連指数レベルとの間の、非線形関係を「学習」する。
【0021】
とりわけ、機械学習モデル/アルゴリズムは、決定木、単純ベイズ分類、最近傍法、ニューラルネットワーク、畳み込みニューラルネットワーク、敵対的生成ネットワーク、サポートベクターマシン、線形回帰、ロジスティック回帰、ランダムフォレスト、及び/又は勾配ブースティングアルゴリズムを含み得る。好ましくは、機械学習アルゴリズムは、高い次元を有する入力を処理して遥かに低い次元の出力にするように構成されている。そのような機械学習アルゴリズムは、「訓練される」ことが可能であるため「知的である」と称される。アルゴリズムは、訓練データのレコードを使用して訓練されてもよい。訓練データのレコードは、訓練入力データ、及び対応する訓練出力データを含む。訓練データのレコードの訓練出力データは、訓練データの同じレコードの訓練入力データが入力として与えられた場合に、機械学習アルゴリズムによって生成されると予想される結果である。この予想される結果と、アルゴリズムによって生成される実際の結果との間の偏差は、「損失関数」により観測され評価される。この損失関数は、機械学習アルゴリズムの内部処理チェーンのパラメータを調整するためのフィードバックとして使用される。例えば、パラメータは、損失関数の値を最小化するという最適化目標により調整することができ、全ての訓練入力データが機械学習アルゴリズムに入れられ、その結果が、対応する訓練出力データと比較されたときに得られる。
【0022】
本開示の一実施形態では、履歴的植物関連指数データを構成するデータセットが、衛星画像、無人航空機、農業用ロボット、携帯式若しくは据付式カメラ、及び/又は農業圃場に位置する他の測定デバイスを含む、異なる利用可能なソースの任意の組合せから得られる。本開示の更なる実施形態では、プロセッサが、様々な起源を有する可能性がある関連する履歴的植物関連指数を、問い合わせ、特定し、取得し、規格化し、修正アルゴリズムに出力する。
【0023】
本開示の一実施形態では、反射率バンドからの植物関連指数データを推定する較正された数学モデル及び/又は較正された機械学習モデルは、連続的にか又は周期的にのいずれかで更新され、システムにおいて利用可能な植物関連指数データの独立した測定値、及び測定値の対応する反射率バンドが、較正アルゴリズムに供給され、較正アルゴリズムは、供給されたデータを使用して、較正された数学モデルの、好ましくは較正された機械学習モデルの性能を改善する。
【0024】
本開示の更なる態様が、修正された植物関連指数データ、例えばLAIデータを提供するためのシステムに関連し、システムは、農業圃場に関する初期植物関連指数データ、例えばLAIデータを提供するための少なくとも1つの入力インターフェースと、少なくとも、農業圃場に関する履歴的植物関連指数データ、例えばLAIデータに基づき、農業圃場に関する初期植物関連指数データ、例えばLAIデータを修正して、修正された植物関連指数データ、例えばLAIデータを提供するように構成された少なくとも1つの処理ユニットと、を備える。このようなシステムの詳細に関しては、ここでも同様に当てはまる、本方法に関する上記の注釈が参照される。
【0025】
本開示の更なる態様が、そのようなシステムにおいてプロセッサにより実行されると前述したような方法を実施するように構成されるコンピュータプログラム要素に関する。コンピュータプログラム要素は、同様に一実施形態の一部であり得るコンピュータユニットに格納され得る。このコンピューティングユニットは、上述した方法のステップを実施するように又はその実施を誘導するように構成されていてもよい。更には、コンピューティングユニットは、上述した装置及び/又はシステムの構成要素を動作させるように構成されていてもよい。コンピューティングユニットは、自動的に動作するように及び/又はユーザの命令を実行するように構成できる。コンピュータプログラムが、データプロセッサの作業メモリに読み込まれてもよい。したがって、データプロセッサは、前述した実施形態のうちの1つに従う方法を実行するための装備を有してもよい。本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラム、及び更新により既存のプログラムを、本発明を使用するプログラムに変えるコンピュータプログラム、の両方を網羅する。更には、コンピュータプログラム要素は、上述した方法の例示的な実施形態の手順を遂行するために必要な全てのステップを提供することが可能であり得る。本発明の更なる例示的な実施形態によれば、CD-ROM、USBスティック等のコンピュータ可読媒体が提示され、コンピュータ可読媒体は、先行するセクションに記載されるコンピュータプログラム要素を格納する。コンピュータプログラムは、他のハードウェアと一緒に又は他のハードウェアの一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体に格納され得る、且つ/又はそのような適切な媒体で分配され得るが、インターネット又は他の有線若しくは無線電気通信システムを介するなど、他の形態で分配されてもよい。しかしながら、コンピュータプログラムはまた、ワールドワイドウェブのようなネットワークを経由して提示することもでき、そのようなネットワークからデータプロセッサの作業メモリにダウンロードすることができる。本発明の更なる例示的な実施形態によれば、コンピュータプログラム要素をダウンロードのために利用可能にする媒体が提供され、コンピュータプログラム要素は、本発明の上述した実施形態のうちの1つによる方法を実施するように構成される。ここでも、そのようなコンピュータプログラム要素の詳細に関して、ここでも同様に当てはまる、本方法に関する上記の注釈が参照される。本開示の好ましい実施形態では、植物関連指数データは、葉面積指数(LAI)データである。
【0026】
本開示の更なる態様は、農業圃場のアプリケーション地図を提供するための入力データとして上記の方法に従って提供される改善/修正された植物関連指数データ、例えばLAIデータの使用に関する。本開示の更なる態様が、農業圃場に関する農学的シミュレーションモデルのための入力データとして上記の方法に従って提供される修正された植物関連指数データ、例えばLAIデータの使用に関し、シミュレーションモデルは、好ましくは収率シミュレーションモデル、疾病シミュレーションモデルである。最後に、本開示の更なる態様が、入力データとして上記の方法に従って提供される修正された植物関連指数データ、例えばLAIデータに基づく農業圃場のアプリケーション地図に基づく農業機器/車両を制御するための制御デバイスに関する。ここでも、そのような改善/修正された植物関連指数データ、例えばLAIデータの詳細に関して、ここでも同様に当てはまる、本方法に関する上記の注釈が参照される。本開示の好ましい実施形態では、植物関連指数データは、葉面積指数(LAI)データである。
【0027】
「農業圃場」という用語は、有機体、特に作物植物が、生産、生育、播種される任意のエリア、及び/又は生産、生育、又は播種が計画されている任意のエリアとして理解される。「農業圃場」という用語は、園芸圃場、林業圃場、及び水生生物を生産及び/又は生育するための圃場も含む。好ましい実施形態では、農業圃場は、作物植物が、生産、生育、播種されるエリア、及び/又は生産、生育、又は播種が計画されているエリアである。
【0028】
以下では、添付の図面を参照して、本開示が例示的に説明される。
【図面の簡単な説明】
【0029】
【
図1】本開示による方法のステップの概略図である。
【
図2】改善/修正されたLAIを観測時間に対して示す図である。
【
図3】改善/修正されたLAIを観測時間に対して示す図である。
【
図4】ランダムフォレストと、別個に提供される圃場情報とを使用するLAIの修正に関する図である。
【
図5】グラウンドトゥルースを使用するモデル較正のために使用されるコスト関数の概略図である。
【
図6】モデル構成要素の較正されたモデルパラメータの概略図である。
【発明を実施するための形態】
【0030】
図1では、本開示による方法の好ましい実施形態のステップの概要が示される。好ましい実施形態では、本開示による方法は、植物関連指数としての葉面積指数(LAI)の観点で説明される。しかしながら、以下の説明及び手法は、葉面積指数以外の植物関連指数を修正する場合にも当てはまる。本開示の好ましい実施形態では、植物関連指数データは、葉面積指数(LAI)データである。
【0031】
ステップ100において、衛星画像がソースから取得/提供される。大気変動が1つ以上の衛星画像に及ぼす影響がソースにおいて考慮されていない場合、ステップ200において、標準的な最高技術水準の大気修正方法が実施されて、衛星画像から空気の影響が除去/低減され、いわゆる「表面反射率」を得ることができる。そのような修正された表面反射率はより信頼性が高く、大気条件、例えば水蒸気又はエアロゾルが、推定値の品質に及ぼす影響を最小限に抑えることができるので、そのような大気に関して修正された表面反射率を使用することが好ましい。しかしながら、これは必ずしも必須のステップではない。代わりに、非修正画像、すなわち、いわゆる「大気上部反射率画像」が使用される場合があり、本開示では、そのような衛星画像からLAIデータを取得するモデルが使用される場合がある。
【0032】
ステップ300において、一般的モデルが画像レベルで(画像全体に)適用されて、LAIデータの最初の推定値を得ること、すなわち初期LAIデータを得ることができる。方法論的な観点から、一般的モデルは、スペクトルの異なるバンドにおけるLAIと反射率との関係を定める明示的に定義された数式、又は、そのような関係を定義するブラックボックス統計/機械学習モデル、例えばランダムフォレスト、ANN等から構成され得る。一般的モデルは、所与の衛星センサの場合、バンドの利用可能性に応じて、センサの異なるバンドを使用することもできる。しかしながら、いずれにせよ、一般的モデルの共通の特徴は、以下で更に詳細に説明するように、画像の各ピクセルに関するLAIデータを反射率から推測するために、訓練データを使用して較正されるということである。一般的モデルという用語は、このモデルが、反射率を入力として使用して、画像の全画素についてLAIデータを推定することを示すために使用される。その理由は、反射率とLAIデータとの関係を定義する際に、目標タイプ及び状態、例えば作物タイプ及びその生育段階が非常に重要であるが、これらの情報は、多くの場合、一つ一つの画像については未知/利用不可能だからである。したがって、ステップ300終了時には、初期LAIデータは、更なる処理のための用意ができている。これらLAIデータは既に、1つの特定の農業圃場を参照することができる、又は更なる地理的エリアを含むことができる。後者である場合、初期LAIデータは、例えば、本開示の好ましい実施形態に示すように、以降のステップにおいて特定の農業圃場に絞られ得る。
【0033】
示される好ましい実施形態では、各農業圃場に対して操作400を別々に実施することにより、初期LAIデータの修正が実施され、したがってLAI推定値がより具体的且つより正確になる。画像における全ての農業圃場をカバーするかどうかは、システムの目的に依存する。しかし、実装形態に関係なく、多くの場合、リレーショナルデータベース500が、ある画像に対してどの圃場ジオメトリが関連するか(又はその逆)に関する情報を、もし利用可能であれば、それら圃場ジオメトリに関する特定の補助情報、例えば、作物タイプ、生育段階、以前のLAI推定値、に加えて格納する。
【0034】
初期LAIデータ/推定の特定性を改善する第1のステップとして、作物固有のLAI修正モデル410を使用して、初期LAIデータ/推定の作物依存スケーリングが実施されてもよい。林冠構造が林冠の光の拡散及び反射プロセスに及ぼす影響に起因して、作物タイプが、衛星観測反射率とLAIとの関係を決定する際の最も重要な要因の1つである。実装形態に応じて、作物固有のLAI修正モデル410は、i)作物タイプに固有の多項係数のルックアップテーブルであって、これは次いで、初期LAI推定値の出力に適用されて、初期LAI推定値を作物固有LAI推定値に「スケーリング」する、ルックアップテーブル、又は、ii)作物タイプに加えて、特定の反射率バンド、例えば、NIR、レッドエッジ、を入力する、より複雑なモデル、のいずれかを含んでもよい。後者の手法の使用は、より正確であり得るのに対して、最初の手法は、計算的により効率的であり得る。
【0035】
本開示によれば、より正確な推定を実現することを目指して、例えば、原因不明の大気変動、衛星センサ較正問題、及び他の誤差の起源から生じる不正確性を補正するために、LAIの履歴的観測値、例えば少なくとも一回の観測値の使用が提案される。例えば統計モデル430を適用することにより、画像から得られる推定値に加えて、LAIのこれらの履歴的観測値を使用することにより、LAIの改善/修正された推定値を提供することが可能である。LAIの履歴的観測値は、例えば、以前の衛星ベースの観測値から、又はインサイチュソースから供給でき、インサイチュソースは、直接測定値、表面反射率を記録することにより植物関連指数推定値を生成するインサイチュデバイス、若しくは圃場から収集される近位高解像度画像に適用されるコンピュータビジョン技術、を含むがこれらに限定されない。履歴的LAI観測値のソースに関係なく、統計モデル430において、作物固有LAI修正モデル410に沿った、既知の観測タイムスタンプを有する履歴的LAI観測値のセット、生成されたLAI、及びそのタイムスタンプが入力されてもよい。両方のセットが、比較できるように規格化されてもよい。例えば、圃場での特定の場所を参照することにより、又は、農業圃場に関するLAIの平均レベルに関連させることにより。
【0036】
方法論的観点から、統計モデル430は、修正されたLAIに関するLAI推定値を改善するために、学習された予想される/通常のLAIの時間的挙動を活用する統計モデルである。実際のLAIの時間的変動は、短い時間幅においては非常に小さいことが周知であり、より長い時間幅においてさえ、その時間的変動は、数学的表現又はノンパラメトリック統計モデルを使用して特徴付けることができる比較的予測可能なパターンに従う。したがって、統計モデル430の実装の観点では、最も単純な手法は、明示的に定義される数式、例えばロジスティック関数を使用して、現在提供されるLAIの、履歴的観測値に沿った滑らかなフィッティングをステップ410により構築して、LAIの局所的モデルを時間の関数として構築し得ることである。引き続き、
図2に示すように、ステップ440において、このモデルを使用して、観測時間に対して、LAIの改善/修正された推定値を予測することができる。代わりに、より複雑な実装形態では、
図3及び
図4に示すように、同じ目標を達成するために、ノンパラメトリックモデル、例えばスプライン又はランダムフォレストが使用されてもよい。
【0037】
統計モデル430の1つの更なる重要な側面は、LAIの、いわゆる「予想される/通常の」挙動が、様々な状況下で変化するという事実をどのように考慮するかである。例えば、所与の時間幅にわたるLAI変動のパターンが、異なる作物間で、異なる生育段階間で、及び異なる気象状況下で異なるであろう。特定の生育段階では、LAIの急激な増加が雑音としてだけ解釈され、統計モデル430を用いて除去され得る一方で、別の生育段階では、急激な増加は単に予想されるものであり、したがって統計モデル430はこのような増加を修正すべきではない。そのような制約を反映するために、2つの手法、i)下位モデル手法、及びii)機械学習手法、を使用することができる。下位モデル手法(i)は、制約に応じて、統計モデル430に対して異なるパラメータ決定を使用する、基本的に明示的に定義された決定木である。例えば、作物固有統計モデル430、及び/又は作物が緑化フェーズであるか又は老化フェーズであるかに応じた2つ以上の異なる統計モデル430が使用される。圃場レベルにおける目標特定性をそのように考慮することにより、統計モデル430の、より洗練された、目標を定めた適用が可能になる。例えば、LAIが一般に減少する傾向がある場合、統計モデル430は、特定の生育段階中に、LAIの1日当たりの減少率に制限を適用してもよく、又は、その作物のLAIを、その作物及び/又は生育段階に固有の変動範囲内に制限することもできる(例えば、
図3)。機械学習手法(ii)では、統計モデル430は、基本的に、LAIの改善された推定値を実施する機械学習モデル、例えばランダムフォレスト回帰モデル又は深層学習モデルである。したがって、そのようなモデルへの入力は、修正を受けている現在のLAI観測値、及びその履歴的セットだけでなく、目標固有の補助情報もある。例えば、統計モデル430の実装形態は機械学習モデルを伴うことができ、機械学習モデルは、
図4に示すように、入力として、現在のリモートセンスされた圃場のLAI、圃場の4つの直近の利用可能なLAI観測値、作物生育段階、及び気象状況を有し、圃場のLAIレベルの改善/修正された推定値を出力する。したがって、機械学習手法では、統計モデル430は、補助情報を個々のモデル入力として扱い、目標固有の補助情報と、一方では入力LAI値との間の、他方では圃場の実際のLAIレベルとの間の、非線形関係を「学習」する。
【0038】
モデルの較正:
一般的/初期LAIモデル300、作物固有LAIモデル410、及び統計モデル430が概して統計モデルである場合、それらの個々のタスク、すなわち、それぞれ、初期/一般的LAI推定、作物固有LAI推定、及び多重時間修正を実施することができるためには、したがって、「グラウンドトゥルース」を使用して較正される必要があることに留意することが重要である。モデル300、410及び430の個々の較正が可能であるが、好ましい手法は、ワークフロー予測値とグラウンドトゥルース観測値との間の誤差が最小化(minimize)されるように、ワークフロー内の全てのモデルを含むワークフロー全体を較正することである。
【数1】
式中、
yは、LAIのグラウンドトゥルース観測値であり、
【数2】
は、観測値用のモデルによるLAIの最終的な推定値/修正値である。
【0039】
衛星画像が使用される好ましい実施形態については、この最小化問題は、(A)ワークフローへの入力としての、衛星により観測された反射率値のセット及び対応する圃場レベルの補助情報、並びに(B)ワークフローの所望の出力として機能する、空間的及び時間的に衛星ベースの観測値に対応する別個に推定された圃場固有LAIデータ、が与えられると、モデル300、410及び430のパラメータを最適化することにより解くことができる。簡単に言えば、最適化課題の目標は、インサイチュで測定されたLAIに関するモデルの予測誤差が最小化されるように、モデル300、410及び430を特定することである。
【0040】
上述した最適化課題の高い次元数及び非線形性に起因して、メタヒューリスティック手法が、優れた結果をもたらすことができる。例えば、上述した最適化課題は、モデル300、410及び430のパラメータを入力し、較正データセット全体に対して予測値の合計二乗平均平方根誤差を出力する、コスト関数の形で実装することができる。内部的には、グラウンドトゥルース観測値が利用可能な各圃場について、コスト関数は、リモートセンスされた反射率データをソースから読み込むことと、補助データ、反射率からの一般的/初期LAI推定値、作物固有修正、多重時間修正を問い合わせることとを含む一連の操作を呼び出し、最終的に、グラウンドトゥルースと比較した誤差の二乗平均平方根を計算する(
図5を参照)。特定の要件、例えば、現実的な値の範囲、及び結果として生じるLAIに関する時系列雑音レベル及び挙動が、コスト関数にペナルティを課すことによって確実になり得る。
【0041】
最後に、コスト関数の最適入力、すなわちモデル300、410及び430のパラメータは、確立された又は考案されたメタヒューリスティック手法、例えば、粒子群最適化などの進化アルゴリズム、又は遺伝アルゴリズム、のいずれかを使用して見つけることができる。実装形態に関係なく、通常、最適化プロセスは、課題に対するランダム解決策のセット、いわゆる「母集団」を構築すること、各解決策に対する結果の適合性を評価すること、及び各繰り返しにおいて引き続き、主に生物学的に示唆されるプロセス、例えば選択、組合せ、突然変異を用いることにより、より良好な解決策に向けて収束させること、を伴う。
【0042】
最適化プロセスを通じてモデルの最適パラメータ決定が特定されると、パラメータ決定が格納されて、その後の予測に使用される。一実施例として、システムの変形形態が、衛星画像の2つのバンド、すなわち緑色及び近赤外領域だけを使用してLAIを推定するように設計され得る(
図6を参照)。一般的/初期LAIは、衛星画像を元に計算され、1つの変数、作物当たり4つのパラメータを有する数式を、作物固有の多項式関数にて使用して、作物固有LAIを計算し、引き続き、そして最後に、2つの下位モデル及び6つのパラメータを伴うスプラインを用いて実現される。
図6は、そのようなシステムにおける各構成要素300、410及び430の較正されたモデルのパラメータを提示する。
【0043】
データソース及びマルチソースの融合:
比較多重時間修正のために一般的/初期LAI計算/モデル300に入力されるLAI読取り値/データは、過去にリモートセンスされたLAIの推定値、圃場での直接測定値、圃場における近位反射率ベースの機器、及びコンピュータビジョン技術を使用する撮像デバイスを含むがこれらに限定されない、様々なソースであり得る。一般的/初期LAI計算/モデル300は、これらのデータが収集されるように能動的な要求を行うことを介してそのようなデータにアクセスすることができる、又はこれらデータは、モデル300がアクセスできる農場管理システムにおいて若しくはモデル300が問い合わせアクセスすることができる2次ソースにおいて利用可能であり得る。
【0044】
同様に、較正フェーズ中にシステムが唯一必要とするLAIのグラウンドトゥルース読取り値は、異なるソースからであり得る。これは、圃場での又は遠隔での、任意の技術を使用するLAI推定値を含む。同様に、圃場からのいわゆるグラウンドトゥルース観測値は、リモートセンシングから、好ましくは衛星画像から、又は異なる衛星センサから若しくは同じ衛星センサであるが異なる方法を用いて得られる他のリモートセンシング方法から得ることができる。例えば、特定のLAI反転モデルの使用が高精度の結果をもたらすことは公知であり得るが、計算効率又は圃場からの厳密なデータの必要性の点では制約となり得る。しかしながら、そのようなモデルの出力を、提案されたモデルを較正するためのグラウンドトゥルースとして使用することができる。別の実施例では、特定の衛星センサが、LAIの正確な推定を可能にするスペクトルの特定セグメントにおいてデータを収集することができる。しかし、そのような推定は粗い空間的分解能で実施されることになるが、それは望ましくなく、そのバンドを備えるセンサを使用してのみ可能である。したがって、常に利用可能であるとは限らないが、これらの非常に正確な遠隔推定は、較正目的のためにも活用され得る。
【0045】
他のリモートセンシング方法が、好ましくは、
-航空機、飛行機、ヘリコプターなどの空中輸送手段を使用するリモートセンシング、
-ドローンなどの無人航空機(UAV)を使用するリモートセンシング、又は
-地上との直接的又は間接的な接触を有する特別車両若しくは機器を使用するリモートセンシング、を含み得る。
【0046】
より好ましくは、他のリモートセンシング方法は、ドローンなどの無人航空機(UAV)を使用するリモートセンシングである。
【0047】
データのソースに関する別のポイントが、補助データ500のソースであり得る。補助データは、モデル及び直接的又は間接的測定値を含む2次ソースから得ることができ、能動的リクエスト又は利用可能データの問い合わせによりアクセスできる。独立したモデルを、修正中の衛星画像に又は他の画像と併せて画像自体に適用することにより、そのような補助情報、例えば、生育段階又は圃場境界を得ることも可能である。換言すれば、補助情報の一部が衛星画像から供給され得る。
【0048】
較正頻度:
十分なグラウンドトゥルースが利用可能であると想定すれば、システム/方法におけるモデル300、410及び430を一回又は低頻度で較正/訓練すれば十分であり得る。新しいグラウンドトゥルースデータセットが利用可能になったらモデルが自動的に再較正されるように、システム/方法の1つの変形形態を設計できる。これは、新しいグラウンドトゥルースが利用可能になったときに再較正をトリガすること、又は一定間隔で較正を実施すること、又はこれら両方の組合せにより実現できる。訓練データセット全体に又は新たに利用可能になったデータセットに関連するモデル構成要素及びパラメータだけに再較正を実施するように、自動較正プロセスを設計することも可能である。例えば、小麦に関する新しいグラウンドトゥルースデータが利用可能な場合、更新されたデータセットを使用して、小麦固有モデルを再較正するだけである。
【0049】
本開示の例示的な実施例が添付の図面を部分的に参照して上述されているが、本開示はこれらの実施例に限定されないことを理解すべきである。本開示を実施するに際して、図面、明細書、及び添付の請求項を検討することで、開示された実施例に対する変形形態が当業者により理解され達成され得る。
【0050】
請求項では、括弧内のいかなる参照符号も、その請求項を限定するものとして解釈されるべきではない。用語「備える(comprising)」は、請求項中に列挙されている要素又はステップ以外の要素又はステップの存在を排除しない。ある要素に先行する「1つの(a)」又は「1つの(an)」は、そのような要素が複数存在することを排除しない。本開示は、いくつかの別個の要素を備えるハードウェアを用いて実装できる。いくつかの手段を列挙するデバイスの請求項において、これら手段のうちのいくつかを、1つの同一のハードウェア物品によって具体化することができる。特定の対応策が互いに異なる従属請求項で列挙されているという事実だけで、これら対応策の組合せを有利に使用することができないことを示すものではない。
【国際調査報告】