特許 7423631 デジタル画像および機械学習モデルを使用した圃場異常の地図作成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-19

(45)【発行日】2024-01-29

(54)【発明の名称】デジタル画像および機械学習モデルを使用した圃場異常の地図作成

(51)【国際特許分類】

   G06Q 50/02 20240101AFI20240122BHJP

【ＦＩ】

G06Q50/02

【請求項の数】 20

(21)【出願番号】P 2021532893

(86)(22)【出願日】2019-12-09

(65)【公表番号】

(43)【公表日】2022-01-26

(86)【国際出願番号】 US2019065270

(87)【国際公開番号】W WO2020123402

(87)【国際公開日】2020-06-18

【審査請求日】2022-12-02

(31)【優先権主張番号】62/777,748

(32)【優先日】2018-12-10

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/707,355

(32)【優先日】2019-12-09

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】521165688

【氏名又は名称】クライメイト、リミテッド、ライアビリティー、カンパニー

【氏名又は名称原語表記】ＣＬＩＭＡＴＥ ＬＬＣ

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100118843

【弁理士】

【氏名又は名称】赤岡 明

(74)【代理人】

【識別番号】100202429

【弁理士】

【氏名又は名称】石原 信人

(72)【発明者】

【氏名】ボイヤン、ペシロブ

(72)【発明者】

【氏名】ウェイリン、ワン

【審査官】阿部 潤

(56)【参考文献】

【文献】米国特許出願公開第２０１５／０３１０６３３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０３３０２６９（ＵＳ，Ａ１）

【文献】米国特許第０９９８３７７４（ＵＳ，Ｂ２）

【文献】米国特許出願公開第２０１５／０２７８６４０（ＵＳ，Ａ１）

【文献】国際公開第２０１８／１８１０４１（ＷＯ，Ａ１）

【文献】特開２０１１－２５４７１１（ＪＰ，Ａ）

【文献】特開２０１３－２３００８８（ＪＰ，Ａ）

【文献】特開２０００－１９４８３３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

デジタル画像および機械学習モデルを使用して圃場異常の改善された地図を生成するためのコンピュータにより実施される方法であって、前記方法が、
農業プロットの境界を画定するシェイプファイルを取得するステップと、
前記農業プロットの前記境界内に位置する１台または複数の画像取り込みデバイスから複数のプロット画像を取得するステップと、
プロットレベルの前記農業プロットのプロット地図を作成するために前記複数のプロット画像を較正および前処理するステップと、
前記農業プロットの前記プロット地図に基づいて、プロットグリッドを生成するステップと、
前記プロットグリッドおよび前記プロット地図に基づいて、複数のプロットタイルを生成するステップと、
前記複数のプロットタイルに基づいて、第１の機械学習モデルと、１つまたは複数の第１の異常に対応する複数の第１の画像分類子とを使用して、少なくとも１つの異常を描写する分類されたプロット画像のセットを生成するステップと、
前記分類されたプロット画像のセットに基づいて、前記農業プロットについてのプロット異常地図を生成するステップと、
前記プロット異常地図を、前記農業プロット上で農業機能を行うよう１台または複数の農業機械を制御する１つまたは複数のコントローラに送信するステップと
を含む、コンピュータにより実施される方法。

【請求項2】

前記シェイプファイルが、
圃場の複数の航空画像を取得するステップと、
圃場レベルの前記圃場の圃場地図を作成するために前記複数の航空画像を較正および前処理するステップと、
前記圃場の前記圃場地図に基づいて、圃場グリッドを生成するステップと、
前記圃場グリッドおよび前記圃場地図に基づいて、複数の圃場タイルを生成するステップと、
前記複数の圃場タイルに基づいて、第２の機械学習モデルと、１つまたは複数の第２の異常に対応する複数の第２の画像分類子とを使用して、少なくとも１つの異常を描写する分類された圃場画像のセットを生成するステップと、
前記分類された圃場画像のセットに基づいて、前記圃場についての圃場異常地図を生成するステップと、
前記圃場異常地図に基づいて、前記農業プロットの前記境界を生成するステップと
を行うことによって生成される、請求項１に記載のコンピュータにより実施される方法。

【請求項3】

前記農業プロットが前記圃場の一部である、請求項２に記載のコンピュータにより実施される方法。

【請求項4】

前記プロット異常地図が前記圃場異常地図よりも高い詳細度を有し、
前記複数の第１の画像分類子が前記複数の第２の画像分類子よりも高い詳細度を有し、
前記複数の第１の画像分類子が、１つもしくは複数の列間画像分類子、１つもしくは複数の雑草画像分類子１つもしくは複数の裸地土壌分類子、１つもしくは複数の倒伏分類子、または１つもしくは複数の溜り水分類子、のうちの２つ以上を含み、
前記１つまたは複数の第１の異常が前記１つまたは複数の第２の異常よりも高い詳細度を有する、請求項２に記載のコンピュータにより実施される方法。

【請求項5】

前記シェイプファイルが、前記境界によって画定された前記農業プロットから前記１つまたは複数のプロット画像を取り込むように構成された前記１台または複数の画像取り込みデバイスを制御するために使用される、請求項２に記載のコンピュータにより実施される方法。

【請求項6】

前記複数のプロット画像が、前記１台または複数の画像取り込みデバイスが前記農業プロットの前記境界を指定する前記シェイプファイルの内容に基づいて制御されるときに、前記１台または複数の画像取り込みデバイスによって取り込まれる、請求項２に記載のコンピュータにより実施される方法。

【請求項7】

前記１台または複数の画像取り込みデバイスが、移動式農業機器、固定式農業機器、固定ポスト、固定構造、ハンドヘルドデバイス、またはモバイルデバイス、のいずれかに設置される、請求項２に記載のコンピュータにより実施される方法。

【請求項8】

前記プロットレベルの前記農業プロットの前記プロット地図を作成するために前記複数のプロット画像を較正および前処理する前記ステップが、前記複数のプロット画像を較正するステップ、前記プロット地図を作成するために前記プロットレベルの前記複数のプロット画像をスティッチングするステップ、または前記複数のプロット画像に描写された１つもしくは複数の色を補正するステップ、のうちの１つまたは複数を含む、請求項１に記載のコンピュータにより実施される方法。

【請求項9】

前記プロットレベルの前記農業プロットの前記プロット地図を作成するために前記複数のプロット画像を較正および前処理する前記ステップが、エッジ・テンソル・プロセッシング・ユニット（エッジＴＰＵ）によって行われる、請求項１に記載のコンピュータにより実施される方法。

【請求項10】

前記農業プロットについての前記プロット異常地図が１つまたは複数の特定の異常地図を含み、各特定の異常地図が前記農業プロットについて識別された特定の異常を描写する、請求項１に記載のコンピュータにより実施される方法。

【請求項11】

１台または複数のコンピューティングデバイスによって実行されると、前記１台または複数のコンピューティングデバイスに、
農業プロットの境界を画定するシェイプファイルを取得することと、
前記農業プロットの前記境界内に位置する１台または複数の画像取り込みデバイスから複数のプロット画像を取得することと、
プロットレベルの前記農業プロットのプロット地図を作成するために前記複数のプロット画像を較正および前処理することと、
前記農業プロットの前記プロット地図に基づいて、プロットグリッドを生成することと、
前記プロットグリッドおよび前記プロット地図に基づいて、複数のプロットタイルを生成することと、
前記複数のプロットタイルに基づいて、第１の機械学習モデルと、１つまたは複数の第１の異常に対応する複数の第１の画像分類子とを使用して、少なくとも１つの異常を描写する分類されたプロット画像のセットを生成することと、
前記分類されたプロット画像のセットに基づいて、前記農業プロットについてのプロット異常地図を生成することと、
前記プロット異常地図を、前記農業プロット上で農業機能を行うよう１台または複数の農業機械を制御する１つまたは複数のコントローラに送信することと
を行わせる命令を格納した１つまたは複数の非一時的記憶媒体。

【請求項12】

前記１台または複数のコンピューティングデバイスによって実行されると、前記１台または複数のコンピューティングデバイスに、
圃場の複数の航空画像を取得することと、
圃場レベルの前記圃場の圃場地図を作成するために前記複数の航空画像を較正および前処理することと、
前記圃場の前記圃場地図に基づいて、圃場グリッドを生成することと、
前記圃場グリッドおよび前記圃場地図に基づいて、複数の圃場タイルを生成することと、
前記複数の圃場タイルに基づいて、第２の機械学習モデルと、１つまたは複数の第２の異常に対応する複数の第２の画像分類子とを使用して、少なくとも１つの異常を描写する分類された圃場画像のセットを生成することと、
前記分類された圃場画像のセットに基づいて、前記圃場についての圃場異常地図を生成することと、
前記圃場異常地図に基づいて、前記農業プロットの前記境界を生成することと
を行わせる追加の命令を格納した、請求項１１に記載の１つまたは複数の非一時的記憶媒体。

【請求項13】

前記農業プロットが前記圃場の一部である、請求項１２に記載の１つまたは複数の非一時的記憶媒体。

【請求項14】

前記プロット異常地図が前記圃場異常地図よりも高い詳細度を有し、
前記複数の第１の画像分類子が前記複数の第２の画像分類子よりも高い詳細度を有し、
前記複数の第１の画像分類子が、１つもしくは複数の列間画像分類子、１つもしくは複数の雑草画像分類子１つもしくは複数の裸地土壌分類子、１つもしくは複数の倒伏分類子、または１つもしくは複数の溜り水分類子、のうちの２つ以上を含み、
前記１つまたは複数の第１の異常が前記１つまたは複数の第２の異常よりも高い詳細度を有する、請求項１２に記載の１つまたは複数の非一時的記憶媒体。

【請求項15】

前記シェイプファイルが、前記境界によって画定された前記農業プロットから前記１つまたは複数のプロット画像を取り込むように構成された前記１台または複数の画像取り込みデバイスを制御するために使用される、請求項１２に記載の１つまたは複数の非一時的記憶媒体。

【請求項16】

前記複数のプロット画像が、前記１台または複数の画像取り込みデバイスが前記農業プロットの前記境界を指定する前記シェイプファイルの内容に基づいて制御されるときに、前記１台または複数の画像取り込みデバイスによって取り込まれる、請求項１２に記載の１つまたは複数の非一時的記憶媒体。

【請求項17】

前記１台または複数の画像取り込みデバイスが、移動式農業機器、固定式農業機器、固定ポスト、固定構造、ハンドヘルドデバイス、またはモバイルデバイス、のいずれかに設置される、請求項１２に記載の１つまたは複数の非一時的記憶媒体。

【請求項18】

前記プロットレベルの前記農業プロットの前記プロット地図を作成するために前記複数のプロット画像を前記較正および前処理することが、前記複数のプロット画像を較正すること、前記プロット地図を作成するために前記プロットレベルの前記複数のプロット画像をスティッチングすること、または前記複数のプロット画像に描写された１つもしくは複数の色を補正すること、のうちの１つまたは複数を実行することを含む、請求項１１に記載の１つまたは複数の非一時的記憶媒体。

【請求項19】

前記プロットレベルの前記農業プロットの前記プロット地図を作成するために前記複数のプロット画像を前記較正および前処理することが、エッジ・テンソル・プロセッシング・ユニット（エッジＴＰＵ）によって行われる、請求項１１に記載の１つまたは複数の非一時的記憶媒体。

【請求項20】

前記農業プロットについての前記プロット異常地図が１つまたは複数の特定の異常地図を含み、各特定の異常地図が前記農業プロットについて識別された特定の異常を描写する、請求項１１に記載の１つまたは複数の非一時的記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

利益の主張
本出願は、その全内容が本明細書に全文が記載されている場合と同様にあらゆる目的で参照により本明細書に組み込まれる、２０１８年１２月１０日に出願された仮出願第６２／７７７，７４８号の非仮出願としての米国特許法第１１９条に基づく利益を主張するものである。本出願人らは、ここに、親出願における特許請求の範囲またはその審査履歴の放棄を取り消し、本出願における特許請求の範囲が親出願における請求よりも広い可能性があることを米国特許商標庁に通知する。

【0002】

著作権表示
この特許文書の開示の一部は、著作権保護の対象となる資料を含む。著作権者は、特許商標庁への提出物または記録に記載されているように、特許文書または特許開示のいずれかによるファクシミリ複製に異議を唱えないが、それ以外のあらゆる著作権または権利を留保する。（著作権）２０１５～２０１９ Ｔｈｅ Ｃｌｉｍａｔｅ Ｃｏｒｐｏｒａｔｉｏｎ。

【0003】

本開示の分野
本開示の１つの技術分野は、デジタル画像のコンピュータにより実施される分析である。別の技術分野は、圃場のデジタル画像、典型的には衛星、無人航空機またはその他の航空機を使用して地上から得られた画像のコンピュータにより実施される解釈および分析である。

【背景技術】

【0004】

本項に記載されている手法は、追求され得る手法であるが、必ずしも以前に考案または追求された手法ではない。したがって、別段の指示がない限り、本項に記載される手法のいずれも、単にそれらが本項に含まれるからといって先行技術とみなされると想定されるべきではない。

【0005】

精密農業における取り組みの１つは、圃場の異常なエリアの割合を正確に測定することである。栽培者は、自分の圃場における倒伏および雑草の程度および深刻さ、ならびにそれらの異常の収量影響を理解したいと切望することがよくある。近年、多くの画像化の手法、特にＵＡＶベースの画像化の方法が、圃場の倒伏および雑草を検出するために研究されている。例えば、Ｃｈｕら（２０１７）は、ＵＡＶによって測定されたキャノピーの色および草高の情報に基づいてトウモロコシの倒伏率を評価した。Ｈｕａｎｇら（２０１８）は、圃場内の雑草分布を評価するために高解像度のＵＡＶ画像化システムを適用した。しかしながら、倒伏、裸地土壌および雑草を自動化された方法で正確かつ同時に検出および分類することができる体系的な手法はない。

【0006】

倒伏または機器損傷および雑草検出のための特定の手法は、ＬｉＤＡＲおよびハイパースペクトルセンサなどの高価なセンサ、またはＳｆＭ（Ｓｕｒｆａｃｅ ｆｒｏｍ Ｍｏｔｉｏｎ）（数値表層モデル（Ｄｉｇｉｔａｌ Ｓｕｒｆａｃｅ Ｍｏｄｅｌ））などの高度で時間のかかる後処理を使用してきた。これらの手法のスループットは制限されることが多く、よって、商業的な運用または複数の圃場への拡張が困難である。

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記により、デジタル画像に基づいて圃場における異常を判定するための改善された効率的なコンピュータにより実施される方法が必要である。

【課題を解決するための手段】

【0008】

添付の特許請求の範囲は、本開示の概要の役割を果たし得る。

【0009】

図面において：

【図面の簡単な説明】

【0010】

【図1】システムが相互運用し得る他の装置と共に圃場環境に示された、本明細書に記載の機能を行うように構成されている例示的なコンピュータシステムを示す図である。

【0011】

【図2】例示的なモバイルアプリケーションが実行のためにロードされるときのメインメモリ内の命令セットの例示的な論理構成を示す２つの図である。

【0012】

【図3】農業インテリジェンス・コンピュータ・システムが、１つまたは複数のデータソースによって提供された農学的データを使用して１つまたは複数の事前構成された農学モデルを生成するためのプログラムされたプロセスを示す図である。

【0013】

【図4】本発明の一実施形態が実施され得るコンピュータシステムを示すブロック図である。

【0014】

【図5】データ入力のためのタイムラインビューの例示的な実施形態を示す図である。

【0015】

【図6】データ入力のためのスプレッドシートビューの例示的な実施形態を示す図である。

【0016】

【図7】機械学習モデルを使用して圃場異常地図を生成するためのデジタル画像の例示的な処理を示す図である。

【0017】

【図8】機械学習モデルを使用して圃場異常地図を生成するための航空画像およびＵＡＶ画像の例示的な処理を示す図である。

【0018】

【図9】機械学習モデルを使用して圃場異常地図を生成するための地上画像の例示的な処理を示す図である。

【0019】

【図10】機械学習モデルおよびエッジＴＰＵを使用して圃場異常地図を生成するための地上画像の例示的な処理を示す図である。

【0020】

【図11】機械学習モデルを使用して圃場異常地図を生成するために画像を分類するための例示的な機械学習法を示す図である。

【0021】

【図12】機械学習モデルを使用して圃場異常地図を生成するための機械学習法を使用した例示的な画像分類を示す図である。

【0022】

【図13】機械学習モデルを使用して圃場異常地図を生成するための機械学習法を使用した画像分類の一例を示す図である。

【0023】

【図14】機械学習モデルを使用して圃場異常地図を生成するためのニューラルネットワーク構成の一例を示す図である。

【0024】

【図15】機械学習モデルを使用して圃場異常地図を生成するために航空画像およびＵＡＶ画像を処理するための例示的なフローチャートである。

【0025】

【図16】機械学習モデルを使用して圃場異常地図を生成するために地上画像を処理するための例示的なフローチャートである。

【発明を実施するための形態】

【0026】

以下の説明では、説明を目的として、本開示の十分な理解を提供するために多くの具体的な詳細が示される。しかしながら、実施形態がこれらの具体的な詳細なしで実施され得ることは明らかであろう。他の例では、本開示を不必要に不明瞭にすることを避けるために、周知の構造およびデバイスがブロック図形式で示されている。実施形態は、以下の概要による項で開示される。
１．全体概要
２．例示的な農業インテリジェンス・コンピュータ・システム
２．１．構造概要
２．２．アプリケーションプログラムの概要
２．３．コンピュータシステムへのデータ取り込み
２．４．プロセス概要－農学モデル訓練
２．５．実施態様の例－ハードウェア概要
３．デジタル画像処理の手法
３．１．航空画像のデジタル画像処理
３．２．地上画像のデジタル画像処理
４．航空画像およびＵＡＶ画像の例示的な処理
５．地上画像の例示的な処理
６．地上画像処理の例示的な実施態様
６．１．例示的なエッジコンピューティングの実施態様
６．２．例示的なエッジＴＰＵコンピューティングの実施態様
７．例示的な機械学習法
８．例示的な分類子
９．例示的な画像分類
１０．例示的なニューラルネットワーク構成
１１．航空画像処理およびＵＡＶ画像処理のための例示的なフローチャート
１２．地上画像処理のための例示的なフローチャート
１３．特定の実施形態の利点

【0027】

１．全体概要

【0028】

一実施形態では、無人航空機（ＵＡＶ）プラットフォームなどの航空機および／または地上車両プラットフォームから収集されたカラー（赤緑青）および近赤外（ＮＩＲ）画像からのトウモロコシ畑における倒伏、裸地土壌、および雑草のパッチの検出および地図作成のための機械学習法が提供される。地上車両は、ハーベスタ、コンバイン、または圃場で動作するその他の装置を含み得る。実施形態で使用されるデジタル画像は、赤色画素、緑色画素、青色画素およびＮＩＲ画素またはその他の成分を有するマルチチャネルデータを含み得る。

【0029】

２．例示的な農業インテリジェンス・コンピュータ・システム

【0030】

２．１構造概要

【0031】

図１に、システムが相互運用し得る他の装置と共に圃場環境に示された、本明細書に記載の機能を行うように構成されている例示的なコンピュータシステムを示す。一実施形態では、ユーザ１０２は、圃場位置にある、または農業活動を目的とした用地や１つもしくは複数の圃場の管理位置などの圃場位置と関連付けられた、圃場マネージャ・コンピューティング・デバイス１０４を所有、運営、または占有している。圃場マネージャ・コンピュータ・デバイス１０４は、１つまたは複数のネットワーク１０９を介して圃場データ１０６を農業インテリジェンス・コンピュータ・システム１３０に提供するようにプログラムまたは構成されている。

【0032】

圃場データ１０６の例には、（ａ）識別データ（例えば、地所、圃場名、圃場識別子、地理的識別子、境界識別子、農作物識別子、共通土地単位（ＣＬＵ）、ロット番号およびブロック番号、地番、地理座標および境界、農場シリアルナンバー（ＦＳＮ）、農場番号、トラクト番号、圃場番号、セクション、タウンシップ、ならびに／またはレンジなどの農地を識別するために使用され得る任意の他の適切なデータ）、（ｂ）収穫データ（例えば、農作物種類、農作物品種、輪作、農作物が有機栽培されているかどうか、収穫日、実際の生産履歴（Ａｃｔｕａｌ Ｐｒｏｄｕｃｔｉｏｎ Ｈｉｓｔｏｒｙ（ＡＰＨ））、予想収量、収量、農作物価格、農作物収入、穀粒水分、耕作方式、および前の栽培期情報）、（ｃ）土壌データ（例えば、種類、組成、ｐＨ、有機物（ＯＭ）、陽イオン交換容量（ＣＥＣ））、（ｄ）植え付けデータ（例えば、植え付け日、（１つまたは複数の）種子の種類、植え付けられた（１つまたは複数の）種子の相対的な成熟度（ＲＭ）、種子個体数）、（ｅ）肥料データ（例えば、栄養素の種類（窒素、リン、カリウム）、施用の種類、施用日、量、供給源、方法）、（ｆ）化学物質施用データ（例えば、農薬、除草剤、殺菌剤、植物生長調節剤、枯れ葉剤、または乾燥剤として使用するためのその他の物質または物質の混合物、施用日、量、供給源、方法）、（ｇ）灌漑データ（例えば、施用日、量、供給源、方法）、（ｈ）気象データ（例えば、降水量、降雨強度、予想降雨量、水の流出率領域、温度、風、予測、圧力、可視性、雲、熱指数、露点、湿度、積雪量、大気質、日の出、日没）（ｉ）画像データ（例えば、農業装置センサ、カメラ、コンピュータ、スマートフォン、タブレット無人航空機、飛行機または衛星からの画像および光スペクトル情報）、（ｊ）スカウティング観測（写真、映像、自由形式のメモ、音声記録、音声書き起こし、気象条件（温度、降水（現在および経時）、土壌水分、農作物成長段階、風速、相対湿度、露点、黒色層））、（ｋ）土壌、種子、農作物季節学、有害生物および病気の報告、ならびに予測ソースおよびデータベース、が含まれる。

【0033】

データ・サーバ・コンピュータ１０８は、農業インテリジェンス・コンピュータ・システム１３０に通信可能に結合され、（１つまたは複数の）ネットワーク１０９を介して農業インテリジェンス・コンピュータ・システム１３０に外部データ１１０を送信するようにプログラムまたは構成される。外部データ・サーバ・コンピュータ１０８は、農業インテリジェンス・コンピュータ・システム１３０と同じ法人もしくは企業体によって、または政府機関、非政府組織（ＮＧＯ）、および／もしくは民間データサービス提供者などの異なる個人もしくは企業体によって所有または運営され得る。外部データの例には、特に、気象データ、画像データ、土壌データ、または農作物収量に関する統計データが含まれる。外部データ１１０は、圃場データ１０６と同じ種類の情報から構成され得る。いくつかの実施形態では、外部データ１１０は、農業インテリジェンス・コンピュータ・システム１３０を所有および／または運営するのと同じ企業体によって所有される外部データサーバ１０８によって提供される。例えば、農業インテリジェンス・コンピュータ・システム１３０は、気象データなどの、通常は第三者ソースから取得され得る種類のデータのみに焦点を合わせたデータサーバを含み得る。いくつかの実施形態では、外部データサーバ１０８がシステム１３０内に組み込まれ得る。

【0034】

農業装置１１１には、１つまたは複数のリモートセンサ１１２が取り付けられ得、これらのセンサは、農業インテリジェンス・コンピュータ・システム１３０に直接、または農業装置１１１を介して間接的に通信可能に結合され、センサデータを農業インテリジェンス・コンピュータ・システム１３０に送信するようにプログラムまたは構成される。農業装置１１１の例には、トラクタ、コンバイン、ハーベスタ、プランタ、トラック、肥料機器、無人航空機を含む航空ビークル、および農業と関連付けられた作業で使用され得る、典型的には移動式の機械である、物理機械またはハードウェアの任意の他の物品が含まれる。いくつかの実施形態では、装置１１１の単一ユニットが、装置上のネットワークでローカルに結合された複数のセンサ１１２を含み得、コントローラ・エリア・ネットワーク（ＣＡＮ）が、コンバイン、ハーベスタ、噴霧機、および耕運機に設置することができるそのようなネットワークの例である。アプリケーションコントローラ１１４は、（１つまたは複数の）ネットワーク１０９を介して農業インテリジェンス・コンピュータ・システム１３０に通信可能に結合され、農業車両の動作パラメータを制御するために使用されるか、または農業インテリジェンス・コンピュータ・システム１３０から実施される１つまたは複数のスクリプトを受信するようにプログラムまたは構成される。例えば、コントローラ・エリア・ネットワーク（ＣＡＮ）・バス・インターフェースは、Ｔｈｅ Ｃｌｉｍａｔｅ Ｃｏｒｐｏｒａｔｉｏｎ、カリフォルニア州サンフランシスコ、から入手可能なＣＬＩＭＡＴＥ ＦＩＥＬＤＶＩＥＷ ＤＲＩＶＥがどのように使用されるかなど、農業インテリジェンス・コンピュータ・システム１３０から農業装置１１１への通信を可能にするために使用され得る。センサデータは、圃場データ１０６と同じ種類の情報からなり得る。いくつかの実施形態では、リモートセンサ１１２は、農業装置１１１に固定されていない場合もあり、圃場にリモートに位置し得、ネットワーク１０９と通信し得る。

【0035】

装置１１１は、本明細書の他の項でさらに説明されるデバイス１０４用のモバイルアプリケーションのバージョンまたは変形を含み得る、運転室アプリケーションでプログラムされた運転室コンピュータ１１５を含み得る。一実施形態では、運転室コンピュータ１１５は、装置１１１の運転室内に取り付けられたカラーディスプレイなどのグラフィカル・スクリーン・ディスプレイを有するコンパクトなコンピュータ、多くの場合タブレットサイズのコンピュータまたはスマートフォンを含む。運転室コンピュータ１１５は、モバイル・コンピュータ・デバイス１０４について本明細書でさらに説明される動作および機能の一部またはすべてを実装し得る。

【0036】

（１つまたは複数の）ネットワーク１０９は、地上波リンクまたは衛星リンクを含む、有線リンクまたは無線リンクのいずれかを使用する、ローカル・エリア・ネットワーク、広域ネットワーク、相互接続ネットワークまたはインターネットを含む１つまたは複数のデータ通信ネットワークの任意の組み合わせを広く表す。（１つまたは複数の）ネットワークは、図１の様々な要素間のデータの交換を提供する任意の媒体または機構によって実施され得る。図１の様々な要素はまた、直接の（有線または無線の）通信リンクを有していてもよい。センサ１１２、コントローラ１１４、外部データ・サーバ・コンピュータ１０８、およびシステムの他の要素は、（１つまたは複数の）ネットワーク１０９と互換性のあるインターフェースを各々備え、ＴＣＰ／ＩＰ、Ｂｌｕｅｔｏｏｔｈ、ＣＡＮプロトコル、およびＨＴＴＰ、ＴＬＳなどの上位層プロトコルなどのネットワークを介した通信のための標準化されたプロトコルを使用するようにプログラムまたは構成される。

【0037】

農業インテリジェンス・コンピュータ・システム１３０は、圃場マネージャ・コンピューティング・デバイス１０４からの圃場データ１０６、外部データ・サーバ・コンピュータ１０８からの外部データ１１０、およびリモートセンサ１１２からのセンサデータを受信するようにプログラムまたは構成される。農業インテリジェンス・コンピュータ・システム１３０は、本開示の他の項でさらに説明されるように、データ値の変換および格納、１つまたは複数の圃場上の１つまたは複数の農作物のデジタルモデルの構築、助言および通知の生成、ならびにスクリプトの生成およびアプリケーションコントローラ１１４への送信を行うために、１つまたは複数のコンピュータプログラム、他のソフトウェア要素、ＦＰＧＡやＡＳＩＣなどのデジタル的にプログラムされた論理、またはそれらの任意の組み合わせをホストし、使用し、または実行するようにさらに構成され得る。

【0038】

一実施形態では、農業インテリジェンス・コンピュータ・システム１３０は、通信層１３２、プレゼンテーション層１３４、データ管理層１４０、ハードウェア／仮想化層１５０、モデルおよび圃場データリポジトリ１６０、ならびにコード命令１８０でプログラムされるか、またはそれらを含む。「層」は、この文脈では、電子デジタルインターフェース回路、マイクロコントローラ、ドライバなどのファームウェア、および／またはコンピュータプログラムもしくはその他のソフトウェア要素の任意の組み合わせを指す。

【0039】

通信層１３２は、圃場マネージャ・コンピューティング・デバイス１０４、外部データ・サーバ・コンピュータ１０８、およびリモートセンサ１１２に、それぞれ、圃場データ、外部データ、およびセンサデータを求める要求を送信することを含む入力／出力インターフェース機能を行うようにプログラムまたは構成され得る。通信層１３２は、受信したデータを、圃場データ１０６として格納されるように、モデルおよび圃場データリポジトリ１６０に送信するようにプログラムまたは構成され得る。

【0040】

コード命令１８０は、１つまたは複数のコンピュータプロセッサによって実行されると、プロセッサに、デジタル画像および機械学習モデルを使用して圃場異常の改善された地図を生成するための手法を行わせる一組のプログラミングコード命令のセットを含み得る。一実施形態では、コード命令１８０は、画像較正命令１３６、画像スティッチング命令１３７、グリッド生成命令１３８、および画像分類命令１３９を含む。

【0041】

画像較正命令１３６は、航空生画像、ＵＡＶ生画像、地上生画像などの生画像の画像較正を行うように構成され得る。画像較正は、画像の色、明るさ、彩度などを強調または補正することを含み得る。画像較正はまた、画像のガンマ補正、および誤ってまたは矛盾しているように見える画像内の画素の画素補正を含み得る。

【0042】

画像スティッチング命令１３７は、複数の画像を大きな画像にスティッチングまたは連結するように構成され得る。スティッチングは、複数の画像の各画像のエッジを決定すること、正確なスティッチングを行うために必要に応じてエッジを補正すること、および画像を連結してコヒーレントな大きな画像にすることを含み得る。

【0043】

グリッド生成命令１３８は、スティッチングされた画像などの画像用のグリッドテンプレートを生成するように構成され得る。一実施形態では、グリッドは、画像全体を横断するように行と列とに配列された複数の長方形を含み得る。別の実施形態では、グリッドは、画像全体を覆う複数の六角形または他の形状を含み得る。

【0044】

画像分類命令１３９は、画像に１つまたは複数の画像分類子を適用するように構成され得る。画像分類子は、例えば、異常のサンプルを描写した画像、またはサムネイル画像であり得る。異常の例には、裸地土壌異常、倒伏異常、雑草異常、溜り水異常などが含まれる。

【0045】

プレゼンテーション層１３４は、圃場マネージャ・コンピューティング・デバイス１０４、運転室コンピュータ１１５、またはネットワーク１０９を介してシステム１３０に結合された他のコンピュータに表示されるべきグラフィカル・ユーザ・インターフェース（ＧＵＩ）を生成するようにプログラムまたは構成され得る。ＧＵＩは、農業インテリジェンス・コンピュータ・システム１３０に送信されるべきデータを入力し、モデルおよび／もしくは助言を求める要求を生成し、かつ／または助言、通知、モデル、および他の圃場データを表示するためのコントロールを含み得る。

【0046】

データ管理層１４０は、システムの機能要素とリポジトリとの間で通信される問い合わせおよび結果セットを含む、リポジトリ１６０およびシステムの他の機能要素を含む読み出し動作および書き込み動作を管理するようにプログラムまたは構成され得る。データ管理層１４０の例には、特に、ＪＤＢＣ、ＳＱＬサーバ・インターフェース・コード、および／またはＨＡＤＯＯＰインターフェースコードが含まれる。リポジトリ１６０は、データベースを含み得る。本明細書で使用される場合、「データベース」という用語は、データ本体、リレーショナルデータベース管理システム（ＲＤＢＭＳ）、またはその両方を指し得る。本明細書で使用される場合、データベースは、階層データベース、リレーショナルデータベース、フラット・ファイル・データベース、オブジェクトリレーショナルデータベース、オブジェクト指向データベース、分散データベース、およびコンピュータシステムに格納されたレコードまたはデータの任意の他の構造化された集合を含むデータの任意の集合を含み得る。ＲＤＢＭＳの例には、ＯＲＡＣＬＥ（登録商標）、ＭＹＳＱＬ、ＩＢＭ（登録商標）ＤＢ２、ＭＩＣＲＯＳＯＦＴ（登録商標）ＳＱＬ ＳＥＲＶＥＲ、ＳＹＢＡＳＥ（登録商標）、およびＰＯＳＴＧＲＥＳＱＬデータベースが含まれるが、これらに限定されない。しかしながら、本明細書に記載のシステムおよび方法を可能にする任意のデータベースが使用され得る。

【0047】

圃場データ１０６が、農業インテリジェンス・コンピュータ・システムと対話する１台または複数の農業機械または農業機械装置を介して農業インテリジェンス・コンピュータ・システムに直接提供されない場合、ユーザは、そのような情報を入力するために（農業インテリジェンス・コンピュータ・システムによって提供される）ユーザデバイス上の１つまたは複数のユーザインターフェースを介して促され得る。例示的な実施形態では、ユーザは、（農業インテリジェンス・コンピュータ・システムによって提供される）ユーザデバイス上の地図にアクセスし、地図上にグラフィカルに示されている特定のＣＬＵを選択することによって識別データを指定し得る。代替的な実施形態では、ユーザ１０２は、（農業インテリジェンス・コンピュータ・システム１３０によって提供される）ユーザデバイス上の地図にアクセスし、地図上に圃場の境界を描くことによって識別データを指定し得る。そのようなＣＬＵ選択または地図描画は、地理的識別子を表す。代替的な実施形態では、ユーザは、ユーザデバイスを介して米国農務省農場サービス局または他のソースからの圃場識別データ（シェイプファイルとして、または同様のフォーマットで提供される）にアクセスし、そのような圃場識別データを農業インテリジェンス・コンピュータ・システムに提供することによって、識別データを指定し得る。

【0048】

例示的な実施形態では、農業インテリジェンス・コンピュータ・システム１３０は、データ入力のためのデータマネージャを含むグラフィカル・ユーザ・インターフェースを生成し、表示させるようにプログラムされる。上述の方法を使用して１つまたは複数の圃場が識別された後、データマネージャは、選択されると、圃場、土壌、農作物、耕作、または栄養素の作業方法の変更を識別することができる１つまたは複数のグラフィカル・ユーザ・インターフェース・ウィジェットを提供し得る。データマネージャは、タイムラインビュー、スプレッドシートビュー、および／または１つもしくは複数の編集可能なプログラムを含み得る。

【0049】

図５に、データ入力のためのタイムラインビューの例示的な実施形態を示す。図５に示されるディスプレイを使用して、ユーザコンピュータは、イベントを追加するために特定の圃場および特定の日付の選択を入力することができる。タイムラインの上部に示されるイベントは、窒素、植え付け、作業方法、および土壌を含み得る。窒素施用イベントを追加するために、ユーザコンピュータは、窒素タブを選択する入力を提供し得る。次いで、ユーザコンピュータは、選択された圃場上の窒素の施用を指示するために、特定の圃場のタイムライン上の位置を選択し得る。特定の圃場のタイムライン上の位置の選択を受信したことに応答して、データマネージャは、データ入力オーバーレイを表示し、ユーザコンピュータが、窒素施用、植え付け手順、土壌施用、耕作手順、灌漑作業方法、または特定の圃場に関する他の情報に係るデータを入力することを可能にし得る。例えば、ユーザコンピュータがタイムラインの一部を選択し、窒素の施用を指示する場合には、データ入力オーバーレイは、施用された窒素の量、施用日、使用された肥料の種類、および窒素の施用に関連する任意の他の情報を入力するためのフィールドを含み得る。

【0050】

一実施形態では、データマネージャは、１つまたは複数のプログラムを作成するためのインターフェースを提供する。「プログラム」は、この文脈では、窒素施用、植え付け手順、土壌施用、耕作手順、灌漑作業方法、または１つもしくは複数の圃場に関連し得る他の情報に係る、設定済みの操作として再利用するためにデジタル・データ・ストレージに格納することができるデータセットを指す。プログラムは、作成された後、１つまたは複数の圃場に概念的に施用され得、プログラムへの参照は、圃場を識別するデータと関連付けてデジタルストレージに格納され得る。よって、複数の異なる圃場に対して同じ窒素施用に関する同一のデータを手入力する代わりに、ユーザコンピュータは、窒素の特定の施用を指示するプログラムを作成し、次いでそのプログラムを複数の異なる圃場に適用し得る。例えば、図５のタイムラインビューでは、上２つのタイムラインには、４月初めの１５０ポンドのＮ／ａｃの施用を含む「春施用」プログラムが選択されている。データマネージャは、プログラムを編集するためのインターフェースを提供し得る。一実施形態では、プログラムが編集されるとき、特定のプログラムを選択している各圃場が編集される。例えば、図５では、「春施用」プログラムが、窒素の施用を１３０ポンドのＮ／ａｃに減らすように編集される場合、上２つの圃場は、編集されたプログラムに基づいて窒素の低減された施用で更新され得る。

【0051】

一実施形態では、プログラムが選択されている圃場に対する編集を受け取ったことに応答して、データマネージャは、圃場と選択されたプログラムとの対応関係を削除する。例えば、図５の一番上の圃場に窒素施用が追加される場合、インターフェースは、「春施用」プログラムが一番上の圃場に適用されなくなることを指示するように更新し得る。４月初めの窒素施用は残り得るが、「春施用」プログラムの更新は窒素の４月の施用を変更しない。

【0052】

図６に、データ入力のためのスプレッドシートビューの例示的な実施形態を示す。図６に示されるディスプレイを使用して、ユーザは、１つまたは複数の圃場の情報を作成および編集することができる。データマネージャは、図６に示されるように、窒素、植え付け、作業方法、および土壌に関する情報を入力するためのスプレッドシートを含み得る。特定のエントリを編集するために、ユーザコンピュータは、スプレッドシート内の特定のエントリを選択し、値を更新し得る。例えば、図６は、２番目の圃場の目標収量値への進行中の更新を示している。加えて、ユーザコンピュータは、１つまたは複数のプログラムを適用するために１つまたは複数の圃場を選択し得る。特定の圃場のプログラムの選択を受け取ったことに応答して、データマネージャは、選択されたプログラムに基づいて特定の圃場のエントリを自動的に完了し得る。タイムラインビューと同様に、データマネージャは、プログラムへの更新を受け取ったことに応答して、特定のプログラムと関連付けられた各圃場のエントリを更新し得る。加えて、データマネージャは、圃場のエントリの１つに対する編集を受け取ったことに応答して、選択されたプログラムと圃場との対応関係を削除し得る。

【0053】

一実施形態では、モデルおよび圃場データは、モデルおよび圃場データリポジトリ１６０に格納される。モデルデータは、１つまたは複数の圃場について作成されたデータモデルを含む。例えば、農作物モデルは、１つまたは複数の圃場での農作物の成長のデジタル的に構築されたモデルを含み得る。「モデル」は、この文脈では、互いに関連付けられた、電子的なデジタル的に格納された実行可能命令およびデータ値のセットを指し、これらは、特に、コンピュータにより実施される助言、出力データ表示、または機械制御の基礎として機能することができる１つまたは複数の格納または計算された出力値を得るために、指定された入力値に基づく解決を求めるプログラム的またはその他のデジタル呼び出し、呼び出し、または要求を受け取り、応答することができる。当業者には、数学的方程式を使用してモデルを表現することが便利であることが分かるが、その表現形式は、本明細書で開示されるモデルを抽象概念に限定するものではない。代わりに、本明細書の各モデルは、コンピュータを使用してモデルを実装する格納された実行可能命令およびデータの形態のコンピュータにおける実用的な用途を有する。モデルは、１つまたは複数の圃場上の過去のイベントのモデル、１つまたは複数の圃場の現在の状況のモデル、および／または１つまたは複数の圃場上の予測されるイベントのモデルを含み得る。モデルおよび圃場データは、メモリ内のデータ構造、データベーステーブルの行、フラットファイルもしくはスプレッドシート、または他の形態の格納されたデジタルデータに格納され得る。

【0054】

一実施形態では、デジタル画像処理命令１３５は、実行可能命令がロードされており、実行されると、農業インテリジェンス・コンピュータ・システムに、それらのモジュールに関して本明細書に記載されている機能または動作を実行させる、農業インテリジェンス・コンピュータ・システム１３０内のＲＡＭなどのメインメモリの１つまたは複数のページのセットを含む。命令は、ＣＰＵの命令セット内の機械実行可能コードであってもよく、単独で、またはＪＡＶＡＳＣＲＩＰＴのスクリプト、他のスクリプト言語および他のプログラミング・ソース・テキストと組み合わせて、ＪＡＶＡ、Ｃ、Ｃ＋＋、ＯＢＪＥＣＴＩＶＥ－Ｃ、または任意の他の人間可読プログラミング言語もしくは環境で書かれたソースコードに基づいてコンパイルされていてもよい。「ページ」という用語は、メインメモリ内の任意の領域を広く指すことを意図されており、システムで使用される特定の用語は、メモリアーキテクチャまたはプロセッサアーキテクチャに応じて異なり得る。別の実施形態では、デジタル画像処理命令１３５はまた、コンパイルまたは解釈されると、実行されると、農業インテリジェンス・コンピュータ・システムに、それらのモジュールに関して本明細書に記載されている機能または動作を行わせる実行可能命令を生成させる、農業インテリジェンス・コンピュータ・システム１３０または別個のリポジトリシステム内の不揮発性ＲＡＭやディスクストレージなどの大容量記憶デバイスにデジタル的に格納されたソースコードの１つまたは複数のファイルまたはプロジェクトを表し得る。言い換えれば、図面は、農業インテリジェンス・コンピュータ・システム１３０による実行のために、プログラマまたはソフトウェア開発者が、後でコンパイルして実行可能ファイルにするか、または解釈してバイトコードもしくは同等物にするためにソースコードを編成および配置する方法を表し得る。

【0055】

ハードウェア／仮想化層１５０は、例えば、図４に関連して図示および説明されているような、１つまたは複数の中央処理装置（ＣＰＵ）、とメモリコントローラと、揮発性または不揮発性メモリ、ディスクなどの不揮発性ストレージ、および入出力デバイスまたはインターフェースなどのコンピュータシステムの他のデバイス、構成要素、または要素とを含む。層１５０はまた、仮想化、コンテナ化、または他の技術をサポートするように構成されたプログラム命令も含み得る。

【0056】

明確な例を示すために、図１は、特定の機能要素の限られた数の実例を示している。しかしながら、他の実施形態では、任意の数のそのような要素が存在し得る。例えば、実施形態は、異なるユーザと関連付けられた数千または数百万の異なるモバイル・コンピューティング・デバイス１０４を使用し得る。さらに、システム１３０および／または外部データ・サーバ・コンピュータ１０８は、個別の場所で構成されるか、またはデータセンタ、共有コンピューティング施設またはクラウドコンピューティング施設内に他の要素と同じ場所に配置された、物理マシンまたは仮想マシンの２つ以上のプロセッサ、コア、クラスタ、またはインスタンスを使用して実装されてもよい。

【0057】

２．２．アプリケーションプログラムの概要

【0058】

一実施形態では、１台または複数の汎用コンピュータにロードされ、１台または複数の汎用コンピュータを使用して実行される１つまたは複数のコンピュータプログラムまたは他のソフトウェア要素を使用して本明細書に記載の機能を実装することにより、汎用コンピュータは、本明細書に記載の機能を行うように特に適合された機械またはコンピュータとして構成される。さらに、本明細書でさらに説明されるフロー図の各々は、単独で、または本明細書の散文のプロセスおよび機能の説明と組み合わせて、説明される機能を実施するコンピュータまたは論理をプログラムするために使用され得るアルゴリズム、計画、または指図として機能し得る。言い換えれば、本明細書のすべての散文テキスト、およびすべての図面は、共に、当業者が、この種の発明および開示に適したレベルの技能を与えられた当業者の技能および知識と組み合わせて、本明細書に記載の機能を行うようにコンピュータをプログラムすることを可能にするのに十分なアルゴリズム、計画または指図の開示を提供することを意図されている。

【0059】

一実施形態では、ユーザ１０２は、オペレーティングシステムおよび１つまたは複数のアプリケーションプログラムまたはアプリで構成された圃場マネージャ・コンピューティング・デバイス１０４を使用して農業インテリジェンス・コンピュータ・システム１３０と対話し、圃場マネージャ・コンピューティング・デバイス１０４はまた、プログラム制御または論理制御の下で独立して自動的に農業インテリジェンス・コンピュータ・システムと相互運用し得、直接的なユーザ対話は必ずしも必要ではない。圃場マネージャ・コンピューティング・デバイス１０４は、情報を送受信し、本明細書に記載の機能を行うことができる１台または複数のスマートフォン、ＰＤＡ、タブレット・コンピューティング・デバイス、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、または任意の他のコンピューティングデバイスを広く表す。圃場マネージャ・コンピューティング・デバイス１０４は、圃場マネージャ・コンピューティング・デバイス１０４に格納されたモバイルアプリケーションを使用してネットワークを介して通信し得、いくつかの実施形態では、デバイスは、ケーブル１１３またはコネクタを使用してセンサ１１２および／またはコントローラ１１４に結合され得る。特定のユーザ１０２は、システム１３０に関連して、一度に複数の圃場マネージャ・コンピューティング・デバイス１０４を所有、操作、または占有し、使用し得る。

【0060】

モバイルアプリケーションは、ネットワークを介して１台または複数のモバイル・コンピューティング・デバイスにクライアント側の機能を提供し得る。例示的な実施形態では、圃場マネージャ・コンピューティング・デバイス１０４は、ウェブブラウザまたはローカル・クライアント・アプリケーションもしくはアプリを介してモバイルアプリケーションにアクセスし得る。圃場マネージャ・コンピューティング・デバイス１０４は、ＨＴＴＰ、ＸＭＬおよび／もしくはＪＳＯＮなどのウェブベースのプロトコルもしくはフォーマット、またはアプリ固有のプロトコルを使用して、１つまたは複数のフロントエンドサーバにデータを送信し、そこからデータを受信し得る。例示的な実施形態では、データは、モバイル・コンピューティング・デバイスへの、要求および圃場データなどのユーザ情報入力の形態をとり得る。いくつかの実施形態では、モバイルアプリケーションは、無線信号のマルチラテレーション、全地球測位システム（ＧＰＳ）、Ｗｉ－Ｆｉ測位システム、または他のモバイル測位方法などの標準的な追跡技術を使用して圃場マネージャ・コンピューティング・デバイス１０４の位置を決定する、圃場マネージャ・コンピューティング・デバイス１０４上の位置追跡ハードウェアおよびソフトウェアと対話する。場合によっては、デバイス１０４、ユーザ１０２、および／または（１つもしくは複数の）ユーザアカウントと関連付けられた位置データまたは他のデータが、デバイスのオペレーティングシステムへの問い合わせによって、またはデバイス上のアプリにオペレーティングシステムからデータを取得するよう要求することによって取得され得る。

【0061】

一実施形態では、圃場マネージャ・コンピューティング・デバイス１０４は、１つまたは複数の圃場の地理的位置、１つまたは複数の圃場の耕作情報、１つまたは複数の圃場に植え付けられた農作物、および１つまたは複数の圃場から抽出された土壌データ、のうちの１つまたは複数を表すデータ値を構成するかまたは含むがこれらに限定されない圃場データ１０６を農業インテリジェンス・コンピュータ・システム１３０に送信する。圃場マネージャ・コンピューティング・デバイス１０４は、１つまたは複数の圃場のデータ値を指定するユーザ１０２からのユーザ入力に応答して圃場データ１０６を送信し得る。加えて、圃場マネージャ・コンピューティング・デバイス１０４は、データ値のうちの１つまたは複数が圃場マネージャ・コンピューティング・デバイス１０４に利用可能になると、圃場データ１０６を自動的に送信し得る。例えば、圃場マネージャ・コンピューティング・デバイス１０４は、灌漑センサおよび／または灌漑コントローラを含むリモートセンサ１１２および／またはアプリケーションコントローラ１１４に通信可能に結合され得る。アプリケーションコントローラ１１４が１つまたは複数の圃場に水を放出したことを示すデータを受信したことに応答して、圃場マネージャ・コンピューティング・デバイス１０４は農業インテリジェンス・コンピュータ・システム１３０に、１つまたは複数の圃場で水が放出されたことを示す圃場データ１０６を送信し得る。本開示で識別される圃場データ１０６は、ＨＴＴＰ上でパラメータ化されたＵＲＬ、または別の適切な通信もしくはメッセージングプロトコルを使用してコンピューティングデバイス間で通信される電子デジタルデータを使用して入力および通信され得る。

【0062】

市販のモバイルアプリケーションの例が、カリフォルニア州サンフランシスコのＴｈｅ Ｃｌｉｍａｔｅ Ｃｏｒｐｏｒａｔｉｏｎから市販されているＣＬＩＭＡＴＥ ＦＩＥＬＤＶＩＥＷである。ＣＬＩＭＡＴＥ ＦＩＥＬＤＶＩＥＷアプリケーション、または他のアプリケーションは、本開示の出願日より前に開示されていない特徴、機能、およびプログラミングを含むように修正、拡張、または適合され得る。一実施形態では、モバイルアプリケーションは、栽培者の圃場に関する履歴データを栽培者が比較したい任意の他のデータと組み合わせるので、栽培者が自分の作業のための事実に基づく判断を行うことを可能にする統合ソフトウェアプラットフォームを含む。組み合わせおよび比較は、リアルタイムで行われ得、栽培者がより適切な、より情報に基づいた判断を行うことを可能にする潜在的なシナリオを提供する科学的モデルに基づくものである。

【0063】

図２に、例示的なモバイルアプリケーションが実行のためにロードされるときのメインメモリ内の命令セットの例示的な論理構成の２つの図を示す。図２では、名前付きの各要素は、ＲＡＭもしくは他のメインメモリの１つもしくは複数のページの領域、またはディスクストレージもしくは他の不揮発性ストレージの１つもしくは複数のブロック、およびそれらの領域内のプログラムされた命令を表す。一実施形態では、ビュー（ａ）において、モバイル・コンピュータ・アプリケーション２００は、アカウント、圃場、データ取り込み、共有命令２０２、概要および警告命令２０４、デジタル地図帳命令２０６、種子および植え付け命令２０８、窒素命令２１０、気象命令２１２、圃場の健康状態命令２１４、および実績命令２１６を含む。

【0064】

一実施形態では、モバイル・コンピュータ・アプリケーション２００は、手動アップロードまたはＡＰＩを介して第三者システムから圃場データを受信し、変換し、取り込むようにプログラムされたアカウント、圃場、データ取り込み、共有命令２０２を含む。データタイプは、特に、圃場境界、収量地図、植え付け時地図、土壌試験結果、施用時地図、および／または管理ゾーンを含み得る。データフォーマットは、特に、シェイプファイル、第三者のネイティブ・データ・フォーマット、および／または農業経営情報システム（ＦＭＩＳ）エクスポートを含み得る。データの受信は、手動アップロード、添付ファイル付きの電子メール、データをモバイルアプリケーションにプッシュする外部ＡＰＩ、またはデータをモバイルアプリケーションにプルするために外部システムのＡＰＩを呼び出す命令を介して行われ得る。一実施形態では、モバイル・コンピュータ・アプリケーション２００は、データインボックスを含む。データインボックスの選択を受け取ったことに応答して、モバイル・コンピュータ・アプリケーション２００は、データファイルを手動でアップロードし、アップロードされたファイルをデータマネージャにインポートするためのグラフィカル・ユーザ・インターフェースを表示し得る。

【0065】

一実施形態では、デジタル地図帳命令２０６は、デバイスメモリに格納された圃場地図データ層を含み、データ可視化ツールおよび地理空間現地調査記録を用いてプログラムされる。これは、栽培者に、圃場実績の参照、倒伏および視覚的な洞察のための便利な情報を手近で提供する。一実施形態では、概要および警告命令２０４は、栽培者にとって重要なことの作業全体のビュー、および特定の問題に対処または焦点を合わせるための適時の助言を提供するようにプログラムされる。これにより、栽培者は、注意を要するものに時間を集中させ、時間を節約し、季節を通して収量を維持することができる。一実施形態では、種子および植え付け命令２０８は、科学的モデルおよび経験的データに基づいて、可変レート（ＶＲ）スクリプト作成を含む種子選択、ハイブリッド配置、およびスクリプト作成のためのツールを提供するようにプログラムされる。これにより、栽培者は、最適化された種子の購入、配置および個体数を通じて収量または投資利益率を最大化し得る。

【0066】

一実施形態では、スクリプト生成命令２０５は、可変レート（ＶＲ）肥沃度スクリプトを含むスクリプトを生成するためのインターフェースを提供するようにプログラムされる。インターフェースは、栽培者が、栄養素施用、植え付けおよび灌漑などの圃場手段のスクリプトを作成することを可能にする。例えば、植え付けスクリプトインターフェースは、植え付け用の種子の種類を識別するためのツールを含み得る。種子の種類の選択を受け取ると、モバイル・コンピュータ・アプリケーション２００は、デジタル地図帳命令２０６の一部として作成された圃場地図データ層などの、管理ゾーンに分割された１つまたは複数の圃場を表示し得る。一実施形態では、管理ゾーンは、土壌ゾーンを、各土壌ゾーンを識別するパネルおよび各ゾーンの土壌名、土質、排水、または他の圃場データと共に含む。モバイル・コンピュータ・アプリケーション２００はまた、１つまたは複数の圃場の地図上で、それらを編集または作成するためのツール、土壌ゾーンなどの管理ゾーンを描画するためのグラフィカルツールなどを表示し得る。植え付け手順がすべての管理ゾーンに適用され得るか、または異なる植え付け手順が管理ゾーンの異なるサブセットに適用され得る。スクリプトが作成されると、モバイル・コンピュータ・アプリケーション２００は、アーカイブフォーマットや圧縮フォーマットなど、アプリケーションコントローラによって読み取り可能なフォーマットでスクリプトをダウンロードできるようにし得る。加えて、かつ／または代替として、スクリプトは、モバイル・コンピュータ・アプリケーション２００から運転室コンピュータ１１５に直接送信され、かつ／または１つもしくは複数のデータサーバにアップロードされ、さらなる使用のために格納されてもよい。

【0067】

一実施形態では、窒素命令２１０は、農作物への窒素の利用可能性を可視化することによって窒素の判断を知らせるためのツールを提供するようにプログラムされる。これにより、栽培者は、季節中の最適化された窒素施用によって収量または投資利益率を最大化することができる。例示的なプログラムされた機能には、特に、肥料施用ゾーンの描画を可能にするためのＳＳＵＲＧＯ画像などの画像および／もしくはセンサから取得されたデータなどのサブ圃場土壌データから生成された画像を、高い空間解像度（センサの近接度および解像度に応じてミリメートル単位以下の細かさ）で表示すること；既存の栽培者画定ゾーンのアップロード；複数のゾーンにわたる窒素の（１回または複数回の）施用の調整を可能にする植物栄養素の可用性グラフおよび／もしくは地図を提供すること；機械を駆動するスクリプトの出力；大量データ入力および調整のためのツール；ならびに／または、データ可視化のための地図、が含まれる。「大量データ入力」は、この文脈では、データを１回入力し、次いで同じデータを、システム内で定義されている複数の圃場および／またはゾーンに適用することを意味し得る。例示的なデータには、同じ栽培者の多くの圃場および／またはゾーンについて同じである窒素施用データを含み得るが、そのような大量データ入力は、モバイル・コンピュータ・アプリケーション２００への任意の種類の圃場データの入力に適用される。例えば、窒素命令２１０は、窒素施用プログラムおよび窒素作業方法プログラムの定義を受け入れ、複数の圃場にわたってそれらのプログラムを適用することを指定するユーザ入力を受け入れるようにプログラムされ得る。「窒素施用プログラム」は、この文脈では、特に、名称、カラーコードもしくは他の識別子、施用の１つもしくは複数の日付、日付ごとの資材もしくは製品の種類および量、注入や散布などの施用もしくは取り込みの方法、ならびに／または日付ごとの施用の量もしくは割合、施用の対象である農作物もしくはハイブリッド、を関連付ける格納された名前付きのデータセットを指す。「窒素作業方法プログラム」は、この文脈では、作業方法名称；前農作物；耕作システム；主な耕作日；使用された１つまたは複数の前の耕作システム；使用された、堆肥などの施用の種類の１つまたは複数のインジケータ、を関連付ける格納された名前付きのデータセットを指す。窒素命令２１０はまた、指定された窒素の植物使用の予測および余剰または不足が予測されるかどうかを示す窒素グラフを生成して表示させるようにプログラムされ得、いくつかの実施形態では、異なるカラーインジケータで余剰の大きさまたは不足の大きさを知らせることができる。一実施形態では、窒素グラフは、各行が圃場と関連付けられ、圃場を識別する、複数の行を含むコンピュータ表示装置内のグラフィカル表示；圃場にどんな農作物が植え付けられているか、圃場の大きさ、圃場位置、および圃場の周囲のグラフィック表現を指定するデータ；各行の、月名と関連付けられたポイントに各窒素施用および量を指定するグラフィックインジケータを有する月ごとのタイムライン；ならびに色で大きさを指示する、余剰または不足の数値および／または色付きインジケータ、を含む。

【0068】

一実施形態では、窒素グラフは、ユーザが自分の窒素グラフを最適化し得るように、窒素植え付けおよび作業方法プログラムを動的に変更するための、ダイヤルやスライドバーなどの１つまたは複数のユーザ入力機能を含み得る。ユーザは、次いで、自分の最適化された窒素グラフおよび関連する窒素植え付けおよび作業方法プログラムを使用して、可変レート（ＶＲ）肥沃度スクリプトを含む、１つまたは複数のスクリプトを実施し得る。窒素命令２１０はまた、指定された窒素の植物使用の予測および余剰または不足が予測されるかどうかを示す窒素地図を生成して表示させるようにプログラムされ得る。いくつかの実施形態では、異なるカラーインジケータで余剰の大きさまたは不足の大きさを知らせることができる。窒素地図は、指定された窒素の植物使用の予測、ならびに色で大きさを指示する、余剰または不足の数値および／または色付きインジケータを使用した、過去および将来の異なる時点について余剰または不足が予測されるかどうか（例えば、日次、週次、月次または年次の）を表示し得る。一実施形態では、窒素地図は、例えば、不足に対する好ましい量の余剰を取得するために、ユーザが自分の窒素地図を最適化し得るように、窒素植え付けおよび作業方法プログラムを動的に変更するための、ダイヤルやスライドバーなどの１つまたは複数のユーザ入力機能を含み得る。ユーザは、次いで、自分の最適化された窒素地図および関連する窒素植え付けおよび作業方法プログラムを使用して、可変レート（ＶＲ）肥沃度スクリプトを含む、１つまたは複数のスクリプトを実施し得る。他の実施形態では、窒素命令２１０と同様の命令を、他の栄養素（リンやカリウムなど）の施用、農薬の施用、灌漑プログラムに使用することもできる。

【0069】

一実施形態では、気象命令２１２は、圃場に固有の最近の気象データおよび予測される気象情報を提供するようにプログラムされる。これにより、栽培者は、時間を節約し、毎日の作業判断に関する効率的な統合された表示を持つことができる。

【0070】

一実施形態では、圃場の健康状態命令２１４は、季節中の農作物の変動および潜在的な懸念を強調表示するタイムリーなリモートセンシング画像を提供するようにプログラムされる。例示的なプログラムされた機能には、特に、可能性のある雲または雲の影を識別する、雲チェック；圃場画像に基づく窒素指数の決定；例えば、圃場の健康状態を含む、スカウティング層のグラフィカルな可視化、およびスカウティングメモの表示および／もしくは共有；ならびに／または複数のソースから衛星画像のダウンロード、および栽培者のための画像の優先順位付け、が含まれる。

【0071】

一実施形態では、実績命令２１６は、評価、洞察、および判断のための農場データを使用した報告、分析、および洞察ツールを提供するようにプログラムされる。これにより、栽培者は、なぜ投資利益率が以前の水準にあったかについての事実に基づく結論、および収量制限要因への洞察を通じて、次の年の改善された結果を得ようと努力することが可能になる。実績命令２１６は、（１つまたは複数の）ネットワーク１０９を介して農業インテリジェンス・コンピュータ・システム１３０および／または外部データ・サーバ・コンピュータ１０８で実行されたバックエンド分析プログラムと通信するようにプログラムされ、特に、収量、収量差、ハイブリッド、個体数、ＳＳＵＲＧＯゾーン、土壌試験特性、または標高などのメトリックを分析するように構成され得る。プログラムされる報告および分析は、特に、収量変動性分析、処理効果推定、多くの栽培者から収集された匿名化データに基づく他の栽培者に対する収量および他のメトリックのベンチマーク、または種子および植え付けのデータを含み得る。

【0072】

このように構成された命令を有するアプリケーションが、同じ一般的なユーザインターフェースの外観を保持しながら、異なるコンピューティング・デバイス・プラットフォームに実装され得る。例えば、モバイルアプリケーションは、クライアントコンピュータでブラウザを使用してアクセスされるタブレット、スマートフォン、またはサーバコンピュータ上で実行するようにプログラムされ得る。さらに、タブレットコンピュータまたはスマートフォン用に構成されたモバイルアプリケーションは、運転室コンピュータ１１５の表示および処理能力に適した完全なアプリ体験または運転室アプリ体験を提供し得る。例えば、次に図２のビュー（ｂ）を参照すると、一実施形態では、運転室コンピュータアプリケーション２２０は、地図運転室命令２２２、リモートビュー命令２２４、データ収集および転送命令２２６、機械警告命令２２８、スクリプト転送命令２３０、およびスカウティング運転室命令２３２を含み得る。ビュー（ｂ）の命令のコードベースは、ビュー（ａ）と同じであり得、コードを実施する実行可能ファイルは、それらが実行されているプラットフォームのタイプを検出し、グラフィカル・ユーザ・インターフェースを介して、運転室プラットフォームまたは完全なプラットフォームに適した機能のみを公開するようにプログラムされ得る。この手法により、システムが、運転室内環境および運転室の異なる技術環境に適した明らかに異なるユーザ体験を認識することが可能になる。地図運転室命令２２２は、機械操作を指図するのに有用な圃場、農場または領域の地図ビューを提供するようにプログラムされ得る。リモートビュー命令２２４は、無線ネットワーク、有線コネクタまたはアダプタなどを介してシステム１３０に接続された他のコンピューティングデバイスに対して、リアルタイムまたはほぼリアルタイムで機械動作のビューをオンにし、管理し、提供するようにプログラムされ得る。データ収集および転送命令２２６は、無線ネットワーク、有線コネクタまたはアダプタなどを介した、センサおよびコントローラで収集されたデータのシステム１３０への転送をオンにし、管理し、提供するようにプログラムされ得る。機械警告命令２２８は、運転室と関連付けられた機械またはツールの動作の問題を検出し、オペレータ警告を生成するようにプログラムされ得る。スクリプト転送命令２３０は、機械操作またはデータの収集を指図するように構成された命令のスクリプトで転送するように構成され得る。スカウティング運転室命令２３２は、圃場における圃場マネージャ・コンピューティング・デバイス１０４、農業装置１１１、または圃場のセンサ１１２の位置に基づいてシステム１３０から受信された位置ベースの警告および情報を表示し、圃場における農業装置１１１またはセンサ１１２の位置に基づいてシステム１３０に位置ベースのスカウティング観測を取り込み、管理し、転送を提供するようにプログラムされ得る。

【0073】

２．３．コンピュータシステムへのデータ取り込み

【0074】

一実施形態では、外部データ・サーバ・コンピュータ１０８は、１つまたは複数の圃場の土壌組成を表す土壌データと、１つまたは複数の圃場上の温度および降水量を表す気象データとを含む、外部データ１１０を格納する。気象データは、過去および現在の気象データ、ならびに将来の気象データの予測を含み得る。一実施形態では、外部データ・サーバ・コンピュータ１０８は、異なる企業体によってホストされる複数のサーバを含む。例えば、第１のサーバは土壌組成データを含み得、第２のサーバは気象データを含み得る。加えて、土壌組成データは、複数のサーバに格納され得る。例えば、あるサーバは、土壌中の砂、シルト、および粘土の割合を表すデータを格納し得、第２のサーバは、土壌中の有機物（ＯＭ）の割合を表すデータを格納し得る。

【0075】

一実施形態では、リモートセンサ１１２は、１つまたは複数の観測を生成するようにプログラムまたは構成された１つまたは複数のセンサを含む。リモートセンサ１１２は、衛星などの空中センサ、車載センサ、植え付け機器センサ、耕作センサ、肥料または殺虫剤施用センサ、ハーベスタセンサ、および１つまたは複数の圃場からデータを受信することができる任意の他の器具などであり得る。一実施形態では、アプリケーションコントローラ１１４は、農業インテリジェンス・コンピュータ・システム１３０から命令を受信するようにプログラムまたは構成される。アプリケーションコントローラ１１４はまた、農業車両または器具の動作パラメータを制御するようにプログラムまたは構成され得る。例えば、アプリケーションコントローラは、トラクタ、植え付け機器、耕作機器、肥料もしくは殺虫剤機器、ハーベスタ機器、または水弁などの他の農器具などの車両の動作パラメータを制御するようにプログラムまたは構成され得る。他の実施形態は、センサとコントローラの任意の組み合わせを使用し得、以下は単にその中から選択された例である。

【0076】

システム１３０は、共有データベースシステムにデータを提供した多数の栽培者から大量に、ユーザ１０２の制御下でデータを取得または取り込み得る。この形のデータの取得は、システム１３０が使用するためのデータを取得するために１つまたは複数のユーザ制御によるコンピュータ動作が要求またはトリガされるので、「手動データ取り込み」と呼ばれ得る。一例として、カリフォルニア州サンフランシスコのＴｈｅ Ｃｌｉｍａｔｅ Ｃｏｒｐｏｒａｔｉｏｎから市販されているＣＬＩＭＡＴＥ ＦＩＥＬＤＶＩＥＷアプリケーションは、リポジトリ１６０に格納するためにデータをシステム１３０にエクスポートするように動作し得る。

【0077】

例えば、種子監視システムは、植え付け装置の構成要素を制御すると共に、ＣＡＮバックボーンと、位置合わせおよび／または診断のためのポイントツーポイント接続とを含む信号ハーネスを介した種子センサからの信号を含む植え付けデータを取得することができる。種子監視システムを、運転室コンピュータ１１５またはシステム１３０内の他のデバイスを介してユーザに種子間隔、個体数および他の情報を表示するようにプログラムまたは構成することができる。例が、米国特許第８，７３８，２４３号明細書および米国特許出願公開第２０１５００９４９１６号に開示されており、本開示は、これらの他の特許開示の知識を前提としている。

【0078】

同様に、収量監視システムは、収量測定データを運転室コンピュータ１１５またはシステム１３０内の他のデバイスに送信するハーベスタ装置用の収量センサを含み得る。収量監視システムは、１つまたは複数のリモートセンサ１１２を利用して、コンバインまたは他のハーベスタ内の穀粒水分測定値を取得し、これらの測定値を運転室コンピュータ１１５またはシステム１３０内の他のデバイスを介してユーザに送信し得る。

【0079】

一実施形態では、本明細書の他の箇所に記載されている種類の任意の移動車両または装置と共に使用され得るセンサ１１２の例には、運動センサおよび位置センサが含まれる。運動センサは、レーダや車輪速度センサ、加速度計、またはジャイロなどの速度センサのいずれかを含み得る。位置センサは、特に、近くのＷｉ－Ｆｉホットスポットに基づいて位置を決定するようにプログラムされたＧＰＳ受信機もしくは送受信機、またはＷｉ－Ｆｉベースの位置もしくは地図作成アプリを含み得る。

【0080】

一実施形態では、トラクタまたは他の移動車両と共に使用され得るセンサ１１２の例には、エンジン速度センサ、燃料消費センサ、ＧＰＳまたはレーダ信号と相互作用するエリアカウンタまたは距離カウンタ、ＰＴＯ（パワーテイクオフ）速度センサ、圧力または流量などの油圧パラメータを検出するように構成されたトラクタ油圧センサ、および／またはおよび油圧ポンプ速度、車輪速度センサまたは車輪滑りセンサが含まれる。一実施形態では、トラクタと共に使用され得るコントローラ１１４の例には、油圧方向コントローラ、圧力コントローラ、および／もしくは流量コントローラ；油圧ポンプ速度コントローラ；速度コントローラもしくは調速機；ヒッチ点位置コントローラ；または車輪位置コントローラが自動操縦を提供する、が含まれる。

【0081】

一実施形態では、プランタ、ドリル、またはエアシーダなどの播種機器と共に使用され得るセンサ１１２の例には、光学センサ、電磁センサ、または衝撃センサであり得る種子センサ；ロードピン、ロードセル、圧力センサなどのダウンフォースセンサ；反射率センサ、水分センサ、導電率センサ、光学式残量センサ、もしくは温度センサ等の土質センサ；植え付け深さセンサ、ダウンフォースシリンダ圧力センサ、種子ディスク速度センサ、種子駆動モータエンコーダ、種子コンベヤシステム速度センサ、もしくは真空レベルセンサなどの構成要素動作基準センサ；または光学センサもしくは他の電磁センサ、もしくは衝撃センサなどの農薬施用センサ、が含まれる。一実施形態では、そのような播種機器と共に使用され得るコントローラ１１４の例には、油圧シリンダと関連付けられたバルブ用のコントローラなどのツールバー折り畳みコントローラ；空気圧シリンダ、エアバッグ、または油圧シリンダに関連し、個々の列ユニットまたはプランタフレーム全体にダウンフォースを加えるようにプログラムされたバルブ用のコントローラなどのダウンフォースコントローラ；リニアアクチュエータなどの植え付け深さコントローラ；電気式種子メータ駆動モータ、油圧式種子メータ駆動モータ、もしくは幅制御クラッチなどの計測コントローラ；種子もしくは空気種子混合物が、種子メータもしくは中央バルクホッパとの間で種子を送達することを選択的に可能にするか、もしくは妨げるようにプログラムされた、種子メータ駆動モータなどのハイブリッド選択コントローラ、もしくは他のアクチュエータ；電気式種子メータ駆動モータなどの計測コントローラ、もしくは油圧式種子メータ駆動モータ；ベルト種子送達コンベヤモータ用のコントローラなどの種子コンベヤ・システム・コントローラ；空気圧式もしくは油圧式アクチュエータなどのマーカコントローラ；または計測駆動コントローラなどの農薬施用レートコントローラ、オリフィスサイズもしくは位置コントローラ、が含まれる。

【0082】

一実施形態では、耕作機器と共に使用され得るセンサ１１２の例には、シャンクやディスクなどの工具用の位置センサ；深さ、ギャング角、もしくは横方向の間隔を検出するように構成された工具用の工具位置センサ；ダウンフォースセンサ；または牽引力センサ、が含まれる。一実施形態では、耕作機器と共に使用され得るコントローラ１１４の例には、工具の深さ、ギャング角、もしくは横方向の間隔を制御するように構成されるコントローラなどの、ダウンフォースコントローラまたは工具の位置コントローラが含まれる。

【0083】

一実施形態では、プランタ上のスタータ肥料システム、下層土施肥機、もしくは肥料噴霧機などの、肥料、殺虫剤、殺菌剤などを施用するための装置に関連して使用され得るセンサ１１２の例には、流量センサや圧力センサなどの流体システム基準センサ；どのスプレーヘッドバルブまたは流体ラインバルブが開いているかを指示するセンサ；充填レベルセンサなどのタンクと関連付けられたセンサ；部分もしくはシステム全体の供給ラインセンサ、もしくは列固有の供給ラインセンサ；または噴霧機ブームに配置された加速度計などの運動センサ、が含まれる。一実施形態では、そのような装置と共に使用され得るコントローラ１１４の例には、ポンプ速度コントローラ；圧力、流量、方向、ＰＷＭなどを制御するようにプログラムされたバルブコントローラ；または、ブーム高さ、サブソイラ深さ、もしくはブーム位置などの位置アクチュエータ、が含まれる。

【0084】

一実施形態では、ハーベスタと共に使用され得るセンサ１１２の例には、衝撃板ひずみゲージもしくは位置センサ、容量性流量センサ、負荷センサ、重量センサ、またはエレベータもしくはオーガと関連付けられたトルクセンサ、または光学式もしくは他の電磁式の粒高センサなどの収量モニタ；容量センサなどの穀粒水分センサ；衝撃センサ、光センサ、もしくは容量センサを含む穀粒損失センサ；ヘッダ高さ、ヘッダタイプセンサ、デッキプレート隙間センサ、フィーダ速度センサ、およびリール速度センサなどのヘッダ動作基準センサ；凹状クリアランスセンサ、ロータ速度センサ、シュークリアランスセンサ、もしくはチャファ・クリアランス・センサなどの分離機動作基準センサ；位置、動作、もしくは速度用のオーガセンサ；またはエンジン速度センサ、が含まれる。一実施形態では、ハーベスタと共に使用され得るコントローラ１１４の例には、ヘッダ高さ、ヘッダタイプ、デッキプレート隙間、フィーダ速度、もしくはリール速度などの要素のためのヘッダ動作基準コントローラ；凹状クリアランス、ロータ速度、シュークリアランス、もしくはチャファクリアランスなどの特徴のための分離機動作基準コントローラ；またはオーガ位置、動作、もしくは速度のためのコントローラ、が含まれる。

【0085】

一実施形態では、穀物カートと共に使用され得るセンサ１１２の例には、重量センサ、またはオーガ位置、動作、もしくは速度のためのセンサが含まれる。一実施形態では、穀物カートと共に使用され得るコントローラ１１４の例には、オーガ位置、動作、または速度のためのコントローラが含まれる。

【0086】

一実施形態では、センサ１１２およびコントローラ１１４の例は、無人航空機（ＵＡＶ）装置または「ドローン」に設置され得る。そのようなセンサには、可視光、赤外線、紫外線、近赤外線（ＮＩＲ）などを含む任意の範囲の電磁スペクトルに有効な検出器を備えたカメラ；加速度計；高度計；温度センサ；湿度センサ；ピトー管センサもしくは他の対気速度センサもしくは風速センサ；電池寿命センサ；またはレーダエミッタおよび反射レーダエネルギー検出装置；他の電磁放射エミッタおよび反射電磁放射検出装置、が含まれ得る。そのようなコントローラには、誘導もしくはモータ制御装置、制御面コントローラ、カメラコントローラ、または前述のセンサのいずれかをオンにし、操作し、そこからデータを取得し、管理し、構成するようにプログラムされたコントローラが含まれ得る。例が米国特許出願第１４／８３１，１６５号に開示されており、本開示は、その他の特許開示の知識を前提としている。

【0087】

一実施形態では、センサ１１２およびコントローラ１１４は、土壌を試料採取し、土壌化学試験、土壌水分試験、および土壌に係るその他の試験を行うように構成またはプログラムされた土壌試料採取および測定装置に取り付けられ得る。例えば、米国特許第８，７６７，１９４号明細書および米国特許第８，７１２，１４８号明細書に開示されている装置が使用され得、本開示はそれらの特許開示の知識を前提としている。

【0088】

一実施形態では、センサ１１２およびコントローラ１１４は、圃場の気象条件を監視するための気象デバイスを含み得る。例えば、２０１５年４月２９日に出願された米国仮特許出願第６２／１５４，２０７号明細書、２０１５年６月１２日に出願された米国仮特許出願第６２／１７５，１６０号明細書、２０１５年７月２８日に出願された米国仮特許出願第６２／１９８，０６０号明細書、および２０１５年９月１８日に出願された米国仮特許出願第６２／２２０，８５２号明細書に開示された装置が使用され得、本開示はそれらの特許開示の知識を前提としている。

【0089】

２．４．プロセス概要－農学モデル訓練

【0090】

一実施形態では、農業インテリジェンス・コンピュータ・システム１３０は、農学モデルを作成するようにプログラムまたは構成される。この文脈では、農学モデルは、１つまたは複数の圃場の識別データや収穫データなどの圃場データ１０６を含む農業インテリジェンス・コンピュータ・システム１３０のメモリ内のデータ構造である。農学モデルはまた、圃場上の１つもしくは複数の農作物の成長に影響を及ぼし得る条件、または１つもしくは複数の農作物の特性、またはその両方を記述する計算された農学的特性を含み得る。加えて、農学モデルは、農作物助言、灌漑助言、植え付け助言、肥料助言、殺菌剤助言、農薬助言、収穫助言、および他の農作物管理助言などの農学的要因に基づく助言を含み得る。農学的要因はまた、農学的収量などの１つまたは複数の農作物関連の結果を推定するためにも使用され得る。農作物の農学的収量は、生産される農作物の量の推定値、またはいくつかの例では、生産された農作物から得られる収益または利益である。

【0091】

一実施形態では、農業インテリジェンス・コンピュータ・システム１３０は、事前構成された農学モデルを使用して、１つまたは複数の圃場についての現在受信されている位置および農作物情報に関連する農学的特性を計算し得る。事前構成された農学モデルは、識別データ、収穫データ、肥料データ、および気象データを含むがこれらに限定されない、以前に処理された圃場データに基づくものである。事前構成された農学モデルは、モデルの精度を保証するために交差検証されている可能性がある。交差検証は、降水量推定値と、雨量計またはセンサが提供する同じかまたは近くの位置での気象データとの比較や、窒素含有量の推定値と土壌試料測定値との比較など、予測される結果を圃場上の実際の結果と比較するグラウンドトゥルーシングとの比較を含み得る。

【0092】

図３に、農業インテリジェンス・コンピュータ・システムが、１つまたは複数のデータソースによって提供された圃場データを使用して１つまたは複数の事前構成された農学モデルを生成するためのプログラムされたプロセスを示す。図３は、次に説明される動作を行うために農業インテリジェンス・コンピュータ・システム１３０の機能要素をプログラムするためのアルゴリズムまたは命令として機能し得る。

【0093】

ブロック３０５で、農業インテリジェンス・コンピュータ・システム１３０は、１つまたは複数のデータソースから受信された圃場データの農学的データの前処理を実施するように構成またはプログラムされる。１つまたは複数のデータソースから受信された圃場データは、受信された圃場データ値に悪影響を及ぼす可能性がある測定された外れ値を含む農学的データ内のノイズ、わい曲効果、および交絡因子を除去する目的で前処理され得る。農学的データの前処理の実施形態には、外れ値データ値と一般的に関連付けられるデータ値を除去すること、他のデータ値を不必要に歪めることが知られている特定の測定データ点、ノイズから付加的または相乗的な影響を除去または低減するために使用されるデータ平滑化、集約、またはサンプリング技術、および正と負のデータ入力間の明確な区別を提供するために使用される他のフィルタリングまたはデータ導出技術が含まれ得るが、これらに限定されない。

【0094】

ブロック３１０で、農業インテリジェンス・コンピュータ・システム１３０は、初期農学モデル生成に有用なデータセットを識別するために、前処理された圃場データを使用してデータサブセット選択を行うように構成またはプログラムされる。農業インテリジェンス・コンピュータ・システム１３０は、遺伝的アルゴリズム法、全サブセットモデル法、逐次探索法、段階的回帰法、粒子群最適化法、およびアリコロニー最適化法を含むがこれらに限定されないデータサブセット選択技術を実施し得る。例えば、遺伝的アルゴリズム選択技術は、自然選択および遺伝学の進化の原理に基づいて、適応的ヒューリスティック探索アルゴリズムを使用して、前処理された農学的データ内のデータセットを決定および評価する。

【0095】

ブロック３１５で、農業インテリジェンス・コンピュータ・システム１３０は、圃場データセット評価を実施するように構成またはプログラムされる。一実施形態では、農学モデルを作成し、作成された農学モデルの特定の品質閾値を使用することによって、特定の圃場データセットが評価される。農学モデルは、これらに限定されないが、一個抜き交差検証による二乗平均平方根誤差（ＲＭＳＥＣＶ）、平均絶対誤差、および平均百分率誤差などの１つまたは複数の比較技術を使用して比較および／または検証され得る。例えば、ＲＭＳＥＣＶは、農学モデルによって作成された予測される農学的特性値を、収集および分析された過去の農学的特性値と比較することによって農学モデルを交差検証することができる。一実施形態では、農学的データセット評価論理は、構成された品質閾値を満たさない農学的データセットが将来のデータサブセット選択ステップ中に使用されるフィードバックループとして使用される（ブロック３１０）。

【0096】

ブロック３２０で、農業インテリジェンス・コンピュータ・システム１３０は、交差検証された農学的データセットに基づいて農学モデル作成を実施するように構成またはプログラムされる。一実施形態では、農学モデル作成は、事前構成された農学的データモデルを作成するために多変量回帰技術を実施し得る。

【0097】

ブロック３２５で、農業インテリジェンス・コンピュータ・システム１３０は、将来の圃場データ評価のために事前構成された農学的データモデルを格納するように構成またはプログラムされる。

【0098】

２．５．実施態様の例－ハードウェア概要

【0099】

一実施形態によれば、本明細書に記載の技術は、１台または複数の専用コンピューティングデバイスによって実施される。専用コンピューティングデバイスは、本技術を実施するように配線され得るか、または本技術を実施するように永続的にプログラムされた１つもしくは複数の特定用途向け集積回路（ＡＳＩＣ）やフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのデジタル電子デバイスを含み得るか、またはファームウェア、メモリ、その他のストレージ、もしくは組み合わせ内のプログラム命令に従って本技術を実施するようにプログラムされた１つもしくは複数の汎用ハードウェアプロセッサを含み得る。そのような専用コンピューティングデバイスはまた、本技術を達成するために、カスタム配線論理、ＡＳＩＣ、またはＦＰＧＡをカスタムプログラミングと組み合わせ得る。専用コンピューティングデバイスは、デスクトップ・コンピュータ・システム、ポータブル・コンピュータ・システム、ハンドヘルドデバイス、ネットワーキングデバイス、または本技術を実装するために配線論理および／もしくはプログラム論理を組み込んだ任意の他のデバイスであり得る。

【0100】

例えば、図４は、本発明の一実施形態が実施され得るコンピュータシステム４００を示すブロック図である。コンピュータシステム４００は、情報を通信するためのバス４０２またはその他の通信機構と、情報を処理するためのバス４０２と結合されたハードウェアプロセッサ４０４とを含む。ハードウェアプロセッサ４０４は、例えば、汎用マイクロプロセッサであり得る。

【0101】

コンピュータシステム４００はまた、プロセッサ４０４によって実行されるべき情報および命令を格納するためにバス４０２に結合された、ランダム・アクセス・メモリ（ＲＡＭ）や他の動的記憶デバイスなどのメインメモリ４０６を含む。メインメモリ４０６はまた、プロセッサ４０４によって実行されるべき命令の実行中に一時変数またはその他の中間情報を格納するためにも使用され得る。そのような命令は、プロセッサ４０４からアクセス可能な非一時的記憶媒体に格納されると、コンピュータシステム４００を、命令で指定された動作を行うようにカスタマイズされた専用マシンにする。

【0102】

コンピュータシステム４００は、プロセッサ４０４のための静的情報および命令を格納するためにバス４０２に結合された読み出し専用メモリ（ＲＯＭ）４０８またはその他の静的記憶デバイスをさらに含む。磁気ディスク、光ディスク、またはソリッドステートドライブなどの記憶デバイス４１０が設けられ、情報および命令を格納するためにバス４０２に結合される。

【0103】

コンピュータシステム４００は、バス４０２を介して、コンピュータユーザに情報を表示するための、陰極線管（ＣＲＴ）などのディスプレイ４１２に結合され得る。英数字およびその他のキーを含む入力デバイス４１４は、情報およびコマンド選択をプロセッサ４０４に伝えるためにバス４０２に結合される。別の種類のユーザ入力デバイスは、プロセッサ４０４に方向情報およびコマンド選択を伝え、ディスプレイ４１２上のカーソル移動を制御するための、マウス、トラックボール、またはカーソル方向キーなどのカーソル制御４１６である。この入力デバイスは、典型的には、デバイスが平面内の位置を指定することを可能にする２軸、すなわち第１の軸（例えばｘ）および第２の軸（例えばｙ）の２つの自由度を有する。

【0104】

コンピュータシステム４００は、カスタマイズされた配線論理、１つもしくは複数のＡＳＩＣもしくはＦＰＧＡ、ファームウェア、および／またはコンピュータシステムと組み合わさってコンピュータシステム４００を専用マシンにするか、もしくはプログラムするプログラム論理を使用して、本明細書に記載の技術を実施し得る。一実施形態によれば、本明細書の技術は、プロセッサ４０４がメインメモリ４０６に含まれる１つまたは複数の命令の１つまたは複数のシーケンスを実行することに応答して、コンピュータシステム４００によって実行される。そのような命令は、記憶デバイス４１０などの別の記憶媒体からメインメモリ４０６に読み込まれ得る。メインメモリ４０６に含まれる命令シーケンスを実行すると、プロセッサ４０４は、本明細書に記載のプロセスステップを行う。代替の実施形態では、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて配線回路が使用されてもよい。

【0105】

本明細書で使用される「記憶媒体」という用語は、機械を特定の方法で動作させるデータおよび／または命令を格納する任意の非一時的媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含み得る。不揮発性媒体は、例えば、記憶デバイス４１０などの、光ディスク、磁気ディスク、またはソリッドステートドライブを含む。揮発性媒体は、メインメモリ４０６などの、ダイナミックメモリを含む。一般的な形態の記憶媒体には、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または任意の他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、任意の他の光データ記憶媒体、穴のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップまたはカートリッジが含まれる。

【0106】

記憶媒体は、伝送媒体とは異なるが、伝送媒体と併用され得る。伝送媒体は、記憶媒体間の情報の転送に関与する。例えば、伝送媒体は、バス４０２を含む配線を含む、同軸ケーブル、銅線、および光ファイバを含む。伝送媒体はまた、電波データ通信および赤外線データ通信時に生成されるような、音響波や光波の形を取ることもできる。

【0107】

様々な形態の媒体が、実行のためのプロセッサ４０４への１つまたは複数の命令の１つまたは複数のシーケンスの搬送に関与し得る。例えば、命令は、最初はリモートコンピュータの磁気ディスクまたはソリッドステートドライブ上で保持され得る。リモートコンピュータは、命令をそのダイナミックメモリにロードし、それらの命令を、モデムを使用して電話回線上で送信することができる。コンピュータシステム４００に対してローカルなモデムは、電話回線上でデータを受信し、赤外線送信機を使用してデータを赤外線信号に変換することができる。赤外線検出器は、赤外線信号で搬送されたデータを受信することができ、適切な回路がデータをバス４０２上に配置することができる。バス４０２は、データをメインメモリ４０６に搬送し、そこからプロセッサ４０４が命令を取り出して実行する。メインメモリ４０６によって受け取られた命令は、任意選択で、プロセッサ４０４が実行する前または後に、記憶デバイス４１０に格納されてもよい。

【0108】

コンピュータシステム４００は、バス４０２に結合された通信インターフェース４１８も含む。通信インターフェース４１８は、ローカルネットワーク４２２に接続されたネットワークリンク４２０に結合する双方向データ通信を提供する。例えば、通信インターフェース４１８は、対応する種類の電話回線へのデータ通信接続を提供するための統合サービスデジタルネットワーク（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、またはモデムであり得る。別の例として、通信インターフェース４１８は、互換性のあるＬＡＮへのデータ通信接続を提供するためのローカル・エリア・ネットワーク（ＬＡＮ）カードであってもよい。無線リンクも実装され得る。任意のそうした実装において、通信インターフェース４１８は、様々な種類の情報を表すデジタル・データ・ストリームを搬送する電気信号、電磁信号または光信号を送受信する。

【0109】

ネットワークリンク４２０は、通常、１つまたは複数のネットワークを介して他のデータデバイスにデータ通信を提供する。例えば、ネットワークリンク４２０は、ローカルネットワーク４２２を介してホストコンピュータ４２４またはインターネット・サービス・プロバイダ（ＩＳＰ）４２６によって運用されるデータ機器に接続を提供し得る。ＩＳＰ４２６は、現在一般に「インターネット」４２８と呼ばれている世界的なパケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワーク４２２およびインターネット４２８はどちらも、デジタル・データ・ストリームを搬送する電気信号、電磁信号または光信号を使用する。コンピュータシステム４００との間でデジタルデータを搬送する、様々なネットワークを介した信号、ならびにネットワークリンク４２０上および通信インターフェース４１８を介した信号は、伝送媒体の例示的な形態である。

【0110】

コンピュータシステム４００は、（１つまたは複数の）ネットワーク、ネットワークリンク４２０および通信インターフェース４１８を介して、メッセージを送信し、プログラムコードを含むデータを受信することができる。インターネットの例では、サーバ４３０は、インターネット４２８、ＩＳＰ４２６、ローカルネットワーク４２２、および通信インターフェース４１８を介して、アプリケーションプログラムの要求されたコードを送信し得る。

【0111】

受信されたコードは、受信されたときにプロセッサ４０４によって実行され、かつ／または後で実行するために記憶デバイス４１０または他の不揮発性ストレージに格納され得る。

【0112】

３．デジタル画像処理の手法

【0113】

ストレス検出、異常検出、および収量データの予測または補正のための、圃場の画像のデジタル画像処理のためのコンピュータにより実施される方法を提供する実施形態を説明する。実施形態は、農作物被覆率および雑草被覆率が航空画像において知覚可能であり得る場合、成長期の後期段階および後期の農作物成長において最も有用である。本明細書の技術は、しかしながら、成長期の任意の段階でも使用することができる。

【0114】

いくつかの実施形態では、機械学習モデルを訓練するために圃場の大量のデジタル画像が取得され、次いでそれらの画像を使用して、成長期中に圃場から取り込まれた特定の画像を分類することができる。機械学習モデルの訓練に使用するためのグラウンド・トゥルース・データを生成するために、画質制御および前処理が実施され得る。分類子出力と、ＮＤＶＩデータやＣＣＩデータなどの植生指数データとの融合に基づくモデルが使用され得る。結果として、圃場内の異常のデジタルグラフィカル地図または視覚地図が生成され得る。画像は、さらなる検証または較正のために収穫後の実際の収量データと相関され得る。本明細書の手法は、結果のクラウドストレージまたは公開のためのより大きなデータ処理ワークフローに統合され得、収量予測モデルなどの他のモデルと統合され得る。

【0115】

提案の方法論は、選択された画像化ハードウェアとコンピュータプログラムにおいて実施される革新的な画像処理アルゴリズムとの組み合わせに基づくものである。この方法では、空中プラットフォーム、無人航空機（ＵＡＶ）、および地上車両搭載カメラから受信された高解像度画像を使用して、空間画像特徴およびスペクトル画像特徴が識別される。画像には、カラー画像（ＲＧＢ画像など）および／またはマルチスペクトル画像（近赤外線画像など）が含まれ得る。高解像度は、この文脈では、１画素当たり１ｃｍ未満のカバレッジを意味し得る。機械学習モデルを特徴データに対して実行して、無傷のトウモロコシの列を上述の圃場異常と区別し、分類出力を得ることができる。

【0116】

分類された画像および画像パッチは、圃場の無傷のエリアおよび傷のあるエリアの地理的に修正された地図を生成するために使用され得る。地図は、異なる種類の圃場異常に対応する色を使用して色分けされ得る。１つの地図は、１つまたは複数の異常を描写し得る。これらの手法を使用して生成された高解像度異常地図は、配置試行、並列圃場試行、農作物保護試行、機器問題検出、風または滞水損傷識別、収量データ調整、ならびにサブ圃場レベルでの環境影響の定量化に利益をもたらすことができる。提示の手法は、圃場について生成された各タイル／プロット／グリッド内のすべての異常およびそれらの割合を検出および計算することを可能にする。

【0117】

３．１．航空画像のデジタル画像処理

【0118】

図７に、機械学習モデルを使用して圃場異常地図を生成するためのデジタル画像の例示的な処理を示す。図７では、境界データ、植え付けデータ、収量データなどの圃場データ情報がデータベース７０２に格納され得る。データベースは、リレーショナルデータベースまたは別の種類のデータベースとして編成され得る。データベースは、分散データベースシステムまたはスタンドアロン・サーバ・データベース・システムとして構成され得る。

【0119】

要素７０４を使用して図７に示されている圃場境界を記述する圃場メタデータ、および他のすべての情報は、ヘリコプタ、農業用航空機などの航空ビークル、ヘリコプタおよび航空機のルートを管理する管制センタなどに提供され得る。情報は、ドローンまたは任意の他の無人航空機を操縦し、それらに圃場から航空画像を収集するよう指図するために使用され得る。

【0120】

圃場境界情報を受信すると、航空ビークル７０６は、航空ビークル７０６が圃場を横断するときの様々な画像の取り込みを開始し得る。航空画像はまた、衛星または任意の他の航空ビークルからも取得され得る。

【0121】

取り込まれた画像７０８は、本明細書では航空／ＵＡＶ画像と呼ばれる。これらの画像は、機械学習モデル７１２への入力として提供され得る。機械学習モデル７１２は、画像較正、画像処理、および画像分類を行い得る。機械学習モデル７１２はまた、画像７０８に基づいて圃場異常を示す地図を生成し得る。

【0122】

モデル７１２からの出力は、１つまたは複数の異常地図７１４を含み得る。異常地図は、色分けされた領域を含み得、各カラーコードは異なる分類に拡張される。分類の例には、例えば、トウモロコシの茎で覆われているエリア、裸地土壌として示されているエリア、雑草で覆われているエリア、道路で覆われているエリアなどが含まれる。

【0123】

一実施形態では、地図７１４に基づいて、シェイプファイル地図７１６が生成される。シェイプファイル７１６は、異常を有すると識別された１つまたは複数のエリアの境界の地理座標を含み得る。地図７１６は、地上システムに提供され得る。

【0124】

３．２．地上画像のデジタル画像処理

【0125】

一実施形態では、地上システムは、地図７１６を使用して地上カメラを制御し、地図７１６に含まれる境界を使用して識別された１つまたは複数のプロットの地上画像を収集し得る。地上システムは、収集されたプロットの地上画像を使用して、プロットのプロット異常の改善された地図を生成し得る。プロット異常の改善された地図は、上述の航空画像に基づいて生成された異常地図７１４よりも高い詳細レベルで異常の詳細を描写する。

【0126】

地上システムは、カメラ７１８などの様々なカメラ、センサ／カメラ７２０などの様々なセンサ、様々な画像取り込み装置７２２、増幅器７２６、および画像を取り込むように構成された他の処理ソフトウェア／ハードウェアツールを含み得る。ソフトウェアツールおよびハードウェアツールは、図７では要素７２４として示されている。

【0127】

地上センサおよびカメラは、シェイプファイル７１６で提供されるシェイプファイル境界に従って地上画像を収集するために使用され得る。シェイプファイルは、農業プロットの境界を指定する地理座標を含み得る。したがって、例えば、コンバインのアームの１つにカメラが設置されているコンバインは、シェイプファイルに提供された座標に従って農業プロットを横断し得、コンバインがプロットを横断する際に、コンバインはプロットから地上画像を収集することができる。

【0128】

一実施形態では、地上画像は、結果として得られる画像７２８を形成するために較正、前処理、およびスティッチングされる。画像７２８は、トウモロコシ、一部の雑草、一部の裸地土壌などで覆われたプロットの描写を含み得る。

【0129】

画像７２８のセットは、モデル７３０への入力として移され得る。モデル７３０は、機械学習モデルとして実施され得、地上システムによって提供されるすべての画像の収集、画像の較正などの異なる機能を行い得る。これには、例えば、境界の調整、色の調整、色相、ガンマ成分の調整などが含まれ得る。モデル７３０はまた、それらの画像を処理し得る。これには、後述するスティッチングやその他の処理が含まれ得る。

【0130】

得られた画像は、画像の個々の領域の分類を決定するように処理され得る。分類により、圃場のどのエリアまたは部分がトウモロコシの茎で覆われているか、どのエリアが雑草で覆われているか、どのエリアが土壌、裸地土壌で覆われているか、などを判定することが可能になる。出力画像は、後述するように、異常地図のセットを含み得、各地図は、裸地土壌、雑草などの個々の異常を描写し得る。地図はまた、データベース７０２にも提供され得る。

【0131】

４．航空画像およびＵＡＶ画像の例示的な処理

【0132】

航空測量は、飛行機、ヘリコプタ、ＵＡＶ、気球、および他のモバイルデバイスに設置されたデータ収集計器を使用して、ジオマティクスデータを収集する方法である。ジオマティックデータの例には、航空画像、ライダーデータ、電磁スペクトルの様々な可視帯域および不可視帯域を表す画像、地球物理データなどが含まれ得る。航空測量はまた、地理的領域のチャートまたは地図の分析も指し得る。航空測量は、通常、例えば衛星によって提供されるデータよりも高解像度のデータを提供する。

【0133】

提案の手法は、画像取得段階と機械学習段階とからなる。画像取得段階において、一実施形態では、地上ベースの画像化プラットフォームの場合、Ｒａｓｐｂｅｒｒｙ Ｐｉプロセッサ、カメラ、およびＧＰＳ受信機を含むカスタム・コンピュータ・システムが、ジオリファレンスされたＲＧＢデジタル画像を、収穫作業またはその他の圃場作業中に自動的に取得する。この文脈では、ジオリファレンシングとは、各デジタル画像が、取り込みおよび格納時に、地理位置情報メタデータ、すなわちシェイプファイルと関連付けて格納されることを意味する。メタデータは、カメラおよびプロセッサを備えた装置に搭載されたＧＰＳ受信機から取得された緯度値および経度値を含み得る。地理位置情報データを取得し、位置メタデータを画像と共に格納することにより、後で圃場の完全な画像を再構成すること、および／または収集された画像を使用して機械学習段階を実行することに基づいてデジタル地図を生成することが可能になる。

【0134】

加えて、または代替として、ＵＡＶベースの画像化プラットフォームの場合、高解像度カラーカメラ（例えば、Ｓｏｎｙ ＲＸ１Ｒ－ＩＩ）またはマルチスペクトルカメラが、市販のドローンプラットフォーム（例えば、Ｍｉｃｒｏｄｒｏｎｅｓ ＭＤ４－１０００やＤＪＩ Ｍ６００）と統合され、予め定義されたエリアを自動的に調査し、高解像度のカラー画像およびマルチスペクトル画像を収集するようにプログラムされてもよい。

【0135】

これらのタイプのモバイル発見画像化プラットフォームの使用により、圃場を通過するたびにデータおよび画像を収集することが可能になる。サブ圃場ゾーンは、完成した画像において高精度の画像化および検知のために識別され得る。例えば、画像取り込み時にコンピュータメモリにおいてゾーン地図が利用可能である場合、画像が収集されるときに画像にサブ圃場ゾーンメタデータが追加され得る。ＧＰＳ受信機から取得されたＧＰＳデータが、ゾーン地図を、画像を取り込んでいるＵＡＶまたはハーベスタのその時点の現在位置に相関させるために使用され得る。さらに、本明細書で提案されるハードウェア構成は、画像化能力のスケールアップのための費用および開発時間を削減することができる。

【0136】

図８に、機械学習モデルを使用して圃場異常地図を生成するための航空画像およびＵＡＶ画像の例示的な処理を示す。図８に、機械学習モデルを使用して圃場異常地図を生成するための航空画像およびＵＡＶ画像の例示的な処理を示す。図８では、１つまたは複数の航空ＵＡＶ画像８０２が較正ユニット８０４に提供される。その較正は、色補正、色相補正、解像度補正、ガンマ色補正などを含み得る。較正および前処理された画像は、較正画像のスティッチングを圃場レベルで行うスティッチャ８０６に提供される。

【0137】

圃場レベルの地図とは、例えば４０から１００エーカーの典型的な米国の圃場をカバーする画像を指す。圃場レベルの地図は、通常、その境界によって画定される。際立って対照的に、プロットレベルの地図は、例えば、２作物列の幅および２０フィートの長さを有し得る圃場内の小さな長方形のエリアを指す。

【0138】

通常、数百の生画像または処理済み画像が、通常は大きなオルソモザイク画像である圃場レベル画像にスティッチングされる。オルソモザイク画像の一例が画像８０８である。

【0139】

一実施形態では、画像８０８は、オルソモザイク画像を小空間グリッドのグリッドに分割するグリッド生成器に提供される。各グリッドは、例えば、１０フィート×１０フィートの正方形のエリアをカバーするために６４×６４画素を有し得る。これらの詳細は、例示目的で提供されているにすぎず、いかなる点でも限定されるとみなされるべきではない。実際の空間グリッドは、より大きくてもより小さくてもよい。それは実施態様に依存する。圃場グリッド８１０、すなわち小空間グリッドのセットは、小タイル８１２の画像グリッドになる。

【0140】

次のステップで、小タイル８１２は、分類ユニットに提供され、画像は、例えば、画像８１４、画像８１６などを含み得る。

【0141】

分類および後処理ユニット８１８は、図７に記載されているモデル７１２などの機械学習モデルを利用し得る。

【0142】

モデル８１８の出力は、１つまたは複数の異常地図を含み得る。地図は、地図８２２を含み得る。地図８２２の内容は、異なる分類領域に割り当てられた異なる色を記述する凡例８２４に従って示され得る。ある領域は、例えば、トウモロコシの茎に対応し得、他の画像は、雑草または裸地土壌などを示し得る。

【0143】

一実施形態では、画像、モデル８１８に基づいて、いわゆるシェイプファイルが生成される。例示的の一例が、シェイプファイル８２０である。シェイプファイル８２０は、例えば、分類された特性を含む、異なる領域、異なるグリッドまたは小タイルの地理座標を含み得る。

【0144】

５．地上画像の例示的な処理

【0145】

本明細書の技術はまた、ポール上などの圃場内の固定位置に取り付けられたカメラ・コンピュータ装置を使用して異なる離間した時刻に圃場の画像を繰り返し取り込むことによって、圃場の低速度撮影を実現するために使用することもできる。一実施形態では、細長いポールが圃場の地面に取り付けられ、ポールに太陽電池アレイおよびコンピュータシャーシが取り付けられる。シャーシは、装置内のカメラが高い位置から圃場をはっきりと見ることができるように、高い位置に取り付けられる。太陽電池アレイは、電源として機能するようにコンピュータシャーシに結合される。コンピュータシャーシは、Ｐｉカメラ、Ｒａｓｐｂｅｒｒｙ Ｐｉ ２Ｂプロセッサ、ソーラー・パネル・コントローラ、およびＬＴＥモデムを含む。プロセッサは、１時間ごとに画像を取り込むようにカメラに信号を送り、ＬＴＥモデムを動作させて画像をクラウド・データ・ストレージに定期的にアップロードするようにプログラムされ得る。

【0146】

図９に、機械学習モデルを使用して圃場異常地図を生成するための地上画像の例示的な処理を示す。図９は、地上処理の詳細な例である。圃場の地上画像などの画像を収集するように構成されたカメラを装備した、コンバイン、ハーベスタ、およびトラクタなどの地上車両に、シェイプファイル９１６が提供されると仮定する。画像は、航空／ＵＡＶ画像よりも詳細であり得る。

【0147】

一実施形態では、地上画像は、コンバイン、トラクタ、シーダなどに搭載され得るカメラ７１８などのカメラによって取り込まれ得る。他のカメラは、ポール、フェンスなどに取り付けられ得るカメラ７２０、７２２、７２４を含み得る。

【0148】

一実施形態では、地上処理は、例えば、増幅器７２８または任意の他の処理要素７２６によって行われる地上画像の増幅を含む。

【0149】

地上画像はモデル７３０に提供され得、モデル７３０は、画像を収集し、画像を較正し、画像を処理するように構成される。処理は、画像が圃場内の異常を描写しているかどうかを判定するために画像分類を行うことを含み得る。

【0150】

モデル７３０からの出力７３２は、１つまたは複数の異常地図７３４を含み得る。地図は、前述のように、地図のセットとして編成され得、各地図は、別個の異常または個々の異常を指示し得る。例えば、ある地図は雑草を示し、別の地図は裸地土壌などを示し得る。地図は、データベース７０２に格納され得る。

【0151】

あるいは、またはこれに加えて、地図は、様々な農作業を行うよう車両および機械を制御するために使用され、または地上車両および地上農業機械に送信されてもよい。例えば、異常地図の１つが、裸地土壌で覆われているが代わりに種子が植え付けられなければならない圃場のエリアを指示する場合には、地図は、そのエリアに種子を植えるようにシーダに指示するためにシーダに送信され得る。

【0152】

６．地上画像処理の例示的な実施態様

【0153】

一実施形態では、コンピュータ・カメラ装置は、コンバインまたはハーベスタのアームに取り付けられる。装置は、Ｒａｓｐｂｅｒｒｙ Ｐｉプロセッサ、Ｐｉカメラ、Ｕ－Ｂｌｏｘ ＧＰＳボード、およびＷｉ－Ｆｉアダプタを含み得る。この実施形態では、プロセッサは、ＧＰＳボードから位置データを読み取ることによって決定される、移動式コンバインまたはハーベスタのその時点の現在の地理的位置が画像取り込みの指示と一致する場合に画像を取り込むようカメラに信号を送るようにプログラムされる。画像取り込みのための指示またはプログラムは、ハーベスタが空間内の特定の点を通過しているときの、またはハーベスタが圃場を横断するときに指定された分離距離を使用した、または他の方式に従った画像の取り込みを指定し得る。

【0154】

一実施形態では、前述の方法でコンバインから取り込まれた画像を使用して、約３００枚の個々の画像を手動でラベル付けし、約２３０枚の画像を、正常なプロットを指示するために、損傷なし、作物群（ｃｒｏｐ ｓｔａｎｄｓ）良好、および通路可視とラベル付けし、約７０枚の画像を、隙間および倒伏を指示するようにラベル付けした。ＣＮＮ転移学習モデルを、ＴｅｎｓｏｒＦｌｏｗおよびＤｏｍｉｎｏにおけるＩｎｃｅｐｔｉｏｎ ｖ．３を使用して開発した。このモデルは、Ｎ＝３５で９１％の予測精度を達成した。正常なプロットおよび異常なプロットの例が、図面および／または明細書スライドに示されている。

【0155】

一実施形態では、ＧＰＳまたはＲａｓｐｂｅｒｒｙ Ｐｉプロセッサからカメラに送信された距離トリガ信号に基づいて、コンバイン搭載カメラを使用して農作物画像を取り込んだ。サムネイル画像を生成し、ＧｅｏＴＩＦＦフォーマットの画像と共に、コンバイン搭載されたゲートウェイコンピュータに無線で送信した。ゲートウェイは、無線伝送を使用してクラウドストレージに画像データを送信し、また、ゲートウェイを、クラウドストレージからシェイプファイルを取得し、それらをｍｉｃｒｏ－ＵＳＢ接続を介してＲａｓｐｂｅｒｒｙ Ｐｉプロセッサにロードするようにプログラムした。Ｔｒｉｍｂｌｅ ＧＰＳ受信機が、地理位置情報データを提供し、クラウドストレージにアップロードされた地理位置情報ログを生成した。地理位置情報データに、画像データと組み合わせて、コンバインが移動するときに圃場内の隣接する位置で取り込まれた画像を組み合わせるために、画像スティッチングを施し、アーチファクトを除去し、直立の向きを調整するなどのために後処理を施した。得られた処理画像を、次いで、本明細書に記載のモデル開発、訓練、検証および分類に使用した。

【0156】

別の実施形態では、Ｕｂｌｏｘ ＧＰＳ受信機およびＲａｓｐｂｅｒｒｙ Ｐｉ ２Ｂカメラが取り付けられた、無線制御式地上横断探査ロボットまたは他の無人地上車両を使用して画像を取り込んだ。この装置は、主に、病気の植物または農作物の損傷位置を特定するために、圃場を横断し、圃場内の画像を取り込むことができた。

【0157】

別の実施形態では、圃場内の短いポールに取り付けられた、耐候性の囲いを有するＮＶｉｄｉａ ＴＸ１コンピュータに結合されたＺＥＤステレオカメラからなるキャノピー下の病害画像化システムを使用した。ＺＥＤは、毎秒３０フレームで２Ｋ ＵＨＤ画像を取り込むことができるカラー・ステレオ・カメラである。ＴＸ１コンピュータは、リチウム電池式であり、第２のカメラを含んでいた。ＣＨＣ ＲＴＸ ＧＰＳ受信機を別のポールに別個に取り付け、コンピュータに通信可能に結合した。この装置は、ゴス萎病、灰斑病およびさび病の８，０００枚を超える画像を取り込むことができた。

【0158】

さらに別の実施形態では、Ｖｅｌｏｄｙｎｅ ＶＬＰ－１６ １６チャネルＬｉＤＡＲ装置を移動式コンバインに取り付け、装置は、トウモロコシ畑での倒伏を画像化することができた。倒伏値は作物収量に大きく影響するが、人間による視覚的評価は得るのに多くの労働を要し、時間がかかる。デジタル画像化は、コンバインに装備されている場合、スループットを増加させ、処理実験または比較時のすべての試行プロットを測定することができる。一実施形態では、この装置を、コンバインの左側の４つのトウモロコシの列を画像化するようにプログラムした。Ｇａｒｍｉｎ ＧＰＳを、ＬｉＤＡＲ画像データをクラウドベースのサーバに無線で送信することを可能にするＬｉＤＡＲに通信可能に結合した。

【0159】

６．１．例示的なエッジコンピューティングの実施態様

【0160】

エッジコンピューティングは、多くの場合、データのソースの近くで行われるデータ計算および処理を指す。画像化用途では、エッジ・コンピューティング・デバイスは、通常、クラウド内の集中コンピューティングサーバ上ではなく、カメラおよびセンサに近接して位置する画像収集プラットフォーム上に配置される。エッジコンピューティングは、通常、画像化システムがシステムと中央データベースまたはクラウドとの間の不要なデータトラフィックを低減させるのを助け、リアルタイム画像処理能力を提供する。

【0161】

「ＡＩアクセラレータ」または「ニューラル・ネットワーク・アクセラレータ」は、人工ニューラルネットワーク、マシン・ビジョン・システム、および機械学習システムをサポートするように設計された特定用途向け集積回路（ＡＳＩＣ）である。独自のＡＩアクセラレータを開発しているベンダの例には、ＩｎｔｅｌベースのＮｅｒｖａｎａニューラル・ネットワーク・プロセッサ（ＮＮＰ）、Ｇｏｏｇｌｅベースのテンソル・プロセッシング・ユニット（ＴＰＵ）、およびＮｖｉｄｉａベースのグラフィックス・プロセッシング・ユニット（ＧＰＵ）が含まれる。例えば、エッジＴＰＵは、Ｇｏｏｇｌｅによって開発されたソリューションであり、エッジコンピューティングとＡＩアクセラレータの両方の利点を組み合わせるために使用される。言い換えれば、エッジＴＰＵは、例えば、電池または発電機によって電力供給される画像化デバイス上に配置することができる低電力で小サイズのソリューションである。エッジＴＰＵは、画像化システムがＡＩ計算能力を強化し、疑似リアルタイムで機械学習／ＡＩモデルを実行するためのプラットフォームを提供するのを助けることができる。

【0162】

一実施形態では、デジタル画像および機械学習モデルを使用して圃場異常の地図を作成するための手法が、エッジコンピューティング技術を使用して実施される。以上でエッジコンピューティング技術の例について説明した。そのような技術の１つは、エッジＴＰＵ技術を含む。しかしながら、提示の手法は、エッジＴＰＵの実施態様に限定されない。実際、他の手法も同様に実施され得る。

【0163】

図１０に、機械学習モデルおよびエッジＴＰＵを使用して圃場異常地図を生成するための地上画像の例示的な処理を示す。図１０は、図９に示されるプロセスの特定の実施態様を示している。シェイプファイル１０１２が地上システムに提供され、地上システムはシェイプファイル１０１２を使用して圃場の境界を決定し、圃場から地上画像を収集するよう地上カメラを制御する。その後、収集された地上画像は、例えば、通信ゲートウェイ１０２４と通信するエッジＴＰＵハードウェアユニット１００６を使用して処理される。

【0164】

一実施形態では、地上システム１０１６は、Ｒａｓｐｂｅｒｒｙ Ｐｉ ２プロセッサ１０１８と、シェイプファイル１０１２に基づいて生成されたＧＰＳトリガとを使用し得る。トリガは、圃場の特定のエリアの生画像１０１４を撮影するようにカメラに指示するために、地上車両に設置されたカメラに送信される。

【0165】

地上機械または地上車両に設置されたカメラによって取り込まれた画像１０１４は、処理のためにＪＰＥＧ画像としてエッジＴＰＵ１００６に送信され得る。エッジＴＰＵ１００６は、画像分類を行うために、画像に１つまたは複数の分類子を適用し得る。画像は、イーサネットを介して送信され得るか、または、例えばサムネイルＴＩＦＦ画像１０２２として、ＵＳＢ２．０デバイスを介してゲートウェイ１０２４に提供され得る。画像１０２２はまた、追加処理のためにゲートウェイ１０２４からプロセッサ１０１８に送信され得る（１０２０）。

【0166】

ゲートウェイ１０２４は、サーバまたはコンピュータプロセッサとして実施され得、分類された画像を、例えばＴＩＦＦフォーマットのサムネイル１０２６としてクラウドシステム１００４に送信し得る。クラウドシステム１００４に格納されたＴＩＦＦ画像はまた、データベース１０１０にも格納され得る。

【0167】

７．例示的な機械学習法

【0168】

機械学習段階において、一実施形態では、ＩｍａｇｅＮｅｔの事前訓練された畳み込みニューラル・ネットワーク・モデル（Ｉｎｃｅｐｔｉｏｎ ｖ３）に基づくプログラムされた深層（転移）学習モデルが、デジタル画像を複数のカテゴリにおいて分類するようにプログラムされる。第１のカテゴリは、一実施形態では、トウモロコシなどの農作物の無傷の列である。第２のカテゴリは、倒伏、雑草および／または裸地土壌に起因して発生する傷のあるトウモロコシの列である。モデルの出力は、各画像が無傷のトウモロコシ、倒伏、雑草、および裸地土壌として分類される圃場の画像化エリアの地図を生成するために使用される。本明細書では、明確な例を提供する目的で、倒伏または農作物の損傷、雑草および裸地土壌が識別されているが、他の実施形態は、これらの異常に対処するようＣＮＮを訓練するために選択され使用された１つまたは複数の訓練データセットに基づいて、焼け、動物被害、熱損傷などの他の異常について画像を分類するように動作し得る。

【0169】

図１１に、機械学習モデルを使用して圃場異常地図を生成するために画像を分類するための例示的な機械学習法を示す。図１１では、画像１１０２などの入力画像が、特に、画像分類を行う機械学習モデル１１０４に提供される。分類は、様々な分類子を使用することを含み得る。

【0170】

一実施形態では、分類子は、既知の異常を描写する複数の様々な画像サンプルを含み得る。異常の例には、列間損傷、雑草、溜り水などが含まれ得る。異常の種類ごとに、１つまたは複数の分類子が設けられ得る。図１１では、分類子は列間損傷を描写しており、列間画像＃１、行間画像＃２などを含む。同じ異常についての画像は、同じ異常の異なる画像を含み得、各画像は、例えば、異常の異なるビュー、異常の異なるサブタイプ、異常を描写するために使用される異なるカラースキームなどを示し得る。

【0171】

分類プロセスは、地上画像が雑草、樹木などの異常を示しているかどうかを判定することを可能にする画像を使用し得る。画像分類を行うために、分類プロセスは、列間損傷画像＃１、列間損傷画像＃２、雑草画像＃１、雑草画像＃２、雑草画像＃２などの様々な分類子画像を使用し得る。すべての画像が異なっていてもよい。

【0172】

したがって、入力画像１１０２が分類プロセス１１０４を受けるときに、分類子は、画像１１０２が分類子のいずれかと一致するかどうかを判定するために入力画像１１０２のグリッドタイルに適用される。その判断は出力１１０６と呼ばれ、画像１１０２が分類子のいずれかと一致するかどうか、一致する場合、一致した分類子は、列間損傷画像＃１か、列間損傷画像＃２か、雑草画像＃１か、雑草画像＃２か、雑草画像＃２かなどに関する詳細情報を含み得る。

【0173】

８．例示的な分類子

【0174】

一実施形態では、５，０００から６，０００枚の画像のストックを取得し、機械学習モデルを訓練するために分類した。分類ラベルは、トウモロコシ、列間損傷、道路、土壌、大豆、樹木、水、雑草、影、建物を含み得るが、他の実施形態では、画像のストックの内容に基づいて他のラベルを使用することもできる。

【0175】

一実施形態では、航空機器から取り込まれたデジタル画像は、プログラムに従って較正段階に提供され、較正段階では、例えば、画像アーチファクトが除去され、画素サイズが正規化され、他の前処理が実行され得る。次に、画像は、例えば、各々６４０×６４０画素のタイルからなるレベル１グリッドに分割され得る。各タイルは、ソース画像の一部のマルチ画素配列であり得る。一実施形態では、次に、訓練または検証のために複数の時間が選択される。レベル２グリッド化は、各々６４×６４画素のタイルを使用して適用され得る。他の実施形態は、異なる画素寸法を有するグリッド化を使用し得る。

【0176】

一実施形態では、レベル２グリッド化タイルは、土壌、雑草、列間隙間、およびその他の特徴について手動でラベル付けされる。これらのラベル付きタイルは、次いで、分類のために畳み込みニューラルネットワークを訓練するか、またはそれ以外の方法でモデル開発および実装に使用される。

【0177】

その後、訓練されたモデルは、航空機器または他の機器から取得された他の生デジタル画像ファイルに対する分類を、単独で、またはＮＤＶＩデータなどの植生指数データと組み合わせて実行するために使用され得る。組み合わせが使用される場合、特定の圃場の植生指数データは、同じ圃場のデジタル画像の分類出力と融合または混合され、圃場の異常地図を生成するためにプログラムに従って処理される。

【0178】

図１２に、機械学習モデルを使用して圃場異常地図を生成するための例示的な画像分類を示す。この例では、入力画像１２０２はタイルのグリッドを含み、それらの各々が、トウモロコシまたは土壌または雑草などを表す。画像１２０２は、出力画像１２０６を決定するために分類子１２０４のセットを画像に適用することによって処理される。画像１２０６は、タイル分類を含み得、各タイルは、タイルが農作物または特定の異常に対応するかどうかを指示する関連付けられた分類子識別子を有し得る。したがって、画像１２０６は、例えば、トウモロコシ、道路、土壌、雑草、樹木、水などとして分類され得る。異なる種類の異常が要素１２０４として示されている。

【0179】

９．例示的な画像分類

【0180】

図１３に、機械学習モデルを使用して圃場異常地図を生成するための機械学習法を使用した画像分類の一例を示す。図示の例では、異なる入力画像１３００が較正および前処理プロセッサに移され、次いで、前処理および較正された画像は、ステップ１３２０で、機械学習モデルを使用した分類プロセスを施される。

【0181】

例えば、画像１３０２から画像１３１０が較正および前処理システム１３２０に提供され得、画像が較正および前処理されると、画像は、前の図に記載された手法を使用して分類される。

【0182】

機械学習モデルは、分類された画像を含む出力１３５０を生成し得る。図１３では、分類されたデジタル画像は、雑草地図１３５２、裸地土壌地図１３５４、倒伏地図１３５６、および列間損傷地図１３５８を含む。異常の他の地図も生成され得る。異なる種類の異常は、圃場の特定の特性に依存する。

【0183】

１０．例示的なニューラルネットワーク構成

【0184】

図１４に、機械学習モデルを使用して圃場異常地図を生成するためのニューラルネットワーク構成の一例を示す。図示の例では、疑似マシンコード１４０２が、モデルの層、入力変数、ブロックなどの編制を定義する。提供されている例は、例示目的で使用されているにすぎず、ニューラルネットワーク構成の実際の内容は、具体的な実施態様および圃場特性に依存する。

【0185】

図示の例では、コード１４０２は、ヘッダ１４０４が層の記述、層のタイプ、出力形状、およびパラメータ数を含むように編成されている。例えば、層の１つは、６４×６４および３などの異なる形状パラメータを含む入力層１４０６であり得、ここでのパラメータの数は０である。

【0186】

ニューラルネットワーク構成の別の要素はブロック１４０８を含み得、他の要素はブロック１４１０を含み得る。実施態様に応じて、ニューラルネットワーク構成は、異なるモデルおよび異なる実施態様に対して異なり得る。

【0187】

通常、ネットワーク構成は、パラメータの総数を示す概要１４２０などの概要を含む。構成はまた、訓練可能なパラメータの総数１４２２および訓練不可能なパラメータの総数１４２４を含み得る。

【0188】

１１．航空画像処理およびＵＡＶ画像処理のための例示的なフローチャート

【0189】

図１５に、機械学習モデルを使用して圃場異常地図を生成するために航空画像およびＵＡＶ画像を処理するための例示的なフローチャートを示す。図１５に記載されたステップは、クラウド、もしくはサーバにおいて実装された分散コンピューティングシステム、または画像を収集、処理、および分類するように構成された任意の他の処理システムによって行われ得る。

【0190】

ステップ１５０２で、プロセッサが、圃場の航空／ＵＡＶ生画像を受け取る。画像は、衛星、ヘリコプタ、ドローン、または画像を収集するように構成された任意の他の航空ビークルによって提供され得る。

【0191】

ステップ１５０４で、プロセッサは、画像を較正、調整、および／または前処理する。前述のように、これは、画像上の色を調整すること、彩度を調整すること、解像度を調整すること、画像のフォーマットを調整すること、ガンマ較正を行うこと、および生画像の画質を改善するために必要な任意の他の種類の処理を含み得る。

【0192】

ステップ１５０６で、較正され、調整され、前処理された画像は、圃場レベルの地図を作成するためにスティッチングされる。スティッチングは、通常、大きなオルソモザイク画像を生成するために何百もの画像に対してスティッチング操作を行うことを含む。その画像は、広い地面エリアをカバーする可能性があるので、かなりのサイズであり得る。

【0193】

ステップ１５０８で、圃場レベルの地図に基づいて、プロセッサはグリッド地図を生成する。グリッドを生成することは、通常、大きなオルソモザイク画像を、例えば６４×６４画素とすることができ、例えば圃場の１０フィート×１０フィートの領域をカバーする小さな空間グリッドのグリッドに分割することを含む。これらの数は様々であり得、実施態様に依存し得る。

【0194】

ステップ１５１０で、グリッドは複数の小タイルに分割され、各タイルは、前述のように、例えば１０フィート×１０フィートのエリアをカバーし得る。ステップ１５１２で、機械学習モデルを使用して、グリッドの小タイルの各々が、各タイルが、雑草、水、裸地土壌などのいくつかの異常箇所で覆われている圃場のエリアを示しているかどうかを判定するために分類される。分類プロセスは、上述の分類子に基づいて実行され得る。

【0195】

ステップ１５１４で、分類された画像の各々が後処理され、その処理は、分類が正しかった確率を決定し、分類されたタイルを示す１つまたは複数の地図を作成することを含み得る。例えば、前の図に示されるように、分類された画像は、圃場内の雑草の位置を示す地図を生成するために使用され得る。分類された画像はまた、別の地図を生成するためにも使用され得、その地図は、裸地土壌だけで覆われたエリアを示し得る。樹木で覆われたエリアのみを示すためにさらに別の地図が生成され得る。

【0196】

ステップ１５１６で、機械学習モデルによって生成された出力に基づいて、プロセッサがシェイプファイルを生成する。シェイプファイルは、圃場内の分類されたタイルまたは分類された領域を参照するための地理座標（緯度値および経度値）を含む。例えば、分類された画像に基づいて雑草地図が決定された場合には、そのような地図は、雑草で覆われているエリアを示す。その地図に基づいて、シェイプファイルを生成することができる。シェイプファイルは、雑草で覆われているエリアの１つまたは複数の境界を作成する地理座標を提供するか、または含み得る。

【0197】

１２．地上画像処理のための例示的なフローチャート

【0198】

図１６に、機械学習モデルを使用して圃場異常地図を生成するために地上画像を処理するための例示的なフローチャートを示す。図１６に記載されるステップは、通常、地上システムによって行われ、エッジＴＰＵなどの高度なハードウェア技術を利用し得る。地上処理システムは、分散システム、クラウド上のシステム、仮想システム、またはスタンドアロンサーバのセットとして実装され得る。

【0199】

ステップ１６０１で、プロセッサが、圃場内の異なるエリアを参照する地理座標を含むシェイプファイルを受け取る。図１５で説明されているように、シェイプファイルは、例えば、雑草で覆われた領域の地理座標を含み得、またはシェイプファイルは、樹木で覆われた領域の地理座標などを含み得る。

【0200】

代替の実施形態では、シェイプファイルは、その種類にかかわらず、すべての異常の境界を含み得る。例えば、シェイプファイルは囲まれた領域の座標を含み得、それらの領域のうちのあるものは雑草で覆われており、別の領域は裸地土壌で覆われているなどであり得る。

【0201】

ステップ１６０２で、プロセッサは、圃場の地上生画像を受け取る。画像は、地理座標によって定義されたエリアから収集され得る。前述のように、シェイプファイルは、ハーベスタ、コンバイン、トラクタなどの地上車両に送信され得る。あるいは、またはそれに加えて、シェイプファイルは、圃場全体にわたって配置された物理的なポールに取り付けられた地上コントローラおよび／またはカメラに送信されてもよい。カメラは、異なる領域から画像を取り込むようにトリガまたは命令されて得る。命令は、特定の領域の地理座標を提供し得、地理座標は、シェイプファイルで提供され得る。地上生画像は、例えば、トラクタが圃場を横断し、シェイプファイルで提供された境界をたどるときにトラクタによって収集され得る。

【0202】

ステップ１６０４で、プロセッサは、生画像を較正、調整、および前処理する。これは、色を較正すること、色および色相を調整すること、彩度、ガンマ補正、画像のフォーマットを変更することなどを含み得る。

【0203】

ステップ１６０６で、較正され、調整され、前処理された画像は、プロットレベルの大きな地図を作成するためにスティッチングされる。プロットレベルの地図は、圃場内の小さな長方形のエリアを指す。それらの小エリアは、例えば、０．００２エーカーを覆うために、例えば、２作物列の幅および２０フィートの長さを有し得る。対照的に、圃場レベルの地図は、例えば４０から１００エーカーの典型的な大規模圃場をカバーする画像を指す。

【0204】

ステップ１６０８で、プロットレベルの地図に基づいて、プロセッサはグリッド地図を生成する。グリッドがプロットレベルで生成されるため、グリッドは、航空画像およびＵＡＶ画像のために生成されたグリッドよりも小さいエリアをカバーしない場合がある。例えば、地上画像化処理の場合、プロットレベルは、５枚から８枚の画像に基づいて生成され得、それらの画像は、例えば、０．００２エーカーをカバーする１つの画像にスティッチングされる。対照的に、航空／ＵＡＶ画像処理では、スティッチングは、数百の画像を結合して、例えば、数ヘクタールをカバーする大きなオルソモザイク画像にすることを含んでいた。

【0205】

ステップ１６１０で、地図は、グリッドに従って複数の小タイルに分割される。

【0206】

ステップ１６１２で、機械学習モデルを使用して、グリッドの各小タイルが分類される。分類プロセスは、前の図面で説明されており、タイルの画像を分類子の画像と照合することを含み得る。様々な分類子の大きなセットが存在する可能性がある。特定の許容可能な確率内で一致が見つかった場合、グリッドのタイルは、一致する分類子画像に基づいて分類される。

【0207】

ステップ１６１４で、分類された画像の各々が、例えば、訂正もしくは不足している情報を記入し、かつ／または確率が低すぎる場合に分類を訂正するために後処理される。これはまた、タイル画像を再分類すること、または分類を再び行うことも含み得る。

【0208】

後処理された分類画像は、分類されたタイルを示す地図を生成するために使用され得る。同様に、図１５のステップ１５１４の航空／ＵＡＶ画像処理のように、図１６のステップ１６１４で、画像は、各地図が別個の異常についてのものである別々の地図を生成するために使用され得る。例えば、ある地図は雑草に対応する異常に対して作成され得、別の地図は樹木に対応する異常に対して作成され得るなどである。

【0209】

図１６のステップ１６１４で生成される地図と図１５のステップ１５１４で生成される地図との間の１つの違いは、ステップ１６１４で生成される地図がより高いレベルの精度および粒度を有し、ステップ１５１４で生成された地図よりも小さいエリアについてのものであることである。ステップ１６１４で生成される地図は、図１５のステップ１５１４の衛星画像および航空画像に基づいて生成される地図よりも詳細、精密、かつ正確である。

【0210】

ステップ１６１６で、後処理された分類画像または地図は、データベースに格納される。これは、異なる産業間で共有され得る世界的および／または国際的なデータ保管場所に画像を格納することを含み得る。画像はまた、研究室と機関との間で共有されてもよい。画像はまた、農作物栽培者、農場経営者、ならびに種子、農作物、肥料、および農業機械の製造を担当する産業の間で共有されてもよい。

【0211】

１３．特定の実施形態の利点

【0212】

実施形態は、共通の色を有する高スループット画像およびマルチスペクトル画像センサを使用して農地内の特定の異常を識別し、その地図を作成し、地上車両に搭載された低コストセンサによって収量損失のある圃場のエリアの地図を日和見的に作成することができる機能を提供する。本明細書で提案される手法では、機械学習モデルと組み合わされた低コストのセンサの使用により、典型的な商用圃場に拡張可能ないくつかの異常原因の高品質で高精度の地図を提供する。

【0213】

実施形態は、農作物カバレッジ、裸地土壌、農作物の損傷および雑草を表すことが知られている画像の特徴を識別するために、圃場のデジタル画像の大きなセットを訓練セットとして使用して畳み込みニューラルネットワークが訓練されていることを仮定する。モデルは、画像の意味を手動でラベル付けして、農作物、裸地土壌、損傷した農作物および雑草を様々な割合で示す画像を使用して訓練され得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】