(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-03
(45)【発行日】2022-06-13
(54)【発明の名称】画像における作物境界検出
(51)【国際特許分類】
G06T 1/00 20060101AFI20220606BHJP
G06T 7/11 20170101ALI20220606BHJP
G06T 7/00 20170101ALI20220606BHJP
G06Q 50/02 20120101ALI20220606BHJP
【ＦＩ】
G06T1/00 285
G06T7/11
G06T7/00 350C
G06Q50/02
【請求項の数】
26
(21)【出願番号】P 2020540260
(86)(22)【出願日】2019-01-15
(65)【公表番号】
(43)【公表日】2021-05-06
(86)【国際出願番号】 US2019013708
(87)【国際公開番号】W WO2019147440
(87)【国際公開日】2019-08-01
【審査請求日】2020-08-07
(31)【優先権主張番号】62/620,908
(32)【優先日】2018-01-23
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/218,374
(32)【優先日】2018-12-12
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】516326438
【氏名又は名称】エックス デベロップメント エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100126480
【弁理士】
【氏名又は名称】佐藤 睦
(72)【発明者】
【氏名】グオ，チェン－エン
(72)【発明者】
【氏名】ヤン，ジエ
(72)【発明者】
【氏名】グラント，エリオット
【審査官】松浦 功
(56)【参考文献】
【文献】特開平１１－２８３００８（ＪＰ，Ａ）
【文献】国際公開第２０１７／２２１６４１（ＷＯ，Ａ１）
【文献】特開２０１３－０３３３４６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０３３４２７６（ＵＳ，Ａ１）
【文献】WARDLOW, B.D. et al.，Analysis of Time-Series MODIS 250 m Vegetation Index Data for Crop Classification in the U.S. Central Great Plains，Remote Sensing of Environment [online]，2007年06月，Vol. 108，pp. 290-310，インターネット，<URL: https://www.researchgate.net/publication/222511209_Analysis_of_Time-Series_MODIS_250_m_Vegetation_Index_Data_for_Crop_Classification_in_the_US_Central_Great_Plains>，[検索日 2021.09.28]
【文献】KUSSUL, N. et al.，Deep Learning Classification of Land Cover and Crop Types Using Remote Sensing Data，IEEE Geoscience and Remote Sensing Letters [online]，IEEE，2017年03月31日，Vol. 14, No. 5，pp. 778-782，インターネット，<URL: https://ieeexplore.ieee.org/abstract/document/7891032>，[検索日 2021.09.28]
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｑ ５０／０２
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
地理的地域及び期間と関連付けられた複数の画像セットを取得することであって、前記複数の画像セットの各画像セットは、前記期間中の前記地理的地域のそれぞれの特定の部分を描写する多スペクトル及び時系列の画像を含む、取得することと、前記複数の画像セットのうちのある画像セットの画像の画素が作物か非作物かを示す確率を判定することと、
判定された前記確率に基づいて、前記地理的地域の前記特定の部分内の作物境界位置を判定することと、
作物エリアの表示がオーバーレイされた前記画像セットのうちの前記多スペクトル及び時系列の画像の少なくとも１つの画像を含む作物表示画像を生成することであって、前記作物エリアは、前記判定された作物境界位置によって規定される、生成することと、を含む方法。
【請求項2】
前記作物境界位置を判定することは、サブメートル地上分解能で前記作物境界位置を判定することを含む、請求項１に記載の方法。
【請求項3】
前記作物境界位置を判定することは、判定された前記確率及び前記画像セットと関連付けられた前記地理的地域の特定の部分に近接する物理的構造物又は農業手法の予備知識の適用の１つ以上に基づいて作物境界位置を判定することと、作物境界位置画素を平滑化することと、教師なしクラスタリングと地域拡張技術を適用することと、を含む、請求項１に記載の方法。
【請求項4】
前記確率を判定することは、前記画像セットを１つ以上の機械学習システムに適用することを含み、前記１つ以上の機械学習システムは、グラウンドトゥルースデータにおける教師ありトレーニングの後に、画像セットにおける画像の画素が作物か非作物かを示す確率を判定するように構成されている、請求項１に記載の方法。
【請求項5】
前記１つ以上の機械学習システムは、畳み込みニューラルネットワーク（ＣＮＮ）を含む、請求項４に記載の方法。
【請求項6】
前記グラウンドトゥルースデータは、政府の作物データ、公的に入手可能な作物データ、低地上分解能で識別された作物エリアを伴う画像、手動で識別された作物境界を伴う画像、作物調査データ、サンプリングされた作物データ、及び農家のレポートのうちの１つ以上を含む、請求項４に記載の方法。
【請求項7】
前記グラウンドトゥルースデータと関連付けられた第１の地理的地域及び第１の期間の一方又は両方は、前記複数の画像セットと関連付けられた前記地理的地域及び前記期間と一致する、請求項４に記載の方法。
【請求項8】
前記グラウンドトゥルースデータと関連付けられた第１の地理的地域及び第１の期間の一方又は両方は、前記複数の画像セットと関連付けられた前記地理的地域及び前記期間とは異なる、請求項４に記載の方法。
【請求項9】
前記確率を判定する前に、雲、影、もや、霧、及び大気障害物の１つ以上の前記複数の画像セットをフィルタリングすることをさらに含み、前記確率を判定することは、前記画像セットと関連付けられたフィルタリングされた画像セットを使用することを含む、請求項１に記載の方法。
【請求項10】
前記作物境界位置のサブセットは、閉じたエリアを規定し、前記閉じたエリアは、作物フィールド又は前記作物フィールド内の複数の作物サブフィールドを含む、請求項１に記載の方法。
【請求項11】
前記作物フィールド又は前記複数の作物サブフィールドのそれぞれの作物サブフィールドを一意的に識別することをさらに含む、請求項１０に記載の方法。
【請求項12】
更新トリガに従って前記作物境界位置の判定を更新することをさらに含む、請求項１に記載の方法。
【請求項13】
前記地理的地域は、郡、州、国、大陸、惑星、又はそれらの一部分を含む、請求項１に記載の方法。
【請求項14】
１つ以上のコンピュータ可読記憶媒体であって、装置の１つ以上のプロセッサによる実行に応答して、前記装置に地理的地域及び期間と関連付けられた複数の画像セットを取得することであって、前記複数の画像セットの各画像セットは、前記期間中の前記地理的地域のそれぞれの特定の部分を描写する多スペクトル及び時系列の画像を含む、取得することと、
前記複数の画像セットのうちのある画像セットの画像の画素が作物か非作物かを示す確率を判定することと、
判定された前記確率に基づいて、前記地理的地域の前記特定の部分内の作物境界位置を判定することと、
作物エリアの表示がオーバーレイされた前記画像セットのうちの前記多スペクトル及び時系列の画像の少なくとも１つの画像を含む作物表示画像を生成することであって、前記作物エリアは、前記判定された作物境界位置によって規定されている、生成することと、を行わせる、複数の命令を含む、コンピュータ可読記憶媒体。
【請求項15】
前記作物境界位置を判定することは、サブメートル地上分解能で前記作物境界位置を判定することを含む、請求項１４に記載のコンピュータ可読記憶媒体。
【請求項16】
前記作物境界位置を判定することは、判定された前記確率及び前記画像セットと関連付けられた前記特定の部分に近接する物理的構造物又は農業手法の予備知識の適用の１つ以上に基づいて作物境界位置を判定することと、作物境界位置画素を平滑化することと、教師なしクラスタリングと地域拡張技術を適用することと、を含む、請求項１４に記載のコンピュータ可読記憶媒体。
【請求項17】
前記確認を判定することは、前記画像セットを１つ以上の機械学習システムに適用することを含み、前記１つ以上の機械学習システムは、グラウンドトゥルースデータにおける教師ありトレーニングの後に、画像セットにおける画像の画素が作物か非作物かを示す確率を判定するように構成されている、請求項１４に記載のコンピュータ可読記憶媒体。
【請求項18】
前記１つ以上の機械学習システムは、畳み込みニューラルネットワーク（ＣＮＮ）を含む、請求項１７に記載のコンピュータ可読記憶媒体。
【請求項19】
前記グラウンドトゥルースデータは、政府の作物データ、公的に入手可能な作物データ、低地上分解能で識別された作物エリアを伴う画像、手動で識別された作物境界を伴う画像、作物調査データ、サンプリングされた作物データ、及び農家のレポートのうちの１つ以上を含む、請求項１７に記載のコンピュータ可読記憶媒体。
【請求項20】
前記グラウンドトゥルースデータと関連付けられた第１の地理的地域及び第１の期間の一方又は両方は、前記複数の画像セットと関連付けられた前記地理的地域及び前記期間と一致する、請求項１７に記載のコンピュータ可読記憶媒体。
【請求項21】
前記グラウンドトゥルースデータと関連付けられた第１の地理的地域及び第１の期間の一方又は両方は、前記複数の画像セットと関連付けられた前記地理的地域及び前記期間とは異なる、請求項１７に記載のコンピュータ可読記憶媒体。
【請求項22】
前記装置の前記１つ以上のプロセッサによる実行に応答して、前記装置に、前記確率を判定する前に、雲、影、もや、霧、及び大気障害物の１つ以上の前記複数の画像セットをフィルタリングさせる命令をさらに含み、前記確率を判定することは、前記画像セットと関連付けられたフィルタリングされた画像セットを使用することを含む、請求項１４に記載のコンピュータ可読記憶媒体。
【請求項23】
前記作物境界位置のサブセットは、閉じたエリアを規定し、前記閉じたエリアは、作物フィールド又は前記作物フィールド内の複数の作物サブフィールドを含む、請求項１４に記載のコンピュータ可読記憶媒体。
【請求項24】
前記装置の前記１つ以上のプロセッサによる実行に応答して、前記装置に、前記作物フィールド又は前記複数の作物サブフィールドのそれぞれの作物サブフィールドを一意的に識別させる命令をさらに含む、請求項２３に記載のコンピュータ可読記憶媒体。
【請求項25】
前記装置の前記１つ以上のプロセッサによる実行に応答して、前記装置に、更新トリガに従って前記作物境界位置の判定を更新させる命令をさらに含む、請求項１４に記載のコンピュータ可読記憶媒体。
【請求項26】
前記地理的地域は、郡、州、国、大陸、惑星、又はそれらの一部分を含む、請求項１４に記載のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[0001] 本出願は、２０１８年１月２３日に出願された米国仮特許出願第６２／６２０，９０８号に対する優先権を主張し、その開示は、その全体が参照により本明細書に組み込まれる。
[0001] 本出願は、２０１８年１月２３日に出願された米国仮特許出願第６２／６２０，９０８号に対する優先権を主張し、その開示は、その全体が参照により本明細書に組み込まれる。
【0002】
[0002] 本開示は、概して、画像特徴検出に関し、具体的には、画像特徴検出における機械学習の使用に関するが、それに限定されない。
【背景技術】
【0003】
[0003] 現在、地球の陸地表面の約１１％が作物生産に使用されている。人間の生存、環境への影響、国の関わり、営利企業、市場などにとっての農業の重要性にもかかわらず、地理的地域、郡、州、国、大陸、惑星全体、又は上記のうちのいずれかの一部分内におけるすべての農地の、一貫した、信頼のおける、及び／又は正確な識別はなされていない。農業分野に関するより多くの情報が既知である場合、例えば、種子及び肥料の会社は、異なる地理的地域における自社製品の利用可能な市場をより良好に判断し得、作物保険会社は、保険料をより正確かつコスト効率よく査定し得、銀行は、より正確に農業ローンを提供し得、及び／又は政府は、より良好に税金を査定し、補助金を配分し、地域の食料生産能力を判断し、インフラストラクチャを計画することなどを行うことができる。
【0004】
[0004] 農地に関するマッピングデータが存在し得る限度まで、そのようなデータは、一貫性がなく、不正確で、古く、及び／又はさもなければ多くの実際の用途には不完全である傾向がある。例えば、政府機関は、地理的地域内の農地及び／又は農場全体のごく一部分を調査又はサンプリングし、その小さなデータセットを推定して、地理的地域内に実際に存在するすべての農地の用地位置、サイズ、形状、作物タイプ、数などを概算し得る。このようなデータの収集は労働集約型でなされるため、農地データは、まれにしか（又は多くの商業目的上、ごくまれにしか）更新されない傾向がある。
【0005】
[0005] 農地の使用は、地域毎、経時などによって変化する傾向がある。農場は、先進国よりも発展途上国において、規模が著しく小さい傾向がある。また、作物は、同じ用地で季節毎に、又は１年毎に変わることがある。農地は、非農業用途（例えば、住宅開発）に転用される場合がある。したがって、１つ以上の特定の地理的地域（例えば、郡、国、惑星）に対する十分な粒状レベルで農地を正確に識別すること、及び農地の特徴情報を安価かつ十分な頻度で維持することは有益であろう。
【図面の簡単な説明】
【0006】
[0006] 本発明の非限定的かつ非網羅的な実施形態を以下の図を参照して説明するが、ここで、特に指定されない限り、同様の参照番号は、様々な図全体を通して同様の部分を指す。必要に応じて図面が煩雑にならないように、要素のすべての事例が必ずしも標識されているわけではない。図面は必ずしも縮尺通りではなく、説明されている原理を示すことに重点が置かれている。
【図1】いくつかの実施形態による、本開示の作物境界検出技術を組み込んだ例示的なシステムのネットワーク図を示すブロック図である。
【図3】いくつかの実施形態による、本開示の作物境界検出技術に従った例示的な画像を示す図である。
【図4A】いくつかの実施形態による、作物境界がオーバーレイされ、かつ識別された作物フィールド及びサブフィールドを伴う例示的な画像を示す図である。
【図4B】いくつかの実施形態による、作物境界がオーバーレイされ、かつ識別された作物フィールド及びサブフィールドを伴う例示的な画像を示す図である。
【発明を実施するための形態】
【0007】
[0013] ここでは、画像における作物境界検出のためのシステム、装置、及び方法の実施形態を説明する。いくつかの実施形態では、方法は、地理的地域及び期間と関連付けられた複数の画像セットを取得することであって、複数の画像セットの各画像セットは、期間中の地理的地域のそれぞれの特定の部分を描写する多スペクトル及び時系列の画像を含む、取得することと、複数の画像セットのうちのある画像セットと関連付けられた地理的地域の特定の部分内で、特定の位置における作物の存在を予測することと、特定の位置における作物の予測された存在に基づいて、地理的地域の特定の部分内で作物境界位置を判定することと、作物エリアの表示がオーバーレイされた画像セットのうちの多スペクトル及び時系列の画像の少なくとも１つの画像を含む作物表示画像を生成することであって、作物エリアは、判定された作物境界位置によって規定されている、生成することと、を含み得る。
【0008】
[0014] 以下の説明では、多くの具体的な詳細は、実施形態の徹底的な理解を提供するために、記載されている。しかしながら、関連技術の当業者は、本明細書に記載された技術が、１つ以上の特定の詳細なしで、又は他の方法、構成要素、材料などを用いて実施され得ることを認識するであろう。他の例では、特定の態様を不明瞭にしないために、周知の構造、材料、又は操作は、詳細に図示又は説明しない。
【0009】
[0015] 本明細書全体を通した「一実施形態」又は「実施形態」への言及は、実施形態に関連して記載された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。このように、本明細書全体を通して、様々な場所での「一実施形態では」又は「実施形態では」という句の出現は、必ずしもすべてが同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、又は特性は、１つ以上の実施形態において、任意の好適な様式で組み合わされ得る。
【0010】
[0016] 図１は、いくつかの実施形態による、本開示の作物境界検出技術を組み込んだ例示的なシステム１００のネットワーク図を示すブロック図である。システム１００は、ネットワーク１０２と、サーバ１０４と、データベース１０６と、サーバ１０８と、データベース１１０と、デバイス１１２と、空中画像捕捉デバイス１１６と、を含み得る。サーバ１０４、データベース１０６、サーバ１０８、データベース１１０、デバイス１１２、及び空中画像捕捉デバイス１１６のうちの１つ以上は、ネットワーク１０２と通信することができる。少なくともサーバ１０８は、本開示の作物境界検出技術を含み、以下でより完全に説明するように、サブメートル分解能での画像における作物境界の自動検出を容易にすることができる。
【0011】
[0017] ネットワーク１０２は、１つ以上の有線及び／又は無線通信ネットワークを備え得る。ネットワーク１０２は、コンピュータデバイスを物理的及び／又はロジック的に接続して互いにデータを交換するための１つ以上のネットワーク要素（図示せず）を含み得る。いくつかの実施形態では、ネットワーク１０２は、インターネット、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、キャンパスエリアネットワーク（ＣＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、仮想ローカルエリアネットワーク（ＶＬＡＮ）、セルラーネットワーク、キャリアネットワーク、ＷｉＦｉネットワーク、ＷｉＭａｘネットワークなどであってもよい。さらに、いくつかの実施形態では、ネットワーク１０２は、単一のエンティティ（例えば、企業、学校、政府機関、家庭、人など）によって使用され得る、私的、公的、及び／又はセキュリティ保護されたネットワークであってもよい。図示していないが、ネットワーク１０２は、サーバ、データベース、スイッチ、ルータ、ゲートウェイ、基地局、中継器、ソフトウェア、ファームウェア、中間サーバ、及び／又は通信を容易にする他の構成要素を含み得るが、それらに限定されない。
【0012】
[0018] サーバ１０４は、１つ以上の分解能で地表面の空中画像（地表面画像、陸地画像、イメージ、又は画像とも称される）の収集、管理、及び／又は格納を容易にするように構成されている、１つ以上のコンピュータ、プロセッサ、携帯電話インフラストラクチャ、ネットワークインフラストラクチャ、バックホールインフラストラクチャ、ホスティングサーバ、サーバ、ワークステーション、パーソナルコンピュータ、汎用コンピュータ、ラップトップ、インターネット家電、ハンドヘルドデバイス、ワイヤレスデバイス、インターネット・オブ・シングス（ＩｏＴ）デバイス、ポータブルデバイスなどを含み得る。例えば、サーバ１０４は、デバイス１１６に、１つ以上の特定の地理的地域の画像を取得すること、特定の軌道を通ること、特定の分解能で画像を取得すること、特定の頻度で画像を取得すること、特定の期間に特定の地理的地域の画像を取得することなどを命令することができる。別の例として、サーバ１０４は、デバイス１１６と通信して、デバイス１１６によって捕捉された画像を受信することができる。さらに別の例として、サーバ１０４は、政府筋、ユーザ（例えば、ユーザ１１４など）などから、関連付けられた作物関連情報（例えば、作物タイプ識別、作物境界、識別された道路の位置、及び／又は他の注釈付き情報）が含まれた画像を取得／受信するように構成されてもよい。以下で詳細に考察されるように、関連付けられた作物関連情報が含まれた画像は、人間がラベル付けした画像、米国農務省（ＵＳＤＡ）の農地データレイヤ（ＣＤＬ）データ、米国農業局（ＦＳＡ）の共有地ユニット（ＣＬＵ）データ、グラウンドトゥルースデータなどを含んでもよい。
【0013】
[0019] サーバ１０４は、互いに直接及び／又はネットワーク１０２を介してデバイス１１６と通信することができる。いくつかの実施形態では、サーバ１０４は、１つ以上のウェブサーバ、１つ以上のアプリケーションサーバ、１つ以上の中間サーバなどを含み得る。
【0014】
[0020] データベース１０６は、サーバ１０４、デバイス１１２、サーバ１０８、及び／又はデータベース１１０によって使用されるデータ及び／又は命令を格納する１つ以上のストレージデバイスを備え得る。例えば、データベース１０６は、デバイス１１６によって提供される画像及び関連するメタデータを含み得る。データベース１０６のコンテンツは、ネットワーク１０２を介して、及び／又はサーバ１０４によって直接アクセスすることができる。データベース１０６のコンテンツは、選択的な検索を容易にするために構造化されたフォーマットで配置されてもよい。いくつかの実施形態では、データベース１０６は、２つ以上のデータベースを含み得る。いくつかの実施形態では、データベース１０６は、サーバ１０４内に含まれてもよい。
【0015】
[0021] サーバ１０８は、いくつかの実施形態による、本開示の作物境界検出技術の１つ以上の特徴を実現するように構成されている、１つ以上のコンピュータ、プロセッサ、携帯電話インフラストラクチャ、ネットワークインフラストラクチャ、バックホールインフラストラクチャ、ホスティングサーバ、サーバ、ワークステーション、パーソナルコンピュータ、汎用コンピュータ、ラップトップ、インターネット家電、ハンドヘルドデバイス、ワイヤレスデバイス、インターネット・オブ・シングス（ＩｏＴ）デバイス、ポータブルデバイスなどを含み得る。サーバ１０８は、サーバ１０４／データベース１０６によって提供された画像及び可能な関連付けられたデータを使用して、所定のレベルの信頼度／精度内にある地表面の複数の画像の各画像内に存在する作物境界を自動的に検出することができる機械学習ベースのモデルをトレーニング及び生成するように構成されてもよい。作物境界の識別は、サブメートルレベルの粒度又は分解能で行うことができる。「トレーニング済み」機械学習ベースのモデルは、人間が管理していない画像において作物境界を識別するように構成されてもよい。本モデルは、教師あり機械学習技術を実装することによって、トレーニングすることができる。サーバ１０８はまた、識別された作物境界を伴う画像へのアクセス及び／又は画像の使用を容易にし得る。
【0016】
[0022] サーバ１０８は、サーバ１０４、データベース１０６、データベース１１０、及び／又はデバイス１１２のうちの１つ以上と直接又はネットワーク１０２を介して通信することができる。いくつかの実施形態では、サーバ１０８はまた、デバイス１１６と通信して、サーバ１０４に関連して上記で説明したように１つ以上の機能を容易にすることができる。いくつかの実施形態では、サーバ１０８は、１つ以上のウェブサーバ、１つ以上のアプリケーションサーバ、１つ以上の中間サーバなどを含み得る。
【0017】
[0023] サーバ１０８は、本明細書で説明する技術の様々な態様を容易にするための、ハードウェア、ファームウェア、回路、ソフトウェア、及び／又はそれらの組み合わせを含み得る。いくつかの実施形態では、サーバ１０８は、画像フィルタリングロジック１２０と、作物／非作物検出ロジック１２２と、トレーニングロジック１２４と、作物境界検出ロジック１２６と、ポスト検出ロジック１２８とを含み得るが、これらに限定されない。以下で詳細に説明するように、画像フィルタリングロジック１２０は、１つ以上のフィルタリング、「クリーニング」、又はノイズ除去技術を画像に適用して、画像からアーチファクト及び他の望ましくないデータを除去するように構成されてもよい。作物／非作物検出ロジック１２２は、画像の作物及び非作物エリア（作物／非作物ヒートマップとも称する）を判定するように構成されてもよい。作物／非作物検出ロジック１２２は、「トレーニング済み」機械学習ベースのモデルの少なくとも一部分を備え得る。トレーニングロジック１２４は、作物／非作物検出ロジック１２２を生成するための１つ以上の機械学習技術の教師あり学習、トレーニング、及び／又は精緻化を容易にするように構成されてもよい。代替的に、トレーニングロジック１２４は、教師なし学習、半教師あり学習、強化学習、コンピュータビジョン技術などをサポートするように構成されてもよい。
【0018】
[0024] 作物境界検出ロジック１２６は、作物／非作物検出ロジック１２２によって判定された画像の作物及び非作物エリアに基づいて、画像内の作物境界（例えば、閉じた境界）を検出又は識別するように構成されてもよい。検出された作物境界の各々には、一意の作物フィールド又はサブフィールドを関連付けることができる。ポスト検出ロジック１２８は、検出された作物境界と関連付けられた各一意の作物フィールド（又は作物サブフィールド）への一意の識別子の割り当て、作物フィールド（又はサブフィールド）検索機能、作物境界検出更新機能などの提供などの、ポスト作物境界検出アクティビティの１つ以上を実施するように構成されてもよいが、これらに限定されない。
【0019】
[0025] いくつかの実施形態では、ロジック１２０～１２８のうちの１つ以上の（又はその一部分）は、サーバ１０８に含まれる１つ以上のプロセッサによって実行される１つ以上の命令を含むソフトウェアとして実装されてもよい。代替的な実施形態では、ロジック１２０～１２８のうちの１つ以上（又はその一部分）は、サーバ１０８に含まれる特定用途向け集積回路（ＡＳＩＣ）、プログラマブルアレイロジック（ＰＡＬ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのファームウェア又はハードウェアとして実装されてもよいが、これらに限定されない。他の実施形態では、ロジック１２０～１２８のうちの１つ以上（又はその一部分）は、ソフトウェアとして実装されてもよく、一方でロジック１２０～１２８のうちの他（又はその一部分）は、ファームウェア及び／又はハードウェアとして実装されてもよい。
【0020】
[0026] 図１ではサーバ１０８を単一のデバイスとして図示し得るが、サーバ１０８は、１つ以上のサーバを備えていてもよく、及び／又はロジック１２０～１２８のうちの１つ以上は、複数のデバイスに分散されてもよいと考えられる。いくつかの実施形態では、コンピューティング資源又は制限に応じて、ロジック１２０～１２８のうちの１つ以上は、複数のインスタンスで実装されてもよい。
【0021】
[0027] データベース１１０は、サーバ１０８、デバイス１１２、サーバ１０４、及び／又はデータベース１１０によって使用されるデータ及び／又は命令を格納する１つ以上のストレージデバイスを備え得る。例えば、データベース１１０は、サーバ１０４／データベース１０６／デバイス１１６によって提供された画像、作物／非作物検出ロジック１２２を構築及び／又はトレーニングするために使用されたグラウンドトゥルースデータ、作物／非作物検出ロジック１２２によって生成された作物／非作物ヒートマップ、作物境界検出ロジック１２６によって識別された作物境界、作物境界検出ロジック１２６によって使用された予備知識データ、識別子及び他の関連付けられた画像及び／又は作物境界情報、ロジック１２０～１２８のいずれかによって使用されるデータ、ロジック１２０～１２８のいずれかによって生成されたデータ、デバイス１１２を介してユーザ１１４によってアクセスされるデータ、及び／又はデバイス１１２を介してユーザ１１４によって提供されるデータを含み得る。データベース１１０のコンテンツは、ネットワーク１０２を介して、及び／又はサーバ１０８によって直接アクセスすることができる。データベース１１０のコンテンツは、選択的な検索を容易にするために構造化されたフォーマットで配置されてもよい。いくつかの実施形態では、データベース１１０は、２つ以上のデータベースを含み得る。いくつかの実施形態では、データベース１１０は、サーバ１０８内に含まれてもよい。
【0022】
[0028] デバイス１１２は、１つ以上のコンピュータ、ワークステーション、パーソナルコンピュータ、汎用コンピュータ、ラップトップ、インターネット家電、ハンドヘルドデバイス、ワイヤレスデバイス、インターネット・オブ・シングス（ＩｏＴ）デバイス、ポータブルデバイス、スマートフォン、タブレットなどを含み得る。いくつかの実施形態では、ユーザ１１４は、デバイス１１２に接続して、ロジック１２０～１２８のうちの１つ以上によって使用されるデータを提供し（例えば、グラウンドトゥルースデータとして機能する選択画像上の作物境界の手動識別、作物境界検出ロジック１２６に従って予測された作物境界の変更又は修正）、及び／又は予測された作物境界と関連付けられたデータを要求することができる（例えば、特定の作物フィールド（又はサブフィールド）の検索、予測された作物境界がオーバーレイされた特定の画像の視覚表示の要求）。少なくともトレーニングロジック１２４及び／又はポスト検出ロジック１２８は、デバイス１１２と関連付けられた機能を容易にすることができる。作物境界検出で使用するためのデータを提供するユーザ１１４は、作物境界検出の性能に従って生成されたデータを要求するユーザと同じであっても異なっていてもよい。
【0023】
[0029] デバイス１１６は、衛星、飛行機、ドローン、熱気球、及び／又は地表面の複数の空中写真又は俯瞰写真を捕捉することができる他のデバイスのうちの１つ以上を含み得る。複数の空中写真は、複数の多スペクトル及び時系列の画像を含み得る。デバイス１１６は、１つ以上の位置追跡機構（例えば、全地球測位システム（ＧＰＳ））、多スペクトル画像化機構、気象条件検出機構、日時スタンプ生成機構、地表面からの距離を検出する機構、及び／又は捕捉された複数の画像の各画像について関連付けられた画像情報を提供する関連画像メタデータ生成機能を含み得る。デバイス１１６は、手動及び／又は自動で操作され得、捕捉された画像は、有線又は無線接続を介してサーバ１０４、サーバ１０８、又は他のデバイスに提供され得る。デバイス１１６はまた、同じ場所の時系列画像を捕捉するために、特定の期間にわたって複数回同じ場所に配備され得る。デバイス１１６によって提供された、又はデバイス１１６から提供された画像から生成された（グラウンドトゥルースデータと関連付けられた、又は自動作物境界検出が望まれ得る）画像の例には、Ｌａｎｄｓａｔ７衛星画像、Ｌａｎｄｓａｔ８衛星画像、Ｇｏｏｇｌｅ Ｅａｒｔｈ画像などが含まれるが、これらに限定されない。
【0024】
[0030] 個別の構成要素は、図１に関連して上で考察されているが、構成要素は組み合わされてもよい。例えば、サーバ１０４及び１０８は単一の構成要素を含んでもよく、データベース１０６及び１１０は単一の構成要素を含んでもよく、及び／又はデバイス１１２はサーバ１０８と組み合わされてもよい。
【0025】
[0031] 図２は、いくつかの実施形態による、作物境界検出モデルを生成し、生成された作物境界検出モデルを使用して作物境界検出を実行し、作物境界と関連付けられた作物フィールド／サブフィールド情報への様々なアクセスを提供するために、システム１００によって実施することのできる例示的なプロセス２００を示すフロー図である。
【0026】
[0032] ブロック２０２において、トレーニングロジック１２４は、識別された作物境界及びその中で分類された作物タイプの複数の地表面画像を含むグラウンドトゥルースデータを取得又は受信するように構成されてもよい。グラウンドトゥルースデータを構成する複数の画像は、検出対象の画像に表示され得る異なる地形及び作物境界を扱うことのできる検出モデルをトレーニング／生成できるようにするため、異なる地形及び作物境界などを表す画像を含むように選択されてもよい。
【0027】
[0033] いくつかの実施形態では、複数の画像は、多スペクトルデータ（例えば、赤、緑、青（ＲＧＢ）スペクトル、可視スペクトル、近赤外（ＮＩＲ）、正規化差植生指数（ＮＤＶＩ）、赤外（ＩＲ）など）を含む画像を含み得る（多スペクトル画像又はイメージとも称される）。複数の画像は、時系列画像を含むこともでき、同じ地理的位置が特定の期間にわたって複数回画像化されてもよい。特定の期間は、作物の生育期（例えば、５月～１０月）、１年、複数年、２００８年～２０１６年、及び／又は他の所定の期間を含み得るが、これらに限定されない。撮像頻度は、毎時、毎日、毎週、隔週、毎月、季節毎、年毎などであってもよい。特定の地理的位置と関連付けられた画像、及び任意選択的に特定の期間の画像は、画像セットと称され得る。グラウンドトゥルースデータには、複数の画像セットが含まれてもよい。
【0028】
[0034] いくつかの実施形態では、グラウンドトゥルースデータは、作物境界（又は作物フィールド）が識別された既存の画像を含んでもよく、作物境界（又は作物フィールド）は、低（地上）分解能（例えば、１メートルを超える分解能、３～２５０メートルの分解能、３０メートルの分解能など）で識別されてもよい。このような画像は、毎日～隔週のリフレッシュレートなど、高頻度で更新されてもよい。作物境界の識別は低分解能であるため、そのような識別は「ノイズが多い」、概算、又は不正確であるとみなされる場合がある。低分解能で識別された作物境界の既存の画像の例には、ＵＳＤＡ ＣＤＬデータ、ＦＳＡ ＣＬＵデータ、政府が収集したデータ、サンプリング又は調査ベースのデータ、農家のレポートなどが含まれるが、これらに限定されない。識別された作物境界の既存の画像は、サーバ１０４によって取得され、データベース１０６に格納され、及び／又はサーバ１０８に提供され得る。
【0029】
[0035] いくつかの実施形態では、グラウンドトゥルースデータは、（上で考察されたように）ＣＤＬ及びＣＬＵデータ及び／又は人間がラベル付けしたデータを含み得る。人間がラベル付けしたデータは、デバイス１１２上に設けられたグラフィカルユーザインターフェース（ＧＵＩ）機構を介して、例えばユーザ１１４によって手動で識別、ラベル付け、又は注釈が付けられた画像における作物境界を含み得る。そのような手動の注釈は、ＣＤＬ及び／又はＣＬＵデータと関連付けられている場合よりも高い（地上）分解能である場合がある。手動でラベル付けされた画像は、例えば、デバイス１１６から取得されてもよい。画像は、さもなければ、作物境界検出のための、ただし手動で識別された作物境界のための作物境界検出モデルに適用し得る画像であってもよい。トレーニングロジック１２４は、画像の選択、選択された画像の提示、人間がラベル付けした画像の使用などを容易にすることができる。グラウンドトゥルースデータは、トレーニングデータ、モデル構築データ、モデルトレーニングデータなどとも称され得る。
【0030】
[0036] いくつかの実施形態では、グラウンドトゥルースデータと関連付けられた期間及び／又は地理的地域（複数可）は、作物境界を検出すべき画像と関連付けられた期間及び／又は地理的地域（複数可）と同じ（又はほぼ同じ）であってもよい（ブロック２１６）。例えば、２００８～２０１６年の間に撮影された画像がブロック２１６で処理される場合、２００８年のＣＬＵデータを使用することができ、２００８～２０１６年のＣＤＬデータを使用することができ、人間がラベル付けしたデータは２００８～２０１６年の間に撮影された画像を含んでもよい。ＣＬＵ及びＣＤＬデータは、米国の画像データを含んでもよく、人間がラベル付けしたデータもまた、米国の画像データを含んでもよい。
【0031】
[0037] 次に、ブロック２０４において、画像フィルタリングロジック１２０は、グラウンドトゥルースデータを構成する１つ以上の画像の予備フィルタリングを実行するように構成されてもよい。いくつかの実施形態では、予備フィルタリングは、画素毎に画像に収められた雲、影、もや、霧、大気障害物、及び／又は他の地表面障害物を監視することを含み得る。そのような障害が検出された場合、画像フィルタリングロジック１２０は、ブロック２０６において、画素毎に、障害に対処するかどうか、障害をどのように補正するか、モデルの構築において対象の画素と関連付けられた画像情報を省略するかどうかを決定するように構成されてもよい。例えば、第１の画素は雲のために地表面情報を含まないが、第１の画素に隣接する第２の画素と関連付けられた地理的位置は雲によって遮られないために画像化されている場合、画像フィルタリングロジック１２０は、第１の画素値を第２の画素値に変更するように構成されてもよい。別の例として、所与の画像における既知の不正確な画素値は、同じ画像セット内の別の画像（例えば、同じ地理的位置の同じ時系列における異なる画像から）の対応する画素の画素値で置き換えることができる。他の実施形態では、ブロック２０４は任意選択的であってもよい。
【0032】
[0038] ブロック２０６において、グラウンドトゥルースデータを取得し、かつ任意選択的に、予備的にフィルタリング又は修正した結果のグラウンドトゥルースデータを、１つ以上の機械学習技術／システムに適用して、作物／非作物モデルを生成又は構築することができる。いくつかの実施形態では、作物／非作物モデルは、作物／非作物検出ロジック１２２を含み得る。機械学習技術／システムは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）又は教師あり学習システムを含み得る。作物／非作物モデルは、入力として提供された画像セットと関連付けられた特定の地理的位置に対応する各画素について、作物又は非作物の確率的予測を提供するように構成されてもよい。グラウンドトゥルースデータは、作物境界が正確に識別された画像で構成されているため、機械学習技術／システムは、画像におけるどの地表の特徴が作物又は非作物を示しているかを学習することができる。そのような知識は、十分に詳細かつ正確である場合、作物境界が不明である可能性のある画像内の作物境界を自動的に識別するために使用することができる。
【0033】
[0039] いくつかの実施形態では、作物／非作物モデルは特定の地理的地域に関連付けられてもよく、同じ地理的地域はグラウンドトゥルースデータを構成する画像に捕捉され得る。例えば、作物／非作物モデルは、米国内の特定の郡に特有であってもよい。同様に、作物／非作物モデルは特定の期間と関連付けられてもよく、同じ期間がグラウンドトゥルースデータを構成する画像と関連付けられてもよい。地理的地域が大きくなると、データの不整合又は地域差が生じ、その結果、作物／非作物モデルの精度が低下する可能性がある。
【0034】
[0040] 次に、トレーニングロジック１２４は、作物／非作物モデルの精度が所定の閾値以上かどうかを判定するように構成されてもよい。所定の閾値は、７０％、８０％、８５％、９０％などであってもよい。モデルの精度が所定の閾値未満である場合（ブロック２０８の分岐なし）、プロセス２００はブロック２０２に戻り、追加のグラウンドトゥルースデータを取得／受信して、機械学習技術／システムに適用し、現在の作物／非作物モデルを精緻化する。機械学習技術／システムにグラウンドトゥルースデータを追加することは、教師あり学習データを追加することを含み、それによって作物／非作物モデルを、画素が作物を表す（又は作物フィールド内にある）か否か（又は作物フィールド内にない）を予測するようにより良好に構成することができる。ブロック２０２～２０８は、十分に正確な作物／非作物モデルが構築されるまで１回以上反復することができる。
【0035】
[0041] モデルの精度が所定の閾値以上である場合（ブロック２０８でｙｅｓ分岐）、作物／非作物モデルは、作物境界（又は作物フィールド）が不明である画像に対する教師なし又は自動の作物／非作物検出における使用に容認可能とみなすことができる。ブロック２１０において、自動検出のための作物／非作物モデルに適用される複数の画像を取得又は受信することができる。複数の画像は、デバイス１１６によって捕捉されたものであってもよい。
【0036】
[0042] いくつかの実施形態では、複数の画像は、複数の画像セットを含んでもよく、複数の画像セットの各画像セットは、内部に位置するすべての作物フィールド／サブフィールドを識別することが望まれる地理的地域（例えば、米国）を集合的に構成する複数の部分／エリア（例えば、米国のすべての郡）のそれぞれの部分／エリア（例えば、米国のひとつの郡）と関連付けることができる。複数の部分／エリアの各部分／エリアについて、関連付けられた画像セットは、以下を含み得る。（１）複数の時点の各々（例えば、５月１日、６月１日、７月１日、８月１日、９月１日、１０月１日）についての少なくとも１つの画像。（２）複数の時点のそれぞれの時点について、１つ以上の画像が存在してもよい。各画像は、同じ時点で撮影された別の画像から特定／異なるスペクトル情報を提供することができる（例えば、５月１日に撮影された第１の画像はＲＧＢ画像、５月１日に撮影された第２の画像はＮＩＲ画像、５月１日に撮影された第３の画像はＮＤＶＩ画像など）。
【0037】
[0043] 複数の画像によって対象とされる全体的な地理的地域は、ブロック２０２で作物／非作物モデルを生成するために使用される画像と関連付けられた同じ（又はほぼ同じ）地理的地域であってもよい。言い換えれば、ブロック２０６で生成された作物／非作物モデルは、ブロック２１０の画像で使用するために特別に開発されたものであってもよい。そのような作物／非作物モデルは、ローカル又はローカライズされた作物／非作物モデルとも称され得る。ブロック２１０で取得された複数の画像はまた、作物／非作物モデルの期間と同じ期間に関連付けられてもよい。上記の例を続けると、ブロック２０６で生成された作物／非作物モデルは、米国及び２００８～２０１６年と関連付けられてもよく（モデルのトレーニング及び構築に使用された画像は、２００８～２０１６年の間に撮影された米国の画像であるため）、ブロック２１０の複数の画像は、同様に、２００８～２０１６年の間に撮影された米国の画像であってもよい。
【0038】
[0044] 画像セット内の各画像は、多スペクトル及び／又は時系列のコンテンツが互いに異なることを除いて、（同じ配向で、かつ表面から同じ距離にある）同じ土地の位置を示してもよい。したがって、画像セット内の各画像は、地表面の特徴が異なる時間及び／又は異なるスペクトル／色合成スキームにより異なる場合があることを除いて、「同じ」画像であってもよい。いくつかの実施形態では、ブロック２０２のグラウンドトゥルースデータを構成する画像セット内の画像は、同様の特性を有してもよい。
【0039】
[0045] 次に、ブロック２１２において、ブロック２１０の画像は、画像フィルタリングロジック１２０によって予備的にフィルタリングされてもよい。いくつかの実施形態では、ブロック２１２は、処理された画像がブロック２０２の画像ではなくブロック２１０の画像であることを除いて、ブロック２０４と同様であってもよい。他の実施形態では、雲及び他の障害物が画像内に存在しないように確実に画像が取得された（又は必要に応じて再取得された）場合、ブロック２１２は任意選択的であってもよい。
【0040】
[0046] 次にブロック２１４において、作物／非作物検出ロジック１２２は、ブロック２１０で得られた複数の画像セットの各（フィルタリングされた）画像セットに対する作物／非作物ヒートマップを判定するように構成されてもよい複数の画像セットの各画像セットについて、画像セットは、ブロック２０６で生成された作物／非作物モデルへの入力として提供されてもよく、それに応答して、作物／非作物モデルは、画素毎に作物が示されているどうかを予測／判定することができる。言い換えれば、それぞれの画像セットと関連付けられた地理的地域の特定の部分内の特定の位置での作物（又は非作物）の存在を予測する。ヒートマップの各画素は、作物又は非作物の相対確率又は絶対確率を示していてもよい。例えば、作物ゼロの確率は指標がないことで示してもよく、作物の最も高い確率は最も暗い又は最も明るい色合いの赤で示してもよく、その中間の確率は、表示なしと最も暗い／最も明るい赤色との間で色、明暗、トーン、パターンを適切に変化させてもよい。いくつかの実施形態では、ヒートマップは、ラスターフォーマットからベクトル化されてもよい。
【0041】
[0047] 同じ地理的エリアについての画像セットを構成する多スペクトル及び時系列の画像により、特定の地表面の特徴の経時的な変化を検出することができる。これにより、特定のエリアが作物エリアである可能性が高いかどうかを判定することが容易になる。例えば、作物の色は生育期の過程で変化する可能性がある。作物フィールドは、植え付け前、生育期、及び収穫後で各々異なって見える場合もある。時間の経過に伴う作物の色の変化の特定のパターンは、生育されている作物のタイプを示している場合がある（例えば、小麦、大豆、トウモロコシなど）。作物の植え付け及び／又は収穫の時期は、生育されている作物のタイプを示している場合がある。第１のタイプの作物が１年目に所与の作物フィールドで生育され、次に第１のタイプの作物とは異なる第２のタイプの作物が２年目に同じ作物フィールドで生育された場合、２年の間に検出された変化は、その作物フィールドと関連付けられた地理的な場所が作物エリアであり得ることを示す場合がある。
【0042】
[0048] いくつかの実施形態では、ヒートマップによって提供される作物／非作物の確率的予測は、元の画像上にオーバーレイされた特定の色、パターン、シェーディング、トーン、又は他の指標の使用によって示されてもよい。図３は、いくつかの実施形態による、本開示の作物境界検出技術に従った例示的な画像を示す。画像３００は、画像セットからの生／元の画像を表し、画像３０２は、作物／非作物ヒートマップがオーバーレイされた画像３００を表し、画像３０４は、画像３００の作物境界予測を表す。画像３００では、建物３２２の屋根を含む、様々な表面特徴が示されている。ブロック２１４において、画像３００は、画像３００に対応する画像セット内の残りの画像と共に、作物／非作物モデルに適用され得る。作物／非作物モデルによって出力された結果の作物／非作物ヒートマップは、画像３０２に示すようになり得る。画像３０２では、エリア３１０（画像３００とは異なる色で示される）は、作物／非作物モデルによって予測された作物エリアを含み得る。
【0043】
[0049] 図２に戻り、ブロック２１６において、作物境界検出ロジック１２６は、ブロック２１０の複数の画像セットの各画像セットに対して、作物／非作物ヒートマップに基づいて作物境界を判定するように構成されてもよい。作物／非作物ヒートマップの使用に加えて、作物境界位置の判定は、予備知識情報、ノイズ除去技術の適用、クラスタリング及び領域拡張技術の適用などに応じたものであってもよい。
【0044】
[0050] いくつかの実施形態では、作物境界検出ロジック１２６は、作物境界を判定する際に予備知識情報を使用するように構成されてもよい。予備知識情報には、道路、水路、森林、建物、駐車場、フェンス、壁、及び他の物理的構造の既知の位置、画像セットと関連付けられた地理的位置に隣接する特定の農業／栽培手法から生じる特定の境界形状などの農業又は栽培手法に関する既知の情報（例えば、既知の回転散水の使用の場合における直線境界又は円形境界）、作物タイプなどを含み得るが、これらに限定されない。ノイズ除去又はフィルタリング技術を実施して、作物境界を判定し、及び／又は作物境界を精緻化することができる。適用可能なノイズ除去又はフィルタリング技術は、事前に判定された作物境界を平滑化する技術（例えば、物理的なバリアがない場合、境界は線形になるか、又は幾何学的形状に従う傾向があるため）を含み得るが、これに限定されない。同様に、クラスタリング及び領域拡張の技術を使用して、作物境界を判定又は精緻化することができる。教師なしクラスタリング及び領域拡張の手法を使用して、少数の画素がそれらの周囲の非常により大多数の画素から逸脱しているエリアで、浮遊画素を非作物から作物に、又はその逆に再分類することができる。例えば、作物として分類されているより大きなエリア内で、少数の画素が非作物として分類されている場合、それらの少数の画素は作物として再分類される。
【0045】
[0051] 各作物エリア／フィールド／サブフィールドと関連付けられた作物境界は、サブメートル（地上）分解能、約０．１５～０．２メートルの分解能、０．５メートル未満の分解能、約０．２メートル未満の分解能などで判定又は識別することができる。
【0046】
[0052] 作物境界は、閉じた形状のエリアを規定してもよい。作物境界は、作物フィールド境界、又は、画像セット及び／又は予備知識情報に十分な情報が存在する場合、作物サブフィールド境界を含み得る。作物フィールド境界は、フェンス、恒久的な水路、森林、道路などによって線引きされた物理的エリアを含み得る作物フィールドを規定することができる。作物サブフィールドは、作物フィールドのサブセットを含んでいてもよく、作物フィールドの物理的エリアの一部分には、作物フィールドの物理的エリアの別の一部分における主要な作物タイプとは異なる特定の作物タイプが主として含まれる。物理的エリアの異なる作物タイプの部分の各々は、作物サブフィールドとみなすことができる。したがって、作物フィールドは、１つ以上の作物サブフィールドを含み得る。例えば、作物フィールドは、トウモロコシの第１の作物サブフィールド及び大豆の第２の作物サブフィールドを含み得る。
【0047】
[0053] いくつかの実施形態では、作物／非作物検出ロジック１２２によって提供された作物／非作物ヒートマップは、作物エリアの尤度を示すことができる一方で、作物境界検出ロジック１２６は、作物／非作物ヒートマップにおいて作物を描写している可能性があると示された画素のいずれが作物フィールド（複数可）又は作物サブフィールド（複数可）を構成しているかについて、最終判定するように構成されてもよい。作物フィールド又はサブフィールドの周囲は、関連付けられた作物フィールド又はサブフィールド境界を規定する。
【0048】
[0054] 図３において、画像３０４は、画像３００を含む画像セットに対して、ブロック２１６で識別された作物境界によって規定された作物エリア３１２を含む。道路３２４ならびに建物及び（建物３２２と関連付けられた）周辺エリア３２０は、非作物エリアとして示されている。図４Ａは、いくつかの実施形態による、作物境界ならびにそのような作物境界で規定された作物フィールド及びサブフィールドがオーバーレイされた例示的な画像４００を示す。作物境界４０２内に、第１の作物サブフィールド４０４及び第２の作物サブフィールド４０６が存在し得る。それに反して、作物境界４０８内には、作物フィールド４１０のみが存在し得る。
【0049】
[0055] すべての画像セットに対して作物境界及び関連付けられた作物フィールド／サブフィールドが識別されると、プロセス２００はブロック２１８に進むことができる。ブロック２１８では、ポスト検出ロジック１２８は、画像セットのすべてに対して（例えば、地理的地域全体に対して）分類された作物／耕作地のサブフィールドに応じて１つ以上のポスト検出アクティビティを実行するように構成されてもよい。識別された作物境界に基づいて識別された各作物フィールド／サブフィールドについて、ポスト検出アクティビティは、作物フィールド／サブフィールドの面積の計算、作物フィールド／サブフィールドへの一意の識別子の割り当て（例えば、別の作物フィールド／サブフィールドには再利用されない一意のコンピュータ生成識別番号（ＧＵＩＤ）、分類システム内の作物フィールド／サブフィールドの分類（例えば、作物フィールド／サブフィールドは、特定の大陸、国、州、郡などで分類、割り当て、ラベル付け、又は関連付けがなされてもよい）、及び／又は格納、抽出、検索、及び／又は更新アクティビティで使用するための関連メタデータの生成を含み得るが、これらに限定されない。いくつかの実施形態では、ポスト検出アクティビティは、識別された作物フィールド／サブフィールドの表示を元の画像にオーバーレイして、作物フィールド／サブフィールド検出結果を視覚的に提示することと、さもなければ元の画像を検出された情報で視覚的に増強することと、をさらに含み得る。ポスト検出アクティビティから得られたデータは、データベース１１０に保持されてもよい。
【0050】
[0056] いくつかの実施形態では、ポスト検出ロジック１２８は、図４Ａの画像４００と同様に、作物フィールド及びサブフィールド（及び／又は作物境界）の指標がオーバーレイされた元の画像（例えば、画像セットを構成する複数の画像の少なくとも１つの画像）を表す新しい画像（作物表示画像とも称される）を生成するように構成されてもよい。図４Ｂは、いくつかの実施形態による、生成された新しい画像を含み得る別の例示的な画像４２０を示す。画像４２０は、生／元の写真画像上にオーバーレイされた４つの作物境界４２２、４２６、４３０、及び４３４の表示を示す。作物境界４２２、４２６、４３０、４３４によって規定された閉じたエリアの各々は、作物エリア／フィールド／サブフィールドを含む。したがって、作物境界４２２、４２６、４３０、４３４は、画像４２０内のそれぞれの作物エリア／フィールド／サブフィールド４２４、４２８、４３２、４３６を示す。
【0051】
[0057] 特定の作物フィールド／サブフィールドに関する表示、検索、又は他のアクティビティが実行された場合、そのような生成された新しい画像がユーザに対して表示されてもよい。
【0052】
[0058] 次にブロック２２０において、ポスト検出ロジック１２８は、作物境界が更新されるべきかどうかを判定するように構成されてもよい。更新は、（例えば、１つ以上の作物境界の潜在的な変化に対するほぼリアルタイムでの）新しい画像の可用性、日／時イベント（例えば、新しい年、新しい生育期）、最後の更新からの十分な時間の経過、あらかじめ設定された期間（定期的、毎週、隔週、毎月、季節毎、毎年など）などに基づくきっかけによって実行されてもよい。更新が実行される場合（ブロック２２０でｙｅｓ分岐）、プロセス２００はブロック２１０に戻ることができる。更新が実行されない場合（ブロック２２０で分岐なし）、プロセス２００はブロック２２２及び２２４に進むことができる。
【0053】
[0059] ブロック２２２において、ポスト検出ロジック１２８は、作物フィールド／サブフィールドの表示及び検索機能を提供するように構成されてもよい。アプリケーションプログラミングインターフェース（ＡＰＩ）、ウェブサイト、アプリなどは、ユーザが作物フィールド／サブフィールドのデータに様々にアクセスするように実装することができる。例えば、ユーザは特定の作物フィールド／サブフィールドを緯度／経度、郡、サイズ、形状、ＧＵＩＤ、又は他の検索パラメータ（複数可）で検索することができる。作物境界及び／又は作物フィールド／サブフィールドがオーバーレイされた画像が、ユーザに表示されてもよい。ユーザは、例えば、デバイス１１２を介して検索を実行し、作物フィールド／サブフィールドデータを閲覧することができる。
【0054】
[0060] ブロック２２４において、ポスト検出ロジック１２８は、認証されたユーザによる、自動的に識別された作物境界の変更の受け入れを容易にするように構成されてもよい。作物を作付けした農家は、自身の作物のデータベースで識別された作物境界及び／又は作物フィールド／サブフィールドが間違っていることに気づき、手動で画像に正しい作物境界をラベル付けすることができる。修正機能は、ブロック２０２で人間によってラベル付けされた画像を生成することと同様であってもよい。加えられた修正は、承認を受けることでき、その後、データベース１１０を更新するために使用することができる。加えられた変更は、作物／非作物モデルを精緻化するためのグラウンドトゥルースデータとしても使用することができる。
【0055】
[0061] このようにして、所与の地理的地域（例えば、郡、州、国、大陸、惑星）に対して作物フィールド／サブフィールド（又は作物境界）の完全なデータベースが自動的に生成される。このデータベースは、サブメートル分解能の粒状であり、かつ最小限の監視で長期にわたって最新に保つことができる。複数の地理的地域について、複数の地理的地域のそれぞれの地理的地域のグラウンドトゥルースデータが存在すると仮定すると、プロセス２００は、複数の地理的地域の各々に対して実行してもよい。
【0056】
[0062] 図５は、いくつかの実施形態による、既存の作物境界検出モデルを使用し、かつ必要に応じて作物境界検出モデルを変更して作物検出モデルを実行するシステム１００によって実施され得る例示的なプロセス５００を示すフロー図である。いくつかの実施形態では、ブロック５０２、５０４、５０６、５０８は、作物境界検出が実行される画像セットは、ブロック５０６で使用された作物／非作物モデルと関連付けられた地理的地域及び／又は期間とは異なる地理的地域及び／又は期間と関連付けられ得ることを除いて、図２のそれぞれのブロック２１０、２１２、２１４、２１６と同様であってもよい。
【0057】
[0063] 上記の例を続けると、作物／非作物モデルは、２００８～２０１６年の間に撮影された米国の画像に基づいて生成されたものである一方、ブロック５０２の画像セットは、２０００～２００７年の間に撮影された米国の画像であってもよい。別の例として、ブロック５０２の画像セットは、米国以外の地理的地域（例えば、外国、中国、メキシコ、カナダ、アフリカ、東ヨーロッパなど）の画像であってもよい。さらに別の例として、ブロック５０２の画像セットは、２００８～２０１６年以外の年の間に撮影された特定の地理的地域の画像であってもよい。作物／非作物モデルは、処理される画像に合わせて正確に調整されていなくても、そのようなモデルはすでに存在するため、開始点として使用することができる。米国以外の国については、作物／非作物モデルを容易に生成するための、公的に利用可能なグラウンドトゥルースデータが存在しないか、不十分である。
【0058】
[0064] いくつかの実施形態では、ブロック５１０～５１２は、ブロック５０２～５０８と同時に、その前に、又はその後に実行されてもよい。ブロック５１０、５１２は、図２のそれぞれのブロック２０２、２０４と同様であってもよい。ブロック５１０で取得されたグラウンドトゥルースデータは、ブロック５０２の画像セットと同じ（又はほぼ同じ）地理的地域及び／又は期間と関連付けられてもよい。いくつかの実施形態では、ブロック５１０のグラウンドトゥルースデータの量は、ブロック２０２のグラウンドトゥルースデータの量とは異なっていてもよい。米国外の国又は以前の年について政府／公的に利用可能な作物データがほとんど又はまったく存在しない可能性があるため、より少ない量のグラウンドトゥルースデータが利用可能である場合がある。
【0059】
[0065] ブロック５１４において、トレーニングロジック１２４は、ブロック５１０、５１２で提供された（フィルタリングされた）グラウンドトゥルースデータにおいて識別された作物境界と比較することにより、ブロック５０８で既存の作物／非作物モデルを使用して予測された作物境界の少なくともサブセットの精度を評価するように構成されてもよい。いくつかの実施形態では、識別された作物境界データの２つのセット内の同じ（又はほぼ同じ）地理的エリアと関連付けられたそれぞれの作物境界を互いに比較することができる。
【0060】
[0066] 予測された作物境界の精度が閾値以上である場合（ブロック５１４のｙｅｓ分岐）、プロセス５００はブロック５１６～５２２に進むことができる。閾値は、７５％、８０％、８５％、９０％などの事前設定された閾値を含み得る。既存の作物／非作物モデルは、ブロック５０２の対象の画像と関連付けられた特定の地理的地域及び期間に好適である（又は十分に正確である）とみなすことができる。いくつかの実施形態では、ブロック５１６、５１８、５２０、５２２は、対象の作物境界がブロック５０８で判定されたものであることを除いて、図２のそれぞれのブロック２１８、２２０、２２２、２２４と同様であってもよい。ブロック５１８において、作物境界が更新される場合（ブロック５１８のｙｅｓ分岐）、プロセス５００はブロック５０２に戻ることができる。作物境界の更新について、モデルの好適性／精度が最初に一旦確認されたら、ブロック５１０、５１２、及び５１４を繰り返す必要はない。
【0061】
[0067] 予測された作物境界の精度が閾値未満である場合（ブロック５１４の分岐なし）、プロセス５００はブロック５２４に進むことができる。ブロック５０２で取得された画像と同じ（又はほぼ同じ）地理的地域及び期間と関連付けられた新しい作物／非作物モデルを生成することができる。新しい作物／非作物モデルは、既存の作物／非作物モデルの変更、又は対象の画像と一致する地理的地域及び期間に対応するデータのみでトレーニング済みのモデルを含み得る。ブロック５２４において、トレーニングロジック１２４は、１つ以上の機械学習技術／システムに適用されたブロック５１２の（フィルタリングされた）グラウンドトゥルースデータに基づいて新しい作物／非作物モデルを生成するように構成されてもよい。ブロック５２４は、図２のブロック２０６と同様であってもよい。
【0062】
[0068] 次に、ブロック５２６において、新しい作物／非作物モデルの精度を評価することができる。精度が閾値未満である場合（ブロック５２６の分岐なし）、ブロック５２８で追加のグラウンドトゥルースデータを取得又は受信することができ、かつブロック５２４に戻ることにより、新しい作物／非作物モデルのトレーニング／精緻化／構築を継続することができる。精度が閾値以上である場合（ブロック５２６のｙｅｓ分岐）、プロセス５００はブロック５０６に進み、ブロック５０４からの（フィルタリングされた）画像セットと共に新しい作物／非作物モデルを使用して、（フィルタリングされた）画像セットと関連付けられた作物／非作物ヒートマップを生成することができる。既存の作物／非作物モデルの不十分な精度のために新しい作物／非作物モデルが生成された場合、ブロック５１０、５１２、５１４を繰り返す必要がない場合がある。
【0063】
[0069] このようにして、米国外の国における、及び／又は近年以外の期間に対する作物フィールド／サブフィールドも、安価に、正確に、及び自動的に判定することができる。したがって、集合的に、惑星全体の現在及び過去の（空中画像データが利用可能な範囲で）の作物フィールド／サブフィールドのすべてを識別し、適切にカタログ化／分類することができる。
【0064】
[0070] 図６は、いくつかの実施形態による、本開示のシステム１００において実装し得る例示的なデバイスを示す。図６のデバイスは、サーバ１０４、データベース１０６、サーバ１０８、データベース１１０、デバイス１１２、及び／又はデバイス１１６のいずれかの少なくとも一部分を含み得る。図示のプラットフォーム６００は、情報を通信するためのバス又は他の内部通信手段６１５と、情報を処理するためにバス６１５に結合されたプロセッサ６１０とを備える。プラットフォームは、プロセッサ６１０によって実行される情報及び命令を格納するために、バス６１５に結合されたランダムアクセスメモリ（ＲＡＭ）又は他の揮発性ストレージデバイス６５０（本明細書では代替的にメインメモリとも称される）をさらに備える。メインメモリ６５０はまた、プロセッサ６１０による命令の実行中に一時変数又は他の中間情報を格納するために使用されてもよい。プラットフォーム６００はまた、プロセッサ６１０のための静的情報及び命令を格納するためにバス６１５に結合された読み取り専用メモリ（ＲＯＭ）及び／又は静的ストレージデバイス６２０と、磁気ディスク、光ディスク、及びその対応するディスクドライブ、又はポータブルストレージデバイス（例えば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ、セキュアデジタル（ＳＤ）カードなどのデータ記憶デバイス６２５とを備える。データストレージデバイス６２５は、情報及び命令を格納するためにバス６１５に結合される。
【0065】
[0071] プラットフォーム６００はさらに、コンピュータユーザに情報を表示するためにバス６６５を通じてバス６１５に結合された陰極線管（ＣＲＴ）又は液晶ディスプレイ（ＬＣＤ）などの表示デバイス６７０に結合されてもよい。プラットフォーム６００が、コンピューティング能力、及び作成され、かつインストールされた表示デバイスへの接続性を提供する実施形態では、表示デバイス６７０は、上述のように作物フィールド／サブフィールド情報がオーバーレイされた画像を表示することができる。英数字及び他のキーを含む英数字入力デバイス６７５は、プロセッサ６１０に情報及びコマンド選択を通信するために、バス６６５を通じて（例えば、赤外線（ＩＲ）又は無線周波数（ＲＦ）信号を介して）バス６１５に結合されてもよい。追加のユーザ入力デバイスは、方向情報とコマンド選択をプロセッサ６１０に通知するために、かつ表示デバイス６７０上のカーソルの動きを制御するために、バス６６５を通じてバス６１５に結合された、マウス、トラックボール、スタイラス、又はカーソル方向キーなどのカーソル制御デバイス６８０である。タッチスクリーンインターフェースを利用する実施形態では、ディスプレイ６７０、入力デバイス６７５、及びカーソル制御デバイス６８０はすべて、タッチスクリーンユニットに統合され得ることが理解される。
【0066】
[0072] 任意選択的にプラットフォーム６００に結合され得る別の構成要素は、ネットワークを介して分散システムの他のノードにアクセスするための通信デバイス６９０である。通信デバイス６９０は、イーサネット、トークンリング、インターネット、又は広域ネットワークに結合するために使用されるものなど、市販のネットワーキング周辺デバイスのいずれかを含み得る。通信デバイス６９０はさらに、ヌルモデム接続、又はプラットフォーム６００と外界との間の接続性を提供する任意の他の機構であってもよい。図６に示す本システムの構成要素のいずれか又はすべて、及び関連付けられたハードウェアが、本開示の様々な実施形態で使用され得ることに留意されたい。
【0067】
[0073] 上記で説明したプロセスは、コンピュータソフトウェア及びハードウェアの観点から説明されている。説明された技法は、機械によって実行されると、説明された動作を機械に実行させる、有形の又は非一時的な機械（例えば、コンピュータ）可読記憶媒体内で具現化される機械実行可能命令を構成し得る。さらに、プロセスは、特定用途向け集積回路（「ＡＳＩＣ」：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェア内で具現化され得る。
【0068】
[0074] 有形の機械可読記憶媒体は、機械（例えば、コンピュータ、ネットワークデバイス、電子手帳、製造ツール、１つ以上のプロセッサのセットを備える任意のデバイスなど）によってアクセス可能な非一時的形態で情報を提供（例えば、記憶）する任意の機構を含む。例えば、機械可読記憶媒体は、記録可能／記録不可能な媒体（例えば、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイスなど）を含む。
【0069】
[0075] 要約中に記載されているものを含む、本発明の図示された実施形態の上記の記載は、網羅的であること、又は本発明を開示された正確な形態に限定することを意図していない。本発明の特定の実施形態、及びそのための実施例は、例示的目的のために本明細書に記載されているが、当業者が認識するように、本発明の範囲内で様々な修正が可能である。
【0070】
[0076] これらの修正は、上記の詳細な説明に照らして、本発明に対して行うことができる。以下の特許請求の範囲で使用される用語は、本発明を明細書に開示された特定の実施形態に限定するものと解釈されるべきではない。むしろ、本発明の範囲は、以下の特許請求の範囲によって完全に決定されるべきであり、それらは、特許請求項解釈の確立された原則に従って解釈されるべきである。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
