特表 2022-522031 自動モバイルフィールド偵察センサーデータおよび画像分類デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-04-13

(54)【発明の名称】自動モバイルフィールド偵察センサーデータおよび画像分類デバイス

(51)【国際特許分類】

   G06Q 50/02 20120101AFI20220406BHJP

【ＦＩ】

G06Q50/02

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021550693

(86)(22)【出願日】2020-02-28

(85)【翻訳文提出日】2021-10-27

(86)【国際出願番号】 EP2020055339

(87)【国際公開番号】W WO2020174095

(87)【国際公開日】2020-09-03

(31)【優先権主張番号】19160021.2

(32)【優先日】2019-02-28

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】521381967

【氏名又は名称】ベーアーエスエフ・アグロ・トレードマークス・ゲーエムベーハー

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100133086

【弁理士】

【氏名又は名称】堀江 健太郎

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(72)【発明者】

【氏名】マティアス・テンペル

(72)【発明者】

【氏名】マレク・ピョートル・シコラ

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC01

(57)【要約】

より効果的なフィールド偵察管理を提供するために、フィールド偵察管理のための方法が提供される。この方法は、ディスプレイを備えたモバイル偵察管理デバイスを使用して、農地内で偵察トリップを計画するステップと、計画された偵察トリップに沿って偵察データを収集するステップと、収集された偵察データを農地内に持ち運ばれるように適合されたモバイル意思決定サポートデバイスに提供するステップと、モバイル意思決定サポートデバイスを使用して、フィールド性能マップ、雑草マップ、すべての識別された種のリスト、および/または再偵察についての提案を含む偵察報告を提供するために、偵察データを分析するステップと、モバイル意思決定サポートデバイスをモバイル偵察管理デバイスに接続するステップと、偵察トリップの偵察報告をモバイル偵察管理デバイスのディスプレイ上に表示するステップとを含む。

【特許請求の範囲】

【請求項1】

フィールド偵察管理のための方法であって、
- ディスプレイを備えたモバイル偵察管理デバイスを使用して、農地(10)内で偵察トリップを計画するステップ(S10)と、
- 前記計画された偵察トリップに沿って偵察データを収集するステップ(S20)と、
- 前記収集された偵察データを前記農地内に持ち運ばれるように適合されたモバイル意思決定サポートデバイスに提供するステップ(S30)と、
- 前記モバイル意思決定サポートデバイスを使用して、フィールド性能マップ、雑草マップ、すべての識別された種のリスト、および/または再偵察についての提案を含む偵察報告を提供するために、前記偵察データを分析するステップ(S40)と、
- 前記モバイル意思決定サポートデバイスを前記モバイル偵察管理デバイスに接続するステップ(S50)と、
- 前記偵察報告を前記モバイル偵察管理デバイスの前記ディスプレイ上に表示するステップ(S60)と
を含む、方法。

【請求項2】

前記収集された偵察データを分析する前記ステップが、前記偵察データに基づいて前記偵察報告を提供するために、事前トレーニングされた機械学習分類器を使用するステップをさらに含む、
請求項1に記載の方法。

【請求項3】

前記偵察データが、前記農地の複数のキャプチャされたジオリフェレンス画像を含み、
前記収集された偵察データを分析する前記ステップが、
- 前記農地の縫い合わされたジオリフェレンス画像を取得するために、前記複数のジオリフェレンス画像を一緒に縫い合わせるステップ(S41)と、
- 複数のロケーションにおける植生に対する測定値を判定し、フィールド性能マップを提供するために、前記縫い合わされたジオリフェレンス画像に基づいてフィールド性能インデックスを算出するステップ(S42)と、
- 前記複数のロケーション(12a、12b、12c)の各々において、性能差を判定するために、植生に対する前記測定値と作物モデル形成からもたらされる植生に対する予想値とを比較するステップ(S43)と、
- 追加のデータキャプチャのための少なくとも1つの関心ポイント(12b)をマーキングするステップ(S44)であって、前記判定された性能差が、基準値以上である、マーキングするステップ(S44)と
を含む、
請求項1または2に記載の方法。

【請求項4】

前記収集された偵察データを分析する前記ステップが、
- 土壌エリア対象範囲、作物エリア対象範囲、および雑草エリア対象範囲を区別するステップ(S45)と、
- 少なくとも1つの雑草種を識別し、前記少なくとも1つの識別された雑草種の雑草名、および前記雑草名と前記少なくとも1つの識別された雑草種との間の一致の確率を示す信頼性レベルを提供するステップ(S46)と、
- 高い信頼性レベルを有する、前記少なくとも1つの識別された雑草種のリストを生成するステップ(S47)と、
- 潜在的な再査定のために、低い信頼性レベルを有する、少なくとも1つの雑草をマーキングするステップ(S48)と、
- 低い信頼性レベルを有する、前記少なくとも1つの雑草を、同様の雑草を含む未確認種にグループ化するステップ(S49)と
をさらに含む、
請求項1から3のいずれか一項に記載の方法。

【請求項5】

前記分析の結果が、事前定義された基準に一致する場合、追加のフィールド偵察に対する前記提案が提供され、前記事前定義された基準が、
- 縫い合わされたジオリフェレンス画像の不十分な縫い合わせの品質、
- 前記ジオリフェレンス画像または前記縫い合わされたジオリフェレンス画像の不十分な画像品質、
- 少なくとも1つのグループ化された未確認雑草種、および
- しきい値以上の検出された性能差を有する、少なくとも1つのマーキングされた関心ポイント
のうちの少なくとも1つを含む、請求項1から4のいずれか一項に記載の方法。

【請求項6】

前記提案が、
- 少なくとも1つのマーキングされた関心ポイントに基づいてセンサーキャリアを用いて再偵察するための新しいマップ、および
- ユーザが、前記少なくとも1つの未確認種を検証するために、および/または前記少なくとも1つのマーキングされた関心ポイントを調査するために、手動偵察を行うためのマップ
のうちの少なくとも1つを含む、請求項1から5のいずれか一項に記載の方法。

【請求項7】

モバイル意思決定サポートデバイス(100)であって、
- 偵察データインターフェース(110)と、
- 処理モジュール(120)と、
- 決定出力インターフェース(130)と
を備え、
前記偵察データインターフェースが、農地の偵察データを受信するように構成され、
前記処理モジュールが、機械学習分類器を使用して、前記偵察データに基づいて偵察報告を提供するように構成され、
前記決定出力インターフェースが、前記偵察報告を出力するように構成される、モバイル意思決定サポートデバイス(100)。

【請求項8】

前記モバイル意思決定サポートデバイスが、ドングルデバイスである、請求項7に記載のデバイス。

【請求項9】

- 前記デバイスに電力を提供するためのバッテリーユニット、
- 前記偵察データを記憶するための記憶ユニット、ならびに
- バッテリー寿命および/または接続性を示すためのインジケータ
のうちの少なくとも1つをさらに備える、請求項7または8に記載のデバイス。

【請求項10】

モバイル偵察管理デバイス(200)であって、
- ユーザインターフェース(210)と、
- 偵察計画モジュール(220)と、
- センサーキャリア制御インターフェース(230)と、
- 決定入力インターフェース(240)と、
- ディスプレイ(250)と
を備え、
前記ユーザインターフェースが、ユーザ入力を受信するように構成され、
前記偵察計画モジュールが、前記ユーザ入力に基づいて、農地内で偵察トリップを計画し、前記計画された偵察トリップを前記センサーキャリア制御インターフェースに出力するように構成され、
前記決定入力インターフェースが、前記計画された偵察トリップの偵察報告を受信するために、モバイル意思決定サポートデバイスの決定出力インターフェースに接続可能であり、
前記ディスプレイが、前記偵察報告を表示するように構成される、モバイル偵察管理デバイス(200)。

【請求項11】

フィールド偵察管理のためのシステム(300)であって、
- 請求項10に記載のモバイル偵察管理デバイス(200)と、
- センサーキャリア制御インターフェース(60)、センサー構成(70)、および偵察データインターフェース(80)を備えた、センサーキャリア(50)と、
- 請求項7から9のいずれか一項に記載のモバイル意思決定サポートデバイス(100)と
を備え、
前記モバイル偵察管理デバイスが、ユーザが農地内で偵察トリップを計画することを可能にするように構成され、
前記センサーキャリアの前記センサーキャリア制御インターフェースが、前記計画された偵察トリップを受信するために、前記モバイル偵察管理デバイスの前記センサーキャリア制御インターフェースに接続可能であり、
前記センサー構成が、前記偵察トリップに沿って複数のロケーションにおいて偵察データを収集し、前記収集された偵察データを前記センサーキャリアの前記偵察データインターフェースに出力するように構成され、
前記モバイル意思決定サポートデバイスの前記偵察データインターフェースが、前記収集された偵察データを受信するために、前記センサーキャリアの前記偵察データインターフェースに接続可能であり、
前記モバイル意思決定サポートデバイスが、前記収集された偵察データを分析し、偵察報告を表示するためのディスプレイを備えた前記モバイル偵察管理デバイスに前記偵察報告を出力するように構成される、システム(300)。

【請求項12】

請求項7から11のいずれか一項に記載の装置を制御するためのコンピュータプログラム要素であって、前記コンピュータプログラム要素は、処理ユニットによって実行されると、請求項1から6のいずれか一項に記載の方法を実行するように適合される、コンピュータプログラム要素。

【請求項13】

請求項12のプログラム要素を記憶した、コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に、フィールド偵察に関し、より詳細には、フィールド偵察管理のための方法、モバイル意思決定サポートデバイス、モバイル偵察管理デバイス、およびフィールド偵察管理のためのシステムに関する。

【背景技術】

【0002】

フィールド偵察は、フィールデータを収集するためのセンサーキャリア、たとえば、ドローン、が配備されている場合、より客観性を高めることができる。データの分析は、画像分類によって自動化され得るが、しばしば、多くの計算能力を必要とし、通常のモバイルコンシューマハードウェア上で実行するには非常に時間がかかる。クラウドコンピューティングのためにインターネット接続を介して偵察データをリモートコンピューティングシステムに送信することも可能であるが、数テラバイト(たとえば、20TB以上)のデータを生成し得る、大きなフィールドサイズ、たとえば、600～1000ヘクタール、の場合、データ送信は時間がかかり得る。さらに、田園地帯では、データ送信に対するインターネットアクセスが悪いことがある。これは、分類品質に関する結果を検討すること、またはより多くの情報を収集するための追加の/フォローアップ偵察活動を行うことに対して、大きな課題をもたらし得る。

【発明の概要】

【発明が解決しようとする課題】

【0003】

より効果的なフィールド偵察管理のための方法およびデバイスを提供する必要が存在し得る。

【課題を解決するための手段】

【0004】

本発明の目的は、独立請求項の主題によって解決される。本発明のさらなる実施形態および利点は、従属請求項の中に組み込まれている。説明する実施形態は、同様に、フィールド偵察管理のための方法、モバイル意思決定サポートデバイス、モバイル偵察管理デバイス、およびフィールド偵察管理のためのシステムに関する。

【0005】

本発明の第1の態様は、フィールド偵察管理のための方法に関する。この方法は、ディスプレイを備えたモバイル偵察管理デバイスを使用して、農地(plantation field)内で偵察トリップ(scouting trip)を計画するステップと、計画された偵察トリップに沿って偵察データを収集するステップと、収集された偵察データを農地に持ち運ばれるように適合されたモバイル意思決定サポートデバイスに提供するステップと、モバイル意思決定サポートデバイスを使用して、フィールド性能マップ、雑草マップ、すべての識別された種のリスト、および/または再偵察の提案を含む偵察報告を提供するために、偵察データを分析するステップと、モバイル意思決定サポートデバイスをモバイル偵察管理デバイスに接続するステップと、偵察トリップの偵察報告をモバイル偵察管理デバイスのディスプレイ上に表示するステップとを含む。

【0006】

言い換えれば、偵察データを処理するために、従来のクラウドコンピューティングの代わりに、モバイル意思決定サポートデバイス、たとえば、ニューラルドングルデバイス、を使用することが提案される。これは、(たとえば、クラウドコンピューティングのために)インターネット接続を必要とせずに、偵察データをフィールド内で直接的に処理する利点を提供し得る。クラウドコンピューティングのために、インターネット接続を介して偵察データをリモートコンピューティングシステムに送信することは時間がかかるため、これは、数テラバイト(たとえば、20TB以上)のデータを生成し得る、大きなフィールドサイズ、たとえば、600～1000ヘクタール、の場合に有利であり得る。偵察データをフィールド内で直接的に処理することは、時間を節約し、農場経営者が、分類品質に関する結果を検討すること、またはより多くの情報、たとえば、植物サンプル、を収集するために、追加の/フォローアップ偵察活動を行うことを可能にすることになる。

【0007】

本明細書で使用する「モバイル偵察管理デバイス」という用語は、コンシューマ電子デバイス、スマートフォン、タブレットパーソナルコンピュータ、ウェアラブルコンピューティングデバイス、携帯情報端末(PDA)、ラップトップコンピュータ、および/または通信ネットワークに接続することが可能な、任意の他の同様の物理的コンピューティングデバイスなど、任意のタイプのワイヤレスデバイスを含み得る。

【0008】

本明細書で使用する、ポータブルモバイル意思決定サポートデバイスとも呼ばれる「モバイル意思決定サポートデバイス」という用語は、手に持ち、手の中で動作させるのに十分小さなコンピューティングデバイスを指し得る。モバイル意思決定サポートデバイスは、そのデバイスに追加のより高度なコンピューティング機能を提供するためにモバイル偵察管理デバイスに接続可能である。したがって、物理的キーボードとともにデジタルボタンまたは物理的ボタンを備えたタッチスクリーンインターフェースなど、ディスプレイまたはユーザインターフェースをモバイル意思決定サポートデバイスに提供することは必要とされない。モバイル意思決定サポートデバイスがモバイル偵察管理デバイスに接続されると、ユーザは、モバイル偵察管理デバイスのディスプレイを使用して、偵察報告を閲覧し、モバイル偵察管理デバイスのユーザインターフェースを使用してモバイル意思決定サポートデバイスを動作させることができる。加えて、モバイル意思決定サポートデバイスは、インターネット接続を必要とせずに、農地内で偵察データを分析することが可能である。モバイル意思決定サポートデバイスは、フィールド内で運ばれるのに適した小型サイズを有するスモールフォームファクタデバイスであってよい。結果はモバイル偵察管理デバイスを介してユーザに利用可能にされるため、モバイル意思決定サポートデバイス用のディスプレイは必要とされない。モバイル意思決定サポートデバイスは、ユニバーサルシリアルバス(USB)、物理ケーブル、Bluetooth、または分析の結果を出力するための別の形態のデータ接続を介して、モバイル偵察管理デバイスに接続され得る。モバイル意思決定サポートデバイスは偵察データを処理するために農地内で運ばれるように適合されるため、偵察データは、セルラーネットワークなど、インターネット接続を必要とせずに、モバイルデバイスに対するWLAN、SDカード、またはUSBケーブルを介して、モバイル意思決定サポートデバイスに転送され得る。したがって、モバイル意思決定サポートデバイスへの偵察データの送信は、より速く、かつより信頼性が高まり得る。

【0009】

本発明の一実施形態によれば、収集された偵察データを分析するステップは、偵察データに基づいて偵察報告を提供するために、事前トレーニングされた機械学習分類器を使用するステップをさらに含む。

【0010】

事前トレーニングされた機械学習分類器は、パターンを認識し、データを分類し、将来の事象を予測するために、複数のラベル付きトレーニングデータを使用してトレーニングされ得る。事前トレーニングされた機械学習分類器は、たとえば、決定木、サポートベクトルマシン、または人工ニューラルネットワークであってよい。

【0011】

本発明の一実施形態によれば、偵察データは、農地の複数のキャプチャされたジオリフェレンス画像(georeferenced images)を含む。収集された偵察データを分析するステップは、農地の縫い合わされたジオリフェレンス画像を取得するために、複数のジオリフェレンス画像を一緒に縫い合わせる(stitch)ステップと、複数のロケーションにおける植生に対する測定値を判定し、フィールド性能マップを提供するために、縫い合わされたジオリフェレンス画像に基づいてフィールド性能インデックスを算出するステップと、複数のロケーションの各々において、性能差を判定するために、植生に対する測定値と作物モデル形成からもたらされる植生に対する予想値とを比較するステップと、追加のデータキャプチャのための少なくとも1つの関心ポイントをマーキングするステップであって、判定された性能差が、基準値以上である、マーキングするステップとを含む。

【0012】

衛星、ドローン、またはレーダープラットフォームを使用して、たとえば、可視、赤外線(IR)、近赤外線(NIR)、短波長赤外線、またはマルチスペクトルセンサーを使用して、地上のターゲットから反射される日射を検出することによってフィールドの表面の画像を形成するために光学リモート検知が実行され得る。植生パラメータは、画像データ内の作物および土壌のスペクトル署名を分析することによって取得され得る。フィールド性能インデックスの例は、標準化降水指数(SPI:standardized precipitation index)、植生光学的深さ(VOD:vegetation optical depth)、正規化植生指数(NDVI:normalized difference vegetation index)、および/または拡張植生インデックス(EVI:enhanced vegetation index)である。フィールド性能インデックスは、草丈、土壌タイプ、土壌水分、および収穫高予測のような様々なデータポイントに関する重要な情報をまとめることができる。データの使い易さおよび可用性は、農場経営者が、その場合、特定の問題エリア、すなわち、マーキングされたエリア、を迅速に検査し、彼らが課題をさらに診断することを可能にし得る。

【0013】

本発明の一実施形態によれば、収集された偵察データを分析するステップは、土壌、作物、および/または雑草エリア対象範囲を区別するステップと、少なくとも1つの雑草種を識別し、少なくとも1つの識別された雑草種の雑草名、および雑草名と少なくとも1つの識別された雑草種との間の一致の確率を示す信頼性レベルを提供するステップと、高い信頼性レベルを有する、少なくとも1つの識別された雑草種のリストを生成するステップと、潜在的な再査定のために、低い信頼性レベルを有する、少なくとも1つの雑草をマーキングするステップと、低い信頼性レベルを有する、少なくとも1つの雑草を、同様の雑草を含む未確認種にグループ化するステップとをさらに含む。

【0014】

区別は、対象物は異なる量の様々な波長を反射および吸収するという事実に基づく、土壌、作物、および雑草のスペクトル署名に基づいて行われ得る。色は対象物と光との間の相互作用により出現する。光は植物生命の不可欠な部分であることにより、植物は特殊である。植物は、多くの可視光、すなわち、植物が光合成において使用するエネルギー源を吸収することが分かっている。反対に、植物の細胞構造は、植物に多くのNIR放射を反射させる。可視放射およびNIR放射の反射を比較することによって、フィールド内のどのエリアが土壌、作物、および雑草の対象範囲であるかを判定することができる。雑草は、そのスペクトル署名を使用して識別され得る。しばしば、エリアまたは作付体系に共通の雑草のスペクトル署名が利用可能である。これは、スペクトル署名を使用した雑草と作物との間の差別、および所与のエリア内の作物と雑草の両方の総対象範囲に寄与する雑草の割合、すなわち、雑草圧力、のさらなる判断を可能にし得る。これは、有利には、後の雑草処理用の雑草マップを生成するために、雑草がはびこっているロケーションおよび対応するタイプのより良い識別を可能にし得る。

【0015】

本発明の一実施形態によれば、分析の結果が、事前定義された基準に一致する場合、追加のフィールド偵察の提案が提供される。事前定義された基準は、縫い合わされたジオリフェレンス画像の不十分な縫い合わせの品質、ジオリフェレンス画像または縫い合わされたジオリフェレンス画像の不十分な画像品質、少なくとも1つのグループ化された未確認雑草種、および基準値以上の検出された性能差を有する、少なくとも1つのマーキングされた関心ポイントのうちの少なくとも1つを含む。

【0016】

不十分な画像品質は、たとえば、鮮明さ、色、アーティファクト、などに基づいて判定され得る。これらのエリアは、特定の問題エリアを表し得る。したがって、フィールド内の追加の偵察活動をスケジュールする提案は、農場経営者がこれらの特定の問題エリアを検査して、課題をさらに診断することを可能にすることになる。

【0017】

本発明の一実施形態によれば、上記提案は、少なくとも1つのマーキングされた関心ポイントに基づいてセンサーキャリアを用いて再偵察するための新しいマップ、ならびに/またはユーザが、少なくとも1つの未確認種を検証するために、および/もしくは少なくとも1つのマーキングされた関心ポイントを調査するために、手動偵察を行うためのマップを含む。

【0018】

本発明の第2の態様は、モバイル意思決定サポートデバイスに関する。モバイル意思決定サポートデバイスは、偵察データインターフェースと、処理モジュールと、決定出力インターフェースとを備える。偵察データインターフェースは、農地の偵察データを受信するように構成される。処理モジュールは、機械学習分類器を使用して、偵察データに基づいて偵察報告を提供するように構成される。決定出力インターフェースは、偵察報告を出力するように構成される。

【0019】

言い換えれば、モバイル意思決定サポートデバイスは、インターネット接続を必要とせずに、偵察データを処理するために農地に持ち込まれ得る。偵察報告はモバイル偵察管理デバイス上に表示されるように出力され得るため、ディスプレイは必要とされない。たとえば、モバイル意思決定サポートデバイスは、コンシューマーハードウェアよりも速い人工知能で偵察データを処理するように設計された特殊ハードウェアおよびソフトウェアを装備し得る。一例では、モバイル意思決定サポートデバイスは、偵察報告を提供し、電源を受けるためにモバイル偵察管理デバイスのポート内に差込み可能なデバイスであってよい。別の例では、モバイル意思決定サポートデバイスは、偵察報告を提供するためにモバイル偵察管理デバイスにワイヤレスに接続可能であるバッテリーを備えたスタンドアロンデバイスであってよい。このようにして、すべての偵察対象は、クラウドコンピューティングのために、すべての偵察データをリモートサーバに送信する必要なしに、農地内で直接的に処理され得る。これは、農場経営者が、分類品質に関する結果を直ちに検討すること、またはさらなる情報を収集するために追加のまたはフォローアップ偵察活動を行うことを可能にし得る。

【0020】

本明細書で使用する「インターフェース」または「モジュール」という用語は、1つもしくは複数のソフトウェアもしくはファームウェアプログラム、組合せ論理回路、および/または説明する機能性を提供する他の好適な構成要素を実行する、特定用途向け集積回路(ASIC)、電子回路、プロセッサ(共有、専用、またはグループ)、および/またはメモリ(共有、専用、またはグループ)を指すことがあるか、その一部であってよいか、またはそれらを含んでよい。

【0021】

本発明の一実施形態によれば、モバイル意思決定サポートデバイスは、ドングルデバイスである。

【0022】

ドングルデバイスは、モバイル偵察管理デバイスなど、外部デバイスに結合されるように構成されたスモールフォームファクタコンピューティングデバイスである。一般に、ドングルデバイスは、プロセッサ、記憶装置、1つまたは複数のデータ/電力ポート、および1つまたは複数のワイヤレストランシーバを含むが、電源は含まない。すなわち、ドングルデバイスは、電力を供給するために外部デバイスに差込まれなければならず、したがって、パーソナルコンピュータ、ラップトップ、タブレット、モバイルインターネット、スマートフォン、または他のコンピューティングデバイスと区別される。ドングルデバイスを介して、ユーザは、モバイル偵察管理デバイスを、偵察データを処理するために十分に機能するコンピュータに変えることができる。これは、偵察データを処理するためにモバイル偵察管理デバイスが農地内に持ち運ばれることを容易にし得る。

【0023】

本発明の一実施形態によれば、モバイル意思決定サポートデバイスは、デバイスに電力を提供するためのバッテリーユニット、偵察データを記憶するための記憶ユニット、ならびにバッテリー寿命および/または接続性を示すためのインジケータのうちの少なくとも1つをさらに備える。

【0024】

言い換えれば、モバイル意思決定サポートデバイスは、他のハードウェアまたはソフトウェアとは無関係に動作することが可能なスタンドアロンハードウェアであってよく、すなわち、モバイル意思決定サポートデバイスは、電力を供給するために外部デバイスに差込まれる必要がない。

【0025】

本発明の第3の態様は、モバイル偵察管理デバイスに関する。モバイル偵察管理デバイスは、ユーザインターフェースと、偵察計画モジュールと、センサーキャリア制御インターフェースと、決定入力インターフェースと、ディスプレイとを備える。ユーザインターフェースは、ユーザ入力を受信するように構成される。偵察計画モジュールは、ユーザ入力に基づいて、農地内で偵察トリップを計画し、計画された偵察トリップをセンサーキャリア制御インターフェースに出力するように構成される。決定入力インターフェースは、計画された偵察トリップの偵察報告を受信するために、モバイル意思決定サポートデバイスの決定出力インターフェースに接続可能である。ディスプレイは、偵察報告を表示するように構成される。

【0026】

言い換えれば、モバイル偵察管理デバイスは、偵察報告を計画し、実行し(すなわち、センサーキャリアのステアリング)、農場経営者に提供するように設計されるが、偵察データを処理するように設計されない。むしろ、偵察データは、モバイル意思決定サポートデバイスによって処理され、モバイル意思決定サポートデバイスは、たとえば、コンシューマーハードウェアよりも速い、人工知能を用いてセンサーデータを処理するように設計された、特殊ハードウェアおよびソフトウェアを装備し得る。すなわち、モバイル意思決定サポートデバイスは、より高度なコンピューティング機能性を、通常、農場経営者によって使用されるスマートフォンである、モバイル偵察管理デバイスに追加するために提供される。

【0027】

本発明の第4の態様は、フィールド偵察管理のためのシステムに関する。このシステムは、上記および下記で説明するようなモバイル偵察管理デバイスと、センサーキャリア制御インターフェース、センサー構成、および偵察データインターフェースを備えたセンサーキャリアと、上記および下記で説明するようなモバイル意思決定サポートデバイスとを備える。モバイル偵察管理デバイスは、ユーザが農地内で偵察トリップ(26)を計画することを可能にするように構成される。センサーキャリアのセンサーキャリア制御インターフェースは、計画された偵察トリップを受信するために、モバイル偵察管理デバイスのセンサーキャリア制御インターフェースに接続可能である。センサー構成は、偵察トリップに沿って複数のロケーションにおいて偵察データを収集し、収集された偵察データをセンサーキャリアの偵察データインターフェースに出力するように構成される。モバイル意思決定サポートデバイスの偵察データインターフェースは、収集された偵察データを受信するために、センサーキャリアの偵察データインターフェースに接続可能である。モバイル意思決定サポートデバイスは、収集された偵察データを分析し、偵察報告を表示するためのディスプレイを備えたモバイル偵察管理デバイスに偵察報告を出力するように構成される。

【0028】

言い換えれば、システムは、インターネット接続を必要とせずに、偵察データを自動的に計画し、実行し、分析するように設計される。これは、農場経営者に即時の結果を提供し、必要に応じて、フィールド内で追加の偵察活動をスケジュールすることを可能にし得る。

【0029】

以下の図面を参照しながら、本発明の例示的な実施形態について以下で説明する。

【図面の簡単な説明】

【0030】

【図1】本開示の例示的な実施形態による方法の概略図である。

【図2】本開示の別の例示的な実施形態による方法の概略図である。

【図3】本開示のさらなる例示的な実施形態による方法の概略図である。

【図4】本開示の例示的な実施形態によるフィールドの概略図である。

【図5】本開示の例示的な実施形態によるモバイル意思決定サポートデバイスの概略図である。

【図6】本開示の例示的な実施形態によるモバイル偵察管理デバイスの概略図である。

【図7】本開示の例示的な実施形態によるシステムの概略図である。

【発明を実施するための形態】

【0031】

図1は、フィールド偵察管理のための方法の一実施形態のブロック図を示す。農地10の一例が図4に示されている。ステップS10において、ディスプレイ250を備えたモバイル偵察管理デバイス200を使用して農地10内で偵察トリップを計画する。モバイル偵察管理デバイス200は、図4に示すようにスマートフォンであってよい。モバイル偵察管理デバイス200は、偵察トリップを計画し、フィールドにわたってセンサーキャリアを自動的または半自動的に導き、結果を農場経営者に提示するために使用される、モバイルアプリまたはモバイルアプリケーションを有し得る。

【0032】

ステップS20において、計画された偵察トリップに沿って偵察データを収集する。偵察データは、衛星、ドローン、またはレーダープラットフォームを使用して収集され得る。たとえば、図4に示すように、偵察データを収集するために、ドローンの形態のセンサーキャリア50に、可視、IR、NIR、および/または温度センサーを備えたセンサー構成70を取り付けることができる。

【0033】

ステップS30において、収集された偵察データを、農地10内に持ち運ばれるように適合されたモバイル意思決定サポートデバイス100に提供する。モバイル意思決定サポートデバイス100は、コンシューマーハードウェアよりも速く人工知能でセンサーデータを処理するように設計されている特殊ソフトウェアを装備し得る。偵察データは、WLAN、SDカード、またはUSBケーブルを介して、モバイル意思決定サポートデバイスに転送され得る。

【0034】

ステップS40において、フィールド性能マップ、雑草マップ、すべての識別された種のリスト、および/または再偵察の提案を含む偵察報告を提供するために、モバイル意思決定サポートデバイス100を使用して偵察データを分析する。随意に、収集された偵察データは、偵察データに基づいて、偵察トリップの偵察報告を提供するために、事前トレーニングされた機械学習分類器を使用して分析され得る。事前トレーニングされた機械学習分類器は、高性能リモートサーバ内の機械学習分類器のより簡素なバージョンであり得る。したがって、偵察データは、比較的高速度で処理され得る。

【0035】

ステップS50において、物理ケーブルを介してまたはワイヤレスにモバイル意思決定サポートデバイス100をモバイル偵察管理デバイス200に接続する。

【0036】

S60において、偵察報告をモバイル偵察管理デバイス200のディスプレイ250上に表示する。

【0037】

言い換えれば、モバイル偵察管理デバイスは、センサーキャリアを計画し、ステアリングし、偵察報告を表示するように設計され、モバイル意思決定サポートデバイスは、偵察データを農地内で直接的に処理するように設計される。モバイル意思決定サポートデバイスは、コンシューマーハードウェアよりも多くの計算能力を有し、したがって、偵察データを処理するのにあまり時間がかからない可能性がある。加えて、これは、(たとえば、クラウドコンピューティングのために)インターネット接続を必要とせずに、偵察データをフィールド内で直接的に処理する利点を提供し得る。クラウドコンピューティングのために、インターネット接続を介して偵察データをリモートコンピューティングシステムに送信するには時間がかかるため、これは、数テラバイト(たとえば、20TB以上)のデータを生成し得る、大きなフィールドサイズ、たとえば、600～1000ヘクタール、の場合に有利であり得る。

【0038】

随意に、偵察データは、農地の複数のキャプチャされたジオリフェレンス画像を含む。図2に示すように、収集された偵察データを分析するステップ(S40)は、予想性能と測定性能との間の差異によって検出される追加の関心ポイントを判定するために以下のステップを含む。ステップS41において、農地の縫い合わされたジオリフェレンス画像を取得するために、複数のジオリフェレンス画像を一緒に縫い合わせる。

【0039】

ステップS42において、複数のロケーションにおける植生に対する測定値を判定し、フィールド性能マップを提供するために、縫い合わされたジオリフェレンス画像に基づいて、SPI、VOD、NDVI、および/またはEVIなどのフィールド性能インデックスを計算する。たとえば、図4に示すように、農地10は、等しいサイズの正方形12a、12b、12cの矩形アレイの形態で複数のグリッドに分割される。フィールド性能マップは、複数のロケーションにおいて、たとえば、複数の正方形12a、12b、12cにおいて判定され得る。

【0040】

ステップS43において、性能差を判定するために、複数のロケーションの各々において、植生に対する測定値と作物モデル形成からもたらされる植生に対する予想値を比較する。たとえば、複数のロケーション12a、12b、12cにおける性能差が計算され得る。

【0041】

ステップS44において、追加のデータキャプチャのための少なくとも1つの関心ポイントをマーキングし、判定される性能差は基準値以上である。基準値は、ユーザによって設定されてよく、または前の季節から導出されてもよい。たとえば、マーキングされたエリア12bは、基準値以上の判定された性能差を有する、マーキングされたエリアを示し得る。

【0042】

随意に、図3に示すように、収集された偵察データを分析するステップ(S40)は、識別された雑草種および未確認雑草種を判定するために以下のステップをさらに含む。ステップS45において、土壌エリア対象範囲、作物エリア対象範囲、および雑草エリア対象範囲を区別する。区別は、対象物は異なる量の様々な波長を反射および吸収するという事実に基づく、土壌、作物、および雑草のスペクトル署名に基づいて行われ得る。

【0043】

ステップS46において、少なくとも1つの雑草種を識別し、少なくとも1つの識別された雑草種の雑草名、および雑草名と少なくとも1つの識別された雑草種との間の一致の確率を示す信頼性レベルが提供される。しばしば、エリアまたは作付体系に共通の雑草のスペクトル署名が利用可能である。これは、スペクトル署名を使用した雑草と作物との間の差別、さらには所与のエリア内の作物と雑草の両方の総対象範囲に寄与する雑草の割合、すなわち、雑草圧力、の判断を可能にし得る。

【0044】

ステップS47において、高い信頼性レベルを有する、少なくとも1つの識別された雑草種のリストを生成する。高い信頼性レベルのしきい値は、ユーザによって設定され得る。高い信頼性レベルのしきい値は、50%、60%、または70%、などに設定され得る。

【0045】

ステップS48において、潜在的な再査定に対して、低い信頼性レベルを有する、少なくとも1つの雑草をマーキングする。たとえば、図4に示すように、低い信頼性レベルを有する、少なくとも1つの雑草を含むロケーション12cをマーキングする。

【0046】

ステップS49において、低い信頼性レベルを有する、少なくとも1つの雑草を同様の雑草を含む未確認種にグループ化する。言い換えれば、雑草管理および処理の容易さのために、同様の未確認雑草を1つの未確認種にグループ化する。

【0047】

随意に、分析の結果が事前定義された基準に一致する場合、追加のフィールド偵察の提案が提供される。事前定義された基準は、縫い合わされたジオリフェレンス画像の不十分な縫い合わせの品質、ジオリフェレンス画像または縫い合わされたジオリフェレンス画像の不十分な画像品質、少なくとも1つのグループ化された未確認雑草種、およびしきい値以上の検出された性能差を有する、少なくとも1つのマーキングされた関心ポイントのうちの少なくとも1つを含む。たとえば、図4に示すように、マーキングされたロケーション12b、12cは、さらなる調査、したがって、追加のフィールド偵察を必要とする問題エリアを表し得る。上記提案は、少なくとも1つのマーキングされた関心ポイントに基づいてセンサーキャリアを用いて再偵察するための新しいマップ、およびユーザが、少なくとも1つの未確認種を検証するために、かつ/または少なくとも1つのマーキングされた関心ポイントを調査するために、手動偵察を行うためのマップのうちの少なくとも1つを含み得る。

【0048】

図5は、モバイル意思決定サポートデバイス100の一実施形態を概略的に示す。スモールフォームファクタデバイスの形態の意思決定サポートシステム100の一例が、図4に示されている。一例では、モバイル意思決定サポートデバイス100は、より高度なコンピューティング機能性を追加するための、スマートフォンなどのモバイル偵察管理デバイス200内に差込まれるドングルデバイスであってよい。別の例では、モバイル意思決定サポートデバイス100は、たとえば、電力をデバイスに提供するためのバッテリーユニット、偵察データを記憶するための記憶ユニット、ならびに/またはバッテリー寿命および/もしくは接続性を示すためのインジケータを備えた、スタンドアロンデバイスであってよい。言い換えれば、モバイル意思決定サポートデバイス100は、偵察報告をモバイル偵察管理デバイスに送信するために、モバイル偵察管理デバイスにワイヤレスに接続可能なポータブルデバイスであってよい。モバイル意思決定サポートデバイス100は、偵察データインターフェース110と、処理モジュール120と、決定出力インターフェース130とを備える。

【0049】

偵察データインターフェース110は、農地の偵察データを受信するように構成される。偵察データインターフェース110は、衛星、レーダー、またはドローンプラットフォームを使用して収集された偵察データを受信するのに適した、セキュアデジタル(SD)メモリカードインターフェース、ユニバーサルシリアルバス(USB)インターフェース、Bluetoothインターフェース、ワイヤレスネットワークインターフェース、などであってよい。偵察データは、レーダー画像データまたは光画像データを含み得る。偵察データは、識別された問題エリアのロケーションを提供するように適合されたGPSデータを含んでもよい。

【0050】

処理モジュール120は、機械学習分類器を使用して、偵察データに基づいて、偵察報告を提供するように構成される。機械学習分類器は、決定木、サポートベクトルマシン、人工ニューラルネットワーク、などであってよい。偵察報告は、フィールド性能マップ、雑草マップ、すべての識別された種のリスト、および/または再偵察の提案を含み得る。

【0051】

決定出力インターフェース130は、偵察報告を出力するように構成される。決定出力インターフェース130は、USBインターフェース、Bluetoothインターフェース、ワイヤレスネットワークインターフェース、などであってよい。

【0052】

図6は、図4に示すようなスマートフォン、またはタブレットコンピュータなど、モバイル偵察管理デバイス200の一実施形態を概略的に示す。モバイル偵察管理デバイス200は、ユーザインターフェース210と、偵察計画モジュール220と、センサーキャリア制御インターフェース230と、決定入力インターフェース240と、ディスプレイ250とを備える。

【0053】

ユーザインターフェース210は、たとえば、ポインティングデバイス、キーボード、タッチパネル、または別のオペレーション装置であってよい。タッチパネルの形態のユーザインターフェース210は、ディスプレイ250内に組み込まれてもよい。

【0054】

偵察計画モジュール220は、ユーザ入力に基づいて、農地内で偵察トリップを計画し、計画された偵察トリップをセンサーキャリア制御インターフェース230に出力するように構成される。

【0055】

決定入力インターフェース240は、計画された偵察トリップの偵察報告を受信するために、モバイル意思決定サポートデバイス100の決定出力インターフェース130に接続可能である。ディスプレイ250は、偵察報告を表示するように構成される。

【0056】

図7は、フィールド偵察管理のためのシステム300の一実施形態を概略的に示す。システムは、上記および下記で説明するようなモバイル偵察管理デバイス200と、センサーキャリア制御インターフェース60、センサー構成70、および偵察データインターフェース80を備えたセンサーキャリア50と、上記および下記で説明するようなモバイル意思決定サポートデバイス100とを備える。

【0057】

モバイル偵察管理デバイス200は、ユーザが農地10内で偵察トリップを計画することを可能にするように構成される。ユーザは、モバイル偵察管理デバイス200を使用して、複数のGPSポイントを指定し、センサーキャリア50をこれらの指定されるGPSポイントにおいて収集されたデータにステアリングし得る。

【0058】

センサーキャリア50のセンサーキャリア制御インターフェース60は、計画された偵察トリップを受信するために、モバイル偵察管理デバイス200のセンサーキャリア制御インターフェース230に接続可能である。センサー構成70は、偵察トリップに沿って複数のロケーションにおいて偵察データを収集し、収集された偵察データをセンサーキャリア50の偵察データインターフェース80に出力するように構成される。センサーキャリアは、完全なフィールドのデータを収集する固定翼機、事前定義された関心ポイントからデータを収集するマルチロータ無人航空機システム、および/またはデータが必要とされる関心ポイントからの極接近またはサンプルデータを収集する無人地上車を含み得る。偵察データは、WLAN、SDカード、またはUSBケーブルを介して、モバイル意思決定サポートデバイス100に転送され得る。

【0059】

モバイル意思決定サポートデバイス100は、収集された偵察データを分析し、偵察報告を表示するためのディスプレイ250を備えたモバイル偵察管理デバイス200に偵察報告を出力するように構成される。

【0060】

本発明の別の例示的な実施形態では、適切なシステム上で、先行する実施形態のうちの1つによる方法の方法ステップを実行するように適合されていることを特徴とするコンピュータプログラムまたはコンピュータプログラム要素が提供される。

【0061】

したがって、コンピュータプログラム要素は、コンピュータユニット上に記憶され得、コンピュータユニットも本発明の一実施形態の一部であり得る。このコンピューティングユニットは、上記で説明した方法のステップを実行するように、または実行を誘導するように、適合され得る。さらに、コンピューティングユニットは、上記で説明した装置の構成要素を動作させるように適合され得る。コンピューティングユニットは、自動的に動作するようにかつ/またはユーザの命令を実行するように適合され得る。コンピュータプログラムは、データプロセッサのワーキングメモリ内にロードされ得る。データプロセッサは、したがって、本発明の方法を実行するように装備され得る。

【0062】

本発明のこの例示的な実施形態は、初めから本発明を使用するコンピュータプログラムと、更新により、既存のプログラムを、本発明を使用するプログラムに変えるコンピュータプログラムの両方を対象とする。

【0063】

さらに、コンピュータプログラム要素は、上記で説明したような方法の例示的な実施形態の手順を実現するためのすべての必要なステップを提供することが可能であり得る。

【0064】

本発明のさらなる例示的な実施形態によれば、CD-ROMなどのコンピュータ可読媒体が提示され、コンピュータ可読媒体は、コンピュータプログラム要素を記憶しており、コンピュータプログラム要素については先行部分において説明されている。

【0065】

コンピュータプログラムは、他のハードウェアとともにまたはその部分として供給される光記憶媒体またはソリッドステートメディアなど、好適な媒体上に記憶され、かつ/またはその上に分散され得るが、インターネットまたは他のワイヤードもしくはワイヤレス電気通信システムなど、他の形態で分散されてもよい。

【0066】

しかしながら、コンピュータプログラムは、ワールドワイドウェブのようなネットワークを介して提示されることも可能であり、そのようなネットワークからデータプロセッサのワーキングメモリ内にダウンロードされ得る。本発明のさらなる例示的な実施形態によれば、ダウンロードに向けてコンピュータプログラム要素を利用可能にするための媒体が提供され、コンピュータプログラム要素は、本発明の前に説明した実施形態のうちの1つに記載の方法を実行するように構成される。

【0067】

本発明の実施形態は異なる主題を参照しながら説明されていることに留意されたい。具体的には、いくつかの実施形態は、方法タイプの請求項を参照しながら説明され、他の実施形態は、デバイスタイプの請求項を参照しながら説明されている。しかしながら、上記および以下の説明から、別段に言及しない限り、1つのタイプの主題に属する特徴の任意の組合せに加えて、異なる主題に関する特徴同士の間のいずれの組合せも本出願で開示されると見なされることを当業者は推測されよう。しかしながら、すべての特徴を組み合わせて、特徴の単なる総和にとどまらない相乗効果を提供することが可能である。

【0068】

本発明は図面および前述の説明において詳細に示され説明されてきたが、そのような例示および説明は、限定的ではなく、例証的または例示的と見なされるべきである。本発明は、開示した実施形態に限定されない。特許請求される発明を実施する際に、図面、本開示、および従属請求項の研究から、開示した実施形態に対する他の改変形態が当業者によって理解され、実現され得る。

【0069】

請求項において、「備える(comprising)」という用語は、他の要素またはステップを除外せず、不定冠詞「a」または「an」は、複数形を除外しない。単一のプロセッサまたは他のユニットは、請求項において具陳されるいくつかの項目の機能を満たし得る。一定の対策が互いに異なる従属請求項において具陳されるという単なる事実は、これらの対策の組合せが有利に使用され得ないことを示さない。請求項におけるいずれの参照符号も範囲の限定と見なされるべきではない。

【符号の説明】

【0070】

10 農地
12a ロケーション
12b 関心ポイント
12c 関心ポイント
50 センサーキャリア
60 センサーキャリア制御インターフェース
70 センサー構成
80 偵察データインターフェース
100 モバイル意思決定サポートデバイス
110 偵察データインターフェース
120 処理モジュール
130 決定出力インターフェース
200 モバイル偵察管理デバイス
210 ユーザインターフェース
220 偵察計画モジュール
230 センサーキャリア制御インターフェース
240 決定入力インターフェース
250 ディスプレイ
S10 偵察トリップを計画する
S20 偵察データを収集する
S30 収集された偵察データをモバイル意思決定サポートデバイスに提供する
S40 偵察データを分析する
S41 複数のジオリフェレンス画像を縫い合わせる
S42 フィールド性能インデックスを算出する
S43 植生に対する測定値と植生に対する予想値とを比較する
S44 追加のデータキャプチャのための少なくとも1つの関心ポイントをマーキングする
S45 土壌エリア対象範囲、作物エリア対象範囲、および雑草エリア対象範囲を区別する
S46 少なくとも1つの雑草種を識別する
S47 少なくとも1つの識別された雑草種のリストを生成する
S48 少なくとも1つの雑草をマーキングする
S49 少なくとも1つの雑草種をグループ化する
S50 モバイル意思決定サポートデバイスをモバイル偵察管理デバイスに接続する
S60 偵察報告を表示する

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】