特表 2023-541124 植物の損傷識別を改善するための植物画像データベースを強化するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-09-28

(54)【発明の名称】植物の損傷識別を改善するための植物画像データベースを強化するためのシステムおよび方法

(51)【国際特許分類】

   G06V 10/764 20220101AFI20230921BHJP

   G06V 10/82 20220101ALI20230921BHJP

   G06T 1/00 20060101ALI20230921BHJP

【ＦＩ】

G06V10/764

G06V10/82

G06T1/00 200A

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023513419

(86)(22)【出願日】2021-09-02

(85)【翻訳文提出日】2023-02-24

(86)【国際出願番号】 EP2021074258

(87)【国際公開番号】W WO2022049190

(87)【国際公開日】2022-03-10

(31)【優先権主張番号】20194648.0

(32)【優先日】2020-09-04

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】521508254

【氏名又は名称】ビーエーエスエフ アグロ トレードマークス ゲーエムベーハー

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】シコラ，マレク，ピオートル

(72)【発明者】

【氏名】ベンダー，マルティン

(72)【発明者】

【氏名】ツィーズ，マイク

(72)【発明者】

【氏名】ヴィルト，ヨルグ

(72)【発明者】

【氏名】ワハブザダ，ミルワエス

【テーマコード（参考）】

5B050

5L096

【Ｆターム（参考）】

5B050AA00

5B050BA13

5B050BA20

5B050CA01

5B050DA04

5B050EA18

5B050FA02

5B050GA08

5L096BA03

5L096BA18

5L096CA02

5L096CA23

5L096CA27

5L096DA01

5L096DA02

5L096FA02

5L096GA51

5L096HA11

5L096JA03

5L096JA05

5L096JA11

5L096JA22

5L096KA04

5L096KA15

(57)【要約】

植物の損傷識別を改善するために植物画像データベース（２３０）を強化するためのコンピュータ実施方法およびシステム（１００）。システムは特定の地理的位置（２）に記録された植物（１１）の実世界画像（９１）を、特定の地理的位置（２）を示す位置データ（ＬＤ１）を含む画像メタデータとともに受信し、タイムスタンプ（ＴＳ１）は、実世界画像（９１）が記録された時点（３）を示す。特定の植物種の植物に存在する損傷症状に関連する損傷クラスを識別するために訓練された損傷識別子（１１０）は現実世界画像（９１）から、現実世界画像上の損傷症状に対する損傷クラス（ＤＣ１）を含む出力を生成する。類似性チェッカ（１２０）は植物画像データベース（２３０）内の選択された画像（２３２、２３３、２３４、２３５）との現実世界画像の特徴類似性を決定し、さらに、最小類似性値を超える現実世界画像との特徴類似性を有する選択された画像の少なくともサブセット（２３０ｓ）を識別する（１２４）。生成した損傷クラス（ＤＣ１）と、それぞれの損傷クラスと植物種識別子を持つ部分集合（２３０）の画像をユーザ（９）に提供する。これに応答して、システムはユーザ（９）から、実世界画像（９１）の確認済の損傷クラス（ＣＤＣ１）を受信する。システムのデータベース更新器（１４０）は、受信した実世界画像（９１）を、その植物種識別子、その位置データ、そのタイムスタンプ、および確認済の損傷クラスとともに記憶することによって、植物画像データベース（２３０）を更新する。
【選択図】図１

【特許請求の範囲】

【請求項1】

植物の改善された損傷識別のための植物画像データベースを強化するためのコンピュータ実装した方法（１０００）であって：
特定の地理的位置（２）において記録された植物（１１）の実世界画像（９１）を、前記特定の地理的位置（２）を示す位置データ（ＬＤ１）と、前記実世界画像（９１）が記録された時点（３）を示すタイムスタンプ（ＴＳ１）とを含む画像メタデータとともに受信するステップ（１１００）；
前記実世界画像（９１）から、特定の植物種の植物に存在する損傷症状に関連する損傷クラスを識別するために訓練された損傷識別モジュール（１１０）によって、前記実世界画像上の前記損傷症状についての損傷クラス（ＤＣ１）を含む出力を生成するステップ（１２００）；
植物画像データベース（２３０）内の選択された画像（２３２、２３３、２３４、２３５）と前記実世界画像の特徴類似性を決定するステップであって、前記選択された画像は、前記タイムスタンプの前の所定の時間ウインドウ（ＴＷ１）内で、かつ前記特定の地理的位置の所定の近傍エリア（ＶＡ１、ＶＡ２）内の地理的位置において記録され、前記選択された画像（２３２、２３３、２３４、２３５）の各々は、植物種識別子、損傷クラス、位置データ、およびタイムスタンプデータでラベル付けされる、ステップ（１３００）；
前記実世界画像との間で最小類似値（１２４）を超える特徴類似性を有する、前記選択された画像の少なくともサブセット（２３０ｓ）を識別するステップ（１４００）；
ユーザ（９）に対して、前記生成した損傷クラス（ＤＣ１）および前記サブセットの画像（２３０）をそれぞれの損傷クラスおよび植物種識別子とともに提供するステップ（１５００）；
前記ユーザ（９）から、前記実世界画像（９１）の確認済の損傷クラス（ＣＤＣ１）を受信するステップ（１６００）；
前記受信した実世界画像（９１）を、その植物種識別子、その位置データ、そのタイムスタンプ、および前記確認済の損傷クラスとともに記憶することによって、前記植物画像データベース（２３０）を更新するステップ（１７００）；
を有する方法。

【請求項2】

前記受信した画像メタデータは、前記実世界画像（９１）上の前記植物（１１）が属する前記植物種を指定する植物種識別子（ＰＳ１）をさらに含む、請求項１記載の方法。

【請求項3】

前記損傷識別モジュール（１１０）は、前記実世界画像（９１）上の前記植物（１１）が属する前記植物種（ＰＳ１）を識別するためにさらに訓練される、請求項１記載の方法。

【請求項4】

前記更新するステップ（１７００）は、前記決定された損傷クラス（ＤＣ１）を前記実世界画像（９１）とともに記憶するステップをさらに含む、請求項１から３のいずれか１項記載の方法。

【請求項5】

前記方法はさらに、
前記位置データ、タイムスタンプ、決定された損傷クラス、および記憶された現実世界画像の確認済の損傷クラスを特徴として含む、前記更新された植物画像データベース（２３０）に基づいて、前記損傷識別モジュール（１１０）を再訓練するステップ（１８００）；
を有する、請求項４記載の方法。

【請求項6】

前記実世界画像と前記選択された画像との間の特徴類似性は、前記実世界画像（９１）および前記選択された画像から特徴マップを抽出するように訓練された畳み込みニューラルネットワーク（１１０、１１１）を使用することにより、さらに、低距離値が高い特徴類似性を示す特徴マップのそれぞれのペア間の距離を計算することにより、前記類似性チェッカによって決定される、請求項１から５のいずれか１項記載の方法。

【請求項7】

前記訓練された損傷識別モジュールは、分類ニューラルネットワークである、請求項１から６のいずれか１項記載の方法。

【請求項8】

植物における改善された損傷識別のための植物画像データベースを強化するためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピューティングデバイスのメモリにロードされ前記コンピューティングデバイスの少なくとも１つのプロセッサによって実行されたとき、前記少なくとも１つのプロセッサに、請求項１から７のいずれか１項記載のコンピュータ実装した方法のステップを実行させる、コンピュータプログラム製品。

【請求項9】

植物の改善された損傷識別のための植物画像データベースを強化するためのコンピュータシステム（１００）であって：
特定の地理的位置（２）に記録された、植物（１１）の実世界画像（９１）を、前記特定の地理的位置（２）を示す位置データ（ＬＤ１）および前記実世界画像が記録された時点（３）を示すタイムスタンプ（ＴＳ１）ととともに受信するように構成されたインターフェースコンポーネント（１９０）；
特定の植物種の植物上に存在する損傷症状に関連する損傷クラスを識別するために訓練され、前記実世界画像（９１）から、前記実世界画像上の損傷症状についての損傷クラス（ＤＣ１）を含む出力を生成するように構成された、損傷識別モジュール（１１０）；
植物画像データベース（２３０）内の選択された画像（２３２、２３３、２３４、２３５）と前記実世界画像の特徴類似度を判定するように構成された類似度チェッカモジュールであって、前記選択された画像は、前記タイムスタンプの前のあらかじめ定義された時間ウインドウ（ＴＷ１）内および前記特定の地理的位置のあらかじめ定義された近傍エリア（ＶＡ１、ＶＡ２）内の地理的位置において記録されており、前記選択された画像（２３２、２３３、２３４、２３５）の各々は、植物種識別子、損傷クラス、位置データおよびタイムスタンプデータがラベル付けされ、前記類似度チェッカモジュールはさらに、前記実世界画像との特徴類似度が最小類似度値を超える前記選択された画像の少なくともサブセット（２３０ｓ）を識別するように構成されている、類似度チェッカモジュール；
を備え、
前記インターフェースコンポーネント（１９０）は、ユーザに対して、前記生成した損傷クラスおよび前記サブセット（２３０ｓ）の画像をそれぞれの損傷クラスおよび植物種識別子とともに提供し、前記ユーザから、現実世界画像（９１）についての確認済の損傷クラス（ＣＤＣ１）を受信するように構成されており、
前記コンピュータシステムはさらに、
前記受信した実世界画像（９１）を、その植物種識別子、その位置データ、そのタイムスタンプ、および前記確認済の損傷クラスとともに記憶することをトリガすることによって、前記植物画像データベース（２３０）を更新するように構成されている、データベース更新モジュール（１４０）を備える、
システム。

【請求項10】

前記受信した画像メタデータは、前記実世界画像（９１）上の前記植物（１１）が属する前記植物種を指定する植物種識別子（ＰＳ１）をさらに含む、請求項９記載のシステム。

【請求項11】

前記損傷識別モジュール（１１０）は、前記実世界画像（９１）上の前記植物（１１）が属する前記植物種（ＰＳ１）を識別するためにさらに訓練される、請求項９記載のシステム。

【請求項12】

前記植物画像データベースの前記更新は、前記実世界画像（９１）を用いて前記決定された損傷クラス（ＤＣ１）を記憶することをさらに含む、請求項９から１１のいずれか１項記載のシステム。

【請求項13】

前記システムはさらに、
前記位置データ、タイムスタンプ、決定された損傷クラス、および前記記憶された現実世界画像の確認済の損傷クラスを特徴として含む、前記更新された植物画像データベース（２３０）に基づいて、前記損傷識別モジュール（１１０）を再トレーニングするように構成されたトレーニングモジュール、
を備える、請求項１２記載のシステム。

【請求項14】

前記類似性チェッカ（１２０）はさらに、前記実世界画像（９１）および前記選択された画像から特徴マップを抽出するように訓練された畳み込みニューラルネットワーク（１１０、１１１）を使用することにより、さらに、低距離値が高特徴類似性を示す特徴マップのそれぞれのペア間の距離を計算することにより、前記実世界画像と前記選択された画像との間の特徴類似性を決定するように構成されている、請求項９から１３のいずれか１項記載のシステム。

【請求項15】

前記訓練された損傷識別モジュールは分類ニューラルネットワークである、請求項９から１４のいずれか１項記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は一般に、電子データ処理に関し、より詳細には、植物の損傷識別を改善するための植物画像データベースを強化するための画像処理方法、コンピュータプログラム製品、およびシステムに関する。

【背景技術】

【0002】

農業従事者にとっては、植物の損傷リスク（例えば、有害生物や病害、壊死、干ばつなどによる損傷）が農場に現れた場合、植物保護製品の適用のための適切な時点を見逃さないようにすることが重要である。これは、農場における生物的または非生物的ストレスの出現によって、農場の潜在的収量が低減されないことを確実にするために有用である。

【0003】

既存の画像処理ソリューションは、ニューラルネットワークを使用することによって特定の植物種の植物損傷を分類することができるアプリケーションを介して、植物損傷分析能力を農家に対して提供する。しかしながら、分類結果の品質は、ニューラルネットワークをトレーニングするために使用されるトレーニング画像の品質、ならびにテスト入力として使用される画像の品質に大きく依存する。画像分類においては、分類結果が低い信頼値のものに対して関連付けられることが起こり得る。そのような場合、分類結果は、典型的には農業者が正しい植物保護製品について決定するための価値が低いか、または全くない。例えば、テスト投入画像の品質が、植物（例えば、植物の葉）の損傷症状が不明瞭であるという点で十分でない場合、または損傷クラスが訓練データ（不均衡な訓練データセット）において十分に表されていない場合、ニューラルネットワークによる損傷認識タスクは失敗し、低い信頼性によって農業者に分類結果を誤らせる可能性がある。

【発明の概要】

【0004】

したがって、信頼できる損傷クラスによって農業利用者に対して決定支援を提供して、農場において損傷症状を有する植物から撮影された画像上に存在する正しい損傷タイプ（クラス）を識別するニーズがある。

【0005】

この技術的問題に対する本明細書に開示される解決策は、植物の損傷識別を改善するための植物画像データベースの強化に基づく。要するに、植物損傷の損傷識別のために訓練された損傷識別モジュール（例えば、畳み込みニューラルネットワーク（ＣＮＮ）、単純ベイズ分類器、または任意の他の適切な機械学習モデル）が、農場で成長する植物を示す農場で記録されたテスト入力画像に対して適用される。典型的には、植物は農場使用者によって潜在的な損傷症状として見られるいくつかの症状を示す。しかしながら、損傷症状は可視光スペクトルにおいてユーザにとって識別可能でない場合があり、その場合、ユーザは、単に植物の健康状態をチェックするために画像を記録することができる。したがって、テスト入力画像（現実世界画像）は、農場ステータスを検査しながら、モバイルカメラデバイス（たとえば、スマートフォンまたは任意の他の適切な画像記録デバイス）を用いて、または代替的に近赤外（ＮＩＲ）カメラなどの他のカメラデバイスを用いて、農業ユーザによって農場において記録することができる。例えば、潜在的な損傷症状が可視波長の範囲内でユーザにとって認識可能でない場合、それらは、ユーザに対してＮＩＲ画像をそれぞれ提示することによって可視化できる。あるいは、テスト入力画像は、現場を飛行しながらドローンなどの無人航空機によって運ばれるモバイルカメラによって、または現場の特定の部分を監視するために現場に設置された静的設置カメラによって、記録されてもよい。ＣＮＮの出力は、テスト入力画像上の植物に存在すると考えられる損傷クラス（すなわち、損傷タイプまたはカテゴリ）である。典型的には、損傷クラスは分類結果の信頼値とともに決定される。決定された損傷クラスは、ユーザに対して提供される。それによって、損傷クラスは、植物上に存在する損傷症状に関連する損傷を示すことができる。しかしながら、損傷を識別することができないことが起こる場合があり、その場合は損傷クラスが「損傷なし」などとなる。「損傷なし」は、植物に存在する損傷が損傷識別モジュールによって識別できないことを示し、または、損傷が存在せず、植物が健康であることを示す。任意選択的に、信頼値もユーザに対して提供される。信頼値から、より高度なユーザは、分類結果の信頼性についての情報を導出することができる。

【0006】

この出力とともに、テスト入力画像に類似し、より最近の過去に農場の近隣において記録された１つ以上の画像（詳細は後述）が、提示された類似画像の各々についてそれぞれの植物種および損傷タイプ情報とともに、農業ユーザに対して提示される。このような類似画像は、同じまたは他の農業ユーザ（または監視装置）によって記録された画像が過去に記憶された画像データベースから検索される。ユーザは同様の画像を視覚的に評価し、テスト入力画像上に存在する損傷クラスに関する、より知識に基づいた決定に至ることができる。類似の画像に基づくユーザによる評価は、損傷識別モジュールと同じ分類結果になることがあり、または、特に損傷クラス結果が低い信頼値に関連付けられているとき、異なる結果になることがある。ユーザはここで、損傷クラスの評価を分類入力として画像データベースに対して提供し、ここで、テスト入力画像は、ユーザの分類入力とともに記憶される。ユーザ入力は、損傷クラス（または損傷タイプ）の信頼性の高い評価としてみなされ、将来のテスト入力に関する将来の損傷クラス予測のための改善された植物損傷クラス結果に到達するために、損傷識別モジュールをさらに訓練するためのグラウンドトゥルースとして使用することができる。

【0007】

より詳細には、上記の技術的問題に対する技術的解決策は、植物上の改善された損傷識別のために植物画像データベースを強化するためのコンピュータ実装方法、そのような方法を実行するように適合されたコンピュータシステム、およびコンピュータシステムの１つまたは複数の処理ユニットによって実行されたときにシステムに前記方法を実行させる命令を含むコンピュータプログラム製品など、様々な実施形態において実施することができる。

【0008】

本出願の文脈において使用される「植物の損傷」または「損傷」という用語は、植物に対して有害な、植物の正常な生理学的機能からの任意の逸脱であり、以下によって引き起こされる植物病害（すなわち、植物の正常な生理学的機能からの逸脱）が含まれるが、これに限らない：
ａ)真菌（「真菌性植物病」）、
ｂ)細菌（「細菌性植物病」）
ｃ)ウイルス（「ウイルス植物病」）、
ｄ)昆虫摂食障害、
ｅ)植物の栄養不足、
ｆ)熱ストレス、例えば３０℃以上の温度条件、
ｇ)低温ストレス、例えば１０℃未満の温度条件、
ｈ)干ばつストレス、
ｉ)過度の日光への曝露、例えば、枯れ、日焼け、または同様の照射の徴候を引き起こす日光への曝露、
ｊ)ｐＨ値がｐＨ５未満および／またはｐＨ値が９を超える土壌中の酸性またはアルカリ性のｐＨ条件、
ｋ)塩分ストレス、例えば土壌塩分、
ｌ)重金属などの化学物質による汚染、および／または
ｍ)肥料や作物保護の悪影響、例えば除草剤の損傷
ｎ)破壊的な気象条件、例えば、ひょう、霜、風の損傷。

【0009】

好ましい実施形態において、「植物損傷」または「損傷」は、真菌、昆虫摂食損傷、植物栄養欠乏、熱ストレス、寒冷ストレス、または破壊的な気象条件（例えば、ひょう、霜、損傷風）によって引き起こされる植物病（すなわち、植物の正常な生理学的機能からの逸脱）を含む。より好ましい実施形態において、「植物損傷」または「損傷」は、真菌または昆虫摂食損傷によって引き起こされる植物病害（すなわち、植物の正常な生理学的機能からの逸脱）である。

【0010】

本出願の文脈において使用される「損傷クラス」という用語は例えば、「損傷なし」、「セプトリア（例えば、真菌）によって引き起こされる重度の損傷」、「昆虫によって引き起こされる葉の咀嚼損傷」、「寒冷ストレスによって引き起こされる中程度の損傷」、「窒素欠乏によって引き起こされる低度の損傷」などを含むが、これに限定されない、植物損傷に関連するまたは関連付けられた任意のタイプの分類であると理解される。

【0011】

本出願の文脈において使用される「タイム スタンプ」または「タイムスタンプ」という用語は、特定のイベントがいつ発生したかを識別するか、好ましくは少なくとも特定のイベントの日付を示す、より好ましくは少なくとも特定のイベントの時間および分単位の日付および時刻を示す、最も好ましくは少なくとも特定のイベントの時間、分および秒単位の日付および時刻を示す、任意の情報またはデータであると理解される。

【0012】

植物損傷に関連するまたは関連付けられた分類のタイプは例えば、「損傷なし」、「セプトリア（例えば、真菌）によって引き起こされる重度の損傷」、「昆虫によって引き起こされる葉の咀嚼損傷」、「寒冷ストレスによって引き起こされる中程度の損傷」、「窒素欠乏によって引き起こされる低度の損傷」などを含むが、これに限定されない。

【0013】

１実施形態において、コンピュータ実装方法は、農場における植物の実世界画像（テスト入力画像）を受信することから開始する。テスト入力画像は、特定の地理的位置において記録される。テスト入力画像は、特定の地理的位置を示す位置データと、実世界画像が記録された時点を示すタイムスタンプとを有する画像メタデータを有する。画像が記録された地理的位置の位置データを集積位置センサ（例えば、ＧＰＳセンサなど）が決定することは、ほとんどのデジタル画像記録装置の標準機能である。さらに、写真が撮影された日時を記録することは、そのような装置の標準的な機能である。タイムスタンプおよび位置データは、テスト入力画像のメタデータとして記憶され、したがって、適切なインターフェース構成要素を介して画像と一緒に受信される。画像記録装置をコンピュータシステムと通信可能に結合して、記録された画像をコンピュータシステムに対して転送し、さらなる画像処理タスクのために記憶することは、当技術分野において周知である。

【0014】

１実施形態において、損傷識別モジュールは畳み込みニューラルネットワークＣＮＮとして実装することができ、畳み込みニューラルネットワークＣＮＮは特定の植物種の植物上の視覚的損傷症状に関連する損傷クラスを識別するために訓練されており、受信された実世界画像から、実世界画像上の損傷症状に対する損傷クラスを含む出力と、関連する信頼値とを生成する。ＣＮＮは、植物病害特有の特徴に従って入力画像を分類するための任意の分類畳み込みニューラルネットワークトポロジーに基づくことができる。例えば、ＣＮＮトポロジーは、作物疾患識別のための後方微調整に適したＩｍａｇｅｎｅｔまたは別のデータセットを用いて事前訓練することができる。たとえば、残差ニューラルネットワークはたとえば、５０層を有するＲｅｓＮｅｔ５０深層畳み込みニューラルネットワークなどのバックボーンとして使用することができる。ＲｅｓＮｅｔファミリーの他の変形例（例えば、ＲｅｓＮｅｔ１０１、ＲｅｓＮｅｔ１５２、ＳＥ－ＲｅｓＮｅｔ、ＲｅｓＮｅＸｔ、ＳＥ－ＲｅｓＮｅＸｔ、またはＳＥＮｅｔ１５４）または他の画像分類ニューラルネットワークファミリー（例えば、ＤｅｎｓｅＮｅｔ、Ｉｎｃｅｐｔｉｏｎ、ＭｏｂｉｌｅＮｅｔ、ＥｆｆｉｃｉｅｎｔＮｅｔ、Ｘｃｅｐｔｉｏｎ、またはＶＧＧ）も使用することができる。植物損傷識別およびそれらの訓練のためのそのようなＣＮＮは例えば以下に記載されている：Picon, A. et al, 2019. Crop conditional Convolutional Neural Networks for massive multi-crop plant disease classification over cell phone acquired images taken on real field conditions. Computers and Electronics in Agriculture November 2019。このアプローチは、国際特許出願ＰＣＴ／ＥＰ２０２０／０６３４２８にも記載されている。

【0015】

代替実施形態において、損傷識別モジュールは、国際特許出願ＷＯ２０１７１９４２７６（Ａ１）に開示されている単純ベイズ分類器を用いて実装することができる。

【0016】

いくつかの実施形態において、受信された画像メタデータは、実世界画像上の植物が属する植物種を指定する植物種識別子をすでに含んでいてもよい。例えば、現実世界の画像を撮っているユーザは、それに応じて、記録されたテスト入力にタグ付けすることができる。無人飛行体、例えばドローンまたは静止カメラによって画像が撮影される場合、カメラデバイスはそれぞれの農場で成長している植物種に関する情報を有し、そのような情報をメタデータに対して追加することができる。

【0017】

いくつかの実施形態において、損傷識別モジュールは、実世界画像上の植物が属する植物種を自動的に識別するためにさらに訓練することができる。

【0018】

類似性チェッカモジュールは、植物画像データベース内の選択された画像と実世界画像の特徴類似性を決定する。植物画像データベースは、地球上の任意の場所でいつでも記録された異なる損傷症状を有する異なる種の植物を示すあらゆる種類の画像を含むことができる。画像データベース内の各画像は、画像上に示される作物植物を示す植物種識別子、作物植物上の損傷タイプを示す損傷クラス、ならびにそれぞれの画像がどこでいつ記録されたかを示す位置データおよびタイムスタンプデータでラベル付けされる。画像ラベルは、ユーザ注釈、アルゴリズムによってなされる自動注釈、または記録された画像のメタデータから生じ得る。

【0019】

選択された画像がテスト入力画像のタイムスタンプの前の所定の時間ウインドウ内で記録され、テスト入力画像が記録された地理的位置の所定の近傍エリア内の地理的位置に記録されたという点において、選択された画像は時空間フィルタ機能を有する画像データベースから選択される。空間フィルタ寸法に関して、所定の近傍エリアは、典型的にはこの領域において、農業植物のための同様の成長条件が優勢であるように定義される。言い換えれば、近傍エリアにおける温度、湿度などは、同様の損傷症状が予想され得るように、成長した植物に対して同様の条件を提供する。例えば、所定の近傍エリアは所定の半径を有する円として定義され、受信された位置データは円の中心を定義する。有利な半径長さは、（好ましい実施形態として）２００ｋｍ、１９０ｋｍ、１８０ｋｍ、１７０ｋｍ、１６０ｋｍ、１５０ｋｍ、１４０ｋｍ、１３０ｋｍ、１２０ｋｍ、１１０ｋｍ、１００ｋｍ、９０ｋｍ、８０ｋｍ、７０ｋｍ、６０ｋｍ、５０ｋｍ、４０ｋｍ、３０ｋｍ、２０ｋｍ、１０ｋｍ、５ｋｍ、２ｋｍ、１ｋｍ、５００ｍ、１００ｍ（好ましい１実施形態として、５０ｋｍ）よりも短い。しかし、農地付近の気候状況に応じて、より小さいまたはより大きい半径の長さが有用である場合がある。（例えば、長方形／正方形、楕円形のような他の幾何学的形状によって、または、形状を含まない）近傍エリアの任意の他の定義を、近傍エリアを定義するために使用することができる。近傍エリアは同じ行政地域（例えば、村、町、地区（ドイツの「Ｋｒｅｉｓ」）、連邦州、国）に属する地域であってもよい。近傍エリアは、河川システム、（マイクロ）気候ゾーンなどのように、同一または類似の地理的または気候特性を有するエリアであってもよい。

【0020】

時間フィルタ寸法に関して、典型的には１日、２日、３日、４日、５日、６日、７日、８日、９日、１０日、１２日、１４日、１６日、１８日、２０日、２２日、２４日、２６日、２８日、３０日、３２日の範囲内の時間間隔を考慮することが最も有用である；別の好ましい実施形態においては、１、２、３、４、５年前の類似の季節日付（例えば、２０１９年３月、２０１８年３月、２０１７年３月、２０１６年３月、２０１５年３月）である。この場合も、時間ウインドウは、損傷症状の発生について同様の条件を有する期間を考慮に入れることによって選択される。すなわち、同じ日であるが１年前の画像は、過去２週間の間に記録された画像よりも有用性が低い可能性が高い。

【0021】

類似性チェッカはまず、時空間フィルタ関数を画像データベースに対して適用して、近傍エリアおよび時間ウインドウ内で撮影された候補画像を取り出し、次いで、最小類似値を超える現実世界画像との特徴類似性を有する選択された画像の少なくともサブセットを識別する。サブセットは、単一の画像から構成されてもよい。しかしながら、有利には、複数の類似の画像を識別することができる。現実世界画像と選択された画像との間の特徴類似性は、現実世界画像および選択された画像から特徴マップを抽出するように訓練された畳み込みニューラルネットワーク（上記と同じＣＮＮまたは別のＣＮＮ）を使用して、類似性チェッカによって決定することができる。次いで、特徴マップのそれぞれのペア間の距離を計算することができ、ここで、低い距離値は高い特徴類似性を示す。当業者は、他の既知の類似性測度を使用して、現実世界画像（テスト入力）と、画像データベースから検索された選択された画像との間の特徴類似性を判定することができる。例えば、損傷を識別するために訓練されたＣＮＮの最後の層は、それぞれのテスト入力画像の損傷クラスについて決定する。ＣＮＮの最後の層の前の層は、テスト入力画像のための対応する特徴ベクトルを含む。２つの異なるテスト入力の特徴ベクトルを比較することによって、２つの画像間の特徴類似性を計算することができる。例えば、ユークリッド距離またはマハロノビス距離を２つの特徴ベクトル間で計算することができ、これにより特徴類似性の値をもたらし、すなわち、特徴類似性は、２つの特徴ベクトル間のユークリッド距離またはマハロノビス距離に基づく計算または演算を使用して決定することができる。別の実施形態において、特徴類似度は、２つの特徴ベクトル間の角度のコサインであるコサイン類似度として決定することができ、またはコサイン類似度そのものである。したがって、特徴類似度は、２つの特徴ベクトル間のユークリッド距離またはマハロノビス距離に基づいて計算または演算を使用して決定される類似度値であってもよく、またはコサイン類似度として、すなわち２つの特徴ベクトル間の角度のコサインとして決定されてもよい。最小類似度値は、最小類似度値以下の類似度値を有する全ての選択された画像をフィルタリングするための所定の閾値であってもよい。

【0022】

ユーザインターフェースモジュール／コンポーネントは、生成された損傷クラス（ＣＮＮによって生成されたもの）を、オプションとして関連する信頼値とともに、農業ユーザに対して提供する。さらに、並行して、サブセットの画像は、それぞれのラベルによって示される損傷クラスおよび植物種識別子とともに、ユーザに対して提供される。ユーザインターフェースは、ユーザが視覚情報を閲覧し、それに応じてデータを入力することを可能にする標準Ｉ／Ｏ 手段によって実装できる。例えば、スマートフォンまたはタブレットコンピュータ内のモバイルクライアントなどの任意のフロントエンドデバイスが、視覚化のために使用できる。インターフェースモジュールは、そのようなフロントエンドデバイスと通信するように構成される。

【0023】

農業ユーザがテスト入力の植物上の潜在的な損傷タイプに関するすべての提供された情報を評価すると、ユーザはユーザインターフェースモジュールを介してフィードバックを提供し、ユーザインターフェースは、ユーザから現実世界画像（テスト入力）のための確認済の損傷クラスを受信する。確認済の損傷クラスは、現実世界画像のグラウンドトゥルースとして解釈することができる。確認済の損傷クラスは、決定された損傷クラスから逸脱することがある。特に、それぞれの損傷症状を有するテスト入力上の植物種の植物を示す画像が過小表示された不均衡な訓練データセットを用いてＣＮＮが訓練された場合、またはテスト入力画像が低品質である場合、決定された信頼値は低い場合があり、類似画像のサブセットを準備することにより、単にサブセットの画像を実世界の画像状況と比較することによって、確認済の損傷クラスのためのより良好な情報を与えられた決定をすることをユーザに対して支援する。

【0024】

別の好ましい実施形態において、用語「確認済の損傷クラス」は、ユーザの視点から生成された損傷クラスの正確さの程度または可能性に関する、またはそれを示す、ユーザ検証データを含むことができる。例えば、ユーザ検証データは、ユーザの評価「生成された損傷クラスが正しくない」または「生成された損傷クラスが正しくない可能性が非常に高い」または「生成された損傷クラスが正しい可能性が高い」を含むことができる。「生成された損傷クラスが正しくない」などのユーザの評価も、植物画像データベースを更新および／または強化するために非常に有用である。

【0025】

確認された損傷タイプはデータベースアップデータモジュールによって受信され、データベースアップデータモジュールは受信された実世界画像の記憶を、その植物種識別子、その位置データ、そのタイムスタンプ、および確認された損傷クラスとともにトリガすることによって、植物画像データベースを更新する。

【0026】

１実施形態において、アップデータはまた、決定された損傷クラスを現実世界画像とともに記憶することをトリガしてもよい。決定された損傷クラスと確認された損傷クラスの両方を画像データベースに記憶することは、ＣＮＮの訓練を改善するために有利となる場合がある。次いで、ＣＮＮは、記憶された現実世界画像の位置データ、タイムスタンプ、決定された損傷クラス、および確認された損傷クラスを特徴として含む、更新された植物画像データベースに基づいて再訓練することができる。

【0027】

本発明のさらなる態様は、添付の特許請求の範囲に特に示される要素および組み合わせによって実現され、達成される。前述の一般的な説明および以下の詳細な説明の両方は、例示的かつ説明的なものに過ぎず、本発明を記載態様に限定するものではないことを理解されたい。

【図面の簡単な説明】

【0028】

【図1】１実施形態による、植物上の改善された損傷識別のために植物画像データベースを強化するためのコンピュータシステムのブロック図を含む；

【図2】１実施形態による、植物上の改善された損傷識別のために植物画像データベースを強化するためのコンピュータ実装方法の簡略化されたフローチャートである；

【図3A】１実施形態による時空間フィルタコンポーネントの空間フィルタリング関数を示す；

【図3B】１実施形態による、時空間フィルタコンポーネントの時間フィルタリング関数を示す；

【図4A】１実施形態による、植物画像からの特徴マップの抽出を示す；

【図4B】特徴マップのペアの計算と、所定の閾値未満の特徴類似性に関連する画像をフィルタ除去するための類似性フィルタリングステップとを示す；

【図5】本明細書で説明する技法とともに使用することができる、汎用コンピュータデバイスおよび汎用モバイルコンピュータデバイスの１例を示す図である。

【発明を実施するための形態】

【0029】

図１は、植物の損傷識別を改善するために植物画像データベースを強化するためのコンピュータシステム１００のブロック図を含む。図２は、植物の損傷識別を改善するために植物画像データベースを強化するためのコンピュータ実施方法１０００の簡略化されたフローチャートである。方法１０００は、コンピュータシステム１００のモジュールを実装するそれぞれのコンピュータプログラムを実行するときに、コンピュータシステム１００によって実行することができる。ここで、コンピュータシステム１００について、両方の図の参照番号を用いて、コンピュータ実装方法１０００の文脈で説明する。

【0030】

コンピュータシステム１００は、コンピュータシステム１００とデジタルカメラデバイス９０との間の通信結合を可能にするインターフェース１９０を有する。カメラデバイス９０は、農場１において生育する植物を検査する農業ユーザ９によって運ばれるハンドヘルド通信デバイス（例えば、スマートフォンまたはタブレットコンピュータ）に統合されてもよい。あるいはカメラを農場１内に静的配置してもよく、または検査ロボット（例えば、ドローンなどの無人飛行体、または陸上ロボット）によって運ばれてもよい。カメラデバイス９０は、農場で成長している植物の実世界画像９１を記録し、いくつかの損傷症状を示す。損傷症状は植物の葉に現れることが多いが、茎、穂、または他の植物要素において現れることもある。図１において、損傷症状は、黒い楕円ドット１２によって表されている。

【0031】

この例では、損傷症状が植物１１の葉のみに現れる（より大きな白い楕円形で表される）と仮定する。簡単にするために、他の植物要素は示されていない。画像の背景１０が農場１の土壌を示すことができるように、画像９１を天頂ビューから撮影することが有利である。典型的には、天頂ビューから撮影された画像の場合、植物の葉の自動セグメント化は、背景として他の植物を有する側面ビューから植物を示す画像よりも容易なタスクである。しかしながら、以下にさらに引用されるように、両方の状況において葉をセグメント化することができる公知の方法が存在する。実際の画像では、土壌に広がる雑草が存在することがある。作物植物の葉から雑草を分離することができるシステムも利用可能である。画像９１は、カメラ９０によって農場内の特定の地理的位置２において記録される。

【0032】

典型的には、デジタルカメラデバイスは、画像が撮影される場所の地理的座標を自動的に決定するために使用されるＧＰＳセンサを備え、そのような位置データＬＤ１を、記録された画像９１のメタデータとして記憶する。また、デジタルカメラによって撮影された各画像は、画像が記録された時点３についてのメタデータとともに記憶される。そのような時間メタデータは、本明細書ではタイムスタンプＴＳ１と呼ばれる。任意選択で、ユーザ９は、植物種識別子ＰＳ１を画像９１のメタデータに追加することができる。これは、カメラデバイス９０に結合された対応するユーザインターフェースによってサポートすることができ、これにより、ユーザは画像上に示された作物植物が属する植物種を指定する一意のコード（例えば、ＥＰＰＯコード）を入力するか、または（例えば、ユーザインターフェースを介して表示される適切なドロップダウンメニューから）名前を選択することができる。

【0033】

次いで、コンピュータシステム１００は、インターフェース１９０を介して、それぞれのメタデータを有する実世界画像９１を受信する（１１００）。次いで、画像９１は、システム１００の畳み込みニューラルネットワーク１１０（ＣＮＮ）として例示的な実施形態で実装される損傷識別モジュールへのテスト入力として提供される。ＣＮＮ１１０は特定の植物種の植物に存在する損傷症状に関連する損傷クラスを識別するために訓練されており、実世界画像上の損傷症状に対する損傷クラスＤＣ１、および関連する信頼値ＣＶ１を含む出力を提供する。訓練されるときにこの目的を果たすＣＮＮアーキテクチャのための有利な実装は、Ｐｉｃｏｎらの前述の論文刊行物において詳細に記載されている。あるいは、例えば、上述の単純ベイズ分類器などの他の分類アルゴリズムを、損傷識別モジュールの実装のために使用してもよい。

【0034】

植物種識別子ＰＳ１が画像のメタデータとして受信される任意の実施形態において、植物種識別子はＣＮＮ１１０の入力としても機能し得る。しかしながら、ＣＮＮ１１０は画像９１上の植物１１の植物種を自動的に識別するように訓練することもでき、この場合、植物種はＣＮＮ１１０の出力でもある。

【0035】

ＣＮＮ出力は、システム１００と通信可能に結合されたモバイル通信デバイス２００のユーザインターフェースを介して、農業ユーザ９に対して提示される。いくつかの実施形態において、デジタルカメラ９０がモバイル通信デバイス２００の一体部分であってもよい。他の実施形態において、カメラはユーザ９に関連付けられていないが（例えば、静的カメラシナリオまたはロボット搬送カメラシナリオ）、ＣＮＮの出力はそれにもかかわらず、ユーザ９の別個のモバイルデバイスに対して提供され、ユーザはそのモバイルデバイスを使用して、そのインターフェース１９０を介してシステム１００と対話する。例えば、ユーザは、ユーザ９の現在位置でロボットによって撮影された最新の画像を積極的に要求することができる。ユーザの現在位置は、モバイル通信デバイス２００に統合されたＧＰＳセンサによって決定することができる。

【0036】

ＣＮＮ１１０の出力から、ユーザは、損傷した植物に関連する損傷クラスＤＣ１についての第１情報を得る。オプションの信頼値ＣＶ１は、損傷クラスがどの程度信頼できるかについての情報を提供する。任意選択的に、信頼値は、分類結果とともに農業ユーザに対して提供されてもよい。より高度なユーザにとって、信頼値は、確認済の損傷クラスの形態でフィードバックを提供するときに、生成された損傷クラスがどの程度強く考慮されるべきかについての貴重な情報を提供することができる。オプションとして、植物種も提示することができる。ＣＮＮが植物種識別子を決定する実施形態において、この識別子ＰＳ１が常に損傷クラスＣＤ１と一緒に提示される。

【0037】

さらに、システム１００の類似性チェッカ１２０（ＳＣ）は、実世界画像６１と、植物画像データベース２３０内の選択された画像２３２、２３３、２３４、２３５との特徴類似性を決定する（１３００）。植物画像データベース２３０は、典型的には過去の少なくとも数ヶ月をカバーする期間にわたって、地球上の多くの異なる場所で記録された損傷症状を有する大量の現実世界の植物画像を記憶する。後述するように、本明細書に記載の手法に従って処理された記録画像は、最終的に画像データベース内に記憶される。他の画像ソースも含めることができる。画像データベース内のすべての画像は、植物種識別子（画像上の植物が属する植物種についてのもの）、損傷クラス（その植物上に存在する損傷のタイプを示す）、位置データ（それぞれの画像が記録された地理的位置を示す）、およびタイムスタンプデータ（画像が記録された時点を示す）を含むメタデータによって、タグ付けされる。

【0038】

画像データベース２３０内の選択された画像２３２、２３３、２３４、２３５を識別する（１４００）ために、ＳＣ１２０は、時空間フィルタ関数を使用する。フィルタ関数の空間次元は図３Ａにより詳細に示され、フィルタの時間次元は図３Ｂに示される。

【0039】

図３Ａを簡単に参照すると、同図は、画像データベース内の画像２３１～２３６および実世界画像６１が記録されている地理的位置（地理座標（ｘ，ｙ）を介して）を示す。画像２３１～２３６は、いずれも、画像９１の位置データＬＤ１によって特定される地理的位置の近方または遠方の周辺に存在する。画像２３１および２３３は、同じ農場で記録され（画像の重複によって示される）、同様の損傷症状を有する同じ植物種の植物を示す。画像２３２は異なる場所（異なる農場）で記録されたものであり、画像２３１、２３３と同じ植物種だが、損傷症状は異なる。画像２３５は異なる場所（異なる農場）で記録されたものであり、前の画像と同じ植物種で生育するが、異なる損傷症状を示す（葉上の交差した黒い棒によって示される）。画像２３６は異なる場所（前述の画像とは異なる農場）で記録されたものであり、画像２３１および２３３と同じ損傷症状を有する同じ種の植物を示す。最後に、画像２３４は異なる農場において記録されたものであり、他の全ての画像とは異なる植物種だが、画像２３１、２３３、２３６における損傷症状と類似する損傷症状を有する。

【0040】

ここで、空間フィルタ関数は、画像９１の記録位置の周りの所定の近傍エリアを空間フィルタ基準として使用することによって、画像データベース内の画像をフィルタリングして、画像９１との類似性チェックのための潜在的な候補を選択する。この例は、近傍エリアの様々な形状を示している。第１実装例においては、近傍エリアＶＡ１は画像９１の位置データＬＤ１を円の中心とする所定の半径を有する円として実装される。半径は、同様の気候条件、同様の地盤特性などの基準に従って選択することができる。第２実装例においては、近傍エリアＶＡ２は、矩形ＶＡ２の重心に位置データＬＤ１がある矩形として定義される。なお、画像９１が記録された農場周辺の実世界の状況に応じて、周辺領域について任意の適切な形状が定義されてもよい。また、位置データＬＤ１は、近傍エリアの重心にある必要はない。例えば、画像９１の農場は山の足に直接配置されているが、山には農場が存在しない場合には、近傍エリアは農場の他の側にのみ広がっていてもよい。

【0041】

空間フィルタ機能は、所定の近傍エリア内の位置で記録された画像データベース内の全ての画像を識別する。この例では候補画像２３１～２３５の同じセットが両方の近傍エリアＶＡ１、ＶＡ２によって識別され、画像２３６のみが、空間フィルタ機能によって、近傍エリアの外側で記録されたものとしてフィルタ除去される。

【0042】

図３Ｂを簡単に参照すると、同図は、画像２３１～２３６が記録された時間軸ｔ上の時点を表すタイムスタンプ（矢印によって）を、画像９１のタイムスタンプＴＳ１（図３Ｂには示されていない）と比較して示している。所定の時間ウインドウＴＷ１は、類似性チェックを実行するために意味があると考えられる時間範囲内に記録された候補画像を識別するためのフィルタ基準として設定される、ＴＳ１の前の時間隔を定義する。時間ウインドウの設定は、過去数日間、数週間、または数ヶ月にわたる気象条件、植物の成長段階、などを考慮に入れることができる。この例では画像２３２～２３６はすべて、事前定義された時間ウインドウＴＷ１内に記録されたものであり、一方、（同じ農場２３３からの）画像２３１は前のシーズンに記録されたものであり、したがって、時間フィルタ関数によってフィルタ除去される。

【0043】

選択された画像２３２、２３３、２３４、２３５の最終結果は、空間フィルタ関数の結果および時間フィルタ関数の結果の、潜在的に興味深い画像セット（ユーザにとって興味深い）である。

【0044】

図１に戻って説明すると、ＳＣ１２０は、選択された画像２３２、２３３、２３４、２３５のうち、現実世界の画像９０１との類似性が最低類似値を超える部分集合２３０を、少なくとも識別する（１４００）。目標は、類似の損傷症状を有する画像９１と同じ種の植物を示す画像を識別することであるので、画像９１と選択された画像との間の全体的な類似性は無関係である。代わりに、異なる画像上に示される様々な植物要素の類似性についての情報（例えば、葉の形状の類似性）は、同じ種の植物を有する画像を識別するために重要である。損傷症状に関しては、葉（または他の植物要素）のどこに症状があるかは完全に無関係である。むしろ、色、形状、大きさなどの点における症状の外観が重要である。言い換えれば、画像上の異なる植物種および損傷症状を特徴付ける特徴は、類似性をチェックするときに比較されるべき、画像の関連情報を提供する。従って、この例では、画像２３２、２３３は画像９１との特徴類似性があらかじめ定められた閾値（すなわち、最小類似性値）を超えている画像として識別され、従って、ＳＣ１２０により、サブセット２３０ｓにおいて類似画像としてユーザ９に対して提供される。
当業者は、異なる類似性メトリックを使用して、画像間の特徴類似性を決定することができる。特徴類似性インデックスは、画像品質の評価のためにしばしば使用される（例：Lin Zhang et al., FSIM: A Feature Similarity Index for Image Quality Assessment, in IEEE Transactions on Image Processing 20(8):2378 - 2386, September 2011; Yang Li, Shichao Kan, and Zhihai He: Unsupervised Deep Metric Learning with Transformed Attention Consistency and Contrastive Clustering Loss, in: arXiv:2008.04378v1 [cs.CV] 10 Aug 2020 (URL: https://arxiv.org/pdf/2008.04378.pdf); Mang Ye, Xu Zhang, Pong C. Yuen, Shih-Fu Chang: Unsupervised Embedding Learning via Invariant and Spreading Instance Feature, in: arXiv:1904.03436v1 [cs.CV] 6 Apr 2019 (URL: https://arxiv.org/pdf/1904.03436.pdf); Florian Schroff, Dmitry Kalenichenko, James Philbin: FaceNet: A Unified Embedding for Face Recognition and Clustering, in: arXiv:1503.03832v3 [cs.CV] 17 Jun 2015 (URL: https://arxiv.org/pdf/1503.03832.pdf); Nicolas Turpault ; Romain Serizel ; Emmanuel Vincent: Semi-supervised Triplet Loss Based Learning of Ambient Audio Embeddings, in: ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (URL: https://ieeexplore.ieee.org/abstract/document/8683774）

【0045】

図４Ａは、特徴類似性識別のために使用される特徴マップの概略図を記載しており、これは本明細書で説明されるアプローチの文脈において有利である。ＣＮＮ１１１は、それぞれの画像から特徴マップＦＭ＊を生成するために使用される。ＣＮＮ１１１はもちろん、特にそれぞれの植物種および損傷症状の特徴である特徴が抽出されるように、訓練される。ＣＮＮ１１０（図１参照）をこのタスクのために再利用することができる。実世界画像９１がＣＮＮに対して供給され、対応する特徴マップＦＭ９１がＣＮＮによって生成される。実施例における特徴マップは、対応する植物種の葉の特徴（例えば、葉の形状、色など）と、葉の損傷症状の特徴（例えば、形状、色、サイズなど）とを含む。簡単にするために、葉と損傷症状の合計の特徴が図に示されている。実際には、そのような集合特徴の各々は、畳み込みニューラルネットワークによる画像処理の分野における当業者がよく知っている複数の異なる特徴に対応する。１点鎖線の下に、画像データベースの選択された画像が、対応する簡略化された特徴マップとともに示される。

【0046】

図４Ｂは、実世界画像９１の特徴マップＦＭ９１と、選択された画像の特徴マップＦＭ２３２～ＦＭ２３５のうちの１つとを含む各ペアの特徴マップに対する特徴類似度の計算を示す。各ペアの特徴類似度は、特徴マップの各ペア間の距離を計算する特徴類似度計算モジュール１２２によって決定される。例えば、ユークリッド距離メトリックまたは他の適切な距離メトリックを使用することができる。それによって、低い距離値は、それぞれのペアの特徴マップ間の高い特徴類似性を示す。実施例において、以下の特徴類似度が図４Ｂの以下の特徴マップペアについて計算される：
- FM９１/ＦＭ２３２：０．８７
- FM９１/ＦＭ２３３：０．９５
- FM９１/ＦＭ２３４：０．２７
- FM９１/ＦＭ２３５：０．５５

【0047】

この例では、「０．８０」の最小類似度値１２４が設定されている。画像データベース内の画像の品質および所望のフィルタリング強度ＳＣ１２０に依存して、熟練者により適切な最低類似値を設定して、十分な特徴類似性を有する画像のみがユーザに対して提示された部分集合２３０ｓに含まれることを確実にすることができる。この例では、選択された画像２３４および２３５がフィルタ除去され、選択された画像２３２、２３３のみがサブセット２３０ｓ内に残るようにする。その後、残りの画像は、ＣＮＮ１１０出力とともにユーザ９に対して提示される。この例では、画像２３３上の損傷症状が画像２３４上の損傷症状と同様の外観を有する。両方の画像は同じ植物種を示し、対応する特徴マップは、両方の画像について比較的高い特徴類似性をもたらす損傷症状に関連するいくつかの特徴（例えば、色）のみが異なる。しかしながら、画像２３３は現実世界画像９１と同じ損傷クラスを有する植物種を示す一方で、画像２３４は同じ植物種を示すだけであり異なる損傷クラスを有する。したがって、部分集合２３０から画像２３２をフィルタリングすることも好ましい場合がある。例えば、これは、最小類似度値を「０．９０」に上げることによって達成することができる。

【0048】

しかしながら、図４Ｂおよび図１の所与の例では、両方の画像２３２、２３３がそれぞれの植物種ＰＳ１、ＰＳ１および損傷クラスＤＣ２、ＤＣ１情報とともに、さらに、生成された損傷クラスＤＣ１およびその関連する信頼値ＣＶ１とともに、ユーザ９に対して提供される（１５００）。ユーザ９は、捕捉された現実世界画像９１と画像データベースから検索された類似画像とを比較することにより、ＣＮＮ１１０の分類結果を考慮して、提示されたサブセット２３０の画像を評価する。この例においてユーザは、画像２３３が実際には実世界画像９１上と同じ損傷クラスＤＣ１の損傷症状を有する植物種ＰＳ１を示し、一方、画像２３２は植物種に関してのみ画像９１と一致するが損傷クラスに関しては一致しない、という結論に達する。

【0049】

次に、ユーザ９は、モバイル通信デバイス２００のユーザインターフェースを介して、システム１００のデータベース更新モジュール１４０（ＤＢＵ）によって受信される（１６００）、実世界画像９１の確認済の損傷クラスＣＤＣ１を入力する。次いで、ＤＢＵ １４０は、現実世界画像９１がその植物種識別子ＰＳ１、その位置データＬＤ１、そのタイムスタンプＴＳ１、および確認された損傷クラスＣＤＣ１とともに記憶されるという点で、植物画像データベース２３０の更新（１７００）を開始する。任意選択的に、データベース更新は、生成された損傷クラスＤＣ１を画像９１とともに記憶することもできる。これは、ＣＮＮ１１０が異なる損傷クラス（ＤＣ２など）を提供し、それにもかかわらずユーザがサブセット２３０の画像との視覚的な比較に基づき正しい損傷クラスはＤＣ１であるという結論に至った場合において、有利なことがある。そのような場合、誤って生成された損傷クラスも記憶することは、更新された画像データベースに基づいてＣＮＮ１１０を再訓練するときに有用な情報となり得る。

【0050】

すなわち、位置データ、タイムスタンプ、決定された損傷クラス、および記憶された実世界画像の確認済の損傷クラスを特徴として含む更新された植物画像データベース２３０に基づいて、損傷識別モジュール（例えば、ＣＮＮ）１１０を再訓練（１８００）するとき、損傷識別モジュール１１０の予測精度は、経時的に改善することができる。確認済の損傷クラス情報が、損傷識別モジュール１１０の再訓練のための信頼できるグラウンドトゥルース情報を提供するからである。

【0051】

図５は、本明細書で説明する技法とともに使用できる汎用コンピュータ機器９００および汎用モバイルコンピュータ機器９５０の１例を示す図である。コンピューティングデバイス９００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことが意図される。理想的には、デバイス９００は機械学習アルゴリズムを処理するように適合されたＧＰＵを有する。汎用コンピュータデバイス９００は、図１のコンピュータシステム１００に対応する。コンピューティングデバイス９５０は、パーソナルデジタルアシスタント、セルラー電話、スマートフォン、および他の同様のコンピューティングデバイスなど、様々な形態のモバイルデバイスを表すことが意図される。例えば、コンピューティングデバイス９５０は、テスト入力画像をキャプチャし、それらをコンピュータデバイス９００に提供し、次いで、分類結果をさらなる同様の画像とともにコンピュータデバイスから受信する、ユーザのためのＧＵＩフロントエンドデバイスとして使用することができる。さらに、コンピューティングデバイス９５０は、ユーザがコンピューティングデバイス９００に対してフィードバックを提供することを可能にするデータ入力フロントエンドデバイスとして働くことができる。コンピュータデバイス９５０は、図１のモバイル通信デバイス２００に対応する。本明細書に示される構成要素、それらの接続および関係、ならびにそれらの機能は、例示にすぎず、本文書に記載および／または特許請求される本発明の実装を限定することを意味するものではない。

【0052】

コンピューティングデバイス９００は、プロセッサ９０２と、メモリ９０４と、記憶デバイス９０６と、メモリ９０４および高速拡張ポート９１０に接続する高速インターフェース９０８と、低速バス９１４および記憶デバイス９０６に接続する低速インターフェース９１２とを含む。構成要素９０２、９０４、９０６、９０８、９１０、および９１２の各々は様々なバスを使用して相互接続され、共通のマザーボード上に、または必要に応じて他の方式で実装することができる。プロセッサ９０２は、高速インターフェース９０８に結合されたディスプレイ９１６などの外部入力／出力デバイス上にＧＵＩのグラフィカル情報を表示するために、メモリ９０４または記憶デバイス９０６上に記憶された命令を含む、コンピューティングデバイス９００内で実行するための命令を処理することができる。他の実装形態では、複数の処理ユニットおよび／または複数のバスが必要に応じて、複数のメモリおよび複数タイプのメモリとともに使用される。また、複数のコンピューティングデバイス９００を接続することができ、各デバイスは必要な動作の一部を提供する（例えば、サーババンク、ブレードサーバのグループ、または処理デバイスとして）。

【0053】

メモリ９０４は、コンピューティングデバイス９００内に情報を記憶する。１実装形態において、メモリ９０４は１つまたは複数の揮発性メモリユニットである。別の実装形態において、メモリ９０４は１つまたは複数の不揮発性メモリユニットである。メモリ９０４はまた、磁気または光ディスクなど、別の形態のコンピュータ可読媒体であってもよい。

【0054】

ストレージデバイス９０６は、コンピューティングデバイス９００のための大容量ストレージを提供することが可能である。１実装形態において、記憶デバイス９０６は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイスなどのコンピュータ可読媒体、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、または記憶エリアネットワーク内のデバイスを含むデバイスのアレイ、または他の構成であり、またはそれらを含む。コンピュータプログラム製品は、情報担体内に有形に具体化することができる。コンピュータプログラム製品はまた、実行されると、上述のものの１つまたは複数の方法を実行する命令を有する。情報担体は、メモリ９０４、記憶装置９０６、またはプロセッサ９０２上のメモリなどのコンピュータ可読または機械可読媒体である。

【0055】

高速コントローラ９０８はコンピューティングデバイス９００のための帯域幅集約的な動作を管理し、一方、低速コントローラ９１２は、より低い帯域幅集約的な動作を管理する。このような機能の割り当ては、例示に過ぎない。１実装形態において、高速コントローラ９０８は、（たとえば、グラフィックスプロセッサまたはアクセラレータを介して）メモリ９０４、ディスプレイ９１６、および様々な拡張カード（図示せず）を受け入れることができる高速拡張ポート９１０に対して結合される。この実装形態では、低速コントローラ９１２が記憶デバイス９０６および低速拡張ポート９１４に対して結合される。低速拡張ポートは、様々な通信ポート（例えば、ＵＳＢ、ブルートゥース（登録商標）、イーサネット、無線イーサネット）を含むことができ、例えば、ネットワークアダプタを介して、キーボード、ポインティングデバイス、スキャナ、またはスイッチもしくはルータなどのネットワーキングデバイスなどの１つまたは複数の入力／出力デバイスに対して結合することができる。

【0056】

コンピューティングデバイス９００は図に示されるように、いくつかの異なる形態で実装され得る。例えば、標準サーバ９２０として、またはそのようなサーバのグループ内で複数回、実装されてもよい。また、ラックサーバシステム９２４の一部として実装されてもよい。さらに、ラップトップコンピュータ９２２などのパーソナルコンピュータ内で実装されてもよい。代替として、コンピューティングデバイス９００からの構成要素は、デバイス９５０などのモバイルデバイス（図示せず）内の他の構成要素と組み合わせることができる。そのようなデバイスの各々は、コンピューティングデバイス９００、９５０のうちの１つまたは複数を含むことができ、システム全体は互いに通信する複数のコンピューティングデバイス９００、９５０から構成することができる。

【0057】

コンピューティングデバイス９５０は、他の構成要素の中でも特に、プロセッサ９５２と、メモリ９６４と、ディスプレイ９５４などの入力／出力デバイスと、通信インターフェース９６６と、トランシーバ９６８とを含む。機器９５０はまた、追加の記憶を提供するために、マイクロドライブまたは他の機器などの記憶機器を備えることができる。構成要素９５０、９５２、９６４、９５４、９６６、および９６８の各々は様々なバスを使用して相互接続され、構成要素のうちのいくつかは、共通のマザーボード上に、または必要に応じて他の方式で実装され得る。

【0058】

プロセッサ９５２は、メモリ９６４に記憶された命令を含む、コンピューティングデバイス９５０内の命令を実行することができる。プロセッサは、別個の複数のアナログおよびデジタル処理ユニットを含むチップのチップセットとして実装され得る。プロセッサはたとえば、ユーザインターフェースの制御、デバイス９５０によって実行されるアプリケーション、およびデバイス９５０によるワイヤレス通信など、デバイス９５０の他の構成要素を調整することができる。

【0059】

プロセッサ９５２は、ディスプレイ９５４に対して結合された制御インターフェース９５８およびディスプレイインターフェース９５６を介してユーザと通信することができる。ディスプレイ９５４は例えば、ＴＦＴ ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）またはＯＬＥＤ（有機発光ダイオード)ディスプレイ、または他の適切なディスプレイ技術である。ディスプレイインターフェース９５６は、ディスプレイ９５４を駆動して、グラフィカルおよび他の情報をユーザに提示するための適切な回路を備えることができる。制御インターフェース９５８はユーザからコマンドを受信し、それらをプロセッサ９５２に提出するために変換することができる。加えて、外部インターフェース９６２は、プロセッサ９５２と通信するように提供され、これにより、他のデバイスとのデバイス９５０の近距離通信を可能にする。外部インターフェース９６２はたとえば、いくつかの実装形態では有線通信を、または他の実装形態ではワイヤレス通信を提供することができ、複数のインターフェースも使用され得る。

【0060】

メモリ９６４は、コンピューティングデバイス９５０内に情報を記憶する。メモリ９６４は、１つまたは複数のコンピュータ可読媒体、１つまたは複数の揮発性メモリユニット、または１つまたは複数の不揮発性メモリユニットとして実装され得る。拡張メモリ９８４はまた、例えば、ＳＩＭＭ（Single In Line Memory Module）カードインターフェースを含む拡張インターフェース９８２を介して、デバイス９５０に対して提供され、接続される。そのような拡張メモリ９８４は、装置９５０のための追加の記憶空間を提供することができ、または装置９５０のためのアプリケーションまたは他の情報を記憶することもできる。具体的には、拡張メモリ９８４は上述のプロセスを実行または補足するための命令を含むことができ、安全な情報も含むことができる。したがって、たとえば、拡張メモリ９８４は、デバイス９５０のためのセキュリティモジュールとして働くことができ、デバイス９５０の安全な使用を可能にする命令でプログラムすることができる。さらに、セキュアアプリケーションはハッキング不可能な方法でＳＩＭＭカード上に識別情報を配置するなどにより、追加情報とともに、ＳＩＭＭカードを介して提供され得る。

【0061】

メモリは例えば、後述するように、フラッシュメモリおよび／またはＮＶＲＡＭメモリを含むことができる。１実装形態において、コンピュータプログラム製品は情報担体内で有形に具現化される。コンピュータプログラム製品は、実行されると、上述のような１つまたは複数の方法を実行する命令を含む。情報担体は、メモリ９６４、拡張メモリ９８４、またはプロセッサ９５２上のメモリなどのコンピュータ可読媒体または機械可読媒体であり、これらは、たとえば、トランシーバ９６８または外部インターフェース９６２を介して受信できる。

【0062】

デバイス９５０は、必要に応じてデジタル信号処理回路を含む通信インターフェース９６６を介してワイヤレスに通信することができる。通信インターフェース９６６は、ＧＳＭ音声呼、ＳＭＳ、ＥＭＳ、またはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳなど、様々なモードまたはプロトコルの下での通信を提供し得る。そのような通信はたとえば、無線周波数トランシーバ９６８を通して実施できる。さらに、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ、または他のそのようなトランシーバ（図示せず）を使用するなどによって、短距離通信を実施できる。加えて、ＧＰＳ(全地球測位システム）受信機モジュール９８０は、デバイス９５０に対して追加のナビゲーションおよびロケーション関連ワイヤレスデータを提供することができる。これは、デバイス９５０上で実行されるアプリケーションによって適切に使用することができる。

【0063】

デバイス９５０はまた、ユーザから話された情報を受信し、それを使用可能なデジタル情報に変換するオーディオコーデック９６０を使用して、音声通信できる。オーディオコーデック９６０は同様に、例えば、デバイス９５０のハンドセット内のスピーカなどを介して、ユーザのための可聴音を生成し得る。そのような音は音声電話通話からの音を含むことができ、記録された音（たとえば、音声メッセージ、音楽ファイルなど）を含むことができ、デバイス９５０上で動作するアプリケーションによって生成された音も含むことができる。

【0064】

コンピューティングデバイス９５０は図に示されるように、いくつかの異なる形態で実装され得る。例えば、携帯電話９８０として実装されてもよい。また、スマートフォン９８２、携帯情報端末、または他の同様のモバイルデバイスの一部として実装され得る。

【0065】

本明細書で説明するシステムおよび技法の様々な実装形態は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現することができる。これらの様々な実装形態は、記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信し、それらにデータおよび命令を送信するように結合された、専用または汎用である少なくとも１つのプログラマブルプロセッサを含む、プログラマブルシステム上で実行可能および／または解釈可能な１つまたは複数のコンピュータプログラムにおける実装形態を含むことができる。

【0066】

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる）はプログラマブルプロセッサのための機械命令を含み、高レベル手続き型および／またはオブジェクト指向プログラミング言語で、および／またはアセンブリ／機械言語で実装され得る。本明細書で使用される場合、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械可読信号として機械命令を受信する機械可読媒体を含む、プログラマブルプロセッサに機械命令および／またはデータを提供するために使用される任意のコンピュータプログラム製品、装置、および／またはデバイス（たとえば、磁気ディスク、光ディスク、メモリ、プログラマブル論理デバイス（ＰＬＤ））を指す。「機械可読信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。

【0067】

ユーザとの対話を提供するために、本明細書で説明されるシステムおよび技法は、ユーザに情報を表示するためのディスプレイデバイス（たとえば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがコンピュータに入力を提供することができるキーボードおよびポインティングデバイス（たとえば、マウスまたはトラックボール）とを有するコンピュータ上で実装され得る。他の種類のデバイスを使用して、ユーザとの対話も提供することができ、例えば、ユーザに提供されるフィードバックは任意の形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）とすることができ、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形態で受信することができる。

【0068】

本明細書で説明するシステムおよび技法は、バックエンド構成要素（たとえば、データサーバとして）を含むか、ミドルウェア構成要素（たとえば、アプリケーションサーバ）を含むか、フロントエンド構成要素（たとえば、ユーザが本明細書で説明するシステムおよび技法の実装と対話することができるグラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータ）を含むコンピューティングデバイス、またはそのようなバックエンド、ミドルウェア、またはフロントエンド構成要素の任意の組み合わせで実装することができる。システムの構成要素は任意の形態または媒体のデジタルデータ通信（たとえば、通信ネットワーク）によって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、およびインターネットを含む。

【0069】

コンピューティングデバイスは、クライアントおよびサーバを含むことができる。クライアントおよびサーバは一般に、互いに離れており、典型的には、通信ネットワークを介して対話する。クライアントとサーバの関係は、それぞれのコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じる。

【0070】

いくつかの実施形態について説明した。それにもかかわらず、様々な修正が本発明の精神および範囲から逸脱することなくなされることは理解されるだろう。

【0071】

加えて、図に示される論理フローは所望の結果を達成するために、示される特定の順序、または連続的な順序を必要としない。加えて、他のステップが提供されてもよく、またはステップは、説明されたフローから除去されてもよく、他の構成要素が説明されたシステムに追加されてもよく、または説明されたシステムから除去されてもよい。したがって、他の態様は特許請求の範囲の範囲内にある。

【0072】

以下の実施の形態、「実施の形態１」～「実施の形態１６」は、本発明の好ましい実施の形態である：

【0073】

【0074】

実施形態１：植物の改善された損傷識別のための植物画像データベースを強化するためのコンピュータ実施方法（１０００）であって、以下を有する：
特定の地理的位置（２）において記録された植物（１１）の実世界画像（９１）を、特定の地理的位置（２）を示す位置データ（ＬＤ１）、実世界画像（９１）が記録された時点（３）を示すタイムスタンプ（ＴＳ１）、を含む画像メタデータとともに受信するステップ（１１００）；
実世界画像（９１）から、特定の植物種の植物に存在する損傷症状に関連する損傷クラスを識別するために訓練された損傷識別モジュール（１１０）によって、実世界画像上の損傷症状に対する損傷クラス（ＤＣ１）を含む出力を生成するステップ（１２００）；
植物画像データベース（２３０）内の選択された画像（２３２、２３３、２３４、２３５）と実世界画像の特徴類似性を決定するステップ（１３００）であって、選択された画像はタイムスタンプの前の所定の時間ウインドウ（ＴＷ１）内で、かつ特定の地理的位置の所定の近傍エリア（ＶＡ１、ＶＡ２）内の地理的位置において記録され、選択された画像（２３２、２３３、２３４、２３５）の各々は、植物種識別子、損傷クラス、位置データ、およびタイムスタンプデータでラベル付けされる、ステップ；
最小類似値（１２４）を超える実世界画像との特徴類似性を有する、選択された画像の少なくともサブセット（２３０ｓ）を識別するステップ（１４００）；
ユーザ（９）に対して、生成した損傷クラス（ＤＣ１）およびサブセットの画像（２３０）をそれぞれの損傷クラスおよび植物種識別子とともに提供するステップ（１５００）；
ユーザ（９）から、実世界画像（９１）の確認済の損傷クラス（ＣＤＣ１）を受信するステップ（１６００）；
受信された実世界画像（９１）を、その植物種識別子、その位置データ、そのタイムスタンプ、および確認された損傷クラスとともに記憶することによって、植物画像データベース（２３０）を更新するステップ（１７００）。

【0075】

実施形態２：確認済の損傷クラスは、ユーザの視点から生成された損傷クラスの正しさの程度または可能性に関する、またはそれを示すユーザ検証データを含む、実施形態１に記載の方法。

【0076】

実施形態３：受信された画像メタデータは、実世界画像（９１）上の植物（１１）が属する植物種を特定する植物種識別子（ＰＳ１）をさらに含む、実施形態１に記載の方法。

【0077】

実施形態４：損傷識別モジュール（１１０）は、実世界画像（９１）上の植物（１１）が属する植物種（ＰＳ１）を識別するためにさらに訓練される、実施形態１に記載の方法。

【0078】

実施形態５：更新するステップ（１７００）は、決定された損傷クラス（ＤＣ１）を実世界画像（９１）とともに記憶することをさらに含む、前述の実施形態のいずれかに記載の方法。

【0079】

実施形態６：実施形態５の方法であって、さらに以下を有する：
位置データ、タイムスタンプ、決定された損傷クラス、および記憶された現実世界画像の確認済の損傷クラスを特徴として含む更新された植物画像データベース（２３０）に基づいて、損傷識別モジュール（１１０）を再訓練するステップ（１８００）。

【0080】

実施形態７：実世界画像と選択された画像との間の特徴類似性が、畳み込みニューラルネットワーク（１１０、１１１）を使用して類似性チェッカによって決定され、畳み込みニューラルネットワーク（１１０、１１１）は、実世界画像（９１）および選択された画像から特徴マップを抽出するように訓練され、低距離値が高特徴類似性を示す特徴マップのそれぞれのペアの間の距離を計算する、前述の実施形態のいずれかの方法。

【0081】

実施形態８：訓練された損傷識別モジュールは分類ニューラルネットワークである、前述の実施形態のいずれかに記載の方法。

【0082】

実施形態９：植物における改善された損傷識別のための植物画像データベースを強化するためのコンピュータプログラム製品であって、コンピュータプログラム製品はコンピューティングデバイスのメモリにロードされ、コンピューティングデバイスの少なくとも１つのプロセッサによって実行されるとき、前述の実施形態のいずれか１つによるコンピュータ実装方法のステップを少なくとも１つのプロセッサに実行させる、コンピュータプログラム製品。

【0083】

実施形態１０：植物の改善された損傷識別のための植物画像データベースを強化するためのコンピュータシステム（１００）であって：
特定の地理的位置（２）において記録された、植物（１１）の実世界画像（９１）を、特定の地理的位置（２）を示す位置データ（ＬＤ１）および実世界画像が記録された時点（３）を示すタイムスタンプ（ＴＳ１）とともに受信するように構成されたインターフェースコンポーネント（１９０）；
特定の植物種の植物上に存在する損傷症状に関連する損傷クラスを識別するために訓練され、実世界画像（９１）から、実世界画像上の損傷症状についての損傷クラス（ＤＣ１）を含む出力を生成するように構成された、損傷識別モジュール（１１０）；
植物画像データベース（２３０）内の選択された画像（２３２、２３３、２３４、２３５）と実世界画像の特徴類似度を判定するように構成された類似度チェッカモジュールであって、選択された画像は、前記タイムスタンプの前のあらかじめ定義された時間ウインドウ（ＴＷ１）内および前記特定の地理的位置のあらかじめ定義された近傍エリア（ＶＡ１、ＶＡ２）内の地理的位置において記録されており、前記選択された画像（２３２、２３３、２３４、２３５）の各々に、植物種識別子、損傷クラス、位置データおよびタイムスタンプデータがラベル付けされ、前記類似度チェッカモジュールはさらに、最小類似度値を超える前記実世界画像との特徴類似度を有する前記選択された画像の少なくともサブセット（２３０ｓ）を識別するように構成された、類似度チェッカモジュール；
インターフェース構成要素（１９０）はユーザに対して、生成した損傷クラスおよびサブセット（２３０ｓ）の画像をそれぞれの損傷クラスおよび植物種識別子で提供し、ユーザから、現実世界画像（９１）についての確認済の損傷クラス（ＣＤＣ１）を受信するように構成されており；
データベース更新モジュール（１４０）は、受信した実世界画像（９１）を、その植物種識別子、その位置データ、そのタイムスタンプ、および確認された損傷クラスとともに記憶することをトリガすることによって、植物画像データベース（２３０）を更新するように構成される。

【0084】

実施形態１１：前記受信された画像メタデータは、前記実世界画像（９１）上の前記植物（１１）が属する前記植物種を特定する植物種識別子（ＰＳ１）をさらに含む、実施形態１０に記載のシステム。

【0085】

実施形態１２：損傷識別モジュール（１１０）は、実世界画像（９１）上の植物（１１）が属する植物種（ＰＳ１）を識別するためにさらに訓練される、実施形態１０に記載のシステム。

【0086】

実施形態１３：植物画像データベースの更新は、決定された損傷クラス（ＤＣ１）を実世界画像（９１）とともに記憶することをさらに含む、実施形態１０～１２のいずれかに記載のシステム。

【0087】

実施形態１４： 実施形態１３のシステムはさらに以下を備える：
位置データ、タイムスタンプ、決定された損傷クラス、および記憶された現実世界画像の確認済の損傷クラスを特徴として含む更新された植物画像データベース（２３０）に基づいて損傷識別モジュール（１１０）を再トレーニングするように構成されたトレーニングモジュール。

【0088】

実施形態１５：類似性チェッカ（１２０）は、畳み込みニューラルネットワーク（１１０、１１１）を使用して、実世界画像（９１）および選択された画像から特徴マップを抽出するように訓練され、低距離値が高特徴類似性を示す特徴マップのそれぞれのペア間の距離を計算することによって、実世界画像と選択された画像との間の特徴類似性を決定するようにさらに構成される、実施形態１０～１４のいずれかに記載のシステム。

【0089】

実施形態１６：訓練された損傷識別モジュールは分類ニューラルネットワークである、実施形態１０～１５のいずれかに記載の方法。

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【国際調査報告】