(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-27
(45)【発行日】2024-10-07
(54)【発明の名称】植物疾患検出支援のためのシステム及び方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240930BHJP
G06Q 50/02 20240101ALI20240930BHJP
G06N 3/04 20230101ALI20240930BHJP
A01G 7/00 20060101ALI20240930BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 600
G06Q50/02
G06N3/04
A01G7/00 603
【請求項の数】
15
(21)【出願番号】P 2021568252
(86)(22)【出願日】2020-05-14
(65)【公表番号】
(43)【公表日】2022-07-26
(86)【国際出願番号】 EP2020063428
(87)【国際公開番号】W WO2020229585
(87)【国際公開日】2020-11-19
【審査請求日】2023-05-10
(31)【優先権主張番号】19174907.6
(32)【優先日】2019-05-16
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】508020155
【氏名又は名称】ビーエーエスエフ ソシエタス・ヨーロピア
【氏名又は名称原語表記】ＢＡＳＦ ＳＥ
【住所又は居所原語表記】Ｃａｒｌ－Ｂｏｓｃｈ－Ｓｔｒａｓｓｅ ３８， ６７０５６ Ｌｕｄｗｉｇｓｈａｆｅｎ ａｍ Ｒｈｅｉｎ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】ピコン，アーツァイ
(72)【発明者】
【氏名】ナハトマン，マティアス
(72)【発明者】
【氏名】ザイツ，マクシミリアン
(72)【発明者】
【氏名】モーンケ，パトリック
(72)【発明者】
【氏名】ナバーラ－メストレ，ラモン
(72)【発明者】
【氏名】ヨハネス，アレクサンダー
(72)【発明者】
【氏名】エッガース，ティル
(72)【発明者】
【氏名】オルティス バーレド，アマイア マリア
(72)【発明者】
【氏名】アルバレス－ギラ，アイトール
(72)【発明者】
【氏名】エシャザーラ ユゲット，ジョーン
【審査官】鈴木 圭一郎
(56)【参考文献】
【文献】国際公開第２０１８／０７８８６６（ＷＯ，Ａ１）
【文献】国際公開第２０１８／２２１６２５（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１９／０１１４４８１（ＵＳ，Ａ１）
【文献】国際公開第２０１７／１９４２７６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｑ ５０／０２
Ｇ０６Ｎ ３／０４
Ａ０１Ｇ ７／００
(57)【特許請求の範囲】
【請求項1】
複数作物のデータセットで訓練された畳み込みニューラルネットワーク（１２０）を使用して植物疾患を検出するためのコンピュータ実装方法（１０００）であって、訓練された前記データセットは、様々な作物を示す訓練入力画像を含み、
前記訓練入力画像の各々が、１つ以上の関心疾患に関連する１つ以上の疾患症状を有する特定の作物の一部を示し、又は非生物的マークを有する特定の作物の一部を示し、又は特定の作物の健康な部分を示し、
拡張トポロジを有する畳み込みニューラルネットワーク（１２０）は、
植物疾患特異的特徴に従って試験入力画像を分類するための分類畳み込みニューラルネットワークに基づく画像分岐（１２１）と、
植物種情報を追加するための作物識別分岐（１２２）と、
前記植物種情報を各試験入力画像と統合するための分岐統合器と
を含み、
前記植物種情報（２０）が、それぞれの試験入力画像（１０）上の作物を指定し、
前記方法は、
１以上の特定の植物疾患症状を示す特定の作物の画像、及びそれぞれの作物識別子を含む試験入力を受信することと（１１００）、
訓練された畳み込みニューラルネットワーク（１２０）を受信した試験入力に適用することと（１２００）、
前記畳み込みニューラルネットワークの出力ベクトルに従って分類結果を提供することと（１３００）
を含み、
前記分類結果は、１以上の特定の植物疾患症状に関連する１以上の植物疾患を示す、
コンピュータ実装方法。
【請求項2】
前記畳み込みニューラルネットワークの訓練に使用される入力画像の数の略等しい共有は、感染の初期段階、感染の早期段階、感染の中期段階、及び感染の進行段階に属する、請求項１に記載の方法。
【請求項3】
主要葉、主要茎又は主要円錐花序を有する植物主要部分を示す部分を含む新たな入力画像が、前記植物主要部分を囲む領域に切り取られ、前記主要部分は、画素ごとのカテゴリ的なクロスエントロピー損失関数を有するセグメンテーションニューラルネットワークによってセグメンテーションされ、全変動項で補完される、請求項１及び２のいずれか１項に記載の方法。
【請求項4】
前記畳み込みニューラルネットワークのトポロジは、高レベル特徴のセットとして画像表現を学習することができる特徴領域上で成長しながら、空間領域における画像表現の次元数を徐々に減少させるように構成された分類畳み込みニューラルネットワークトポロジによって実装されるバックボーントポロジと、
前記バックボーントポロジに続く、前記高レベル特徴を統合する平均プーリング演算と、平均プーリング出力の次元を作物識別分岐の次元と一致させる再整形演算とを有する画像表現層と、
前記画像表現層に続く、前記画像表現層からの画像記述特徴をそれぞれの画像に存在する植物種の上方と結合させることにより、前記作物識別分岐を介して受信された前記作物識別子を前記画像表現層の出力に集約する連結層と、
前記連結層に続く、シグモイド活性化関数を使用して、画像の高レベル特徴と、疾患予測を有するそれぞれの作物との間の関係をマッピングする高密度層と
を備え、
前記画像表現層における視覚的特徴表現と、それに続く作物－疾患マッピングとは共同で学習される、請求項１～３のいずれか１項に記載の方法。
【請求項5】
前記畳み込みニューラルネットワークのトポロジは、高レベル特徴のセットとして画像表現を学習することができる特徴領域上で成長しながら、空間領域における画像表現の次元数を徐々に減少させるように構成された分類畳み込みニューラルネットワークトポロジによって実装されるバックボーントポロジと、
前記バックボーントポロジに続く、前記高レベル特徴を統合する平均プーリング演算と、平均プーリング出力の次元を前記作物識別分岐の次元と一致させる再整形演算とを有する画像表現層と、
作物識別子入力に直接接続された高密度層を有し、前記高密度層のニューロンの数が前記画像表現層における特徴の数に対応し、シグモイド活性化関数を使用して、結果として得られる出力を［０、１］の範囲にマッピングする前記作物識別分岐と、
前記画像表現層及び前記高密度層に続く、前記シグモイド活性化関数の出力を前記画像表現層と要素毎の乗算によって統合する乗算層と、
前記乗算層に続く、画像の高レベル特徴と疾患予測を有するそれぞれの作物との間の関係をマッピングするための別の高密度層と
を備え、
前記画像表現層における視覚的特徴表現と、それに続く作物－疾患マッピングとが、共同で学習される、請求項１～３のいずれか１項に記載の方法。
【請求項6】
前記畳み込みニューラルネットワークトポロジが高レベル特徴のセットとして画像表現を学習することができる特徴領域上で成長しながら、空間領域における画像表現の次元数を徐々に減少させるように構成された分類畳み込みニューラルネットワークトポロジによって実装されるバックボーントポロジと、前記バックボーントポロジに続く、前記高レベル特徴を統合する平均プーリング演算と、平均プーリング出力の次元を作物識別分岐の次元と一致させる再整形演算とを有する画像表現層と、
前記画像表現層に続く、第１のシグモイド活性化関数を使用して、画像高レベル特徴を疾患予測にマッピングする第１の高密度層と、
前記作物識別子に直接接続された作物識別分岐内の第２の高密度層であって、完全に接続された高密度層のニューロンの数が、前記画像表現層における特徴の数に対応し、第２のシグモイド活性化関数を使用して、結果として得られる出力を［０、１］の範囲にマッピングする第２の高密度層と、
前記第１及び第２の高密度層に続いて、前記第１の高密度層によって予測されるが、前記作物識別子によって表される植物種上には存在しない疾患の活性化を、前記活性化の要素毎の乗算を行うことによって抑制する乗算層と
を備え、
前記画像表現層における視覚的特徴表現と、それに続く作物－疾患マッピングとは共同で学習される、請求項１～３のいずれか１項に記載の方法。
【請求項7】
前記作物識別分岐が、前記作物識別子（２０）と共にさらなる外部データ（２１）を追加するように更に構成され、前記さらなる外部データは、それぞれの作物固有入力画像に関連付けられた特定の環境条件を指定する、請求項４～６のいずれか１項に記載の方法。
【請求項8】
前記バックボーントポロジは、事後ファインチューニングに適したデータセットを用いて、作物疾患の同定のために予め訓練されている、請求項４～７のいずれか１項に記載の方法。
【請求項9】
コンピュータデバイスのメモリにロードされ、前記コンピュータデバイスの少なくとも１つのプロセッサによって実行されるとき、請求項１～８のいずれか１つに記載の前記コンピュータ実装方法の方法ステップを実行する命令を含むコンピュータプログラム。
【請求項10】
植物疾患を検出するためのコンピュータシステム（１００）であって、複数作物データセットで訓練された畳み込みニューラルネットワーク（１２０）を記憶するデータ記憶構成要素であって、その訓練データセットが様々な作物を示す訓練入力画像を備え、その訓練入力画像の各々は、１つ以上の関心疾患に関連する１つ以上の疾患症状を有する特定の作物の一部（１１）を示し、又は特定の作物の一部を非生物的マークで示し、又は特定の作物の健康な部分を示し、前記畳み込みニューラルネットワーク（１２０）は、植物疾患固有の特徴に従って試験入力画像を分類するための分類畳み込みニューラルネットワークに基づく画像分岐（１２１）と、植物種情報を追加するための作物識別分岐（１２２）と、前記植物種情報を各試験入力画像と統合するための分岐統合器とを含む拡張トポロジを含み、植物種情報（２０）はそれぞれの試験入力画像（１０）上の作物を指定する、データ記憶構成要素と、
１つ又は複数の特定の植物疾患症状を示す特定の作物（１）の画像（１０）を含む試験入力を受け取り、前記試験入力に関連するそれぞれの作物識別子（２０）を受け取るように構成されるインタフェース（１１０）と、
訓練された畳み込みニューラルネットワーク（１２０）を受信された試験入力に適用し、畳み込みニューラルネットワーク（１２０）の出力ベクトルに従って分類結果（ＣＲ１）を提供するように構成された分類器モジュール（１３０）と
を含み、
前記分類結果（ＣＲ１）は１つ又は複数の特定の植物疾患症状に関連する１つ又は複数の植物疾患を示す、システム。
【請求項11】
前記作物の主要葉を含む新しい入力画像を、前記主要葉を取り囲む領域に切り取るように構成された画像切り取りモジュールをさらに含み、前記主要葉は、画素ごとのカテゴリ的クロスエントロピー損失関数が全変動項で補完されたセグメンテーションニューラルネットワークによってセグメンテーションされる、請求項１０に記載のシステム。
【請求項12】
前記畳み込みニューラルネットワークトポロジは、高レベル特徴のセットとして画像表現を学習するために特徴領域上で成長しながら、空間領域における画像表現の次元を徐々に減少させるように構成された分類畳み込みニューラルネットワークトポロジによって実装されるバックボーントポロジ（１２１－１）と、
前記バックボーントポロジ（１２１－１）に続く、前記高レベル特徴を統合する平均プーリング演算（１２１－２）と、平均プーリング出力の次元を作物識別分岐（１２２－１）の次元と一致させる再整形演算（１２１－３）とを有する画像表現層と、
前記画像表現層に続く、前記画像表現層からの画像記述特徴をそれぞれの画像上に存在する植物種の情報と組み合わせることによって、前記作物識別分岐（１２２－１）を介して受信された作物識別子（２０）を前記画像表現層の出力に集約する連結層（１２３－１）と、
前記連結層に続いて、シグモイド活性化関数（１２３－３）を使用して、画像高レベル特徴と、疾患予測を有するそれぞれの作物との間の関係をマッピングする高密度層（１２３－２）と
を含み、
前記画像表現層における視覚的特徴表現と、それに続く作物－疾患マッピングとは共同で学習される、請求項１０又は１１に記載のシステム。
【請求項13】
前記畳み込みニューラルネットワークトポロジが、高レベル特徴のセットとして画像表現を学習するために特徴領域上で成長しながら、空間領域における画像表現の次元を徐々に減少させて、画像表現を高レベル特徴のセットとして学習するように構成された分類畳み込みニューラルネットワークトポロジによって実装されるバックボーントポロジ（２２１－１）と、
前記バックボーントポロジに続く、前記高レベル特徴を統合する平均プーリング演算（２２１－２）と、平均プーリング出力の次元を前記作物識別分岐の次元と一致させる再整形演算（２２１－３）とを有する画像表現層と、
作物識別子（２０）に直接接続された高密度層（２２２－１）を有する策持ち識別分岐であって、前記高密度層のニューロンの数が前記画像表現層における特徴の数に対応し、シグモイド活性化関数（２２２－２）を使用して、結果として得られる出力を［０、１］の範囲にマッピングする作物識別分岐と、
画像表現層及び前記高密度層に続く、前記シグモイド活性化関数（２２２－２）の出力を前記画像表現層と要素毎の乗算によって統合する乗算層（２２３－１）と、
前記乗算層に続く、画像の高レベル特徴と疾患予測を有するそれぞれの作物との間の関係をマッピングするためのさらなる高密度層（２２３－２）と
を備え、
前記画像表現層における視覚的特徴表現と、それに続く作物－疾患マッピングとが、共同で学習される、請求項１０又は１１に記載のシステム。
【請求項14】
前記畳み込みニューラルネットワークトポロジは、高レベル特徴のセットとして画像表現を学習するために特徴領域上で成長しながら、空間領域における画像表現の次元を徐々に減少させるように構成された分類畳み込みニューラルネットワークトポロジによって実装されるバックボーントポロジ（３２１－１）と、
前記バックボーントポロジに続く、前記高レベル特徴を統合する平均プーリング演算（３２１－１）と、平均プーリング出力の次元を作物識別分岐の次元と一致させる再整形演算（３２１－３）とを有する画像表現層と、
前記画像表現層に続く、第１のシグモイド活性化関数（３２１－５）を使用して画像の高レベル特徴を疾患予測にマッピングする第１の高密度層（３２１－４）と、
作物識別子（２０）に直接接続された作物識別分岐内の第２の高密度層（３２２－１）であって、完全に接続された高密度層のニューロンの数が画像表現層における特徴の数に対応し、第２のシグモイド活性化関数（３２２－２）を使用して、結果として得られる出力を［０、１］の範囲にマッピングする第２の高密度層（３２２－１）と、
シグモイド活性化関数を有する第１及び第２の高密度層（３２１－４、３２２－１）に続いて、活性化の要素毎の乗算を行うことによって、前記第１の高密度層（３２１－４）によって予測されるが、前記作物識別子（２０）によって表される植物種上には存在しない疾患の活性化を抑制する乗算層（３２３－１）と
を備え、
前記画像表現層における視覚的特徴表現と、それに続く作物－疾患マッピングとは共同で学習され、請求項１０又は１１に記載のシステム。
【請求項15】
前記バックボーントポロジがＲＥＳＮＥＴトポロジに基づく、請求項１２～１４のいずれか１項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は一般に、植物疾患の検出を支援するための電子データ処理に関し、より詳細には、植物疾患の検出を支援するための画像処理方法、コンピュータプログラム製品、及びシステムに関する。
【背景技術】
【0002】
過去数年にわたり、ＲＧＢ画像に基づく植物疾患分類法に関する広範な研究が行われてきた。９０年代後半以降、古典的なコンピュータビジョンアプローチは、自動化された植物識別に対処するために広く使用されてきた。多くの著者によって議論されてきた古典的なコンピュータビジョン方法論の主な障害は、それらが限られた表現力を示すことである。この障害は、そのような方法論が一般化されることを妨げ、多数の訓練画像を利用することを妨げる。さらに、それらは、わずかな知覚差を有する疾患を識別することができない。このため、古典的アルゴリズムの実フィールド展開は常に困難であり、これらの限界を回避するために画像照明正規化技術が必要であった。
【0003】
深層畳み込みニューラルネットワーク（ＣＮＮ）の出現は、記述的階層的特徴抽出器及び分類器の両方として作用するモデルの定義を可能にする柔軟なフレームワークを提供した。ＣＮＮアーキテクチャは、農業分野における植物のための画像ベースの植物疾患識別タスクを含む、任意の所与のタスク及びデータ利用可能性によって必要とされる表現力に適合するように、複雑さを拡張し、適合させることができる。Sladojevicら(Deep neural networks based recognition of plant diseases by leaf image classification; Computational Intelligence and Neuroscience 2016）によって実施された研究は、AlexNet風のアーキテクチャを適用して、インターネットオンライン検索によって得られた画像データセットから１３の異なる疾患をモデル化した。PlantVillageイニシアティブ（Hughes、D.,Salathe,M.,et al,2015An open access repository of images on plant health to development of mobile disease diagnosticsarXivpreprint arXiv:1511.08060）を用いた、公に利用可能なデータの生成に多大な努力がなされた。それらの生成されたデータセットは、１４の異なる作物（リンゴ、ブルーベリー、トウモロコシ、ブドウなど）の健康な葉及び感染した葉の５００００を超える専門的に精選された画像、及びそれらのプロモーターが疾患同定分類器を開発することを可能にする、合計で２６の異なる疾患を含む（Mohanty,S.P.,Hughes,D.P.,Salathe,M.,2016.Using deep learning for image based plant disease detection. Frontiers in Plant Science 7)。
【0004】
著者らは、保留試験セットにおいて、彼らのモデルについて９９．３５％の精度を報告した。しかしながら、アルゴリズムが訓練データベースのものとは異なる条件下で試験された場合、精度は３１．４％まで低下した。
【0005】
１つのタイプの疾患のみが各画像に存在し、画像が制御された条件下で撮影されるという事実は、制御されていない照明条件での早期の疾患検出が正しい配備のために不可欠である実際のデジタル農業用途としての使用を妨げる２つの主要な制限を構成する。このデータセットに関して、いくつかの研究が実施されている：例えば、Brahimiら（2018. Deep learning for plant diseases: Detection and saliency map visualisation, in: Human and Machine Learning. Springer, pp. 93-117）は最新の結果を得るネットワークの挙動を理解するために、画像顕著性マップとネットワーク活性化の間の対応を分析した。一方、Tanら（2018. Deep learning for plant species classification using leaf vein morphometric. IEEE/ACM transactions on computational biology and bioinformatics）は、トマトに特異的な詳細な分析のためにPlantVillageデータセットを制限した。深層学習ネットワークは、最近、他の作物、例えば米(Alfarisy et al、2018 Proceedings of Mathematics and Artificial Intelligence、ACM.pp. 21-25)、ブドウ(Cruz,AC.,El-Kereamy,A., Ampatzidis, Y., 2018. Vision-based grapevine pierces disease detection system using artificial intelligence, in: 2018 ASABE Annual International Meeting, American Society of Agricultural and Biological Engeneers. p.1),小麦（Picon et al., 2018. Deep convolutional neural networks for mobile capture device-based crop disease classification in the wild. Computers and Electronics in Agriculture）、又はバナナ（Amara, J., Bouaziz, B., Algergawy, A., et al., 2017. A deep learning-based approach for banana leaf diseases classification., in: BTW (Workshops), pp. 79-88）にも適用されている。
【0006】
Ferentinos, K. P.の最近の研究（2018. Deep learning models for plant disease detection and diagnosis. Computers and Electronics in Agriculture 145, 311-318）は、５つの周知なＣＮＮアーキテクチャを使用することにより、８００００を超える画像のデータセットを使用した、試験データセットに対して９９％を超える精度で、２５の異なる作物の５８の別々の種類の識別に成功した。
【0007】
現在の進歩に加えて、疾患分類問題は、解決されるには程遠い。Barbedo（J.G.A., 2016. A review on the main challenges in automatic plant disease identification based on visible range images. Biosystems engineering 144, 52-60)）の広範な研究は、その現在の課題を詳細に分析している。これらの課題には以下が含まれる。
・植物上に複数の同時障害が存在すること
・同様の視覚症状を呈する異なる疾患の存在
・特定の疾患に対する症状のばらつきが大きい
・データセットの取得、注釈、品質に関する複雑さ
・植物上に複数の同時障害が存在すること
・同様の視覚症状を呈する異なる疾患の存在
・特定の疾患に対する症状のばらつきが大きい
・データセットの取得、注釈、品質に関する複雑さ
【0008】
前述した手法は、中後期の症状に焦点が当てられており、同様の症状を伴う障害に対処せず、同じ植物上での同時疾患検出をサポートせず、単なる画像を超えた利用可能な作物関連情報を考慮していないため、これらの課題を完全には対処していない。また、Lu、Jら（2017 An in-field automatic wheat disease diagnosis system. Computers and Electronics in Agriculture 142, 369-379）、又はPicon ら（2018.Deep convolutional neural networks for mobile capture device-based crop disease classification and Electronics in Agriculture）は、上記の問題を解決するものではない。Luらは、ニューラルネットワーク受容野を統合して初期疾患活性化マップに焦点を当てるため、完全畳み込みネットワーク上のＭＩＬ(Multiple Instance Learning)ベースのアプローチを提案している。Piconらは同じ植物上の複数の疾患の検出を可能にしながら、早期疾患に焦点を当てる領域ベースの方法を提案している。
【発明の概要】
【0009】
したがって、従来技術の独立した単一作物対応モデルから得られるものよりも豊富でより強固な共有視覚特徴を得ることを可能にし、異なる作物からの類似の症状を伴う異なる障害の存在に苦慮することなく、作物に関連するが作物画像には含まれない文脈メタデータをさらに考慮に入れて、作物条件付き疾患分類を実行することができる、植物疾患検出のための改善された画像分析機能を有するシステム及び方法を提供する必要がある。
【0010】
本出願に関連して使用される用語「植物疾患」は、植物に有害である植物の正常な生理学的機能からの任意の逸脱であり、これには、以下に列挙されるものにより生じる植物疾患（すなわち、植物の正常な生理学的機能からの逸脱）が含まれるが、これに限定されるものではない。
ａ）菌類（「菌類植物病」）、
ｂ）細菌（「細菌性植物病」）
ｃ）ウイルス（「ウイルス性植物病」）、
ｄ）虫食害、
ｅ）植物の栄養不足、
ｆ）熱ストレス、例えば３０℃より高い温度条件、
ｇ）低温ストレス、例えば１０℃未満の温度条件、
ｈ）干ばつストレス、
ｉ）過剰な太陽光への暴露（例えば、日光への暴露は、焼け焦げ、日焼け、又は照射の類似の徴候の徴候を引き起こす）
ｊ）ｐＨ５より低いｐＨ値及び／又はｐＨ９より高いｐＨ値を有する土壌中の酸性又はアルカリ性のｐＨ条件
ｋ）塩分ストレス、例えば土壌塩分、
ｌ）化学物質、例えば重金属、及び／又は
ｍ）肥料又は作物保護の有害作用、例えば除草剤傷害
ｎ）破壊的な気象条件（例えば、霰、霜、有害な風）
ａ）菌類（「菌類植物病」）、
ｂ）細菌（「細菌性植物病」）
ｃ）ウイルス（「ウイルス性植物病」）、
ｄ）虫食害、
ｅ）植物の栄養不足、
ｆ）熱ストレス、例えば３０℃より高い温度条件、
ｇ）低温ストレス、例えば１０℃未満の温度条件、
ｈ）干ばつストレス、
ｉ）過剰な太陽光への暴露（例えば、日光への暴露は、焼け焦げ、日焼け、又は照射の類似の徴候の徴候を引き起こす）
ｊ）ｐＨ５より低いｐＨ値及び／又はｐＨ９より高いｐＨ値を有する土壌中の酸性又はアルカリ性のｐＨ条件
ｋ）塩分ストレス、例えば土壌塩分、
ｌ）化学物質、例えば重金属、及び／又は
ｍ）肥料又は作物保護の有害作用、例えば除草剤傷害
ｎ）破壊的な気象条件（例えば、霰、霜、有害な風）
【0011】
菌類によって引き起こされる植物病は「菌類植物病」と称され、細菌によって引き起こされる植物病は「細菌性植物病」と称され、ウイルスによって引き起こされる植物病は「ウイルス性植物病」と称される。好ましくは、植物疾患は真菌、細菌、又はウイルスの植物疾患である。より好ましくは、植物病は真菌植物病である。
【0012】
一例として、真菌性植物病は、以下の1以上の作用剤に割り当てられるか、または以下の作用剤によって生じ得る。
・土壌媒介真菌を含む植物病原性真菌類、特にネコブカビ類（Plasmodiophoromycetes）、共生菌卵菌類（Peronosporomycetes（同義語：.Oomycetes））、ツボカビ網（Chytridiomycetes）、接合菌類（Zygomycetes）、子のう菌類（Ascomycetes）、担子菌類（Basidiomycetes）、及び重水素菌類（共生菌真菌不完全菌類）のクラスに属する真菌類
・土壌媒介真菌を含む植物病原性真菌類、特にネコブカビ類（Plasmodiophoromycetes）、共生菌卵菌類（Peronosporomycetes（同義語：.Oomycetes））、ツボカビ網（Chytridiomycetes）、接合菌類（Zygomycetes）、子のう菌類（Ascomycetes）、担子菌類（Basidiomycetes）、及び重水素菌類（共生菌真菌不完全菌類）のクラスに属する真菌類
【0013】
真菌植物の疾患を引き起こす原因菌の包括的なリストは以下の通りである。
・観賞用植物、野菜（例えば、A.カンジダ）及びヒマワリ（例えば、A.tragopogonis）のアルブゴ属（白錆）
・野菜（例えば、A.dauci又はA.porri）、アブラナ（A.brassicicola又はbrassicae）、サトウキビ（例えば、A.tenuis）、果物（例えばA.grandis）、米、大豆、ジャガイモ及びトマト（例えば、A.solani、A.grandis又はA.alternata）、トマト（例えば、A.solani、又はA.alternata）及び小麦（例えば、A.triticina）のアルテルナリア種（Alternaria leaf spot）
・サトウキビや野菜のアファノミセス属（Aphanomyces spp.）
・穀物や野菜のアスコキタ属（Ascochyta Spp）、例えば小麦のA.tritici（anthracnose）や大麦のA.hordei、
・トウモロコシの眼状斑点病（Aureobasidium zeae(同義語：Kapatiella zeae)）
・ビポラシス及びドレクスレラ属（Bipolaris and Drechslera spp. (teleomorph: Cochliobolus spp.)、例えばトウモロコシのサザンリーフブライト (D. maydis) 又はノーザンリーフブライト (B. zeicola)、 例えば穀物の斑点病 (B. sorokiniana) 、例えば穀物や芝のB. oryzae
・穀類（例えば、小麦又は大麦）のブルメリア（以前はエリシフェ））グラミニス(うどん粉病)
・果物及びベリー類（例えば、イチゴ）、野菜（例えば、レタス、ニンジン、セロリー及びキャベツ)の灰色かび病(Botrytis Cinerea（teleomorph: Botryotinia fuckeliana:grey mold)）
・タマネギ類、アブラナ、観賞植物（B eliptica）、ブドウ、森の植物、及び小麦のネギ小菌核腐敗病（B. squamosa）又は灰色腐敗病（B allii）
・レタスのべと病（Bremia lactucae(downy mildew)）
・広葉樹及び常緑樹のCeratocystis(同義語Ophiostoma)属 (腐敗、又は萎れ)、例えばニレのC.ulmi(Dutch elm Disease)
・トウモロコシ（例えばgray-leaf spot、 C zeae-maydis）、米、サトウキビ（例えばC. beticola）、テンサイ、野菜、コーヒー、大豆（例えば、C.sojina又はCkikuchii）及び米のセルコスポラ属(セルコスポラ葉の斑点)
・キノコのクラドボトリウム属（同義語： Dactylium）（例えば、C. mycophilum、 以前はDactylium dendroides、teleomorph：Nectria alvertinii、Nectria rosella、 同義語： Hypomyces rosellus）
・トマト（例えば、C．fulvum: leaf mold)と、穀物（例えば小麦のC.herbarum (black ear)）のクラドボトリウム属（Cladosporium spp.）
・穀類の麦角菌（ergot）
・トウモロコシ（C.carbonum）、穀類（例えば、C.sativus、anarmorph：B.sorokinia）及び米（例えば、C.miyabeanus、アナモルフ: H.oryzae）のコクリオボルス（アナモルフ:Helminthosporium of Bipolaris）属（葉の斑点）
・綿（例えば、C.gossypii）、トウモロコシ（例えば、C.graminicola: anthracnose stalk rot)、、やわらかい果物、ジャガイモ（例えばC.coccodes: Black dot)、豆（例えばC.lindemuthianum）、大豆（例えばC.truncatum 又は C.gloeosporioides）、野菜（例えばC.lagenarium 又は C.capsici）、果物（例えばC.Acutatum）、コーヒー（C.coffeanum 又は C.kahawae）のコレトトリカム（teleomorph:Glomerella）属（anthracnose）、及び様々な作物のC.gloeosporioides
・例えば米のSasakii（sheath blight）等のコルティシウム属
・大豆、綿及び観賞用品のCorynespora Casslicola(葉の斑点)
・オリーブの木のC.oleaginum等のシクロコニウム属
・果物の木、ブドウ（例えばC.liriodendri、 teleomorph: Neonectria liriodendri:Black foot desease）及び鑑賞植物のシリンドロカルボン属（例えば果物の木の潰瘍、又は若いブドウの衰退、テレモルフ：ネクトリア又はネコネクトリア属）
・大豆のDematophora(teleomorph:Rosellinia) necatrix(根や茎の腐敗)
・大豆のDiaporthe 属、例えばD.phaseolorum（立ち枯れ）
・トウモロコシ、大麦（例えばD.teres、 net blotch）や小麦(例えばD.tritici-repentis: 黄斑病)等の穀類、米及び芝生のドレクスレラ(同義語：Helminthosporium、teleomorph：Pyrenophora)、
・Formitiporia(同義語：Phellinus)puncta、F.mediterranea、 Phaeomoniella Chlamydospora(以前はPhaeoacremonium chlamydosporum)、 Phaeoacremonium aleophilum 及び／又はBotryosphaeria obtusaに起因するブドウのEsca(dieback、apoplexy）
・仁果類（E.pyri）、柔らかい果物（E.veneta: Anthracnose)、及びブドウ（Eampelina: Anthracnose)のエルシノエ属
・米のEntyloma oryzae（葉のシミ）
・小麦のEpicoccum属(黒いカビ)
・テンサイ（E.betae）、ウリ科植物（例えばE.cichoracearum）・キャベツ（E.cichoracearum）・アブラナ(例えばE.cruciferarum)等の野菜（例えばE.Pisi）のエリシフェ属(うどん粉病)
・果物の木、ブドウ、観賞植物の木のEutypa lata (Eutypa canker 又は dieback、アナモルフ: Cytosporina lata、同義語：Libertella blepharis)
トウモロコシ（例えばEturcicum）のExserohilum(同義語：Helminthosporium）
・様々な植物のFusarium(teleomorph: Gibberella)種（萎み、根又は茎の腐敗)、例えば穀類（例えば小麦や大麦）のF.graminearum又はF.culmorum(根の腐敗、腐敗病又は胴枯れ病)、トマトのF.oxysporum、大豆の突然死症候群を引き起こすF.solani(f.sp.glycines now 同義語： F. virguliforme)及びF.tucumaniae及びF. brasilience、トウモロコシのF.verticillioides、穀類(例えば、小麦又は大麦）及びトウモロコシのGaeumannomyces graminis(take-all)、
・穀類（例えばG.zeae）及び米（例えばG.fujikuroi：Bakanae desease）のジベレラ属
・ブドウ、仁果類、及び他の植物のGlomerella cingulata、及び綿のG.gossypii
・米のGrainstaining complex
・ブドウのGuignardia bidwellii(黒腐病）
・バラ科の植物及び杜松のGymnosporangium類、例えばナシのG.sabinae（錆び）等
・トウモロコシ、穀類、ジャガイモ及び米のヘルミントスポリウム属（同義語：Drechslera、teleomorph：Cochliobolus）
・Hemileia類、例えばコーヒーのH.vastatrix(コーヒー葉の錆び）
・ブドウのIsariopsis clavispora(同義語： Cladosporium vitis)
・大豆及び綿のMacrophomina Phaseolina(同義語： Phaseoli)(根及び茎の腐敗)
・小麦や大麦等の穀類のMicrodochium(同義語：Fusarium)nivale(pink snow mold))
・大豆のMicrosphaera diffusa(うどん粉病)
・核果、及び他のバラ科の植物のMonilinia類、例えばM.laxa、M.fructicola及びM fructigena(同義語： Monilia spp.:bloom and twig blight、 brown rot)
・穀類、バナナ、柔らかい果物、落花生のMycosphaerella、例えば小麦のM.graminicola(アナモルフ:Zymoseptoria tritici、 以前はSeptoria tritici: Septoria Blotch)、又はバナナのM.fijiensis(同義語： Pseudocercospora fijiensis: black sigatoka desease)及びM musicola、落花生のM.arachidicola(同義語： M. arachidis 又はCercospora arachidis)及びM. berkeleyi、エンドウのM.pisi、及びアブラナ属のM.brassiciola
・キャベツ（例えばP.brassicae）、アブラナ（例えばP.parasitica）、タマネギ（例えばP.destructor）、タバコ（P.tabacina）、大豆（P.manshurica）のPeronospora属(べと病)
・大豆のPhakopsora pachyrhizi及びP.meibomiae(大豆錆び）
・ブドウ（例えばP.tracheiphila及びP.tetraspora）及び大豆（例えばP.gregata:茎の腐敗）のPhialophora属
・アブラナ及びキャベツのPhoma lingam(同義語：Leptosphaeria biglobosa及びL.maculans: 根と茎の腐敗)、テンサイのP.batae(根腐れ、葉の斑点、及び立ち枯れ)、及びトウモロコシのP.zeae-maydis(同義語：Phyllostica zeae)
・ヒマワリ、ブドウ（例えばP.viticola: can and leaf spot）、及び大豆（例えば茎の腐敗:
P. phaseoli、 teleomorph: Diaporthe phaseolorum）のPhomopsis属
・トウモロコシのPhysoderma maydis(褐色斑点）
・様々な植物のPhytophthora属（萎み、根、葉、果実、茎の腐敗）、例えばパプリカ及びウリ科の植物（例えばP.capsici）、大豆（例えばP.megasperma、同義語：sojae）、ジャガイモ及びトマト（例えばP.infestans: late blight)、広葉樹（例えばP.ramorum：sudden oak death）
・キャベツ、アブラナ、ダイコン及び他の植物上のPlasmopara brassicae（club root）
・Plasmopara属、例えばブドウのP.viticola（ぶどうのべと病）、ヒマワリのP.halstedii
・バラ科の植物、ホップ、核果実又は柔らかい果実（例えばリンゴのP.pleucotricha）及びウリ科植物（P,xanthii）のPodosphaera属（うどん粉病）
・例えば大麦や小麦などの穀類及びテンサイ（P.batae）のPolymyxa類であって、ウィルス伝染性の病気となるもの
・例えば小麦や大麦などの穀物のPseudocercosporella herpotrichoides(同義語：Oculimacula yallundae、O.acuformis:eyespot、 teleomorph:Tapesia yallundae)
・ウリ科植物のP.cubensis、又はホップのP. humiliなどの様々な植物のPseudoperonospora(べと病)
・ブドウのPseudopezicula tracheiphila(red fire Disease 又は.rotbrenner、アナモルフ: Phialophora)
・様々な植物のPuccinia属（錆び）、例えば小麦、大麦、ライ麦などの穀類のP.triticina、P.striiformis(ストライプ又は黄色の錆び）、P.hordei（矮性錆び）、P.graminis(茎又は黒色の錆び）又はP.recondita(褐色錆び又は葉の錆び）、サトウキビのP.kuehnii（オレンジの錆び）、アスパラガスのP.brassicae
・アブラナのP.brassicaeなどのPyrenopeziza属
・小麦のPyrenophora(アナモルフ: Drechslera)tritici-repentis（黄斑病）、又は大麦のP.teres(網班病)
・Pyricularia属、例えば米のP.oryzae(テレモルフ:Magnaporthe gresia:rise blast)、及び芝生及び穀類のP.grisea
・芝生、米、小麦、綿、アブラナ、ヒマワリ、テンサイ、野菜、及びその他の植物のPythium 属(立ち枯れ)、例えばP.ultimum又はP.aphanidermatum）、及びキノコのP.oligandrum
・Ramularia属、例えば大麦のR.collo-cygni（ラムラリアの葉の斑点、生理的葉の斑点）、綿のR. areola（teleomorph:Mycosphaerella areola）、テンサイのR. beticola、綿、米、ジャガイモ、芝生、トウモロコシ、アブラナ、ジャガイモ、テンサイ、野菜及び様々な他の植物のRhizoctonia属、大豆のR.solani(根及び茎の腐敗)、米のR.solani(sheath blight)、
又は小麦や大麦のR.solani(Rhizoctonia spring blight)
・イチゴ、ニンジン、キャベツ、ブドウの木、トマトのRhizopus stolonifer（黒カビ、軟腐病）
・大麦、ライ麦、ライ小麦のRhynchosporiumsecalisとR.commune（蒸れ腐れ）
・米のSarocladium oryzaeとS.attenuatum（鞘腐れ）
・野菜（S.minorおよびS.sclerotiorum）及び畑作物（例えばアブラナ、ヒマワリ（S. sclerotiorumなど）、大豆）のSclerotinia属（根腐れ、又は白カビ）、大豆、落花生、野菜、トウモロコシ、穀類、鑑賞用植物のS.rolfsii（同義語：Atheliarolfsii）
・様々な植物のSeptoria属、例えば大豆のS.glycines（茶色の斑点）、小麦のS. tritici（同義語：Zymoseptoria tritici、Septoria blotch）、及び穀類のS.（同義語：Stagonospora）nodorum（Stagonospora blotch）
・ブドウのUncinula (同義語： Erysiphe) necator (うどん粉病、 アナモルフ: Oidium tuckeri)
・トウモロコシ（例えばS.turcicum、同義語： Helminthosporium turcicum）及び芝Setosphaeria属（葉枯れ）
・トウモロコシ（例えばS.reiliana、同義語： Ustilago reiliana：head smut）、モロコシ及びサトウキビのSphacelotheca属（黒穂菌）
・ウリ科植物のSphaerothecafuliginea（同義語：Podosphaera xanthii：うどんこ病）
・ジャガイモのSpongosporasubterranea（粉状かさぶた）及びそれによる伝染性ウイルス性疾患
・穀物のStagonospora属、例えば小麦のS.nodorum（Stagonospora blotch、テレオモルフ：Leptosphaeria（同義語：Phaeosphaeria） nodorum、同義語： Septoria nodorum）
・ジャガイモのSynchytrium endobioticum(potato wart disease)
・Taphrina属、例えば桃のT. deformans(leaf curl disease)、プラムのT.pruni(plum pocket)
・タバコ、仁果類、野菜、大豆、綿のThielaviopsis属（black root rot）、例えばT.basicola(同義語：Chalara elegans)
穀物のTilletia属 （common bunt or stinking smut）、例えば小麦のT. tritici（同義語：T.caries, wheat bunt）およびT. controversa（dwarf bunt）
・キノコのTrichoderma harzianum
・大麦又は小麦のTyphula incarnata (grey snow mold)
・Urocystis類、例えばライ麦のU. occulta (stem smut)
・豆類（例えばU.appendiculatus、同義語U.phaseoli）、テンサイ（例えばU.betaeまたはU.beticola）および豆類（例：U.vignae、U.pisi、U .viciae-fabaeおよびU.fabae）などの野菜のUromyces属 （さび）
・穀物（例えばU.nudaおよびU. avaenae）、トウモロコシ（例えばU.maydis：トウモロコシ黒穂病）およびサトウキビのUstilago属 （loose smut）
・リンゴ（V.inaequalis）、ナシのベンチュリア属（scab）、
・果実、観賞植物、ブドウ、やわらかい果物、野菜、農作物等の様々な作物のバーティシリウム属（例えばイチゴ、オイルシードレイプ、ジャガイモ、トマトのV.dahliae、キノコのV.fungicola）
・穀類のZymoseptoria tritici
・観賞用植物、野菜（例えば、A.カンジダ）及びヒマワリ（例えば、A.tragopogonis）のアルブゴ属（白錆）
・野菜（例えば、A.dauci又はA.porri）、アブラナ（A.brassicicola又はbrassicae）、サトウキビ（例えば、A.tenuis）、果物（例えばA.grandis）、米、大豆、ジャガイモ及びトマト（例えば、A.solani、A.grandis又はA.alternata）、トマト（例えば、A.solani、又はA.alternata）及び小麦（例えば、A.triticina）のアルテルナリア種（Alternaria leaf spot）
・サトウキビや野菜のアファノミセス属（Aphanomyces spp.）
・穀物や野菜のアスコキタ属（Ascochyta Spp）、例えば小麦のA.tritici（anthracnose）や大麦のA.hordei、
・トウモロコシの眼状斑点病（Aureobasidium zeae(同義語：Kapatiella zeae)）
・ビポラシス及びドレクスレラ属（Bipolaris and Drechslera spp. (teleomorph: Cochliobolus spp.)、例えばトウモロコシのサザンリーフブライト (D. maydis) 又はノーザンリーフブライト (B. zeicola)、 例えば穀物の斑点病 (B. sorokiniana) 、例えば穀物や芝のB. oryzae
・穀類（例えば、小麦又は大麦）のブルメリア（以前はエリシフェ））グラミニス(うどん粉病)
・果物及びベリー類（例えば、イチゴ）、野菜（例えば、レタス、ニンジン、セロリー及びキャベツ)の灰色かび病(Botrytis Cinerea（teleomorph: Botryotinia fuckeliana:grey mold)）
・タマネギ類、アブラナ、観賞植物（B eliptica）、ブドウ、森の植物、及び小麦のネギ小菌核腐敗病（B. squamosa）又は灰色腐敗病（B allii）
・レタスのべと病（Bremia lactucae(downy mildew)）
・広葉樹及び常緑樹のCeratocystis(同義語Ophiostoma)属 (腐敗、又は萎れ)、例えばニレのC.ulmi(Dutch elm Disease)
・トウモロコシ（例えばgray-leaf spot、 C zeae-maydis）、米、サトウキビ（例えばC. beticola）、テンサイ、野菜、コーヒー、大豆（例えば、C.sojina又はCkikuchii）及び米のセルコスポラ属(セルコスポラ葉の斑点)
・キノコのクラドボトリウム属（同義語： Dactylium）（例えば、C. mycophilum、 以前はDactylium dendroides、teleomorph：Nectria alvertinii、Nectria rosella、 同義語： Hypomyces rosellus）
・トマト（例えば、C．fulvum: leaf mold)と、穀物（例えば小麦のC.herbarum (black ear)）のクラドボトリウム属（Cladosporium spp.）
・穀類の麦角菌（ergot）
・トウモロコシ（C.carbonum）、穀類（例えば、C.sativus、anarmorph：B.sorokinia）及び米（例えば、C.miyabeanus、アナモルフ: H.oryzae）のコクリオボルス（アナモルフ:Helminthosporium of Bipolaris）属（葉の斑点）
・綿（例えば、C.gossypii）、トウモロコシ（例えば、C.graminicola: anthracnose stalk rot)、、やわらかい果物、ジャガイモ（例えばC.coccodes: Black dot)、豆（例えばC.lindemuthianum）、大豆（例えばC.truncatum 又は C.gloeosporioides）、野菜（例えばC.lagenarium 又は C.capsici）、果物（例えばC.Acutatum）、コーヒー（C.coffeanum 又は C.kahawae）のコレトトリカム（teleomorph:Glomerella）属（anthracnose）、及び様々な作物のC.gloeosporioides
・例えば米のSasakii（sheath blight）等のコルティシウム属
・大豆、綿及び観賞用品のCorynespora Casslicola(葉の斑点)
・オリーブの木のC.oleaginum等のシクロコニウム属
・果物の木、ブドウ（例えばC.liriodendri、 teleomorph: Neonectria liriodendri:Black foot desease）及び鑑賞植物のシリンドロカルボン属（例えば果物の木の潰瘍、又は若いブドウの衰退、テレモルフ：ネクトリア又はネコネクトリア属）
・大豆のDematophora(teleomorph:Rosellinia) necatrix(根や茎の腐敗)
・大豆のDiaporthe 属、例えばD.phaseolorum（立ち枯れ）
・トウモロコシ、大麦（例えばD.teres、 net blotch）や小麦(例えばD.tritici-repentis: 黄斑病)等の穀類、米及び芝生のドレクスレラ(同義語：Helminthosporium、teleomorph：Pyrenophora)、
・Formitiporia(同義語：Phellinus)puncta、F.mediterranea、 Phaeomoniella Chlamydospora(以前はPhaeoacremonium chlamydosporum)、 Phaeoacremonium aleophilum 及び／又はBotryosphaeria obtusaに起因するブドウのEsca(dieback、apoplexy）
・仁果類（E.pyri）、柔らかい果物（E.veneta: Anthracnose)、及びブドウ（Eampelina: Anthracnose)のエルシノエ属
・米のEntyloma oryzae（葉のシミ）
・小麦のEpicoccum属(黒いカビ)
・テンサイ（E.betae）、ウリ科植物（例えばE.cichoracearum）・キャベツ（E.cichoracearum）・アブラナ(例えばE.cruciferarum)等の野菜（例えばE.Pisi）のエリシフェ属(うどん粉病)
・果物の木、ブドウ、観賞植物の木のEutypa lata (Eutypa canker 又は dieback、アナモルフ: Cytosporina lata、同義語：Libertella blepharis)
トウモロコシ（例えばEturcicum）のExserohilum(同義語：Helminthosporium）
・様々な植物のFusarium(teleomorph: Gibberella)種（萎み、根又は茎の腐敗)、例えば穀類（例えば小麦や大麦）のF.graminearum又はF.culmorum(根の腐敗、腐敗病又は胴枯れ病)、トマトのF.oxysporum、大豆の突然死症候群を引き起こすF.solani(f.sp.glycines now 同義語： F. virguliforme)及びF.tucumaniae及びF. brasilience、トウモロコシのF.verticillioides、穀類(例えば、小麦又は大麦）及びトウモロコシのGaeumannomyces graminis(take-all)、
・穀類（例えばG.zeae）及び米（例えばG.fujikuroi：Bakanae desease）のジベレラ属
・ブドウ、仁果類、及び他の植物のGlomerella cingulata、及び綿のG.gossypii
・米のGrainstaining complex
・ブドウのGuignardia bidwellii(黒腐病）
・バラ科の植物及び杜松のGymnosporangium類、例えばナシのG.sabinae（錆び）等
・トウモロコシ、穀類、ジャガイモ及び米のヘルミントスポリウム属（同義語：Drechslera、teleomorph：Cochliobolus）
・Hemileia類、例えばコーヒーのH.vastatrix(コーヒー葉の錆び）
・ブドウのIsariopsis clavispora(同義語： Cladosporium vitis)
・大豆及び綿のMacrophomina Phaseolina(同義語： Phaseoli)(根及び茎の腐敗)
・小麦や大麦等の穀類のMicrodochium(同義語：Fusarium)nivale(pink snow mold))
・大豆のMicrosphaera diffusa(うどん粉病)
・核果、及び他のバラ科の植物のMonilinia類、例えばM.laxa、M.fructicola及びM fructigena(同義語： Monilia spp.:bloom and twig blight、 brown rot)
・穀類、バナナ、柔らかい果物、落花生のMycosphaerella、例えば小麦のM.graminicola(アナモルフ:Zymoseptoria tritici、 以前はSeptoria tritici: Septoria Blotch)、又はバナナのM.fijiensis(同義語： Pseudocercospora fijiensis: black sigatoka desease)及びM musicola、落花生のM.arachidicola(同義語： M. arachidis 又はCercospora arachidis)及びM. berkeleyi、エンドウのM.pisi、及びアブラナ属のM.brassiciola
・キャベツ（例えばP.brassicae）、アブラナ（例えばP.parasitica）、タマネギ（例えばP.destructor）、タバコ（P.tabacina）、大豆（P.manshurica）のPeronospora属(べと病)
・大豆のPhakopsora pachyrhizi及びP.meibomiae(大豆錆び）
・ブドウ（例えばP.tracheiphila及びP.tetraspora）及び大豆（例えばP.gregata:茎の腐敗）のPhialophora属
・アブラナ及びキャベツのPhoma lingam(同義語：Leptosphaeria biglobosa及びL.maculans: 根と茎の腐敗)、テンサイのP.batae(根腐れ、葉の斑点、及び立ち枯れ)、及びトウモロコシのP.zeae-maydis(同義語：Phyllostica zeae)
・ヒマワリ、ブドウ（例えばP.viticola: can and leaf spot）、及び大豆（例えば茎の腐敗:
P. phaseoli、 teleomorph: Diaporthe phaseolorum）のPhomopsis属
・トウモロコシのPhysoderma maydis(褐色斑点）
・様々な植物のPhytophthora属（萎み、根、葉、果実、茎の腐敗）、例えばパプリカ及びウリ科の植物（例えばP.capsici）、大豆（例えばP.megasperma、同義語：sojae）、ジャガイモ及びトマト（例えばP.infestans: late blight)、広葉樹（例えばP.ramorum：sudden oak death）
・キャベツ、アブラナ、ダイコン及び他の植物上のPlasmopara brassicae（club root）
・Plasmopara属、例えばブドウのP.viticola（ぶどうのべと病）、ヒマワリのP.halstedii
・バラ科の植物、ホップ、核果実又は柔らかい果実（例えばリンゴのP.pleucotricha）及びウリ科植物（P,xanthii）のPodosphaera属（うどん粉病）
・例えば大麦や小麦などの穀類及びテンサイ（P.batae）のPolymyxa類であって、ウィルス伝染性の病気となるもの
・例えば小麦や大麦などの穀物のPseudocercosporella herpotrichoides(同義語：Oculimacula yallundae、O.acuformis:eyespot、 teleomorph:Tapesia yallundae)
・ウリ科植物のP.cubensis、又はホップのP. humiliなどの様々な植物のPseudoperonospora(べと病)
・ブドウのPseudopezicula tracheiphila(red fire Disease 又は.rotbrenner、アナモルフ: Phialophora)
・様々な植物のPuccinia属（錆び）、例えば小麦、大麦、ライ麦などの穀類のP.triticina、P.striiformis(ストライプ又は黄色の錆び）、P.hordei（矮性錆び）、P.graminis(茎又は黒色の錆び）又はP.recondita(褐色錆び又は葉の錆び）、サトウキビのP.kuehnii（オレンジの錆び）、アスパラガスのP.brassicae
・アブラナのP.brassicaeなどのPyrenopeziza属
・小麦のPyrenophora(アナモルフ: Drechslera)tritici-repentis（黄斑病）、又は大麦のP.teres(網班病)
・Pyricularia属、例えば米のP.oryzae(テレモルフ:Magnaporthe gresia:rise blast)、及び芝生及び穀類のP.grisea
・芝生、米、小麦、綿、アブラナ、ヒマワリ、テンサイ、野菜、及びその他の植物のPythium 属(立ち枯れ)、例えばP.ultimum又はP.aphanidermatum）、及びキノコのP.oligandrum
・Ramularia属、例えば大麦のR.collo-cygni（ラムラリアの葉の斑点、生理的葉の斑点）、綿のR. areola（teleomorph:Mycosphaerella areola）、テンサイのR. beticola、綿、米、ジャガイモ、芝生、トウモロコシ、アブラナ、ジャガイモ、テンサイ、野菜及び様々な他の植物のRhizoctonia属、大豆のR.solani(根及び茎の腐敗)、米のR.solani(sheath blight)、
又は小麦や大麦のR.solani(Rhizoctonia spring blight)
・イチゴ、ニンジン、キャベツ、ブドウの木、トマトのRhizopus stolonifer（黒カビ、軟腐病）
・大麦、ライ麦、ライ小麦のRhynchosporiumsecalisとR.commune（蒸れ腐れ）
・米のSarocladium oryzaeとS.attenuatum（鞘腐れ）
・野菜（S.minorおよびS.sclerotiorum）及び畑作物（例えばアブラナ、ヒマワリ（S. sclerotiorumなど）、大豆）のSclerotinia属（根腐れ、又は白カビ）、大豆、落花生、野菜、トウモロコシ、穀類、鑑賞用植物のS.rolfsii（同義語：Atheliarolfsii）
・様々な植物のSeptoria属、例えば大豆のS.glycines（茶色の斑点）、小麦のS. tritici（同義語：Zymoseptoria tritici、Septoria blotch）、及び穀類のS.（同義語：Stagonospora）nodorum（Stagonospora blotch）
・ブドウのUncinula (同義語： Erysiphe) necator (うどん粉病、 アナモルフ: Oidium tuckeri)
・トウモロコシ（例えばS.turcicum、同義語： Helminthosporium turcicum）及び芝Setosphaeria属（葉枯れ）
・トウモロコシ（例えばS.reiliana、同義語： Ustilago reiliana：head smut）、モロコシ及びサトウキビのSphacelotheca属（黒穂菌）
・ウリ科植物のSphaerothecafuliginea（同義語：Podosphaera xanthii：うどんこ病）
・ジャガイモのSpongosporasubterranea（粉状かさぶた）及びそれによる伝染性ウイルス性疾患
・穀物のStagonospora属、例えば小麦のS.nodorum（Stagonospora blotch、テレオモルフ：Leptosphaeria（同義語：Phaeosphaeria） nodorum、同義語： Septoria nodorum）
・ジャガイモのSynchytrium endobioticum(potato wart disease)
・Taphrina属、例えば桃のT. deformans(leaf curl disease)、プラムのT.pruni(plum pocket)
・タバコ、仁果類、野菜、大豆、綿のThielaviopsis属（black root rot）、例えばT.basicola(同義語：Chalara elegans)
穀物のTilletia属 （common bunt or stinking smut）、例えば小麦のT. tritici（同義語：T.caries, wheat bunt）およびT. controversa（dwarf bunt）
・キノコのTrichoderma harzianum
・大麦又は小麦のTyphula incarnata (grey snow mold)
・Urocystis類、例えばライ麦のU. occulta (stem smut)
・豆類（例えばU.appendiculatus、同義語U.phaseoli）、テンサイ（例えばU.betaeまたはU.beticola）および豆類（例：U.vignae、U.pisi、U .viciae-fabaeおよびU.fabae）などの野菜のUromyces属 （さび）
・穀物（例えばU.nudaおよびU. avaenae）、トウモロコシ（例えばU.maydis：トウモロコシ黒穂病）およびサトウキビのUstilago属 （loose smut）
・リンゴ（V.inaequalis）、ナシのベンチュリア属（scab）、
・果実、観賞植物、ブドウ、やわらかい果物、野菜、農作物等の様々な作物のバーティシリウム属（例えばイチゴ、オイルシードレイプ、ジャガイモ、トマトのV.dahliae、キノコのV.fungicola）
・穀類のZymoseptoria tritici
【0014】
実際に重要な又は好ましい真菌植物病を引き起こす原因物質の特に好ましいリストは以下に示される。
・大豆及び穀類（例えば、大豆のPhakopsora pachyrhizi及びPmeibomiae；小麦のPuccinia tritici及びP.striiformis）
・特殊作物、大豆、アブラナ及びヒマワリのカビ（例えば、イチゴ及びブドウのBotrytis cinerea、Sclerotinia sclerotiorum、アブラナ・ヒマワリ・大豆のS.minor及びS.rolfsii）
・穀類上のフザリウム病（例えば、小麦のFusarium culmorum及びF.graminearum）
・特殊作物のべと病（例：ブドウのPeronospora parasitica、ジャガイモのPhytophthora infestans）
・特殊作物および穀物のうどんこ病（例：ブドウのuncinula necator、様々な特殊作物のエリシフェ属、穀類のBlumeria graminis）
・穀類、大豆、及びトウモロコシの葉の斑点(例えば、穀類のSeptoria tritici 及びS. nodorum、大豆のS. glycines、トウモロコシ及び大豆のCercospora属)
・大豆及び穀類（例えば、大豆のPhakopsora pachyrhizi及びPmeibomiae；小麦のPuccinia tritici及びP.striiformis）
・特殊作物、大豆、アブラナ及びヒマワリのカビ（例えば、イチゴ及びブドウのBotrytis cinerea、Sclerotinia sclerotiorum、アブラナ・ヒマワリ・大豆のS.minor及びS.rolfsii）
・穀類上のフザリウム病（例えば、小麦のFusarium culmorum及びF.graminearum）
・特殊作物のべと病（例：ブドウのPeronospora parasitica、ジャガイモのPhytophthora infestans）
・特殊作物および穀物のうどんこ病（例：ブドウのuncinula necator、様々な特殊作物のエリシフェ属、穀類のBlumeria graminis）
・穀類、大豆、及びトウモロコシの葉の斑点(例えば、穀類のSeptoria tritici 及びS. nodorum、大豆のS. glycines、トウモロコシ及び大豆のCercospora属)
【0015】
各作物について疾患を同定するための特定のネットワークモデルを作成する必要性について、又は分析された植物種のいずれかについて疾患を同時に同定することができる単一のモデルを作成することがより効率的であるかどうかについては、先行技術にてコンセンサスがないことに留意されたい。複数作物モデルを用いた場合、同様の症状を伴う異なる障害が存在する確率が、特に初期症状については高くなり、これにより分類ミスの可能性が高くなる。他方、より高い変動性を有するより大きなデータセットにわたるモデルの訓練は、すべての作物について共有される、より豊富でよりロバストな視覚的特徴を学習することにつながる。
【0016】
これらのモデルは、訓練画像の数と、サポートされる作物及び疾患の数との両方において成長するので、はるかに単純なタスクである特定の作物のためのより小さいモデルを生成するか、又はるかに複雑なタスク（特に早期の疾患段階）において独特の複数作物モデルを生成する二分法が存在するが、はるかに多くの画像変動性を包含する複数の作物画像データセット全体を使用する利点がある。
【0017】
上記の技術的課題は、植物種情報（及び任意選択で、例えば、それぞれの分野で優勢な気象データ、温度、データなどのさらなる作物関連メタデータ）を含むコンテキストメタデータをシームレスに組み込むことができるＣＮＮアーキテクチャを使用して、単一の複数作物モデルを訓練することによって解決される。単一の複数作物モデルは、単一作物モデルよりも、より豊かで強固な共有視覚的特徴を獲得し、異なる作物からの類似の症状を有する異なる疾患の存在に悩まされることがなく、更に、コンテキストメタデータをシームレスに統合し、作物条件付き疾病分類を実施する。
【0018】
本明細書中に開示されるアプローチについて、８１７８の現場画像を含むPiconらの論文によって使用される小麦データセットが拡張された。拡張データセットには、３６種以上の小麦植物品種に亘るセプトリア(Septoria triciti)、黄斑病(Drechslera triciti-repentis)及び錆び(Puccinia striiformis、Puccinia recondita)病が含まれる。既存の冬小麦(Triticum aestivum)種には、トウモロコシ(Zea mays)、アブラナ種子(Brassica napus)及び冬大麦(Hordeum vulgare)の３種の新しい作物が追加されている。
【0019】
冬小麦病の数は、５つの異なる疾患(Septoria tritici、Puccinia striiformis、Puccinia recondita、Septoria nodorum及びDrechslera tritici-repentis）を含むまでに拡大されている。トウモロコシについては、Helminthosporium turcicum病がデータベースに含まれているが、アブラナ種子作物はPhoma lingam病を含み、冬季大麦作物は４つの異なる疾患（ Pyrenophora teres、Ramularia collo-cygni、Rhynchosporium secalis及びPuccinia hordei）を含み、図７Aの参照表１に示されるように、総数１００７３４の画像を含む。
【0020】
類似の症状を有する異なる障害が存在する完全な複数作物データセットによって訓練された複数作物疾患識別タスクのために既存の従来技術のＣＮＮトポロジを適用する場合、訓練されたモデルの全体的な性能は、劇的に低減される。さらに、各作物について別々の分類モデルを生成すると、画像の数が少ない作物及び／又は疾病に特に適した、他の作物からの情報が利用されない。すなわち、複数の作物にわたる情報に由来する相乗効果はない。
【0021】
完全な複数作物データセットにわたる入力画像に対する補足情報として植物種情報を統合する拡張ＣＮＮトポロジを使用する本明細書に開示されたアプローチは、完全なデータセットからの視覚情報及び変動性を利用することによって前述の２つの方法によって得られる性能を上回り、他の作物からの類似の外観を有する疾患の影響を受けない。一般に、ニューラルネットワークのトポロジは、ニューロンがニューラルネットワーク内で接続される方法を指す。
【0022】
この目的のために、各作物データセットについて独立して訓練された疾患分類モデルが、データセット全体（ＢＡＣ＝０．９４）の使用によって複数作物タスクについて訓練された固有のモデルよりも低い性能（ＢＡＣ＝０．８５）を得るという点で、１２の疾患及び４つの作物（小麦、大麦、トウモロコシ、及び菜種）の等しく分布した疾患段階を含む１０万の画像のデータセットが検証される。独立請求項に記載されるような拡張トポロジを有する提案された新しいＣＮＮアーキテクチャは、分析される作物植物の一部を示す画像入力に加えて作物種情報を組み込むことができる。これは一方では分類タスクの複雑さを単一作物アプローチの複雑さに低減する一方で、他方では訓練のための複数作物データセット全体の使用を可能にするという利点を組み合わせる。提案されたネットワークは、０．９７のバランスのとれた精度ＢＡＣを得て、全ての公知の従来技術の方法を改善する。
【0023】
一実施形態では、植物疾患を検出するためのコンピュータシステムが提供される。コンピュータシステムは、畳み込みニューラルネットワーク（ＣＮＮ）データ構造を記憶するデータ記憶コンポーネントを有する。ＣＮＮは、複数作物データセットを用いて訓練されている。この訓練データセットは、様々な作物の部分（又は葉などの要素）を示す複数の入力画像を含む。それによって、訓練データセット内の入力画像の各々は、１つ以上の関心疾患に関連する１つ以上の疾患症状を有する特定の作物の一部を示すか、又は非生物的マークを有する特定の作物の一部を示すか、又は特定の作物の健康な部分を示す。本明細書で使用される関心疾患はＣＮＮが訓練された疾患であり、したがって、関心疾患の少なくとも１つを代表する症状を有する作物部分を示す入力画像の有意義な分類結果を提供することが期待される。言い換えれば、ＣＮＮを訓練するために使用される入力画像は、植物要素が健康に見えるか、又は特定の疾患症状を示すか、又は関心のある疾患を代表しないマーカーを示すことができる、様々な作物のすべての種類の植物要素を含む。良好な分類結果を達成するためにはこれら３つの画像カテゴリの全てが、ＣＮＮ内の対応する重みを確立するのに十分な数の訓練入力画像上に存在すべきである。
【0024】
ＣＮＮは、植物疾患固有の特徴に従って入力画像を分類するための分類畳み込みニューラルネットワーク（例えば、RESNET５０トポロジ、DenseNet、VGGNet等のようなRESNET＊アーキテクチャ）に基づく画像分岐を含む拡張トポロジを有する。さらに、拡張トポロジは、植物種情報を追加するための作物識別分岐を有する。そのような植物種情報は、作物識別子であり得る。例えば、作物識別子はＫ成分のカテゴリベクトルとすることができ、ＫはＣＮＮモデルを訓練するときに考慮される作物クラスの数（すなわち、異なるタイプの作物の数）であり、対応するテンソル又はベクトルによって表すことができる。いくつかの実施形態では、さらなるメタデータ（例えば、野外の天候又は温度条件）を、作物識別分岐を介して追加することもできることに留意されたい。次に、画像分岐及び作物識別分岐の出力は、植物種情報を各入力画像と統合するように構成された拡張トポロジの分岐ンテグレータによって統合され、植物種情報はそれが統合されるそれぞれの入力画像上の作物を指定する。拡張トポロジを有するＣＮＮのための訓練方法は、詳細な説明においてより詳細に開示される。
【0025】
コンピュータシステムはさらに、１つ以上の特定の植物疾患症状を示す特定の作物の画像を有する試験入力を受信するためのインタフェースを有する。この画像は、植物疾患症状に応じた潜在的な疾患に従ってコンピュータシステムによって分類される。さらに、インタフェースを介して、コンピュータシステムは、試験入力に関連するそれぞれの作物識別子を受け取る。例えば、農業者は、植物疾患の症状と類似性を有するいくつかのマーカーを示す農業分野の作物の葉を見つけることができる。農業者は例えば、通信ネットワークを介してコンピュータシステムと通信可能に結合されたモバイルデバイス（例えば、スマートフォン、タブレットコンピュータなど）のＲＧＢカメラを使用することによって、症状を伴う作物部分の写真を撮ることができる。農業者はまた、それがどの種類の作物であるかを知り、対応する作物識別子と共に画像をコンピュータシステムに送信することができ、そこで、画像は、前記インタフェースを介して受信される。勿論、画像は、例えばＤＳＬＲカメラ又はマルチスペクトルカメラのような任意の他の適当な画像記録装置で記録することができる。カメラ装置は、手持ち式である必要はなく、ロボット、トラクタ又はドローンに搭載することもできる。例えば、ドローンを使用することによって、野外の植物の画像を天頂から容易に撮ることができる。
【0026】
次いで、コンピュータシステムは、訓練された畳み込みネットワークを、試験画像及び作物識別子を含む受信された試験入力に適用することができる。訓練されたＣＮＮが作物識別子情報に関連付けられた試験入力画像に適用されるとき、それは、コンピュータシステムの分類器モジュールとして操作され、畳み込みニューラルネットワークの出力ベクトルに従って分類結果を提供する。分類結果は、試験入力画像上の１つ以上の特定の植物疾患症状に関連する１つ以上の植物疾患を示す。分類結果は、コンピュータシステムと通信可能に結合された出力装置上に示されてもよい。例えば、上記の農業者の例では、分類結果が試験入力に応答して農業者のモバイルデバイスに送信することができる。作物識別子が誤って導入された場合であっても、コンピュータシステムは、従来技術のシステムよりも良好な植物疾患検出能力を依然として提供することができることが実証されている。
【0027】
一実施形態では、コンピュータシステムは、信頼性のある作物疾患分類結果を提供するためにＣＮＮの安定した構成を達成するのに十分な大きさである多数の訓練入力画像を用いてＣＮＮを訓練するために適切な訓練データセットにアクセスすることができる訓練モジュールも含むことができる。訓練データセットは、各訓練画像について、関連する作物識別子及び関連する疾患識別子のセット（すなわち、訓練画像上に存在するそのような疾患の識別子）を含む。あるいはＣＮＮの訓練が専用訓練システムで行われ、訓練されたＣＮＮデータ構造はコンピュータシステムのデータ記憶装置にコピーされる。
【0028】
一実施形態では、コンピュータシステムが作物の植物部分（例えば、特定の葉、茎、茎など）を含む新しい入力画像を、そのような植物部分を囲む領域に切り取るように構成された画像切り取りモジュールをさらに含む。一般に、切り取りは、写真又は図示された画像から不要な外側領域を除去することである。このプロセスは、通常、画像の周辺領域のいくつかを除去して、画像から外来のゴミを除去すること、画像のフレーミングを改善すること、アスペクト比を変更すること、又は主題をその背景から強調又は分離すること、及び／又は、切り取られなければ画像全体から失われる可能性があるより小さいサイズの微妙な初期症状に焦点を当てることを含む。一実施形態では、主要葉が全変動項で補完された画素ごとのカテゴリ的クロスエントロピー損失関数を有するセグメンテーションニューラルネットワークによってセグメンテーションされてもよい。あるいは、例えば、完全畳込み高密度ネット、PSPNet、SegNetなどのような、ディーセントセグメンテーションを実行するように利用され得る任意のセグメンテーションニューラルネットワークを使用することができる。典型的には、そのようなネットワークが上述のカテゴリ的なクロスエントロピー損失を用いて訓練されるが、例えば、とりわけ、バイナリクロスエントロピー、ジャカードインデックス、ソレンセンダイス係数などの他のオプションがある。さらに、いくつかのセグメンテーションネットワークは、訓練のために全変動項を使用しない。以下では、拡張ＣＮＮトポロジの３つの異なる実装が開示される。
【0029】
第１の実装では、ＣＮＮトポロジは、高レベル特徴のセットとして画像表現を学習するために特徴領域上で成長しながら、空間領域内の画像表現の次元数を徐々に低減するように構成された分類畳み込みニューラルネットワークトポロジによって実施されるバックボーントポロジを含む。例えば、バックボーントポロジは、作物疾患同定のための事後ファインチューニングに適したImagenet又は別のデータセットで事前訓練されてもよい。例えば、残差ニューラルネットワーク、例えば、50層を有するResNet50深層畳み込みニューラルネットワークをバックボーンとして使用することができる。ResNetファミリーの他の変形例(例えば、ResNet101、ResNet152、SE-ResNet、ResNeXt、SE-ResNeXt、又はSENet154)又は他の画像分類ＣＮＮファミリー(例えば、DenseNet、Inception、MobileNet、EfficientNet、Xception、又はVGG)も同様に使用され得る。上記で引用したPiconらの論文のセクション４では、ResNet５０バックボーンのアーキテクチャの詳細な説明が植物疾患検出の文脈で与えられている。しかしながら、当業者はバックボーントポロジとして他の分類ＣＮＮを使用することもできる。さらに、Imagenetベースの事前訓練、作物（作物疾患ではない）識別、又はランダム重みによる初期化（すなわち、最初からバックボーンを訓練する）を含むが、これらに限定されない、他の種類の事前訓練／初期化を使用することができる。有利な実装では、バックボーンがImagenet と作物疾患識別データセットの結合により訓練される。
【0030】
平均プーリング演算を有する画像表現層は、バックボーントポロジに従う。すなわち、バックボーンの出力は、画像表現層に供給され、画像表現層は次に、入力画像の高レベル特徴を統合する。低レベルの特徴は、畳み込みフィルタ又はSIFT又はHOGアルゴリズム（例えば、視覚処理パイプラインにおいて低レベルの特徴と考えられるエッジ／勾配及びコーナーに応答する）によって拾い上げることができる、ライン又はドットのような画像の重要でない部分の詳細であるのに対し、画像の高レベルの特徴は、画像中の物体及びより大きな形状を検出するために、低レベルの特徴の上に構築される。画像表現層は、実際にはいかなる種類の動作も実行していない。なお、ニューラルネットワークの文脈において、「層」の用語は、実際の演算を実行する層に対してのみ使用されることがあるが、本明細書で使用されるように、「画像表現層」と共に使用される「層」の用語は先行する層において実行される演算から生じる出力「テンソル」にも関係する。次に、再整形演算が、平均プーリング出力の次元と作物識別分岐の次元とを一致させる。再整形動作は、ＣＮＮ内の数のいずれも修正せず、単に異なる方法で数を見るだけである。言い換えれば、再整形は、出力又は任意の中間テンソル／表現を所望の方法で表す方法にすぎない。
【0031】
次いで、画像表現層の後に、画像表現層からの画像記述特徴をそれぞれの画像上に存在する植物種の情報と組み合わせることによって、作物識別分岐を介して受け取った作物識別子を画像表現層の出力に集約する連結層が続く。この実施形態では、作物識別子分岐が、作物識別子情報が連結層において画像分岐出力と直接マージされるバックボーンへのバイパスと見なすことができる。例えば、作物識別子は、Ｋ成分のカテゴリベクトルとすることができ、Kは、ＣＮＮモデルを訓練するときに考慮される作物クラスの数（すなわち、異なるタイプの作物の数）である。このような場合、このベクトルはその作物クラスに対応する成分において値「１」を有し、他の成分に対して値「０」を有する。切り抜きベクトルは、連結層によって画像表現層に直接集約される。これは、画像表現層からの画像記述特徴を、画像上に示される植物種（作物）の情報と組み合わせる結合活性化をもたらす。
【0032】
次いで、連結層の後に、高密度層（全てのニューロンが、すべての入力及びすべての出力に接続される）が続き、画像の高レベル特徴とそれぞれの作物との間の関係を、シグモイド活性化関数を使用した疾患予測を用いてマッピングする。あるいは、画像及び作物識別子分岐の分岐後融合を実施するために、より多くの積み重ねられた層があってもよい。この後続の完全に接続された層は、画像の高レベルの特徴と病気の予測を有するそれぞれの作物との間の関係をマッピングする役割を果たす。
【0033】
上記の拡張されたＣＮＮトポロジについて、画像表現層における視覚的特徴表現及び後続の作物－疾患マッピングは共同で学習される（すなわち、同じ訓練の実行において）。しかしながら、バックボーンは例えば、Imagenetデータセットのような、事後ファインチューニングに適したデータセットで事前訓練されてもよい。典型的なファインチューニングは、バックボーンネットワークの第１の層からの重みを凍結することと、後者の層からの重みのみが修正される訓練を実行することとを含む。これにより、事前訓練データセットから訓練された低レベルの記述が維持され、高レベルマッピングのみが変更される。すなわち、典型的なセットアップでは、最初にバックボーンが訓練され、次に画像表現層及び後続の作物－疾患マッピングが共同で訓練される。すべての作物によって共有される学習された視覚的特徴は、より豊富なデータセット表現をもたらす。
【0034】
第２の実装では、畳み込みニューラルネットワークトポロジは、同様に、高レベル特徴のセットとして画像表現を学習するために特徴領域上で成長しながら、空間領域内の画像表現の次元数を徐々に低減するように構成された分類畳み込みニューラルネットワークトポロジによって実施されるバックボーントポロジを含む。バックボーントポロジは、同様に、先に記載されたように、作物疾患同定のためのデータセットを用いて予め訓練され得る。バックボーンは、第１の実施形態と同じであってもよい。第１の実装と同様に、バックボーントポロジの後には、高レベル特徴を統合する平均プーリング演算を伴う画像表現層が続き、平均プーリング出力の次元を作物識別分岐の次元と一致させる再整形演算が続く。また、画像表現層は、第１の実施形態と同じであってもよい。
【0035】
しかしながら、第２の実装は、第１の実施とは異なる動機に従う。ここで、作物識別子ベクトルは、第１の実装のトポロジのように、追加の特徴として連結されない。代わりに、それは、特定の視覚的特徴が現在の試験画像上に示される植物種に無関係である場合に、特定の視覚的特徴の活性化を抑制するために使用される。
【0036】
この実装では、作物識別分岐は単にバックボーンを迂回するのではなく、作物識別子に直接接続された高密度層を有する。高密度層のニューロンの数は、画像表現層における特徴の数に対応する。シグモイド活性化関数を用いて、高密度層の結果として得られる出力を［０、１］の範囲にマッピングする。この実施は、最も単純な場合と考えることができる。一般に、作物識別子分岐は、作物識別子入力を作物識別子表現テンソル／ベクトルにマッピングする任意のＣＮＮ／層のセットとすることができる。
【0037】
画像表現層及び高密度層の出力は乗算層に供給され、要素ごとの乗算によってシグモイド活性化関数の出力を画像表現層と統合する。このようにして、画像上に示される植物種（作物）は学習された視覚記述子の応答を変調し、これにより一貫性のないもの効果を低減する。
【0038】
次いで、乗算層の後に、さらなる高密度層が続き、さらなるシグモイド活性化関数を使用することによって、画像の高レベル特徴と、疾患予測を伴うそれぞれの作物との間の関係をマッピングする。あるいは、画像及び作物識別子分岐の分岐後融合を実施するために、より多くの積み重ねられた層があってもよい。この場合も、この第２の実装では、画像表現層における視覚的特徴表現と、それに続く作物疾患マッピングとが共同で学習される。
【0039】
第３の実装では、活性化の乗法的抑制の概念も使用される。しかし、この場合、抑制はＣＮＮの最終的な予測に対して直接行われ、表される植物種には存在しない疾患の活性化を単に抑制するだけである。すなわち、作物識別子と一致しない疾患が抑制される。疾患が作物識別子によって表される作物タイプに属する作物について発生しない場合、疾患は作物識別子と一致しない。
【0040】
畳み込みニューラルネットワークトポロジは、ここでも、高レベル特徴のセットとして画像表現を学習するために特徴領域上で成長しながら、空間領域における画像表現の次元数を徐々に低減するように構成された分類畳み込みニューラルネットワークトポロジによって実施されるバックボーントポロジを含む。バックボーントポロジは、作物疾患の同定のために予め訓練されていてもよい。バックボーンは、第１の実装と同じであってもよい。第１の実装と同様に、バックボーントポロジの後に、高レベル特徴を統合する平均プーリング演算を有する画像表現層が続く。
【0041】
画像表現層の後には、第１の高密度層が続き、第１のシグモイド活性化関数を使用して、画像の高レベル特徴を疾患予測にマッピングする。
【0042】
作物識別分岐における第２の高密度層は作物識別子に直接接続され、完全に接続された高密度層のニューロンの数は画像表現層における特徴の数に対応する。第２のシグモイド活性化関数は、第２の高密度層の結果として得られる出力を［０、１］の範囲にマッピングするために使用される。繰り返しになるが、この実装では一般に、作物識別子分岐は作物識別子入力を作物識別子表現テンソル／ベクトルにマッピングする任意のＣＮＮ／層の集合である可能性がある。
【0043】
シグモイド活性化関数を有する第１及び第２の高密度層の後には第１の高密度層によって予測されるが、作物識別子によって表される植物種上には存在しない疾患の活性化を抑制するための乗算層が続く。これは、ここにおいても、活性化の基本的な乗算を実行することによって達成される。
【0044】
ここでも、画像表現層における視覚的特徴表現と、それに続く作物－疾患マッピングとが、共同で学習される。
【0045】
添付の特許請求の範囲に特に記載された要素及び組み合わせの手段によって、さらなる態様が実現され、達成されるであろう。前述の一般的な説明及び以下の詳細な説明の両方は、例示的かつ説明的なものにすぎず、記載された本発明を限定するものではないことを理解されたい。
【図面の簡単な説明】
【0046】
【図6A】入力画像の様々な例を示す。
【図6B】入力画像の様々な例を示す。
【図6C】入力画像の様々な例を示す。
【図7B】図７Ｂ～７Ｄは、従来技術のバックボーンニューラルネットワーク及び拡張トポロジを有する畳み込みニューラルネットワークの畳み込みニューラルネットワークアルゴリズムの性能を測定するためのメトリックを示す表を含む。
【図7C】図７Ｂ～７Ｄは、従来技術のバックボーンニューラルネットワーク及び拡張トポロジを有する畳み込みニューラルネットワークの畳み込みニューラルネットワークアルゴリズムの性能を測定するための計量を示す表を含む。
【発明を実施するための形態】
【0047】
図１は、植物病変を検出するためのコンピュータシステム１００のブロック図を示す。システムは、外部データ１０、２０を受信することを可能にするインタフェース１１０を有する。コンピュータシステム１００は図２の簡略化されたフローチャートによって示されるように、植物疾患を検出するためのコンピュータ実装方法１０００を実行するように動作させることができる。図１は、図２に関連して説明される。したがって、以下の説明は、必要に応じて、図１及び図２の参照番号を参照する。
【0048】
インタフェース１１０を介して、コンピュータシステム１００は１つ又は複数の特定の植物疾患症状を示す特定の作物１の画像（例えば、試験入力画像１０）を受け取る。例えば、このような試験入力画像は、カメラ装置９０で記録することができる。例えば、現場にいるユーザ（例えば、農業者）は画像データをコンピュータシステム１００に送信することを可能にする通信ネットワーク（例えば、移動通信ネットワーク）に接続されたデジタルカメラ（例えば、スマートフォン又はタブレットコンピュータのカメラ）を使用することができる。次いで、ユーザは植物疾患の症状を示すように見える様々な作物部分（例えば、葉又は作物植物の他の部分）の写真を撮ることができる。特定の送信された入力画像１０は、前記特定の作物１０の少なくとも一部１１を示すと仮定する。さらに、現場にいるユーザは、典型的には現場で栽培される作物のタイプを知っている。したがって、ユーザは、入力画像１０に関連する対応する作物識別子２０（作物識別子）を送信する。次に、作物識別子及び試験入力画像は、インタフェース１１０を介してコンピュータシステム１００によって受信される（１１００）。任意には、ユーザは、コンピュータシステムにさらなる情報２１を提供してもよい。このような追加データ２１は、現場それぞれの作物に関連する特定の環境条件を指定する更なる外部データに関連するものであってよい。例えば、気象条件、土壌条件、又は植物疾患に影響を及ぼし得る他の環境データもまた、コンピュータシステムによって受信され得る。そのようなモジュールの１つは、コンピュータシステム１００のデータ記憶コンポーネントに記憶される畳み込みニューラルネットワーク１２０（ＣＮＮ）として実施される。ＣＮＮ １２０は、潜在的な疾病に関する予測を出力装置５０に提供するコンピュータシステムによって実施される分類器１３０の一部である。例えば、出力装置５０は、コンピュータシステムに試験入力を提供するためにユーザによって使用されるのと同じ装置であってもよい。すなわち、ユーザは作物１の写真を撮り、その写真を作物識別子と共にコンピュータシステムに送信することができ、次いで、ユーザは、システム応答として分類器１３０によって行われた疾病予測をコンピュータシステムから受信する。
【0049】
一実施形態では、コンピュータシステムが主要部分を取り囲む領域に、主要葉又は主要茎又は主要茎を有する植物主要部分を含む新しい入力画像を切り取る（切断する）ように構成された画像切り取り（又は切断）モジュールをさらに含むことができる。主要葉は、全変動項で補完された画素ごとのカテゴリ的クロスエントロピー損失関数を有するセグメンテーションニューラルネットワークによってセグメンテーションすることができる。このような葉－マスク作物アプローチは、Piconら（２０１８）に詳細に記載されている。
【0050】
ＣＮＮ１２０は、複数作物データセットで事前訓練される。訓練データセットは様々な作物（すなわち、異なるタイプの作物）を示す入力画像を含む。訓練入力画像の各々は、特定の作物の一部を示す。それにより、訓練データセットは、１つ以上の関心疾患に関連する１つ以上の疾患症状を有する画像と、非生物的マーク（任意の生息地の非生存部分に関連するマーク）を有する特定の作物の一部を示す画像と、特定の作物の健康な部分を示す画像とを含む。言い換えれば、訓練データセットは例えば、昆虫の摂食被害、栄養欠乏、乾燥ストレス、ウイルス、細菌、治癒被害、日焼けなど、植物に対する生物的及び非生物的ストレス因子の指標を有する画像を含む。
【0051】
本明細書中に開示される研究について、Piconら（２０１８）において使用される、現場からの８１７８の画像を含む小麦データセットは拡張されている。このデータセットには、３６種以上の小麦植物品種にわたるセプトリア(Septoria triciti)、黄斑病(Drechslera triciti-repentis)及び錆び(Puccinia striiformis、Puccinia recondita)病が含まれた。既存の冬小麦(Triticum aestivum)種に、３種の新しい作物（トウモロコシ(Zea mays)、アブラナ種子(Brassica napus)及び冬大麦(Hordeum vulgare)が追加された。
【0052】
冬小麦病の数は、５つの異なる疾患(Septoria tritici、Puccinia striiformis、Puccinia recondita、Septoria nodorum及びDrechslera tritici‐repentis）を含むまでに拡大されている。トウモロコシについてはHelminthosporium turcicum病がデータベースに含まれているが、菜種作物はPhoma lingam病を含む。冬季大麦作物は４つの異なる疾患を含む（ Pyrenophora teres、Ramularia collo-cygni、Rhynchosporium secalis及びPuccinia hordei）。図７Ａの表１に示すように、総数で１００７３４の画像が含まれる。
【0053】
最適な害虫防除のためには、感染のそれぞれの段階に適合した適切かつ効率的な手段を確保するために、症状発生の初期段階で疾患を検出することが有利である。このため、生成された訓練データセットは感染の様々な段階に属する畳み込みニューラルネットワークの訓練に使用される入力画像の数にほぼ等しいシェア（例えば、１５％～３５％のシェア）を有する感染の４つの異なる段階における画像を含む。例えば、画像の約２５％は感染の初期段階に属し、２５％は初期段階に属し、２５％は中期段階に属し、２５％は進行段階に属する。感染のより多くの段階が定義される場合、シェアのパーセンテージは、それに応じて調整される。これは、高度に複雑なデータセットを生成する。この場合、特に初期症状について、異なる疾患が共通のアルゴリズムを使用することで対処することが困難な類似の又はわずかに異なる症状を生じさせる。データセット内の画像の例を図６Ａ、６Ｂ、６Ｃに示す。
【0054】
訓練データセットは、特に初期段階において非常に類似した症状を生み出す複数の疾患を含む。この意味では、ある疾患の典型的な視覚的な外観が生じる前において非常に一般的に生じる効果は、葉が異なる形に白化（Chlorose）することである。従って、生物的ストレスだけでなく、非生物的ストレスも、疾患の正確な決定をさらに複雑にしている。例えば、Puccinia recondita及びPuccinia striiformisの小麦及びRamularia collo-cygni及びPuccinia hordeiの大麦における初期症状は、図６Ａ及び図６Ｂに見られるように非常に類似した白化を示す。図６Ａ及び図６Ｂでは、色及び形状がわずかに異なる小さな明るい斑点が見られる。白化上に典型的な胞子のクラスターが発生した場合、治癒的処理はっ殆ど遅すぎるため、早期発見の困難さと重要性が強調される。さらに、初期の寄生がまったく似ているように見えるだけでなく、進行期も区別が難しい疾患もある。Septoria tritici及びSeptoria nodorumに関しては、いずれも類似の疾患進行を示す。最初に白化が見え、これは壊死に進展し、末端部では褐色又は黒色の陰核が壊死上に生じる。
【0055】
写真は、上葉表面から、又は、例えば茎又は円錐花序などの他の植物部分から取得された。それらは、直接光を避けて撮影された。実際の獲得条件をシミュレートするために、技術者に他の制限は課されなかった。Johannesら（2017Automatic plant disease diagnosis using mobile capture devices、a commoat use caseComputers and Electronics in Agriculture 138,200-209）に示されているように、追加の正規化色要素の使用は、現場での画像取得には実用的でない。すべての新しい画像は、Piconら(2018)が提案したLeaf‐mask cropアプローチに従い、それらの主要葉を取り囲む領域となるように切り取られた（切断された）。これを行うために、各画像における主要葉、主要茎、又は主要な円錐花序は、画素ごとのカテゴリ的なクロスエントロピー損失関数を、不規則な領域のセグメンテーションにペナルティを課す全変動項で補完した、完全畳み込みのDenseNetネットワーク（Jensegouら（2017））によって自動的にセグメンテーションされた。各画像はまた、画像が複数の疾患を有することができる複数ラベルスキームで提示される全ての疾患でラベル付けされた。
【0056】
ＣＮＮ １２０は、以下を含む拡張トポロジを有する。
・植物疾患特異的特徴に従って入力画像を分類するための分類畳み込みニューラルネットワークに基づく画像分岐１２１
・植物種情報を追加するための作物識別分岐１２２
・植物種情報をそれぞれの入力画像と統合するための分岐統合器１２３
これにより、植物種情報２０は、各入力画像１０上の作物を特定する。前述したように、作物識別子は、それぞれの入力画像と共にインタフェース１１０を介して受信される。
・植物疾患特異的特徴に従って入力画像を分類するための分類畳み込みニューラルネットワークに基づく画像分岐１２１
・植物種情報を追加するための作物識別分岐１２２
・植物種情報をそれぞれの入力画像と統合するための分岐統合器１２３
これにより、植物種情報２０は、各入力画像１０上の作物を特定する。前述したように、作物識別子は、それぞれの入力画像と共にインタフェース１１０を介して受信される。
【0057】
ＣＮＮ １２０は、訓練されたＣＮＮ １２０を受信された試験入力に適用する（１２００）分類器モジュール１３０の一部である。ＣＮＮ １２０は出力ベクトルを供給する。この出力ベクトルに従って、分類器１３０は、試験入力画像上で見える１つ又は複数の特定の植物疾患症状に関連する１つ又は複数の植物疾患を示す分類結果ＣＲ１を提供する（１３００）。分類結果ＣＲ１は、前記症状に関連する疾患に関する疾患予測として解釈することができる。
【0058】
上述の複数作物訓練アプローチを使用することは、独立した単一作物モデルの使用と比較して有利である。記載されたＣＮＮトポロジの画像分岐１２１は、高レベル特徴のセットとして画像表現を学習するために特徴領域上で成長しながら、空間領域における画像表現の次元を徐々に減少させるように構成された分類畳み込みニューラルネットワークトポロジによって実施されるバックボーントポロジを含む。ネットワーク層は画像の異なる空間部分を表すフィルタを徐々に学習し、同時に、これらの学習されたフィルタに対する最大応答のみが、最大プーリング層を使用することによって各空間近傍に保持される。ニューラルネットワーク技術の当業者は、例えば、RESNET５０トポロジ、DenseNetアーキテクチャ、VGGNetアーキテクチャ、又は任意の他の適切な分類畳み込みニューラルネットワークなどのRESNET＊アーキテクチャを含むが、これらに限定されない、そのようなバックボーンのための異なるアーキテクチャを使用することができる。このようなバックボーントポロジには、入力情報としての作物情報は含まれない。例えば、バックボーンは、He et al（２０１６Deep residual learning for image recognition、in: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition、pp.770-778．）によって提示されたResNet50トポロジに由来することができる。ResNet50ニューラルネットワークは、最初の２つの連続する３×３畳み込みを有する５０の層から構成され、両方とも３×３最大プーリング演算が続く。これに続いて、平均プーリング演算によって最終的に統合されて２０４８個の特徴を有する画像表現層を得る７×７×２０４８個の高レベル特徴のセットとして画像表現を学習することができる特徴領域上で成長しながら、画像空間領域を徐々に縮小する１組の連続残差ブロックが続く。バックボーントポロジのこの例のより詳細な説明は、Piconら（2018）の４．３節「ネットワークトポロジ」及び対応する図７及び図８に見ることができる。
【0059】
バックボーンは、すべての作物を含み、作物情報なしに適切な視覚的表現を生成するネットワーク能力の推定として役立つ完全なデータセットに亘り訓練される。全訓練データセットにわたるベースラインネットワークの結果を図７Ｂの表２に示す。さらに、データセットを異なる作物（小麦、大麦、トウモロコシ及びアブラナ種子）に分割し、別々に訓練した。この実験は作物入力情報を必要とせずに、各視覚タスクを別々に学習するネットワーク能力を測定する。全訓練データセットにわたるバックボーントポロジの結果を図７Ｃの表３に示す。
【0060】
結果の分析は、より多数の画像を有する複数作物モデルの使用が、異なる作物に従って訓練データセットを分割するよりも良好な結果を提供することを示す。これは、より少ない数の画像及び変動性を有する作物にとって特に顕著である。このことは、このような訓練条件下では抽出された視覚的特徴及びモデルが独立作物モデルの性能に取って代わる、より多数の画像及びより高い変動性を有するデータセットの使用によって強化されることを示している。
【0061】
【0062】
図３は、バイパスソリューションとも呼ばれる第１のＣＮＮ１２０の実装の詳細を示す。画像分岐は、試験入力画像１０（次元２２４×２２４×３）を受け取り、高レベル特徴のセットとして画像表現を学習するために特徴領域上で成長しながら、空間領域における画像表現の次元を徐々に減少させる（最終的に７×７×２０４８に）バックボーントポロジ１２１－１（分類畳み込みニューラルネットワーク）を含む。
【0063】
バックボーン１２１－１の後には、高レベル特徴を統合する平均プーリング演算１２１－２と、平均プーリング出力（１×１×２０４８）の次元を作物識別分岐１２２－１の次元（１×Ｋ）と一致させる再整形演算１２１－３とを有する画像表現層が続く。これにより、作物識別子２０は作物情報をＫ成分のカテゴリベクトルとして表し、Ｋはモデル内の作物の数である。このベクトルはその作物クラスに対応する成分では値１であり、他の成分では値０である。ベクトル（１×Ｋ）は、画像分岐全体をバイパスしている。言い換えれば、作物識別子分岐１２２－１は、画像表現層からの画像記述特徴をそれぞれの画像上に存在する植物種の情報と組み合わせることによって、作物識別分岐１２２－１を介して受信された作物識別子２０を画像表現層の出力に集約する連結層１２３－１から始まる分岐統合に直接供給される。すなわち、この集約は、画像表現層からの画像記述特徴を入力画像上に存在する植物種（作物）の情報と組み合わせる次元（１×（２０４８＋Ｋ））を有する新しい結合層を生成する。
【0064】
後続の完全に接続された層（高密度層１２３－２）は、シグモイド活性化関数１２３－３を使用して、画像の高レベル特徴と、疾患予測Ｐ１を有するそれぞれの作物との間の関係をマッピングする役割を果たす。高密度層１２３－２は、寸法を（１×Ｄ）に縮小する。
【0065】
エンドツーエンド訓練プロセス中に、画像表現層における視覚的特徴表現と、それに続く作物－疾患マッピングとが、共同で学習される。直観的には、より豊富なデータセット表現を扱うすべての作物によって共有される学習された視覚的特徴、及び作物マッピングが、存在する植物種に基づいて、類似の特徴を異なる疾患にマッピングすることを可能にする。
【0066】
図４は、第２のＣＮＮ１２０の実装の詳細を示す。画像分岐はここでも、バックボーントポロジ２２１－１（バックボーン１２１－１と同様の分類畳み込みニューラルネットワーク）を含み、このバックボーントポロジは試験入力画像１０（次元２２４×２２４×３）を受け取り、高レベル特徴のセットとして画像表現を学習するために特徴領域上で成長しながら、空間領域における画像表現の次元数を徐々に減少させる（最終的に７×７×２０４８に）。
【0067】
第１の実装と同様に、画像表現層は、高レベル特徴を統合する平均プーリング演算２２１－２と、平均プーリング出力の次元を作物識別分岐の次元と一致させる再整形動作２２１－３とを用いて、バックボーントポロジに従う。
【0068】
第２の実装では、作物識別分岐が作物識別子２０に直接接続された高密度層２２２－１を有し、高密度層のニューロンの数は画像表現層における特徴の数に対応する。シグモイド活性化関数２２２－２は、結果として得られる出力を［０、１］の範囲にマッピングするために使用される。
【0069】
画像表現層及び高密度層の後に乗算層２２３－１が続き、シグモイド活性化関数２２２－２の出力を画像表現層と要素単位の乗算によって統合する。すなわち、この実装では、作物識別子ベクトル２０がバイパス実装の場合のように追加の特徴として連結されず、むしろ、試験入力画像上に存在する植物種に無関係である場合に、特定の視覚的特徴の活性化を抑制するために使用される。これは、入力画像上に存在する植物種（作物）が学習された視覚記述子の応答を変調し、一貫性のないもの効果を低減することを確実にする。言い換えれば、（関連する視覚的症状が、作物識別子によって識別されるような特定の作物に何らかの疾患を引き起こすことができないので）無関係である学習された視覚的記述子が抑制される。
【0070】
乗算層の後には、画像の高レベル特徴と疾患予測Ｐ２を有するそれぞれの作物との間の関係をマッピングするために、対応するシグモイド活性化関数２２３－３を有するさらなる高密度層２２３－２が続く。再び、画像表現層における視覚的特徴表現と、それに続く作物－疾患マッピングとが、共同で学習される。
【0071】
図５は、第３のＣＮＮ１２０の実装の詳細を示す。画像分岐はここでもまた、試験入力画像１０（次元２２４×２２４×３）を受け取り、高レベル特徴のセットとして画像表現を学習するために特徴領域上で成長しながら、空間領域における画像表現の次元を徐々に減少させる（最終的に７×７×２０４８に）前記バックボーントポロジ３２１－１（分類畳み込みニューラルネットワーク）を含む。
【0072】
第１及び第２の実装と同様に、画像表現層はバックボーントポロジに従い、平均プーリング演算３２１－１が高レベル特徴を統合し、再整形演算３２１－３が平均プーリング出力の次元を作物識別分岐の次元と一致させる。
【0073】
画像分岐内では、画像表現層の後には、第１の高密度層３２１～４が続き、第１のシグモイド活性化関数３２１～５を使用して、画像の高レベル特徴を疾患予測にマッピングする。
【0074】
作物識別分岐は、第２の実装と同様である。作物識別分岐における第２の高密度層３２２－１は、作物識別器２０に直接接続され、完全に接続された高密度層のニューロンの数は画像表現層における特徴の数に対応する。第２のシグモイド活性化関数３２２－２は、結果として得られる出力を［０、１］の範囲にマッピングするために使用される。
【0075】
第３の実装はここでも、分岐の統合のために乗算層３２３－１を使用する。しかし、この実装では、乗算層が、第１及び第２の高密度層３２１～４、３２２～１の後に、それらの対応するシグモイド活性化関数を伴って続く。これにより、第１高密度層３２１－４によって予測されるが、作物識別子２０によって表される植物種上には存在しない疾患の活性化を、活性化の要素ごとの乗算を実行することによって、抑制することが可能になる。すなわち、第１の高密度層３２１によって決定された、作物識別子情報と一致しない予測はベクトル２０「０」成分との乗算によって抑制され、その結果、作物識別子２０によって表される作物上で実際に発生する可能性があるそのような疾患については予測Ｐ３のみが残る。換言すれば、図５に示す第３の実装は、図４の第２の実装における活性化の乗算抑制に類似している。しかしながら、この場合、抑制は、代表される植物種上に存在し得ない疾患の活性化を抑制することによって、（第１の高密度層３２１－４及びそのシグモイド活性化関数３２－１５から出てくる）ネットワークの最終的な予測にわたって直接実行される。再び、画像表現層における視覚的特徴表現と、それに続く作物－疾患マッピングとが、共同で学習される。
【0076】
図６Ａ、６Ｂ及び６Ｃは、訓練データセットの一部である入力画像の例を示す。図（破線の太線の上）の上側の画像部分６０２、６１２、６２２は、実際の入力画像に対応するのに対して、画像の下側部分６０１、６１１、６２１は実際の帰属画像において対応する正方形（例えば、６０３、６１３、６２３）によって示されるズーム領域を示す。
【0077】
図６Ａは、小麦のデータセットに含まれる画像上の疾患の例（a)Puccinia recondita、b)Puccinia striiformis、c)Drechslera tritici-repentis、d)Septoria tritici、及び e) Septoria nodorum）。これにより、図６Ａの画像は、疾患の症状を有する植物部分である葉に着目したものである。
【0078】
図６Ｂは、大麦のデータセットに含まれる画像上の疾患の例（a)Pyrenophorateres、b)Ramularia collo-cygni、c)Rhynchosporium secalis、d)Puccinia hordei、rape seed、e)Phoma gamlin、corn、f)Helminthosporium turcicum）。これにより、図６Ｂの画像は、疾患の症状を有する植物部分である葉に着目したものとなる。
【0079】
図６Ｃは、以下のためのデータセットに含まれる画像上の疾患のさらなる例を示す：
・大麦 a)Phoma lingam(stem)
・小麦 b)Gibberella zeae)(円錐花序)、Oculimacula yallundae(茎）
・米 d)Pyricularia oryzae、e)Dirty panicle、f)Thanatephorus cumeris
これにより、図６Ｃの画像は、円錐花序の茎のような疾患症状を有する他の植物部分も含む。
・大麦 a)Phoma lingam(stem)
・小麦 b)Gibberella zeae)(円錐花序)、Oculimacula yallundae(茎）
・米 d)Pyricularia oryzae、e)Dirty panicle、f)Thanatephorus cumeris
これにより、図６Ｃの画像は、円錐花序の茎のような疾患症状を有する他の植物部分も含む。
【0080】
訓練データベースは、図７Ａの表１に定義されたデータセットから作成された。偏りを回避するために、データセットを、訓練のための画像の８０％、検証のための別の１０％、及び試験セットのための最後の１０％に分割した。「Ｃｒｏｐ」欄には、作物の種類が示されている。以下 「ＥＰＰＯ－ＣＯＤＥ」欄のＥＰＰＯコード（以前はバイエルコードとして知られていた）は、農業及び作物保護に重要な生物（すなわち植物、害虫及び病原体を）独自に同定するように設計されたシステムにおいて、欧州及び地中海植物保護機構（ＥＰＰＯ）によって使用されるコード化された識別子である。
【0081】
ＥＰＰＯコードは、科学的及び言語的な名前のデータベースの構成要素である。ＥＰＰＯ－ＣＯＤＥ列のＥＰＰＯコードは、それぞれの作物に関連する。「Ｄｉｓｅａｓｅ ＥＰＰＯコード」欄のＥＰＰＯコードは、「Disease Name(疾患名)」欄の疾患に関連する。列「Total」は、データセット内のそれぞれの特性に対する入力画像の数を示す。
【0082】
同日に撮影された画像が異なる集合に属することを回避するために、画像取得日を分割基準として設定した。データセットに存在するクラス不均衡を説明するために、受信機動作特性（ＲＯＣ）曲線の下の領域（ＡｕＣ）が、最も適切なアルゴリズム性能測定基準として選択された（このような場合、精度の使用は推奨されない）。Johannesら（2017)及びPiconら(2018)で使用されたのと同じ方法論に従って、異なる疾患についての感度、特異性、均衡精度（Balanced accuracy（ＢＡＣ））、陰性予測値（ＮＰＶ）及び陽性予測値（ＰＰＶ）の計算値もまた、検証セット精度を最大にする閾値について提供される。訓練の工程中、Piconら（2018）で提案されているのと同じ訓練パイプライン及びデータ増強スキームに従い、プロセスを詳細に説明した。
【0083】
第１段階の間、ネットワークアーキテクチャのバックボーンは、ImagenetデータセットRussakovskyら（2015ImageNet Large Scale Visual Recognition ChallengeInternational Journal of Computer Vision(IJCV)115,211-252doi:10.1007/s11263-015-0816-y）上で事前訓練されてもよい。この事前訓練されたネットワークは、異なるネットワークトポロジを試験するためのバックボーンネットワークとして機能する。
【0084】
第２段階の間、代替ＣＮＮトポロジ（図３～図５参照）の各々には、全ての共有層について予め訓練された重みがロードされ、それらの重みは凍結されたままに保たれる。最後の高密度層と、作物識別情報の統合に対応する層はランダムに初期化され、この段階で学習中にその重みを修正できる唯一のものである。最後の訓練段階は、前の段階から得られた重みから開始し、全ての層を凍結解除することによってファインチューニングを完了し、これにより、自由で制約のない訓練が可能になる。ネットワークは、１０－４の最初の学習率、１０－６の学習率減衰、０．９の運動量で、確率的勾配降下（ＳＧＤ）最適化を用いて訓練された。第２の訓練段階では、ネットワークが最初に、１００エポックの間、休止を凍結したままで訓練され、その後、完全なネットワークが訓練された。
【0085】
図７Ｂの表２は、（異なる作物と共に訓練されたＲｅｓＮｅｔ５０アーキテクチャで実施された）バックボーン（ベースライン）トポロジのみを使用することによって達成可能な分類精度に関する検証結果を示す。
【0086】
図７Ｃの表３は、バックボーン（ベースライン）トポロジ（従来技術で適用されるように、各作物に対して別々に訓練されたＲｅｓＮｅｔ５０アーキテクチャで実施される）のみを使用することによって達成可能な分類精度に関する検証結果を示す。
【0087】
表２及び３の第１列は、種々の植物疾患のＥＰＰＯコードを示す。ＡｕＣ列は、ＲＯＣ曲線下の面積を示す。これにより、ＲＯＣ曲線（受信者動作特性曲線）は、全ての分類閾値における分類モデルの性能を示すグラフとなる。ＲＯＣ曲線内の点を計算するために、効率的なソーティングベースのアルゴリズムＡＵＣがこの情報を提供するために使用される。ＡＵＣは、（０、０）から（１、１）までのＲＯＣ曲線全体の下の二次元領域全体を測定する。ＡＵＣは、すべての可能な分類しきい値にわたるパフォーマンスの総合的な尺度を提供する。ＡＵＣを解釈する１つの方法は、モデルがランダムな負の例よりも高いランダムな正の例をランク付けする確率としてである。
【0088】
列ＢＡＣは、バランス精度：感度＋特異性／２を示す。これは、ＣＮＮアルゴリズムの性能を測定するための包括的な測定基準である。ＢＡＣ値は、様々なＣＮＮトポロジの性能を比較することを可能にする値である。他の４つの列Ｓｅｎｓ、Ｓｐｅｃ、ＮＰＶ及びＰＰＶは、感度、特異性、陰性予測値及び陽性予測値に関連する（https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2636062/参照）。
【0089】
図７Ｄの表４は、参考文献に記載されているように、図３（全ての作物を一緒に訓練した）に示すように、ＣＮＮトポロジの第１の実装（ＲＥＳＮＥＴ－ＭＣ－１アーキテクチャ）で達成された検証結果を示す。ＲＥＳＮＥＴ－ＭＣ－１は０．９６の平均ＢＡＣ値を得、一方、ベースライン複数作物モデル（表２のＢＡＣの平均）は０．９４の値を達成するのみである。分離モデル（表３参照）を使用した場合のＢＡＣ値は、０．８５にすぎない。言い換えれば、本明細書に開示される拡張ＣＮＮトポロジは、それぞれの作物画像に示される症状に基づいて植物疾患を正確に識別する際に、より良好な性能を達成することができる植物疾患を検出するための代替的な解決策を提供する。
【0090】
図８は汎用コンピュータ装置９００及び汎用モバイルコンピュータ装置９５０の一例を示す図であり、これらは、本明細書で説明される技法とともに使用され得る。計算装置９００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、及び他の適切なコンピュータのような様々な形態のデジタルコンピュータを表すことが意図されている。汎用コンピュータ装置９００は、図１のコンピュータシステム１００に対応することができる。計算装置９５０は、パーソナルデジタルアシスタント、セルラ電話、スマートフォン、及び他の類似の計算装置などの様々な形態のモバイル装置を表すことを意図している。例えば、コンピューティング装置９５０はユーザが試験入力画像を取り込み、それらをそれぞれの作物識別子と共にコンピュータ装置９００に提供し、次いで、コンピュータ装置から疾患予測を受信するためのＧＵＩフロントエンドとして使用されてもよい。それによって、コンピューティング装置９５０は、図１の出力装置５０も含むことができる。ここに示される構成要素、それらの接続及び関係、ならびにそれらの機能は単に例示的であることを意味し、本明細書に記載及び／又は特許請求される本発明の実施を限定することを意味しない。
【0091】
コンピューティング装置９００は、プロセッサ９０２、メモリ９０４、記憶装置９０６、メモリ９０４及び高速拡張ポート９１０に接続する高速インタフェース９０８、ならびに低速バス９１４及び記憶装置９０６に接続する低速インタフェース９１２を含む。構成要素９０２、９０４、９０６、９０８、９１０、及び９１２のそれぞれは、様々なバスを使用して相互接続され、共通のマザーボード上に、又は必要に応じて他の方法で取り付けることができる。プロセッサ９０２は、メモリ９０４又は記憶装置９０６に記憶された命令を含む計算装置９００内で実行するための命令を処理して、高速インタフェース９０８に結合されたディスプレイ９１６などの外部入出力装置上のＧＵＩのグラフィカル情報を表示することができる。他の実装では、複数の処理ユニット及び／又は複数のバスが適宜、複数のメモリ及びタイプのメモリと共に使用されてもよい。また、複数の計算装置９００が接続されてもよく、各装置は必要な演算の一部（例えば、サーババンク、ブレードサーバのグループ、又は処理装置として）を提供する。
【0092】
メモリ９０４は、計算装置９００内に情報を記憶する。一実施形態では、メモリ９０４が揮発性メモリユニットである。別の実施形態では、メモリ９０４は不揮発性メモリユニットである。メモリ９０４は、磁気ディスク又は光ディスクなどの別の形態のコンピュータ可読媒体であってもよい。
【0093】
記憶装置９０６は、コンピューティング装置９００に大容量記憶装置を提供することができる。一実施形態では、記憶装置９０６がフロッピーディスク装置、ハードディスク装置、光ディスク装置、又はテープ装置、フラッシュメモリ又は他の類似のソリッドステートメモリ装置、又は記憶領域ネットワーク内の装置又は他の構成を含む装置のアレイなどの、コンピュータ読み取り可能な媒体であってもよいし、それらを含んでいてもよい。コンピュータプログラム製品は、情報担体において有形に具現化することができる。コンピュータプログラム製品はまた、実行されると、上述したような１つ又は複数の方法を実行する命令を含むことができる。情報キャリアは、メモリ９０４、記憶装置９０６、又はプロセッサ９０２上のメモリのような、コンピュータ又は機械可読媒体である。
【0094】
高速コントローラ９０８は、コンピューティング装置９００のための帯域幅集約型動作を管理し、一方、低速コントローラ９１２は、より低い帯域幅集約型動作を管理する。このような関数の割り当ては、単に例示的なものである。一実施形態では、高速コントローラ９０８がメモリ９０４、ディスプレイ９１６（例えば、グラフィックプロセッサ又はアクセラレータを介して）、及び様々な拡張カード（図示せず）を受け入れることができる高速拡張ポート９１０に結合される。この実施形態では、低速コントローラ９１２が記憶装置９０６及び低速拡張ポート９１４に結合される。様々な通信ポート（例えば、ＵＳＢ、Bluetooth、Ethernet、ワイヤレスEthernet）を含むことができる低速拡張ポートはキーボード、ポインティングデバイス、スキャナ、又はスイッチやルータなどのネットワークデバイスなどの１つ以上の入力／出力デバイスに、例えばネットワークアダプタを介して結合することができる。
【0095】
コンピューティング装置９００は、図に示すように、いくつかの異なる形態で実装することができる。例えば、標準サーバ９２０として、又はこのようなサーバのグループ内で複数回実装することができる。また、ラックサーバシステム９２４の一部として実装することもできる。さらに、ラップトップコンピュータ９２２などのパーソナルコンピュータで実施することもできる。あるいは、コンピューティング装置９００からのコンポーネントが装置９５０などのモバイル装置（図示せず）内の他のコンポーネントと組み合わせることができる。このような装置の各々は１つ以上の計算装置９００、９５０を含むことができ、システム全体は、互いに通信する複数の計算装置９００、９５０で構成されてもよい。
【0096】
コンピューティング装置９５０は、他の構成要素の中でもとりわけ、プロセッサ９５２、メモリ９６４、ディスプレイ９５４などの入出力装置、通信インタフェース９６６、及びトランシーバ９６８を含む。装置９５０は追加の記憶装置を提供するために、マイクロドライブ又は他の装置などの記憶装置を備えることもできる。構成要素９５０、９５２、９６４、９５４、９６６、及び９６８のそれぞれは様々なバスを使用して相互接続され、構成要素のいくつかは共通のマザーボード上に、又は必要に応じて他の方法で実装され得る。
【0097】
プロセッサ９５２は、メモリ９６４に記憶された命令を含む、計算装置９５０内の命令を実行することができる。プロセッサは、別個の複数のアナログ及びデジタル処理ユニットを含むチップのチップセットとして実装されてもよい。プロセッサは例えば、ユーザインタフェースの制御、装置９５０によって実行されるアプリケーション、装置９５０による無線通信など、装置９５０の他の構成要素の調整を提供してもよい。
【0098】
プロセッサ９５２は、ディスプレイ９５４に結合された制御インタフェース９５８及びディスプレイインタフェース９５６を介してユーザと通信することができる。ディスプレイ９５４は例えば、ＴＦＴ ＬＣＤ（薄膜－トランジスタ液晶ディスプレイ）又はＯＬＥＤ（有機発光ダイオード）ディスプレイ、又は他の適切なディスプレイ技術であってもよい。ディスプレイインタフェース９５６は、グラフィカル情報及び他の情報をユーザに提示するためにディスプレイ９５４を駆動するための適切な回路を備えることができる。制御インタフェース９５８はユーザからコマンドを受信し、それらをプロセッサ９５２への送信のために変換することができる。さらに、プロセッサ９５２と通信する外部インタフェース９６２が、装置９５０と他の装置との領域近傍通信を可能にするために提供されてもよい。外部インタフェース９６２は例えば、ある実装では有線通信、他の実装では無線通信を提供してもよく、複数のインタフェースが使用されてもよい。
【0099】
メモリ９６４は、計算装置９５０内に情報を記憶する。メモリ９６４は、コンピュータ読み取り可能な媒体又は媒体、揮発性メモリユニット又はユニット、又は不揮発性メモリユニット又はユニットのうちの１つ又は複数として実現することができる。拡張メモリ９８４はまた、例えばＳＩＭＭ(Single In Line Memory Module)カードインタフェースを含んでもよい拡張インタフェース９８２を介して装置９５０に提供され、接続されてもよい。このような拡張メモリ９８４は装置９５０のための余分な記憶スペースを提供することができ、又は装置９５０のためのアプリケーション又は他の情報を記憶することもできる。具体的には、拡張メモリ９８４が上述のプロセスを実行又は補足するための命令を含むことができ、セキュア情報も含むことができる。したがって、例えば、拡張メモリ９８４は装置９５０のセキュリティモジュールとして機能し、装置９５０の安全な使用を可能にする命令を用いてプログラムすることができる。さらに、ＳＩＭＭカード上に識別情報をハッキング不能に配置するなどの追加情報と共に、ＳＩＭＭカードを介してセキュアアプリケーションを提供することができる。
【0100】
メモリは例えば、以下に論じるように、フラッシュメモリ及び／又はＮＶＲＡＭメモリを含み得る。一実施形態では、コンピュータプログラム製品が情報担体において有形に具現化される。コンピュータプログラム製品は、実行されると、上述したような１つ以上の方法を実行する命令を含む。情報キャリアはメモリ９６４、拡張メモリ９８４、又はプロセッサ９５２上のメモリのような、コンピュータ又はマシン読み取り可能な媒体であり、例えば、トランシーバ９６８又は外部インタフェース９６２を介して受信することができる。
【0101】
装置９５０は、必要に応じてデジタル信号処理回路を含むことができる通信インタフェース９６６を介して無線で通信することができる。通信インタフェース９６６は、ＧＳＭ音声通話、ＳＭＳ、ＥＭＳ、又はＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、又はＧＰＲＳなど、様々なモード又はプロトコルの下での通信を提供することができる。このような通信は例えば、無線周波数トランシーバ９６８を介して行うことができる。さらに、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）、又は他のそのようなトランシーバ（図示せず）を使用するなど、短距離通信が行われ得る。さらに、ＧＰＳ(Global Positioning System)受信機モジュール９８０は、装置９５０上で実行されるアプリケーションによって適切に使用され得る、追加のナビゲーション及びロケーション関連ワイヤレスデータを装置９５０に提供し得る。
【0102】
装置９５０はまた、音声コーデック９６０を使用して音声で通信してもよく、音声コーデックはユーザから音声情報を受信し、それを使用可能なデジタル情報に変換してもよい。音声コーデック９６０は同様に、例えば、装置９５０のハンドセット内のスピーカを介するなどして、ユーザのための可聴音を生成することができる。このような音は音声通話からの音を含むことができ、録音された音（例えば、音声メッセージ、音楽ファイルなど）を含むことができ、装置９５０上で動作するアプリケーションによって生成される音を含むこともできる。
【0103】
コンピューティング装置９５０は図に示すように、いくつかの異なる形態で実装することができる。例えば、携帯電話９８０として実装されてもよい。また、スマートフォン９８２、パーソナルデジタルアシスタント、又は他の同様のモバイル装置の一部として実装されてもよい。
【0104】
本明細書で説明するシステム及び技法の様々な実装形態は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組合せで実現することができる。これらの様々な実装形態は記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、それらにデータ及び命令を送信するように結合された、特殊目的又は汎用であり得る少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能及び／又は解釈可能な１つ又は複数のコンピュータプログラムでの実装形態を含むことができる。
【0105】
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション又はコードとも呼ばれる）はプログラマブルプロセッサのための機械命令を含み、高レベルの手続き型及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械語で実現することができる。本明細書で使用されるように、用語「機械可読媒体」及び「コンピュータ可読媒体」は、機械可読信号として機械命令を受信する機械可読媒体を含む、プログラマブルプロセッサに機械命令及び／又はデータを提供するために使用される任意のコンピュータプログラム製品、装置及び／又はデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理デバイス（ＰＬＤ））を指す。「機械可読信号」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。
【0106】
ユーザとの対話を提供するために、本明細書で説明するシステム及び技法は、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがコンピュータに入力を提供することができるキーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有するコンピュータ上で実施することができる。他の種類の装置も、ユーザとの対話を提供するために使用することができ、たとえば、ユーザに提供されるフィードバックは任意の形態の感覚フィードバック（たとえば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）とすることができ、ユーザからの入力は、音響入力、音声入力、又は触覚入力を含む任意の形態で受信することができる。
【0107】
ここに記載されるシステム及び技法は、バックエンド構成要素（例えば、データサーバとして）を含むか、又はミドルウェア構成要素（例えば、アプリケーションサーバ）を含むか、又はフロントエンド構成要素（例えば、グラフィカルユーザインタフェースを有するクライアントコンピュータ、又はユーザがここに記載されるシステム及び技法の実装と対話することができるウェブブラウザ）を含むコンピューティング装置、又はこのようなバックエンド、ミドルウェア、又はフロントエンド構成要素の任意の組み合わせで実現することができる。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及びインターネットがある。
【0108】
コンピューティングデバイスには、クライアントとサーバを含めることができる。クライアントとサーバは一般に、互いに離れた場所にあり、典型的には、通信ネットワークを介して相互作用する。クライアントとサーバの関係は、それぞれのコンピュータ上で実行され、互いにクライアント／サーバ関係を有するコンピュータプログラムのおかげで生じる。
【0109】
多数の実施形態が記載されているが、それでも、様々な修正が本発明の精神及び範囲から逸脱することなく行われることは理解されるだろう。さらに、図に示された論理フローは、望ましい結果を達成するために、示された特定の順序、又は順序を必要としない。加えて、説明されたフローから、他のステップが提供されてもよく、又はステップが排除されてもよく、説明されたシステムに他の構成要素が追加されてもよく、又は説明されたシステムから他の構成要素が排除されてもよい。したがって、他の態様は特許請求の範囲の範囲内にある。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図7C】
【図7D】
【図8】