特開 2024-141768 農作物の状態を推定する方法、装置、およびコンピュータープログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024141768

(43)【公開日】2024-10-10

(54)【発明の名称】農作物の状態を推定する方法、装置、およびコンピュータープログラム

(51)【国際特許分類】

   G06V 10/82 20220101AFI20241003BHJP

   G06T 7/00 20170101ALI20241003BHJP

   G06V 10/46 20220101ALI20241003BHJP

   G06Q 50/02 20240101ALI20241003BHJP

   G06N 20/00 20190101ALI20241003BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

G06V10/46

G06Q50/02

G06N20/00 130

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023053588

(22)【出願日】2023-03-29

(71)【出願人】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】望月 隆史

【テーマコード（参考）】

5L049

5L050

5L096

【Ｆターム（参考）】

5L049CC01

5L050CC01

5L096CA02

5L096GA19

5L096HA11

5L096KA04

5L096KA15

5L096MA07

(57)【要約】

【課題】農作物の状態を推定する技術を提供する。
【解決手段】農作物の状態を推定する方法は、農作物が第１状態を示す第１時期に農作物を撮像した第１農作物画像と、同一の農作物が第２状態を示す第１時期よりも後の第２時期で同一の農作物を撮像した第２農作物画像と、を取得する学習画像取得工程と、第１状態を示す第１ラベルを関連付けた第１農作物画像と、第２状態を示す第２ラベルを関連付けた第２農作物画像とをそれぞれ教師データとして、機械学習モデルの学習を実行して学習済み機械学習モデルを生成するモデル生成工程と、農作物と同種の評価農作物を撮像した第３農作物画像を取得する評価画像取得工程と、第３農作物画像を学習済み機械学習モデルに入力してクラス判別を行い、クラス判別の結果に応じて評価農作物の状態を推定する推定工程とを備える。
【選択図】図１１

【特許請求の範囲】

【請求項1】

農作物の状態を推定する方法であって、
前記農作物が第１状態を示す第１時期に前記農作物を撮像した第１農作物画像と、同一の前記農作物が第２状態を示す前記第１時期よりも後の第２時期で前記同一の前記農作物を撮像した第２農作物画像と、を取得する学習画像取得工程と、
前記第１状態を示す第１ラベルを関連付けた前記第１農作物画像と、前記第２状態を示す第２ラベルを関連付けた前記第２農作物画像とをそれぞれ教師データとして、機械学習モデルの学習を実行して学習済み機械学習モデルを生成するモデル生成工程と、
前記農作物と同種の評価農作物を撮像した第３農作物画像を取得する評価画像取得工程と、
前記第３農作物画像を前記学習済み機械学習モデルに入力してクラス判別を行い、前記クラス判別の結果に応じて前記評価農作物の状態を推定する推定工程と、を備える、方法。

【請求項2】

請求項１に記載の方法であって、
前記第１状態は、前記農作物が収穫できる状態よりも前の状態である成長前状態を示し、
前記第２状態は、前記農作物が収穫できる状態である成長後状態を示し、
前記推定工程は、前記クラス判別の結果が前記第１ラベルである場合には、前記評価農作物の状態を生育に異常が生じている生育異常状態であると推定する、方法。

【請求項3】

請求項１に記載の方法であって、
前記評価画像取得工程は、時系列に複数の前記第３農作物画像を取得する工程を含み、
前記第１状態は、前記農作物が収穫できる状態よりも前の状態である成長前状態を示し、
前記第２状態は、前記農作物が収穫できる状態である成長後状態を示し、
前記推定工程は、前記複数の第３農作物画像をそれぞれ前記学習済み機械学習モデルに入力してクラス判別を行い、少なくとも時系列に２以上並んだ前記第３農作物画像のそれぞれの前記クラス判別の結果が前記第１ラベルである場合には、前記評価農作物の状態を生育に異常が生じている生育異常状態であると推定する、方法。

【請求項4】

請求項１に記載の方法であって、
前記評価画像取得工程は、時系列に複数の前記第３農作物画像を取得する工程を含み、
前記推定工程は、前記複数の第３農作物画像をそれぞれ前記学習済み機械学習モデルに入力してクラス判別を行い、前記複数の第３農作物画像に応じた前記クラス判別の結果を用いて、予め定めた状態が発生した時期を推定する、方法。

【請求項5】

請求項４に記載の方法であって、
前記予め定めた状態は、前記第２状態に関連した状態であり、
前記推定工程は、前記複数の第３農作物画像に応じた前記クラス判別の結果において、前記第２ラベルであると前記クラス判別が成された前記第３農作物画像のうちで、最も早い時期に撮像された特定時期を特定し、前記特定時期を用いて前記予め定めた状態が発生した時期を推定する、方法。

【請求項6】

請求項５に記載の方法であって、
前記推定工程は、前記特定時期を前記予め定めた状態が発生した時期であると推定する、方法。

【請求項7】

請求項１に記載の方法であって、
前記学習画像取得工程は、
前記第１農作物画像および前記第２農作物画像のそれぞれに対応した撮像領域よりも広い主領域であって、前記農作物が位置する主領域の前記農作物を撮像して第１主農作物画像および第２主農作物画像を取得する工程と、
前記第１主農作物画像と前記第２主農作物画像のそれぞれを予め定めたパッチサイズで分割して、複数の前記第１農作物画像および複数の前記第２農作物画像を生成する工程と、を備える、方法。

【請求項8】

請求項１に記載の方法であって、
前記推定工程は、
前記クラス判別の寄与の程度を示すヒートマップを生成する工程と、
前記ヒートマップを前記第３農作物画像に重畳することで推定画像を生成する工程と、を有する、方法。

【請求項9】

農作物の状態を推定する装置であって、
前記農作物が第１状態を示す第１時期に前記農作物を撮像した第１農作物画像と、同一の前記農作物が第２状態を示す前記第１時期よりも後の第２時期で前記同一の前記農作物を撮像した第２農作物画像と、を取得する学習画像取得部と、
前記第１状態を示す第１ラベルを関連付けた前記第１農作物画像と、前記第２状態を示す第２ラベルを関連付けた前記第２農作物画像とをそれぞれ教師データとして、機械学習モデルの学習を実行して学習済み機械学習モデルを生成するモデル生成部と、
前記農作物と同種の評価農作物を撮像した第３農作物画像を取得する評価画像取得部と、
前記第３農作物画像を前記学習済み機械学習モデルに入力してクラス判別を行い、前記クラス判別の結果に応じて前記評価農作物の状態を推定する推定部と、を備える、装置。

【請求項10】

農作物の状態をコンピューターに推定させるためのコンピュータープログラムであって、
前記農作物が第１状態を示す第１時期に前記農作物を撮像した第１農作物画像と、同一の前記農作物が第２状態を示す前記第１時期よりも後の第２時期で前記同一の前記農作物を撮像した第２農作物画像と、を取得する学習画像取得機能と、
前記第１状態を示す第１ラベルを関連付けた前記第１農作物画像と、前記第２状態を示す第２ラベルを関連付けた前記第２農作物画像とをそれぞれ教師データとして、機械学習モデルの学習を実行して学習済み機械学習モデルを生成するモデル生成機能と、
前記農作物と同種の評価農作物を撮像した第３農作物画像を取得する評価画像取得機能と、
前記第３農作物画像を前記学習済み機械学習モデルに入力してクラス判別を行い、前記クラス判別の結果に応じて前記評価農作物の状態を推定する推定機能と、をコンピューターに実行させる、コンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、農作物の状態を推定する技術に関する。

【背景技術】

【0002】

従来、機械学習モデルに苗の画像を入力することで、育苗する苗の育成の良否を判別する技術が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７－８７０５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術では、機械学習モデルを学習させるために、育成が良い苗の画像と、育成が悪い苗の画像とをそれぞれ教師データとして大量に準備する必要がある。これにより、教師データを準備する時間が長時間となるので、学習済み機械学習モデルを生成するまでの時間が長くなる場合が生じ得る。なお、上記の課題は、苗の育成を判別するための技術に関わらず、農作物の状態を推定する技術に共通する。

【課題を解決するための手段】

【0005】

本開示の第１形態によれば、農作物の状態を推定する方法が提供される。この方法は、前記農作物が第１状態を示す第１時期に前記農作物を撮像した第１農作物画像と、同一の前記農作物が第２状態を示す前記第１時期よりも後の第２時期で前記同一の前記農作物を撮像した第２農作物画像と、を取得する学習画像取得工程と、前記第１状態を示す第１ラベルを関連付けた前記第１農作物画像と、前記第２状態を示す第２ラベルを関連付けた前記第２農作物画像とをそれぞれ教師データとして、機械学習モデルの学習を実行して学習済み機械学習モデルを生成するモデル生成工程と、前記農作物と同種の評価農作物を撮像した第３農作物画像を取得する評価画像取得工程と、前記第３農作物画像を前記学習済み機械学習モデルに入力してクラス判別を行い、前記クラス判別の結果に応じて前記評価農作物の状態を推定する推定工程と、を備える。

【0006】

本開示の第２形態によれば、農作物の状態を推定する装置が提供される。この装置は、前記農作物が第１状態を示す第１時期に前記農作物を撮像した第１農作物画像と、同一の前記農作物が第２状態を示す前記第１時期よりも後の第２時期で前記同一の前記農作物を撮像した第２農作物画像と、を取得する学習画像取得部と、前記第１状態を示す第１ラベルを関連付けた前記第１農作物画像と、前記第２状態を示す第２ラベルを関連付けた前記第２農作物画像とをそれぞれ教師データとして、機械学習モデルの学習を実行して学習済み機械学習モデルを生成するモデル生成部と、前記農作物と同種の評価農作物を撮像した第３農作物画像を取得する評価画像取得部と、前記第３農作物画像を前記学習済み機械学習モデルに入力してクラス判別を行い、前記クラス判別の結果に応じて前記評価農作物の状態を推定する推定部と、を備える。

【0007】

本開示の第３形態によれば、農作物の状態をコンピューターに推定させるためのコンピュータープログラムであって、前記農作物が第１状態を示す第１時期に前記農作物を撮像した第１農作物画像と、同一の前記農作物が第２状態を示す前記第１時期よりも後の第２時期で前記同一の前記農作物を撮像した第２農作物画像と、を取得する学習画像取得機能と、前記第１状態を示す第１ラベルを関連付けた前記第１農作物画像と、前記第２状態を示す第２ラベルを関連付けた前記第２農作物画像とをそれぞれ教師データとして、機械学習モデルの学習を実行して学習済み機械学習モデルを生成するモデル生成機能と、前記農作物と同種の評価農作物を撮像した第３農作物画像を取得する評価画像取得機能と、前記第３農作物画像を前記学習済み機械学習モデルに入力してクラス判別を行い、前記クラス判別の結果に応じて前記評価農作物の状態を推定する推定機能と、をコンピューターに実行させる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態の農作物の状態を推定する推定システムを示す図。

【図2】記憶装置を説明するための図。

【図3】機械学習モデルを説明するための図。

【図4】推定装置が実行する推定方法のフローチャートを示す図。

【図5】ステップＳ１０の詳細フローチャートを示す図。

【図6】第１主農作物画像を示す図。

【図7】第２主農作物画像を示す図。

【図8】ステップＳ１１４を説明するための図。

【図9】図４に示すステップＳ２０を説明するための図。

【図10】図４に示すステップＳ５０を説明するための図。

【図11】図４に示すステップＳ７０の詳細フローチャートを示す図。

【図12】推定画像を示す図。

【図13】第２実施形態の推定方法を示すフローチャートを示す図。

【図14】図１３のステップＳ７０ａの詳細フローチャートを示す図。

【図15】図１４のステップ７６ａの具体例を説明するための図。

【図16】第３実施形態の教師データ群を示す図。

【図17】第３実施形態における推定工程のフローチャートを示す図。

【図18】図１７のステップＳ７６ｂとステップＳ７７を説明するための図。

【発明を実施するための形態】

【0009】

Ａ．第１実施形態：
図１は、第１実施形態の農作物の状態を推定する推定システム１００を示す図である。図２は、記憶装置５０を説明するための図である。図３は、機械学習モデル５２を説明するための図である。農作物は、実などの収穫対象物と、葉や枝などの収穫対象物に関連する関連物とを含む。

【0010】

図１に示す推定システム１００は、農作物の状態を推定する推定装置２０と、撮像装置９０とを備える。推定装置２０と撮像装置９０とは、有線や無線によるデータ送受信や、外部記憶装置を介してデータ送受信が可能である。撮像装置９０は、可視光領域の波長の光を検出して画像を形成するカメラである。カメラによって取得された画像は、モノクロ画像であってもよいしカラー画像であってもよい。なお、撮像装置９０は上記のカメラに限定されるものではなく、例えば、ＮＤＶＩ（正規化植生指数：Normalized Difference Vegetation Index）を示す画像を取得できるカメラや、可視光以外の波長の光を検出して画像を形成するカメラであってもよい。

【0011】

推定装置２０は、パーソナルコンピューターなどの電子計算機である。推定装置２０は、農作物であるブドウの葉の状態について、後述する学習済み機械学習モデルを用いてクラス判別して、クラス判別の結果に応じてブドウの葉の状態を推定する。具体的には、推定装置２０は、ブドウの葉の状態をクラス判別し、クラス判別の結果に応じて、ブドウの葉の生育に異常が生じている生育異常状態と、ブドウの葉の生育に異常が生じていない生育正常状態とのいずれかの状態を推定する。例えば、ブドウの葉の生育に異常が生じている場合は、ブドウの果実に栄養が行きわたらず、ブドウの果実の品質に悪影響を及ぼす可能性が高い。よって、本実施形態では、ブドウの葉の生育の状態を推定することで、ブドウの果実の品質を評価できる。

【0012】

推定装置２０は、プロセッサー３０と、記憶装置５０と、入力部６０と、表示部７０とを備える。プロセッサー３０は、記憶装置５０に記憶された各種プログラムを実行することで、推定装置２０の動作を制御する。プロセッサー３０の詳細な機能は後述する。入力部６０は、ユーザーからの入力を受け付ける。入力部６０は、例えば、キーボードであったりマウスであったりタッチパネル式モニターであったりする。表示部１６０は、各種情報を表示する。表示部１６０は、例えば、液晶モニターである。

【0013】

記憶装置５０は、ＲＡＭやＲＯＭなどのメモリーにより構成されている。図２に示すように、記憶装置５０は、農作物の状態を推定するために用いる機械学習モデル５２と、機械学習モデル５２の学習に用いる教師データ群ＬＩＭＧと、評価対象画像群ＥＩＭＧと、プロセッサー３０によって実行される各種プログラム５８とを記憶する。評価対象画像群ＥＩＭＧは、学習された後の学習済み機械学習モデル５２に入力されることで農作物の状態を推定する対象となる複数の評価対象画像によって構成されている。

【0014】

図３に示すように、本実施形態の機械学習モデル５２は、アルゴリズムとして畳み込みニューラルネットワークを用いている。機械学習モデル５２は、入力された画像ＩＭをクラス判別する。機械学習モデル５２は、入力層Ｌｙ１と、中間層Ｌｙ２と、出力層Ｌｙ３とを備える。入力層Ｌｙ１は、推定対象の画像ＩＭが入力される層である。中間層Ｌｙ２は、入力層Ｌｙ１から伝達されるデータに基づいて画像ＩＭの特徴量を抽出して後段の層へ出力する層である。出力層Ｌｙ３は、クラス判別の結果を出力する層である。中間層Ｌｙ２は、１つであってもよいし、複数であってもよい。また、他の実施形態では、機械学習モデル５２は、クラス判別を行うことができれば他のアルゴリズムを用いてもよく、例えばランダムフォレストであってもよい。

【0015】

図２に示す教師データ群ＬＩＭＧは、機械学習モデル５２の学習に用いられる。教師データ群ＬＩＭＧは、学習画像と学習画像に関連付けられたラベルとを有する教師データＬＩＭを複数有する。教師データ群ＬＩＭＧの詳細は後述する。評価対象画像群ＥＩＭＧは、学習済み機械学習モデル５２によってクラス判別される対象となるデータの集合である。評価対象画像群ＥＩＭＧが有する評価対象画像は、撮像装置９０によって農作物を撮像した画像を元に生成された画像であり、本実施形態ではブドウの葉が撮像されている。教師データ群ＬＩＭＧの詳細については後述する。

【0016】

図１に示すように、プロセッサー３０は、記憶装置５０に記憶された各種プログラム５８を実行することで、画像取得部３２と、画像処理部４０と、モデル生成部４１と、推定部４２と、ヒートマップ生成部４４と、表示制御部４６として機能する。

【0017】

画像取得部３２は、撮像装置９０によって撮像された画像を取得する。取得した画像は記憶装置５０に記憶される。画像取得部３２は、学習画像取得部３４と評価画像取得部３６とを有する。学習画像取得部３４は、機械学習モデル５２の学習に用いられる学習画像の元となる学習原画像を取得する。評価画像取得部３６は、学習済み機械学習モデル５２に入力されてクラス判別される評価対象画像の元となる評価原画像を取得する。

【0018】

画像処理部４０は、画像の一部を抽出する抽出処理や、２つの画像を重ね合わせる重畳処理などの画像処理を行う。画像処理部４０は、例えば、学習原画像を画像処理して複数の学習画像を生成したり、評価原画像を画像処理して複数の評価対象画像を生成したりする。複数の学習画像はそれぞれラベルが関連付けられて教師データを構成する。

【0019】

モデル生成部４１は、学習前の機械学習モデル５２に教師データ群ＬＩＭＧの複数の教師データＬＩＭを入力して機械学習モデル５２の学習を実行する。

【0020】

推定部４２は、学習済み機械学習モデル５２に評価対象画像群ＥＩＭＧが有する評価対象画像を入力して出力層Ｌｙ３から出力されたクラス判別の結果に応じて評価農作物であるブドウの葉の状態を推定する。本実施形態では、推定部４２は、評価農作物であるブドウの葉について、生育に異常が生じていない生育良好状態と、生育に異常が生じている生育異常状態とのいずれかの状態であると推定する。

【0021】

ヒートマップ生成部４４は、学習済み機械学習モデル５２でクラス判別を実行した場合において、クラス判別の寄与の程度を示すヒートマップを生成する。ヒートマップ生成部４４は、例えば、Ｇｒａｄ－ＣＡＭによる手法を用いてヒートマップを生成する。

【0022】

表示制御部４６は、表示部７０の動作を制御する。表示制御部４６は、例えば、評価対象画像や、学習済み機械学習モデル５２によるクラス判別の結果や、推定部４２による推定結果を表示する。

【0023】

図４は、推定装置２０が実行する推定方法のフローチャートを示す図である。まず、プロセッサー３０は、ステップＳ１０において、学習画像を取得する工程を実行する。次いでプロセッサー１０はステップＳ２０において、取得された学習画像にラベルを関連付けて教師データＬＩＭを生成する。なお、学習画像にラベルを関連付ける作業は、ユーザーが行ってもよい。この場合、プロセッサー１０は、ユーザーによって学習画像にラベルが関連付けられて生成された複数の教師データＬＩＭの入力を受け付けて、記憶装置５０に教師データ群ＬＩＭＧとして記憶させることでステップＳ２０を実行する。

【0024】

次いで、ステップＳ３０において、プロセッサー３０は教師データ群ＬＩＭＧの教師データＬＩＭを順次、機械学習モデル５２に入力することで機械学習モデル５２の学習を実行する。次いでプロセッサー１０は、ステップＳ５０において、評価対象画像を取得する評価対象取得工程を実行する。評価対象画像は、学習済み機械学習モデル５２によってクラス判別することで評価する対象となる画像であり、学習画像として撮像された農作物の葉と同種の評価農作物の葉の画像である。同種の農作物とは、種類が同じ農作物であれば、品種が同じであっても異なっていてもよい。同種の評価農作物とは、例えば、同じ農園で育成されている次シーズンの同じ品種や異なる品種のブドウであったり、異なる農園で育成されている同じ品種や異なる品種のブドウであったりする。ステップＳ５０の次に、プロセッサー３０は、農作物であるブドウの状態を推定する推定工程を実行する。

【0025】

図５は、ステップＳ１０の詳細フローチャートを示す図である。図６は、第１主農作物画像を示す図である。図７は、第２主農作物画像を示す図である。図８は、ステップＳ１１４を説明するための図である。図９は、図４に示すステップＳ２０を説明するための図である。なお、図８以上における農作物の画像は簡略化するためにハッチングを付して模式的に表している。

【0026】

図５に示すように、学習画像取得部３４および画像処理部４０は、ステップＳ１１２において撮像装置９０によって撮像された第１主農作物画像ＩＭｐ１を取得する。第１主農作物画像ＩＭｐ１は、農作物であるブドウの葉が第１状態を示す第１時期にブドウの葉を撮像した画像である。第１状態は、ブドウを収穫できる状態よりも前の状態である成長前状態である。例えば、第１状態は、芽が出始めて葉の成長途中の状態である。例えば、第１状態は、５月～７月のいずれかの時期におけるブドウの葉の状態である。第１主農作物画像ＩＭｐ１に対応する主領域ＭＲは、学習画像である後述する第１農作物画像に対応する領域よりも広い。図６に示すように、第１主農作物画像ＩＭｐ１は、所定位置に設置された撮像装置９０によって複数のブドウの葉を含む農園を撮像した全体画像ＩＭＷから、ブドウの葉が主に撮像された主領域ＭＲを抽出した画像である。第１主農作物画像ＩＭｐ１には、ブドウの葉の画像が複数、すなわち大量に存在する。農園を撮像した学習原画像としての全体画像ＩＭＷには、ブドウ以外の画像である風景や建物などの他オブジェクトが含まれる場合がある。この場合、画像処理部４０は、学習画像取得部３４によって取得された全体画像ＩＭＷから所定の主領域ＭＲを抽出し、主領域の画像を第１主農作物画像ＩＭｐ１として生成することで取得する。取得された第１主農作物画像ＩＭｐ１は、記憶装置５０に記憶される。

【0027】

ステップＳ１１２の次に、学習画像取得部３４および画像処理部４０は、ステップＳ１１４において撮像装置９０によって撮像された第２主農作物画像ＩＭｐ２を取得する。図７に示すように第２主農作物画像ＩＭｐ２は、第１主農作物画像ＩＭｐ１と同じブドウの葉であって第２状態を示すブドウの葉を撮像した画像である。第２状態は、第１状態とは異なる状態であり、第１時期よりも後の第２時期のブドウの葉の状態である。本実施形態では、第２状態は、農作物であるブドウが収穫できる状態である成長後状態を示す。例えば、第２状態は、８月～１０月のいずれかの時期におけるブドウの状態である。なお、第２主農作物画像ＩＭｐ２は、第１主農作物画像ＩＭｐ１と同じように所定位置に設置された撮像装置９０によって撮像した学習原画像である全体画像ＩＭＷから、所定の主領域ＭＲを抽出することで生成される。第２主農作物画像ＩＭｐ２には、ブドウの葉の画像が複数、すなわち大量に存在する。なお、第１主農作物画像ＩＭｐ１と第２主農作物画像ＩＭｐ２とを区別することなく用いる場合には、主農作物画像ＩＭｐと呼ぶ。また、本実施形態では、第１主農作物画像ＩＭｐ１と第２主農作物画像ＩＭｐ２のそれぞれのサイズは、１２４０×１０４画素である。

【0028】

図５に示すように、ステップＳ１１４の次にステップＳ１１６において、画像処理部４０は、ステップＳ１１２によって取得した第１主農作物画像ＩＭｐ１を分割して複数の第１農作物画像を生成する。またステップＳ１１６において、画像処理部４０は、ステップＳ１１４によって取得した第２主農作物画像ＩＭｐ２を分割して複数の第２農作物画像を生成する。画像処理部４０は、生成した複数の第１農作物画像および複数の第２農作物画像を記憶装置５０に記憶する。

【0029】

図８に示すように、ステップＳ１１６において、画像処理部４０は、主農作物画像ＩＭｐを予め定めたパッチサイズで分割して、複数のパッチ画像としての複数の農作物画像ＰＩＭを切り出すことで、農作物画像ＰＩＭを生成する。切り出された複数の農作物画像ＰＩＭは記憶装置５０に記憶される。本実施形態において、切り出す領域ＰＲのパッチサイズＰＳは３２×３２画素である。また画像処理部４０は切り出す領域ＰＲを４画素ずつずらしながら、画像を切り出す。なお、パッチサイズＰＳの大きさは上記に限定されるものではないが、切り出した画像のそれぞれに、機械学習モデル５２の学習対象となるブドウの葉の画像が少なくとも１つ以上含んでいる程度の大きさであることが好ましい。農作物画像ＰＩＭのうちで、第１主農作物画像ＩＭｐ１を用いて生成された画像を第１農作物画像ＰＩＭａと呼び、第２主農作物画像ＩＭｐ２を用いて生成された画像を第２農作物画像ＰＩＭｂと呼ぶ。また、複数の第１農作物画像ＰＩＭａのそれぞれや、複数の第２農作物画像ＰＩＭｂのそれぞれを区別する場合には、末尾に数字を付す。以上のように、図５に示すステップＳ１１６は、第１主農作物画像ＩＭｐ１と第２主農作物画像ＩＭｐ２のそれぞれを予め定められたパッチサイズＰＳで分割して、複数の第１農作物画像ＰＩＭａおよび複数の第２農作物画像ＰＩＭｂを生成する工程である。複数の第１農作物画像ＰＩＭａおよび複数の第２農作物画像ＰＩＭｂは、機械学習モデル５２を学習するための学習画像として用いられる。第１主農作物画像ＩＭｐ１および第２主農作物画像ＩＭｐ２は、上述のごとく同じブドウの葉についての成長前後の画像である。また上述のごとく、第１農作物画像ＰＩＭａと第２農作物画像ＰＩＭｂとはそれぞれ、同一のブドウの葉を撮像した画像である。

【0030】

以上から理解できるように、図５に示すステップＳ１１２およびステップＳ１１４は、後述する第１農作物画像ＰＩＭａおよび第２農作物画像ＰＩＭｂのそれぞれに対応した撮像領域であるパッチサイズＰＳよりも広い主領域ＭＲであって、農作物であるブドウの葉が位置する主領域ＭＲのブドウの葉を撮像して第１主農作物画像ＩＭｐ１および第２主農作物画像ＩＭｐ２を取得する工程である。

【0031】

図９に示すように、教師データ群ＬＩＭＧについて、学習画像としての第１農作物画像ＰＩＭａおよび第２農作物画像ＰＩＭｂは、ラベルＬＢを関連付けることで教師データＬＩＭを構成する。ラベルの関連付けは、予め定めたラベルアルゴリズムによってプロセッサー３０が行ってもよい。プロセッサー３０は、第１時期に撮像された第１主農作物画像ＩＭｐ１を切り出して生成した第１農作物画像ＰＩＭａに対して第１状態を示す第１ラベルＬ１を関連付ける。またプロセッサー３０は、第２時期に撮像された第２主農作物画像ＩＭｐ２を切り出して生成した第２農作物画像ＰＩＭｂに対して第２状態を示す第２ラベルＬ２を関連付ける。なお、ラベルＬ１，Ｌ２を関連付ける作業は、プロセッサー３０に代えてユーザーが行ってもよい。

【0032】

モデル生成部４１は、図４に示すステップＳ３０において、教師データ群ＬＩＭＧが有する複数の教師データＬＩＭを機械学習モデル５２に入力して、出力層Ｌｙ３のクラス判別結果がラベルＬ１，Ｌ２を再現するように、機械学習モデル５２のパラメーターを調整する。これにより、モデル生成部４１は、ステップＳ３０において機械学習モデル５２の学習を実行する。すなわち、モデル生成部４１は、第１状態を示す第１ラベルＬ１を関連付けた第１農作物画像ＰＩＭａと、第２状態を示す第２ラベルＬ２を関連付けた第２農作物画像ＰＩＭｂとをそれぞれ教師データＬＩＭとして、機械学習モデル５２の学習を実行して学習済み機械学習モデル５２を生成する。

【0033】

図１０は、図４に示すステップＳ５０を説明するための図である。ステップＳ５０において取得される評価対象画像としての第３農作物画像ＥＩＭは、図８に示すような第１農作物画像ＰＩＭａや第２農作物画像ＰＩＭｂと同様の方法で取得される。つまり、まず評価画像取得部３６は、農作物画像ＰＩＭが表す農作物と同種の評価農作物であるブドウの葉を含む農園を撮像した全体画像ＩＭＷを取得する。そして、画像処理部４０は、全体画像ＩＭＷから、ブドウの葉が主に撮像された主領域ＭＲを抽出した画像である第３主農作物画像ＥＩＭｐを生成する。次に画像処理部４０は、第３主農作物画像ＥＩＭｐを予め定めたパッチサイズＰＳで分割して、複数のパッチ画像としての複数の第３農作物画像ＥＩＭを切り出すことで、第３農作物画像ＥＩＭを生成する。切り出された複数の第３農作物画像ＥＩＭは記憶装置５０に記憶される。第３農作物画像ＥＩＭに関連する主領域ＭＲの大きさやパッチサイズＰＳやパッチサイズＰＳに応じた切り出し領域ＰＲは、第１農作物画像ＰＩＭａおよび第２農作物画像ＰＩＭｂに関連する主領域ＭＲやパッチサイズＰＳと同じである。本実施形態では、第３主農作物画像ＥＩＭｐのサイズは、１２４０×１０４画素である。また、第３農作物画像ＥＩＭについて、切り出す領域ＰＲのパッチサイズＰＳは３２×３２画素である。また第３農作物画像ＥＩＭについて、画像処理部４０は切り出す領域ＰＲを４画素ずつずらしながら、画像を切り出す。複数の第３農作物画像ＥＩＭを区別して用いる場合には末尾に数字を付す。

【0034】

ステップＳ５０において、画像処理部４０は、生成した複数の第３農作物画像ＥＩＭに対して付加情報ＡＩを関連付ける。付加情報は、例えば、第３主農作物画像ＥＩＭｐ中における位置を特定するための位置情報である。位置情報は、例えば、３２×３２画素のうちの特定の画素における座標位置である。この位置情報は、第３農作物画像ＥＩＭを元に生成されたヒートマップを、第３主農作物画像ＥＩＭｐに重畳させる場合に利用される。以上のように、ステップＳ５０は、第１農作物画像ＰＩＭａおよび第２農作物画像ＰＩＭｂの撮像元である農作物と同種の評価農作物を撮像した第３農作物画像ＥＩＭを取得する工程である。

【0035】

図１１は、図４に示すステップＳ７０の詳細フローチャートを示す図である。図１２は、推定画像ＨＩＭを示す図である。図１１に示すように、まず推定部４２は、ステップＳ７２において、複数の第３農作物画像ＥＩＭの１つを選択して、選択した第３農作物画像ＥＩＭを学習済み機械学習モデル５２に入力する。これにより、学習済み機械学習モデル５２の出力層Ｌｙ３よりクラス判別の結果が出力される。クラス判別の結果は、対象となる第３農作物画像ＥＩＭに関連付けて記憶装置５０に記憶される。

【0036】

次に推定部４２は、ステップＳ７４において、１つの第３主農作物画像ＥＩＭｐから生成した全ての第３農作物画像ＥＩＭを学習済み機械学習モデル５２に入力したか否かを判定する。ステップＳ７４において「Ｎｏ」の判定が成された場合には、推定部４２は再びステップＳ７２の処理を実行して、前回までのルーチンによって選択されなかった第３農作物画像ＥＩＭを選択する。

【0037】

一方で、ステップＳ７４において「Ｙｅｓ」の判定が成された場合には、ステップＳ７６において、推定部４２は、クラス判別の結果に応じて評価農作物、詳細には評価農作物の葉の状態を推定する。具体的には、推定部４２は、クラス判別の結果が第１ラベルを示す結果である場合には、第３農作物画像ＥＩＭに写った、すなわち第３農作物画像ＥＩＭの撮像領域内の評価農作物の状態を、生育に異常が生じている生育異常状態であると推定する。一方で、推定部４２は、クラス判別の結果が第２ラベルを示す結果である場合には、第３農作物画像ＥＩＭに写った評価農作物の状態を、生育に異常が生じていない生育正常状態であると推定する。なお、ステップＳ７４とステップＳ７６の順番は逆であってもよい。

【0038】

また、上記のステップＳ７６では、推定部４２は、第３主農作物画像ＥＩＭｐの一部を切り出して生成した第３農作物画像ＥＩＭごとに評価農作物の状態を推定していたが、互いに隣接する所定区画領域の画像である複数の第３農作物画像ＥＩＭをまとめて評価することで評価農作物の状態を推定してもよい。例えば、推定部４２は、所定区画領域の複数の第３農作物画像ＥＩＭのクラス判別結果について、第１ラベルＬ１を示す数が所定区画領域の複数の第３農作物画像ＥＩＭの総数に対して一定割合以上である場合には、所定区画領域にある評価農作物の状態を、生育異常状態であると判定してもよい。

【0039】

ステップＳ７６の次にステップＳ７８において、ヒートマップ生成部４４は、複数の第３農作物画像ＥＩＭのそれぞれについて、中間層Ｌｙ２で生成された特徴量マップに基づいて、クラス判別の寄与の程度に応じて強調表示されたヒートマップを生成する。本実施形態では、ヒートマップは、ラベルＬ１にクラス判別された第３農作物画像ＥＩＭについて、クラス判別の寄与した程度に応じて各画素を色分け表示する。具体的には、ヒートマップ生成部４４は、ラベルＬ１のクラス判別の寄与した程度が低い画素は青色で表示し、寄与した程度が高いほど赤色に近づくように表示する。つまり、ヒートマップは、ラベルＬ１のクラス判別の寄与の程度を示す。

【0040】

ステップＳ７８の次にステップＳ８０において、ヒートマップ生成部４４は複数の第３農作物画像ＥＩＭにヒートマップを重畳することで推定画像を生成する。本実施形態では、ステップＳ８０において、ヒートマップ生成部４４は、複数の第３農作物画像ＥＩＭのそれぞれのヒートマップと、第３農作物画像ＥＩＭに関連付けられた位置情報とをもとに、各ヒートマップを第３農作物画像ＥＩＭの生成元である図１１に示す第３主農作物画像ＥＩＭｐに重畳させることで推定画像ＨＩＭを生成する。

【0041】

図１２では、第３主農作物画像ＥＩＭｐをシングルハッチングで模式的に示し、ヒートマップＨＰによって色分けにより強調表示された領域をクロスハッチングで模式的に示している。クロスハッチングはヒートマップＨＰで強調表示された領域を示す。またクロスハッチングのハッチングが細かいほど、ラベルＬ１に対する寄与の程度が高く赤色表示されていることを示す。図１２に示す推定画像ＨＩＭでは、領域Ｒ１と領域Ｒ２に位置するブドウの葉が生育異常状態の可能性が最も高いことを示す。

【0042】

図１１に示すように、ステップＳ８０の次に、表示制御部４６は、推定画像ＨＩＭを表示部７０に表示する。なお、表示制御部４６は、推定画像ＨＩＭに加えて、推定画像ＨＩＭを説明する説明情報を表示部７０に表示させてもよい。説明情報は、例えば、生育異常状態が発生していると推定された領域の位置情報と、生育異常であることを説明する文字情報などがある。

【0043】

上記第１実施形態によれば、図５および図９に示すように、第１時期に撮像した第１農作物画像ＰＩＭａに第１ラベルＬ１を関連付け、第２時期に撮像した第２農作物画像ＰＩＭｂに第２ラベルＬ２を関連付けて機械学習モデル５２の学習に用いる教師データＬＩＭとしている。これにより、実際に生育に異常が生じているか否かを判断する必要がなく、撮像時期に応じてラベル付けを容易に行うことができる。よって、機械学習モデル５２の教師データを準備する時間が長くなることを抑制できるので、学習済み機械学習モデル５２を生成するまでの時間を短縮できる。

【0044】

また上記第１実施形態によれば、農作物の成長前後の状態の画像を教師データＬＩＭとし、農作物の成長前の状態である第１状態を第１ラベルＬ１として、クラス判別の結果が第１ラベルＬ１である場合には生育異常状態であると推定できる。つまり、農作物が生育異常状態である場合には、生育が進んであらず、農作物の状態は成長後状態よりも成長前状態に近い状態であると推定できる。よって、教師データＬＩＭのために、生育が異常である農作物画像と、生育が良好である農作物画像とを準備することに代えて、農作物の成長前後である第１時期および第２時期における撮像画像を教師データＬＩＭにできる。よって、生育異常状態を推定するための学習済み機械学習モデル５２を容易に生成できる。

【0045】

また上記第１実施形態によれば、図５および図８に示すように、主領域ＭＲに位置する農作物の画像を第１主農作物画像ＩＭｐ１および第２主農作物画像ＩＭｐ２とし、第１主農作物画像ＩＭｐ１および第２主農作物画像ＩＭｐ２を用いて複数の第１農作物画像ＰＩＭａおよび複数の第２農作物画像ＰＩＭｂを生成している。これにより、複数の第１農作物画像ＰＩＭａおよび複数の第２農作物画像ＰＩＭｂのそれぞれの画像を撮像して教師データＬＩＭを生成する場合よりも、教師データＬＩＭを容易に生成できる。また上記第１実施形態によれば、図１１のステップＳ８０，Ｓ８２および図１２に示すように、ヒートマップＨＰと複数の第３農作物画像ＥＩＭの生成元である第３主農作物画像ＥＩＭｐとを重畳することで生成した推定画像ＨＩＭを生成して出力している。これにより、ユーザーは推定画像ＨＩＭによってクラス判別、詳細には生育異常状態に対応した第１ラベルＬ１のクラス判別に寄与した領域を容易に判別できる。よって、ユーザーは、生育異常状態が発生している位置を容易に特定して、農作物の生育状態の確認および対処を円滑に行うことができる。

【0046】

Ｂ．第２実施形態：
図１３は、第２実施形態の推定方法を示すフローチャートを示す図である。図１４は、図１３のステップＳ７０ａの詳細フローチャートを示す図である。第２実施形態は、第１実施形態の図４および図１１に示すステップＳ５０およびステップＳ７０に代えて、図１３および図１４に示すステップＳ５０ａおよびステップＳ７０ａを実行する点で異なる。その他の構成およびステップについては第１実施形態と第２実施形態において同一であるので、同一の構成およびステップについては同一符号を付すと共に説明を適宜省略する。

【0047】

図１３に示すように、プロセッサー３０はステップＳ５０ａにおいて、評価対象画像を取得する評価対象取得工程を実行する。評価対象画像は、学習済み機械学習モデル５２によってクラス判別することで評価する対象となる画像であり、学習画像として撮像された農作物の葉と同種の評価農作物の葉の画像である。本実施形態では、ステップＳ５０ａにおいて、プロセッサー３０は、評価農作物であるブドウの葉を含む農園を撮像した全体画像ＩＭＷを時系列に複数取得する。本実施形態では、プロセッサー３０は、ブドウの葉の成長過程である時系列に並ぶ第１時期ｔ１～第５時期ｔ５における全体画像ＩＭＷを取得する。第１時期ｔ１から第５時期に向かうに従い、時期が後になる。そして、画像処理部４０は、第１時期ｔ１～第５時期ｔ５における全体画像ＩＭＷのそれぞれについて、上記第１実施形態と同様に、ブドウの葉が主に撮像された主領域ＭＲを抽出した画像である第３主農作物画像ＥＩＭｐを生成する。また、画像処理部４０は、第１実施形態の図１０に示す処理と同様に、各第３主農作物画像ＥＩＭｐを予め定めたパッチサイズＰＳで分割して、複数のパッチ画像としての複数の第３農作物画像ＥＩＭを切り出すことで、第３農作物画像ＥＩＭを生成する。つまり、ステップＳ５０ａは、時系列に複数の第３農作物画像ＥＩＭを取得する工程である。

【0048】

図１４に示すように、プロセッサー３０は、ステップＳ７１において、複数の時期ｔ１～ｔ５の中から１つの時期に応じた複数の第３農作物画像ＥＩＭを選択する。次にプロセッサー３０は、ステップＳ７２ａにおいて、ステップＳ７１において選択した１つの時期に応じた複数の第３農作物画像ＥＩＭの中から１つを選択して、選択した第３農作物画像ＥＩＭを学習済み機械学習モデル５２に入力する。これにより、学習済み機械学習モデル５２の出力層Ｌｙ３よりクラス判別の結果が出力される。クラス判別の結果は、対象となる第３農作物画像ＥＩＭに関連付けて記憶装置５０に記憶される。

【0049】

次に推定部４２は、ステップＳ７４ａにおいて、１つの第３主農作物画像ＥＩＭｐ、すなわち同じ時期ｔに撮像した第３主農作物画像ＥＩＭｐから生成した全ての第３農作物画像ＥＩＭを学習済み機械学習モデル５２に入力したか否かを判定する。ステップＳ７４ａにおいて「Ｎｏ」の判定が成された場合には、推定部４２は再びステップＳ７２ａの処理を実行する。

【0050】

一方で、ステップＳ７４ａにおいて「Ｙｅｓ」の判定が成された場合には、ステップＳ７５において、プロセッサー３０は、全ての時期ｔ１～ｔ５の第３農作物画像ＥＩＭを学習済み機械学習モデル５２に入力したか否かを判定する。ステップＳ７５において「Ｎｏ」の判定が成された場合には、プロセッサー３０は、再びステップＳ７１の処理を実行し、前回までのルーチンによって選択されなかった時期に応じた複数の第３農作物画像ＥＩＭを選択する。

【0051】

一方で、ステップＳ７５において「Ｙｅｓ」の判定が成された場合には、ステップＳ７６ａにおいて、推定部４２は、クラス判別の結果に応じて評価農作物、詳細には評価農作物の葉の状態を推定する。具体的には、推定部４２は、同じ領域、すなわち同じ位置情報が関連付けられた時系列に並ぶ複数の第３農作物画像ＥＩＭに対して、クラス判別の結果がＮ回連続で第１ラベルを示す場合には、第３農作物画像ＥＩＭに写った評価農作物の状態を、生育に異常が生じている生育異常状態であると推定する。ここで、「Ｎ」の下限値は２以上の整数であり、上限値は時期ｔ１～ｔ５の撮影回数である。本実施形態では、「Ｎ」は「３」に設定されている。

【0052】

図１５は、図１４のステップ７６ａの具体例を説明するための図である。図１５では、位置が異なる２つの第３農作物画像ＥＩＭ２０，ＥＩＭ２８を対象にステップＳ７６ａが実行された場合を例に示している。第３農作物画像ＥＩＭ２０について、時期ｔ１，ｔ２ではラベルＬ１の判別結果であったが、その後の時期ｔ３～ｔ５ではラベルＬ２の判別結果であった。よって、推定部４２は、時系列に３回連続でラベルＬ１の判別結果ではないため、第３農作物画像ＥＩＭ２０の領域にあるブドウの葉の状態は、生育良好状態であると推定する。一方で、第３農作物画像ＥＩＭ２８について、時期ｔ１～ｔ５の全ての時期においてラベルＬ１の判別結果であった。よって、推定部４２は、時系列に３回連続でラベルＬ１の判別結果であるため、第３農作物画像ＥＩＭ２８の領域にあるブドウの葉の状態は、生育異常状態であると推定する。

【0053】

上記のように、第２実施形態では、推定装置２０は、同じ領域を異なる時期において撮像した複数の第３農作物画像ＥＩＭをそれぞれ学習済み機械学習モデル５２に入力してクラス判別を行う。そして推定装置２０は、少なくとも時系列に２以上並んだ第３農作物画像ＥＩＭのそれぞれのクラス判別の結果が第１ラベルである場合には、評価農作物の状態を生育に異常が生じている生育異常状態であると推定する。なお、ステップＳ７６ａは、ステップＳ７４ａおよびステップＳ７５の前に行ってもよい。すなわち、１つの第３農作物画像ＥＩＭが学習済み機械学習モデル５２に入力されるごとにステップＳ７６ａを実行してもよい。こうすることで、ユーザーは、よりリアルタイムで評価農作物の状態の推定結果を知ることができる。

【0054】

図１４に示す第２実施形態におけるステップＳ７８～ステップＳ８２の処理は、処理対象が複数の時期ｔ１～ｔ５に撮像して生成された第３農作物画像ＥＩＭごとに実行される点でのみ異なるため、詳細な説明は省略する。例えば、ステップＳ８０において生成される推定画像ＨＩＭは、撮像時期ｔ１～ｔ５の第３主農作物画像ＥＩＭｐごとに生成される。

【0055】

上記第２実施形態によれば、上記第１実施形態と同様の構成およびステップを有する点において第１実施形態と同様の効果を有する。例えば、撮像時期に応じてラベル付けを容易に行うことができ、機械学習モデル５２の教師データＬＩＭを準備する時間が長くなることを抑制できるので、学習済み機械学習モデル５２を生成するまでの時間を短縮できる。

【0056】

また上記第２実施形態によれば、推定部４２は、図１５に示すように、少なくとも時系列に２以上並んだ第３農作物画像ＥＩＭ２８のそれぞれのクラス判別の結果が第１ラベルＬ１である場合に生育異常状態であると推定している。ここで、撮像時間帯や天候などの外乱によって第３農作物画像ＥＩＭ２８が本来予定している画像ではないために、学習済み機械学習モデル５２のクラス判別が誤って行われる場合が生じ得る。しかしながら、本実施形態では、推定部４２は、２回以上連続で第１ラベルＬ１とクラス判別されない限り、生育異常状態であるとは推定しない。よって、１つの時期に撮像された第３農作物画像ＥＩＭ２８を用いて状態を推定する場合よりも推定精度をより向上できる。

【0057】

Ｃ．第３実施形態：
図１６は、第３実施形態の教師データ群ＬＩＭＧａを示す図である。第１実施形態および第２実施形態との主な違いは、農作物画像ＰＩＭに関連付けられる状態、すなわちラベルＬ１ａ，Ｌ２ｂの内容と、推定部４２が実行する推定工程の内容である。第３実施形態において、第１実施形態および第２実施形態と同様の構成およびステップについては適宜説明を省略する。第３実施形態では、推定部４２は、撮像された時期が異なる複数の第３農作物画像ＥＩＭに応じたクラス判別の結果を用いて、予め定めた状態が発生した時期を推定する。

【0058】

図１６に示すように、複数の第１農作物画像ＰＩＭＡは、第１状態を示す第１時期に撮像されたブドウの葉を含む画像である。複数の第２農作物画像ＰＩＭＡは、第１農作物画像ＰＩＭＡの撮像対象と同一のブドウの葉を含む画像である。複数の第２農作物画像ＰＩＭＢは、第２状態を示す第２時期に撮像されたブドウの葉を含む画像である。複数の第１農作物画像ＰＩＭＡおよび複数の第２農作物画像ＰＩＭＢの生成方法は、図８に示す上記第１実施形態と同様に、ブドウ農園の大きな領域ＰＲを撮像した主農作物画像を予め定めたパッチサイズＰＳで分割して、複数のパッチ画像としての複数の農作物画像ＰＩＭを切り出す方法が用いられる。

【0059】

本実施形態において、第１状態は、ブドウの葉がある程度成長した状態であって、かつ、ブドウの葉に異常がほとんど発生していない状態である。本実施形態では、べと病が生じている場合に、ブドウの葉に異常が発生しているとする。つまり、複数の第１農作物画像ＰＩＭＡは、べと病が発生していない第１時期にブドウの葉を撮像した画像である。本実施形態において、第２状態は、予め定めた状態と関連した状態であり、ブドウの葉がある程度成長した状態であって、かつ、ブドウの葉に異常が発生した状態である。つまり、複数の第２農作物画像ＰＩＭＢは、べと病が発生した第２に時期にブドウの葉を撮像した画像である。本実施形態において、第１時期は第２時期よりも前の時期であり、例えば第１時期は８月上旬であり、第２時期は８月中旬である。ブドウの葉に異常が発生したかどうかは、例えば目視によって判定している。

【0060】

複数の第１農作物画像ＰＩＭＡにはそれぞれ、第１状態を示す第１ラベルＬ１ａが関連付けられている。複数の第２農作物画像ＰＩＭＢにはそれぞれ、第２状態を示す第２ラベルＬ２ａが関連付けられている。ラベルの関連付けは、ユーザーが行ってもよいし、推定装置２０が撮像時期に応じて自動で行ってもよい。

【0061】

第１農作物画像ＰＩＭＡと第１ラベルＬ１ａとのセットや、第２農作物画像ＰＩＭＢと第２ラベルＬ２ａとのセットはそれぞれ、教師データＬＩＭａを構成する。複数の教師データＬＩＭａは、教師データ群ＬＩＭＧａとして記憶装置５０に記憶される。教師データ群ＬＩＭＧａの各教師データＬＩＭａは、上記第１実施形態と第２実施形態と同様に、機械学習モデル５２の学習に用いられる。

【0062】

図１７は、第３実施形態における推定工程のフローチャートを示す図である。図１８は、図１７のステップＳ７６ｂとステップＳ７７を説明するための図である。図１７に示すステップＳ７０ｂの推定方法は、図１４に示すステップＳ７０ａに対してステップＳ７６ｂとステップＳ７７とが異なる。よって、第３実施形態のステップＳ７０ｂについては、第２実施形態のステップＳ７０ａに対いて異なる点を主に説明する。なお、第３実施形態は、第２実施形態の図１３に示すステップＳ５０ａと同様の方法によって、撮像時期ｔ１～ｔ５が異なる複数の第３農作物画像ＥＩＭが生成される。

【0063】

図１７に示すステップＳ７５において「Ｙｅｓ」の判定が成された場合には、ステップＳ７６ｂにおいて、推定部４２は、クラス判別の結果に応じて評価農作物、詳細には評価農作物の葉の状態を推定する。具体的には、推定部４２は、同じ領域、すなわち同じ位置情報を有する撮像時期が異なる複数の第３農作物画像ＥＩＭについて、学習済み機械学習モデル５２によって第２ラベルＬ２ａであるとクラス判別が成された第３農作物画像ＥＩＭを選択する。そして推定部４２は選択した第３農作物画像ＥＩＭのうちで、最も撮像時期が早い時期を特定時期として特定する。例えば、図１８に示すように、第３農作物画像ＥＩＭ２０において、時期ｔ３～時期ｔ５に撮像された画像に対して第２ラベルＬａ２のクラス判別が学習済み機械学習モデル５２で成されている場合、推定部４２は、時期ｔ３を特定時期として特定する。また例えば、第３農作物画像ＥＩＭ２８において、時期ｔ４，ｔ５に撮像された画像に対して第２ラベルＬａ２のクラス判別が学習済み機械学習モデル５２で成されている場合、推定部４２は、時期ｔ４を特定時期として特定する。

【0064】

図１７に示すように、ステップＳ７６ｂの次にステップＳ７７において、推定部４２は、特定時期を用いて第３農作物であるブドウの葉について予め定めた状態が発生した時期を特定する。予め定めた状態は、第２ラベルＬ２ａで表された第２状態に関連した状態であり、本実施形態ではブドウの葉に異常が発生した状態を示す。また、本実施形態では、図１８に示すように、推定部４２は、特定時期を予め定めた状態が発生した時期であると推定する。つまり、推定部４２は、第３農作物画像ＥＩＭ２０に写った評価農作物の状態について、時期ｔ３に異常状態であるべと病が発生したと推定する。また推定部４２は、第３農作物画像ＥＩＭ２８に写った評価農作物の状態について、時期ｔ４に異常状態であるべと病が発生したと推定する。なお、本実施形態では、推定部４２は特定時期を異常状態が発生した時期としていたがこれに限定されるものではない。例えば、推定部４２は、第１ラベルＬ１ａとクラス判別されたうちで最も時期が遅い時期と、特定時期との間の時期を異常状態が発生した時期として推定してもよい。例えば、図１８に示す第３農作物画像ＥＩＭ２８について、推定部４２は、第１ラベルＬ１ａとクラス判別されたうちで最も時期が遅い時期ｔ３と、特定時期ｔ４との間の時期を異常状態が発生した時期として推定してもよい。

【0065】

また、本実施形態において、プロセッサー３０の表示制御部４６は、推定部４２が推定した推定結果を表示部７０に表示してもよい。例えば、表示制御部４６は、予め定めた状態としてのべと病が発生した時期と、評価農作物のうちでべと病が発生している領域とを示す情報を表示部７０に表示させてもよい。

【0066】

上記のように第３実施形態によれば、推定部４２は、同じ領域の撮像時期が異なる複数の第３農作物画像ＥＩＭをそれぞれ学習済み機械学習モデル５２に入力してクラス判別を行い、複数の第３農作物画像ＥＩＭに応じたクラス判別の結果を用いて、予め定めた状態が発生した時期を推定する。

【0067】

上記第３実施形態によれば、上記第１実施形態または第２実施形態と同様の構成およびステップを有する点において第１実施形態または第２実施形態と同様の効果を有する。例えば、撮像時期に応じてラベル付けを容易に行うことができ、機械学習モデル５２の教師データを準備する時間が長くなることを抑制できるので、学習済み機械学習モデル５２を生成するまでの時間を短縮できる。

【0068】

また上記第３実施形態によれば、図１７のステップＳ７６ｂおよびステップＳ７７、図１８に示すように、時系列に取得された複数の第３農作物画像ＥＩＭ２０，ＥＩＭ２８のクラス判別の結果を用いて、予め定めた状態である異常状態が発生した時期を容易に推定できる。また上記第３実施形態によれば、特定時期を予め定めた状態が発生した時期であるとしているので、予め発生した時期の推定をより容易に行うことができる。

【0069】

Ｄ．他の実施形態：
Ｄ－１．他の実施形態１：
上記各実施形態では、状態を推定する農作物はブドウであったが、これに限定されるものではない。例えば、状態を推定する農作物は、りんごや苺などの他の農作物であってもよい。

【0070】

Ｅ．他の形態：
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【0071】

（１）本開示の第１形態によれば、農作物の状態を推定する方法が提供される。この方法は、前記農作物が第１状態を示す第１時期に前記農作物を撮像した第１農作物画像と、同一の前記農作物が第２状態を示す前記第１時期よりも後の第２時期で前記同一の前記農作物を撮像した第２農作物画像と、を取得する学習画像取得工程と、前記第１状態を示す第１ラベルを関連付けた前記第１農作物画像と、前記第２状態を示す第２ラベルを関連付けた前記第２農作物画像とをそれぞれ教師データとして、機械学習モデルの学習を実行して学習済み機械学習モデルを生成するモデル生成工程と、前記農作物と同種の評価農作物を撮像した第３農作物画像を取得する評価画像取得工程と、前記第３農作物画像を前記学習済み機械学習モデルに入力してクラス判別を行い、前記クラス判別の結果に応じて前記評価農作物の状態を推定する推定工程と、を備える。この形態によれば、第１時期に撮像した第１農作物画像に第１ラベルを関連付け、第２時期に撮像した第２農作物画像に第２ラベルを関連付けて機械学習モデルの学習に用いる教師データとしている。これにより撮像時期に応じてラベル付けを容易に行うことができるので、機械学習モデルの教師データを準備する時間が長くなることを抑制できるので、学習済み機械学習モデルを生成するまでの時間を短縮できる。

【0072】

（２）上記形態において、前記第１状態は、前記農作物が収穫できる状態よりも前の状態である成長前状態を示し、前記第２状態は、前記農作物が収穫できる状態である成長後状態を示し、前記推定工程は、前記クラス判別の結果が前記第１ラベルである場合には、前記評価農作物の状態を生育に異常が生じている生育異常状態であると推定してもよい。この形態によれば、農作物の成長前後の状態の画像を教師データとし、農作物の成長前の状態を第１ラベルとして、クラス判別の結果が第１ラベルである場合には生育異常状態であると推定できる。つまり、農作物が生育異常状態である場合には、農作物の状態は成長後状態よりも成長前状態に近い状態であると推定できる。よって、教師データのために、生育が異常である農作物画像と、生育が良好である農作物画像をわざわざ準備することに代えて、農作物の成長前後の画像を教師データとすることで、生育異常状態を推定するための学習済み機械学習モデルを容易に生成できる。

【0073】

（３）上記形態において、前記評価画像取得工程は、時系列に複数の前記第３農作物画像を取得する工程を含み、前記第１状態は、前記農作物が収穫できる状態よりも前の状態である成長前状態を示し、前記第２状態は、前記農作物が収穫できる状態である成長後状態を示し、前記推定工程は、前記複数の第３農作物画像をそれぞれ前記学習済み機械学習モデルに入力してクラス判別を行い、少なくとも時系列に２以上並んだ前記第３農作物画像のそれぞれの前記クラス判別の結果が前記第１ラベルである場合には、前記評価農作物の状態を生育に異常が生じている生育異常状態であると推定してもよい。この形態によれば、少なくとも時系列に２以上並んだ第３農作物画像のそれぞれのクラス判別の結果が第１ラベルである場合に生育異常状態であると推定することで、１つの時期に撮像された第３農作物画像を用いて状態を推定する場合よりも推定精度をより向上できる。

【0074】

（４）上記形態において、前記評価画像取得工程は、時系列に複数の前記第３農作物画像を取得する工程を含み、前記推定工程は、前記複数の第３農作物画像をそれぞれ前記学習済み機械学習モデルに入力してクラス判別を行い、前記複数の第３農作物画像に応じた前記クラス判別の結果を用いて、予め定めた状態が発生した時期を推定してもよい。この形態によれば、時系列に取得された複数の第３農作物画像のクラス判別の結果を用いて、予め定めた状態が発生した時期を容易に推定できる。

【0075】

（５）上記形態において、前記予め定めた状態は、前記第２状態に関連した状態であり、前記推定工程は、前記複数の第３農作物画像に応じた前記クラス判別の結果において、前記第２ラベルであると前記クラス判別が成された前記第３農作物画像のうちで、最も早い時期に撮像された特定時期を特定し、前記特定時期を用いて前記予め定めた状態が発生した時期を推定してもよい。この形態によれば、特定時期を用いて予め定めた状態が発生した時期を容易に推定できる。

【0076】

（６）上記形態において、前記推定工程は、前記特定時期を前記予め定めた状態が発生した時期であると推定してもよい。この形態によれば、予め定めた状態が発生した時期の推定をより容易に行うことができる。

【0077】

（７）上記形態において、
この形態によれば、主領域に位置する農作物の画像を用いて複数の農作物画像を生成できるので、教師データを容易に生成できる。

【0078】

（８）上記形態において、前記学習画像取得工程は、前記第１農作物画像および前記第２農作物画像のそれぞれに対応した撮像領域よりも広い主領域であって、前記農作物が位置する主領域の前記農作物を撮像して第１主農作物画像および第２主農作物画像を取得する工程と、前記第１主農作物画像と前記第２主農作物画像のそれぞれを予め定めたパッチサイズで分割して、複数の前記第１農作物画像および複数の前記第２農作物画像を生成する工程と、を備える。この形態によれば、推定画像によってユーザーがクラス判別に寄与した領域を容易に判別できる。

【0079】

（９）本開示の第２形態によれば、農作物の状態を推定する装置が提供される。この装置は、前記農作物が第１状態を示す第１時期に前記農作物を撮像した第１農作物画像と、同一の前記農作物が第２状態を示す前記第１時期よりも後の第２時期で前記同一の前記農作物を撮像した第２農作物画像と、を取得する学習画像取得部と、前記第１状態を示す第１ラベルを関連付けた前記第１農作物画像と、前記第２状態を示す第２ラベルを関連付けた前記第２農作物画像とをそれぞれ教師データとして、機械学習モデルの学習を実行して学習済み機械学習モデルを生成するモデル生成部と、前記農作物と同種の評価農作物を撮像した第３農作物画像を取得する評価画像取得部と、前記第３農作物画像を前記学習済み機械学習モデルに入力してクラス判別を行い、前記クラス判別の結果に応じて前記評価農作物の状態を推定する推定部と、を備える。この形態によれば、第１時期に撮像した第１農作物画像に第１ラベルを関連付け、第２時期に撮像した第２農作物画像に第２ラベルを関連付けて機械学習モデルの学習に用いる教師データとしている。これにより撮像時期に応じてラベル付けを容易に行うことができるので、機械学習モデルの教師データを準備する時間が長くなることを抑制できるので、学習済み機械学習モデルを生成するまでの時間を短縮できる。

【0080】

（１０）本開示の第３形態によれば、農作物の状態をコンピューターに推定させるためのコンピュータープログラムであって、前記農作物が第１状態を示す第１時期に前記農作物を撮像した第１農作物画像と、同一の前記農作物が第２状態を示す前記第１時期よりも後の第２時期で前記同一の前記農作物を撮像した第２農作物画像と、を取得する学習画像取得機能と、前記第１状態を示す第１ラベルを関連付けた前記第１農作物画像と、前記第２状態を示す第２ラベルを関連付けた前記第２農作物画像とをそれぞれ教師データとして、機械学習モデルの学習を実行して学習済み機械学習モデルを生成するモデル生成機能と、前記農作物と同種の評価農作物を撮像した第３農作物画像を取得する評価画像取得機能と、前記第３農作物画像を前記学習済み機械学習モデルに入力してクラス判別を行い、前記クラス判別の結果に応じて前記評価農作物の状態を推定する推定機能と、をコンピューターに実行させる。この形態によれば、第１時期に撮像した第１農作物画像に第１ラベルを関連付け、第２時期に撮像した第２農作物画像に第２ラベルを関連付けて機械学習モデルの学習に用いる教師データとしている。これにより撮像時期に応じてラベル付けを容易に行うことができるので、機械学習モデルの教師データを準備する時間が長くなることを抑制できるので、学習済み機械学習モデルを生成するまでの時間を短縮できる。

【0081】

本開示は、上記以外の種々の形態で実現することも可能である。例えば、コンピュータープログラムを記録した一時的でない記録媒体（non-transitory storage medium）の形態で実現することができる。

【符号の説明】

【0082】

１０…プロセッサー、２０…推定装置、３０…プロセッサー、３２…画像取得部、３４…学習画像取得部、３６…評価画像取得部、４０…画像処理部、４１…モデル生成部、４２…推定部、４４…ヒートマップ生成部、４６…表示制御部、５０…記憶装置、５２…機械学習モデル、５８…各種プログラム、６０…入力部、７０…表示部、９０…撮像装置、１００…推定システム、１６０…表示部、ＡＩ…付加情報、ＥＩＭ，ＥＩＭ２０，ＥＩＭ２８…第３農作物画像、ＥＩＭＧ…評価対象画像群、ＥＩＭｐ…第３主農作物画像、ＨＩＭ…推定画像、ＨＰ…ヒートマップ、ＩＭ…画像、ＩＭＷ…全体画像、ＩＭｐ…主農作物画像、ＩＭｐ１…第１主農作物画像、ＩＭｐ２…第２主農作物画像、Ｌ１，Ｌ１ａ…第１ラベル、Ｌ２，Ｌ２ａ…第２ラベル、ＬＢ…ラベル、ＬＩＭ…教師データ、ＬＩＭＧ…教師データ群、ＬＩＭＧａ…教師データ群、Ｌｙ１…入力層、Ｌｙ２…中間層、Ｌｙ３…出力層、ＭＲ…主領域、ＰＩＭ…農作物画像、ＰＩＭＡ，ＰＩＭａ…第１農作物画像、ＰＩＭＢ，ＰＩＭｂ…第２農作物画像、ＰＲ…領域、ＰＳ…パッチサイズ、Ｒ１，Ｒ２…領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】