特許 7591628 診断装置、診断方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-20

(45)【発行日】2024-11-28

(54)【発明の名称】診断装置、診断方法、及びプログラム

(51)【国際特許分類】

   A01G 7/00 20060101AFI20241121BHJP

   G06T 7/593 20170101ALI20241121BHJP

   G06T 7/00 20170101ALI20241121BHJP

   G06V 10/82 20220101ALI20241121BHJP

   G06Q 50/02 20240101ALI20241121BHJP

【ＦＩ】

A01G7/00 603

G06T7/593

G06T7/00 350C

G06V10/82

G06Q50/02

【請求項の数】 14

(21)【出願番号】P 2023131080

(22)【出願日】2023-08-10

(65)【公開番号】P2024132796

(43)【公開日】2024-10-01

【審査請求日】2023-08-10

(31)【優先権主張番号】63/451,976

(32)【優先日】2023-03-14

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】オリベイラ ティアゴ

(72)【発明者】

【氏名】中澤 満

【審査官】星野 浩一

(56)【参考文献】

【文献】特開２０１６－１６８０４６（ＪＰ，Ａ）

【文献】特開平０６－０３５８９７（ＪＰ，Ａ）

【文献】諏訪勝元，広角画像を用いた植物病害自動診断システムとその固有の問題，学内論文，日本，法政大学，2019年03月31日，第１－７頁，https://hosei.ecats-library.jp/da/repository/00022071/

【文献】植物の不調は虫 or 病気？園芸の疑問を画像でスマート解決！ AI で原因と対処までナビゲート、住友化学園芸「ガーデンドクター AI」，プレスリリース，日本，住友化学園芸株式会社，2021年04月，第１―３頁，https://www.sc-engei.co.jp/content/files/release/20210422.pdf

【文献】岩崎亘典，深層学習を用いた病害虫識別技術の開発，植物防疫，第７３巻第６号，日本，一般社団法人 日本植物防疫協会，2019年06月01日，第４２―４８頁，https://www.jppa.or.jp/archive/pdf/73_06.pdf

【文献】宇賀博之，キュウリ病害の画像診断システムの開発，平成２９年度 埼玉県農業技術研究センター試験研究成果発表会，日本，2018年02月02日，第１７－１８頁，https://www.pref.saitama.lg.jp/documents/122453/9kyuuri-byougaisindan.pdf

【文献】大倉史生 外３名，深層学習の利活用による植物表現型解析技術の展望 ，植物科学最前線，日本，2019年，第１－９頁，https://bsj.or.jp/jpn/general/bsj-review/BSJ-Review10B_99-107.pdf

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ０１Ｇ ７／００

Ｇ０６Ｔ ７／５９３

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／８２

Ｇ０６Ｑ ５０／０２

(57)【特許請求の範囲】

【請求項1】

植物の健康状態を診断するための診断装置であって、当該診断装置は、
入力用画像を入力すると、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力するように構成されるマルチタスク学習器と、
前記入力用画像の撮影範囲を推定するように構成される撮影範囲推定部と、
を備え、
前記マルチタスク学習器は、
地表面を覆う前記植物を写した複数の地表画像を含む地表画像群と、
前記地表画像より広い領域を対象に前記植物を写した複数の広範囲画像を含む広範囲画像群と、を含む訓練データにより訓練されており、
前記地表画像群及び前記広範囲画像群の各々は、
健康な状態の前記植物を写した複数の無症画像と、
不健康な状態の前記植物を写した複数の有症画像と、を含み、
前記不健康な状態は、複数の病害の症状を含み、
前記複数のタスクは、
前記入力用画像に写された前記植物が前記複数の病害又は無症のうち何れに対応するかを予測する多値分類タスクと、
前記入力用画像が前記地表画像又は前記広範囲画像の何れに対応するかを予測する２値分類タスクと、を含み、
前記撮影範囲推定部は、
前記２値分類タスクの予測結果が前記広範囲画像である場合に、前記入力用画像の中から特徴的なオブジェクト又は特徴点を抽出し、抽出した前記特徴的なオブジェクト又は特徴点を、前記領域において互いに異なる視点で撮影された複数の風景画像から生成された３次元データと照合し、前記入力用画像と前記３次元データとで対応するオブジェクト又は特徴点を判別することにより、前記撮影範囲を推定するように構成され、
前記２値分類タスクの予測結果が前記地表画像である場合に、前記入力用画像の中から前記特徴的なオブジェクト又は特徴点を抽出することなく、前記入力用画像の撮影位置を含む規定の領域を前記撮影範囲として推定するように構成される、
診断装置。

【請求項2】

前記マルチタスク学習器の予測結果に基づいて、前記植物の手入れの要否に関する診断結果を出力するように構成される、診断出力部を備える、
請求項１に記載の診断装置。

【請求項3】

前記多値分類タスクは、予測結果として、前記複数の病害又は無症に対応する確率を出力するように構成され、
前記診断出力部は、前記多値分類タスクが出力した前記病害の何れかである確率が有症閾値を超える場合に、前記植物の手入れが必要であるとの診断結果を出力するように構成される、
請求項２に記載の診断装置。

【請求項4】

前記診断出力部は、前記２値分類タスクの予測結果が前記広範囲画像に対応し、かつ、前記多値分類タスクの予測結果が前記複数の病害の何れかである場合に、前記広範囲画像に基づいて、前記植物の手入れが必要であるとの診断結果を出力するように構成される、
請求項２に記載の診断装置。

【請求項5】

前記入力用画像上に前記多値分類タスクの予測根拠を重ねたヒートマップを生成するように構成される、ヒートマップ生成部を備える、
請求項１～４のうち何れか一項に記載の診断装置。

【請求項6】

前記入力用画像の前記撮影位置に係る位置情報を取得するように構成される、撮影位置取得部と、
位置情報作成部と、
１以上のメモリと、を備え、
前記メモリには、前記入力用画像の前記撮影位置を含む地図データが格納されており、
前記位置情報作成部が、前記地図データ上に前記撮影位置をプロットした位置情報を作成するように構成される、
請求項１～４のうち何れか一項に記載の診断装置。

【請求項7】

前記複数の風景画像を含む風景画像群から前記３次元データを生成するように構成される、３次元データ生成部と、
前記３次元データから平面画像を生成するように構成される、平面画像生成部と、
を備える、請求項１～４のうち何れか一項に記載の診断装置。

【請求項8】

前記入力用画像がゴルフ場に敷設された芝生を撮影した画像であり、
前記地表画像が前記芝生で覆われた前記地表面の画像であり、
前記広範囲画像は、前記芝生で覆われた前記地表面に加えて、前記芝生の中又は前記芝生の周囲にある自然物又は人工物のうち少なくとも１つを写した風景画像であり、
前記自然物は、グリーンの境界線、バンカー、池、又は前記グリーンの周囲に生える樹木であり、
前記人工物は、カップホール又はピンである、
請求項１～４のうち何れか一項に記載の診断装置。

【請求項9】

前記マルチタスク学習器は、畳み込みニューラルネットワークを利用した学習モデルを含み、
前記多値分類タスクの予測性能が前記２値分類タスクの予測性能よりも高くなるように、前記学習モデルの損失関数が設定されている、
請求項１～４のうち何れか一項に記載の診断装置。

【請求項10】

前記植物は、前記地表面を覆うように群生するグラウンドカバープランツである、
請求項１～４のうち何れか一項に記載の診断装置。

【請求項11】

前記植物は芝生であり、
前記複数の病害は、炭疽病、ブラウンパッチ、ダラースポット、ドライスポット、ピシウム、又はスノーモールドのうち、１以上を含む、
請求項１～４のうち何れか一項に記載の診断装置。

【請求項12】

前記地表画像が前記植物で覆われた前記地表面が全撮影範囲を占める画像であり、
前記広範囲画像は、前記植物で覆われた前記地表面に加えて、前記地表面から生える樹木、又は、建物を含む人工物のうち少なくとも何れかを写した風景画像である、
請求項１～４のうち何れか一項に記載の診断装置。

【請求項13】

植物の健康状態の診断方法であって、当該方法は、
地表面を覆う前記植物を写した入力用画像を取得することと、
前記入力用画像をマルチタスク学習器に入力することと、
前記マルチタスク学習器が、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力することと、
前記入力用画像の撮影範囲を推定することと、
を含み、
前記マルチタスク学習器は、
前記地表面を覆う前記植物を写した複数の地表画像を含む地表画像群と、
前記地表画像より広い領域を対象に前記植物を写した複数の広範囲画像を含む広範囲画像群と、を含む訓練データにより訓練されており、
前記地表画像群及び前記広範囲画像群の各々は、
健康な状態の前記植物を写した複数の無症画像と、
不健康な状態の前記植物を写した複数の有症画像と、を含み、
前記不健康な状態は、複数の病害の症状を含み、
前記複数のタスクは、
前記入力用画像に写された前記植物が前記複数の病害又は無症のうち何れに対応するかを予測する多値分類タスクと、
前記入力用画像が前記地表画像又は前記広範囲画像の何れに対応するかを予測する２値分類タスクと、を含み、
前記撮影範囲を推定することは、
前記２値分類タスクの予測結果が前記広範囲画像である場合に、前記入力用画像の中から特徴的なオブジェクト又は特徴点を抽出し、抽出した前記特徴的なオブジェクト又は特徴点を、前記領域において互いに異なる視点で撮影された複数の風景画像から生成された３次元データと照合し、前記入力用画像と前記３次元データとで対応するオブジェクト又は特徴点を判別することにより、前記撮影範囲を推定することと、
前記２値分類タスクの予測結果が前記地表画像である場合に、前記入力用画像の中から前記特徴的なオブジェクト又は特徴点を抽出することなく、前記入力用画像の撮影位置を含む規定の領域を前記撮影範囲として推定することと、を含む、
診断方法。

【請求項14】

１以上のコンピュータに、
地表面を覆う植物を写した入力用画像を取得することと、
取得した前記入力用画像をマルチタスク学習器に入力することと、
前記マルチタスク学習器が、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力することと、
前記入力用画像の撮影範囲を推定することと、
を実行させる植物診断用のプログラムであって、
前記マルチタスク学習器は、
前記地表面を覆う前記植物を写した複数の地表画像を含む地表画像群と、
前記地表画像より広い領域を対象に前記植物を写した複数の広範囲画像を含む広範囲画像群と、を含む訓練データにより訓練されており、
前記地表画像群及び前記広範囲画像群の各々は、
健康な状態の前記植物を写した複数の無症画像と、
不健康な状態の前記植物を写した複数の有症画像と、を含み、
前記不健康な状態は、複数の病害の症状を含み、
前記複数のタスクは、
前記入力用画像に写された前記植物が前記複数の病害又は無症のうち何れに対応するかを予測する多値分類タスクと、
前記入力用画像が前記地表画像又は前記広範囲画像の何れに対応するかを予測する２値分類タスクと、を含み、
前記撮影範囲を推定することは、
前記２値分類タスクの予測結果が前記広範囲画像である場合に、前記入力用画像の中から特徴的なオブジェクト又は特徴点を抽出し、抽出した前記特徴的なオブジェクト又は特徴点を、前記領域において互いに異なる視点で撮影された複数の風景画像から生成された３次元データと照合し、前記入力用画像と前記３次元データとで対応するオブジェクト又は特徴点を判別することにより、前記撮影範囲を推定することと、
前記２値分類タスクの予測結果が前記地表画像である場合に、前記入力用画像の中から前記特徴的なオブジェクト又は特徴点を抽出することなく、前記入力用画像の撮影位置を含む規定の領域を前記撮影範囲として推定することと、を含む、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、診断装置、診断方法、及びプログラムに関する。

【背景技術】

【0002】

植物の健康状態を診断するためには、高度な専門知識が必要となる。また、そうした知識を有する専門家が直接植物を観察するのは難しいことがある。こうした問題を解決するために、特許文献１は、対象植物を撮影した画像を入力して、対象植物の病虫害を推定する学習モデルを開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２２－９４７８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

この学習モデルは、病害虫の推定結果に加えて、過去の病害虫の発生履歴データから算出される病害虫の発生確率を参照して、対象植物の病害虫を診断する方法を開示している。しかし、病害虫の発生履歴データの取得には手間も時間もかかるため、履歴データなしで植物の健康状態を適切に判断することができることが望ましい。

【0005】

本開示は、画像に基づいて植物の健康状態を適切に診断することができる診断装置、診断方法、学習モデルの生成方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一態様に係る診断装置は、植物の健康状態を診断するための診断装置であって、当該診断装置は、入力用画像を入力すると、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力するように構成されるマルチタスク学習器を備え、前記マルチタスク学習器は、地表面を覆う前記植物を写した複数の地表画像を含む地表画像群と、前記地表画像より広い領域を対象に前記植物を写した複数の広範囲画像を含む広範囲画像群と、を含む訓練データにより訓練されており、前記地表画像群及び前記広範囲画像群の各々は、健康な状態の前記植物を写した複数の無症画像と、不健康な状態の前記植物を写した複数の有症画像と、を含み、前記不健康な状態は、複数の病害の症状を含み、前記複数のタスクは、前記入力用画像に写された前記植物が前記複数の病害又は無症のうち何れに対応するかを予測する多値分類タスクと、前記入力用画像が前記地表画像又は前記広範囲画像の何れに対応するかを予測する２値分類タスクと、を含む。

【0007】

本開示の一態様に係る診断方法は、植物の健康状態の診断方法であって、当該方法は、地表面を覆う前記植物を写した入力用画像を取得することと、前記入力用画像をマルチタスク学習器に入力することと、前記マルチタスク学習器が、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力することと、を含み、前記マルチタスク学習器は、前記地表面を覆う前記植物を写した複数の地表画像を含む地表画像群と、前記地表画像より広い領域を対象に前記植物を写した複数の広範囲画像を含む広範囲画像群と、を含む訓練データにより訓練されており、前記地表画像群及び前記広範囲画像群の各々は、健康な状態の前記植物を写した複数の無症画像と、不健康な状態の前記植物を写した複数の有症画像と、を含み、前記不健康な状態は、複数の病害の症状を含み、前記複数のタスクは、前記入力用画像に写された前記植物が前記複数の病害又は無症のうち何れに対応するかを予測する多値分類タスクと、前記入力用画像が前記地表画像又は前記広範囲画像の何れに対応するかを予測する２値分類タスクと、を含む。

【0008】

本開示の一態様に係る学習モデルの生成方法において、植物の健康状態を診断するための学習モデルは、入力用画像を入力すると、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力するように構成され、前記生成方法は、訓練データとなる画像群を取得することと、前記訓練データを用いて前記学習モデルを訓練することと、を含み、前記訓練データが、地表面を覆う前記植物を写した複数の地表画像を含む地表画像群と、前記地表画像より広い領域を対象に前記植物を写した複数の広範囲画像を含む広範囲画像群と、を含み、前記地表画像群及び前記広範囲画像群の各々は、健康な状態の前記植物を写した複数の無症画像と、不健康な状態の前記植物を写した複数の有症画像と、を含み、前記不健康な状態は、複数の病害の症状を含み、前記複数のタスクは、前記入力用画像に写された前記植物が前記複数の病害又は無症のうち何れに対応するかを予測する多値分類タスクと、前記入力用画像が前記地表画像又は前記広範囲画像の何れに対応するかを予測する２値分類タスクと、を含む。

【0009】

本開示の一態様に係るプログラムは、１以上のコンピュータに、地表面を覆う植物を写した入力用画像を取得することと、取得した前記入力用画像をマルチタスク学習器に入力することと、前記マルチタスク学習器が、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力することと、を実行させる植物診断用のプログラムであって、前記マルチタスク学習器は、前記地表面を覆う前記植物を写した複数の地表画像を含む地表画像群と、前記地表画像より広い領域を対象に前記植物を写した複数の広範囲画像を含む広範囲画像群と、を含む訓練データにより訓練されており、前記地表画像群及び前記広範囲画像群の各々は、健康な状態の前記植物を写した複数の無症画像と、不健康な状態の前記植物を写した複数の有症画像と、を含み、前記不健康な状態は、複数の病害の症状を含み、前記複数のタスクは、前記入力用画像に写された前記植物が前記複数の病害又は無症のうち何れに対応するかを予測する多値分類タスクと、前記入力用画像が前記地表画像又は前記広範囲画像の何れに対応するかを予測する２値分類タスクと、を含む。

【図面の簡単な説明】

【0010】

【図1】図１は実施形態に係る診断装置を説明するための模式図である。

【図2】図２は図１の診断装置に入力される広範囲画像の例である。

【図3】図３は図１の診断装置に入力される地表画像の例である。

【図4】図４は実施形態に係る学習モデルの訓練データを例示する表である。

【図5】図５は実施形態に係る学習モデルを説明する模式図である。

【図6】図６は図５の学習モデルの損失関数と予測精度との関係を示すグラフである。

【図7】図７は実施形態に係るサブタスクを含む学習モデルとサブタスクを含まない比較例の学習モデルとの正解率を示す表である。

【図8】図８は図１の診断装置の追加機能を説明するための模式図である。

【図9】図９は入力用画像とヒートマップの例である。

【図10】図１０は実施形態に係る診断方法を例示するフロー図である。

【発明を実施するための形態】

【0011】

本開示の診断装置、診断方法、学習モデルの生成方法、及びプログラムの例を、以下に図面を参照しつつ説明する。本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【0012】

［診断装置］
図１に、植物の健康状態を診断するように構成される診断装置３０を例示する。本開示では、植物として芝を例示している。以下、地表面を覆うように生える芝を芝生１８という。地表面を覆うように群生する植物は、グラウンドカバープランツとも呼ばれ、高さが約５０ｃｍ以下、又は約３０ｃｍ以下、又は約１０ｃｍ以下の常緑多年草又は常緑木本植物であることが多い。こうした植物は、グラウンドカバープランツは、景観を彩ったり、衝撃を緩衝したり、表土を保護したり、温度変化を抑制したり、あるいは他の雑草が生えることを抑制したりすることを目的に、単一種又は複数種で地表面を密に被覆するように植栽される。

【0013】

芝生は、一般的に葉が短く刈り込まれる。こうした芝刈りにより、芝が光合成できる表面積は大幅に減少する。芝生の芝は、こうした光合成の効率低下を補うため、より密に生えるように葉の数を増やし、それにより緑の絨毯が形成される。芝刈りされた芝は、刈られていない芝と比較して病害に対する抵抗力が弱く、病害の症状に応じた薬剤の散布などの管理が必要となる。診断装置３０は、芝生のような植物の管理の要否を判断するために用いることができる。

【0014】

芝生の健康状態に関しては、全体にむら無く生えそろっていれば無症（無症状）であるので、健康な状態であると判断され得る。これに対して、芝生の植栽領域に剥げ、枯れ、変色、又はまだらなどがあれば、有症（有症状）であるので、不健康な状態であると判断され得る。

【0015】

芝生１８が植栽される場所は、図１ではゴルフ場１１を例示しているが、その他、公園、園庭、校庭、競馬場、あるいは、サッカー場、アメリカンフットボール場、野球場、テニスコートのような運動用広場であってもよい。その他、診断装置３０によって、自然植生である植物の健康状態を診断してもよい。

【0016】

撮影者２０は撮影装置２１を操作して、ゴルフ場１１に敷設された芝生の１以上の画像１０を撮影する。撮影装置２１は、例えば、携帯可能なデジタルカメラ、ビデオカメラ、スマートフォン、又はタブレットであってもよいが、これらに限られない。画像１０は、ドローン又は自動走行車のような無人機に搭載された撮影装置によって撮影されてもよいし、定点カメラによって撮影されてもよい。画像１０は、定期的に、又は不定期に撮影される。画像１０は、定点にて撮影されてもよいし、撮影の都度に異なる位置で撮影されてもよい。

【0017】

撮影者２０は、予め決められた１以上の撮影位置、例えば特に管理が必要なグリーン１２などの１以上の領域を撮影してもよい。撮影者２０は、１カ所につき、複数の画像１０を撮影するとよい。複数の画像１０は、例えば、地表面を覆う植物（芝生１８）を写した１以上の地表画像１０Ａ（図３参照）と、地表画像１０Ａより広い領域を対象に植物（芝生１８）を写した１以上の広範囲画像１０Ｂ（図２参照）とを含むとよい。

【0018】

図１及び図２に示すように、広範囲画像１０Ｂには、芝生１８の中又は芝生１８の周囲にある自然物又は人工物が写されていてもよい。芝生１８の中にある自然物の例はグリーン１２の境界線であり、芝生１８の周囲にある自然物の例はバンカー１４、池１５、又は樹木１６である。芝生１８の中にある人工物の例はカップホール１３又はピンであり、芝生１８の周囲にある人工物の例は管理施設１７のような建物である。

【0019】

図３に示すように、地表画像１０Ａは、主に、芝生１８の健康状態がわかるように撮影されるとよい。特に、撮影者２０が、芝生１８に病害が疑われる不健康な状態、例えば剥げ、枯れ、変色、又はまだらなどを視認した場合は、その様子をとらえるように、地表画像１０Ａを撮影するとよい。不健康な状態は、複数の病害の症状を含む。撮影者２０は、不健康な状態が確認された場合には、地表画像１０Ａと併せて、症状の分布がわかるような広範囲画像１０Ｂを撮影するとよい。

【0020】

図３に示す地表画像１０Ａ１は健康な状態の芝生１８を写した無症画像の例である。図３に示す地表画像１０Ａ２～１０Ａ７は不健康な状態の芝生１８を写した有症画像の例である。病害の種類は、例えば、炭疽病（Anthracnose）、ブラウンパッチ（Brown patch）、ダラースポット（Dollar spot）、ドライスポット（Dry spot）、ピシウム（Pythium）、スノーモールド（Snow mold）のうち１以上を含んでもよい。地表画像１０Ａ２，１０Ａ３，１０Ａ４，１０Ａ５，１０Ａ６，１０Ａ７には、それぞれ、炭疽病、ブラウンパッチ、ダラースポット、ドライスポット、ピシウム、又はスノーモールドの症状を示す芝生１８が写っている。

【0021】

撮影された画像１０は、ユーザ端末２２に保存されてもよい。ユーザ端末２２は、例えば、ゴルフ場１１の管理施設１７内に置かれていてもよい。ユーザ端末２２は、例えば、パーソナルコンピュータである。ユーザ端末２２は、ネットワーク２３を通じて診断装置３０と通信するように構成されてもよい。この場合、ユーザ端末２２に保存された画像１０は、ネットワーク２３を通じて診断装置３０に送信されてもよい。

【0022】

ネットワーク２３は、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、プロバイダ端末、無線通信網、無線基地局、専用回線等を含む。撮影装置２１が通信機能を有する端末、例えばスマートフォン又はタブレットである場合、ユーザ端末２２を介さず、撮影した画像を診断装置３０に直接送信するようにしてもよい。あるいは、ユーザ端末２２又は撮影装置２１を有する端末が診断装置３０として使用されてもよい。

【0023】

診断装置３０は、例えば、プロセッサ３１、メモリ３２、及び通信ＩＦ（interface）３３を備えるサーバ又はコンピュータである。診断装置３０は、さらに、入力装置３４、出力装置３５、及びストレージ３６を有してもよい。プロセッサ３１、メモリ３２、通信ＩＦ３３、入力装置３４、出力装置３５、及びストレージ３６は、通信バス３７により互いに接続される。

【0024】

プロセッサ３１は、例えば、各種ソフトウェア処理を実行するように構成される処理回路である。処理回路は、ソフトウェア処理の少なくとも一部を処理する専用のハードウェア回路（たとえばＡＳＩＣ等）を備えてもよい。すなわち、ソフトウェア処理は、１又は複数のソフトウェア処理回路及び１又は複数の専用のハードウェア回路の少なくとも一方を備えた処理回路（processing circuitry）によって実行されればよい。

【0025】

プロセッサ３１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、又はその他の演算装置である。プロセッサ３１は、与えられる信号に応じて、又は、予め定められた条件が成立したことに応じて、メモリ３２又はストレージ３６に格納されているプログラムに含まれる一連の命令を実行する。

【0026】

メモリ３２は、例えば、ＲＡＭ（Random Access Memory）、又はその他の揮発性メモリである。メモリ３２は、プログラム、及びデータを一時的に保存するように構成される。プログラムは、例えばストレージ３６から読み出される。メモリ３２に保存されるデータは、診断装置３０が受信したデータと、プロセッサ３１によって生成されたデータとを含んでもよい。

【0027】

通信ＩＦ３３は、ネットワーク２３に接続するように構成される。通信ＩＦ３３は、ネットワーク２３に接続されている他の装置と通信するように構成される。通信ＩＦ３３は、例えば、ＬＡＮ、又はその他の有線通信ＩＦとして実現される。通信ＩＦ３３は、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はその他の無線通信ＩＦとしても実現され得るが、これらに限定されない。

【0028】

入力装置３４は、例えば、キーボード及びマウスであり、ボタン、キー、スイッチ、タッチパッド、又はマイクを含んでもよい。出力装置３５は、例えば、液晶モニタ又は有機ＥＬ（Electro Luminescence）モニタであってもよいし、入力装置３４を兼ねたタッチパネルを有するタッチスクリーンであってもよい。出力装置３５は、スピーカ又は音声出力のための端子であってもよい。

【0029】

ストレージ３６は、メモリの一種であり、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、又はその他の不揮発性記憶装置であってもよい。ストレージ３６は、メモリカードのように、着脱可能な記憶装置であってもよい。ストレージ３６は、プログラム及びデータを永続的に格納するように構成される。ストレージ３６には、学習器４０、画像データ４１、各種の機能を実現するための１以上のアプリケーション４３、及び出力データ４４が格納されていてもよい。画像データ４１は、ユーザ端末２２から受信した１以上の画像１０を含む。出力データ４４は、学習器４０及びアプリケーション４３からの出力結果を含む。

【0030】

学習器４０は、入力用画像１０を入力すると、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力するように構成されるマルチタスク学習器であってもよい。学習器４０は、畳み込みニューラルネットワークを利用した学習モデル４５を含んでもよい。学習器４０が含む学習モデル４５は、以下のように作成されてもよい。

【0031】

［学習モデルの生成方法］
図１に示す情報処理装置５０は、例えば、プロセッサ５１、メモリ５２、及び通信ＩＦ（interface）５３を備えるコンピュータである。情報処理装置５０は、さらに、入力装置５４、出力装置５５、及びストレージ５６を有してもよい。プロセッサ５１、メモリ５２、通信ＩＦ５３、入力装置５４、出力装置５５、及びストレージ５６は、通信バス５７により互いに接続される。プロセッサ５１、メモリ５２、通信ＩＦ５３、入力装置５４、出力装置５５、及びストレージ５６は、それぞれ、プロセッサ３１、メモリ３２、及び通信ＩＦ３３、入力装置３４、出力装置３５、及びストレージ３６と同様の構成を備えてもよい。

【0032】

プロセッサ５１は、学習モデルを生成するために、機械学習のための１以上の学習プログラム５８を生成又は取得して、ストレージ５６に格納する。また、プロセッサ５１は、訓練データ５９を生成又は取得して、ストレージ５６に格納する。その後、プロセッサ５１は、学習プログラム５８の実行により、図４に示す訓練データ５９により学習モデルの訓練、検証、及びテストを行う。訓練データ５９により汎化された（生成された）学習モデル４５は、ストレージ５６に格納される。学習器４０が含む学習モデル４５は、ネットワーク２３を介して情報処理装置５０から取得された訓練済みの学習モデル４５である。

【0033】

訓練データ５９は、地表画像群と広範囲画像群とを含む。地表画像群は、地表面を覆う植物（本例では芝生１８）を写した複数の地表画像を含む。地表画像は、広範囲画像よりもズームインして植物を撮影したズームイン画像とも言える。広範囲画像群は、地表画像より広い領域を対象に植物（本例では芝生１８）を写した複数の広範囲画像を含む。広範囲画像は、地表画像よりもズームアウトして植物を撮影したズームアウト画像とも言える。地表画像と広範囲画像とは、互いに異なる位置で撮影されていてもよい。

【0034】

地表画像と広範囲画像とは、概ね、その撮影範囲に含まれる対象物によって区分される。例えば、地表画像は、植物で覆われた地表面が全撮影範囲を占める画像であってもよい。広範囲画像は、植物で覆われた地表面（芝生１８）に加えて、地表面から生える樹木又は空のような自然物、又は、建物を含む人工物、のうち少なくとも何れかを写した風景画像であってもよい。

【0035】

広範囲画像は、地表画像よりも高い位置から、例えばドローンのような飛行体によって撮影した画像であってもよい。このように、地表面が全撮影範囲を占める画像であっても、人の目線より高いハイポジションで撮影した画像は、広範囲画像に区分されてもよい。人が撮影装置２１を直接手に持って撮影する場合、地表画像はハイアングル（図１に斜め下向きの矢印で示す）で撮影した画像であってもよく、広範囲画像は地表画像よりも低いアングル、例えば水平アングル（図１に左向きの矢印で示す）又はローアングル（図１に斜め上向きの矢印で示す）で撮影された画像であってもよい。

【0036】

地表画像群及び広範囲画像群の各々は、健康な状態の植物を写した複数の無症画像と、不健康な状態の植物を写した複数の有症画像と、を含む。訓練データ５９として使用される画像の各々には、病害の種類又は無症のうち何れであるかを示す第１正解ラベルと、地表画像又は広範囲画像の何れであるかを示す第２正解ラベルと、が付されている。

【0037】

有症画像群は、複数の病害の症状の画像を含む。病害は、例えば、炭疽病、ブラウンパッチ、ダラースポット、ドライスポット、ピシウム、又はスノーモールドのうち、１以上を含む。訓練データ５９として用意された病害の種類が、診断装置３０により診断可能な病害の種類になる。地表画像群及び広範囲画像群の各々は、各症状についての複数の画像を訓練データ５９として含むとよい。

【0038】

図４に示すように、訓練データ５９は、学習用データ、検証用データ、及びテスト用データを含む。図４は訓練に使用した各病害画像の数の一例を示す。訓練データ５９は、例えば、病害の名称をキーワードとしてウェブ上のデータをクローリングして収集してもよい。この場合、収集した画像に、キーワードとした病害の名称を第１正解ラベルとして付してもよい。また、収集した画像に写っているオブジェクト又は特徴点を抽出することによって地表画像又は広範囲画像の何れであるかを判別して、その結果を第２正解ラベルとして付してもよい。

【0039】

収集した画像に、例えば、回転、移動、拡大、縮小、反転、色変化、ノイズ付加、ぼかし、高周波成分強調、又は歪みのうち何れか１以上の画像処理を施すことにより、訓練データ５９の数を増加させてもよい。画像処理を施した画像を訓練データ５９に加えることにより、位置、向き、大きさ、明度、又は彩度の異なる画像についても学習することが可能になる。

【0040】

図５に示すように、学習モデル４５は、畳み込みニューラルネットワーク（ＣＮＮ）のバックボーンを利用している。畳み込みニューラルネットワークの例は、Resnet34、ResNet50、ResNet101、又はEfficientNetB7であるが、本例ではResNet50を採用している。学習モデル４５は、バックボーンである共通層４６と、複数（本例では２つ）の出力層４７（４７Ａ，４７Ｂ）とを含む。

【0041】

共通層４６は、入力用画像１０が入力される入力層と、訓練データ５９により訓練された複数の中間層とを含む。複数（本例では２つ）の出力層４７Ａ，４７Ｂは、それぞれ異なる複数（本例では２つ）のタスクに関連付けられている。学習モデル４５は、地表面を覆う植物を写した入力用画像１０を入力層（共通層４６）に入力し、複数のタスクにそれぞれ関連付けられた複数の予測結果を複数の出力層４７から出力するようにコンピュータを機能させるプログラムを含む。

【0042】

複数のタスクは、入力用画像１０に写された植物（芝生１８）が、病害の種類又は無症のうち何れに対応するかを予測する多値分類タスクと、入力用画像１０が地表画像１０Ａ又は広範囲画像１０Ｂの何れに対応するかを予測する２値分類タスクと、を含む。多値分類タスクは、第１タスク又はメインタスクとも言う。２値分類タスクは、第２タスク又はサブタスクとも言う。多値分類タスクは、植物の病害に係る予測を行うものである。２値分類タスクは、入力用画像１０のズームレベルを予測するものである。学習モデル４５は、植物の病害に係る分類と、入力用画像１０のズームレベルによる分類とを同時に行うための分類器（Classifier）又はニューラルネットワークシステムでもある。

【0043】

図５に示すように、第１出力層４７Ａは第１タスクの予測結果４８Ａを出力するように構成され、第２出力層４７Ｂは第２タスクの予測結果４８Ｂを出力するように構成される。このように、学習モデル４５は、１つの入力用画像１０に対して複数（２つ）の予測結果４８（４８Ａ，４８Ｂ）を出力するように構成される。

【0044】

多値分類タスクは、予測結果として、複数の病害又は無症に対応する確率を出力するように構成されてもよい。出力される確率は、パーセント表示に限らず、確率の合計が１になるように表示されてもよい。例えば、多値分類タスクは、６種の病害及び無症の７つの分類（クラスともいう）に対応する確率を各々出力してもよいし、最も確率の高い上位１つのクラスとその確率を、例えば「無症：９６．４％」のように出力してもよい。あるいは、多値分類タスクは、７つのクラスのうち該当確率の高い上位２又は３クラスと、それぞれに対応する確率に相当する数値を、例えば、「無症：０．９６４、ドライスポット：０．０１５、ブラウンパッチ：０．００８」のように、出力してもよい。２値分類タスクは、入力用画像１０が地表画像１０Ａ又は広範囲画像１０Ｂのうち何れに該当するかと、その該当確率とを出力してもよい。

【0045】

学習モデル４５では、メインタスクの損失であるクロスエントロピー損失（以下、CELoss）と、サブタスクの損失であるバイナリクロスエントロピー損失（以下、BCELoss）が設定されている。２つのタスクに関する学習モデル４５の損失関数は、（１－λ）CELoss＋λBCELossのように統合した。

【0046】

図６に、λに応じたメインタスクとサブタスクの各々の分類精度の検証結果を示す。図６に示すように、λ＝０．０５のときにメインタスクの精度が最も高くなっているが、このとき、サブタスクの予測精度は低くなっている。学習モデル４５では、植物の健康状態を診断することが主目的である。そのため、メインタスクの予測精度が高くなるように、λ＝０．０５と設定した。すなわち、メインタスクの予測性能がサブタスクの予測性能よりも高くなるように、学習モデル４５の損失関数が設定されている。

【0047】

図７に、サブタスク有りの本例の学習モデル４５と、サブタスクの無いシングルタスクの学習モデルとの正解率（Accuracy）の比較結果を示す。第１位正解率（Top-1 accuracy）は、最も確率の高い多値分類タスクの予測結果が第１正解ラベルと一致している確率（正解率）である。また、多値分類タスクの予測結果において、有症であるか無症であるかの正解率を「有症対無症の正解率」（病害の有無に係る予測）として示している。

【0048】

図７に示すように、有症対無症の正解率はサブタスクの有無で違いはないが、第１位正解率は、サブタスク有りの学習モデル４５の方が高くなっている。したがって、植物の健康状態を診断するための学習モデル４５に、ズームレベルを予測するサブタスクを加えることにより、予測精度が高くなるといえる。このように、サブタスクはメインタスクの汎化性能を向上させる。

【0049】

［診断装置の追加的な機能］
診断装置３０は、基本的な機能として学習モデル４５による植物の病害に係る予測を行うが、追加的に、学習モデル４５の予測結果に基づく診断結果の出力機能をアプリケーション４３として備える。

【0050】

図８に示すように、アプリケーション４３は、任意追加的なプログラムである、診断出力部７１、ヒートマップ生成部７２、撮影位置取得部７３、位置情報作成部７４、撮影範囲推定部７５、３次元データ生成部７６、及び平面画像生成部７７のうち、１以上を備えてもよい。プロセッサ３１がプログラム７１～７７を実行することにより、診断装置３０は、それぞれ、以下に説明する機能部として動作する。言い換えると、診断装置３０は、診断出力部７１、ヒートマップ生成部７２、撮影位置取得部７３、位置情報作成部７４、撮影範囲推定部７５、３次元データ生成部７６、及び平面画像生成部７７を備えるといえる。

【0051】

診断出力部７１は、プロセッサ３１に実行されることにより、学習器４０の予測結果に基づいて、植物の手入れの要否に関する診断結果を出力するように構成される。診断出力部７１は、多値分類タスクの予測結果が無症であれば、手入れは不要との診断結果を出力する。

【0052】

診断出力部７１は、多値分類タスクの予測結果が複数の病害の何れかである場合、手入れが必要であるとの診断結果を出力してもよい。この場合、出力される診断結果には、例えば病害に応じた薬剤の散布など、手入れの内容が含まれてもよい。一例では、診断出力部７１は、多値分類タスクが出力した病害の何れかである確率が有症閾値（例えば、７０％）を超える場合に、植物の手入れが必要であるとの診断結果を出力するように構成される。あるいは、診断出力部７１は、病害の確率が第１有症閾値（例えば、９０％）を超えれば植物の手入れが必要であるとの診断結果を出力し、病害の確率が第１有症閾値（例えば、９０％）未満かつ第２有症閾値（例えば、７０％）であれば要観察との診断結果を出力してもよい。

【0053】

診断出力部７１は、多値分類タスクの予測結果に２値分類タスクの予測結果を加味した上で、植物の手入れの要否に関する診断結果を出力してもよい。例えば、診断出力部７１は、２値分類タスクの予測結果が広範囲画像１０Ｂに対応し、かつ、多値分類タスクの予測結果が複数の病害の何れかである場合に、植物の手入れの要否に関する診断結果を出力するように構成されてもよい。この場合、診断出力部７１は、広範囲画像１０Ｂに基づいて、植物の手入れが必要であるとの診断結果を出力してもよい。この場合、各撮影箇所において、地表画像１０Ａと広範囲画像１０Ｂとをセットで撮影しておくとよい。より詳細には、広範囲画像１０Ｂにおける病害の広がりに係る分布数値が閾値を超えている場合には、診断出力部７１が植物の手入れが必要であるとの診断結果を出力してもよい。

【0054】

診断出力部７１は、多値分類タスクの予測結果を得た後、更に追加の診断を経た上で、手入れが必要であるとの診断結果を出力してもよい。追加の診断は、例えば、病害の種類、範囲、程度、又は時期のうち１以上に基づいて行われてもよい。追加の診断は、学習器４０の追加的な機能として実現されてもよいし、アプリケーション４３に含まれるプログラムの実行により実現されてもよい。診断出力部７１が出力した予測結果は、必要に応じて追加の診断及び関連するデータと関連付けられて、ストレージ３６に格納される。

【0055】

ヒートマップ生成部７２は、プロセッサ３１に実行されることにより、図９に示すように、入力用画像１０上に多値分類タスクの予測根拠を重ねたヒートマップ６５を生成するように構成される。ヒートマップ生成部７２は、例えばGrad-CAMを使用することができる。この場合、ヒートマップ６５は、多値分類タスクの最終出力の特徴量マップとして、予測の根拠になっている箇所がより濃い色で示される。生成されたヒートマップ６５は、入力用画像１０及び予測結果と関連付けられて、ストレージ３６に格納される。

【0056】

ヒートマップ６５を参照することにより、画像１０のどの部分が判断の根拠となっているかを可視化できる。これにより、ユーザは、画像１０中の病害に冒された芝の枯死部分が判断の根拠となっていれば、正しい根拠で判断されたことが確認できるし、例えば芝以外の人工物が判断の根拠となっていれば、予測が正確でないと推定することができる。

【0057】

撮影位置取得部７３は、プロセッサ３１に実行されることにより、入力用画像１０の撮影位置６０に係る位置情報を取得するように構成される。位置情報は、例えば、撮影装置２１により画像１０に付されてもよい。撮影位置取得部７３により取得された位置情報は、ストレージ３６に格納される。撮影位置６０は、診断出力部７１が出力する診断結果と共に出力又は表示されてもよい。

【0058】

アプリケーション４３が位置情報作成部７４を含む場合、ストレージ３６には、入力用画像１０が撮影された場所、例えばゴルフ場１１を含む地図データ６１が格納されている。地図データ６１は、緯度及び軽度を含む地図を含んでもよいし、ゴルフ場１１であればコースレイアウトのような、施設独自の配置図を含んでもよい。位置情報作成部７４は、プロセッサ３１に実行されることにより、地図データ６１上に撮影位置６０をプロットした位置情報を作成するように構成される。

【0059】

３次元データ生成部７６の使用にあたっては、撮影者２０は、撮影範囲を含むように、互いに異なる視点で撮影された複数の風景画像を取得しておく。複数の風景画像は、動画で代替されてもよい。複数の風景画像を含む風景画像群は、撮影装置２１からネットワーク２３を通じて診断装置３０に送信され、ストレージ３６に格納される。３次元データ生成部７６は、この風景画像群又は動画から対象地域（例えば、ゴルフ場１１）の３次元データ６２を生成するように構成される。

【0060】

平面画像生成部７７は、３次元データ６２から平面画像６３を生成するように構成される。具体的には、平面画像生成部７７は、３次元データ６２を上方から見た平面図である平面画像６３を生成する。位置情報作成部７４は、平面画像生成部７７が作成した平面画像６３上に撮影位置６０をプロットした位置情報を作成してもよい。位置情報作成部７４は、平面画像６３を緯度及び経度を含む地図データ６１と重ねたうえで、撮影位置６０をプロットした位置情報を作成してもよい。このように生成された、入力用画像１０の撮影位置６０を含む平面画像６３は、ストレージ３６に格納される。

【0061】

撮影範囲推定部７５は、プロセッサ３１に実行されることにより、入力用画像１０の撮影範囲６４を推定するように構成される。撮影範囲推定部７５は、画像１０の中から特徴的なオブジェクト又は特徴点を抽出し、これを３次元データ６２と照合するように構成されてもよい。撮影範囲推定部７５は、その後、画像１０と３次元データ６２とで対応するオブジェクト又は特徴点を判別することにより、撮影位置６０及び撮影範囲６４を推定するように構成されてもよい。

【0062】

画像１０が地表画像１０Ａであると予測された場合には、撮影範囲推定部７５は、オブジェクト又は特徴点を抽出することなく、撮影位置６０（点データ）又は撮影位置６０を含む規定の領域（例えば、３０～５０センチ四方の領域）を撮影範囲６４として推定してもよい。撮影範囲推定部７５は、撮影位置６０及び撮影範囲６４を平面画像６３上に重ねるように構成されてもよい。

【0063】

診断出力部７１は、ヒートマップ６５、３次元データ６２、平面画像６３、撮影位置６０、又は撮影範囲６４のうち１以上を、予測結果と一緒に診断結果として出力してもよい。例えば、診断出力部７１は、メインタスクの予測結果が複数の病害の何れかに対応する場合に、予測された病害であることを示す情報を平面画像６３の撮影範囲６４に付加して出力してもよい。アプリケーション４３は、診断出力部７１が出力する診断結果を、１つの画面に合成して、あるいは切り替え可能な複数の画面に分割して、表示するためのプログラムを含んでもよい。

【0064】

［植物の健康状態の診断方法］
図１０を参照して、植物の健康状態を診断する方法を説明する。ステップＳ１０～Ｓ１４，Ｓ１７は診断結果の表示に係る工程であり、ステップＳ８，Ｓ１５～Ｓ１６が学習器４０による病害の予測に係る工程である。ステップＳ１０～Ｓ１４はステップＳ１６の後に行ってもよい。

【0065】

まず、ステップＳ８で、プロセッサ３１は、地表面を覆う植物を写した入力用画像１０を取得する。続くステップＳ１０～Ｓ１２は、予測結果を表示するための背景地図の作成に係る工程である。まず、ステップＳ１０で、プロセッサ３１は風景画像群を取得する。ステップＳ１１で、３次元データ生成部７６が風景画像群に基づいて３次元データ６２を生成する。そして、ステップＳ１２で、平面画像生成部７７が３次元データ６２に基づいて平面画像６３を生成する。これにより、背景画像となる平面画像６３が得られる。

【0066】

ステップＳ１３～Ｓ１４は、撮影位置６０及び撮影範囲６４の位置を背景画像とリンクさせるための準備工程である。ステップＳ１３で、撮影位置取得部７３が撮影位置６０を取得する。続くステップＳ１４で、撮影範囲推定部７５が撮影範囲６４を推定する。推定された撮影位置６０及び撮影範囲６４は、平面画像６３上に重ねられてもよい。

【0067】

ステップＳ１５で、プロセッサ３１が画像１０を学習器４０に入力する。このときに入力される画像１０は、ステップＳ１３～Ｓ１４で撮影位置６０の取得及び撮影範囲６４の推定を行った画像１０と同じである。続いて、ステップＳ１６で、学習器４０がメインタスクとサブタスクの予測結果を出力する。

【0068】

ステップＳ１７で、ステップＳ１６での予測結果の予測根拠を表示するために、ヒートマップ生成部７２がヒートマップ６５を生成する。生成されたヒートマップ６５は、オリジナルの画像１０と並ぶように合成されてもよい。

【0069】

ステップＳ１８で、診断出力部７１が診断結果を出力する。診断結果は、ステップＳ１６で出力されたメインタスクの予測結果と植物の手入れが必要か否かの診断とを含めばよく、サブタスクの予測結果は含まなくてもよい。メインタスクの予測結果は、平面画像６３に重ねられた撮影位置６０及び撮影範囲６４と、元の画像１０及びヒートマップ６５と関連付けられて出力されてもよい。

【0070】

最後に、ステップＳ１９で、プロセッサ３１がネットワーク２３を通じて診断結果をユーザ端末２２に送信する。診断装置３０が診断出力部７１を備えない場合、プロセッサ３１は、ステップＳ１８の診断結果に代えて、ステップＳ１６の予測結果をユーザ端末２２に送信するとよい。

【0071】

［本開示の作用］
農業用又は鑑賞用の植物の場合、葉の状態から病虫害の判断をすることが多い。しかし、芝のようなイネ科植物は葉が細い上、短く刈り込まれた芝生の葉の状態は視認しにくい。よって、芝生が病害に冒されると、病害がある程度広がって、地表を覆う緑色の領域に部分的な剥げ、枯れ、変色、又はまだらなどが生じることによって、その病害が発見されることが多い。

【0072】

芝生の病害症状を画像に基づいて診断するには、ある程度広い領域を撮影する必要がある。しかし、病害の種類を判断するには、芝生の葉の様子がわかるように、ある程度芝生に近寄って画像を撮影する必要がある。

【0073】

その点、学習器４０は、地表画像と広範囲画像の両方を含む訓練データ５９で訓練しているので、入力する画像１０が地表画像１０Ａであるか広範囲画像１０Ｂに関わらず、写っている植物の健康状態を診断することが可能になる。撮影者２０にとっても、撮影範囲６４の制約無く画像１０を取得することができるので、管理が容易になる。

【0074】

そして、学習器４０の学習モデル４５は、病害診断に係る多値分類タスクに加えてサブタスクを含むので、サブタスクを含まない学習モデルよりも、多値分類タスクの予測精度が高い。これにより、画像１０に基づいて芝生の健康状態を適切に診断することが可能になる。

【0075】

［本開示の効果］
本開示によれば、以下の効果を奏することができる。
（１）多値分類タスクに２値分類タスクを加えることにより、多値分類タスクの予測精度を高めることができる。

【0076】

（２）診断出力部７１により、学習器４０の予測結果に基づいて、植物の手入れの要否に関する診断結果を出力することができる。
（３）多値分類タスクの予測結果を確率で出力することにより、予測結果の確からしさの指標をユーザに示すことができる。

【0077】

（４）２値分類タスクの予測結果が広範囲画像１０Ｂに対応し、かつ、多値分類タスクの予測結果が複数の病害の何れかである場合、その予測根拠となった広範囲画像１０Ｂに基づいて、病害の範囲を判断することが可能になる。そのため、広範囲画像１０Ｂから把握される病害の広がりに基づいて、植物の手入れが必要であるとの診断をすることができる。

【0078】

（５）ヒートマップ６５を入力用画像１０と比較することにより、ユーザは、画像１０のどの部分を根拠として予測結果が出力されたのかを確認することができる。
（６）画像１０の撮影位置６０に係る位置情報を取得することにより、撮影位置と予測結果を対応付けることができる。

【0079】

（７）地図データ上に撮影位置６０をプロットした位置情報を作成することにより、ユーザは、診断結果に基づく植物の管理が容易になる。
（８）３次元データ６２に基づいて平面画像６３を生成することにより、植物が生育する環境を図示することができる。

【0080】

（９）広範囲画像１０Ｂの撮影範囲６４を平面画像６３上に重ねることにより、診断に係る領域を図示することができる。これにより、ユーザは、植物の管理がしやすくなる。
［変更例］
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

【0081】

［変更例１］同じ撮影位置６０で撮影した１以上の地表画像１０Ａと１以上の広範囲画像１０Ｂとをセットで学習器４０に入力してもよい。この場合、地表画像１０Ａを入力した場合の多値分類タスクの予測結果に基づいて病害の種類及び有無を判断し、広範囲画像１０Ｂに基づいて診断出力部７１が植物の手入れの要否に関する診断結果を出力するようにしてもよい。

【0082】

［変更例２］サブタスクは、２値分類タスクではなく、３以上のクラス分類を行うタスクに変更してもよい。例えば、３段階以上にズームレベルを設定してもよいし、地上からアングルを変えて撮影した地表画像と広範囲画像に、ドローンなどの飛行体により上空から撮影した空撮画像を加えた３クラスのクラス分類にしてもよい。

【0083】

［変更例３］学習器４０は、シングルタスク学習器であってもよい。シングルタスク学習器は、画像とその他の情報を入力するマルチモーダルモデルであってもよい。例えば、入力用画像１０と共に、その画像１０が地表画像であるか広範囲画像であるかも入力して、シングルタスクである多値分類タスクを解くようにしてもよい。画像に加える情報のその他の例は、撮影時の条件、例えば、温度、天候、場所、季節などである。

【0084】

［変更例４］診断装置３０は、マルチタスク学習器４０に代えて、複数のシングルタスク学習器を備えてもよい。例えば、診断装置３０は、地表画像群で訓練した、植物の病害に係る予測を行う第１学習器と、広範囲画像群で訓練した、植物の病害に係る予測を行う第２学習器と、を備えてもよい。さらに、診断装置３０は、画像のズームレベルを予測する第３学習器を備えてもよい。この場合、第３学習器により入力用画像が地表画像又は広範囲画像の何れに対応するかを予測した後、地表画像であれば第１学習器に入力し、広範囲画像であれば第２学習器に入力して、植物の病害に係る予測結果を得てもよい。

【0085】

［変更例５］学習器４０は、３つ以上のタスクを含むマルチタスク学習器であってもよい。追加するタスクは、例えば、植物の種類の予測、植物の管理状態（例えば、芝刈りされているか否か）の予測、病害エリアの予測、病害エリアと無害エリアの比率予測、画像撮影時の季節の予測であってもよい。植物の種類を予測する場合には、１つの診断装置３０で、複数の植物の診断を行うことができる。芝の他の植物の例は、グラウンドカバープランツであるダイコンドラ、イワダレソウ、クラビア、シロツメクサなどである。あるいは、異なる種類の芝、例えば野芝、高麗芝、西洋芝などを別個に診断するようにしてもよいし、夏芝と冬芝のように、生育タイプにより区分するようにしてもよい。

【0086】

［変更例６］１つの風景画像の一部を抽出して、入力用又は訓練用の、１以上の地表画像と１以上の広範囲画像とを生成してもよい。
［変更例７］不健康な状態として、病害に加えて、虫害の症状、枯死状態、物理的な損傷状態（地表のえぐれなど）のうち１以上を含んでもよい。

【0087】

［変更例８］診断装置３０が情報処理装置５０を兼ねてもよい。すなわち、診断装置３０であるコンピュータが学習モデル４５の生成（訓練）を行ってもよい。
［変更例９］学習器４０は、アプリケーション４３の少なくとも一部と共に、植物の健康状態を診断するための診断用プログラムとして提供されてもよい。診断用プログラムは、１以上のコンピュータに、地表面を覆う植物を写した入力用画像１０を取得することと、取得した入力用画像１０を学習器４０に入力することと、学習器が、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力することと、を実行させる。診断用プログラムは、診断用アプリケーションとして、ユーザ端末２２のようなパソコン、タブレット、又はスマートフォンにダウンロードされて使用されてもよい。診断用プログラムは、ネットワーク２３を介して診断装置３０により提供されるクラウドアプリケーションとして使用されてもよい。

【0088】

［変形例１０］訓練データ５９は、地表画像群と広範囲画像群とに加えて、地表画像を撮影したユーザ又は撮影機器（例えば、撮影に用いるカメラ又はドローンのような無人機）に係る属性情報を含んでもよい。この属性情報は、以下の情報１）～４）のうち少なくとも１つを含んでもよい。

【0089】

１）地表画像を撮影した主体が人間であるか否かを示す撮影主体識別情報、
２）地表画像の撮影を行った人間の性別及び年齢層の少なくとも一方を含む撮影者情報、
３）地表画像を撮影した人間の診断歴及びゴルフ歴の少なくとも一方を含む経歴情報、
４）地表画像を撮影した撮影機器（例えば、無人機）の年式及び型番の少なくとも一方を含む機器情報。

【0090】

学習器４０は、こうした属性情報を含む訓練データ５９に基づいて学習モデル４５を訓練してもよい。この場合、診断用装置３０は、学習モデル４５の入力層に入力用画像１０に加えて属性情報を入力することで診断結果を得てもよい。

【0091】

上記実施形態及び変更例に基づいて把握される態様を以下に列記する。
［１］植物の健康状態を診断するための診断装置であって、当該診断装置は、
入力用画像を入力すると、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力するように構成されるマルチタスク学習器を備え、
前記マルチタスク学習器は、
地表面を覆う前記植物を写した複数の地表画像を含む地表画像群と、
前記地表画像より広い領域を対象に前記植物を写した複数の広範囲画像を含む広範囲画像群と、を含む訓練データにより訓練されており、
前記地表画像群及び前記広範囲画像群の各々は、
健康な状態の前記植物を写した複数の無症画像と、
不健康な状態の前記植物を写した複数の有症画像と、を含み、
前記不健康な状態は、複数の病害の症状を含み、
前記複数のタスクは、
前記入力用画像に写された前記植物が前記複数の病害又は無症のうち何れに対応するかを予測する多値分類タスクと、
前記入力用画像が前記地表画像又は前記広範囲画像の何れに対応するかを予測する２値分類タスクと、を含む、
診断装置。

【0092】

［２］前記マルチタスク学習器の予測結果に基づいて、前記植物の手入れの要否に関する診断結果を出力するように構成される、診断出力部を備える、
上記［１］に記載の診断装置。

【0093】

［３］前記多値分類タスクは、予測結果として、前記複数の病害又は無症に対応する確率を出力するように構成され、
前記診断出力部は、前記多値分類タスクが出力した前記病害の何れかである確率が有症閾値を超える場合に、前記植物の手入れが必要であるとの診断結果を出力するように構成される、
上記［２］に記載の診断装置。

【0094】

［４］前記診断出力部は、前記２値分類タスクの予測結果が前記広範囲画像に対応し、かつ、前記多値分類タスクの予測結果が前記複数の病害の何れかである場合に、前記広範囲画像に基づいて、前記植物の手入れが必要であるとの診断結果を出力するように構成される、
上記［２］又は［３］に記載の診断装置。

【0095】

［５］前記入力用画像上に前記多値分類タスクの予測根拠を重ねたヒートマップを生成するように構成される、ヒートマップ生成部を備える、
上記［１］～［４］のうち何れかに記載の診断装置。

【0096】

［６］前記入力用画像の撮影位置に係る位置情報を取得するように構成される、撮影位置取得部と、
位置情報作成部と、
１以上のメモリと、を備え、
前記メモリには、前記入力用画像の前記撮影位置を含む地図データが格納されており、
前記位置情報作成部が、前記地図データ上に前記撮影位置をプロットした位置情報を作成するように構成される、
上記［１］～［５］のうち何れかに記載の診断装置。

【0097】

［７］互いに異なる視点で撮影された複数の風景画像を含む風景画像群から３次元データを生成するように構成される、３次元データ生成部と、
前記３次元データから平面画像を生成するように構成される、平面画像生成部と、
上記［１］～［６］のうちに何れかに記載の診断装置。

【0098】

［８］前記入力用画像の撮影範囲を推定するように構成される、撮影範囲推定部を備える、
上記［１］～［７］のうち何れかに記載の診断装置。

【0099】

［９］前記マルチタスク学習器は、畳み込みニューラルネットワークを利用した学習モデルを含み、
前記多値分類タスクの予測性能が前記２値分類タスクの予測性能よりも高くなるように、前記学習モデルの損失関数が設定されている、
上記［１］～［８］のうち何れかに記載の診断装置。

【0100】

［１０］前記植物は、前記地表面を覆うように群生するグラウンドカバープランツである、
上記［１］～［９］のうち何れかに記載の診断装置。

【0101】

［１１］前記植物は芝生であり、
前記複数の病害は、炭疽病、ブラウンパッチ、ダラースポット、ドライスポット、ピシウム、又はスノーモールドのうち、１以上を含む、
上記［１］～［１０］のうち何れかに記載の診断装置。

【0102】

［１２］前記地表画像が前記植物で覆われた前記地表面が全撮影範囲を占める画像であり、
前記広範囲画像は、前記植物で覆われた前記地表面に加えて、前記地表面から生える樹木、又は、建物を含む人工物のうち少なくとも何れかを写した風景画像である、
上記［１］～［１１］のうち何れかに記載の診断装置。

【0103】

［１３］植物の健康状態の診断方法であって、当該方法は、
地表面を覆う前記植物を写した入力用画像を取得することと、
前記入力用画像をマルチタスク学習器に入力することと、
前記マルチタスク学習器が、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力することと、
を含み、
前記マルチタスク学習器は、
前記地表面を覆う前記植物を写した複数の地表画像を含む地表画像群と、
前記地表画像より広い領域を対象に前記植物を写した複数の広範囲画像を含む広範囲画像群と、を含む訓練データにより訓練されており、
前記地表画像群及び前記広範囲画像群の各々は、
健康な状態の前記植物を写した複数の無症画像と、
不健康な状態の前記植物を写した複数の有症画像と、を含み、
前記不健康な状態は、複数の病害の症状を含み、
前記複数のタスクは、
前記入力用画像に写された前記植物が前記複数の病害又は無症のうち何れに対応するかを予測する多値分類タスクと、
前記入力用画像が前記地表画像又は前記広範囲画像の何れに対応するかを予測する２値分類タスクと、を含む、
診断方法。

【0104】

［１４］植物の健康状態を診断するための学習モデルの生成方法であって、前記学習モデルは、入力用画像を入力すると、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力するように構成され、
前記生成方法は、
訓練データとなる画像群を取得することと、
前記訓練データを用いて前記学習モデルを訓練することと、を含み、
前記訓練データが、
地表面を覆う前記植物を写した複数の地表画像を含む地表画像群と、
前記地表画像より広い領域を対象に前記植物を写した複数の広範囲画像を含む広範囲画像群と、を含み、
前記地表画像群及び前記広範囲画像群の各々は、
健康な状態の前記植物を写した複数の無症画像と、
不健康な状態の前記植物を写した複数の有症画像と、を含み、
前記不健康な状態は、複数の病害の症状を含み、
前記複数のタスクは、
前記入力用画像に写された前記植物が前記複数の病害又は無症のうち何れに対応するかを予測する多値分類タスクと、
前記入力用画像が前記地表画像又は前記広範囲画像の何れに対応するかを予測する２値分類タスクと、を含む、
学習モデルの生成方法。

【0105】

［１５］１以上のコンピュータに、
地表面を覆う植物を写した入力用画像を取得することと、
取得した前記入力用画像をマルチタスク学習器に入力することと、
前記マルチタスク学習器が、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力することと、
を実行させる、植物診断用のプログラムであって、
前記マルチタスク学習器は、
前記地表面を覆う前記植物を写した複数の地表画像を含む地表画像群と、
前記地表画像より広い領域を対象に前記植物を写した複数の広範囲画像を含む広範囲画像群と、を含む訓練データにより訓練されており、
前記地表画像群及び前記広範囲画像群の各々は、
健康な状態の前記植物を写した複数の無症画像と、
不健康な状態の前記植物を写した複数の有症画像と、を含み、
前記不健康な状態は、複数の病害の症状を含み、
前記複数のタスクは、
前記入力用画像に写された前記植物が前記複数の病害又は無症のうち何れに対応するかを予測する多値分類タスクと、
前記入力用画像が前記地表画像又は前記広範囲画像の何れに対応するかを予測する２値分類タスクと、を含む、
プログラム。

【0106】

［１６］植物の健康状態を診断するための診断装置であって、当該診断装置は、
１以上のプロセッサと１以上のメモリとを備え、
前記メモリには、入力用画像を入力すると、複数のタスクにそれぞれ関連付けられた複数の予測結果を出力するように構成されるマルチタスク学習器が格納されており、
前記マルチタスク学習器は、
地表面を覆う前記植物を写した複数の地表画像を含む地表画像群と、
前記地表画像より広い領域を対象に前記植物を写した複数の広範囲画像を含む広範囲画像群と、を含む訓練データにより訓練されており、
前記地表画像群及び前記広範囲画像群の各々は、
健康な状態の前記植物を写した複数の無症画像と、
不健康な状態の前記植物を写した複数の有症画像と、を含み、
前記不健康な状態は、複数の病害の症状を含み、
前記複数のタスクは、
前記入力用画像に写された前記植物が前記複数の病害又は無症のうち何れに対応するかを予測する多値分類タスクと、
前記入力用画像が前記地表画像又は前記広範囲画像の何れに対応するかを予測する２値分類タスクと、を含む、
診断装置。

【0107】

［１７］前記プロセッサは、複数の処理のうち１以上を実行するように構成され、
前記複数の処理は、
前記入力用画像を前記マルチタスク学習器に入力して前記複数の予測結果を出力する処理と、
前記マルチタスク学習器の前記予測結果に基づいて、前記植物の手入れの要否に関する診断結果を出力する処理と、
前記入力用画像上に前記多値分類タスクの予測根拠を重ねたヒートマップを生成する処理と、
前記入力用画像の撮影位置に係る位置情報を取得する処理と、
を含む、上記［１６］に記載の診断装置。

【0108】

［１８］入力用画像が入力される入力層と、
訓練データにより訓練された中間層と、
複数のタスクにそれぞれ関連付けられた複数の出力層と、を備え、
地表面を覆う植物を写した入力用画像を前記入力層に入力し、前記複数のタスクにそれぞれ関連付けられた複数の予測結果を前記複数の出力層から出力するようにコンピュータを機能させるための学習モデルであって、
前記訓練データは、
地表面を覆う前記植物を写した複数の地表画像を含む地表画像群と、
前記地表画像より広い領域を対象に前記植物を写した複数の広範囲画像を含む広範囲画像群と、を含み、
前記地表画像群及び前記広範囲画像群の各々は、
健康な状態の前記植物を写した複数の無症画像と、
不健康な状態の前記植物を写した複数の有症画像と、を含み、
前記不健康な状態は、複数の病害の症状を含み、
前記複数のタスクは、
前記入力用画像に写された前記植物が前記複数の病害又は無症のうち何れに対応するかを予測する多値分類タスクと、
前記入力用画像が前記地表画像又は前記広範囲画像の何れに対応するかを予測する２値分類タスクと、を含む、
学習モデル。

【符号の説明】

【0109】

１０…画像（入力用画像）、１０Ａ（１０Ａ１～１０Ａ７）…地表画像、１０Ｂ…広範囲画像、１１…ゴルフ場、１２…グリーン、１３…カップホール、１４…バンカー、１５…池、１６…樹木、１７…管理施設、１８…芝生、２０…撮影者、２１…撮影装置、２２…ユーザ端末、２３…ネットワーク、３０…診断装置、３１…プロセッサ、３２…メモリ、３３…通信ＩＦ、３４…入力装置、３５…出力装置、３６…ストレージ、３７…通信バス、４０…学習器、４１…画像データ、４３…アプリケーション、４４…出力データ、４５…学習モデル、４６…共通層、４７（４７Ａ，４７Ｂ）…出力層、４８（４８Ａ，４８Ｂ）…予測結果、５０…情報処理装置、５１…プロセッサ、５２…メモリ、５３…通信ＩＦ、５４…入力装置、５５…出力装置、５６…ストレージ、５７…通信バス、５８…学習プログラム、５９…訓練データ、６０…撮影位置、６１…地図データ、６２…３次元データ、６３…平面画像、６４…撮影範囲、６５…ヒートマップ、７１…診断出力部、７２…ヒートマップ生成部、７３…撮影位置取得部、７４…位置情報作成部、７５…撮影範囲推定部、７６…３次元データ生成部、７７…平面画像生成部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】