特開 2023-89781 診断プログラム及びサーバ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023089781

(43)【公開日】2023-06-28

(54)【発明の名称】診断プログラム及びサーバ

(51)【国際特許分類】

   G06Q 50/02 20120101AFI20230621BHJP

【ＦＩ】

G06Q50/02

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021204506

(22)【出願日】2021-12-16

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り １．２０２０年１２月２１日 Ａｐｐ Ｓｔｏｒｅ、Ｇｏｏｇｌｅ Ｐｌａｙ各アプリストアにて発表 ２．２０２０年１２月２１日 別紙記載のアドレスのウェブサイトにて発表 ３．２０２１年１月８日 別紙記載のアドレスのウェブサイトにて発表 ４．２０２１年１月８日 別紙記載の刊行物にて発表 ５．２０２１年２月１日 別紙記載の刊行物にて発表 ６．２０２１年３月１５日 別紙記載の集会にて発表 ７．２０２１年１０月２７日－２８日 もっと身近に！スマート農業～スマート農業推進フォーラム２０２１ｉｎ東北～にて発表

(71)【出願人】

【識別番号】000232623

【氏名又は名称】日本農薬株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】谷口 健太郎

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC01

(57)【要約】

【課題】診断の精度を向上できる診断プログラム及びサーバを提供すること。
【解決手段】診断プログラムは、ユーザによって選択された第１の画像に写っている診断対象に発生している障害の種類の第１の診断結果を端末のユーザに対して提示することと、ユーザによる第１の操作に応じて、障害の種類の診断のために第１の画像と比較される複数の第２の画像をユーザに対して提示することと、ユーザによる第２の画像の選択に応じて、診断対象に発生している障害の種類の第２の診断結果をユーザに対して提示することとをコンピュータに実行させる。
【選択図】図６

【特許請求の範囲】

【請求項1】

ユーザによって選択された第１の画像に写っている診断対象に発生している障害の種類の第１の診断結果を端末のユーザに対して提示することと、
前記ユーザによる第１の操作に応じて、障害の種類の診断のために前記第１の画像と比較される複数の第２の画像を前記ユーザに対して提示することと、
前記ユーザによる前記第２の画像の選択に応じて、診断対象に発生している障害の種類の第２の診断結果をユーザに対して提示することと、
をコンピュータに実行させるための診断プログラム。

【請求項2】

前記第１の診断結果は、前記第１の画像の入力に対して前記障害の種類の診断結果を出力する診断モデルによって得られる、請求項１に記載の診断プログラム。

【請求項3】

前記第１の診断結果は、前記ユーザに対して提示された前記第１の画像と比較される複数の第３の画像からの選択によって得られる、請求項１に記載の診断プログラム。

【請求項4】

前記第２の画像は、前記第１の診断結果によって特定される障害の種類と類似する種類の障害を含む画像である、請求項１乃至３の何れか１項に記載の診断プログラム。

【請求項5】

ユーザによる第２の操作に応じて、前記第１の診断結果と前記第２の診断結果の少なくとも何れかをサーバに送信することをさらにコンピュータに実行させるための請求項１乃至４の何れか１項に記載の診断プログラム。

【請求項6】

前記診断対象は、植物であり、
前記障害は、前記植物に発生している病害又は食害、前記植物に発生している害虫、前記植物の周辺に生えている雑草のうちの少なくとも１つを含む請求項１乃至５の何れか１項に記載の診断プログラム。

【請求項7】

ユーザによって選択された第１の画像に写っている診断対象に発生している障害の種類の第１の診断結果を端末のユーザに対して提示する第１の提示部と、
前記ユーザによる第１の操作に応じて、障害の種類の診断のために前記第１の画像と比較される複数の第２の画像を前記ユーザに対して提示する第２の提示部と、
前記ユーザによる前記第２の画像の選択に応じて、診断対象に発生している障害の種類の第２の診断結果をユーザに対して提示する第３の提示部と、
を具備するサーバ。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、病害虫又は雑草といった障害の診断プログラム及びサーバに関する。

【背景技術】

【0002】

従来、水稲等の作物には種々の病害及び害虫が発生し得る。また、作物の周辺には種々の雑草が生えることもある。これらの病害虫及び雑草といった作物に対する障害の防除には、障害の種類に応じた適切な農薬が使用される必要がある。したがって、障害の防除のためには、障害の種類を精度よく診断できることが重要である。近年、このような障害の診断を人工知能（ＡＩ）によって行うことが試みられている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０９３９５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＡＩによる診断では、ユーザによって提示された画像に対して確率的に確からしい診断結果が提示される。ただし、ユーザによって提示された画像の品質等によっては必ずしも正しい診断結果が提示されるとは限らない。

【0005】

本開示は、診断の精度を向上できる診断プログラム及びサーバを提供することを目的とする。

【課題を解決するための手段】

【0006】

第１の態様の診断プログラムは、ユーザによって選択された第１の画像に写っている診断対象に発生している障害の種類の第１の診断結果を端末のユーザに対して提示することと、ユーザによる第１の操作に応じて、障害の種類の診断のために第１の画像と比較される複数の第２の画像をユーザに対して提示することと、ユーザによる第２の画像の選択に応じて、診断対象に発生している障害の種類の第２の診断結果をユーザに対して提示することとをコンピュータに実行させる。

【発明の効果】

【0007】

本開示によれば、診断の精度を向上できる診断プログラム及びサーバが提供される。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係るシステムの構成を示す図である。

【図2】図２は、端末のハードウェア構成の一例を示すブロック図である。

【図3】図３は、サーバのハードウェア構成の一例を示すブロック図である。

【図4】図４は、雑草の一例としての「ヨシ」の生態情報の閲覧画面の一例を示す図である。

【図5】図５は、診断プログラムの起動後の端末の処理について示すフローチャートである。

【図6】図６は、診断処理について示すフローチャートである。

【図7】図７は、診断結果の詳細の表示画面の例を示す図である。

【図8】図８は、類似障害と見比べる処理におけるディスプレイの表示画面の例を示す図である。

【図9】図９は、診断履歴表示処理について示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照して実施形態を説明する。図１は、実施形態に係るシステムの構成を示す図である。システム１は、端末２と、サーバ３とを有している。端末２と、サーバ３とはネットワークＮＷを介して接続される。端末２は、例えば無線通信によってネットワークＮＷに接続し得る。

【0010】

端末２は、例えばスマートフォン、タブレット端末といった、ユーザが携帯できる端末装置である。端末２は、ユーザによって水田等の圃場ＰＦまで携帯され、圃場ＰＦにおける診断対象に対する障害の診断に使用される。図１では、端末２は、１つである。端末２は、２以上であってもよい。ここで、診断対象は、圃場ＰＦにおいて生育されている作物である。また、障害は、作物に発生している病害又は食害、作物に発生している害虫、作物の周辺に生えている雑草といったものを含む。

【0011】

図２は、端末２のハードウェア構成の一例を示すブロック図である。端末２は、プロセッサ２１と、ＲＯＭ２２と、ＲＡＭ２３と、ストレージ２４と、入力インターフェース２５と、ディスプレイ２６と、カメラ２７と、通信モジュール２８とを有している。

【0012】

プロセッサ２１は、端末２の動作を制御するように構成されたプロセッサである。プロセッサ２１は、ストレージ２４に記憶されている各種のプログラムに従って各種の処理を実行する。プロセッサ２１は、例えばＣＰＵである。プロセッサ２１は、ＣＰＵではなく、ＭＰＵ、ＧＰＵ等であってもよい。また、プロセッサ２１は、１つのＣＰＵ等によって構成されている必要はなく、複数のＣＰＵ等によって構成されてもよい。

【0013】

ＲＯＭ２２は、例えば不揮発性メモリであり、端末２の起動プログラム等を記憶している。ＲＡＭ２３は、例えば揮発性のメモリである。ＲＡＭ２３は、例えばプロセッサ２１における処理の際の作業メモリとして用いられる。

【0014】

ストレージ２４は、例えばフラッシュメモリといったストレージである。ストレージ２４は、端末２において用いられる各種のプログラム及びデータを格納している。実施形態では、ストレージ２４は、ＯＳ（オペレーティングシステム）２４１、診断プログラム２４２を格納している。ストレージ２４は、ＯＳ２４１、診断プログラム２４２以外のプログラム及びデータを格納していてもよい。例えば、ストレージ２４は、ブラウザアプリケーションプログラム等を格納していてもよい。

【0015】

ＯＳ２４１は、端末２の基本的な機能を実現するためのプログラムである。ストレージ２４に格納されている各種のプログラムは、ＯＳの制御下で実行される。

【0016】

診断プログラム２４２は、例えば、ユーザによって選択された画像に写っている診断対象に発生している障害の種類等を診断する処理を含む障害の対策のための各種の処理をプロセッサ２１に実行させるためのアプリケーションプログラムである。診断プログラム２４２は、必要に応じて端末２にインストールされ得る。診断プログラム２４２の詳細については後で詳しく説明される。

【0017】

入力インターフェース２５は、タッチパネル等の入力装置を含む。入力インターフェース２５の操作がされた場合、操作内容に応じた信号がプロセッサ２１に入力される。プロセッサ２１は、この信号に応じて各種の処理を行う。

【0018】

ディスプレイ２６は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置である。ディスプレイ２６は、各種の画像を表示する。

【0019】

カメラ２７は、端末２に備えられたカメラであって、被写体を撮像する。実施形態では、被写体は、例えば圃場ＰＦの作物である。カメラ２７は、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサといったイメージセンサと、レンズとを有している。カメラ２７の構成は、特定の構成には限定されない。

【0020】

通信モジュール２８は、端末２がサーバ３と通信するときの処理をするように構成されたインターフェースを含むモジュールである。通信モジュール２８は、携帯電話回線、無線ＬＡＮ回線等を用いてネットワークＮＷに接続するように構成されている。

【0021】

図３は、サーバ３のハードウェア構成の一例を示すブロック図である。サーバ３は、プロセッサ３１と、ＲＯＭ３２と、ＲＡＭ３３と、ストレージ３４と、入力インターフェース３５と、ディスプレイ３６と、通信モジュール３７とを有している。ここで、サーバ３は、単一のサーバでなくてもよい。さらには、サーバ３は、例えばクラウドサーバとして構成されていてもよい。

【0022】

プロセッサ３１は、サーバ３の動作を制御するように構成されたプロセッサである。プロセッサ３１は、例えばＣＰＵである。プロセッサ３１は、ＣＰＵではなく、ＭＰＵ、ＧＰＵ等であってもよい。また、プロセッサ３１は、１つのＣＰＵ等によって構成されている必要はなく、複数のＣＰＵ等によって構成されてもよい。

【0023】

ＲＯＭ３２は、例えば不揮発性メモリであり、サーバ３の起動プログラム等を記憶している。ＲＡＭ３３は、例えば揮発性のメモリである。ＲＡＭ３３は、例えばプロセッサ２１における処理の際の作業メモリとして用いられる。

【0024】

ストレージ３４は、例えばハードディスクドライブ、ソリッドステートドライブといったストレージである。ストレージ３４は、ＯＳ３４１、診断モデル３４２、病害虫及び雑草画像３４３、生態情報３４４、農薬情報３４５、ユーザ情報３４６、撮影画像３４７、診断結果３４８を格納している。ストレージ３４は、ＯＳ３４１、診断モデル３４２、病害虫及び雑草画像３４３、生態情報３４４、農薬情報３４５、ユーザ情報３４６、撮影画像３４７、診断結果３４８以外のプログラム及びデータを格納していてもよい。

【0025】

ＯＳ３４１は、サーバ３の基本的な機能を実現するためのプログラムである。ストレージ３４に格納されている各種のプログラムは、ＯＳの制御下で実行される。

【0026】

診断モデル３４２は、ユーザによって選択された画像における作物の病害、作物に付いている害虫、作物の周辺に生えている雑草のそれぞれが何であるかを識別する識別器を備えた学習済みモデルである。診断モデル３４２は、入力された画像における病害虫又は雑草が何に分類されるかを予測し、予測確率の上位の結果を出力する。診断モデル３４２は、病害診断モデル、害虫診断モデル、及び雑草診断モデルを含む。病害診断モデルは、病害を診断するための診断モデルであって、例えば畳み込みニューラルネットワーク（ＣＮＮ）によって構成される。病害診断モデルには、病害又は食害の発生している各種の作物の画像がそれぞれの病害又は食害の種類を示すラベルとともに教師データとして入力されることで病害又は食害の特徴量の学習が行われる。害虫診断モデルは、害虫を診断するための診断モデルであって、例えばＣＮＮによって構成される。害虫診断モデルには、各種の害虫の画像がそれぞれの害虫の種類を示すラベルとともに教師データとして入力されることで害虫の特徴量の学習が行われる。雑草診断モデルは、雑草を診断するための診断モデルであって、例えばＣＮＮによって構成される。雑草診断モデルには、各種の雑草の画像がそれぞれの雑草の種類を示すラベルとともに教師データとして入力されることで雑草の特徴量の学習が行われる。診断モデル３４２は、画像から得られる特徴量以外の特徴量も含めて診断を実施するように構成されていてもよい。例えば、画像から得られる特徴量以外の特徴量は、端末２の位置、診断を実施する時期といった特徴量を含み得る。

【0027】

病害虫及び雑草画像３４３は、端末２のユーザが自身で病害、害虫、雑草の診断を実施するためにユーザによって参照される診断用の画像である。病害虫及び雑草画像３４３は、病害画像、害虫画像及び雑草画像を含む。病害・食害画像は、病害又は害虫による病徴、病斑、食害痕や害虫の食害後の排せつ物による汚れ等が発生した状態の各種の作物の画像である。害虫画像は、各種の作物に付着した害虫の画像である。雑草画像は、各種の雑草の画像である。病害画像、害虫画像、雑草画像は、それぞれ、対応する病害、害虫、雑草の名称と対応付けられている。また、病害画像、害虫画像、雑草画像は、それぞれ、同一の作物に対して種々のアングルから撮影された複数の画像を含み得る。また、害虫画像は、同一の害虫における成虫、幼虫、蛹といった形態の異なる害虫の画像を含み得る。また、病害画像、害虫画像、雑草画像は、それぞれ、同一の作物に対して気象条件等の撮影条件の異なる複数の画像を含み得る。ここで、病害虫及び雑草画像３４３は、診断モデル３４２の学習に用いられた画像を含んでいてもよいし、学習に用いられた画像を含んでいなくてもよい。

【0028】

生態情報３４４は、病害、作物、害虫の生態的な特徴を含む各種の情報である。生態情報３４４は、サーバ３の管理者によって編集され得る。図４は、雑草の一例としての「ヨシ」の生態情報３４４の閲覧画面の一例を示す。

【0029】

図４に示すように、雑草の場合の閲覧画面は、一例として、ＩＤ表示領域４０１と、概要表示領域４０２と、その他情報表示領域４０３とを有している。

【0030】

ＩＤ表示領域４０１は、雑草のそれぞれに一意に付けられたＩＤ番号を表示するための領域である。なお、ＩＤ番号は、病害、害虫、雑草を通した連番で付けけられてもよいし、病害、害虫、雑草で別個に付けられてもよい。

【0031】

概要表示領域４０２は、対応するＩＤ番号の雑草の概要の雑草情報を表示するための領域である。例えば、雑草の場合の概要の雑草情報は、「和名」、「英名」、「学名」、「科目」、「分類」といった項目を有している。また、雑草の場合の概要の雑草情報は、発生消長を表す写真を含む。さらに、概要の情報は、情報の登録日時を含む。

【0032】

その他情報表示領域４０３は、対応するＩＤ番号の雑草のその他の雑草情報を表示するための領域である。例えば、その他の情報は、「区分」、「別名」、「属名」、「生活型」、「分布」、「生育適応環境」、「出芽」、「花期」、「花色」、「草丈」、「繁殖器官」、「種子散布」、「由来」、「類似雑草」、「葉形」、「葉状」、「葉色」、「幼形」、「成形」、「花・果実」といった項目を有している。これらの項目名は、一例であって適宜に設定され得る。

【0033】

また、閲覧画面には、戻るボタン４０４と、編集ボタン４０５とが設けられている。戻るボタン４０４は、閲覧画面の表示から例えば病害、害虫、雑草の一覧画面に戻るために選択されるボタンである。編集ボタン４０５は、現在表示中の閲覧画面に登録されている情報を編集するために選択されるボタンである。例えば、サーバ３の管理者は、編集ボタン４０５を選択した後、「成形」の欄にコメントを追記し得る。

【0034】

実施形態においては、その他の雑草情報は、「類似雑草」の項目を有している。「類似雑草」には、対応するＩＤ番号の雑草と見た目等が類似している雑草の例えば和名が登録され得る。和名ではなく、ＩＤ番号が登録されてもよい。サーバ３の管理者は、編集ボタン４０５を選択した後、「類似雑草」の欄に雑草の名称を追加し得る。類似雑草の追加に際しては、例えば対応するＩＤ番号の雑草と同じ「区分」に設定されている雑草しか追加できないように制限がかけられていてもよい。これにより、例えば水田に生える雑草と類似の雑草を追加すべきであるのに、水田に生えない雑草が類似雑草として追加されてしまうようなことが抑制され得る。

【0035】

ここで、一例では、生態情報３４４は、サーバ３の管理者によって編集されるとされている。生態情報３４４は、端末２のユーザによって編集できるようにも構成されてよい。

【0036】

また、図４は、雑草の生態情報３４４の閲覧画面の例を示している。しかしながら、病害及び害虫の生態情報３４４の閲覧画面も一部の情報の項目に相違がある点を除いては雑草の生態情報３４４の閲覧画面と同等の画面であってよい。例えば、雑草情報の「類似雑草」と同様に害虫情報に「類似害虫」といった欄が設けられていてもよいし、病害情報に「類似病害」、食害情報に「類似食害」といった欄が設けられていてもよい。

【0037】

ここで、図３の説明に戻る。農薬情報３４５は、病害、害虫、雑草の防除に用いられる農薬の情報である。農薬情報は、例えば農薬の名称、剤型、特長、農薬登録内容、処理時期、処理回数、他の農薬との混用可否、製造メーカといった情報を含む。農薬情報３４５は、病害、害虫、雑草の例えばＩＤ番号と関連づけられている。

【0038】

ユーザ情報３４６は、端末２のユーザの情報である。ユーザ情報３４６は、例えばユーザ毎に付されるＩＤ番号、ユーザの氏名、住所、電子メールアドレスといった情報を含む。また、ユーザ情報３４６は、サーバ３にアクセスするためのログインパスワード等の情報を含んでいてもよい。

【0039】

撮影画像３４７は、端末２のユーザによって過去に撮影された画像である。撮影画像３４７は、ユーザ毎に管理されている。また、撮影画像３４７は、診断結果３４８と関連付けられている。

【0040】

診断結果３４８は、ユーザによって確定された過去の診断結果である。後で説明するように、実施形態における診断は、ＡＩ診断とカルテ式診断の２つの診断方法を含む。ＡＩ診断は、診断モデル３４２による診断である。カルテ式診断は、ユーザが病害虫及び雑草画像３４３と自分で選択した画像とを見比べながら行う診断である。診断結果３４８は、ＡＩ診断の診断結果とカルテ式診断の診断結果の双方を含む。診断結果３４８は、例えば診断された障害を特定するための情報であって診断が実施された日時及び診断された障害の名称等とともにユーザ毎に管理されている。障害を特定するための情報としては、例えば障害毎に付されるＩＤ番号が用いられ得る。

【0041】

入力インターフェース３５は、タッチパネル等の入力装置を含む。入力インターフェース２５の操作がされた場合、操作内容に応じた信号がプロセッサ３１に入力される。プロセッサ３１は、この信号に応じて各種の処理を行う。

【0042】

ディスプレイ３６は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置である。ディスプレイ３６は、各種の画像を表示する。

【0043】

通信モジュール３７は、サーバ３が端末２と通信するときの処理をするように構成されたインターフェースを含むモジュールである。通信モジュール３７は、携帯電話回線、有線ＬＡＮ回線、無線ＬＡＮ回線等を用いてネットワークＮＷに接続するように構成されている。

【0044】

次に、システム１の動作を説明する。図５は、診断プログラム２４２の起動後の端末２の処理について示すフローチャートである。図５の処理は、端末２のプロセッサ２１によって実施される。

【0045】

診断プログラム２４２の起動後のステップＳ１において、プロセッサ２１は、ディスプレイ２６に診断プログラム２４２のホーム画面を表示する。ホーム画面は、少なくとも診断ボタンと、診断履歴ボタンとを含む。診断ボタンは、病害虫又は雑草の診断を実施するために選択されるボタンである。診断履歴ボタンは、過去の確定済みの診断結果を閲覧するために選択されるボタンである。ホーム画面は、診断ボタン及び診断履歴ボタン以外のボタンを含んでいてもよい。例えば、ホーム画面は、診断ボタンと診断履歴ボタンとに加えて、診断プログラム２４２の各種の設定を実施するために選択される設定ボタン、サーバ３からの各種のお知らせを受けるために選択されるお知らせボタンといったボタンを含み得る。

【0046】

ステップＳ２において、プロセッサ２１は、診断を開始するか否かを判定する。例えば、ユーザによって診断ボタンが選択されたときに、診断を開始すると判定される。ステップＳ２において、診断を開始すると判定されたときには、処理はステップＳ３に移行する。ステップＳ２において、診断を開始しないと判定されたときには、処理はステップＳ４に移行する。

【0047】

ステップＳ３において、プロセッサ２１は、診断処理を実施する。診断処理の後、処理はステップＳ７に移行する。診断処理の詳細については後で説明する。

【0048】

ステップＳ４において、プロセッサ２１は、診断履歴を表示するか否かを判定する。例えば、ユーザによって診断履歴ボタンが選択されたときに、診断履歴を表示すると判定される。ステップＳ４において、診断履歴を表示すると判定されたときには、処理はステップＳ５に移行する。ステップＳ２において、診断を開始しないと判定されたときには、処理はステップＳ６に移行する。

【0049】

ステップＳ５において、プロセッサ２１は、診断履歴表示処理を実施する。診断履歴表示処理の後、処理はステップＳ７に移行する。診断履歴表示処理の詳細については後で説明する。

【0050】

ステップＳ６において、プロセッサ２１は、その他の処理を実施する。その他の処理は、例えば前述した設定の処理、お知らせの表示処理といった処理を含む。その他の処理の後、処理はステップＳ７に移行する。

【0051】

ステップＳ７において、プロセッサ２１は、診断プログラム２４２の処理を終了するか否かを判定する。例えば、ユーザによって診断プログラム２４２の終了操作がされたときに、診断プログラム２４２の処理を終了すると判定される。ステップＳ７において、診断プログラム２４２の処理を終了すると判定されたときには、プロセッサ２１は、診断プログラム２４２の処理を終了させる。この場合、図５の処理は終了する。ステップＳ７において、診断プログラム２４２の処理を終了しないと判定されたときには、処理はステップＳ２に戻る。

【0052】

次に、診断処理を説明する。図６は、診断処理について示すフローチャートである。ステップＳ１０１において、プロセッサ２１は、ユーザからの診断対象の選択を受け付ける。例えば、プロセッサ２１は、診断対象の候補の作物の一覧をディスプレイ２６に表示させる。ユーザは、診断対象の候補の作物の一覧から自身の望む作物を診断対象として選択する。診断対象の候補は、例えば水稲、キャベツ、ねぎ、はくさい、ブロッコリーといったものを含む。ユーザからの診断対象の選択を受け付けた場合、処理はステップＳ１０２に移行する。

【0053】

ステップＳ１０２において、プロセッサ２１は、ユーザからの診断モードの選択を受け付ける。例えば、プロセッサ２１は、診断モードの一覧をディスプレイ２６に表示させる。ユーザは、診断モードの一覧から自身の望む診断モードを選択する。診断モードは、例えば病害・食害モード、害虫モード、雑草モードの３種類を含む。病害・食害モードは、診断対象に発生している病害又は食害の種類を診断するための診断モードである。害虫モードは、診断対象に発生している害虫の種類を診断するための診断モードである。雑草モードは、診断対象の周辺に発生している雑草の種類を診断するための診断モードである。ユーザからの診断モードの選択を受け付けた場合、処理はステップＳ１０３に移行する。なお、病害・食害モードの場合には、プロセッサ２１は、さらに、診断をしたい病害・食害が発生している対象部位の選択を受け付けるようにしてもよい。対象部位は、例えば葉、茎、花といったものを含む。また、雑草モードの場合には、プロセッサ２１は、さらに、診断をしたい雑草の葉の形の選択を受け付けるようにしてもよい。葉の形は、例えば広い葉、狭い葉といったものを含む。

【0054】

ステップＳ１０３において、プロセッサ２１は、ユーザからの診断対象の画像の選択を受け付ける。診断対象の画像は、その場で撮影することによって選択されてもよいし、端末２の例えばストレージ２４又はサーバ３のストレージ３４に記憶された撮影画像の中から選択されてもよい。ユーザによって撮影することが選択されたときには、プロセッサ２１は、カメラ２７を起動する。ユーザは、カメラ２７によって診断対象を撮影する。撮影完了後、処理はステップＳ１０４に移行する。また、撮影画像から選択されたときには、プロセッサ２１は、撮影画像の一覧をディスプレイ２６に表示する。ユーザは、一覧の中から所望の撮影画像を選択する。画像の選択がされた後、処理はステップＳ１０４に移行する。

【0055】

ステップＳ１０４において、プロセッサ２１は、ユーザによって選択された画像の調整の操作を受け付ける。画像の調整の操作は、例えば画像の拡大及び回転といった操作である。画像の調整の操作の後、処理はステップＳ１０５に移行する。

【0056】

ステップＳ１０５において、プロセッサ２１は、ユーザからの診断方法の選択を受け付ける。診断方法は、前述したＡＩ診断とカルテ式診断を含む。プロセッサ２１は、例えばＡＩ診断とカルテ式診断との選択画面をディスプレイ２６に表示する。ユーザは、所望の診断方法を選択する。選択の後、処理はステップＳ１０６に移行する。

【0057】

ステップＳ１０６において、プロセッサ２１は、ＡＩ診断が選択されたか否かを判定する。ステップＳ１０６において、ＡＩ診断が選択されたと判定されたときには、処理はステップＳ１０７に移行する。ステップＳ１０６において、ＡＩ診断が選択されていない、すなわちカルテ式診断が選択されたと判定されたときには、処理はステップＳ１１０に移行する。

【0058】

ステップＳ１０７において、プロセッサ２１は、サーバ３に対してＡＩ診断の実施を要求する。要求には、診断対象の情報、選択された診断モードの情報、ユーザによって選択された画像といった情報が含まれる。サーバ３のプロセッサ３１は、診断対象及び診断モードに応じて診断モデル３４２を選択し、選択した診断モデル３４２にユーザによって選択された画像を入力することで診断を実施する。診断モデル３４２は、予測確率の高い上位の複数の診断結果を出力する。これを受けてサーバ３のプロセッサ３１は、診断結果を端末２に送信する。その後、処理はステップＳ１０８に移行する。

【0059】

ステップＳ１０８において、プロセッサ２１は、診断結果をディスプレイ２６に一覧表示する。表示順は、例えば予測確率の高い順であり得る。

【0060】

ステップＳ１０９において、プロセッサ２１は、診断結果のうちの１つがユーザによって選択されたか否かを判定する。ステップＳ１０９において、診断結果の１つが選択されていないと判定されたときには、処理はステップＳ１０８に戻る。ステップＳ１０９において、診断結果の１つが選択されたと判定されたときには、処理はステップＳ１１３に移行する。

【0061】

ステップＳ１１０において、プロセッサ２１は、サーバ３に対してカルテ式診断の実施を要求する。要求には、診断対象の情報、選択された診断モードの情報といった情報が含まれる。サーバ３のプロセッサ３１は、診断対象及び診断モードに応じた病害虫及び雑草画像３４３を選択する。そして、サーバ３のプロセッサ３１は、選択した病害虫及び雑草画像３４３を端末２に送信する。その後、処理はステップＳ１１１に移行する。

【0062】

ステップＳ１１１において、プロセッサ２１は、ユーザによって選択された画像と、サーバ３から受信した病害虫及び雑草画像３４３をディスプレイ２６に一覧表示する。

【0063】

ステップＳ１１２において、プロセッサ２１は、ディスプレイ２６に表示されている病害虫及び雑草画像３４３のうちの１つがユーザによって選択されたか否かを判定する。ユーザは、ディスプレイ２６に表示されている、自身で選択した画像と病害虫及び雑草画像３４３とを見比べながら、自身で選択した画像と類似している病害虫及び雑草画像３４３を見つける。そして、類似している病害虫及び雑草画像３４３を見つけたときに、ユーザは、その類似している画像を選択する。ステップＳ１１２において、画像の１つが選択されていないと判定されたときには、処理はステップＳ１１１に戻る。ステップＳ１１２において、画像の１つが選択されたと判定されたときには、処理はステップＳ１１３に移行する。

【0064】

ＡＩ診断又はカルテ式診断の何れかにおいて診断結果が選択された後のステップＳ１１３において、プロセッサ２１は、選択された診断結果の詳細をディスプレイ２６に表示する。その後、処理はステップＳ１１４に移行する。

【0065】

図７は、診断結果の詳細の表示画面の例を示す図である。図７は、診断モードが雑草モードである例を示している。診断モードが病害・食害モードであるときの診断結果の詳細の表示及び診断結果が害虫モードであるときの診断結果の詳細の表示は、図４で示した生態情報３４４の項目の違いによる表示内容の違い以外は、基本的には診断モードが雑草モードであるときの診断結果の詳細の表示と同様に行われてよい。

【0066】

図７に示すように、診断結果の詳細の表示画面は、ユーザによって選択された画像の表示領域４１１を含む。表示領域４１１に表示される画像が、調整後の画像であってよいし、調整前の画像であってもよい。

【0067】

また、診断結果の詳細の表示画面は、診断された障害、図７では雑草の種類等を示す情報の表示領域４１２を含む。表示領域４１２に表示される情報は、例えば図４で示した生態情報３４４における概要の雑草情報であってよい。

【0068】

また、診断結果の詳細の表示画面は、関連画像の表示領域４１３を含む。関連画像は、診断結果の雑草の写っている各種の画像である。関連画像は、教師データとして用いられた画像を含んでいてよい。また、関連画像は、過去のユーザの撮影画像３４７を含んでいてもよい。

【0069】

また、診断結果の詳細の表示画面は、診断確定ボタン４１４を含む。診断確定ボタン４１４は、ユーザが最終的に診断結果を確定する際に選択されるボタンである。

【0070】

また、診断結果の詳細の表示画面は、防除ボタン４１５を含む。防除ボタン４１５は、診断された障害、図７の例ではケイヌビエを防除するために有効な農薬の情報を閲覧する際に選択されるボタンである。

【0071】

さらに、診断結果の詳細の表示画面は、類似障害、図７では類似雑草と見比べるボタン４１６を含む。類似雑草と見比べるボタン４１６は、診断結果と類似する画像を用いたカルテ式診断を実施する際に選択されるボタンである。

【0072】

ここで、図６の説明に戻る。ステップＳ１１４において、プロセッサ２１は、診断結果が確定されたか否かを判定する。診断確定ボタン４１４が選択されたときには、診断結果が確定されたと判定される。ステップＳ１１４において、診断結果が確定されたと判定されたときには、処理はステップＳ１１５に移行する。ステップＳ１１４において、診断結果が確定されていないと判定されたときには、処理はステップＳ１１６に移行する。

【0073】

ステップＳ１１５において、プロセッサ２１は、確定された診断結果をサーバ３に送信する。確定された診断結果は、例えばステップＳ１０３においてユーザによって選択された画像を含む。また、確定された診断結果は、ＡＩ診断の場合には診断確定ボタン４１４が選択されたときにユーザによって選択されていた診断結果の障害を特定するための情報としての例えばＩＤ番号、カルテ式診断の場合には診断確定ボタン４１４が選択されたときにユーザによって選択されていた画像と対応する障害を特定するための情報としての例えばＩＤ番号といったものを含む。サーバ３のプロセッサ３１は、送信されてきた画像を撮影画像３４７としてユーザ情報３４６と関連付けてストレージ３４に格納する。また、サーバ３のプロセッサ３１は、送信されてきた確定された障害を特定するための情報としての例えばＩＤ番号及び診断が行われた日時を、診断結果３４８としてユーザ情報３４６と関連付けてストレージ３４に格納する。その後、サーバ３のプロセッサ３１は、診断結果が格納されたことを端末２のプロセッサ２１に通知する。この後、処理はステップＳ１２３に移行する。

【0074】

ステップＳ１１６において、プロセッサ２１は、防除のための情報を表示するか否かを判定する。防除ボタン４１５が選択されたときには、防除のための情報を表示すると判定される。ステップＳ１１６において、防除のための情報を表示すると判定されたときには、処理はステップＳ１１７に移行する。ステップＳ１１６において、防除のための情報を表示しないと判定されたときには、処理はステップＳ１１９に移行する。

【0075】

ステップＳ１１７において、プロセッサ２１は、現在の診断された障害、図７の例ではケイヌビエを防除するための農薬の情報をディスプレイ２６に表示する。例えば、プロセッサ２１は、防除に有効な農薬の名称を一覧表示する。ユーザが何れかの農薬の名称を選択したときに、プロセッサ２１は、選択された農薬の詳細な情報をディスプレイ２６に表示する。農薬の情報は、サーバ３から送信される農薬情報３４５に基づいて表示される。

【0076】

ステップＳ１１８において、プロセッサ２１は、ユーザによって戻る操作がされたか否かを判定する。戻る操作は、例えば農薬の情報の表示画面に表示される戻るボタンの選択操作である。ステップＳ１１８において、戻る操作がされたと判定されたときには、処理はステップＳ１２３に移行する。ステップＳ１１８において、戻る操作がされていないと判定されたときには、処理はステップＳ１１７に戻る。この場合には、農薬の情報の表示が継続される。

【0077】

ステップＳ１１９において、プロセッサ２１は、類似障害と見比べる処理を実施するか否かを判定する。例えば、類似雑草と見比べるボタン４１６が選択されたときには、類似障害と見比べる処理を実施すると判定される。ステップＳ１１９において、類似障害と見比べる処理を実施すると判定されたときには、処理はステップＳ１２０に移行する。ステップＳ１１９において、類似障害と見比べる処理を実施しないと判定されたときには、処理はステップＳ１２３に移行する。

【0078】

ステップＳ１２０において、プロセッサ２１は、再診断の要求として現在の表示中の診断結果の情報をサーバ３に送信する。送信される診断結果の情報は、例えば現在の表示中の診断結果の障害を特定するための情報としての例えばＩＤ番号を含む。サーバ３のプロセッサ３１は、送信されてきた障害を特定するための情報に基づいて生態情報３４４を参照し、この障害と類似する障害の情報を抽出する。例えば、障害が雑草であるときには、サーバ３のプロセッサ３１は、図４で示した類似雑草の欄に登録されている雑草の和名等を抽出する。また、ユーザによって撮影された画像の作物部位等に応じて、対応する情報によって類似範囲を絞ることもできる。そして、サーバ３のプロセッサ３１は、抽出した病害虫及び雑草画像３４３を選択する。そして、サーバ３のプロセッサ３１は、選択した病害虫及び雑草画像３４３を端末２に送信する。この後、処理はステップＳ１２１に移行する。ここで、サーバ３のプロセッサ３１は、さらに、障害の発生している場所を例えば端末２の位置の情報として端末２から受け取るとともに、診断が実施された日時の情報を端末２から受け取り、図４で示した類似雑草の欄に登録されている雑草の和名等から抽出された雑草のうちで、端末２の位置と類似する分布を有し、かつ、診断が実施された時期と類似する時期に発生する雑草のみを抽出するように類似雑草のさらなる絞り込みをしてもよい。

【0079】

ステップＳ１２１において、プロセッサ２１は、ステップＳ１１１でカルテ式診断と同様に、ユーザによって選択された画像と、サーバ３から受信した病害虫及び雑草画像３４３をディスプレイ２６に一覧表示する。つまり、実施形態では、ユーザの操作に応じて、先の診断結果と類似する画像を用いての再度のカルテ式診断が行われ得る。

【0080】

図８は、類似障害と見比べる処理の一例としての類似雑草と見比べる処理におけるディスプレイ２６の表示画面の例を示す図である。図８に示すように、類似雑草と見比べる処理においては、ユーザによって選択された画像４２１が表示される。さらに、類似雑草と見比べる処理においては、先の診断結果によって特定される障害としての雑草と類似する雑草の画像４２２が表示される。さらに、類似する雑草の画像４２２の数がディスプレイ２６に表示しきれないほどに多い場合には、前のページボタン４２３及び次のページボタン４２４が表示される。ユーザは、前のページボタン４２３及び次のページボタン４２４によって画像４２２のページ送り又はページ戻しをすることができる。ここで、類似する雑草の画像４２２は、類似している雑草の画像だけでなく、先の診断において診断された雑草の画像も併せて表示されてよい。さらに、図８において、画像４２１と画像４２２とを見比べるためのＴＩＰＳが併せて表示されてもよい。ＴＩＰＳは、例えば雑草であれば葉の形状にどのような違いがあるかといった画像を見比べるうえでの特徴に関わる情報である。ＴＩＰＳは、常時表示されてもよいし、例えば画像４２２が選択されたときだけ表示されてもよい。また、類似雑草と見比べる処理を含む類似障害と見比べる処理においても戻るボタン４２４が表示されてよい。戻るボタン４２４が選択された場合には、図７で示した診断結果の詳細の表示画面に戻ってもよい。

【0081】

ステップＳ１２２において、プロセッサ２１は、ディスプレイ２６に表示されている病害虫及び雑草画像３４３のうちの１つがユーザによって選択されたか否かを判定する。ユーザは、ディスプレイ２６に表示されている、自身で選択した画像と病害虫及び雑草画像３４３とを見比べながら、自身で選択した画像と類似している病害虫及び雑草画像３４３を見つける。そして、類似している病害虫及び雑草画像３４３を見つけたときに、ユーザは、その類似している画像を選択する。ステップＳ１２２において、画像の１つが選択されていないと判定されたときには、処理はステップＳ１２１に戻る。ステップＳ１２２において、画像の１つが選択されたと判定されたときには、処理はステップＳ１２３に移行する。

【0082】

ステップＳ１２３において、プロセッサ２１は、戻る操作がされたユーザによって戻る操作がされたか否かを判定する。戻る操作は、例えば診断結果の詳細画面に表示される戻るボタン４１７の選択操作である。ステップＳ１２３において、戻る操作がされたと判定されたときには、プロセッサ２１は、診断処理を終了する。この場合には、プロセッサ２１は、処理を図５のステップＳ７に移行させる。ステップＳ１２３において、戻る操作がされていないと判定されたときには、処理はステップＳ１１３に戻る。この場合、詳細表示が継続される。

【0083】

次に、診断履歴表示処理を説明する。図９は、診断履歴表示処理について示すフローチャートである。ステップＳ２０１において、プロセッサ２１は、サーバ３から診断履歴の情報を受け取り、診断履歴の情報に従って診断結果の一覧を診断履歴としてディスプレイ２６に表示させる。診断結果の一覧は、例えば診断された障害の名称の一覧である。診断結果は、例えば日付順に表示される。名称に加えて診断結果と関連付けられた画像のサムネイルが表示されてもよい。

【0084】

ステップＳ２０２において、プロセッサ２１は、診断履歴の一覧から１つの診断結果が選択されたか否かを判定する。ステップＳ２０２において、診断結果が選択されていないと判定されたときには、処理はステップＳ２０３に移行する。ステップＳ２０２において、診断結果が選択されたと判定されたときには、処理はステップＳ２０４に移行する。

【0085】

ステップＳ２０３において、プロセッサ２１は、ユーザによって戻る操作がされたか否かを判定する。戻る操作は、例えば診断履歴の表示画面に表示される戻るボタンの選択操作である。ステップＳ２０３において、戻る操作がされたと判定されたときには、プロセッサ２１は、診断履歴表示処理を終了する。この場合には、プロセッサ２１は、処理を図５のステップＳ７に移行させる。ステップＳ２０３において、戻る操作がされていないと判定されたときには、処理はステップＳ２０１に戻る。この場合には、診断履歴の表示が継続される。

【0086】

ステップＳ２０４において、プロセッサ２１は、選択された診断結果の詳細をディスプレイ２６に表示する。その後、処理はステップＳ２０５に移行する。診断結果の詳細の表示画面は、基本的には図７で示したものと同様である。図７に表示される各種情報が確定済みの診断結果の情報である点が異なる。したがって、診断確定ボタン４１４は不要である。また、診断結果の詳細の表示画面は、類似雑草と見比べるボタン４１６の代わりに再診断ボタンを含む。再診断ボタンは、確定済みの診断結果に対する再度のＡＩ診断又はカルテ式診断を実施するために選択されるボタンである。

【0087】

ステップＳ２０５において、プロセッサ２１は、ユーザによって戻る操作がされたか否かを判定する。戻る操作は、例えば診断結果の詳細の表示画面に表示される戻るボタンの選択操作である。ステップＳ２０５において、戻る操作がされたと判定されたときには、処理はステップＳ２０１に戻る。この場合には、診断履歴の表示に戻る。ステップＳ２０５において、戻る操作がされていないと判定されたときには、処理はステップＳ２０６に移行する。

【0088】

ステップＳ２０６において、プロセッサ２１は、防除のための情報を表示するか否かを判定する。防除ボタン４１５が選択されたときには、防除のための情報を表示すると判定される。ステップＳ２０６において、防除のための情報を表示すると判定されたときには、処理はステップＳ２０７に移行する。ステップＳ２０６において、防除のための情報を表示しないと判定されたときには、処理はステップＳ２０９に移行する。

【0089】

ステップＳ２０７において、プロセッサ２１は、現在の診断結果の障害を防除するための農薬の情報をディスプレイ２６に表示する。例えば、プロセッサ２１は、防除に有効な農薬の名称を一覧表示する。ユーザが何れかの農薬の名称を選択したときに、プロセッサ２１は、選択された農薬の詳細な情報をディスプレイ２６に表示する。農薬の情報は、サーバ３から送信される農薬情報３４５に基づいて表示される。

【0090】

ステップＳ２０８において、プロセッサ２１は、ユーザによって戻る操作がされたか否かを判定する。ステップＳ２０８において、戻る操作がされたと判定されたときには、処理はステップＳ２０４に戻る。この場合には、農薬の情報の表示から診断結果の詳細の表示に戻る。ステップＳ２０８において、戻る操作がされていないと判定されたときには、処理はステップＳ２０７に戻る。この場合には、農薬の情報の表示が継続される。

【0091】

ステップＳ２０９において、プロセッサ２１は、再診断を実施するか否かを判定する。例えば、再診断ボタンが選択されたときには、再診断を実施すると判定される。ステップＳ２０９において、再診断を実施すると判定されたときには、処理は図６のステップＳ１０４に移行する。すなわち、画像の調整以後の処理が実施される。再診断の対象となる画像は、ユーザによって選択された診断結果に関連付けられた撮影画像３４７である。ステップＳ２０９において、再診断を実施しないと判定されたときには、処理はステップＳ２０４に戻る。

【0092】

以上説明したように本実施形態によれば、圃場における作物に対する障害がＡＩ診断とカルテ式診断の２種類の診断方法で診断され得る。ユーザは、自身の望む方法の診断方法を選択し得る。

【0093】

さらに、本実施形態によれば診断結果が得られた後のユーザ操作に応じて再度のカルテ式診断が行われ得る。このような２度の診断によって、診断のさらなる精度の向上が期待される。さらには、２度目のカルテ式診断においては、１度目の診断結果で診断された障害と類似する障害の画像がユーザに提示される。これにより、１度目の診断結果をさらに絞り込むことができる。これによっても診断のさらなる精度の向上が期待される。このように、本実施形態によればＡＩ診断とカルテ式診断とを連携させることで診断結果の精度向上が見込まれる。

【0094】

［変形例］
以下、変形例を説明する。前述した実施形態では、２度目のカルテ式診断においては、１度目の診断結果で診断された障害と類似する障害の画像がユーザに提示されるとされている。これに対し、２度目のカルテ式診断においても、通常のカルテ式診断が行われてもよい。つまり、診断対象及び診断モードに応じた病害虫及び雑草画像３４３が１度目の診断結果との類似又は非類似に関わらずに表示されてもよい。この他、例えば、雑草の場合だけ、類似する雑草の画像がユーザに提示される等の各種の変形がされてよい。

【0095】

また、前述した実施形態では、診断履歴から選択された診断結果の再診断の場合には、処理が図６のステップＳ１０４に戻る、すなわちＡＩ診断とカルテ式診断の選択も含めて処理がやり直されるものとされている。これに対し、診断履歴から選択された診断結果の再診断の場合においても、確定されている診断結果で診断された障害と類似する障害の画像がユーザに提示されるカルテ式診断が行われてもよい。

【0096】

また、前述した実施形態では、診断対象は、圃場において生育される作物であるとされている。これに対し、実施形態の技術は、作物以外の一般的な植物に対しても適用され得る。

【0097】

また、前述した実施形態では、診断プログラムは、端末２にインストールされるプログラムとされている。これに対し、診断プログラム、ウェブアプリケーションプログラムであってもよい。この場合、診断プログラムの実体はサーバ３のストレージ３４に格納される。そして、サーバ３は、端末２のウェブブラウザ上に表示される画面において各種の操作をする。この操作を受けて、サーバ３は、前述した各フローチャートの処理を実施する。

【0098】

また、上述した実施形態による各処理は、コンピュータであるプロセッサ２１又は３１に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、プロセッサ２１又は３１は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

【0099】

また、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

【符号の説明】

【0100】

１ システム、２ 端末、３ サーバ、２１ プロセッサ、２２ ＲＯＭ、２３ ＲＡＭ、２４ ストレージ、２５ 入力インターフェース、２６ ディスプレイ、２７ カメラ、２８ 通信モジュール、３１ プロセッサ、３２ ＲＯＭ、３３ ＲＡＭ、３４ ストレージ、３５ 入力インターフェース、３６ ディスプレイ、３７ 通信モジュール、２４１ ＯＳ、２４２ 診断プログラム、３４１ ＯＳ、３４２ 診断モデル、３４３ 病害虫及び雑草画像、３４４ 生態情報、３４５ 農薬情報、３４６ ユーザ情報、３４７ 撮影画像、３４８ 診断結果。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】