特許 7190143 診断支援システム及びその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-07

(45)【発行日】2022-12-15

(54)【発明の名称】診断支援システム及びその方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20221208BHJP

   G06Q 10/00 20120101ALI20221208BHJP

   G06Q 50/02 20120101ALI20221208BHJP

   G16H 80/00 20180101ALI20221208BHJP

【ＦＩ】

G06N20/00 130

G06Q10/00 300

G06Q50/02

G16H80/00

【請求項の数】 15

(21)【出願番号】P 2020551212

(86)(22)【出願日】2019-10-09

(86)【国際出願番号】 JP2019039905

(87)【国際公開番号】W WO2020075782

(87)【国際公開日】2020-04-16

【審査請求日】2021-03-23

(31)【優先権主張番号】P 2018190610

(32)【優先日】2018-10-09

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】516356402

【氏名又は名称】株式会社スカイマティクス

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】倉本 泰隆

(72)【発明者】

【氏名】渡邉 善太郎

(72)【発明者】

【氏名】榎本 真貴

(72)【発明者】

【氏名】サビリン ホウアリ

【審査官】多賀 実

(56)【参考文献】

【文献】米国特許出願公開第２０１７／００３０８７７（ＵＳ，Ａ１）

【文献】国際公開第２０１７／１９０７４３（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１６／００２６８４８（ＵＳ，Ａ１）

【文献】特開２０１３－１５２６９９（ＪＰ，Ａ）

【文献】国際公開第２０１８／０７８８６３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ａ０１Ｇ ７／００

Ａ６１Ｂ ５／００－５／２２

Ｅ０４Ｇ ２３／０２

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／７０－１０／８６

Ｇ０６Ｑ １０／００－１０／１０

Ｇ０６Ｑ ３０／００－３０／０８

Ｇ０６Ｑ ５０／００－９９／００

Ｇ１６Ｈ １０／００－８０／００

Ｇ１６Ｚ ９９／００

(57)【特許請求の範囲】

【請求項1】

対象物の診断を行う人々を支援する診断支援システムにおいて、
前記対象物の状態を表す対象データを記憶する対象データ記憶手段と、
第一のユーザ及び第二のユーザのそれぞれに前記対象データを提供して、前記第一と第二のユーザのそれぞれが前記対象物の診断作業を行なうことを可能にする診断作業手段と、
前記第一と第二のユーザのそれぞれによる前記対象物の診断結果を受け取る診断結果手段と、
前記第一と第二のユーザのそれぞれによる前記診断結果を、前記第一と第二のユーザの間で共有することを可能にする共有手段と、
前記第一又は第二のユーザによる前記診断結果を用いて診断方法を学習し、学習された前記診断方法を用いて、前記対象物の自動診断を行う人工知能と、
前記人工知能による前記対象物の自動診断結果を、前記第一のユーザに提供する自動診断結果提供手段と
を備えた診断支援システム。

【請求項2】

請求項１記載の診断支援システムにおいて、
前記第一のユーザは、前記対象物の診断を要求する又は必要とする顧客であり、
前記第二のユーザは、前記顧客に先立って前記対象物の予備的診断を行うアナリストである、
診断支援システム。

【請求項3】

請求項１乃至２のいずれか一項記載の診断支援システムにおいて、
前記診断作業が、前記対象データを調べて第一診断結果を入力する第一サブ作業と、前記第一診断結果を利用して第二診断結果を入力する第二サブ作業とを含み、
前記診断作業手段が、前記第二のユーザに対して、前記診断作業のうちの少なくとも第一サブ作業を行うことを可能にし、前記第一のユーザに対して、前記診断作業のうちの少なくとも第二サブ作業を行うことを可能にし、
前記共有手段が、第二のユーザによる前記第一診断結果を、前記第一と第二のユーザの間で共有することを可能にする、
ように構成された診断支援システム。

【請求項4】

請求項３記載の診断支援システムにおいて、
前記第一サブ作業が、前記対象データを調べて前記対象物の中の異常個所を発見し、発見された前記異常個所を前記第一診断結果として入力するものであり、
前記第二サブ作業が、前記第一サブ作業で発見された前記異常個所について異常名又は対処法を特定するものである、
診断支援システム。

【請求項5】

請求項３乃至４のいずれか一項記載の診断支援システムにおいて、
前記共有手段が、前記第一のユーザによる前記第二診断結果を、前記第一と第二のユーザの間で共有することを可能にする、
ように構成された診断支援システム。

【請求項6】

請求項３乃至５のいずれか一項記載の診断支援システムにおいて、
前記対象物について前記第一サブ作業が既に行われたか否かに関する進捗情報を前記第一のユーザに提供する第一進捗通知手段、
を更に備えた診断支援システム。

【請求項7】

請求項３乃至６のいずれか一項記載の診断支援システムにおいて、
前記対象物について前記第一サブ作業が既に行われたか否かに関する進捗情報を前記第二のユーザに提供する第二進捗通知手段、
を更に備えた診断支援システム。

【請求項8】

請求項１乃至７のいずれか一項記載の診断支援システムにおいて、
前記診断支援システムは複数の前記第二のユーザと通信可能であり、
前記対象物が複数の異なる部分を有し、
前記対象データが、前記対象物の前記異なる部分の状態をそれぞれ表した複数の部分データレコードを含み、
前記診断作業手段が、前記複数の部分データレコードを前記複数の第二のユーザに分配して、前記複数の第二のユーザが前記対象物の前記異なる部分の診断作業を分担して行うことを可能にする
ように構成された診断支援システム。

【請求項9】

請求項８記載の診断支援システムにおいて、
前記対象物の前記異なる部分の各々について前記診断作業が既に行われたか否かに関する進捗情報を前記複数の第二のユーザのそれぞれに提供する第三進捗通知手段、
を更に備えた診断支援システム。

【請求項10】

請求項８乃至９のいずれか一項記載の診断支援システムにおいて、
前記診断作業手段が、前記複数の部分データレコードを前記第一のユーザに提供して、前記第一のユーザが前記対象物の前記異なる部分の診断作業を行うことを可能にする
ように構成された診断支援システム。

【請求項11】

請求項８乃至１０のいずれか一項記載の診断支援システムにおいて、
前記対象物の前記異なる部分の各々について前記診断作業が既に行われたか否かに関する進捗情報を前記第一のユーザに提供する第四進捗通知手段、
を更に備えた診断支援システム。

【請求項12】

請求項１乃至１１のいずれか一項記載の診断支援システムにおいて、
前記診断作業手段が、前記第一と第二のユーザだけでなく第三のユーザにも前記対象データを提供して、前記第一、第二及び第三のユーザのそれぞれが前記対象物の診断作業を行なうことを可能にし、
前記診断結果手段が、前記第一、第二及び第三のユーザのそれぞれによる前記対象物の診断結果を受け取り、
前記共有手段が、前記第一、第二及び第三のそれぞれによる前記診断結果を、前記第一、第二及び第三のユーザの間で共有することを可能にし、
前記人工知能が、前記第一、第二又は第三のユーザによる前記診断結果を用いて、前記診断方法を学習する、
ように構成された診断支援システム。

【請求項13】

請求項１２記載の診断支援システムにおいて、
前記第三のユーザが、前記第一のユーザにとり困難な診断のケースで前記第一のユーザを助ける専門家である、
診断支援システム。

【請求項14】

請求項１乃至１３のいずれか一項記載の診断支援システムにおいて、
ドローンと通信可能な１以上の通信端末と通信する操作端末通信手段と、
前記対象物の地理的領域の位置を記憶する地理的領域記憶手段と、
前記地理的領域の位置に基づいて、前記ドローンが前記地理的領域を移動しつつ前記対象データを取得するように前記ドローンを制御するための移動計画を作成する移動計画作成手段と、
前記移動計画を記憶する移動計画記憶手段と、
前記移動計画を前記通信端末の少なくとも一つに提供して、前記移動計画を前記ドローンに入力することを可能にする移動計画提供手段と、
前記ドローンにより取得された前記対象データを取得する対象データ取得手段と
を更に備えた診断支援システム。

【請求項15】

対象物の診断を行う人々を支援する診断支援システムにおいて、
１以上のCPUと、１以上のストレージと、前記１以上のストレージに記憶されたコンピュータプログラムを備え、
前記CPUが前記コンピュータプログラムを実行することにより：
前記対象物の状態を表す対象データを用意し、
第一と第二のユーザのそれぞれに前記対象データを提供して、前記第一と第二のユーザのそれぞれが前記対象物の診断作業を行なうことを可能にし、
前記第一と第二のユーザのそれぞれによる前記対象物の診断結果を受け取り、
前記第一と第二のユーザのそれぞれによる前記診断結果を、前記第一と第二のユーザの間で共有することを可能にし、
前記第一又は第二のユーザによる前記診断結果を用いて診断方法を学習し、
学習された前記診断方法を用いて、前記対象物の自動診断を行ない、
前記自動診断結果を、前記第一のユーザに提供する、
診断支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物の診断を支援するためのコンピュータ利用システム及びその方法に関する。

【背景技術】

【0002】

例えば、圃場、建造物又は生体などの対象物から得たデータ、例えば写真画像、を利用して、その対象物の異常個所（病害、劣化、破損箇所）を発見し、それぞれの異常個所の異常詳細を特定し、更には、それぞれの異常個所に適用すべき対処法（農薬種類、肥料種類、修繕方法、又は治療方法など）を特定する、といった診断作業が従来より実施されている。そして、このような診断作業を支援するためのコンピュータ利用システムが提案されている。

【0003】

この種の診断支援システムでは、ニューラルネットワークに代表されるような機械学習機能をもつコンピュータシステム（これを本明細書では「学習モデル」とよぶ）に診断方法を学習させ、学習を終えた学習モデルを使って自動的に診断結果を出力させることが提案されている。

【0004】

例えば、特許文献１には、植物の健康状態を診断するためのシステムが開示されている。その開示によると、健康診断サーバ装置が、有識者端末装置より学習対象である植物の画像とその健康状態、及び、その生育環境情報を受信し、植物の画像と健康状態と生育環境情報に基づいて、画像から植物の健康状態を判定したり適切な対処を決定したりするための診断方法を学習する。そして、健康診断サーバ装置が、ユーザ端末装置より受信した診断対象とする植物の画像に対して、その診断方法に基づいた診断を行い、診断対象の健康状態や適切な対処などを、診断結果としてユーザ端末装置へと送信する。

【0005】

例えば特許文献２には、医療診断を支援するシステムが開示されている。このシステムでは、第１端末がユーザからの患部画像をサーバに送信する。サーバは、その患部画像を受け取り、その患部画像に対応する疾患名を導出し、その疾患名を第１端末へ返信する。また、サーバは、第１端末から要求されたなら、その患部画像を第２端末にも送信する。第２端末は、医師から、その患部画像に対応する医師による診断結果を示す疾患名に関する情報を受け取り、それをサーバに返信する。サーバは、その医師による疾患名に関する情報を第１端末に送信する。サーバは、更に、第２端末から受け取った患部画像に対応する医師による疾患名に関する情報を用いて、機械学習を行うことで、疾患名を導出するための画像解析の精度を高める。

【先行技術文献】

【特許文献】

【0006】

【文献】特許第６３０７６８０号公報

【文献】特開２０１６－１９８１９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

学習モデルをその推論精度が実用水準になるまで学習させるためには、大量の教師データを用意して学習モデルを訓練しなければならない。十分な量の教師データを用意するまでには相当の月日がかかる。とりわけ圃場の異常診断の分野では、農作物の生育サイクルが半年や１年という長時間であるため、圃場の様々な異常を示すデータを必要量だけ収集するのに長い期間がかかる。更に、収集された異常データについて、適切な診断結果を作成するのにも相当の手間と時間がかかる。従って、必要量の教師データを用意するまでには、非常に長い期間がかかる。

【0008】

上述したような学習モデルの学習が完了するまでの長い期間、学習モデルの診断結果は頼りにならないので、診断支援システムの顧客は、自分自身で対象物のデータを見て診断を下すか、専門家にデータを見せて診断してもらうこと以外、適切な診断結果を得る方法がない。

【0009】

しかし、診断作業で大量のデータを調べなくてはならない場合、顧客（又は専門家）にとり、診断作業は非常に大きい負担となる。例えば、カメラ付き飛行ドローンで圃場を撮影した画像を用いて圃場を診断する場合、一枚の圃場が数百から数千のサブエリアに分割されることがあり、サブエリア毎に高解像度の写真が撮影されることになる。従って、顧客は、自分の圃場を診断するために、数百枚から数千枚の高解像度の写真を丹念に調べなければならない。この作業は、顧客に多大な負担を強いる。

【0010】

本発明の一つの目的は、人が対象物のデータを調べて対象物の診断を行うときにおける人の作業負担を軽減することにある。

【課題を解決するための手段】

【0011】

本開示の一実施形態に従う、対象物の診断を行う人々を支援する診断支援システムは、対象物の状態を表す対象データを記憶する対象データ記憶手段と、第一のユーザ及び第二のユーザのそれぞれに前記対象データを提供して、前記第一と第二のユーザのそれぞれが前記対象物の診断作業を行なうことを可能にする診断作業手段と、前記第一と第二のユーザのそれぞれによる前記対象物の診断結果を受け取る診断結果手段と、前記第一と第二のユーザのそれぞれによる前記診断結果を、前記第一と第二のユーザの間で共有することを可能にする共有手段と、前記第一又は第二のユーザによる前記診断結果を用いて診断方法を学習し、学習された前記診断方法を用いて、前記対象物の自動診断を行う人工知能と、前記人工知能による前記対象物の自動診断結果を、前記第一のユーザに提供する自動診断結果提供手段とを備える。

【0012】

一実施形態では、前記第一のユーザは、前記対象物の診断を要求する又は必要とする顧客であり、前記第二のユーザは、前記顧客に先立って前記対象物の予備的診断を行うアナリストである。

【0013】

一実施形態では、前記診断作業が、前記対象データを調べて第一診断結果を入力する第一サブ作業と、前記第一診断結果を利用して第二診断結果を入力する第二サブ作業とを含む。前記診断作業手段が、前記第二のユーザに対して、前記診断作業のうちの少なくとも第一サブ作業を行うことを可能にし、前記第一のユーザに対して、前記診断作業のうちの少なくとも第二サブ作業を行うことを可能にする。前記共有手段が、第二のユーザによる前記第一診断結果を、前記第一と第二のユーザの間で共有することを可能にする。

【0014】

一実施形態では、前記第一サブ作業が、前記対象データを調べて前記対象物の中の異常個所を発見し、発見された前記異常個所を前記第一診断結果として入力するものである。前記第二サブ作業が、前記第一サブ作業で発見された前記異常個所について異常名又は対処法を特定するものである、

【0015】

一実施形態では、前記共有手段が、前記第一のユーザによる前記第二診断結果を、前記第一と第二のユーザの間で共有することを可能にする。

【0016】

一実施形態では、その診断支援システムは、前記対象物について前記第一サブ作業が既に行われたか否かに関する進捗情報を前記第一のユーザに提供する第一進捗通知手段を更に備える。

【0017】

一実施形態では、その診断支援システムは、前記対象物について前記第一サブ作業が既に行われたか否かに関する進捗情報を前記第二のユーザに提供する第二進捗通知手段を更に備える。

【0018】

一実施形態では、その診断支援システムは、複数の前記第二のユーザと通信可能である。前記対象物が複数の異なる部分を有し、前記対象データが、前記対象物の前記異なる部分の状態をそれぞれ表した複数の部分データレコードを含む。前記診断作業手段が、前記複数の部分データレコードを前記複数の第二のユーザに分配して、前記複数の第二のユーザが前記対象物の前記異なる部分の診断作業を分担して行うことを可能にする。

【0019】

一実施形態では、その診断支援システムは、前記対象物の前記異なる部分の各々について前記診断作業が既に行われたか否かに関する進捗情報を前記複数の第二のユーザのそれぞれに提供する第三進捗通知手段を更に備える。

【0020】

一実施形態では、前記診断作業手段が、前記複数の部分データレコードを前記第一のユーザに提供して、前記第一のユーザが前記対象物の前記異なる部分の診断作業を行うことを可能にする。

【0021】

一実施形態では、その診断支援システムは、前記対象物の前記異なる部分の各々について前記診断作業が既に行われたか否かに関する進捗情報を前記第一のユーザに提供する第四進捗通知手段を更に備える。

【0022】

一実施形態では、前記診断作業手段が、前記第一と第二のユーザだけでなく第三のユーザにも前記対象データを提供して、前記第一、第二及び第三のユーザのそれぞれが前記対象物の診断作業を行なうことを可能にする。前記診断結果手段が、前記第一、第二及び第三のユーザのそれぞれによる前記対象物の診断結果を受け取る。前記共有手段が、前記第一、第二及び第三のそれぞれによる前記診断結果を、前記第一、第二及び第三のユーザの間で共有することを可能にする。前記人工知能が、前記第一、第二又は第三のユーザによる前記診断結果を用いて、前記診断方法を学習する。

【0023】

一実施形態では、前記第三のユーザが、前記第一のユーザにとり困難な診断のケースで前記顧客を助ける専門家である。

【0024】

一実施形態では、その診断支援システムは、ドローンと通信可能な１以上の通信端末と通信する操作端末通信手段と、前記対象物の地理的領域の位置を記憶する地理的領域記憶手段と、前記地理的領域の位置に基づいて、前記ドローンが前記地理的領域を移動しつつ前記対象データを取得するように前記ドローンを制御するための移動計画を作成する移動計画作成手段と、前記移動計画を記憶する移動計画記憶手段と、前記移動計画を前記通信端末の少なくとも一つに提供して、前記移動計画を前記ドローンに入力することを可能にする移動計画提供手段と、前記ドローンにより取得された前記対象データを取得する対象データ取得手段とを更に備える。

【0025】

一実施形態では、その診断支援システムは、１以上のCPUと、１以上のストレージと、前記１以上のストレージに記憶されたコンピュータプログラムを備える。前記CPUが前記コンピュータプログラムを実行することにより、以下の処理：
前記対象物の状態を表す対象データを用意し、
第一と第二のユーザのそれぞれに前記対象データを提供して、前記第一と第二のユーザのそれぞれが前記対象物の診断作業を行なうことを可能にし、
前記第一と第二のユーザのそれぞれによる前記対象物の診断結果を受け取り、
前記第一と第二のユーザのそれぞれによる前記診断結果を、前記第一と第二のユーザの間で共有することを可能にし、
前記第一又は第二のユーザによる前記診断結果を用いて診断方法を学習し、
学習された前記診断方法を用いて、前記対象物の自動診断を行ない、
前記自動診断結果を、前記顧客に第一のユーザに提供する、
を行う。

【0026】

本開示の別の一実施形態に従う、対象物の診断を行う人々を支援する診断支援システムは、対象物の状態を表した対象データを記憶する対象データ記憶手段と、前記対象物の一部分であるサンプル部分の状態を表すサンプルデータを前記対象データから選択するサンプルデータ選択手段と、１以上のユーザに前記サンプルデータを送信して、前記サンプルデータを診断することである第一の手動診断を前記１以上のユーザが行うことを可能にするサンプルデータ送信手段と、前記１以上のユーザから前記第一の手動診断の結果を受信する第一の手動診断結果受信手段と、前記第一の手動診断の結果を用いて、前記対象物を自動診断するための診断方法を計算する診断方法計算手段と、前記診断方法を前記対象データに適用して、前記対象物の全部又は前記サンプル部分より広範な部分を自動診断する自動診断手段と、前記自動診断の結果を前記１以上のユーザに送信して、前記自動診断の結果に満足するか又は前記自動診断の結果の少なくとも一部分の中から不満足な部分を見つけて修正することである第二の手動診断を、前記１以上のユーザが行うことを可能にする自動診断結果送信手段と、前記１以上のユーザから前記第二の手動診断の結果を受信する第二の手動診断結果受信手段とを備える。前記第二の手動診断の結果に前記不満足な部分の修正結果が含まれている場合、前記診断方法計算手段が、前記不満足な部分の修正結果を用いて前記診断方法を再計算する。前記自動診断手段が、再計算された前記診断方法を用いて、前記自動診断を再度行なう。前記自動診断結果送信診断が、再度行われた前記自動診断の結果を前記1以上のユーザに送信する。

【0027】

一実施形態では、前記１以上のユーザには、第一のユーザと第二のユーザが含まれる。その診断支援システムは、前記第一のユーザに対して前記第一の手動診断を行うことを可能にし、前記第二のユーザに対して前記第二の手動診断を行うことを可能にする。

【0028】

一実施形態では、その診断支援システムは、前記第二の手動診断の結果を用いて第二の診断方法を学習し、学習された前記第二の診断方法を用いて、前記対象物の第二の自動診断を行う人工知能と、前記人工知能による前記第二の自動診断の結果を、前記１以上のユーザに提供する自動診断結果提供手段とを更に備える。

【0029】

一実施形態では、その診断支援システムは、前記対象物データに含まれる複数の部分データを、各部分データの特徴に基づいて、１以上のデータグループに分類するデータグルーピング手段を更に備える。前記診断方法計算手段が、前記１以上のデータグループのそれぞれに関連付けられた１以上の前記診断方法を計算する。前記自動診断手段が、前記１以上のデータグループのそれぞれに関連付けられた１以上の前記診断方法を用いて、前記１以上のデータグループのそれぞれについての自動診断を行う。

【0030】

一実施形態では、その診断支援システムは、ドローンと通信可能な１以上の通信端末と通信する操作端末通信手段と、前記対象物の地理的領域の位置を記憶する地理的領域記憶手段と、前記地理的領域の位置に基づいて、前記ドローンが前記地理的領域を移動しつつ前記対象データを取得するように前記ドローンを制御するための移動計画を作成する移動計画作成手段と、前記移動計画を記憶する移動計画記憶手段と、前記移動計画を前記通信端末の少なくとも一つに提供して、前記移動計画を前記ドローンに入力することを可能にする移動計画提供手段と、前記ドローンにより取得された前記対象データを取得する対象データ取得手段とを更に備える。

【0031】

一実施形態では、その診断支援システムは、１以上のCPUと、１以上のストレージと、前記１以上のストレージに記憶されたコンピュータプログラムを備える。前記CPUが前記コンピュータプログラムを実行することにより、以下の処理：
前記対象物の状態を表した対象データを記憶し、
前記対象物の一部分であるサンプル部分の状態を表すサンプルデータを前記対象データから選択し、
１以上のユーザに前記サンプルデータを送信して、前記サンプルデータを診断することである第一の手動診断を前記１以上のユーザが行うことを可能にし、
前記１以上のユーザから前記第一の手動診断の結果を受信し、
前記第一の手動診断の結果を用いて、前記対象物を自動診断するための診断方法を計算し、
前記診断方法を前記対象データに適用して、前記対象物の全部又は前記サンプル部分より広範な部分を自動診断し、
前記自動診断の結果を前記１以上のユーザに送信して、前記自動診断の結果に満足するか又は前記自動診断の結果の少なくとも一部分の中から不満足な部分を見つけて修正することである第二の手動診断を、前記１以上のユーザが行うことを可能にし、
前記１以上のユーザから前記第二の手動診断の結果を受信し、
前記第二の手動診断の結果に前記不満足な部分の修正結果が含まれている場合、前記不満足な部分の修正結果を用いて前記診断方法を再計算し、
再計算された前記診断方法を用いて、前記自動診断を再度行い、
再度行われた前記自動診断の結果を前記1以上のユーザに送信する、
を行う。

【図面の簡単な説明】

【0032】

【図1】本発明の一実施形態の全体的なシステム構成を示すブロック線図。

【図2】同診断支援システムの具体的な機能的構成を示すブロック線図。

【図3】統括サーバとAIサーバによりそれぞれ管理されるデータの構成例を示すブロック線図。

【図4】各ユーザが対象物を診断するときの各ユーザ端末と統括サーバとの間の通信と制御のプロセスを示す流れ図。

【図5】対象物の進捗表示用GUIの一例を示す図。

【図6】対象物の一つの部分の診断用GUIの一例を示す図。

【図7】AIサーバが診断方法の機械学習を行うときのAIサーバと統括サーバとの間の通信と制御のプロセスを示す流れ図。

【図8】AIサーバが診断を行うときのAIサーバと統括サーバとの間の通信と制御のプロセスを示す流れ図。

【図9】図２に示された診断支援システムに診断コントローラが追加された機能的構成を示すブロック線図。

【図10】圃場の雑草検出に適用された診断コントローラによる診断制御の流れを、ユーザが行う操作の流れと関連付けて示すフロー図。

【図11】診断制御の中で行われる画像セットのグルーピングの概要を示す。

【図12】サンプル診断の開始時にユーザ端末に表示されるGUIの一例を示す。

【図13】ユーザがサンプル診断を行っているときにユーザ端末に表示されるGUIの一例を示す。

【図14】診断方法の計算と自動診断の制御流れの一具体例を示すフロー図。

【図15】ユーザ端末に表示される自動診断結果を表したGUIの例を示す。

【図16】不適切な自動診断結果を表したGUIの例を示す。

【図17】自動診断結果をユーザが修正したときのGUIの例を示す。

【図18】図１に示された診断システムが適用可能な、ドローンを用いた作業を支援するシステムの一例の全体構成を示すブロック線図。

【図19】同作業支援システムの全体的な制御例の流れを示すフローチャート。

【図20】図１に示された診断システムが適用可能な、ドローンを用いた作業を支援するシステムの別の例の全体構成を示すブロック線図。

【図21】同作業支援システムの全体的な制御例の流れを示すフローチャート。

【図22】症状解析部の構成例を示すブロック線図。

【図23】作業解析部の構成例を示すブロック線図。

【図24】解析部の別の構成例を示すブロック線図。

【図25】解析部のまた別の構成例を示すブロック線図。

【図26】各種のサーバ及び端末のいずれとしても使用できるコンピュータシステムの基本的構成例を示すブロック線図。

【発明を実施するための形態】

【0033】

以下、本発明の一実施形態に係る診断支援システムを説明する。

【0034】

図１に示すように、一実施形態に係る診断支援システム１は、統括サーバ３とAIサーバ５を有する。統括サーバ３とAIサーバ５は、例えば通信ネットワーク１３を通じて、相互に通信可能である。統括サーバ３は、診断支援サービスを人々に提供するための主要な複数の機能を実行し制御する。AIサーバ５は、機械学習により診断方法を学習し自動診断を行うAI（人工知能）として、複数の機能を実行し制御する。

【0035】

診断支援システム１の統括サーバ３は、診断支援サービスに関与する複数種類の人々（以下、「ユーザ」と総称する）がそれぞれ使う複数の端末コンピュータ（例えばパーソナルコンピュータ、スマートフォンなど）（以下、「ユーザ端末」と総称する）７、９、１１と、例えば通信ネットワーク１３を通じて、相互に通信可能である。

【0036】

診断支援システム１の統括サーバ３は、診断対象物の状態を表した対象データを、その対象物の診断に関与する複数人のユーザのユーザ端末７、９、１１に送信して、その対象データをユーザ端末７、９、１１のモニタスクリーン上に表示させることができる。各ユーザは、各ユーザ端末に表示された対象データを見て、その対象物を診断することができる。各ユーザによるその対象物の診断結果は、各ユーザ端末に入力されて、統括サーバ３に受信される。

【0037】

また、統括サーバ３は、対象データをAIサーバ５に送って、AIサーバにその対象物の診断を行わせることができる。そして、統括サーバ３は、AIサーバ５による診断結果を受信する。

【0038】

ここで、対象データには、対象物から得られる種々のデータ（例えば、その対象物をカメラで撮影して得た写真画像、あるいは、対象物を何らかのセンサで調査して得られたセンサ信号など）が採用され得る。例えば、ある圃場を診断する場合、その圃場を例えばカメラ付き飛行ドローンで撮影した数百枚から数千枚の写真画像が、対象データとして採用され得る。

【0039】

統括サーバ３は、各ユーザ端末から受信された各ユーザによる対象物の診断結果と、AIサーバ５から受信されたAIサーバ５による同じ対象物の診断結果を、同じ対象物の診断に関与する他のユーザのユーザ端末に送ることができる。それにより、同じ対象物の診断に関与する複数人のユーザが、他のユーザとAIサーバ５のそれぞれによる診断結果を相互間で共有して、それぞれの診断作業のための参考にすることができる。

【0040】

統括サーバ３は、また、各ユーザから入力された対象物の診断結果を、AIサーバ５に送ることができる。AIサーバ５は、対象物のデータと、同じ対象物についてのユーザ達による診断結果とを利用して、機械学習のための教師データを作成し、その教師データを用いて対象物の診断方法を学習することができる。教師データの増加に伴いAIサーバ５の機械学習が進みその診断精度が向上していく。

【0041】

各対象物の診断に関与するユーザには、少なくとも、顧客とアナリストという二種類のユーザが含まれる。更に、第三の種類のユーザとして、専門家が含まれてもよい。本明細書では、異なる種類のユーザが使用するユーザ端末を区別するために、顧客に使用されるユーザ端末７を「顧客端末」、アナリストに使用されるユーザ端末９を「アナリスト端末」、そして、専門家に使用されるユーザ端末１１を「専門家端末」という。顧客、アナリスト及び専門家は、顧客端末７、アナリスト端末９、専門家端末１１をそれぞれ用いて、診断支援システム１と通信しつつ対象物の診断を行うことができる。

【0042】

ここで、顧客とは、例えば、対象物の診断を要求する人、つまり、対象物の診断を必要とする人々である。圃場の異常診断の場合、顧客の典型例は、圃場で農業を営む農家の人々、又は、圃場を管理者又は所有者などであろう。また、建造物の異常診断の場合、顧客の典型例は、建造物の管理者又は所有者などであろう。顧客は、診断支援システム１を利用することで、自分が関与する（例えば所有、管理又は利用する）対象物を自ら診断することができる。

【0043】

アナリストとは、顧客とは異なる人であって、診断支援システム１を利用して対象物の診断を行う人である。アナリストの主たる役割は、は、顧客による診断の作業量を軽減するために、顧客に先だって予備的な診断を行うことであり、顧客にとりアシスタントである。アナリストは、対象物の異常の識別がある程度できる一定以上の知識をもった人々であることが望ましい。アナリストは、例えばクラウドソーシングを通じて診断業務を受注する人々（いわゆるクラウドワーカ）であってよい。

【0044】

専門家は、顧客でもアナリストでもない人であって、診断支援システム１を利用して対象物の診断を行う人々である。専門家の主たる役割は、顧客の診断の質を高めるために、顧客には困難な診断のケースで顧客を助けることであり、顧客にとりアドバイザである。専門家は、顧客やアナリストよりも高度な診断能力を持った人であることが望ましい。例えば、圃場の診断の場合、日本国内の各地域の農業試験場や農業協同組合や農業大学などの農業専門機関の職員や研究者であって、圃場の病害や対処法に関する知識と経験を豊富のもつ人が、専門家として採用され得る。

【0045】

通常、一つの対象物について、少なくとも一人の顧客と、複数人のアナリストが存在する。また、一つの対象物について、専門家は存在しなくてもいいが、好ましくは、一人以上の専門家が存在する。例えば、ある圃場の診断の場合、その圃場で作物を作る農家が典型的な顧客であり、また、複数人の農業知識人がアナリストとして採用され得る。更に、顧客の加入している農業協同組合の職員、あるいは、その圃場が存在する地域を管轄する農業試験場の職員が、専門家として採用され得る。

【0046】

以上のように、診断支援システム１に関与して対象物の診断を行う主体として、AIサーバ５、顧客、アナリスト、及び専門家の四種類がある。これら四種類の診断主体は、診断に関する能力及び状況において互いに異なっている。この実施形態に係る診断支援システム１は、それら異なる診断主体がそれぞれもつ以下の状況の違いに着眼して、設計されている。

【0047】

AIサーバ５は、診断方法の学習が完了すれば、高精度に診断結果を出すことができ、顧客にとり頼りになる存在となる。しかし、学習が未完了である間、特に、教師データが十分に集まっておらず学習レベルが幼い間は、AIサーバ５は、診断精度が低すぎて顧客にとり役立たない。

【0048】

顧客は、AIサーバ５が役立たない間は、基本的に自分自身で対象物のデータを見て診断を行わざるを得ない。しかし、診断のために見るべき対象物のデータ量が膨大である場合、顧客が自分自身で診断することが困難である。例えば、１枚の圃場を診断するのに、数百枚から数千枚の画像を見なければならない場合がある。また、顧客の診断能力が不十分であるがゆえに、自分だけでは的確な診断ができない場合もある。

【0049】

アナリストは、一つの対象物に対して複数人存在するため、診断作業を複数人で分担することができる。例えば、一枚の圃場の診断を１００人のアナリストが分担すれば、顧客場自分一人で診断する場合に比べて、アナリストの作業負担は１００分の一となる。アナリストの診断結果を顧客に与えることで、アナリストは顧客をアシストして、顧客の作業負担を軽減することができる。アナリスト各人の診断応力は顧客より低い可能性があるが、それでも顧客をアシストする役ならばできる。

【0050】

専門家は、アナリストや顧客より高い診断能力をもち、顧客の不十分な診断能力を補って診断精度と高めることで、顧客をアシストしたり教育したりすることができる。一般に、専門家の人数は、顧客やアナリストより少ないので、専門家に大量の作業を期待することは難しい。しかし、アナリストや顧客が行った診断結果を専門家に与えることで、専門家は、その診断結果から自分の関与を要する部分だけを選択できるから、専門家が過大な作業を負う危険が回避される。

【0051】

アナリスト、顧客、専門家が行った診断結果は、AIサーバ５の機械学習のための教師データに利用することができる。その場合、より高い診断能力を持った人が関与した診断結果が、教師データの作成により有用である。すなわち、一般的に、アナリストだけの診断結果より、顧客が関わった診断結果の方がより精度が良いであろうし、更に専門家が関わった診断結果の方がより一層精度が高いであろう。

【0052】

以上のように、異なる診断主体が診断特性及び状況において相互に異なっている。その相違を利用して、異なる診断主体がそれぞれの長所を生かし短所を補い合うように相互に協力又は援助をすることにより、それぞれの診断主体の作業能率の向上、及び作業負担に軽減を図ることができる。その目的のために診断支援システム１の統括サーバ３とAIサーバ５に搭載された機能について、以下に説明する。

【0053】

図２は、統括サーバ３とAIサーバ５の機能的構成を示す。図３は、統括サーバ３とAIサーバ５によりそれぞれ管理されるデータの構成例を示す。図３に示されたデータ構造例は、対象物のデータが画像である場合（例えば、対象物が圃場であり、対象物のデータが、圃場を撮影して得た多数の写真画像である場合）について例示している。

【0054】

図２に示すように、統括サーバ３は、サービスマネジャ１３、ユーザマネジャ１５、ユーザデータセット１７、進捗マネジャ１９、進捗データセット２１、対象データマネジャ２３、対象データセット２５、診断データマネジャ２７、及び診断データセット２９を備える。AIサーバ５は、学習制御部３１、学習モデルセット３３、教師データセット３５、診断モデルセット３７、及びAI診断制御部３９を備える。

【0055】

統括サーバ３のサービスマネジャ１３は、ユーザマネジャ１５、進捗マネジャ１９、対象データマネジャ２３、及び診断データマネジャ２７をそれぞれ介して、ユーザデータセット１７、進捗データセット２１、対象データセット２５、及び診断データセット２９にそれぞれアクセスし、そして、そのアクセスの結果に基づいて、各ユーザが各対象物の診断の進捗を確認したり、各ユーザが各対象物の診断を行ったりするための幾種類かのグラフィカルユーザインタフェース（以下、「GUI」と略称する）を作成する（それらGUIの具体例は後に説明される）。

【0056】

サービスマネジャ１３は、上述したGUIを、各ユーザ端末７、９、１１に送信し、それにより、各ユーザ端末７、９、１１は受信したGUIをモニタスクリーン上に表示する。各ユーザは、そのGUIを通じて、各対象物のデータを調べ、そして、各対象物の診断結果を各ユーザ端末７、９、１１に入力する。サービスマネジャ１３は、各ユーザが入力した各対象物の診断結果を各ユーザ端末７、９、１１から受信し、そして、受信され診断結果を診断データマネジャ２７を通じて診断データセット２９に格納したり、進捗マネジャ１９を通じて、進捗データセット２９を更新したりする。

【0057】

統括サーバ３のユーザマネジャ１５は、ユーザデータセット１７を管理する。図３に示すように、ユーザデータセット１７は、複数人のユーザにそれぞれに関する複数の個別ユーザデータレコード１７１を有する。各ユーザの個別ユーザレコード１７１には、そのユーザがもつ種々の属性が記録される。そのような属性には、例えば、そのユーザを識別するためのユーザID、そのユーザの氏名と住所、そのユーザがアクセス可能な対象物を指し示すアクセス可能対象ID、などがあり得る。

【0058】

再び図２を参照して、ユーザマネジャ１５は、ユーザ登録部１５１及びアクセス制御部１５３を有する。

【0059】

ユーザ登録部１５１は、各ユーザのユーザ端末７、９又は１１からのユーザ登録要求を受けて、そのユーザの個別ユーザレコード１７１を作成し、ユーザデータセット１７に登録する。

【0060】

アクセス制御部１５３は、各ユーザのユーザ端末７、９又は１１からの対象データセット２５に対するデータアクセス要求（例えば、対象物の診断作業を行いたい要求）に応じて、そのユーザの個別ユーザデータレコード１７１に記録されたアクセス許可対象IDを参照して、そのユーザがアクセス可能な対象物がどれであるかを判断する。その判断結果に応じて、サービスマネジャ１３が、各ユーザに対してどの対象物の対象データへのアクセスを許可するか禁止するかを制御する。

【0061】

各ユーザに対するアクセス制御の典型例は、次のとおりである。

【0062】

各顧客は、自分の管理又は保有する対象物の対象データにだけアクセスできるが、他の顧客の対象物の対象データにはアクセスできない。各対象物の対象データにアクセスできる（つまり、その対象物を診断できる）顧客は、その対象物を管理又は保有する顧客だけであり、他の顧客はその対象物のデータにアクセスできない。各アナリストは、異なる顧客がそれぞれ管理又は保有する異なる対象物の対象データにアクセスできる（もちろん、特定のアナリストが診断できる対象物を特定の対象物にだけ制限してもよい）。各対象物の対象データにアクセスできる（つまり、その対象物を診断できる）アナリストは、複数人いる。各専門家は、異なる顧客がそれぞれ管理又は保有する異なる対象物の対象データにアクセスできる（もちろん、特定の専門家が診断できる対象物を特定の対象物にだけ制限してもよい）。各対象物の対象データにアクセスできる（つまり、その対象物を診断できる）専門家は、一人以上いることが好ましいが、対象物によっては専門家がゼロであることもあり得る。なお、AIサーバ５は、すべての対象物の対象データにアクセスできる（すべての対象物を診断できる）。

【0063】

統括サーバ３の進捗マネジャ１９は、進捗データセット２１を用いて、種々の対象物の診断作業の進捗状態を管理する。図３に示すように、進捗データセット２１は、それぞれのユーザにより実施された診断の実績（例えば、どの対象物のどの部分を誰が何時診断し、その診断結果は診断データセット２９内のどのデータレコードであるか、など）を示す複数の実績データレコード２１１を有する。各実績データレコード２１１には、その診断実績がもつ種々の属性が記録される。そのような属性には、例えば、診断された対象物を識別するための対象ID、診断された対象物の部分を識別するための部分ID、診断に用いられたその部分の画像を識別するための画像ID、その診断を行った主体（AI、アナリスト、顧客、専門家）を識別するための診断者ID、各診断者による診断結果を識別するための診断結果ID、診断日時を示す診断日時、などがあり得る。

【0064】

再び図２を参照して、進捗マネジャ１９は、作業依頼部１９１、実績登録部１９３、及び実績表示部１９５を有する。

【0065】

作業依頼部１９１は、各ユーザのユーザ端末７、９又は１1から、ある対象物の診断作業を行いたい旨の診断作業依頼を受けた時、その依頼された診断作業に対応する実績データレコード２１１を進捗データセット２１内に作成する。

【0066】

実績登録部１９３は、各ユーザのユーザ端末７、９又は１1から各診断作業の診断結果が統括サーバ３に受信された時、その診断結果の診断結果ＩＤと診断日時を、その診断作業に対応する実績データレコード２１１に記録する。

【0067】

実績表示部１９５は、各ユーザのユーザ端末７、９又は１1からある対象物の診断の進捗を問う進捗表示依頼を受けた時、その対象物の過去から現時点までの診断の実績データレコード２１１を進捗データセット２１から読み出し、その実績データレコード２１１に基づいて、その対象物の診断の進捗状態を表示するためのGUIの作成に必要な進捗表示情報をサービスマネージャ１３に提供する。サービスマネジャ１３は、その進捗表示情報を用いて、上記進捗表示用ＧＵＩを作成する。

【0068】

統括サーバ３の対象データマネジャ２３は、対象データセット２５を管理する。図３に示すように、対象データセット２５は、複数の対象物のそれぞれに対応した個別対象データレコードコード２５１を有する。各対象物の個別対象データレコード２５１には、その対象物の種々の属性が記録される。そのような属性には、例えば、その対象物を識別するための対象ID、その対象物の存在場所、その対象物の顧客を識別するための顧客IDなどがあり得る。

【0069】

各対象物の個別対象データレコード２５１には、更に、その対象物を構成する複数の部分（例えば、対象物が圃場である場合、その圃場を細かく区分した多数のサブエリア）にそれぞれ対応した複数の部分データレコード２５３が含まれる。各部分の部分データレコード２５３には、対象物データの中のその部分に該当する対象部分データ（例えば、圃場内の当該サブエリアの写真画像）と、その部分を識別するための部分ID、その部分の対象物内での位置を示す部分位置、及び、その対象部分データの所得日時（例えば、そのサブエリアの写真画像の撮影日時）などが含まれる。

【0070】

再び図２を参照して、統括サーバ３の対象データマネジャ２３は、対象登録部２３１と対象表示部２３３とを有する。

【0071】

対象登録部２３３は、ユーザ端末７、９、１１（典型的には、顧客が用いる顧客端末７）から、ある対象物についての対象登録要求と対象データ（例えば、その対象を構成する多数の部分のそれぞれの画像と位置情報の集合など）とを受けた時、その対象物の個別対象データ２５１を作成して対象データセット２５内に登録する。

【0072】

対象表示部２３３は、各ユーザのユーザ端末７、９又は１1からある対象物について診断の進捗を確認したい旨の進捗表示依頼、又は、その対象物の診断を行いたい旨の診断作業依頼を受けた時、その対象物の個別対象データレコード２５１を対象データセット２５から読み出し、その個別対象データレコード２５１に基づいて、進捗表示のためのGUI又は診断のためのGUIの作成に必要な対象表示情報をサービスマネージャ１３に提供する。サービスマネジャ１３は、その対象表示情報を用いて、上記進捗表示用GUI又は診断用GUIを作成する。

【0073】

再び図２を参照して、統括サーバ３の診断データマネジャ２７は、診断データセット２９を管理する。図３に示すように、診断データセット２９は、複数の対象物のそれぞれに対応した個別診断データレコードコード２９１を有する。各対象物の個別診断データレコード２９１には、対応する対象物を識別するための対象ID、及びその対象物の顧客を識別するための顧客IDなどが記録される。

【0074】

各対象物の個別診断データレコード２９１には、更に、その対象物について異なる診断者により実施された複数の診断作業にそれぞれ対応した複数の診断作業データレコード２９３が含まれる。各診断作業の診断作業データレコード２９３には、その診断作業を識別するための診断作業ID、その診断作業で下された診断結果、その診断作業で診断された対象物の部分を識別するための部分ID、その診断作業を行った診断者（顧客、アナリスト、専門家、AIサーバ５）を識別するための診断者ID、及び診断作業が実施された日時など情報が含まれる。

【0075】

再び図２を参照して、統括サーバ３の診断データマネジャ２７は、診断入力部２７１と診断表示部２７３とを有する。

【0076】

診断入力部２７１は、ユーザ端末７、９、１１から、ある対象物のある部分の診断作業において診断結果を入力した旨の診断入力要求と入力された診断結果とを受けた時、その診断作業に対応する診断作業データレコード２９３を作成して、その診断作業データレコード２９３を、診断データセット２９内のその対象物の個別診断データレコード２９１内に登録する。

【0077】

診断表示部２７３は、各ユーザのユーザ端末７、９又は１1からある対象物の診断作業を行いたい旨の診断作業依頼を受けた時、その対象物の個別診断データレコード２９１を診断データセット２９から読み出し、その個別診断データレコード２９１に格納されている診断作業データレコード２９３に基づいて、その対象物の診断を行うためのGUIの作成に必要な診断表示情報を、サービスマネージャ１３に提供する。サービスマネジャ１３は、その診断表示情報を用いて、上記診断用ＧＵＩを作成する。

【0078】

図２に示すように、AIサーバ５は、学習制御部３１、学習モデルセット３３、教師データセット３５、診断モデルセット３７、及びAI診断制御部３９を備える。

【0079】

AIサーバ５の学習制御部３１は、学習モデルセット３３を用意する。学習モデルセット３３は、少なくとも1つの学習モデル、望ましくは複数の学習モデルを有する。各学習モデルは、機械学習により診断方法を学習することができる計算システム、例えば、ニューラルネットワークである。異なる学習モデルは、異なる用途（例えば、異なる場所又は地域に存在する異なる対象物の診断、異なる種類の対象物の診断、又は、同じ対象物についての異なる目的の診断、など）の診断方法をそれぞれ学習するようになっていてよい。あるいは、異なる学習モデルは、同じ用途の診断方法を学習するものであるが、それぞれ異なる構造や機能を有するものであってもよい。

【0080】

学習制御部３１は、教師データセット３５を作成し、その教師データセット３５を用いて、上述した各学習モデルに診断方法を学習させる。

【0081】

図３に示すように、教師データセット３５は、複数（通常は多数）の個別教師データレコード３５を有する。各個別教師データレコード３５１は各対象物の診断の複数の模範例をそれぞれ表した教師データの集まりであり、そこには例えば、その対象物の対象ID及び顧客IDなどが記録される。更に、各個別教師データレコード３５１には、その対象物の異なる部分にそれぞれ対応した複数の部分教師データレコード３５３が含まれる。

【0082】

各部分に対応した各部分教師データレコード３５３は、その部分の診断の一つの模範例を表した一単位の教師データである。各部分教師データレコード３５３には、例えば、その部分の部分ID、その部分の部分対象データ（例えば、その部分の写真画像）、その部分対象データの取得日時、及び、その部分対象データに対する模範的な診断結果などが含まれる。

【0083】

図２と図３に示すように、学習制御部３１は、統括サーバ３内の対象データセット２５と診断データセット２９を用いて、教師データセット３５を作成する。すなわち、学習制御部３１は、対象データセット２５内に保存されているある対象物のある部分のある取得日時の部分対象データレコード２５３と、診断データセット２９内に格納されている当該部分対象データに関する診断作業データレコード２９３とに基づいて、同じ部分対象データに関する部分教師データレコード３５３を作成する。

【0084】

上記のように部分教師データレコード３５３（つまり教師データ）を作成する時、その材料となる診断データセット２９内に、同じ部分対象データに関して、異なる診断者（顧客、アナリスト、専門家）により下された異なる診断結果をそれぞれ示す複数の診断作業データレコード２５３が存在する場合（例えば、圃場のある個所について、アナリストが「異常」と診断し、顧客がその異常は「いもち病」だと診断し、専門家がいもち病対策として「農薬ABCを適用せよ」と診断した場合）がある。そのような場合、学習制御部３１は、それら異なる診断結果を相互に整合するように統合することで、教師データ用の診断結果を作成するようにしてよい（例えば、その圃場のその個所は、「いもち病であって農薬ABCを施せ」という診断結果を作成する。）。

【0085】

上記の場合において、異なる診断結果が相互に整合しない（相矛盾する）場合（例えば、圃場のある個所について、アナリストは「異常」と診断したが、顧客は「正常」と診断し、専門家は「施肥を要する」と診断したような場合）があり得る。このような相矛盾する異なる診断結果から教師データを作成する場合、学習制御部３１は、予め設定してある診断者の優先順位（例えば、専門家が最高順位、顧客が中間順位、アナリストが最低順位）に応じて、より高い優先順位を有する診断者の診断結果をより優先的に採用する（例えば、優先順位の最も高い専門家の診断結果「施肥を要する」と、それと整合するアナリストの診断結果「異常」を採用する）ことで、教師データ用の診断結果を作成するようにしてよい。

【0086】

図２を参照して、学習制御部３１は、更に、診断モデルセット３７を用意する。すなわち、学習制御部３１は、学習モデルセット３３内の複数の学習モデルの中から、実際の診断に採用してよい学習モデルを選び、その選ばれた学習モデルの複製を、実際の診断を行う診断モデルとして採用する。こうして採用された一つ以上の診断モデルが、診断モデルセット３７に含まれる。学習モデルを診断モデルとして選ぶための選択条件は任意に設定できる。例えば、満足できる高い診断精度を出せるまで高度に学習を完了した学習モデルだけを選択してもよいし、あるいは、学習に使った教師データの所定量に達した学習モデルを、診断モデルとして選択してもよい。

【0087】

AI診断制御部３９は、診断モデルセット３７内の各診断モデルを用いて、実際の対象物の自動診断を行わせる。すなわち、AI診断制御部３９は、対象データセット２５内の様々な対象物の対象データを、その対象物の診断用の少なくとも１つの診断モデルへ入力する。そして、AI診断制御部３９は、その診断モデルからの自動診断結果を、統括サーバ1へ送る。統括サーバ１は、AIサーバ５から自動診断結果を、顧客やアナリストや専門家による診断作業の診断結果と同様に、図２に示した診断作業データレコード２９３として診断データセット２９内に登録する。

【0088】

図４は、各ユーザ（顧客、アナリスト及び専門家の各々）が対象物を診断するときの各ユーザ端末７、９、１１と統括サーバ３との間の通信と制御のプロセスを例示する。

【0089】

この通信と制御のプロセスは、顧客、アナリスト及び専門家のいずれの種類のユーザに関しても、基本的に同様である。ただし、診断できる対象物の範囲はユーザにより異なり得る。

【0090】

図４を参照して、各ユーザは自分のユーザ端末７、９又は１１から統括サーバ3にログインする（ステップS1）。統括サーバ３は、そのログインしたユーザにとりアクセス可能な対象物を選び、その選ばれたアクセス可能対象物のリストをそのユーザのユーザ端末７、９又は１１に送る（S2）。そのユーザ端末７、９又は１１は、そのアクセス可能対象物リストを表示する（S3）。

【0091】

そのユーザが、その表示された対象物リストの中から任意の対象物を選択すると、そのユーザ端末７、９又は１１は、その選択された対象物の診断の進捗の表示を統括サーバ３に要求する（S4）。統括サーバ３は、その進捗表示要求を受けて、その選択された対象物の進捗表示用GUIを作成する（S5）。

【0092】

図５は、対象物の進捗表示用GUIの一例を示す。

【0093】

図５に例示された進捗表示用GUI４１には、選択された対象物（例えば、1枚の圃場）４５の全体を俯瞰した全体画像４３が表示される。その全体画像４３上に、その対象物を構成する多数の部分（例えば、1枚の圃場を細かく区分した多数のサブエリア）のそれぞれの識別番号と診断の進捗程度に応じた色を示した進捗マーク４７、４９がマップされる。例えば、第一の色の進捗マーク４７の付いた部分は、まだ誰も診断をしてないこと、つまり「未診断」を意味し、第二の色の進捗マーク４９の付いた部分は、既に誰かが診断をした（診断結果を入力した）こと、つまり「既診断」を意味する。また、ユーザが全体画像４３上で任意の部分の進捗マーク４７又は４９をクリックすると、そのクリックされた部分が診断対象候補として選択される。

【0094】

なお、進捗マークは上述したような「未診断」と「既診断」の２種類だけでなく、例えば「未診断」、「アナリスト診断済み」、「顧客診断済み」、「専門家診断済み」などのように、より多くの種類に分かれていてもよい。

【0095】

進捗表示用GUI４１には、また、その対象物４５の名称や既に診断者の誰かが入力したコメントなど概況情報を表示する対象物概要表示欄５１がある。更に、進捗表示用GUI４１には、診断対象候補として選択された部分の概況情報を表示する部分表示欄５３がある。部分表示欄５３には、その選択された部分の部分画像５５や、その部分の概況説明５７、及び、診断ボタン５９などがある。ユーザが診断ボタン５９をクリックすると、その選択された部分の診断作業に入ることができる。

【0096】

再び図４を参照して、統括サーバ３は、ステップS5で、上記のような進捗表示用GUI４１を作成する。その時、統括サーバ３は、対象データセット２５内のその対象物に関するデータレコードに基づいて、全体画像４３や部分画像５５を作成して、GUI４１に組み込む（S51）。また、統括サーバ３は、進捗データセット２１内のその対象物に関するデータレコードに基づいて、それぞれの部分の進捗マーク４７、４９を作成して、全体画像４３上のマップする（S52）。また、統括サーバ３は、GUIのその他の部品を、対象データセット２５及び診断結果データセット２９内のその対象物に関するデータレコードに基づいて作成して、GUI４１に組み込む（S53）。

【0097】

統括サーバ３は、作成した進捗表示用GUI４１を、進捗表示を要求したユーザ端末７、９又は１１に送信する（S6）。そのユーザ端末７、９又は１１は、進捗表示用GUIを表示する（S7）。そのユーザが進捗表示用GUI上で任意の部分を選択すると、そのユーザ端末７、９又は１１は、選択された部分の診断作業を統括サーバ３に要求する（S8）。統括サーバ３は、上記診断作業要求を受けると、その選択部分の診断作業を行うための診断用GUIを作成する（S9）。

【0098】

上記ステップS7において、ユーザは、進捗表示用GUIを見ることで、対象物のどの部分が未診断であり、どの部分が既診断なのかが分かる。次のステップS8で、そのユーザが未診断の部分を選択したならば、そのユーザはその選択部分を最初に診断することになる。他方、そのユーザが既診断の部分を選択したならば、そのユーザは先に他の診断者が下した診断結果を参考にしながら、その部分を診断することができる。後に説明するように、アナリストは未診断の部分を選択し、顧客と専門家は既診断の部分を選択することで、それぞれの診断者の長所を生かし、短所を補足し合える場合がある。

【0099】

図６は、診断用GUIの一例を示す。

【0100】

図６に例示された診断用GUI６１には、選択された部分（例えば、1枚の圃場の中から選択された一つのサブエリア）の全体を示す選択部分画像６３が表示される。その選択部分画像６３上でユーザは異常と考えられる任意の個所を枠６１、７１で指定して、その異常個所枠６１、７１に、異常種別（例えば、害虫、病気、色ムラ、雑草）を示す異常マーク６９、７３を付すことができる。異常マーク６９、７３は、診断用GUI６１上にある異常マークリスト６５から、例えばドラッグアンドドロップ操作で選ぶことができる。異常マークリスト６５中の異常マークが示す異常種別は、例えば、（図中の上から下へ順に）「害虫」、「病気」、「色ムラ」、「雑草」、「要チェック（種別が不明か不確定）」、「その他」である。

【0101】

診断用GUI６１には、また、その選択部分の対象物の全体の中で位置を示す位置表示画像７７や概況説明７９を表示する選択部分概要表示欄７５がある。更に、診断用GU６１には、他のユーザから既に入力された選択部分の診断結果を示すコメントを表示したり、各ユーザが新たな診断結果のコメント（全く新しいコメント、他のユーザの診断結果に関するコメントなど）を入力するためのコメント欄８１、８３、８５などがある。

【0102】

診断用GUI６１を用いて、対象物のある部分の診断がいずれかのユーザによって実施されると、以後、同じ部分の診断用GUI６１がどのユーザに対して表示されても、その診断用GUI６１上に、先に診断を行ったユーザの診断結果（例えば、異常個所枠６１、７１、異常マーク６９、７３、コメントなど）が表示される。これにより、同じ部分に対して異なるユーザが入力した診断結果が、それら異なるユーザ間で共有されることになる。これにより、例えば、顧客はアナリストと専門家の間で、各人の作業負担の軽減や診断能力を補い合いのための相互協力ができる。

【0103】

再び図４を参照して、統括サーバ３は、ステップS9で、上記のような診断用GUI６１を作成する。その時、統括サーバ３は、対象データセット２５内のその対象物のデータレコーと及びその選択部分のデータレコードに基づいて、選択部分画像６３や位置表示画像７７を作成して、GUI６１に組み込む（S91）。また、統括サーバ３は、診断データセット２９内のその選択部分に関するデータレコードに基づいて、その選択部分の異常個所枠６７、７１や異常マーク６９、７３やコメント欄８１、８３、８５を作成して、GUI６１に組み込む（S92）。また、統括サーバ３は、GUI６１のその他の部品を作成して、GUI６１に組み込む（S93）。

【0104】

統括サーバ３は、作成した診断用GUI６１を、診断作業を要求したユーザ端末７、９又は１１に送信する（S10）。そのユーザ端末７、９又は１１は、診断用GUIを表示する（S11）。そのユーザが（例えば、異常個所、異常種別、コメントなど）を入力すると、そのユーザ端末７、９又は１１は、その診断結果を診断用GUI上に表示し、そして、その診断結果を統括サーバ３に送信する（S12）。

【0105】

統括サーバ３は、上記診断結果を受けると、その診断結果のデータレコードを診断データセット２９に登録して診断データセット２９を更新し、それに合わせて進捗データセット２１も更新する（S13）。

【0106】

上述したステップS12で、ユーザは診断用GUIを見ながら対象物の診断作業を行う。ここで、複雑な診断の場合、一つの完全な診断作業は複数の段階（複数のサブ診断）に分けることができる。例えば、図４にステップS121～S124として示された診断作業の例は、カメラ付きドローンで撮影された数百枚から数千枚の圃場の写真を見て圃場を診断する場合の一例であるが、そこには、次の４つのサブ診断が含まれ。

【0107】

（１） 第一サブ診断（図４、S121）

【0108】

この作業では、一枚の圃場の数百枚から数千枚の写真画像を子細に調べて、圃場の領域中から異常と考えられる個所（例えば、病害、害虫被害、発育不良などが生じている箇所）を見つけ出し、その異常個所をユーザ端末に入力する。この作業は、図６に例示された診断用GUI６１において、選択部分画像６３を点検して、その中から異常個所を見つけてそれらの異常個所をそれぞれ枠６７、７１で指定する操作に該当する。第一サブ診断では、数百枚から数千枚の写真画像を子細に調べる必要があるから、その作業負担はかなり大きい。他方、第一サブ診断で必要とされる診断能力は、後述する第三及び第四サブ診断に要する診断能力より低くてよい。

【0109】

（2） 第二サブ診断（図４、S122）

【0110】

この作業では、第一サブ診断で発見された各異常個所について、その異常種類（害虫、病気、色ムラ、雑草など）を特定し、その異常種別をユーザ端末に入力する。この作業は、例えば、図６に示された診断用GUI６１の例において、それぞれの異常個所枠６７、７１を見て異常種別を判断又は推定し、そこに対応する異常マーク６９、７３を付すことに該当する。第二サブ診断で必要とされる診断能力は、後述する第三及び第四サブ診断に要する診断能力より低くてよい。

【0111】

（３） 第三サブ診断（図４、S123）

【0112】

この作業では、圃場内の第一サブ診断で見つかった異常個所の各々について、第二のサブ診断で付された異常種類を参考にして、その異常の具体的な名称（害虫名、病名、色ムラ原因、雑草名など）を特定し、その具体的な異常名をユーザ端末に入力する。例えば、図６に示された診断用GUI６１の例において、それぞれの異常個所について、コメント欄８１、８３、８５に異常名を入力することに該当する（なお図６の例では、異常名はまだ入力されていない）。あるいは、この作業は、図６に示された診断用GUI６１の例において、あらかじめ用意された異常名リストを表示して（なお図６の例では、そのリストは表示されていない）、そのリストの中から異常名を選んで各異常個所に付すことに該当する。第三サブ診断では、第一と第二のサブ診断の結果を利用することで、数百枚から数千枚の写真画像を子細に調べる必要はなくなるから、その作業負担は第一サブ診断に比べると小さくなる。他方、第三サブ診断で必要とされる診断能力は、第一及び第二サブ診断に要する診断能力より高い。

【0113】

（４） 第四サブ診断（図４、S124）

【0114】

この作業では、各異常個所の写真画像を見るとともに、第三サブ診断で下された異常名をベースにして、その異常を除去又は解消するための対処法（散布すべき農薬の名と量、施すべき肥料の名と量など）を特定し、その対処法をユーザ端末に入力する。例えば、図６に示された診断用GUI６１の例において、それぞれの異常個所について、コメント欄８１、８３、８５に対処法を入力することに該当する（なお図６の例では、対処法はまだ入力されていない）。あるいは、この作業は、図６に示された診断用GUI６１の例において、あらかじめ用意された対処法リストを表示して（なお図６の例では、そのリストは表示されていない）、そのリストの中から対処法を選んで各異常個所に付すことに該当する。第四サブ診断では、第一から第三のサブ診断の結果を利用することで、数百枚から数千枚の写真画像を子細に調べる必要はなくなるから、その作業負担は第一サブ診断に比べると小さくなる。第四サブ診断で必要とされる診断能力は、第一及び第二サブ診断に要する診断能力より高い。

【0115】

さて、このように完全な診断作業が複数段階のサブ診断から構成される場合、それらサブ診断のすべてを一人のユーザが行なうことは、可能ではあるが、一人のユーザの作業負担が大きくなりすぎてしまうか、あるいは、一人のユーザに要求される診断能力が高くなりすぎてしまい、現実には困難であることが多い。

【0116】

そこで、この実施形態に係る診断支援システム１では、各ユーザは複数のサブ診断のすべてを行う必要はなく、それらサブ診断の一部（例えば、一つか二つのサブ診断）だけを選んで行えばよい。したがって、複数のユーザが複数段階のサブ診断を分担して順番に引き継ぎながら実施することができる。それにより、実用的で能率的な診断が可能となる。作業分担のやり方は、顧客、アナリスト、専門家という異なる種類のユーザがそれぞれもつ異なる特性と状況を利用して、それぞれの種類のユーザが各人にとり得意なサブ診断を担うようにするこことが望ましい。

【0117】

この分担作業の一例を示すと次のとおりである。

【0118】

まず、複数人のアナリストたち担う作業は、大量のデータを調べることを必要とするが、それほど高い診断能力を要さないものが適する。例えば、上述した圃場の診断の例では、アナリストたちは主に、第一サブ診断（異常個所の特定）と第二サブ診断（異常種類の特定）を担うことが望ましい。第一と第二のサブ診断では、一枚の圃場について数百枚から数千枚の圃場の写真を丹念に見る必要があるが、他方、異常種別が分かる程度の診断応力で足るから、複数人のアナリストたちが分担して行うのに適している。複数のアナリストたちは、図５に示したような進捗表示用GUI４１において、「未診断」を意味する進捗マーク４７の付いた部分だけを選択することで、能率的に第一と第二のサブ診断に入ることができる。

【0119】

顧客は、対象物を管理又は保有する最終責任者として、すべてのサブ診断を担ってよいが、とりわけ、主に第三サブ診断（異常名の特定）と第四サブ診断（対処法の特定）を担うことで、その作業負担が軽減される。すなわち、顧客は、アナリストたちが先に行った第一サブ診断と第二サブ診断の結果を利用することで、顧客の作業負担が軽減される。顧客は、図５に示したような進捗表示用GUI４１において、「既診断」を意味する進捗マーク４９の付いた部分だけを選択することで、能率的に第三と第四の診断に入ることができる。

【0120】

専門家は、その高い診断能力を活かすために、主に第三サブ診断（異常名の特定）と第四サブ診断（対処法の特定）を担う。専門家が過大な作業負担を強いられないよう、専門家は顧客の診断を補足する役だけを行うようにしてもよい。すなわち、例えば、専門家は、第三サブ診断（異常名の特定）と第四サブ診断（対処法の特定）をはじめから行うわけではなく、顧客が入れた第三サブ診断（異常名の特定）と第四サブ診断（対処法の特定）の結果をチェックして必要に応じてそれを修正したり補充した入りする作業だけを担ってよい。あるいは、専門家は、顧客から専門家に診断依頼（例えば、質問、チェック要求など）が来たときだけ、その依頼された事柄を処理するようになっていてもよい。

【0121】

以上のように、アナリスト、顧客、専門家が、診断作業を完成させるための複数段階の作業を分担することで、相互に支援し合って、診断の能率と精度を上げることができる。顧客は、AIサーバ５の診断能力が未熟である間も、アナリストや専門家の助けを受けることで大きな作業負担を自分が負うことなしに、自己の管理又は保有する対象物について適切な診断結果を得ることができる。

【0122】

また、この実施形態に係るシステムでは、アナリスト、顧客及び専門家が、それぞれが行った診断結果及びAIサーバ５が行った診断結果を、診断用GUI６３上で閲覧することで、相互に共有することができる。それにより、特に診断能力が低い診断者（例えば、経験の浅いアナリストや顧客など）が、より高い診断能力をもつ診断者の診断結果を参考にして、自己の診断能力を上げることができる。それが、システム全体の診断の能率と精度を上げることにつながる。特に、専門家の助けを直接受けられない対象者（例えば、農業協同組合や農業試験場の管轄外の圃場をもつ対象者）であっても、アナリストたちが他の顧客の圃場の診断作業で専門家の診断結果を学習していさえすれば、それらのアナリストたちを通じて、他の他の圃場の専門家の助けを間接的に受けることができる。

【0123】

また、この実施形態に係るシステムでは、アナリスト、顧客及び専門家が下した診断結果を利用して、AIサーバ５の機械学習のための教師データを用意することができる。すなわち、診断支援サービスを顧客に提供しつつ、その背後で、AIサーバ５を訓練し、そして、訓練の成果を活かした自動診断サービスを顧客に提供することができる。

【0124】

図７は、AIサーバ５が診断方法の機械学習を行うときのAIサーバ５と統括サーバ３との間の通信と制御のプロセスを例示する。

【0125】

統括サーバ３が、既存又は新たな対象物のそれぞれの部分について、ユーザ（アナリスト、顧客又は専門家）による診断結果が診断データセット２９に登録された場合、その診断結果をAIサーバ５に送信する（S21）。AIサーバ５は、統括サーバ３から受信したその対象物のそれぞれの部分の診断結果と、その対象物のそれぞれの部分の部分データレコード２５３とを用いて、それぞれの部分についての部分教師データレコード３５３を作成して、それを教師データセット３５内のその対象物に対応する個別教師データレコード３５１内に登録する（S22）。このとき、既に複数のユーザにより同じ部分の診断がなされていた場合、AIサーバ５は、すでに説明したように、それら複数ユーザによる診断結果を、相互に整合するように統合するか、又は、それらが相互に矛盾する場合には、より優先度の高いユーザの診断結果をより優先させることで、その部分の部分教師データレコード３５３を作成する。

【0126】

その後、AIサーバ５は、その部分教師データレコード３５３を用いて、学習モデルセット３３内のその対象物の診断用の一以上の学習モデルの機械学習を行う（S23）。その後、AIサーバ５は、その学習モデルの学習レベル（診断精度）を評価する（S24）。そして、AIサーバ５は、学習モデルが十分であると評価された学習モデルについては、その機械学習を終了させる（S25）。

【0127】

また、AIサーバ５は、ステップS24で評価した学習モデルの学習レベルの向上度合いに応じて、その学習モデルに対応する診断モデルを、最新の学習モデルの複製に更新する（S26）。例えば、学習レベル（診断精度）がある割合だけ向上する都度に、あるいは、既に学習で用いた教師データの量が所定量だけ増える都度に、診断モデルが更新されてよい。これにより、診断支援サービスの提供期間中にAIサーバ５の自動診断能力が向上していく。

【0128】

図８は、AIサーバ５が自動診断を行うときのAIサーバ５と統括サーバ３との間の通信と制御のプロセスを例示する。

【0129】

統括サーバ３が、既存の対象物又は新しい対象物について、新しい個別対象データレコード２５１が対象データセット２５に登録された場合、その個別対象データレコード２５１をAIサーバ５へ送信する（S31）。AIサーバ５は、その個別対象データレコード２５１に含まれる複数の部分データレコード２５３を、診断モデルセット３７内のその対象物に診断を担う一つ以上の診断モデルに入力して、その診断モデルからその対象物のそれぞれの部分について自動診断結果を得る（S32）。

【0130】

その後、AIサーバ５は、それらの部分の自動診断結果を統括サーバ３に返信する（S33）。総括サーバ３は、AIサーバ５から受信したその対象物のそれぞれの部分の自動診断結果を、診断データセット２９内の対応する対象物の個別診断データレコード２９１内に、それぞれ、個別診断作業レコード２９３として格納する。

【0131】

診断データセット２９内に格納されたAIサーバ５による対象物のそれぞれの部分の自動診断結果は、それぞれの部分の診断用GUI６３上を通じて、顧客、アナリスト、専門家などの複数ユーザに閲覧され共有されることになる。AIサーバ５の診断能力が低い間は、その自動診断結果は頼りにならないが、AIサーバ５の診断能力が高まってくるにつれて、頼りになる度合いが上がっていく。

【0132】

図９は、図２に示された診断支援システム１の構成にユーザの作業負担を一層軽減するための改良を加えた機能的構成を示す。図９に示されるように、統括サーバ３は、図２に示されたその構成に加えて、診断コントローラ２７５を有する。診断コントローラ２７５は、診断データセット２９とユーザデータセット１７にアクセス可能であり、ユーザの診断作業の負担を一層軽減するための制御を行なう。

【0133】

診断コントローラ２７５による診断制御は、前述の図４に示された複数段階のサブ診断、すなわち、異常検出S121、異常種別特定S122、異常名特定S123及び解決策特定S124のプロセスのうちの一つ以上のプロセスに適用される。以下では、異常検出S121、例えば圃場の画像中から雑草を検出するサブ診断に、その診断制御を適用した場合を例にとり、その詳細を説明する。その例示的な説明から、他の診断プロセスに診断制御を適用した場合の詳細についても、当業者は容易に理解できるはずである。

【0134】

図１０は、圃場の雑草検出に適用された診断コントローラ２７５による診断制御の流れを、ユーザが行う操作の流れと関連付けて示す。

【0135】

図１０において、破線で囲んだ流れは、統括サーバ３の診断コントローラ２７５が行う制御の流れを示し、一点鎖線で囲んだ流れは、その制御の下でユーザが行う操作の流れを示す。図１０に示されるように、ステップＳ２０１でユーザ（典型的は顧客）が或る圃場の画像セット（例えば、数百枚あるいは数千枚のような多数の写真画像）を統括サーバ３にアップロードする。統括サーバ３では診断コントローラ２７５が、その画像セットをグルーピングする（Ｓ２０３）。

【0136】

ステップＳ２０１のグルーピングでは、図１１に示されるように、診断コントローラ２７５が、その画像セット２８１を入力し（Ｓ２４１）、その画像セット２８１の中の各画像２８３について１以上の特性値を計算する（Ｓ２４３）。その後、診断コントローラ２７５が、各画像２８３の１以上の特性値に基づいて、特性値が同じか類似した１以上の画像が同じ画像グループに入るように、各画像２８３を１以上の画像グループ２８５～２８９の中の一つに分類する（Ｓ２４５）。グルーピングで用いられる上記１以上の特性として、例えば、圃場の撮影日時、圃場の場所、撮影時の天候及びカメラのホワイトバランス調整値などの撮影条件、作物の種別のような圃場の条件、及び、画像の明度と色相と彩度の分布のような画像の条件など、が採用し得る。特性値が大きく異なる複数の画像には、それぞれの特性値に合った異なる診断方法（例えば雑草検出方法）を適用しないと、精度の良い診断結果が得られない。しかし、上記のグルーピングを行うことにより、同じ画像グループの複数画像には、その画像グループの特性値範囲に適した同じ診断方法を適用することで、精度の良い診断結果が得られることになる。

【0137】

再び図１０を参照して、診断コントローラ２７５は、ステップＳ２０５で、入力画像セット（又は、それに含まれる画像グループの各々）に適用できる可能性のある診断方法が、診断コントローラ２７５の管理する診断方法データベース２７７内に既に保存されているかどうかチェックする。その結果、その画像セット（又は或る画像グループ）に適用可能性のある診断方法が診断方法データベース２７７から見つからない場合（Ｓ２０５でNo）には、診断コントローラ２７５は、この時点では、その画像セット（又はその画像グループ）に対して後述するステップＳ２１３の自動診断を行わない。

【0138】

他方、上記ステップＳ２０５のチェックの結果、入力画像セット（又は、それに含まれる画像グループの各々）に適用可能性のある1以上の診断方法が診断方法データベース２７７から見つかった場合（Ｓ２０５でYes）には、診断コントローラ２７５は、見つかった１以上の診断方法の中から、各画像グループの特徴（例えば、そのグループの上記１以上の特性値の範囲）に最適と判断される一つの診断方法を選定する（Ｓ２０７）。そして、診断コントローラ２７５は、画像グループ毎に、選定された診断方法を用いて、対象物の画像セットの全画像（又は、サンプル診断が行われた画像領域より広範な領域をカバーする画像）に対して自動的な診断（例えば、雑草の検出）を行う（Ｓ２１３）。このステップＳ２１３の自動診断の詳細については、後述する。

【0139】

上記Ｓ２０５のチェック結果がNoであった場合、その段階では該当の画像セット（又は、該当の画像グループ）について自動診断は行われない。この場合、ユーザ（典型的にはアナリスト又は顧客）がその画像セット（又は、該当の画像グループ）の各画像にアクセスすると、まだ何の診断結果も含まれていない画像を見ることができる。そして、ユーザは、この未診断の画像を見ながら、本明細書で「サンプル診断」と呼ばれる簡易な診断を行うことができる（Ｓ２０９）。

【0140】

上記ステップＳ２０９で行われる「サンプル診断」とは、一つの対象物（例えば圃場）の画像セット（例えば、その圃場の多数の写真画像）中から、少数の画像をサンプル画像として選出し、それら少数のサンプル画像だけをユーザが診断する（例えば、雑草を検出する）という、ユーザにとって負担の軽い手動診断である。この場合、ユーザは、各サンプル画像の全領域を診断する必要はなく、一部の領域だけを診断すればいい。例えば、1枚のサンプル画像の中から全部の雑草を見つけ出す必要はなく、一部の幾つかの雑草を見つけ出せばいい。

【0141】

図１２は、上記ステップＳ２０９のサンプル診断の開始時にユーザに提示されるGUIの一例を示す。図１２に例示されたGUI３０１上には、選択された1枚のサンプル画像３０３が表示され、このサンプル画像３０３上にはまだ何の診断結果も表示されていない。GUI３０１上には更に、幾つかの診断結果入力ツール、例えば、検出目的の物体である雑草を指定する雑草（目的物体）指定ツール３０９、及び、検出から除外すべき物体である作物を指定する作物（除外物体）指定ツール３１１などがある。ユーザは、これらのツール３０９、３１１を使って、サンプル画像３０３上でサンプル診断を行うことができる。

【0142】

図１３は、上述したGUI３０１上でユーザがサンプル診断を行っている（又はサンプル診断を終えた）ときのGUI３０１の様子の一例を示す。図１３に示されるように、ユーザは、サンプル画像３０３中から任意（典型的には、全部ではなく、一部の１以上）の雑草（目的物体）３１３を、雑草（目的物体）指定ツール（例えば矩形枠）３０９で指定する。好ましくは、ユーザは更に、サンプル画像３０３中から任意（典型的には、全部ではなく、一部の１以上）の作物（除外物体）３１７を、作物（除外物体）指定ツール（例えば矩形枠）３１１で指定する。以下の説明では、サンプル診断で上記のように指定された一部の雑草（目的物体）を「サンプル雑草（サンプル目的物体）」といい、指定された一部の作物（除外物体）を「サンプル作物（サンプル除外物体）」と言い、両者を総称して「サンプル物体」という。

【0143】

再び図１０を参照する。上述したステップＳ２０９のサンプル診断が終わると、そのサンプル診断の結果が統括サーバ３の診断コントローラ２７５に入力される。そして、診断コントローラ２７５が、そのサンプル診断の結果を用いて、診断方法を自動的に計算し、計算された診断方法を保存する（Ｓ２１１）。

【0144】

ここで、上記「診断方法」とは、後述するステップＳ２１３の自動診断で用いられる診断方法であり、その具体的な姿は、診断コントローラ２７５がもつ自動診断を行うコンピュータシステムのタイプによって異なる。自動診断用コンピュータシステムのタイプの一例は、予めプログラムされた画像解析アルゴリズムを用いて雑草検出のような診断を行うコンピュータシステムである。このタイプの自動診断システムを用いる場合には、その予めプログラムされた画像解析アルゴリズムの判断動作を制御するための各種の制御パラメタのセットが、上記の診断方法として採用することができる。その制御パラメタのセットには、例えば、雑草の画像と作物の画像とを識別するための1以上の画像特性値（例えば、明度、彩度、色相、パターン形状、パターンサイズ、それらの値の分散のような統計値、など）に適用される判別閾値、比較基準値、又は抽出範囲などの制御パラメタが含まれ得る。

【0145】

自動診断用コンピュータシステムの別のタイプとして、ニューラルネットワークのような機械学習機能をもつコンピュータシステムも採用し得る。この場合、上記の診断方法は、例えば、サンプル診断の結果を教師データとして用いて機械学習を行った後のその診断システムそのものである。

【0146】

以下の説明では、自動診断システムの上述した二つのタイプの内の前者を用いた場合を例にとり行う。図１０を参照して、上述したステップＳ２１１で、診断コントローラ２７５が、サンプル診断の結果に基づいて、診断方法、すなわち上述した画像解析アルゴリズムの制御パラメタのセットを計算し、保存する。その診断方法（制御パラメタのセット）は、対象の画像セットに含まれる１以上の画像グループの各々毎に計算される。画像グループの特徴が異なれば、それに適合する診断方法（制御パラメタのセット）も異なるからである。計算された各診断方法（制御パラメタのセット）は、対応する各画像グループに関連付けられて、統合サーバ３内に保存される。

【0147】

その後、ステップＳ２１３で、診断コントローラ２７５が、各画像グループに関連付けられた診断方法（制御パラメタのセット）を自動診断システムに適用し、その自動診断システムを使って、対応する各画像グループに属する画像について自動診断を行い、その診断結果を保存する。

【0148】

図１４は、上記のステップＳ２１１の診断方法（制御パラメタのセット）の計算の制御流れと、ステップＳ２１３の自動診断の制御流れの具体例を示す。図１４に示されるように、ステップＳ２１１の診断方法（制御パラメタ）の計算プロセスでは、サンプル診断で指定された各画像グループ毎のサンプ作物とサンプル雑草の画像特性に基づいて、雑草（目的物体）についてはステップＳ２５１～Ｓ２５７のステップが、作物（除外物体）についてはステップＳ２６１～Ｓ２６７のステップが、それぞれ行われる。

【0149】

すなわち、ステップＳ２５１では、各画像グループ内の１以上のサンプル画像から、サンプル診断で指定されたすべての雑草領域（図１４に例示したように雑草指定ツール３０９で指定された雑草を可も無領域）内のすべての画素値が抽出される。ステップＳ２５３で、それら抽出された雑草領域内の全ての画素値に、植生抽出マスクが適用される。ここで、植生抽出マスク処理とは、雑草や作物のような植生（より一般的に言えば、診断の対象となる特定種類の物体）に該当する画像領域を、地面や岩などの診断の対象にならない特定の物体に該当する領域から区別する処理である。このマスク処理は、例えば、植生特有の色特性をもつ画素を識別するためのHSVフィルタあるいはRGBフィルタなどを雑草領域内の全画素に適用することで、行い得る。

【0150】

その後、ステップＳ２５５で、植生抽出マスク処理の結果に基づいて、雑草領域内の雑草に相当する多数の画素（以下、雑草画素という）が抽出される。ステップＳ２５７で、抽出された多数の雑草画素の画素値に基づいて、多次元の画像特性空間（例えば、RGB空間あるいはHVC空間など）内における雑草画素の代表座標（例えば、雑草画素の重心の画素値）が計算される。

【0151】

また、サンプル診断で指定された1以上の作物領域について、ステップＳ２６１～Ｓ２６７が行われる。これらのステップの説明は、上述した雑草領域に対するステップＳ２５１～Ｓ２５７の説明において「雑草」を「作物」に読み替えたものと同じである。

【0152】

上述したステップＳ２５１～Ｓ２５７とＳ２６１～Ｓ２６７により、各画像グループの雑草画素の代表座標と作物画素の代表座標とが得られる。これら二つの代表座標が、自動診断のための診断方法つまり制御パラメタセットである。なお、上記の二つの代表座標は説明のための例示にすぎず、これに代えて、又はそれに加えて、他の種類の値（例えば、多次元特性空間内で雑草画素と作物画素とを区別する閾平面、あるいは、雑草のサイズの代表値と作物のサイズの代表値など）を制御パラメタとして採用してもよい。対象の画像セットに含まれるすべての画像グループについて、ステップＳ２５１～Ｓ２５７とＳ２６１～Ｓ２６７が行われて、それぞれの画像グループに適用可能な診断方法が決定される。

【0153】

その後、決定された画像グループ毎の診断方法（制御パラメータセット）を用いて、ステップＳ２１３（Ｓ２７１～Ｓ２７７）の自動診断が画像グループ毎に行われる。

【0154】

すなわち、ステップＳ２７１で、各画像グループに属する1以上の画像の各々が診断コントローラ２８５に入力される。ステップＳ２７３で、入力画像内のすべての画素に対して、前述のステップＳ２５３とＳ２６３と同様の植生抽出マスク処理が行われ、その結果に基づいて、その入力画像から植生に該当する多数の画素（以下、植生画素という）が抽出される。この段階では、それらの植生画素の各々が雑草と作物のいずれに該当するかは未知である。

【0155】

ステップＳ２７５で、抽出された多数の植生画素が、画像上でそれぞれの位置が連続する画素の塊に分類される。これにより得られた各画素塊は、個別の植物に該当するとみなし得る（以下、各画素塊を個別植物画素という）。そして、個別植物画素毎に、前記多次元特性空間におけるそれらの画素値の代表座標（例えば、重心の画素値）が計算される。ステップＳ２７７で、各個別植物画素について、それらの画素値の代表座標と、先に計算された雑草画素の代表座標と作物画素の代表座標とを用いて、例えば最尤法により、その個別植物画素が雑草（目的物体）であるか作物（除外物体）であるかが推定される。この推定の結果に基づいて、雑草（目的物体）と推定された個別植物画素が抽出される。

【0156】

以上のステップＳ２７１～Ｓ２７７が、対象の画像セットに含まれるすべての画像グループに対して行われる。それにより、圃場の中の雑草（目的物体）と推定された領域が、自動診断結果として保存される。

【0157】

再び図１０を参照する。ステップＳ２１３で、上に説明したように自動診断（例えば、圃場の雑草検出）が実行され、その結果が統括サーバ３に保存される。その後、ステップＳ２１５で、ユーザ（例えば、顧客又は専門家）がその自動診断結果をユーザ端末上に表示することができる。そして、ユーザは、その自動診断結果を見てそれが満足できるか（つまり適切か）どうかを判断し（Ｓ２１７）、満足できれば診断プロセスを終了することができる。他方、自動診断結果が不満であれば（Ｓ２１７でNo）、ユーザは自動診断結果を手動で修正することができる（Ｓ２１９）。ステップＳ２１９の修正では、ユーザは、自動診断結果の不満なつまり不適切な個所（例えば、或る雑草が検出されてないという検出漏れ、あるいは、或る作物を雑草として検出したという誤検出など）をすべて見つけ出して修正する必要はなく、不適切個所の内の一部をサンプル診断と同じ要領で選んで指定すればいい。上記のステップＳ２１５～Ｓ２１９のプロセスは、換言すれば、ユーザが自動診断結果を参考にして手動で診断を行うことを意味する。この手動の診断は、サンプル診断と同様の要領で行えるので、ユーザの作業負担は軽い。

【0158】

上記のステップＳ２１７でユーザが自動診断結果に満足した場合、その自動診断結果が最終的な診断結果として保存される。他方、ステップＳ２１９で自動診断結果が修正された場合、その修正結果が最終的な診断結果として保存されてよい。あるいは、後に説明するように、その修正結果に基づいて再度行われる自動診断の結果にユーザが満足した場合に、その再度の自動診断の結果が最終的な診断結果として保存されてもよい。いずれの場合も、保存された最終的な診断結果と、対象圃場の画像セット（つまり対象データ）は、図９に示されたＡＩサーバ５により、機械学習のための教師データの作成に利用され得る。

【0159】

ステップＳ２１９で行われた自動診断結果の修正結果は、診断コントローラ２７５に入力される。すると、ステップＳ２２１で、診断コントローラ２７５がその修正結果に基づいて診断方法を再計算する、つまり、診断方法を修正する。こうして修正された診断方法は総括サーバ３に保存される。ここでの診断結果の再計算（修正）の制御な流れは、図１４を参照して説明したステップＳ２１１の流れと同様でよい。診断コントローラ２７５は、診断方法を修正した後、前述のステップ２１３に戻って、修正された診断方法で再び自動診断を行うことができる。その再度の自動診断の結果を、ユーザが再度確認し、必要があれば追加の修正を行うことができる。それにより自動診断の精度が一層上がる。

【0160】

図１５は、上述した図１０のステップＳ２１５でユーザ端末に表示される自動診断結果を表したGUIの例を示す。図１５に示されるように、GUI３２１上の圃場の画像３２３には、自動診断の結果つまりその画像３２３から検出された雑草３２５が、ユーザが肉眼で認識できるような態様で表示される（例えば、それぞれの検出雑草の輪郭線が強調されて表示される）。図１５の例では、自動診断結果は適切である、つまり、画像３２３の領域内に存在するすべての雑草が検出され、かつ、どの作物も検出されていない。ユーザはこの自動診断結果に満足するであろう。

【0161】

図１６は、不適切な自動診断結果を表したGUIの例を示す。図１６に示された例では、画像３２３の領域内に存在する一部の雑草３２７が検出から漏れており、また、一部の作物３２９が誤って検出されている。このような場合、ユーザは、上述した図１０のステップＳ２１９へ進んで、検出漏れや誤検出の個所を修正することができる。

【0162】

図１７は、自動診断結果をユーザが修正したときのGUIの例を示す。図１７に示されるように、ユーザは、検出から漏れた１以上の雑草３２７を雑草指定ツール３０９で指定し、また、誤って検出された１以上の作物３２９を作物指定ツール３１１で指定することで、自動診断結果を修正することができる。このとき、検出から漏れた雑草３２７のすべて、及び誤って検出された作物３２９のすべてをユーザが見つけて指定する必要はなく、それらのうちの一部だけを指定すればよい。この修正結果は、前述したように、診断方法の再計算に使われて、診断方法が修正される。

【0163】

以上説明したような診断制御により、ユーザが行う診断の作業負担が軽減される。

【0164】

図１８は、図１に示された本発明の一実施形態にかかる診断支援システムが適用可能な、無人移動マシン（以下、ドローンという）を用いた調査、点検、保守などの作業支援のためのシステムの一例の機能構成を示す。

【0165】

図１８に示された作業支援システムの例は、圃場の点検保守（例えば、病害や生理障害が生じた個所の特定と、その箇所への農薬や肥料の散布など）の用途に向けらている。しかし、この用途のシステムの説明から、当業者は他の用途（例えば、建造物、施設、土地、森林などの人工物又は自然物に対する調査、点検、保守、加工、建設、破壊など）に向けられたシステムの構成につても容易に理解できるはずである。

【0166】

図１８に示された作業支援システム１Ｂは、典型的には、複数の異なるユーザがこれを利用することができるものである。しかし、以下では、複数のユーザの中の一人のユーザの利用シーンに的を絞って説明を進める。

【0167】

図１８に示されるように、作業支援システム１Ｂを利用する際、ユーザは異なる作業に適した異なる種類のドローン（この場合、無人航空機）、例えば二種類のドローン３Ｂ、５Ｂを使用することができる。その一つは調査ドローン３Ｂであり、ユーザが所望する地理的領域つまり地域（例えば、そのユーザが保有又は利用する圃場）の状態を調査、つまりその地域の情報を収集する役目をもつ。本実施形態では、地域調査の方法として、その地域の写真を上空から撮影することを採用する。しかし、写真撮影は一つの例示であり、他の調査方法、例えば、電波レーダ、音波レーダ、あるいは各種のセンサを用いた情報収集法を採用してもよい。また、異なる調査方法を組み合わせてもよい。

【0168】

もう一つの種類のドローンは、実作業ドローン５Ｂであり、その地域で実施されるべきある種の作業（以下、実作業という）、例えば広大な圃場の中で病害が発生した個所へ選択的に農薬を散布する作業、を実行する役目をもつ。

【0169】

調査ドローン３Ｂと実作業ドローン５Ｂとして、同じ機体のドローンを用いてもよいが、それぞれの役目を最適に果たすためには、それぞれに別の機体のドローンを用いることが望ましい場合が多いであろう。また、一つの地域について、複数機の調査ドローン３Ｂを用いる、及び/又は複数機の実作業ドローン５Ｂを用いることも可能である。しかし、以下では、一人のユーザが一機の調査ドローン３Ｂと別の一機の実作業ドローン５Ｂを用いる場合を例にとり、説明を進める。

【0170】

作業支援システム１Ｂは、データサーバ７Ｂを有し、これはドローン３Ｂ、５Ｂの利用に必要なさまざまなデータを管理及び処理するためのコンピュータシステムである。ここで、図１８に示されたデータサーバ７Bの機能要素を図１に示された診断支援システム１の統括サーバ３に設けることにより、データサーバ７Bとして統括サーバ３を利用することができる。

【0171】

図１８に示された作業支援システム１Ｂを利用する際、ユーザは操作端末９Ｂを使用する。操作端末９Ｂは、データサーバ７とインターネットのような通信ネットワークを通じてデータ通信を行う機能をもつ。操作端末９Ｂは、また、ドローン３Ｂ、５Ｂとデータを受け渡しする機能をもつ（例えば、有線又は無線の通信方法により、又は、可搬式のデータストレージを介して、ドローン３Ｂ、５Ｂとデータを受け渡しできる）。

【0172】

そのような機能をもつ汎用の携帯可能な情報処理端末（例えば、いわゆる携帯電話、スマートフォン、タブレット端末、モバイル形パーソナルコンピュータ、又はノート形パーソナルコンピュータなど）、あるいは、他の種類のコンピュータ（例えば、デスクトップ型パーソナルコンピュータ）を、操作端末９Ｂとして採用することができる。その場合、この作業支援システム１Ｂを利用するためのコンピュータプログラム（例えば、本システム専用のアプリケーション、あるいは、データサーバ７Ｂの外部インタフェースであるウェブサイトにアクセス可能な汎用ウェブブラウザ、など）が、その汎用の情報処理端末にインストールされ、その端末上でそのコンピュータプログラムを実行することにより、その汎用端末が、この作業支援システム１Ｂ用の操作端末９Ｂとして機能することになる。あるいは、操作端末９Ｂとして、この作業支援システム１Ｂに専用のハードウェアが用意されてもよい。

【0173】

各ユーザは、作業支援システム１Ｂを利用する際、常に同じ一台の操作端末９Ｂのみを使用してもよいし、時と場合に応じて複数の操作端末９Ｂの中の一つを適宜に選択して使用してもいい。また、複数の異なるユーザが、それぞれの操作端末９Ｂを使って、同じ地域（例えば、同じ圃場）に関する情報を参照して、所望の情報を入力することもできる。以下では、一人のユーザが一台の操作端末９Ｂを使用する場合を例にとり、説明を進める。

【0174】

調査ドローン３Ｂは、それを飛行させるための飛行機構１１Ｂ、その三次元位置（緯度、経度、高度）を計測するためのGPSレシーバ１３Ｂ、写真を撮影するためのカメラ１５Ｂ、それらの装置１１Ｂ、１３Ｂ、１５Ｂを制御するための制御器１７Ｂを有する。また、調査ドローン３Ｂには、それをユーザが遠隔から無線で操縦するための無線操縦器１９Ｂ（いわゆるプロポ）が付属する。無線操縦器１９Ｂは、制御器１７Ｂと無線で通信可能であり、無線操縦器１９Ｂに対するユーザの各種操作に応答して、各種の操縦指令を制御器１７Ｂに送信する。

【0175】

実作業ドローン５Ｂは、それを飛行させるための飛行機構２１Ｂ、その三次元位置（緯度、経度、高度）を計測するためのGPSレシーバ２３Ｂ、実作業を行うための実作業装置２５Ｂ、それらの装置２１Ｂ、２３Ｂ、２５Ｂを制御するための制御器２７Ｂを有する。実作業が圃場での農薬散布である場合、実作業機械２５Ｂは当然に農薬散布装置であるが、これに、補助的な装置、例えば、実作業の状況を撮影するカメラなどが追加装備されてもよい。また、実作業ドローン５Ｂには、それをユーザが遠隔から無線で操縦するための無線操縦器２９Ｂ（いわゆるプロポ）が付属する。無線操縦器２９Ｂは、制御器２７Ｂと無線で通信可能であり、無線操縦器２９Ｂに対するユーザの各種操作に応答して、各種の操縦指令を制御器２７Ｂに送信する。

【0176】

操作端末９Ｂは、それをユーザが使用する通常のステップの順序に沿って、地域登録部３１Ｂ、飛行計画入力部３３Ｂ、飛行計画出力部３５Ｂ、撮影画像入力部３７Ｂ、撮影画像出力部３９Ｂ、撮影位置入力部４１Ｂ、撮影位置出力部４３Ｂ、画像表示部４５Ｂ、作業個所登録部４７Ｂ、作業結果入力部４８Ｂ、及び作業結果出力部４９Ｂなどの情報処理機能要素を有する。

【0177】

地域登録部３１Ｂは、ユーザ入力に応答して、ユーザの所望する地理的領域つまり地域（例えばそのユーザが保有する圃場）の位置（例えば、その地域の輪郭の頂点の緯度と経度）（以下、地域位置という）をデータサーバ７Ｂに登録する。

【0178】

飛行計画入力部３３Ｂは、ユーザ入力に応答して、データサーバ７Ｂから、ユーザの所望する飛行計画をダウンロードする。飛行計画出力部３５Ｂは、ユーザ入力に応答して、ダウンロードされた飛行計画を、ユーザの所望するドローン３Ｂ又は５Ｂに送信して、そのドローン３Ｂ又は５Ｂの制御器１７Ｂ又は２７Ｂにその飛行計画をインストールさせる。ここで、飛行計画とは、ドローンが飛行する予定の地理的経路を定義した一種の移動計画である。

【0179】

撮影画像入力部３７Ｂは、ユーザ入力に応答して、調査ドローン３Ｂで撮影された画像（一つの地域で多数の画像が撮影される）（以下、撮影画像という）を受け取る。撮影画像出力部３９Ｂは、ユーザ入力に応答して、受け取った多数の撮影画像をデータサーバ７Ｂへ送信する。

【0180】

撮影位置入力部４１Ｂは、ユーザ入力に応答して、調査ドローン３Ｂで計測された各撮影画像の撮影時の調査ドローン３Ｂ（又はカメラ１５Ｂ）の位置及び角度（以下、撮影の位置と角度を総称して撮影位置という）を受け取る。撮影位置出力部４３Ｂは、ユーザ入力に応答して、受け取った撮影位置をデータサーバ７Ｂへ送信する。

【0181】

画像表示部４５Ｂは、ユーザ入力に応答して、データサーバ７Ｂから、そのユーザがすでに登録した地域の全体の画像（以下、地域画像という）をダウンロードして、操作端末９Ｂの表示スクリーン（図示省略）に表示する。ここで、各地域画像は、データサーバ７Ｂによって、その地域の多数の撮影画像を結合することが作成される。

【0182】

作業個所登録部４７Ｂは、ユーザ入力に応答して、表示された地域画像上で、その地域内の実作業を施したい１以上の地理的小領域つまり個所（以下、作業個所という）を特定して、その作業個所をデータサーバ７Ｂに登録する。例えば、実作業が圃場の農薬散布である場合、ある圃場の地域画像の中から、ユーザが作物や葉などの色や形を観察して病害が発生していると認めた個所を、作業個所とすることができる。この作業個所の登録の際、ユーザは、その作業個所に対して実施したい作業の内容（例えば、農薬Ａと農薬Ｂを散布する）も併せて指定して、作業個所に関連付けてデータサーバ７Ｂに登録する。

【0183】

作業結果入力部４８Ｂは、ユーザ入力に応答して、実作業ドローン５Ｂが実施した実作業の結果（例えば、農薬の散布位置と散布量など）を受け取る。作業結果出力部４９Ｂは、ユーザ入力に応答して、受け取った作業結果をデータサーバ７Ｂへ送信する。

【0184】

データサーバ７Ｂは、地域位置データベース５１Ｂ、三次元地図データベース５３Ｂ、飛行計画データベース５５Ｂ、撮影画像データベース５７Ｂ、撮影位置データベース５９Ｂ、地域画像データベース６１Ｂ、作業個所データベース６３Ｂ、及び作業結果データベース６５Ｂなどのデータベースを有する。また、データサーバ７Ｂは、飛行計画作成部７１Ｂ、撮影画像入力部７３Ｂ、撮影位置入力部７５Ｂ、撮影画像結合部７７Ｂ、及び分析部７９Ｂなどの情報処機能理要素を有する。

【0185】

地域位置データベース５１Ｂは、操作端末９Ｂの地域登録部３１Ｂに応答して、ユーザが指定した地域（例えば、そのユーザの圃場）の地域位置を登録し管理する。

【0186】

三次元地図データベース５３Ｂは、各位置の緯度と経度と高度を定義した三次元地図を保存し管理する。三次元地図データベース５３Ｂは、ドローン３Ｂ、５Ｂのための飛行計画を作成するために、飛行計画作成部７１Ｂによって利用される。なお、データサーバ７Ｂは、三次元地図データベース５３Ｂをデータサーバ７Ｂ内にもたずに、インターネット上などにある外部の三次元地図を利用してもよい。

【0187】

飛行計画データベース５５Ｂは、ドローン３Ｂ、５Ｂのための飛行計画を保存し管理する。飛行計画データベース５５Ｂは、操作端末９Ｂの飛行計画入力部３３Ｂから要求を受けて、要求された飛行計画を飛行計画入力部３３Ｂへ送る。飛行計画データベース５５Ｂで管理される飛行計画は、例えば調査飛行計画と実作業飛行計画の二種類に大別される。調査飛行計画は、登録された各地域を調査用ドローン３Ｂで調査する（例えば写真を撮影する）ための飛行計画である。実作業飛行計画は、登録された各地域内の１以上の作業個所に実作業ドローン５Ｂで実作業（例えば農薬散布）を施すための飛行計画である。

【0188】

撮影画像データベース５７Ｂは、操作端末９Ｂの撮影画像出力部３９Ｂから受け取った撮影画像を保存し管理する。撮影位置データベース５９Ｂは、操作端末９Ｂの撮影位置出力部４３Ｂから受け取った撮影位置を保存し管理する。

【0189】

地域画像データベース６１Ｂは、各地域の撮影画像を結合することで作成された各地域の全貌を示す地域画像を保存し管理する。地域画像データベース６１Ｂは、操作端末９Ｂの画像表示部４５Ｂからの要求を受けて、要求された地域画像を画像表示部４５へ送る。

【0190】

作業個所データベース６３Ｂは、操作端末９Ｂの作業個所登録部４７Ｂに応答して、ユーザにより指定された作業個所を登録し管理する。

【0191】

作業結果データベース６５Ｂは、操作端末９Ｂの作業結果出力部４９Ｂから受け取った作業結果を保存し管理する。

【0192】

撮影画像入力部７３Ｂと撮影位置入力部７５Ｂは、それぞれ、調査ドローン３Ｂから操作端末９Ｂに渡された撮影画像と撮影位置を、操作端末９Ｂから受け取り撮影画像データベース５７Ｂと撮影位置データベース５９Ｂに登録する。

【0193】

飛行計画作成部７１Ｂは、各地域の調査飛行計画、及び、各地域内の１以上の作業個所の実作業飛行計画を作成し、作成した飛行計画を飛行計画データベース５５Ｂに登録する。飛行計画作成部７１Ｂは、全自動で飛行計画を作成できる全自動ツールであってもよいし、あるいは、人がそれを操作して飛行計画を作成できるようになった半自動ツールであってもよい。

【0194】

各地域の調査飛行計画は、地域位置データベース５１Ｂ内の各地域の地域位置（例えばその地域の輪郭の頂点の緯度と経度）と、三次元地図データベース５３Ｂ内の各地域内の諸地点の三次元位置（例えば緯度と経度と高度）を用いて作成される。各地域内の１以上の作業個所の実作業飛行計画は、作業個所データベース６３Ｂ内の該当の作業個所の位置（例えば、作業個所の輪郭の頂点の緯度と経度）と、三次元地図データベース５３Ｂ内の各作業個所内の諸地点の三次元位置（例えば緯度と経度と高度）を用いて作成される。

【0195】

撮影画像入力部７３Ｂは、操作端末９Ｂの撮影画像出力部３９Ｂから各地域の撮影画像を受け取り、受け取った撮影画像を撮影画像データベース５７Ｂに登録する。撮影位置入力部７５Ｂは、操作端末９Ｂの撮影位置出力部４３Ｂから各地域の撮影位置を受け取り、受け取った撮影位置を撮影位置データベース５９Ｂに登録する。

【0196】

撮影画像結合部７７Ｂは、撮影画像データベース５７Ｂ内の各地域の撮影画像を、撮影位置データベース５９Ｂ内の各地域撮影位置に基づいて結合し、各地域の全体を表した地域画像を作成し、その地位画像を地域画像データベース６１Ｂに登録する。各地域の地域画像は、その地域の調査（例えば写真撮影）の結果をユーザに知らせるための調査報告としての役割を果たす。各地域の地域画像を参照することで、ユーザは、その地域内のどの個所に実作業（例えば農薬散布）を施すべきかを判断し、その個所を指定することができる。

【0197】

分析部７９Ｂは、作業結果データベース６５Ｂに保管されている作業結果を分析する。作業結果の分析結果は、後の作業方法の改善やその他の用途に活用することができる。

【0198】

図１９は、この作業支援システム１Ｂの全体的な制御例の流れを示す。

【0199】

図１９に示すように、操作端末９Ｂでは、ユーザによって、所望の地域（例えばそのユーザの保有する圃場）の登録のための操作が行われる（ステップＳ１Ｂ）。登録操作は、例えば、インターネットで提供されているような地図を操作端末９Ｂのスクリーンに表示して、その地図上で地域の地域位置を指定するというような操作である。この登録操作に応答して、データサーバ７Ｂが、その地域の地域位置を記録することで、その地域を登録する（ステップＳ２Ｂ）。その後、データサーバ７Ｂは、その地域位置に基づいて、その地域の調査飛行計画を作成する（ステップＳ３Ｂ）。

【0200】

その後、ユーザが操作端末９Ｂを操作して、データサーバ７Ｂから操作端末９Ｂに、その地域の調査飛行計画をダウンロードし、その調査飛行計画を、操作端末９Ｂから調査ドローン３Ｂに送る（ステップＳ４Ｂ）。すると、その調査ドローン３Ｂにその調査飛行計画がインストールされる（ステップＳ５Ｂ）。

【0201】

ユーザが、調査ドローン３Ｂをその地域（例えば、ユーザの保有する圃場）へもっていき、そして、無線操縦器１９Ｂを操作して、調査ドローン３Ｂに、離陸及びその他の補助的な操縦指示を送る（ステップＳ６Ｂ）。調査ドローン３Ｂは、調査飛行計画に基本的に従って、自動的かつ自律的に、その地域の上空を飛行しつつ、飛行経路上の諸位置で地表領域の写真撮影を繰り返して、多くの撮影画像と撮影位置を記録する（ステップＳ７Ｂ）。この飛行の制御は、基本的には調査飛行計画に従って自動的かつ自律的に行われ、無線操縦器１９Ｂからの操縦指示は、離陸の開始や、飛行位置又は速度の若干の修正など、補助的に使用される。

【0202】

その地域の多数の撮影画像と撮影位置は、調査ドローン３Ｂから操作端末９Ｂに渡され、そして、操作端末９Ｂからデータサーバ７Ｂに送られる（ステップＳ８Ｂ）。データサーバ７Ｂが、それらの撮影画像をそれぞれの撮影位置に応じて結合して、その地域全体の地域画像を作成する（ステップＳ９Ｂ）。

【0203】

その後、ユーザが操作端末９Ｂを操作して、データサーバ７Ｂからその地域の地域画像を受け取ってスクリーンに表示し、そして、その表示された地域画像上で作業個所（例えば、その圃場の中の病害が発生していると視認される個所）を特定し、その作業個所の登録をサーバ７Ｂに要求する（ステップＳ１０Ｂ）。データサーバ７Ｂは、その作業個所を登録し、そして、その作業個所の実作業飛行計画（例えば、その個所に農薬を散布するための飛行計画）を作成する（ステップＳ１１Ｂ）。

【0204】

その後、ユーザが操作端末９Ｂを操作して、データサーバ７Ｂから操作端末９Ｂに、その実作業飛行計画をダウンロードし、その実作業飛行計画を、操作端末９Ｂから実作業ドローン５Ｂに送る（ステップＳ１２Ｂ）。すると、その実作業ドローン５Ｂにその実作業飛行計画がインストールされる（ステップＳ１３Ｂ）。

【0205】

ユーザが、実作業ドローン５Ｂをその地域（例えば、ユーザの保有する圃場）へもっていき、そして、無線操縦器２９Ｂを操作して、実作業ドローンに、離陸及びその他の補助的な操縦指示を送る（ステップＳ１４Ｂ）。実作業ドローン５Ｂは、基本的に実作業飛行計画に従って、作業個所の上空を飛行しつつ作業個所に実作業（例えば、圃場の病害個所へに農薬散布）を実施し、その作業結果を記録する（ステップＳ１５Ｂ）。この飛行の制御は、基本的には実作業飛行計画に従って自動的かつ自律的に行われ、無線操縦器１９Ｂからの操縦指示は、離陸の開始や、飛行位置又は速度の若干の修正など、補助的に使用される。

【0206】

その作業結果は、実作業ドローン５Ｂから操作端末９Ｂに渡され、そして、操作端末９Ｂからデータサーバ７Ｂに送られる（ステップＳ１６Ｂ）。データサーバ７Ｂが、その作業結果を保存し、そして分析する（ステップＳ１７Ｂ）。

【0207】

以上の制御流れから分かるように、ユーザは操作端末９Ｂを使って比較的に容易に、ドローン３Ｂ、５Ｂを利用して、所望の地域における所望の作業を実施することができる。

【0208】

図２０は、図１に示された診断支援システム１が適用可能な、作業支援システムの別の例の機能的構成を示す。

【0209】

図２０に示された作業支援システム１００Ｂは、図１８に示された作業支援システム１Ｂの構成に加えて、期待された作業効果を得るための作業計画の設定を容易化するための幾つかの追加の構成要素を備える。以下の作業支援システム１００Ｂの説明と参照図面では、上述の作業支援システム１Ｂと共通する要素には同じ参照番号を付して、冗長な説明を省略する。

【0210】

図２０に示された作業支援システム１００Ｂにおいて、データサーバ１０１Ｂ及び操作端末１１１Ｂは、それぞれ、図１７に示されたデータサーバ７Ｂ及び操作端末９Ｂのもつ構成要素のほかに、追加の幾つかの構成要素を有する。図２０に示されたデータサーバ７Ｂの機能要素を、図１に示された診断支援システム１の統括サーバ３に設けることにより、データサーバ１０１Ｂとして統括サーバ３を利用することができる。

【0211】

図２０に示されるように、データサーバ１０１Ｂは、上記の追加の構成要素として、作業計画データベース１０３Ｂ、作業計画提案データベース１０５Ｂ、及び解析部１０７Ｂを有する。操作端末１１１Ｂは、追加の構成要素として、特異個所検出部１１３Ｂ、作業計画入力部１１５Ｂ、提案提示部１１７Ｂ、及び作業選択部１１９Ｂを有する。

【0212】

操作端末１１１Ｂの特異個所検出部１１３Ｂは、操作端末１１１Ｂの表示スクリーン上に画像表示部４５Ｂにより表示された地域の調査結果つまり地域画像（例えば、登録された特定の圃場の画像）を、自動的に解析して、その地域画像中から、特異個所（例えば、圃場中の病害などが起きていると推測される領域）を検出する。特異個所検出部１１３Ｂは、検出された特異個所の領域（例えば、その領域の輪郭を示す枠線）を、表示スクリーン上の地域画像内に表示する。

【0213】

なお、特異個所検出部１１３Ｂは、操作端末１１１Ｂに設けられる代わりに、データサーバ１０１Ｂに設けられてもよい。例えば、データサーバ１０１Ｂの解析部１０７Ｂが、特異個所検出部１１３Ｂを有してもよい。特異個所検出部１１３Ｂは、後述する解析部１０７Ｂ内の症状解析部１０８Ｂ又は作業解析部１０９Ｂのように、ディープニューラルネットワークを用いて構成されて、ディープラーニングにより地域画像から特異個所を検出する推論方法を機械学習するようになっていてもよい。

【0214】

操作端末１１１Ｂの表示スクリーン上に画像表示部４５Ｂが地域画像（例えば、登録された特定の圃場の画像）を表示し、かつ、ユーザが作業個所登録部４７Ｂを用いてその地域画像の中で作業個所を特定したときに、操作端末１１１Ｂの作業計画入力部１１５Ｂは、その特定された作業個所に対する作業計画をユーザが入力することを可能にする。すなわち、作業計画入力部１１５Ｂは、表示スクリーン上で各作業個所に対してユーザが任意の作業計画を入力するための作業計画入力ツールを、表示スクリーン上に表示する。ユーザは、その作業計画入力ツールを操作することで、各作業個所に対して任意の作業計画をシステム１００Ｂに入力するができる。作業計画の入力が終わると（例えば、ユーザが作業計画の登録を表示スクリーン上で要求すると）、作業計画入力部１１５Ｂは、入力された作業計画をデータサーバ１０１Ｂに送り、その作業計画は、対応する作業個所と関連付けられて、データサーバ１０１Ｂの作業計画データベース１０３Ｂに登録される。

【0215】

ここで、作業計画とは、各作業個所に対して行う予定の実作業を定義したデータである。各作業個所に対する作業計画は、一例として、その作業個所の症状名（例えば、病害や生理障害の名称）と、その症状に応じて実行されるべき実作業の名称（例えば、その作業個所に施されるべき農薬や肥料やその他の保守作業の名称）を含むことができる。あるいは、作業計画は、症状名を含まず、作業名だけであってもよいし、あるいは、症状名と作業名の他に、追加の情報（例えば、作業個所を特定する情報や画像、あるいは、農薬や肥料の散布量など）が含まれてもよい。

【0216】

作業計画データベース１０３Ｂに登録された各地域内の各作業個所の作業計画（例えば、各圃場内の各特異個所に対する症状名と実作業名）は、データサーバ１０１Ｂの飛行計画作成部７１Ｂが各地域の飛行計画を作成する際に、次のように利用され得る。すなわち、飛行計画作成部７１Ｂは、例えば、同じ地域内の異なる作業個所に対して異なる作業計画が登録されている場合、同じ作業計画（同じ作業名）が与えられた作業個所を同じグループに分類し、各グループに一つの飛行計画、つまり、異なるグループに異なる飛行計画を作成する。例えば、一つの圃場内で、作業個所ＡとＢには農薬Ｃを施す作業計画が登録され、別の作業個所ＤとＥには別の農薬Ｆを施す作業計画が登録された場合、飛行計画作成部７１Ｂは、作業個所ＡとＢのグループには農薬Ｃを施すための飛行計画を作成し、別の作業個所ＤとＥのグループには別の農薬Ｆを散布するための飛行計画が作成する。

【0217】

操作端末１１１Ｂの提案提示部１１７Ｂは、ユーザが作業計画入力部１１５Ｂを用いて各作業個所に対する作業計画を入力するときに、データサーバ１０１Ｂの作業計画提案データベース１０５Ｂから、各作業個所に対する作業計画提案を読み込んで、各作業計画提案を、操作端末１１１Ｂの表示スクリーン上に、各作業個所に関連付けて表示する。

【0218】

ここで、作業計画提案とは、データサーバ１０１Ｂの解析部１０７Ｂが推論により生成した、各作業個所に対して推奨される作業計画の提案である。解析部１０７Ｂにより生成された各作業個所の作業計画提案は、各作業個所に関連付けられて作業計画提案データベース１０５Ｂに記憶される。

【0219】

操作端末１１１Ｂの表示スクリーン上に表示される作業計画提案は、ユーザが作業計画入力部１１５Ｂを用いて作業計画を入力する際、ユーザの参考になる。とくに作業計画を決めるための知識や経験の浅いユーザにとり、より適切な作業計画を決定するために、作業計画提案は助けになる。解析部１０７Ｂの推論能力が高いほど、作業計画提案がユーザを助ける性能が高くなる。解析部１０７Ｂの推論能力を高めるために、解析部１０７Ｂは後述する構成を有する。

【0220】

操作端末１１１Ｂの作業選択部１１９Ｂは、飛行計画入力部３３Ｂが飛行計画データベース５５Ｂから読み込んだ特定の地域（例えば、特定の圃場）に対する飛行計画の中から、実作業ドローン５Ｂに今回実行させたい特定の作業に関する飛行計画を、ユーザに選択させる。例えば、その特定の圃場に対して、農薬Ｃを散布する飛行計画と、別の農薬Ｆを散布する飛行計画とが飛行計画入力部３３Ｂにより読み込まれた場合、作業選択部１１９Ｂは、それらの飛行計画を表示スクリーン上に表示して、その中から所望の飛行計画をユーザに選択させる。作業選択部１１９Ｂは、選択された飛行計画を飛行計画出力部３５Ｂに提供する。その選択された飛行計画は、飛行計画出力部３５Ｂから実作業ドローン５Ｂの制御器２７Ｂに供給される。

【0221】

データサーバ１０１Ｂの解析部１０７Ｂは、地域画像データベース６１Ｂ、作業個所データベース６３Ｂ、地域位置データベース５１Ｂ、作業計画データベース１０３Ｂ、及び作業結果データベース６５Ｂから、登録された各地域（例えば、各圃場）の画像、各地域内の各作業個所の位置、各作業個所に対する作業計画（例えば症状名と実作業名）、各作業計画に基づく実作業の実施後の各地域（各作業個所）の画像、作業実施後の画像に基づいてユーザが再び入力した作業計画（とくに症状名）などのデータを読み込む。解析部１０７Ｂは、それらの読み込まれたデータを利用して機械学習を行うことで、各作業個所に対する作業計画の提案を自動的に生成するための推論方法を作成する（いったん作成された推論方法を改良することも含む）。また、解析部１０７Ｂは、その機械学習によって作成された推論方法を用いて、各作業個所の画像から、その画像に応じた作業計画提案を作成する。作成された各作業個所の作業計画提案は、各作業個所に関連付けられて、作業計画提案データベース１０５Ｂに格納される。

【0222】

ここで、各作業個所に対する作業計画の提案とは、例えば、その作業個所について推定される症状（例えば、病害名など）の提案と、その症状に応じてその作業個所に推奨される実作業（例えば、農薬名や肥料名など）の提案とを含む。

【0223】

図２１は、この作業支援システム１００Ｂの全体的な制御例の流れを示す。

【0224】

ユーザの所望する地域の地域画像がデータサーバ１０１Ｂに登録された（ステップＳ９Ｂ）後、ユーザは操作端末１１１Ｂの表示スクリーンにその地域画像を表示させることができる（ステップＳ２０Ｂ）。このステップＳ２０Ｂにおいて、操作端末１１１Ｂは、その地域画像を自動的に解析して特異個所を自動検出し、その検出された特異個所がどこであるかを表示スクリーン上の地域画像内に表示する。そして、ユーザは、その表示された特異個所を参考にして、自分の目視で作業個所を特定し、その特定された作業個所の登録を操作端末１１１Ｂに要求する。すると、その作業個所が操作端末１１１Ｂからデータサーバ１０１Ｂに通知されて、データサーバ１０１Ｂに登録され（ステップＳ２１Ｂ）。

【0225】

ステップＳ２１Ｂで作業個所がデータサーバ１０１Ｂに登録されると、データサーバ１０１Ｂの解析部１０７Ｂが、その登録された作業個所の画像に対して推論を実行して、その作業個所に対する作業計画提案を自動的に生成する（ステップＳ２２Ｂ）。操作端末１１１Ｂは、その作業計画提案をデータサーバ１１１Ｂから受けて、その作業計画提案を、表示スクリーン上に表示された作業個所に関連させて、表示スクリーン上に表示する（ステップＳ２３Ｂ）。

【0226】

ユーザは、操作端末１１１Ｂに表示されたその作業個所に対する作業計画提案を参考にして、その作業個所に対する作業計画（例えば、症状名と実作業名）を決定して操作端末１１１Ｂに入力し、その登録を操作端末１１１Ｂに要求する（ステップＳ２３Ｂ）。すると、その入力された作業計画は、その作業個所に関連付けられて、データサーバ１０１Ｂに通知されそこに登録される（ステップＳ２５Ｂ）。

【0227】

ある地域に対する実作業が実施された後、その地域の写真画像（そこには、その実作業の効果が現れている）が改めて撮影されてその地域画像が得られ、更に、その地域画像に基づいてユーザが改めて特定した作業個所（以前の作業個所と同じ個所、あいは、以前とは異なる個所が含まれている場合、あるいは、作業個所が無い場合があり得る）と、各作業個所についてユーザが改めて判断した症状名（以前と同じ症状、あるいは、以前とは異なる症状が含まれ得る）が入力され登録されると、データサーバ１０１Ｂの推論部１０７Ｂが、その実施された実作業の作業計画と、その作業の効果が現れた画像と、その画像に基づき改めて特定された作業個所と症状名を、教師データとして受けて、機械学習を行い、作業計画の推論方法を自動的に作成する（ステップＳ２６Ｂ）。解析部１０７Ｂは、学習された推論方法を、後に実行されるステップＳ２２Ｂでの推論に適用することができる。

【0228】

以上の制御により、データサーバ１０１Ｂがもつ作業計画提案を生成するための推論方法は、多くの地域の写真撮影や実作業が繰り返されていくのにつれて、より性能の高いものへと改善されていき、より適切な作業計画提案をユーザに提供することができるようになる。それにより、期待された作用効果を得るための作業計画の設計が、ユーザにとりより容易になる。

【0229】

再び図２０を参照する。データサーバ１０１Ｂの解析部１０７Ｂは、症状解析部１０８Ｂと作業解析部１０９Ｂを有する。症状解析部１０８Ｂは、各作業個所の画像（地域画像の中の、各作業個所に該当する部分）を解析して、その作業個所の症状を推定し、推定された症状（例えば病害名や生理障害名など）を症状提案として、その作業個所に関連づけて作業計画提案データベース１０５Ｂに格納する。作業解析部１０９Ｂは、各作業個所の症状から、その作業個所に適用することが推奨される実作業（例えば、農薬名や肥料名など）を推定し、その推定された実作業を作業提案として、その作業個所に関連づけて作業計画提案データベース１０５Ｂに格納する。各作業個所に対する症状提案と作業提案が、その作業個所に対する作業計画提案を構成する。

【0230】

症状解析部１０８Ｂと作業解析部１０９Ｂは、それぞれ、例えばニューラルネットワークを用いて、それぞれの目的に適した機械学習と推論を行えるように構成することができる。

【0231】

図２２と図２３は、症状解析部１０８Ｂと作業解析部１０９Ｂの構成例をそれぞれ示す。

【0232】

図２２に示すように、症状解析部１０８Ｂは、次の２種類のディープニューラルネットワーク（以下、DNNと略称する）を有する。一つは、症状学習DNN１２１Ｂであり、もう一つは症状推論DNN１２３Ｂである。

【0233】

症状学習DNN１２１Ｂは、多数の作業個所の画像と症状、及び、過去から現在までの画像と症状と実作業の履歴（変遷経緯）を、教師データ１２５Ｂとして大量に入力して、機械学習、例えばディープラーニング、を実行し、それにより、画像から症状を推論するための推論方法を学習する（つまり、推論ニューラルネットワークを作り上げる）。

【0234】

症状推論DNN１２３Ｂは、症状学習DNN１２１Ｂによる機械学習で過去の或る時点で作成された推論方法（つまり、推論ニューラルネットワーク）を有し、各作業個所の画像と履歴のデータをその推論方法（推論ニューラルネットワーク）に入力して推論を行って、その作業個所に対する症状提案データ１２９Ｂを出力する。

【0235】

症状学習DNN１２１Ｂと症状推論DNN１２３Ｂは、異なるハードウェア又は異なるコンピュータソフトウェアとして構成されてよい。その場合、症状学習DNN１２１Ｂがある期間にある量の学習を行って作成した推論方法を症状推論DNN１２３Ｂに複製することで、以後、症状推論DNN１２３Ｂがその推論方法を実行できる。このような複製を適当な期間をおいて繰り返すことで、時間経過に伴って症状推論DNN１２３Ｂの推論性能が向上していく。

【0236】

あるいは、症状学習DNN１２１Ｂと症状推論DNN１２３Ｂは、同じハードウェア又は同じコンピュータソフトウェアとして構成されてもよい。その場合、その同じハードウェア又はコンピュータソフトウェアが、ある時間帯に症状学習DNN１２１Ｂとして動作し、別の時間帯に症状推論DNN１２３Ｂとして動作することができる。このように学習と推論を異なる時間帯で交互に繰り返すことにより、前の時間帯の学習結果が次の時間帯での推論に使用されることが繰り返されるので、時間経過に伴って症状推論DNN１２３Ｂの推論性能が向上していく。

【0237】

図２０に示すように、作業解析部１０９Ｂも、上述の症状解析部１０８Ｂと同様、２種類のDNNを有する。それらは作業学習DNN１３１Ｂと作業推論DNN１３３Ｂである。

【0238】

作業学習DNN１３１Ｂは、多数の作業個所の症状と、そこに適用された実作業と、その実作業を実施した後に改めて撮影された作業個所の画像と、その画像に基づいて改めて判断された症状を、教師データ１３５Ｂとして大量に入力して、機械学習、例えばディープラーニング、を実行し、それにより、症状からそこに適用すべきを実作業を推論するための推論方法を学習する（つまり、推論ニューラルネットワークを作り上げる）。

【0239】

作業推論DNN１３３Ｂは、作業学習DNN１３１Ｂによる機械学習で過去の或る時点で作成された推論方法（つまり、推論ニューラルネットワーク）を有し、各作業個所の症状をその推論方法（推論ニューラルネットワーク）に入力して推論を行って、その作業個所に対する作業提案データ１３９Ｂを出力する。

【0240】

作業学習DNN１３１Ｂと作業推論DNN１３３Ｂは、前述の症状学習DNN１２１Ｂと症状推論DNN１２３Ｂと同様に、異なるハードウェア又は異なるコンピュータソフトウェアとして構成されてよい。その場合、作業状学習DNN１３１がある期間にある量の学習を行って作成した推論方法を作業推論DNN１３３Ｂに複製することで、以後、作業推論DNN１３３Ｂがその推論方法を実行できる。このような複製を適当な期間をおいて繰り返すことで、時間経過に伴って作業推論DNN１３３Ｂの推論性能が向上していく。

【0241】

あるいは、作業学習DNN１３１Ｂと作業推論DNN１３３Ｂは、同じハードウェア又は同じコンピュータソフトウェアとして構成されてもよい。その場合、その同じハードウェア又はコンピュータソフトウェアが、ある時間帯に作業学習DNN１３１Ｂとして動作し、別の時間帯に作業推論DNN１３３Ｂとして動作することができる。このように学習と推論を異なる時間帯で交互に繰り返すことにより、前の時間帯の学習結果が次の時間帯での推論に使用されることが繰り返されるので、時間経過に伴って作業推論DNN１３３Ｂの推論性能が向上していく。

【0242】

図２４は、データサーバ１０１Ｂの解析部１０７Ｂの別の構成例を示す。

【0243】

図２４の構成例では、解析部１０７Ｂは、各作業個所の作業計画提案、つまり、症状提案と実作業提案を、分離せずに一緒に出力することができる。すなわち、解析部１０７Ｂは、作業計画学習DNN１４１Ｂと作業計画推論DNN１４３Ｂを有する。

【0244】

作業計画学習DNN１４１Ｂは、多数の作業個所の画像と作業計画（症状名と実作業名）、及び、その作業計画に基づく実作業実施後の同作業個所の画像と症状、ならびに、過去から現在までのその作業個所の画像と症状と実作業の履歴（変遷経緯）を、教師データ１４５Ｂとして大量に入力して、機械学習、例えばディープラーニング、を実行し、それにより、画像から作業計画を推論するための推論方法を学習する（つまり、推論ニューラルネットワークを作り上げる）。

【0245】

作業計画推論DNN１４３Ｂは、作業計画症状学習DNN１４１Ｂによる機械学習で過去の或る時点で作成された推論方法（つまり、推論ニューラルネットワーク）を有し、各作業個所の画像と上記履歴のデータをその推論方法（推論ニューラルネットワーク）に入力して推論を行って、その作業個所に対する作業計画提案１４９Ｂを出力する。

【0246】

作業計画学習DNN１４１Ｂと作業計画推論DNN１４３Ｂは、異なるハードウェア又は異なるコンピュータソフトウェアとして構成されてよいし、あるいは、同じハードウェア又は同じコンピュータソフトウェアとして構成されてもよい。

【0247】

図２５は、解析部１０７Ｂのまた別の構成例を示す。

【0248】

図２５の構成例では、解析部１０７Ｂは、地域内の作業個所ごとではなく、地域ごとに、作業計画提案（そこには、地域内の１以上の作業個所の位置と、各作業個所の症状名と実作業名が含まれる）を作成して出力することができる。すなわち、解析部１０７Ｂは、作業計画学習DNN１５１Ｂと作業計画推論DNN１５３Ｂを有する。

【0249】

作業計画学習DNN１５１Ｂは、多数の地域の全体画像とその中の各作業個所の位置とその症状名と実作業名、及び、それらの地域の実作業実施後の全体画像と作業個所と症状、ならびに、過去から現在までのそれら地域の全体画像と作業個所と症状と実作業の履歴（変遷経緯）を、教師データ１５５Ｂとして大量に入力して、機械学習、例えばディープラーニング、を実行し、それにより、地域の全体画像から作業計画（地域中の作業個所の位置と、各作業個所の症状名と実作業名）を推論するための推論方法を学習する（つまり、推論ニューラルネットワークを作り上げる）。

【0250】

作業計画推論DNN１５３Ｂは、作業計画症状学習DNN１５１Ｂによる機械学習で過去の或る時点で作成された推論方法（つまり、推論ニューラルネットワーク）を有し、各地域の作業個所の画像と上記履歴のデータをその推論方法（推論ニューラルネットワーク）に入力して推論を行って、その地域に対する作業計画提案１５９を出力する。

【0251】

作業計画学習DNN１５１Ｂと作業計画推論DNN１５３Ｂは、異なるハードウェア又は異なるコンピュータソフトウェアとして構成されてよいし、あるいは、同じハードウェア又は同じコンピュータソフトウェアとして構成されてもよい。

【0252】

再び図２０を参照する。データサーバ１０１Ｂの地域画像データベース６１Ｂ、作業個所データベース６３Ｂ、地域位置データベース５１Ｂ、飛行計画データベース５５Ｂ、作業計画データベース、作業結果データベース６５Ｂ、作業計画提案データベース１０５Ｂに蓄積されたデータ、ならびに、解析部１０７Ｂが機械学習によって作成した推論方法つまり推論ニューラルネットワークは、操作端末１１１に表示してユーザを助ける用途以外に、さまざまな有益な用途に利用可能である。それゆえ、それらデータベースに蓄積されたデータや、推論ニューラルネットワークの全部又は任意の部分は、データサーバ１０１から外部へ出力することができる。

【0253】

以上に説明された作業支援システム１Ｂ、１００Ｂは、ドローンによる調査で収集されたデータ（例えば、写真撮影で得られた圃場などの地域の画像）に含まれるノイズ（例えば、撮影時の天候や時間帯などの環境状態によって生じる写真画像の色調や明るさなどの実際からの誤差）を除去するデータ補正を行うための補正システムを備えてもよい。例えば、上述した二つの実施形態にかかる作業支援システム１Ｂ、１００Ｂは、それぞれ、そのような補正システムを、例えばデータサーバ７Ｂ、１０Ｂ１又は例えば操作端末９Ｂ、１１１Ｂ内に備えてよい。

【0254】

本発明に従う診断支援システムは、上述したような圃場の点検や保守の作業を支援するシステムに限らず、他のさまざまな用途の作業支援システムにも適用できる。例えば、資材置き場でのドローンを用いた物体の監視や移送、送電線や鉄塔の状態のドローンによる監視やメンテナンス、あるいは、ユーザ所望の地区や場所の写真や動画の撮影など、さまざまな作業の支援に本発明が適用できる。

【0255】

用途によっては、上述のような、ドローンの調査飛行と実作業飛行という二段階の飛行を含む作業ではなく、実作業飛行だけを含む作業を支援することもできる。例えば、ある場所の動画撮影を行いたい場合、ユーザが操作端末でその場所を指定し、サーバがその場所の撮影のための飛行計画を作り、ユーザがその飛行計画をダウンロードしてドローンにインストールし、そして、ドローンの撮影飛行を行うというような、より単純な作業を支援することができる。

【0256】

また、用途によっては、より多段階のドローン飛行を含む作業を支援することもできる。例えば、圃場の農薬散布の場合、農薬散布を行った日からある期間が経過した後、農薬の効果を調べるために、再び調査飛行（この場合、地域全体の調査飛行を行ってもよいし、作業個所に的を絞った調査飛行を行ってもよい）を行ったり、定期的に調査飛行と農薬散布を繰り返したり、あるいは、種まきや施肥のための飛行を行うなど、より複雑な作業を、本発明を適用したシステムによって支援することができる。

【0257】

また、上述したサーバの一部又は全部が、ユーザの使用する操作端末内に実装されていてもよい。例えば、飛行計画を作成するためのソフトウェアツールが、操作端末7にインストールされていて、ユーザがそのツールを用いて自分で飛行計画を作成できる、又は、そのツールが自動的に飛行計画を作成するようになっていてよい。

【0258】

また、作業対象の種類又は状況に応じて、ドローンとして、飛行以外の移動方法、例えば、地上走行、水上航行、水中潜航などが行えるものを使用する作業の支援にも、本発明を適用してよい。

【0259】

図２６は、上述した診断支援システム及び作業支援システムに含まれる各種のサーバ及び端末として使用できるコンピュータシステムの基本的な構成例を示す。

【0260】

図２６に示されるように、コンピュータシステム４０１は、CPU４０３、内部ストレージ４０５、主メモリ４０７、通信インタフェース４０９及び外部ストレージ４１１を有する。内部ストレージ４０５又は外部ストレージ４１１が、コンピュータプログラム（つまり、CPU４０３が実行可能な多数の命令コードのセット）を保持することができる。CPU４０３が、そのコンピュータプログラムを内部ストレージ４０５又は外部ストレージ４１１から主メモリ４０７に展開して実行することにより、そのコンピュータプログラムの各種の命令コードのセットに対応した各種の機能又は動作、例えば前述した各種のサーバ又は各種の端末の機能や動作を行うことができる。そのプロセスで、CPU４０３は、通信インタフェース４０９を通じて、外部の装置と通信することができる。

【0261】

前述した各種のサーバおよび各種の端末の各々は、図２６に示された基本構成をもつ１又は複数のコンピュータシステムを用いて実現することができる。

【0262】

以上の説明は例示であり、本発明の要旨を上記説明の範囲の制限するものではない。本発明は、その要旨を逸脱することなしに、他の様々な形態で実施し得る。

【符号の説明】

【0263】

１ 診断支援システム
３ 統括サーバ
５ AI（人工知能）サーバ
７、９、１１ ユーザ端末
７ 顧客端末
９ アナリスト端末
１１ 専門家端末
１３ サービス端末
１５ ユーザマネジャ
１７ ユーザデータセット
１９ 進捗マネジャ
２１ 進捗データセット
２３ 対象データマネジャ
２５ 対象データセット
２７ 診断データマネジャ
２９ 診断データセット
３１ 学習制御部
３３ 学習モデルセット
３５ 教師データセット
３７ 診断モデルセット
３９ AI診断制御部
２７５ 診断コントローラ
１Ｂ 作業支援システム
３Ｂ 調査ドローン
５Ｂ 実作業ドローン
７Ｂ データサーバ
９Ｂ 操作端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】